雅泽SEO

robots抓取协议文件的含义与作用

雅泽


robots其实就是指Robots协议,Robots协议(也称为爬虫协议、机器人协议等)的全称是网络爬虫排除标准(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些网页可以抓取,哪些网页不能抓取。

一、robots.txt文件的含义,作用

前面有提到,这个文本文件承载着robots协议,它告诉所有搜索引擎本网站哪些网页可以被抓取,哪些网页禁止抓取。这样做有两方面的意义:

1.保护隐私。有些网页信息不想或者说不能让外界看到,单搜索引擎并不知道这些情况,它还是会照常抓取、展示。如果我们通过设置robots做了限制,搜索引擎蜘蛛就会放弃抓取,外界就不能通过搜索引擎了解到这些隐秘信息。

2.调节网页抓取量。我们都知道每个网站蜘蛛抓取的配额都是有限的,如果我们通过robots.txt文件禁止一些不重要的网页被抓取,究竟就节约了配额,让那些重要的网页得到更多的抓取机会。

二、robots.txt文件的写法

robots协议针对的就是允许或者不允许,另外也可以设置具体的搜索引擎,作者认为正常情况下不用去区分搜索引擎,统一设置即可。

1. 禁止所有搜索引擎访问网站

User-agent: *

Disallow: /

2. 允许所有搜索引擎访问网站

User-agent: *

Allow: /

这是最基本的用法,robots协议的用法还有许多技术,作者建议大家去仔细阅读robots协议。

三、robots.txt文件相关注意事项

有朋友说我的网站没有什么要禁止抓取的,你就不要设置robots.txt文件了吧,理论上行得通。不过,作者建议,即便全部开放也最好设置一个robots文件,如本站的文件:http://www.yazec.com/robots.txt。

四、robots.txt文件的位置

放在网站根目录下,在链接url的显示就是:http://www.abc.com/robots.txt,其中www.abc.com就是网站域名。

五、robots文件生成

有朋友提到有没有直接生产robots文件的工具,作者认为这完全没有必要,robots文件应该手动去具体设置,这样才能发挥robots.txt文件最大的作用。

发表评论