雅泽SEO

如何禁止百度收录某个网页

雅泽

要禁止搜索引擎抓取某个网页,通常来说我们都是通过robots文件来设置。

比如本站有个网页http://www.yazec.com/abc.html,但是作者不想让这个网页被所以搜索引擎抓取,究竟应该如何禁止呢?我们可以用以下代码:

User-agent: *

Disallow: /abc.html

其中User-agent: *就是指针对所有搜索引擎,而Disallow:就是禁止抓取的意思,这么需要知道Disallow:后面的斜杠,是从域名那里开始的。许多人不知道对此不是很明白,我们可以简单的理解:在这个斜杠前加上网站域名,斜杠后就是网页的相对地址,大家参考下作者提到的案例,应该很好理解。

但是,虽然我们通过robots文件能够禁止百度收录某个网页,但是百度等搜索引擎并不会严格遵守约定,如果有外部链接或者是内部链接到达网页的话,搜索引擎还是会收录的。所以,为了保险起见,作者建议大家结合nofollow标签一起来使用,一方面告诉搜索引擎不要收录该网页,同时在网站其他网页告诉搜索引擎蜘蛛不要去追踪该链接。

另外禁止百度收录某个网页还可以在头部文件里设置,但是这种做法有明显的局限性,所以作者不建议大家去用,做不好会出现许多不必要的麻烦。

发表评论