雅泽SEO

网站抓取频次和网页收录的关系

官网

image.png

严格来说,网站抓取频次和网页收录没有直接的关系。

1.网页被抓取不等于网页会被收录

百度搜索蜘蛛将网页内容抓取,这不等于就必须会建库,抓取内容后百度搜索会对内容进行初步审核,质量不过关的会直接被过滤掉。而那些通过初步审核的网页,才会被建库,而后才有可能体现到网站索引里。有个情况需要知道,网页添加到索引后,使用SITE命令不一定能查到出来。

如果网站抓取频次更多的在这些质量不高的网页,那很显然网站收录是不会有明显增加的,这就是网站抓取频次高但是网页收录低的原因之一。

2.蜘蛛抓取的是已经被收录的网页

有时候可能会出现这种情况,网站抓取频次许多,但是抓取对象绝大部分是已经被收录的内容,而那些新更新的网页没有或者说极少数被抓取到,究竟新网页的收录数自然也就少了。

需要注意,百度抓取并不是完全针对新网页,对于那些有更新,百度搜索认为值得更新百度快照的网页,蜘蛛也是会去抓取的。所以,如果遇到百度抓取频次高但新网页收录低的情况,需要去分析网站日志,看看新网页是否已经被抓取,若是没有抓取到,即便内容质量再高,也是不会被收录的。

全文概述,网页被收录的前提是被蜘蛛抓取到,但被抓取后不等于一定会被收录。所以,想要提高网站收录,需要抓到两点,首先确保被蜘蛛成功抓取(如果让蜘蛛更好的抓取?可以通过主动提交链接、做外部链接以及做内部链接的方式引导蜘蛛及时抓取),其次是确保内容质量,如果能做到这两点,网站网页收录就不是问题,这就是网站抓取频次和网页收录的关系。

关于网站抓取频次和网页收录的关系,大家要注意一个问题,蜘蛛抓取是网页收录的前提,网站网页只有被抓取了才有可能被收录。但是网页被抓取不等于一定会收录,所以单单从抓取频次来分析收录,是不合理的。再回到SEO优化的基础上来,如果网站能够提供有价值的内容,究竟无论是抓取频次还是网页收录,都将不是问题。

发表评论