百度蜘蛛认准ip 对域名却陌生
来源 :www.nilada.com.
发布时间 : 08/11/11
| 通过对一个个人网站的分析,我认为百度爬虫在某些时候会对ip有更好的感觉,他们对域名的感觉却没有想象中的那么好。 我一个小站,是做新闻的,由于原来的服务器不稳定,在换了新的主机之后,我的站上的新闻被抓取的速度大大降低,超过24小时都没有被抓取一条新闻,而在之前的服务器上我的新闻被抓取的速度一般是在5到10分钟。考虑到域名指向新服务器不久,我就在原来的主机上放置了一个跳转首页,结果在几个小时之后,我的网站的主页快照就更新为跳转的首页,这说明百度蜘蛛还是默认原来的ip地址为我的这个网站的抓取地址。 考虑到百度蜘蛛的更新和爬取都有一个周期性,我将继续关注这个站的变化,希望能总结出一些有用的信息,以便在下次为其他站更换主机的时候做准备。 |

