A-A+

Unknown robot (identified by ‘spider’)是什么蜘蛛?

2013年03月22日 学习资料 暂无评论 阅读 1,544 次

Unknown robot (identified by 'spider')是什么蜘蛛?一般的蜘蛛都会在后台控制面板中显示名字,例如baidu,google,yahoo,alexa等等,但是如果你用的虚拟主机是cpanel的控制面板,那么发现Unknown robot (identified by 'spider')这个蜘蛛消耗很大的网站流量,那么可以确定这个是百度蜘蛛,因为cpanel的控制面板默认是不识别百度蜘蛛的,所以就会显示为Unknown robot (identified by 'spider')。而且通过robots.txt是无法禁止这个蜘蛛抓取网站内容的。

评论已关闭!