Unknown robot (identified by ‘spider’)是什么蜘蛛?

Unknown robot (identified by ‘spider’)是什么蜘蛛?
Unknown robot (identified by 'spider')是什么蜘蛛?一般的蜘蛛都会在后台控制面板中显示名字,例如baidu,google,yahoo,alexa等等,但是如果你用的虚拟主机是cpanel的控制面板,那么发现Unknown robot (identified by 'spider')这个蜘蛛消耗很大的网站流量,那么可以确定这个是百度蜘蛛,因为cpanel的控制面板默认是不识别百度蜘蛛的,所以就会显示为Unknown robot (identified by 'spider')。而且通过...

Unknown robot (identified by ‘spider’)蜘蛛占用大量流量

Unknown robot (identified by ‘spider’)蜘蛛占用大量流量
网站流量被Unknown robot (identified by 'spider')占用了好几个G,这个蜘蛛也没有任何标示,我很奇怪这个蜘蛛为什么会占这么大的流量,类似的蜘蛛还有Unknown robot (identified by 'bot*'),Unknown robot (identified by empty user agent string),不知道这个是不是某些网站监控程序导致的,解决方法可以暂时通过主机禁止这个ip访问,或者robots.txt禁止相应的蜘蛛访问。