标签：蜘蛛

4年前 (2022-07-27) 3644浏览

YisouSpider看名字应该是一搜这个搜索引擎的蜘蛛，一搜这个名字现在已经很难见到的，一搜最早是由雅虎中国于2004年创建的，在阿里巴巴收购雅虎中国后归到了神马搜索旗下，所以神马搜索的蜘蛛名字就成了YisouSpider，目前神马搜索只有移动端，...

4年前 (2022-07-26) 295浏览

最近在用AWStats检查网站的时候，在Robots/Spiders visitors一项中发现第一名的蜘蛛是一个叫oBot的蜘蛛，蜘蛛就是搜索引擎抓取网页的一个工具。这个oBot蜘蛛每天都会来网站抓取数据，而且数据量非常大，都是上G大小的抓取。不过...

4年前 (2022-07-10) 299浏览

Awstats是一个非常强大的网站日志分析工具，在虚拟主机中一般都有提供。通过网站的日志分析可以查看网站的一些基本信息，网站的流量分析。其中有一项是网站蜘蛛访问情况，我们可以查看Robots/Spiders visitors (Top 10)前十名，...

6年前 (2021-05-16) 720浏览

蜘蛛为了采集网站数据，有时候会消耗网站很大的流量，对服务器的压力很大，有些服务器承担不了压力，直接导致网站无法打开，提示502 bad gateway，国内百度，360，搜狗蜘蛛，神马搜索指数，除了这些蜘蛛，其他国外的蜘蛛基本对国内网站用处不大，所以...

14年前 (2012-11-23) 3512浏览

网站流量被Unknown robot (identified by ‘spider’)占用了好几个G，这个蜘蛛也没有任何标示，我很奇怪这个蜘蛛为什么会占这么大的流量，类似的蜘蛛还有Unknown robot (identifi...