标签：oBot

4年前 (2022-07-26) 295浏览

最近在用AWStats检查网站的时候，在Robots/Spiders visitors一项中发现第一名的蜘蛛是一个叫oBot的蜘蛛，蜘蛛就是搜索引擎抓取网页的一个工具。这个oBot蜘蛛每天都会来网站抓取数据，而且数据量非常大，都是上G大小的抓取。不过...