标签：robots

4年前 (2022-07-10) 299浏览

Awstats是一个非常强大的网站日志分析工具，在虚拟主机中一般都有提供。通过网站的日志分析可以查看网站的一些基本信息，网站的流量分析。其中有一项是网站蜘蛛访问情况，我们可以查看Robots/Spiders visitors (Top 10)前十名，...

6年前 (2021-05-16) 722浏览

蜘蛛为了采集网站数据，有时候会消耗网站很大的流量，对服务器的压力很大，有些服务器承担不了压力，直接导致网站无法打开，提示502 bad gateway，国内百度，360，搜狗蜘蛛，神马搜索指数，除了这些蜘蛛，其他国外的蜘蛛基本对国内网站用处不大，所以...