主机控制面板Awstats中的DotBot是什么蜘蛛?

2022年07月10日 学习资料 暂无评论 阅读 99 次

Awstats是一个非常强大的网站日志分析工具,在虚拟主机中一般都有提供。通过网站的日志分析可以查看网站的一些基本信息,网站的流量分析。其中有一项是网站蜘蛛访问情况,我们可以查看Robots/Spiders visitors (Top 10)前十名,也可以查看所有蜘蛛列表,而且有蜘蛛访问时间,抓取链接数量,消耗流量信息等。

各大搜索引擎的蜘蛛对网站抓取,然后在搜索中提供检索,这样就可以给网站带来很多流量,但是有一些蜘蛛Robots只会抓取网站信息并索引,但不会在搜索中提供信息,尤其一些国外的蜘蛛Robots,如果网站只对国内用户,那么国外的蜘蛛一般都没有作用,例如一个DotBot名字的蜘蛛,会抓取网站大量信息并消耗主机流量。

DotBot是Moz的网络爬虫程序,Moz旗下链接分析网站opensiteexplorer专门用来分析网站外链数据。这个蜘蛛不会对网站贡献流量,而只会消耗主机的流量,所以可以用robots.txt来屏蔽它。DotBot遵robots.txt协议。具体方法:

在网站根目录中的robots.txt文件中写上如下代码:

User-Agent: DotBot

Disallow: /

给我留言