Awstats是一个非常强大的网站日志分析工具，在虚拟主机中一般都有提供。通过网站的日志分析可以查看网站的一些基本信息，网站的流量分析。其中有一项是网站蜘蛛访问情况，我们可以查看Robots/Spiders visitors (Top 10)前十名，也可以查看所有蜘蛛列表，而且有蜘蛛访问时间，抓取链接数量，消耗流量信息等。

各大搜索引擎的蜘蛛对网站抓取，然后在搜索中提供检索，这样就可以给网站带来很多流量，但是有一些蜘蛛Robots只会抓取网站信息并索引，但不会在搜索中提供信息，尤其一些国外的蜘蛛Robots，如果网站只对国内用户，那么国外的蜘蛛一般都没有作用，例如一个DotBot名字的蜘蛛，会抓取网站大量信息并消耗主机流量。

DotBot是Moz的网络爬虫程序，Moz旗下链接分析网站opensiteexplorer专门用来分析网站外链数据。这个蜘蛛不会对网站贡献流量，而只会消耗主机的流量，所以可以用robots.txt来屏蔽它。DotBot遵robots.txt协议。具体方法：

在网站根目录中的robots.txt文件中写上如下代码：

User-Agent: DotBot

Disallow: /