标签：robots.txt

3年前 (2023-12-12) 202浏览

今天在Google AdSense后台出现提示：“出现广告抓取工具错误，这可能导致收入减少。”点击操作后，在合作规范中心查看到有一个受影响的项目，并没有必须解决的项目，有3%的广告被限投了，查看有问题的链接，是一个…/text/plain...

4年前 (2022-07-27) 3644浏览

YisouSpider看名字应该是一搜这个搜索引擎的蜘蛛，一搜这个名字现在已经很难见到的，一搜最早是由雅虎中国于2004年创建的，在阿里巴巴收购雅虎中国后归到了神马搜索旗下，所以神马搜索的蜘蛛名字就成了YisouSpider，目前神马搜索只有移动端，...

4年前 (2022-07-26) 294浏览

最近在用AWStats检查网站的时候，在Robots/Spiders visitors一项中发现第一名的蜘蛛是一个叫oBot的蜘蛛，蜘蛛就是搜索引擎抓取网页的一个工具。这个oBot蜘蛛每天都会来网站抓取数据，而且数据量非常大，都是上G大小的抓取。不过...

4年前 (2022-07-10) 297浏览

Awstats是一个非常强大的网站日志分析工具，在虚拟主机中一般都有提供。通过网站的日志分析可以查看网站的一些基本信息，网站的流量分析。其中有一项是网站蜘蛛访问情况，我们可以查看Robots/Spiders visitors (Top 10)前十名，...

16年前 (2011-03-14) 2856浏览

国产的ZBlog还是相当简单实用的，如果你打算用asp建一个博客站，那么我推荐你用ZBlog，而且ZBlog对百度相当友好。如果用php最好用Wordpress，功能强大。下载说下ZBlog中robots.txt的写法，robots.txt对网站SE...