有什么工具可以查询蜘蛛抓取情况的数据？我想看看网站来蜘蛛没有，每天来多少次，被抓取的情况有多少，通过什么工具可以查询检测看看？感谢大家给我推荐一个！
般在http服务器目录下配置Robots.txt文件,具体写法网上查; 不过也是有办法突破的,基本上防君子不防小人;大网站也用robots.txt这么做,不过更多的是一种
看一下日志吧
你只能从FTP吧日志下下来，然后进行分析，我这是最笨的方法吧
让更多人参与回答
