搜外网>搜外问答>问答页面

有什么工具查询蜘蛛抓取数据?

有什么工具可以查询蜘蛛抓取情况的数据?我想看看网站来蜘蛛没有,每天来多少次,被抓取的情况有多少,通过什么工具可以查询检测看看?感谢大家给我推荐一个!

追加问题
    3 人参与回答

般在http服务器目录下配置Robots.txt文件,具体写法网上查; 不过也是有办法突破的,基本上防君子不防小人;大网站也用robots.txt这么做,不过更多的是一种

看一下日志吧

你只能从FTP吧日志下下来,然后进行分析,我这是最笨的方法吧