搜外网>搜外问答>问答页面

请问大家这个网络爬虫的ip是多少?

最近被大量爬虫爬取了大量的流量,日志文件生成了大量访问。“Unknown robot (identified by 'spider')”的ip是多少请问一下。这是我的网站http://www.sczhuangxiu.com[?]大家知道他的ip吗?日志文件看了没找出来。

追加问题
    2 人参与回答

看下网站日志,然后在日志分析工具里查看蜘蛛IP来源

你写了Robots,蜘蛛就会准守你设置的规定,不会去访问你让他访问的文件

SEO培训招生中
189