最近被大量爬虫爬取了大量的流量，日志文件生成了大量访问。“Unknown robot (identified by 'spider')”的ip是多少请问一下。这是我的网站http://www.sczhuangxiu.com[?]大家知道他的ip吗？日志文件看了没找出来。
看下网站日志，然后在日志分析工具里查看蜘蛛IP来源
你写了Robots，蜘蛛就会准守你设置的规定，不会去访问你让他访问的文件
让更多人参与回答
