日志大量ip不像正常蜘蛛ip，而且有很多已屏蔽的后台文件被抓取是怎么回事呢@推推蛙
<p>查看日志情况，发现在robots文件屏蔽的目录还是被抓取，而且统计ip段数量，感觉不像正常的蜘蛛，是怎么回事呢<br></p>
7 人参与回答
没有影响网站可以不用管
不是正常的蜘蛛，就是采集的，这种情况避免不了的
如果对网站没有影响就不用管
应该是有人用软件在采集你的网站内容数据
不清楚，但如果对网站没有影响就不用管
<p>查看日志情况，发现在robots文件屏蔽的目录还是被抓取，而且统计ip段数量，感觉不像正常的蜘蛛，是怎么回事呢<br></p>
没有影响网站可以不用管
不是正常的蜘蛛，就是采集的，这种情况避免不了的
如果对网站没有影响就不用管
应该是有人用软件在采集你的网站内容数据
不清楚，但如果对网站没有影响就不用管
