<p>robots文本都已经屏蔽掉这些路径了，为什么还是不断的有在爬，主要还是有478条数据！</p><p><br></p><p><br></p>
百度 栈谷统计，能实时抓取网页蜘蛛爬虫，分析蜘蛛的最佳统计网站
你看看有没有建站历史 是不是抓取的以前的
让更多人参与回答
