<p>www.jinghuabanchang.com 看了一下日志文件 发现百度一直在抓取这个template这个文件 明明我已经禁止了 百度还是那个百度吗？</p>
估计就是同行干的啊
我后台的链接单独写在Robots里面但是用百度地图生成器还是能抓到不知道为什么
不用管，应该是被别人刷的
我网站没有的链接都抓，我也很无语
禁止的用这种工具还是能抓取不知道为什么
这不算啥，我这里蜘蛛访问的都是不存在的目录和文件，啥意思呢
让更多人参与回答
