搜外网>搜外问答>问答页面

robots文件禁止抓取template为什么百度还抓取?

<p>www.jinghuabanchang.com 看了一下日志文件 发现百度一直在抓取这个template这个文件 明明我已经禁止了 百度还是那个百度吗?</p>

追加问题
    6 人参与回答
134源码网
134源码 · 游戏源码,整站源码,网站制作,网站seo优化

估计就是同行干的啊

配客头条
配客头条 · 股市,汇市,币市的搬运工

我后台的链接单独写在Robots里面但是用百度地图生成器还是能抓到不知道为什么

不用管,应该是被别人刷的

曾经的曾经
曾经的曾经 · 各种型号的施工升降机

我网站没有的链接都抓,我也很无语

禁止的用这种工具还是能抓取不知道为什么

网站秒收录
网站秒收录 · 欢迎新老站长提交贵站到本导航站,免费自助提交,5秒收录,一次提交,永久收录 ,绝不下链 》》》》》》》》》》点最右边

这不算啥,我这里蜘蛛访问的都是不存在的目录和文件,啥意思呢

SEO培训招生中
190