搜外网>搜外问答>问答页面

为什么写了robots禁止蜘蛛抓取,内容还是收录

追加问题
    6 人参与回答
利美医疗
利美医疗 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

应该还没有更新。

百度抓取Robots 好像有周期 没有那么快更新

海阔天空
海阔天空 · 315防伪标签办理中心-全国315产品防伪查询中心

这个可以在专业技术人员分析一下

同意楼上的观点

智慧生活
智慧生活 · 知晓生活大小事!

Robots.txt只是对大站有用,小站,蜘蛛想爬就爬

赵大刀
赵大刀 · 苦逼的打工人

Robots.txt属于君子协议。人家不想遵守你也没办法

SEO培训招生中
188