搜外网>搜外问答>问答页面

robots文件屏蔽的栏目，搜索引擎还是去抓取，怎么办？

微信

robots.txt 写了不让爬某栏目结果它还是去爬还404 有啥办法啊?

Robots 404 索引举报 本帖由用户发布，如有侵权联系删除 2021-12-03 发布497 次浏览

3 人参与回答

三九问答 · 专业的有问必答平台

过一段时间看看，如果是刚设置的话

可能是从其它渠道平台推荐的外部链接了解到这个网站，虽然百度禁止抓取，但从标题和推荐链接的数据里还是可以判断出与该页面相应的内容信息。

穷叉叉 · 吉诚装饰，一站式家装装饰服务。

让它爬呗。没关系的

收录宝