搜外网>搜外问答>问答页面

robots文件屏蔽的栏目,搜索引擎还是去抓取,怎么办?

robots.txt 写了不让爬某栏目 结果它还是去爬 还404 有啥办法啊😅

追加问题
    3 人参与回答
三九问答
三九问答 · 专业的有问必答平台

过一段时间看看,如果是刚设置的话

可能是从其它渠道平台推荐的外部链接了解到这个网站,虽然百度禁止抓取,但从标题和推荐链接的数据里还是可以判断出与该页面相应的内容信息。

穷叉叉
穷叉叉 · 吉诚装饰,一站式家装装饰服务。

让它爬呗。没关系的

SEO培训招生中
188