搜外网>搜外问答>问答页面

看了下网站日志，百度老去抓取404页面，需要在robots文件里面屏蔽吗？

微信

Robots 404页面网站日志 404 举报 本帖由用户发布，如有侵权联系删除 2024-09-03 发布300 次浏览

广告位出租

广告位出租-排名优化

交换友情链接，就用搜外友链，方便！

3 人参与回答

全速投票

可以屏蔽404页面的，不让抓取

冷却塔 · 冷却塔

可以不让访问的啊

Forwo

你可以在Robots.txt文件中屏蔽404页面，以减少搜索引擎对这些页面的抓取频率