搜外网>搜外问答>问答页面

网站没有设置robots.txt文件,为何蜘蛛状态码会返回404？

微信

Robots 404 举报 本帖由用户发布，如有侵权联系删除 2022-04-06 发布439 次浏览

4 人参与回答

。

网站根目录里面没有Robots.txt这个文件。蜘蛛抓取不到，不返404反什么？

404和Robots没有直接的关系

一只猫 · 家庭教育吧

404和Robots没有关系吧

素材网 · 素材网，网站模板，网站素材，视频教程，sucaipro。com

网站日志啊哥哥你这牛头不对马嘴啊?

收录宝