搜外网>搜外问答>问答页面

robots文件怎么弄？

微信

服务器里没有robots文件，但蜘蛛经常抓取，导致显示404。没有robots文件可不可以，如果不可以的话，应该怎么设置。

追加问题
Robots 404
本帖由用户发布，如有侵权联系删除  2022-08-31 发布646 次浏览
举报
其他问题
 
    5 人参与回答
用户215151 · 鑫盛主营包装机设备，粉剂包装机，颗粒包装机，可用于面粉、粮食、化工、肥料行业

可以去服务器后台看看有无Robots生成工具

3 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
用户214545

百度查查····

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户207180 · 职称评审、建工考培、人才落户、学历提升免费咨询、vx：13007215902

百度讲的很详细了 你可以看看

3 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
用户221661

可以去服务器后台看看有无Robots生成工具

3 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
用户159126 · 专业的有问必答平台

很简单啊，Robots百度一下讲的很详细的

3 年前
IP属地：湖北
赞同 0 评论 0
收藏 举报
评论取消

收录宝

/p/72 /p/73 /p/75 /p/76 /p/77 /p/78 /p/79 /p/80 /p/81 /p/82 /p/83 /p/84 /p/86 /p/87 /p/88 /p/89 /p/90 /p/91 /p/92 /p/93

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司