搜外网>搜外问答>问答页面

这样设置robots 有问题吗？？悬赏3元已结束

微信

我的robots是这样设置的，目前文章页面不抓取，不知道哪里设置有没问题，懂得人帮我看下哈谢谢

User-agent: *

Disallow: /storage/

Disallow: /data/

Disallow: /so?

Disallow: /so_article?

Disallow: /so_product?

Disallow: /404

Disallow: /*？*

Robots 404 举报 本帖由用户发布，如有侵权联系删除 2019-09-03 发布1,296 次浏览

9 人参与回答

404可以去掉了

梦

404去除掉

MRChe

把站发出来看下才知道,因为目前不知道你的站有没有做静态页面,如果还是动态的就把Disallow: / * ? * 去掉就可以了如果是静态的就要看别的了目前可以排除的只有404 以及data storage 除非你是把文章页放在这几个根目录下了所以把站发出来

萌面大叔 · 无线投屏

Robots 文件也就那样吧百度该抓取的还是能抓取只不过不传递权重这些！说重要也重要，说不重要也不重要~~~

橄榄绿叶 · 行星减速机

404这个去掉吧

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

只要Robots文件中你没有屏蔽你的文章页文件夹就ok，还有如果你会编写robots也可以去自动生成，404这个应该不是网页中有个404文件夹吧，如果你这个是404页面不用屏蔽，如果是404死链接，是通过做404死链txt提交处理，因此 404在这块没必应存在

没问题

A水泥仿生 · 专业制作各种户外园林景观水泥仿生态艺术栏杆

来学习来了

崔家大院 · 网站诊断、建站、快速排名

把404去掉

收录宝