搜外网>搜外问答>问答页面

这样设置robots 有问题吗?? 悬赏3元 已结束

我的robots是这样设置的,目前文章页面不抓取,不知道哪里设置有没问题,懂得人帮我看下哈 谢谢

User-agent: *

Disallow: /storage/

Disallow: /data/

Disallow: /so?

Disallow: /so_article?

Disallow: /so_product?

Disallow: /404

Disallow: /*?*

追加问题
    9 人参与回答

404可以去掉了

404去除掉

把站发出来看下才知道,因为目前不知道你的站有没有做静态页面,如果还是动态的 就把Disallow:  / * ? * 去掉就可以了 如果是静态的 就要看别的了 目前可以排除的只有404 以及data storage 除非你是把文章页放在这几个根目录下了 所以把站发出来

萌面大叔
萌面大叔 · 无线投屏

Robots  文件也就那样吧  百度该抓取的还是能抓取 只不过不传递权重这些!说重要也重要,说不重要也不重要~~~

橄榄绿叶
橄榄绿叶 · 行星减速机

404这个去掉吧

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

只要Robots文件中你没有屏蔽你的文章页文件夹就ok,还有如果你会编写robots也可以去自动生成,404这个应该不是网页中有个404文件夹吧,如果你这个是404页面不用屏蔽,如果是404死链接,是通过做404死链txt提交处理,因此 404在这块没必应存在

没问题

A水泥仿生态栏杆生产批发厂家
A水泥仿生 · 专业制作各种户外园林景观水泥仿生态艺术栏杆

来学习来了

崔家大院
崔家大院 · 网站诊断、建站、快速排名

404去掉

SEO培训招生中
189