这样设置robots 有问题吗?? 悬赏3元 已结束

我的robots是这样设置的,目前文章页面不抓取,不知道哪里设置有没问题,懂得人帮我看下哈 谢谢

User-agent: *

Disallow: /storage/

Disallow: /data/

Disallow: /so?

Disallow: /so_article?

Disallow: /so_product?

Disallow: /404

Disallow: /*?*

追加问题
    9 人参与回答
1元
获得赏金
崔家大院
崔家大院 · 网站诊断、建站、快速排名 qq:787808565

404去掉

1元
获得赏金
A水泥仿生态栏杆生产批发厂家
A水泥仿生 · 专业制作各种户外园林景观水泥仿生态艺术栏杆

来学习来了

1元
获得赏金

没问题

推推蛙
推推蛙 · 推推蛙擅长SEO网站优化、竞价账户调整、网站建设、全网优化、新媒体营销、品牌策划

只要Robots文件中你没有屏蔽你的文章页文件夹就ok,还有如果你会编写robots也可以去自动生成,404这个应该不是网页中有个404文件夹吧,如果你这个是404页面不用屏蔽,如果是404死链接,是通过做404死链txt提交处理,因此 404在这块没必应存在

橄榄绿叶
橄榄绿叶 · 行星减速机,交换权重相当同行业友链+QQ893910412记得备注→→→→→→→→→→→→→→→→→→→→→→→→→

404这个去掉吧

萌面大叔
萌面大叔 · AWIND奇机台湾品牌,会议室无线投屏,智能教室无线投屏

Robots  文件也就那样吧  百度该抓取的还是能抓取 只不过不传递权重这些!说重要也重要,说不重要也不重要~~~

把站发出来看下才知道,因为目前不知道你的站有没有做静态页面,如果还是动态的 就把Disallow:  / * ? * 去掉就可以了 如果是静态的 就要看别的了 目前可以排除的只有404 以及data storage 除非你是把文章页放在这几个根目录下了 所以把站发出来

404可以去掉了www.oeyx.com

回复问答禁止带推广链接,了解合理带链接的方法