搜外网>搜外问答>问答页面

写了写Robots协议,百度蜘蛛为何不执行,到底是什么原因? 悬赏1元 已结束

网址地址:回收布料https://www.shtengbu.com/
问题原因:收录了首页,内页没有一个被收录的,更新的产品和新闻页面都是原创,维持三个月了,收录的寥寥无几,我写了屏蔽分站的写Robots协议,网址上线就提交了,但是没有起任何的作用,反而把分站的页面收录了很多篇,内页想让收录的,只被收录了一篇,百度论坛里也提交过技术支持,但是没有好的答复,结果非常不满意,作为百度的老用户真的是心灰意冷,这么才能屏蔽分站链接,把内页放出来,谢谢。

追加问题
推推蛙
推推蛙 · 擅长SEOSEM网站诊断、方案编写、优化运维。微信:tuituiwaseo
SunShine 等 1 人赞同该回答

1、虽使用百度时间久,但是你的域名是无任何建站历史的新域名,一切都是新的,需要持续优化积攒信任度; 

2、你的Robots规则无法平布taicang_xxxx这样格式的URL,你可以尝试抓取诊断看看,是否还是能抓取,如果这些页面压根不想被收录,当时就应该不放出来,只要放出来就代表可以被蜘蛛抓取爬行; 

3、3个月的域名,持续做好站内外SEO优化,你的内页有一个收录了,那么就将这里的其他页面提交收录宝引蜘蛛有利于促收录,持续优化,后期会收录。

1.你的disallow没有写完全,你可以试试把百度快照里那些你分站的页面那去抓取诊断检测下,会发现还是能抓取到,而你写在Robots里的/也是确实抓不到的,说明robots文件的生效是没问题的。
2.仔细看你的分站链接,比如徐汇的分站首页为/,文章页链接为/xuhui_sgkcfz/。
3.去百度站长平台看robots文件格式,disallow的描述中有这么一句“以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/、/、/help/,而"Disallow:/help/"则允许robot访问/、/,不能访问/help/”
4.因此你的disallow应该把每个分城市后缀的.html去掉,变成:disallow:/shanghai

Robots文件除了用来屏蔽死链有点用处,没什么作用,还不如删掉这个文件

检查一下Robots文件,那个文件写错了

好像你的Robots写错了

小鱼
小鱼 · 苏州微信小程序,微商城,微信公众号,软件定制开发,拥有十几年的开发经验!

还是要看百度的规则吧

英语网
英语网 · yingyuw. cn站长

没毛病啊,你屏蔽的这些页面都没有收录啊

主要看百度规则吧,大概是没什么问题的

收就收了呗 有什么不好的吗

这个没办法啊

写错了。大哥。

凭运气来的,呵呵

qwoeyhoii333
qwoey · 奈斯导航为广大网民精心筛选、整理国内外各类优秀的网站大全,亦可自助链免费提交秒收录。==》

你写错了,建议看看Robots规则写法吧。。😅

百度就是这样

汇聚吧导航
汇聚吧导航 · 汇聚吧导航,网站提交免费收录,外链发布,软文投稿

360也一样,写了一样会去抓取

加载更多
SEO培训招生中
159