写了写Robots协议，百度蜘蛛为何不执行，到底是什么原因？ 悬赏1元 已结束
<p>网址地址：回收布料https://www.shtengbu.com/<br>问题原因：收录了首页，内页没有一个被收录的，更新的产品和新闻页面都是原创，维持三个月了，收录的寥寥无几，我写了屏蔽分站的写Robots协议，网址上线就提交了，但是没有起任何的作用，反而把分站的页面收录了很多篇，内页想让收录的，只被收录了一篇，百度论坛里也提交过技术支持，但是没有好的答复，结果非常不满意，作为百度的老用户真的是心灰意冷，这么才能屏蔽分站链接，把内页放出来，谢谢。</p><p></p>
19 人参与回答
1.你的disallow没有写完全，你可以试试把百度快照里那些你分站的页面那去抓取诊断检测下，会发现还是能抓取到，而你写在Robots里的/也是确实抓不到的，说明robots文件的生效是没问题的。
2.仔细看你的分站链接，比如徐汇的分站首页为/，文章页链接为/xuhui_sgkcfz/。
3.去百度站长平台看robots文件格式，disallow的描述中有这么一句“以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/、/、/help/，而"Disallow:/help/"则允许robot访问/、/，不能访问/help/”
4.因此你的disallow应该把每个分城市后缀的.html去掉，变成：disallow：/shanghai
还是要看百度的规则吧
没毛病啊，你屏蔽的这些页面都没有收录啊
主要看百度规则吧，大概是没什么问题的
收就收了呗 有什么不好的吗
这个没办法啊
写错了。大哥。
凭运气来的，呵呵
百度就是这样
360也一样，写了一样会去抓取
