老站蜘蛛从来不爬去内页,求大神帮看robots是否设置有误？ 悬赏3元 已结束
<p>易优的CMS，老域名建的站且已经一年半了，首页蜘蛛每天来很多次，百度收录了三四百条（首页及栏目页面），移动权重2，但蜘蛛日志显示百度蜘蛛从不爬取内页，首页来的多，会爬栏目页面，但内页不爬去也不收录。未备案。</p><p><b>以下为robots：</b></p><ul><li><p></p></li><li><p></p></li></ul>
36 人参与回答
因为你内页的链路太长了
屏蔽那么多干嘛
我甚至都不知道去哪里看蜘蛛，我这还做个屁的网站啊~~
你这个设置的太严格了，删除一些
屏蔽太多了，去找站长反馈看看
可以在首页给内页做个内链试下
去反馈，看下百度怎么说，再进行下一步操作
虽然没啥问题，但你屏蔽的也太多了，如果数量不多而且链接固定的可以手动提交死链
没问题的，不用担心
百度站长申诉反馈
这边建议将禁止抓取的，删除然后用死亡链接去禁止抓取
你屏蔽太多了，一些不要的站点你可以通过死亡链接提交
可以站长反馈下
还是得看推娃娃得答复，学习了
我看没啥啊，最好的办法就是全删了，让蜘蛛自己抓，你在分析
你用模拟蜘蛛抓取的工具测试一下就知道了
百度站长申诉反馈
推推蛙说得对 参考推推蛙说的就行了 我也是来学习的呢
