震惊！震惊！百度蜘蛛每天1万多抓取次数爬的页面，值得思考 悬赏1元 已结束
<p>每天蜘蛛全部跑到这个5个栏目了，关键这栏目没有任何数据，有没有知道这是什么情况？要不要在robots.txt中禁止抓取？这一万多抓取全浪费了，不抓页面</p><p><br></p>
22 人参与回答
最佳回答
厉害啊啊
rebots 屏蔽就好了
牛逼，充了会员吗
如果没有内容，蜘蛛是不会去啊，这也不科学，还是不要屏蔽吧，屏蔽直接没了多尴尬啊
我就是少了点蜘蛛啊
挺难受
屏蔽不需要蜘蛛抓的地方，当然，蜘蛛少的网站除外
该屏蔽的要屏蔽，不要浪费蜘蛛去做无用功。
没有蜘蛛的网站在此，旱的旱死，涝的涝死
有点浪费蜘蛛了
这些应该是要屏蔽掉的
屏蔽掉就好了
我丢，谷歌蜘蛛不少
这么浪费，我的没有蜘蛛来
然后呢
这么浪费，我的没有蜘蛛来
！！！！！！体会
这个抓取页面在哪里看的
