震惊!震惊!百度蜘蛛每天1万多抓取次数爬的页面,值得思考 悬赏1元 已结束
<p>每天蜘蛛全部跑到这个5个栏目了,关键这栏目没有任何数据,有没有知道这是什么情况?要不要在robots.txt中禁止抓取?这一万多抓取全浪费了,不抓页面</p><p><br></p>
22 人参与回答
最佳回答
厉害啊啊
rebots 屏蔽就好了
牛逼,充了会员吗
如果没有内容,蜘蛛是不会去啊,这也不科学,还是不要屏蔽吧,屏蔽直接没了多尴尬啊
我就是少了点蜘蛛啊
挺难受
屏蔽不需要蜘蛛抓的地方,当然,蜘蛛少的网站除外
该屏蔽的要屏蔽,不要浪费蜘蛛去做无用功。
没有蜘蛛的网站在此,旱的旱死,涝的涝死
有点浪费蜘蛛了
这些应该是要屏蔽掉的
屏蔽掉就好了
我丢,谷歌蜘蛛不少
这么浪费,我的没有蜘蛛来
然后呢
这么浪费,我的没有蜘蛛来
!!!!!!体会
这个抓取页面在哪里看的