百度一直抓这个页面怎么办？ 推荐热议 悬赏1元 已结束
<p></a><a href="https://www.duanhuiapp。Com/" target="_blank" data-url="www.duanhuiapp。Com" class="show-5118-data" rel="nofollow">https://www.duanhuiapp。Com//wp-json/b2/v1/app/getAllTerms<br></p><p><br></p><p>每天只抓这个页面，怎么办？</p><p></p><p><br></p><p>百度后台上一个月也禁止这个文件了</p><p></p>
27 人参与回答
抓就抓呗 网站没蜘蛛来抓可会出问题
可以写一个禁止抓取的协议，禁止抓取这个页面
来凑个热闹...
一直抓就ro协议起来。
这个是在哪里看的啊
应该没什么影响 不用管
异常的话就直接拦截掉就行了
这个是在哪里看的啊
能不能把这个页面修改一下，多放点链接，随便他抓
一般可以忽略
可以做好内链引导蜘蛛抓取其他页面啊，抓取后收录了，再来抓取其实没啥影响的
如果没有收录，也没啥影响的
生效才可以自动删除
等后期生效才可以自动删除
好像没什么影响的
只要成功屏蔽缓存这些不用管
同意楼上的分析和观点哟
生效了就不会抓取了
不用理会
没什么影响的
这个真没影响，我有很多页面每天都抓好多次
实际上没啥影响的
也可能是模拟蜘蛛，不一定是百度
生效了就不会抓取了
等后期生效了就不会抓取了
