5元悬赏：百度总数抓取这样的链接怎么处理！ 推荐热议 悬赏5元 已结束
<p>环球二手回收网-二手设备机械、再生资源、废旧物资，废品，收购处理平台www.btgjj.com.cn</p><p>最近查看服务器日志，百度蜘蛛总数抓取这样的链接，如图：</p><p>请问怎么禁止她抓取这样的链接，请详细说明方法！</p><p><br></p>
28 人参与回答
最佳回答
你可以参考知乎的 里面做了不少的优化
返回403可以不用管的，不会收录的
好好检查一下蜘蛛抓取的路径，返回是什么，在去解决
可能是假蜘蛛
可以吧不想抓取的在rob里屏蔽
Disallow: /*?*
Disallow: /?*
我的好像也是这样
我的好像也是这样
不知道你有没有封禁过，如果没有的话可以试试
说好的悬赏，说话好的如下图片那
现在百度对以登录的方式限制浏览页面内容的方式深恶痛绝，具体是那个算法忘记了，影响是肯定的。
说好的悬赏呢
动态的
Disallow:，看看
这个很简单的
