搜外网>搜外问答>问答页面

MJ12bot、AhrefsBot、SemrushBot网站被这些垃圾蜘蛛疯狂的爬。 悬赏1元 已结束

微信

MJ12bot、AhrefsBot、SemrushBot网站被这些垃圾蜘蛛疯狂的爬。日志一天就几十M，怎么处理啊？

追加问题
SEM 举报 本帖由用户发布，如有侵权联系删除  2020-05-10 发布2,468 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    4 人参与回答
豆芽
豆芽
权重蜘蛛-池出租 等 1 人赞同该回答

直接屏蔽UA

4 年前
IP属地：浙江
赞同 1 评论 0
收藏 举报
评论取消
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo
权重蜘蛛-池出租 等 1 人赞同该回答

<p><b>这里面是有人通过这些工具去查看和分析你的站点，也可能是你自己的操作；这几个爬虫全是外链分析的国外网站，他只是分析的时候会爬你的站点。</b><br></p><h3></h3><p>Majestic外链分析seo数据!</p><p><br></p><p><br></p>

4 年前
IP属地：天津
赞同 1 评论 0
收藏 举报
评论取消
Crony
Crony
权重蜘蛛-池出租 等 1 人赞同该回答

禁止了，还是会来爬。

4 年前
IP属地：重庆
赞同 1 评论 0
收藏 举报
评论取消
盼盼
盼盼
权重蜘蛛-池出租 等 1 人赞同该回答

可以禁止一下就行了。。

4 年前
IP属地：四川
赞同 1 评论 0
收藏 举报
评论取消
搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司