搜外网>搜外问答>问答页面

看了网站日志发现有很多没听过的蜘蛛大量爬行，是否要将它们全部禁用？

微信

最近发现大量的蜘蛛如MJ12bot，SemrushBot，BLEXBot等等过来爬行网站，是否要将其全部禁用?

追加问题
网站日志 BLEXBot SEM
本帖由用户发布，如有侵权联系删除  2022-05-14 发布1,095 次浏览
举报
其他问题
 
    8 人参与回答
用户107736

把没用的蜘蛛写到 Robots.txt

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户130293 · 【广告外链发布】13年老域名 这里支持发布外链 不做“nofollow”屏蔽蜘蛛 不删帖论坛！点击右侧回形针 ✈✈

直接禁止境外访问就好

3 年前
IP属地：安徽
赞同 0 评论 0
收藏 举报
评论取消
用户175786 · 普奇研究院是专业从事漏水检测仪，测漏水查漏水精准定位，漏水探测仪

可以试试看 只要不影响

3 年前
IP属地：湖南
赞同 0 评论 0
收藏 举报
评论取消
用户156223

禁不禁这种也不影响你网站

3 年前
IP属地：天津
赞同 0 评论 0
收藏 举报
评论取消
用户215151 · 鑫盛主营包装机设备，粉剂包装机，颗粒包装机，可用于面粉、粮食、化工、肥料行业

可以试试看 只要不影响

3 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
用户215142 · 擅长建站，网站建设，网站搭建，seo优化

不用理会他就可以了。

3 年前
IP属地：重庆
赞同 0 评论 0
收藏 举报
评论取消
用户173017 · 正在输入……

可以禁掉 反正不影响网站

3 年前
IP属地：湖北
赞同 0 评论 0
收藏 举报
评论取消

收录宝

nmixi nmixi nmixi nmixi nmixi nmixi 20sfp 20sfp 20sfp 20sfp 20sfp 20sfp 20sfp 20sfp 20sfp 015hs 015hs 015hs 015hs 015hs

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司