搜外网>搜外问答>问答页面

看了网站日志发现有很多没听过的蜘蛛大量爬行,是否要将它们全部禁用?

最近发现大量的蜘蛛如MJ12bot,SemrushBot,BLEXBot等等过来爬行网站,是否要将其全部禁用?

追加问题
    8 人参与回答

把没用的蜘蛛写到 Robots.txt

贱贱
贱贱 · 喜欢玩网页游戏打发时间的。可以进来玩呀~!点击右侧回形针 ✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈

直接禁止境外访问就好

水羊
水羊 · 普奇研究院是专业从事漏水检测仪,测漏水查漏水精准定位,漏水探测仪

可以试试看 只要不影响

禁不禁这种也不影响你网站

泉水溪溪
泉水溪溪 · 鑫盛主营包装机设备,粉剂包装机,颗粒包装机,可用于面粉、粮食、化工、肥料行业

可以试试看 只要不影响

阳光
阳光 · 擅长建站,网站建设,网站搭建,seo优化

不用理会他就可以了。

陈之虎
陈之虎 · 正在输入……

可以禁掉 反正不影响网站

SEO培训招生中
189