搜外网>搜外问答>问答页面

上线三个月左右的网站是否需要要那些垃圾蜘蛛屏蔽了?服务器目前负载还不大。

追加问题
    5 人参与回答
兴哥
兴哥 · POS机刷卡机免费办理

垃圾蜘蛛都得屏蔽掉。

天行健咨询
天行健咨询 · 精益生产管理与六西格玛管理咨询,培训机构

之前,我看了教程,通过Robots.txt协议来控制蜘蛛抓取,结果没有任何作用,因为这玩意没几个蜘蛛会遵守,尤其是那些垃圾蜘蛛。正常情况下都是采用web服务器来控制,比如nginx的防止垃圾蜘蛛抓取的代码

涌泉
涌泉 · 十年SEO ,SEM ,TO B运营经验

建议屏蔽掉垃圾蜘蛛

建议屏蔽掉垃圾蜘蛛

科兰布线
科兰布线 · clan科兰通讯是一家专注于综合布线的全球供应商,累计10余年行业经验,专注综合布线产品:铜缆、线缆、配线架、机柜等

负载大不大的,垃圾蜘蛛都得屏蔽掉。

SEO培训招生中
188