搜外网>搜外问答>问答页面

搜狗蜘蛛是不是有毒?

<p>搜狗蜘蛛一天到晚到网站  爬的都是图片 CSS、JS  这些东西  首页到现在还没收录   还有一帮垃圾蜘蛛呆着不走    怎么引搜狗去抓正常页面呐  </p><p></p>

追加问题
    5 人参与回答
简单收录网
简单收录网 · 来提交你的网站,免费做高权重免费外链

别理他就好了

屏蔽掉你不给抓取就可以了

༄归来仍是少年ༀ
༄归来仍是 · 文都考研辅导班,考研培训,考研辅导,为考研学子提供最新考研资讯

现在Robots屏蔽貌似也没啥用了,你就看你得网站所在服务器能不能承受住,能承受的住就不用管它

三九问答
三九问答 · 专业的有问必答平台

你图片文件写进Robots.txt 里面去啊

天朋
天朋 · 入行8年,企业站,建站,百度谷歌seo,sem,电商运营

把css,JS,图片在Robots里屏蔽一下