搜外网>搜外问答>问答页面

网站95%的蜘蛛都是谷歌，禁了也没用？

微信

谷歌爬了robots，还是大量爬取其他内容，htaccess能做屏蔽吗？

Robots 内容

本帖由用户发布，如有侵权联系删除 2019-06-14 发布2,468 次浏览

举报

交换友情链接，就用搜外友链，方便！

1 人参与回答

用户129482

在Robots.txt里可以屏蔽指定的蜘蛛，可能是你的robots.txt没写正确