搜外网>搜外问答>问答页面

网站的接口老是被蜘蛛访问，需不需要写到robots协议里，禁止蜘蛛抓取呢？

微信

Robots

本帖由用户发布，如有侵权联系删除 2020-09-25 发布786 次浏览

举报

交换友情链接，就用搜外友链，方便！

5 人参与回答

用户168760 · 小团队创业型，一直在失败，一直在向前努力

有的搜索引擎不规矩，禁止了一样爬去，很麻烦

用户181395

嗯，直接禁止就好了

用户159126 · 专业的有问必答平台

无关的目录和文件建议写进去禁止爬

用户176834

可以禁止的

用户114639

可以。禁止爬行。