搜外网>搜外问答>问答页面

怎么防止蜘蛛程序.的对本站的搜索

微信

举报 本帖由用户发布，如有侵权联系删除 2020-08-21 发布1,025 次浏览

广告位出租

广告位出租-排名优化

交换友情链接，就用搜外友链，方便！

10 人参与回答

享受生活

写Robots文件

勿忘心安

禁止抓取就行了

本溪百川膏

Robots文件禁止即可

思思 · 劳务派遣，劳务外包，人事代理，QQ2448907263

写Robots文件，禁止搜索引擎爬取

软件客栈

创建Robots.txt文件，内容写：

Disallow: /

代表不允许收录或爬行网站

葡萄皮皮 · http://www.nedfon.com/

Robots文件可以限制蜘蛛的爬行路径。

。

Robots文件吧

14 · 厂家批发直销树脂瓦，采光瓦，塑料瓦，pvc瓦→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→

写Robots文件，禁止搜索引擎爬取

leeyd · 佛系佛系，排名随缘，收录随缘，转化随缘

写Robots文件，不想哪个搜索引擎爬取就禁哪个，或者不想被爬取某个目录，就将那个目录禁止爬行

杭州继保 · 微机保护行业

防不胜防吧