搜外网>搜外问答>问答页面

怎么防止蜘蛛程序.的对本站的搜索

微信
追加问题
本帖由用户发布，如有侵权联系删除  2020-08-21 发布1,148 次浏览
举报
其他问题
 
    10 人参与回答
用户176941

写Robots文件

5 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
用户84956

禁止抓取就行了

5 年前
IP属地：湖南
赞同 0 评论 0
收藏 举报
评论取消
用户139415

Robots文件禁止即可

5 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户138312 · 劳务派遣，劳务外包，人事代理，QQ2448907263

写Robots文件，禁止搜索引擎爬取

5 年前
IP属地：安徽
赞同 0 评论 0
收藏 举报
评论取消
用户93672

创建Robots.txt文件，内容写：

Disallow: /

代表不允许收录或爬行网站

5 年前
IP属地：广西
赞同 0 评论 0
收藏 举报
评论取消
用户181212 · http://www.nedfon.com/

Robots文件可以限制蜘蛛的爬行路径。

5 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
用户147013

Robots文件吧

5 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户141712 · 厂家批发直销树脂瓦，采光瓦，塑料瓦，pvc瓦→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→→

写Robots文件，禁止搜索引擎爬取

5 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户144201 · 佛系佛系，排名随缘，收录随缘，转化随缘

写Robots文件，不想哪个搜索引擎爬取就禁哪个，或者不想被爬取某个目录，就将那个目录禁止爬行

5 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户166956 · 微机保护行业

防不胜防吧

5 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消

收录宝

enyid enyid enyid enyid enyid enyid enyid enyid enyid enyid enyid enyid enyid enyid enyid enyid enyid enyid enyid enyid

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司