搜外网>搜外问答>问答页面

如何防止机器人或者网络爬虫爬取自己的网站？

微信
追加问题
本帖由用户发布，如有侵权联系删除  2024-07-09 发布623 次浏览
举报
其他问题
 
    7 人参与回答
用户173621 · 第三方软件测试报告

使用waf防火墙，对一些不友好的user-agent禁止访问网站。没有更好的办法

1 年前
IP属地：天津
赞同 0 评论 0
收藏 举报
评论取消
用户195724 · 广州格栏特是一个铝合金脚手架的出租售卖的公司，量大从优！需要的联系138-2600-2184微信同步

估计很难避免的吧

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户243711

把网线拔了,

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户242681

这很难避免的吧。

1 年前
IP属地：北京
赞同 0 评论 0
收藏 举报
评论取消
用户242926

在网站的Robots.txt文件中设置禁止机器人访问的页面或目录。

1 年前
IP属地：海南
赞同 0 评论 0
收藏 举报
评论取消
用户206886

在宝塔里面购买高级的防护系统

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户240377 · 液体流量计，液体/气体检定装置厂家196-9378-6536（同微）

这很难避免的吧。

1 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消

收录宝

91393 08589 18336 iaoda om/16 om/17 om/20 om/14 om/15 om/44 om/19 om/43 om/23 om/18 om/46 om/42 om/24 om/28 -2/37 -4/57

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司