搜外网>搜外问答>问答页面

为什么写了robots禁止蜘蛛抓取,内容还是收录

微信
追加问题
Robots
本帖由用户发布，如有侵权联系删除  2023-03-06 发布579 次浏览
举报
其他问题
 
    6 人参与回答
用户210320 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

应该还没有更新。

2 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
用户223261

百度抓取Robots 好像有周期 没有那么快更新

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户189805 · 315防伪标签办理中心-全国315产品防伪查询中心

这个可以在专业技术人员分析一下

2 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
用户162725

同意楼上的观点

2 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
用户3319 · 知晓生活大小事！

Robots.txt只是对大站有用，小站，蜘蛛想爬就爬

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户126538 · 苦逼的打工人

Robots.txt属于君子协议。人家不想遵守你也没办法

2 年前
IP属地：河南
赞同 0 评论 1
收藏 举报
评论取消

收录宝

91393 08589 18336 iaoda om/16 om/17 om/20 om/14 om/15 om/44 om/19 om/43 om/23 om/18 om/46 om/42 om/24 om/28 -2/37 -4/57

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司