搜外网>搜外问答>问答页面

网站设置了robots禁止抓取，为什么还能抓取到？

微信

Robots 举报 本帖由用户发布，如有侵权联系删除 2021-06-04 发布794 次浏览

3 人参与回答

全民创业论 · 全民创业论坛原创实战项目，学习网络赚钱请到全民创业论坛！

这个只要生效就不会被抓取的，检查一下是否写错了

￡小黎明 · SEO小白 →（大哥大嫂过年好——-▄█▀█●—-—帮小弟点一下回形针，感激不尽——-—▄█▀█●———☛☛☛☛☛

可以直接在百度站长平台上的抓取诊断那测试一下，可能你写错了

日式小吃 · 鸣门鲷烧本铺，经营日式小吃，产品有关东煮、章鱼小丸子、鲷鱼烧、玉子烧等

你看你有没有写错一般 Robots生效就不会被抓取了可以直接在百度站长平台上的抓取诊断那测试一下你想不被抓取的链接是否生效什么的

收录宝