搜外网>搜外问答>问答页面

请教下ROBOTS的问题悬赏1元已结束

微信

刚刚更新了一下robots 加了 Disallow: /product/e23 那这个生效后，这四条链接是不是就都不抓取了呢？

Robots 举报 本帖由用户发布，如有侵权联系删除 2022-04-15 发布518 次浏览

8 人参与回答

最佳回答

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

复禾健康库等 1 人赞同该回答

1、Robots生效，能否屏蔽抓取，可以抓取诊断和robots哪里有检测的地方，检测下；

2、Disallow: /product/e23，如果e23是文件夹， /product/e23/1。html这样就能屏蔽，但是你的是e23_，这种就需要检测看是否能屏蔽，如果检测是已禁止，那么就是已屏蔽成功。

叮咚之声

要屏蔽抓取特定内容，需要填写完整链接，你写的Disallow: /product/e23，会导致蜘蛛不抓取整个e23目录内的文章

碌柚 · 永锢壳体，铝合金外壳，铝合金机箱CNC加工定制厂家

百度站长好像能监测Robots是否生效的，我自己没有做所以没测试过这个功能

媒介吧软文 · 媒介吧软文发稿平台meijie8,专注软文营销，网媒发稿自媒体发稿，软文代写代发，短视频营销。

这个很好解决

是的，屏蔽了就不会抓取了

PE管厂家 · pe管生产厂家18956729555，专业生产pe给水管、钢丝网骨架复合管、mpp电力管、燃气管、ppr管

Robots的问题 ROBOTS的问题

陈之虎 · 正在输入……

Robots能屏蔽指定的链接吗？

胡汉三 · 上海沈泉泵阀公司

额，好像是的，甚至是这个路径下的链接都不抓取

收录宝