搜外网>搜外问答>问答页面

蜘蛛一直抓取api链接悬赏5元已结束

微信

Robots屏蔽没有用还是抓取,查了ip段是百度的,哪位大神了解的

Robots 举报 本帖由用户发布，如有侵权联系删除 2022-02-10 发布574 次浏览

8 人参与回答

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

吉祥如意、物流哥等 2 人赞同该回答

1、Robots已封禁，robots哪里测试，看看是否可以抓取，已屏蔽会显示屏蔽成功，如果已成功，那么没有问题；

2、蜘蛛抓取你的JSon数据是否放出收录在搜索引擎里面，如果没有并不影响；

3、已屏蔽，且外部也并无推送URL给百度站长，蜘蛛不会去抓取，可以持续观察几日，看看是否依旧抓取，同时看看是否被搜索引擎放出收录，robots显示已屏蔽，测试URL显示封禁，依旧被真蜘蛛抓取，可百度站长申诉反馈。

ps：只要抓取的json并未放出收录，那么影响不大，有疑惑也可申诉反馈百度站长

seoer · seo站群

吉祥如意等 1 人赞同该回答

不用管，404做好就可以

杭州继保 · 微机保护行业

看看是否可以抓取，

赵大宝

直接禁止抓取就行了吧

小荞麦

看看是否可以抓取，

屏蔽都没有用这个时候需要联系百度那边了

罗凌峰

这个没啥影响，Robots成功封禁了可以

yoyi

可能从其它渠道获取的

收录宝