搜外网>搜外问答>问答页面

蜘蛛一直抓取api链接 悬赏5元 已结束

Robots屏蔽没有用还是抓取,查了ip段是百度的,哪位大神了解的

追加问题
    8 人参与回答
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo
吉祥如意物流哥 等 2 人赞同该回答

1、Robots已封禁,robots哪里测试,看看是否可以抓取,已屏蔽会显示屏蔽成功,如果已成功,那么没有问题; 

2、蜘蛛抓取你的JSon数据是否放出收录在搜索引擎里面,如果没有并不影响;

3、已屏蔽,且外部也并无推送URL给百度站长,蜘蛛不会去抓取,可以持续观察几日,看看是否依旧抓取,同时看看是否被搜索引擎放出收录,robots显示已屏蔽,测试URL显示封禁,依旧被真蜘蛛抓取,可百度站长申诉反馈。

ps:只要抓取的json并未放出收录,那么影响不大,有疑惑也可申诉反馈百度站长

seoer
seoer · seo站群
吉祥如意 等 1 人赞同该回答

不用管,404做好就可以

杭州继保
杭州继保 · 微机保护行业

看看是否可以抓取,

直接禁止抓取就行了吧

看看是否可以抓取,

屏蔽都没有用这个时候需要联系百度那边了

这个没啥影响,Robots成功封禁了可以

可能从其它渠道获取的

SEO培训招生中
189