搜外网>搜外问答>问答页面

网站一直被百度抓取wp-json怎么办？悬赏5元已结束

微信

<p>WordPress刚建站一个月，百度就抓取乱七八糟的链接，后面用robots.txt禁止了，最近又开始抓取wp-json，用robots禁止几天都没用，该怎么办？需要在百度反馈下吗？帮我看看网站有违规吗？@蛙哥!</p><p></p><p></p>

Robots JS WordPress 举报 本帖由用户发布，如有侵权联系删除 2021-11-15 发布1,110 次浏览

广告位出租

广告位出租-排名优化

交换友情链接，就用搜外友链，方便！

14 人参与回答

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

吉祥如意、 SunShine 等 2 人赞同该回答

1、百度蜘蛛抓取频次如何，这里的蜘蛛是否真实蜘蛛，抓取爬行的页面是否是自身网站里面实际存在的URL，如果是不存在URL，真的蜘蛛是不会抓取爬行；
2、看这些URL是否被搜索引擎给抓取收录，如果没收录无影响；
3、这些URL是否真实存在，如果是不存在URL，那么不用担心，不会被抓取，虚假蜘蛛才抓不存在URL。

SunSh

罗凌峰等 1 人赞同该回答

抓取诊断看是否Robots掉，已封禁便不会被抓取

seoer · seo站群

吉祥如意等 1 人赞同该回答

你这个Robots.txt的规则写的应该有问题的

路在脚下

Robots.txt可以禁止的，你可以先试试看

橘生淮南 · 外链用户

。。。不想被抓取的链接如果写在模板里面了，记得nofollw 如果太多就Robots.txt批量

不用管这个，没事

小米

规则有问题吧

十六夜 · 气象站-气象监测传感器-农业观测站设备-全自动气象站

不懂，等大佬来解释~

AA广告投

一般只要在Robots禁止抓取了就不会再抓取的

互联网推广

一般是禁止就不会再抓取了的

东顺贸易

一般禁止了就不会抓取的，可能还没调整过来

快乐是我

@推推蛙，查了都是百度真蜘蛛，每天100。99都是抓的这些页面。假蜘蛛抓的是文章页面。

艺赛旗

试试用Robots.txt禁止

一叶一天地 · 达达兔

用Robots.txt禁止后还有的话先屏蔽那些ip 过半天在解除屏蔽