搜外网>搜外问答>问答页面

网站一直被百度抓取wp-json怎么办? 悬赏5元 已结束

<p>WordPress刚建站一个月,百度就抓取乱七八糟的链接,后面用robots.txt禁止了,最近又开始抓取wp-json,用robots禁止几天都没用,该怎么办?需要在百度反馈下吗?帮我看看网站有违规吗?@蛙哥!</p><p></p><p></p>

追加问题
    14 人参与回答
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo
吉祥如意SunShine 等 2 人赞同该回答

1、百度蜘蛛抓取频次如何,这里的蜘蛛是否真实蜘蛛,抓取爬行的页面是否是自身网站里面实际存在的URL,如果是不存在URL,真的蜘蛛是不会抓取爬行;
2、看这些URL是否被搜索引擎给抓取收录,如果没收录无影响;
3、这些URL是否真实存在,如果是不存在URL,那么不用担心,不会被抓取,虚假蜘蛛才抓不存在URL。

罗凌峰 等 1 人赞同该回答

抓取诊断看是否Robots掉,已封禁便不会被抓取

seoer
seoer · seo站群
吉祥如意 等 1 人赞同该回答

你这个Robots.txt的规则写的应该有问题的

Robots.txt可以禁止的,你可以先试试看

橘生淮南
橘生淮南 · 外链用户

。。。不想被抓取的链接如果写在模板里面了,记得nofollw 如果太多就Robots.txt批量

不用管这个,没事

规则有问题吧

十六夜
十六夜 · 气象站-气象监测传感器-农业观测站设备-全自动气象站

不懂,等大佬来解释~

一般只要在Robots禁止抓取了就不会再抓取的

一般是禁止就不会再抓取了的

一般禁止了就不会抓取的,可能还没调整过来

@推推蛙,查了都是百度真蜘蛛,每天100。99都是抓的这些页面。假蜘蛛抓的是文章页面。

试试用Robots.txt禁止

一叶一天地
一叶一天地 · 达达兔

Robots.txt禁止后还有的话 先屏蔽那些ip 过半天在解除屏蔽

SEO培训招生中
188