搜外网>搜外问答>问答页面

WordPress搭建的网站百度蜘蛛抓取了很多某明奇妙的文件，该怎么办？ 推荐热议

微信

<p>在robots文件中也限制了的，还是来抓取。全部都是404页面，该怎么办啊？</p><p><br></p>

追加问题
Robots 404页面 WordPress 404
本帖由用户发布，如有侵权联系删除  2019-12-24 发布2,196 次浏览
举报
其他问题
 
    28 人参与回答
用户164871

管他

6 年前
IP属地：湖北
赞同 0 评论 0
收藏 举报
评论取消
用户150070 · SEO，建站，仿站

这蜘蛛假的，别人伪装的

6 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户152826 · 艾塔SEO五年专注于网络营销行业。

这种不见得是百度蜘蛛，也可能是别人恶意扫描，扫你网站漏洞的

6 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
用户152886 · 网络推广

不用管

6 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
用户136178 · wwwfcjs56com

写一下Robots文件限制一些文件的抓取

6 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户160870 · 辽宁新福龙纸箱厂（www.lnxflgs.com）

假蜘蛛吧

6 年前
IP属地：贵州
赞同 0 评论 0
收藏 举报
评论取消
用户148915 · seo界吴彦祖 卫星：Xu03181616

我之前也是  

一、提交百度站长死链  百度会处理

二、自己删除

三、要想不再被抓取就到Robots里屏蔽

6 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
用户160427

LIVE意荐
0
ｒｏｂｏｔｓ屏蔽下啊，这样可以提升爬虫效率ｈｔｔｐ：／／ｗｗｗ．ｓｙｅｄｌ．ｃｏｍ／

6 年前
IP属地：福建
赞同 0 评论 0
收藏 举报
评论取消
用户81006 · 企业网站建设，企业网站优化，单词排名，全站优化，快排

写进Robots文件

6 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户164429 · 沈阳软件定制开发公司_OA办公系统_进销存软件_CRM系统

这样不好吧

6 年前
IP属地：辽宁
赞同 0 评论 0
收藏 举报
评论取消
用户129055 · 全网最差SEO优化

别管他

6 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户158005

可以忽略 假蜘蛛可能

6 年前
IP属地：海南
赞同 0 评论 0
收藏 举报
评论取消
用户158603

写个Robots文件吧

6 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户36009 · 圣考网QQ:363322014 微信：qqnba2 一起做友情链接all，互相把自己的权重拉起来吧

都是乱来的

6 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户134370

恶意扫描，你使用nslookup查询是否百度蜘蛛就知道了

6 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
用户148299 · 行星减速机品牌厂家

忽略这个

6 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户145490 · 本人主要从事物流行业

只能写Robots文件试能否屏蔽它

6 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
用户140638 · 同步带轮

这个应该可以忽略

6 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户158048

应该是假蜘蛛

6 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户161035

Robots屏蔽

6 年前
IP属地：湖南
赞同 0 评论 0
收藏 举报
评论取消
用户148249 · 行星减速机

看看真假蜘蛛

6 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户154059 · 神龙HTTP 高匿代理ip 免费测试

先查下真假蜘蛛

6 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
用户153443 · 精密齿轮

写Robots文件

6 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户162748 · 不一样的软件定制和开发

这些是被他人恶意扫描漏斗，正常，不需要处理，每天重点检测下网站是否正常，是否有被他们黑进去就好

6 年前
IP属地：福建
赞同 0 评论 0
收藏 举报
评论取消
用户113755 · 曦曦SEO个人博客，交换权重相当同行业友链+QQ2091563434记得备注→→→→→→→→→→→→→→→→→→→→

屏蔽了还抓取  不应该啊

6 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
用户151274 · 文化人：爱阴湿毯

ｒｏｂｏｔｓ屏蔽下啊，这样可以提升爬虫效率

6 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
用户136503 · 广告联盟评测

现在的蜘蛛都不太守规矩

6 年前
IP属地：云南
赞同 0 评论 0
收藏 举报
评论取消
用户132418

写进Robots文件

6 年前
IP属地：辽宁
赞同 0 评论 2
收藏 举报
评论取消

收录宝

/6464 -1534 -2702 -2624 d-652 -2475 -4001 -2016 -4418 -5773 -2188 -5471 /6491 -3551 -5398 -5381 d-931 -1456 78.co ntaij

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司