搜外网>搜外问答>问答页面

求解答，为何百度蜘蛛总是来看抓取我的robots文件喃，其他页面也不抓取 悬赏1元 已结束

微信

<p>求解答，我的www.cdljzc.com站点，为何百度蜘蛛总是来看抓取我的robots文件喃，其他页面也不抓取，就盯着robots文件来，一天来抓取几十次，但我也没有robots文件，返回404，，其他页面也不爬，怎么解决喃</p>

追加问题
Robots 404 百度蜘蛛 举报 本帖由用户发布，如有侵权联系删除  2021-06-18 发布993 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    13 人参与回答
Z
Z

这个不是百度蜘蛛

3 年前
IP属地：广东
赞同 0 评论 1
收藏 举报
评论取消
发外链
发外链 · 无

seo好难啊。。。

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
物恋视觉
物恋视觉

这不是百度蜘蛛。。。采集器伪装的。。。。

3 年前
IP属地：重庆
赞同 0 评论 3
收藏 举报
评论取消
XIWEN
XIWEN

那就添加个Robots文件

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
深圳瑞萦传媒
深圳瑞萦传 · 擅长SEO推广,抖音,小红书等新媒体平台品牌营销渠道

这个没什么问题啊，百度来到页面第一个都是抓取这个文件的

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
大青山
大青山 · 深圳翻译公司-SEO还在潜修

不一定是百度蜘蛛吧

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
天灵灵
天灵灵

这个压根不是百度蜘蛛呀，阿里云的ip

3 年前
IP属地：福建
赞同 0 评论 0
收藏 举报
评论取消
互联网推广公司
互联网推广

这个没什么问题啊，百度来到页面第一个都是抓取这个文件的

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
弹指春秋
弹指春秋

那个ip也不像百度蜘蛛的ip

3 年前
IP属地：福建
赞同 0 评论 0
收藏 举报
评论取消
罗帕德投影灯 李先生
罗帕德投影

这个没什么问题啊，百度来到页面第一个都是抓取这个文件的

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
猫耳朵
猫耳朵 · 擅长日本动漫、以及各类影视写真题材、5iv88影视点击最右边就能免费get到

把这个无效链接做个死链提交给百度

3 年前
IP属地：上海
赞同 0 评论 1
收藏 举报
评论取消
王威
王威

这个可能是因为你的代码写错了，如果是新站，抓取这个没什么事

3 年前
IP属地：河北
赞同 0 评论 1
收藏 举报
评论取消
一年之计
一年之计 · 南瓜号

看看大神是怎么说的吧

3 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
搜外微信
提供服务
常用链接
产品实验室
©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司