搜外网>搜外问答>问答页面

求解答，为何百度蜘蛛总是来看抓取我的robots文件喃，其他页面也不抓取 悬赏1元 已结束

微信

<p>求解答，我的www.cdljzc.com站点，为何百度蜘蛛总是来看抓取我的robots文件喃，其他页面也不抓取，就盯着robots文件来，一天来抓取几十次，但我也没有robots文件，返回404，，其他页面也不爬，怎么解决喃</p>

追加问题
Robots 404 百度蜘蛛
本帖由用户发布，如有侵权联系删除  2021-06-18 发布1,203 次浏览
举报
其他问题
 
    13 人参与回答
用户176845

这个不是百度蜘蛛

4 年前
IP属地：广东
赞同 0 评论 1
收藏 举报
评论取消
用户136684 · 无

seo好难啊。。。

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户196398

这不是百度蜘蛛。。。采集器伪装的。。。。

4 年前
IP属地：重庆
赞同 0 评论 3
收藏 举报
评论取消
用户129887

那就添加个Robots文件

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户147699 · 擅长SEO推广,抖音,小红书等新媒体平台品牌营销渠道

这个没什么问题啊，百度来到页面第一个都是抓取这个文件的

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户161559 · 深圳翻译公司-SEO还在潜修

不一定是百度蜘蛛吧

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户199411

这个压根不是百度蜘蛛呀，阿里云的ip

4 年前
IP属地：福建
赞同 0 评论 0
收藏 举报
评论取消
用户130395

这个没什么问题啊，百度来到页面第一个都是抓取这个文件的

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户6183

那个ip也不像百度蜘蛛的ip

4 年前
IP属地：福建
赞同 0 评论 0
收藏 举报
评论取消
用户185058

这个没什么问题啊，百度来到页面第一个都是抓取这个文件的

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户191021 · 擅长日本动漫、以及各类影视写真题材、5iv88影视点击最右边就能免费get到

把这个无效链接做个死链提交给百度

4 年前
IP属地：上海
赞同 0 评论 1
收藏 举报
评论取消
用户141199

这个可能是因为你的代码写错了，如果是新站，抓取这个没什么事

4 年前
IP属地：河北
赞同 0 评论 1
收藏 举报
评论取消
用户120418 · 南瓜号

看看大神是怎么说的吧

4 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消

收录宝

66358 86625 93794 03651 22528 15146 35528 44087 51259 59144 66568 86876 03905 15356 44296 35782 59354 68369 49956 36159

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司