搜外网>搜外问答>问答页面

求解答,为何百度蜘蛛总是来看抓取我的robots文件喃,其他页面也不抓取 悬赏1元 已结束

<p>求解答,我的www.cdljzc.com站点,为何百度蜘蛛总是来看抓取我的robots文件喃,其他页面也不抓取,就盯着robots文件来,一天来抓取几十次,但我也没有robots文件,返回404,,其他页面也不爬,怎么解决喃</p>

追加问题
    13 人参与回答

这个不是百度蜘蛛

发外链
发外链 ·

seo好难啊。。。

这不是百度蜘蛛。。。采集器伪装的。。。。

那就添加个Robots文件

深圳瑞萦传媒
深圳瑞萦传 · 擅长SEO推广,抖音,小红书等新媒体平台品牌营销渠道

这个没什么问题啊,百度来到页面第一个都是抓取这个文件的

大青山
大青山 · 深圳翻译公司-SEO还在潜修

不一定是百度蜘蛛

这个压根不是百度蜘蛛呀,阿里云的ip

这个没什么问题啊,百度来到页面第一个都是抓取这个文件的

那个ip也不像百度蜘蛛的ip

这个没什么问题啊,百度来到页面第一个都是抓取这个文件的

猫耳朵
猫耳朵 · 擅长日本动漫、以及各类影视写真题材、5iv88影视点击最右边就能免费get到

把这个无效链接做个死链提交给百度

这个可能是因为你的代码写错了,如果是新站,抓取这个没什么事

一年之计
一年之计 · 南瓜号

看看大神是怎么说的吧

SEO培训招生中
188