搜外网>搜外问答>问答页面

蜘蛛抓取robots.txt 为什么404 是正常的吗

<p>网站:www.chlbh.cn</p><p></p>

追加问题
    7 人参与回答

这不太正常吧,404页面是错误页面

Robots.txt 不是后台管理内容吗?蜘蛛应该抓不到吧

日式小吃
日式小吃 · 鸣门鲷烧本铺,经营日式小吃,产品有关东煮、章鱼小丸子、鲷鱼烧、玉子烧等

回答问题的朋友们,我的网站根目录下有这个文件,也能直接在浏览器打开,不然我就不会问这个问题了~

香港服务器租用
香港服务器 · 磐石云天海外服务器 香港服务器租用 美国服务器租用 香港站群服务器租用

404就是没有这个页面 意思就是你的网站下没有这个文件呢

建议查看下根目录

我们上次也是出现了这种情况,不知道什么原因

人生=π
人生=π · 建站小程序空间域名服务器百度爱采购

检查网站页面是否存在

404就是没页面啊

SEO培训招生中
188