搜外网>搜外问答>问答页面

站长平台提交sitemap显示异常:爬虫被封禁,是我文件的问题吗?

站长平台提交sitemap显示异常:爬虫被封禁,是我文件的问题吗?

追加问题
    5 人参与回答

可能是Robots文件限制了访问路径

你的Robots把蜘蛛禁了吧

User-agent: * 

Sitemap: https://网址/Sitemap.txt
可以直接这样写,给蜘蛛引路

lzb
lzb · 专注SEO优化,有需要的朋友会尽我所能力解答,或有需要优化网站的朋友也可以过来了解下

你在你网站的根目录 Robots.txt 文件 设置下User-agent: *

青岛崂山茶qdlsc.com
青岛崂山茶 · 崂盛源茗茶自产自销经营:崂山绿茶、崂山红茶、崂山野生茶等。

文件出问题了吧

SEO培训招生中
189