搜外网>搜外问答>问答页面

想问下各位大佬们网站抓取失败是怎么回事

<p><br></p><p>网站可以正常打开,包括同ip下的其他网站也能正常抓取,代码什么的都没问题,请问有大神知道吗</p>

追加问题
    5 人参与回答
医院里的小萍姐
医院里的小 · SEO小白

查下你的Robots.txt文件

申虎包装-杨敏
申虎包装- · 上海厂家直供装盒机、灌装机、封口机、封尾机、旋盖机

能打开就是代表可以抓取的,查看抓取失败的代码,是什么情况

丁一
丁一 · 任你发广告论坛免费发布合法信息

你查下你的Robots.txt文件是没设置还是设置成禁止抓取了,争取的应该是:

User-agent: *

Disallow:

然后查下服务器是不是有什么限制,浏览器的问题一般不大!

冷却塔
冷却塔 · 冷却塔

换个浏览器

SEO培训招生中
189