为什么我网站的robots.txt没办法正常访问呢?
这是我的网站 金客网http://www.1stdy.com robots.txt的地址为:http://www.1stdy.com/robots.txt 但是通过百度站长获取robots.txt却提示:请求失败,我们已记录此问题并将尽快处理,请刷新页面或稍后再试,不知道这个情况是什么原因,有时候还会提示500错误,说百度没办法访问服务器,但是网站首页和内页通过工具是可以正常抓取的。
这是我的网站 金客网http://www.1stdy.com robots.txt的地址为:http://www.1stdy.com/robots.txt 但是通过百度站长获取robots.txt却提示:请求失败,我们已记录此问题并将尽快处理,请刷新页面或稍后再试,不知道这个情况是什么原因,有时候还会提示500错误,说百度没办法访问服务器,但是网站首页和内页通过工具是可以正常抓取的。