google无法抓取我网站的内容 悬赏3元 已结束

网站www点jhnonwoven点com,原本一切正常,突然google检测说 检测到tobots文件,但是无法下载,导致现在google无法抓取网站内容,而事实情况是我的网站至始至终没有使用robots文件,根目录下面也从来没有这个文件,问了阿里云的空间商,说空间没有没问题,但是无论怎么出路,哪怕是重新再根目录下建立新的空白robots,依然使无法抓取,请大神给看看。

追加问题
分享到微信 收藏
    7 人参与回答
奋斗小青年
奋斗小青年 · 在这里希望用我所学的知识和经验去帮助更多的人吧!互相交流学习,大家一起成长!
王开木木木 等 1 人赞同该回答

Robots文本下载下来检查一下,看看有没有设置过什么东西,重新做一下修改调整,

雨人
雨人 · 黑枸杞等农产品营销

提供一个思路:如果出现Robots.txt出现无法抓取,但根本从来没设置过robot。不如直接建立一个robots.txt来定义哪个文件夹不允许访问(如果不会写robot也可以参考一下其它网站相同CMS的robot 内容差不多),这样就不会出现提示无法抓取的问题了。以前遇到过一次,后来证实是空间商设置错误。

狄枫
狄枫 · 只要努力,没有什么事情是做不到的。

1.不要建空的Robots.txt文件,随便写点内容。在这里给你提供一点。

User-agent: *
Allow: /

2.请使用google的抓取工具测试一下,除了无法下载robots.txt页面其它的页面可不可以抓取。

白帽站长
白帽站长 · 擅长网站内部优化、外链的发布与建设,白帽正规手法。

我的意思就是在FTP里面把Robots.txt文件给直接删除了,一了百了

曾庆平
曾庆平 · 著名网络营销SEO实战专家,曾为土巴兔、中旭、新三板资本圈推广经理以及犀牛之星的联合创始人!QQ:707468216

这个你说没有Robots不一定是robots文件,如果是这个一般在跟目录可以找到,但你这个根本没有,可能是页面 head 部分 meta 标签的一种,用于指令搜索引擎禁止索引(收录)本页内容。 原文链接(作者:江西SEO曾庆平):http://www.qingpingseo.com/seoxuexi/188.html,你可以去看看我这篇文章的介绍内容对比一下。

露个头,哈哈

提交谷歌网址,查看Robots。txt是不是屏蔽?