一般的网站都有robots.txt吗?

我的朋友给我的一个网站,我看了下根目录下面有个robots.txt,里面的内容是:
User-agent: *
Allow:
Allow: /?
Allow: /domains/erpkingdee.com/public_html/
Sitemap: http://www.erpkingdee.com/sitemap.xml

追加问题
    4 人参与回答
三木
三木 · 八年网络营销经验,微信公众号:三木谈
高级机器陈琥 等 2 人赞同该回答

有的网站,不想让蜘蛛抓取某些内容,就将这个内容的规则写在Robots里面。比如一些动态链接JS,或者死链接等。

一般正经做seo的网站都会有robots文件,这个文件是减少蜘蛛抓取没有必要的内容,你说的这个网站的robots写和不写没有什么区别。

你要是不写,默认的是搜索引擎可以抓取任何页面。如果你不想让抓取某些页面可以写成Disallow:规则

你可以查看下http://www.seowhy.com/robots.txt

袭明
袭明 · 搜外社区运营主管
付科凯 等 1 人赞同该回答

一般网站都有Robots.txt吗?
查看解释:什么是robots.txt文件?

关于这位朋友的robots写法,没有绝对错误,但不是一个好的robots写法。
参照:robots.txt文件用法举例
郭小青
郭小青 · 不断看书,不断摸索,不断总结,不断分析,不断实践,这便是成功。

写了相当没写,允许全部搜索引擎访问任何页面。

布布
布布 · 既然选择SEO,就会走到低,成为CEO

你朋友写错了吧,这样写的话。跟不写区别不大啊

回复问答禁止带推广链接,了解合理带链接的方法