建一个 robots.txt 里面什么也不写 是什么意思?

建一个 robots.txt 里面什么也不写 是什么意思?

是不是允许任何搜索引擎抓取任何内容。

追加问题
    7 人参与回答
太阳
太阳 · 不仅仅是SEO
周东京 等 1 人赞同该回答

Robots.txt什么也不写等同于没有 robots.txt,表示允许搜索引擎抓取网站的全部内容。

周东京 等 1 人赞同该回答

首先你要明白Robots.txt协议

你可以通过robots.txt协议制定蜘蛛可以抓取那些文件,不可以抓取那些文件。

百度官方:仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。

注意:如果你robots.txt是空白的,什么都没有写,代表着默认允许各类搜索引擎抓取!

Robots.txt为搜索引擎提供指引。Disallow为禁止,Allow为允许,User-agent为定义搜索引擎的类型。

容许抓取的意思吧

张立博
张立博 · 搜问69号会员 电子商务从业者

1.空Robots文件代表允许抓取所有内容。

2.建立空robots.txt的原因,我猜测是避免出现搜索引擎抓robots的时候出现404吧?

李福生
李福生 · 努力钻研seo数据,寻找更多有利的渠道。

什么都没写的话,表示全部搜索引擎都可以抓取所有的页面。

空着一定是不对的。若对爬虫抓取有一定了解,就会知道Robots.txt被抓取次数比较频繁,那为什么不在里面填写上 Sitemap呢?这么好的资源不利用。

回复问答禁止带推广链接,了解合理带链接的方法