为什么看到有人把sitemap.xml写进了robots.txt里,作用是什么呢?

316 次浏览

为什么看到有人把sitemap.xml写进了robots.txt里,作用是什么呢?robots不是禁止蜘蛛抓取的吗

追加问题
    8 人参与回答
子文
子文 · 之前做了N年互联网广告业务,从事摸索SEO优化3年,在职公司市场部,主要负责线上运营。

写进去可以告诉蜘蛛网站地图地址,Robots可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容

刘集陶
刘集陶 · 天津seo

一般都写进允许里的呢 所以写不写都一样

鹰眼智客
鹰眼智客 · AI智能拓客系统是鹰眼大数据针对传统行业拓客难研发的大数据精准营销拓客系统。范经理 微信:zhicun360

等于路牌,告诉蜘蛛这是我网站的地图,来抓吧

你要是好好看看你的服务器日志,你会发现蜘蛛进入你的网站爬取的第一个文件就是Robots,所以把网站地图放在里面让蜘蛛尽快爬取网站的连接,是有一定道理的。

额 这个都会写的吧

这个写不写都没关系的 效果不大

紫逸风
紫逸风 · 混迹SEO界15年确无所建树的人!

robots的作用不只是禁止,也可以写允许,把地图文件写进去相当于个指示牌,告诉蜘蛛地图文件的地址,作用并不大。

谭云财
谭云财 · 专注于武汉seo优化诊断和全网营销!QQ:1252569006

写不写的关系不大,没有多大的差距,只是简单的考虑搜索引擎这是网站地图的路径,但是用处不大。

回复问答禁止带推广链接,了解合理带链接的方法