为什么看到有人把sitemap.xml写进了robots.txt里,作用是什么呢?

为什么看到有人把sitemap.xml写进了robots.txt里,作用是什么呢?robots不是禁止蜘蛛抓取的吗

追加问题
    8 人参与回答
谭云财
谭云财 · 专注于武汉seo优化诊断和全网营销!QQ:1252569006

写不写的关系不大,没有多大的差距,只是简单的考虑搜索引擎这是网站地图的路径,但是用处不大。

紫逸风
紫逸风 · 混迹SEO界15年确无所建树的人!

robots的作用不只是禁止,也可以写允许,把地图文件写进去相当于个指示牌,告诉蜘蛛地图文件的地址,作用并不大。

这个写不写都没关系的 效果不大

额 这个都会写的吧

H
Hit&R · 五年seo技术,喜欢建站、研究排名优化技术,欢迎互撩!

你要是好好看看你的服务器日志,你会发现蜘蛛进入你的网站爬取的第一个文件就是Robots,所以把网站地图放在里面让蜘蛛尽快爬取网站的连接,是有一定道理的。

鹰眼智客
鹰眼智客 · AI智能拓客系统是鹰眼大数据针对传统行业拓客难研发的大数据精准营销拓客系统。范经理 微信:zhicun360

等于路牌,告诉蜘蛛这是我网站的地图,来抓吧

刘集陶
刘集陶 · 天津seo

一般都写进允许里的呢 所以写不写都一样

子文
子文 · 之前做了N年互联网广告业务,从事SEO优化6年,目前创业做网络推广和短视频相关。

写进去可以告诉蜘蛛网站地图地址,Robots可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容