搜外网>搜外问答>问答页面

为什么看到有人把sitemap.xml写进了robots.txt里，作用是什么呢？

微信

为什么看到有人把sitemap.xml写进了robots.txt里，作用是什么呢？robots不是禁止蜘蛛抓取的吗

Robots Site 举报 本帖由用户发布，如有侵权联系删除 2019-06-18 发布5,723 次浏览

8 人参与回答

谭云财 · 专注于武汉seo优化诊断和全网营销！QQ：1252569006

写不写的关系不大，没有多大的差距，只是简单的考虑搜索引擎这是网站地图的路径，但是用处不大。

紫逸风 · 擅长SEO、微信小程序、Nodejs、PHP、Python

Charb

这个写不写都没关系的效果不大

赵大宝

额这个都会写的吧

Hit＆R · 七年seo技术，喜欢建站、研究排名优化技术，欢迎互撩！

你要是好好看看你的服务器日志，你会发现蜘蛛进入你的网站爬取的第一个文件就是Robots，所以把网站地图放在里面让蜘蛛尽快爬取网站的连接，是有一定道理的。

鹰眼智客 · AI智能拓客系统是鹰眼大数据针对传统行业拓客难研发的大数据精准营销拓客系统。范经理微信:zhicun360

等于路牌，告诉蜘蛛这是我网站的地图，来抓吧

刘集陶 · 天津seo

一般都写进允许里的呢所以写不写都一样

子文 · 之前做了N年互联网广告业务，从事SEO优化6年，目前创业做网络推广和短视频相关。

写进去可以告诉蜘蛛网站地图地址，Robots可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容