搜外网>搜外问答>问答页面

如果把sitemap.xml写进了robots.txt里，那蜘蛛是不是就只爬sitepmap里有的链接，sitemap里没有的链接就不爬了？悬赏1元已结束

微信

Robots Site Sitemap 举报 本帖由用户发布，如有侵权联系删除 2019-01-28 发布2,478 次浏览

4 人参与回答

风逝 · seo优化，linux运维，前端页面修改。

不知道你说的是什么意思，Sitemap写进Robots是有封禁吗？没封禁肯定会爬，不仅是Sitemap里面的链接，其他链接也会来爬。

乐逍遥 · 研究SEO的小学生

也是有机会爬的

刘振勇 · wsjpg纹身图案

不会的，也会爬

芒果太忙

不会的，一样会爬的

收录宝