搜外网>搜外问答>问答页面

如果把sitemap.xml写进了robots.txt里，那蜘蛛是不是就只爬sitepmap里有的链接，sitemap里没有的链接就不爬了？悬赏1元已结束

微信

Robots Site Sitemap

本帖由用户发布，如有侵权联系删除 2019-01-28 发布2,599 次浏览

举报

交换友情链接，就用搜外友链，方便！

4 人参与回答

用户86833 · seo优化，linux运维，前端页面修改。

不知道你说的是什么意思，Sitemap写进Robots是有封禁吗？没封禁肯定会爬，不仅是Sitemap里面的链接，其他链接也会来爬。

用户103210 · 研究SEO的小学生

也是有机会爬的

用户45901 · wsjpg纹身图案

不会的，也会爬

用户99508

不会的，一样会爬的