如果把sitemap.xml写进了robots.txt里,那蜘蛛是不是就只爬sitepmap里有的链接,sitemap里没有的链接就不爬了? 悬赏1元 已结束

397 次浏览
追加问题
分享到微信 收藏
    4 人参与回答
1元
获得赏金

不会的,一样会爬的

刘振勇
刘振勇 · wsjpg纹身图案

不会的,也会爬

乐逍遥 · 研究SEO的小学生

也是有机会爬的

风逝
风逝 · seo优化,php网站建设,功能修改,前端页面修改。

不知道你说的是什么意思,Sitemap写进Robots是有封禁吗?没封禁肯定会爬,不仅是Sitemap里面的链接,其他链接也会来爬。