比如我全站用任何工具都抓不到,只能抓到首页,那么百度或者其他蜘蛛抓取的时候只能依靠sitemap,有没有绕开sitemap的状况,就比如,抓到首页之后,向下抓取没东西,直接走了,不爬sitemap,这个几率大嘛
如果你的全站只能抓到首页,那百度肯定就只能抓到你首页吧?就算你把Sitemap做好,那Sitemap里那些其他页面能被蜘蛛访问? 不管你有没有sitemap,得保证蜘蛛能访问你的页面,你的页面才能被抓取到。 或者说,你说的是一种情况,首页没有任何通往其他网站内页面的URL,这时候蜘蛛就只能依赖sitemap去抓取你的其他页面,也有被收录的几率,但这种情况对SEO是极不友好的。 sitemap的优先级并不高,蜘蛛肯定是先从上往下访问你的首页,然后在从首页的各个URL往内部爬取其他页面。
抓到首页之后,向下抓取
让更多人参与回答