网站地图抓取总是抓不全是什么原因？ 悬赏3元 已结束
<p>如题：我的站点<a href="http://www.xqc123.com/" target="_blank" data-url="www.xqc123.com" class="show-5118-data" rel="nofollow">http://www.xqc123.com/</a>最近重构了，用了很多工具生成网站地图，但总是抓取不全（试过很多）。有没有大神帮忙分析一下看是什么原因，难道是代码问题？</p><p></p>
1、网站地图抓取不全可以尝试多个工具去抓取，尖叫青蛙这个可以尝试下；
2、我这边生成你的网站地图，可抓取到的页面也就80+；
3、页面框架结构，是否能识别抓取；
4、栏目的URL是相对地址，那么你里面的这个href=。。/。。/+相对URL这个意义是什么。
可以试试爱站工具包中的网站地图
用尖叫青蛙，抓的比较全
建议用尖叫青蛙，抓的很全面
我用自己开发的自用工具，测试了一下，抓取到了166个页面，感觉抓取过程比较慢，因为本人也是做开发，我估计是第三方的SiteMap工具可能默认设置的超时时间过短，你的网站又有点慢，可能工具抓取过程中超过超时时间就跳过去了，导致数量减少。
要工具匹配你，估计有点难，不如先考虑改善一下访问速度试试看。
可能是工具的问题吧，我用的工具就有这种情况，大家伙帮我点一点网站，谢谢
可以多试几个工具抓取
有时候，可能是网站框架的问题 之前我有的网站手机端一直抓不全 只能抓到首页的链接 后来 才发现 原来手机端头部虽然有网站目录 但是就是抓不到 其他页面的内容 后来我在首页每个板块加上个连接到其他页面的锚文本 就好了
不知道你是不是这个情况
我刚才把网站地图生成了下 你看 是不是可以恢复了
你的相对路径是不是有问题呢，为什么要这样设置相对路径呢
1、可以尝试一下尖叫青蛙；
2、目前抓取你的网站地图数量为80+；
3、确保页面框架结构，能被识别抓取；
如果多个工具都抓取的不顺利可能说明你的网站路径确实存在一些问题，我是选择抓取数量多的地图进行上传提交
