网站地图制作工具为什么 不能抓取整个网站的内容呢 好多内容页内容都少了
sitemapX网站地图制作工具为什么 不能抓取整个网站的内容呢 好多内容页内容都少了 请问各位大神 这是怎么回事
3 人参与回答
最佳回答
你的网站有多少个真实的页面？存不存在url重复问题？
真实页面数量不是用Sitemapbuilder或老虎抓取的数量，而是真实的页面数量。
没有用过Sitemapx，只说两点：
1、如果sitemapx抓取的页面少于真实页面数，而其他工具抓取的页面等于真实页面数，说明sitemapx不太好用，你可以考虑使用其他工具。
2、如果sitemapx抓取的页面等于真实页面数，说明sitemapx比较好用，他能够自动判断一些冗余页面。
你提到的，有带www和不带www的页面，个人认为你需要处理一下，或者让所有的页面都带有www，或者都不带www，因为搜索引擎在抓取页面的时候，会自己判断是否带www的为独立站点，可能会认为你的网站存在页面重复的问题，对优化不好。
一句话，尽量满足搜索引擎，尽量减少搜索引擎的工作量。
