用织梦做的一个网站，今天更新网站地图时候发现链接每增加，之后用来爱站的地图工具以及小爬虫等在线生成工具，都无法抓取到那些内容，同一个栏目下的文章有些能抓取，有些却不能抓取，是怎么回事呢？
1、一般实在存在的URL都会被抓取；
2、网站URL规划层级是否正确；
3、除了在线的在线生成地图网页版，可以用下“SiteMap X - 永久免费的网站地图制作工具”来抓取生成下看看能否抓取完整；
4、不能被抓取的页面，用百度站长抓取诊断看看能否被抓取，看看层级是否跟前面的一样，使用的在线工具是否有生成条数限制；
进来看推推娃的答案
没理解
学习一下~
推推娃很厉害看他就行
我也是织梦网站，用的是核心-频道模型-自由列表生成的Sitemap
目前一二级栏目、所有标签、所有详情页都是可以直接生成到Sitemap文件的、而且速度还贼快，比其他工具生成好多了
检查是不是哪里出问题了啊
这个情况没遇到，网站发出来我看看
尖叫青蛙，这个工具好用
第三方工具一般抓取链接是要遍历页面链接，而一般情况下如果你更新了较多文章，就可能出现抓取深度和链路无法抓到的情况。
1：建议使用织梦网站地图插件来生成网站地图，这样会比较全面点。
2：如果栏目下文章较多使得网站地图文件超过10M的话，还可以使用自定义页面来分配栏目进行网站地图生成。
一般通过这两种方式可以解决无法生成链接的情况。
匿名用户
在重新试试，如果还不行去官网找找问题
网站地址也看下我带的外链
难道是设置抓取的层级不够？？
换一个抓取链接的工具试一下，比如爱站工具包，
我也是用SitemapX这个工具抓取不到，换这个爱站工具包就可以了
让更多人参与回答
