采集大神遇到没有列表的网站怎么采集呢？
以前遇到没有列表的网站就先采集网址和标题 如 www.baidu.com/1.html 至 www.baidu.com/99999.html
之后在网址的标题里筛选出符合关键词的网址进行采集。
现在有些网站没有列表，文章地址还类似于 4d55c920723eF70C.shtml 这样无规则，请问这样该怎么采集呢？？？
就像头条，你不论怎么搜索，它不给你整个搜索数据，只给几十个就向下拉不动了 怎么才能采集呢？
4 人参与回答
以前遇到没有列表的网站就先采集网址和标题 如 www.baidu.com/1.html 至 www.baidu.com/99999.html
之后在网址的标题里筛选出符合关键词的网址进行采集。
现在有些网站没有列表，文章地址还类似于 4d55c920723eF70C.shtml 这样无规则，请问这样该怎么采集呢？？？
就像头条，你不论怎么搜索，它不给你整个搜索数据，只给几十个就向下拉不动了 怎么才能采集呢？
