我想获取自己网站的所有URL地址
有没有办法就是把自己网站的首页网址填上去 可以获取里面所有的url地址 比如:https://www.awind.com.cn/
然后自己抓取网站栏目下的所有网址
18 人参与回答
下载网站链接抓取器,输入网址即可抓取所有网址,并生成txt文档。
就是生成主要链接的地图即可!
可以用小爬虫网站地图抓取
生成个.txt的地图,很方便
然后自己抓取网站栏目下的所有网址
下载网站链接抓取器,输入网址即可抓取所有网址,并生成txt文档。
就是生成主要链接的地图即可!
可以用小爬虫网站地图抓取
生成个.txt的地图,很方便