我想获取自己网站的所有URL地址
有没有办法就是把自己网站的首页网址填上去 可以获取里面所有的url地址 比如:https://www.awind.com.cn/
然后自己抓取网站栏目下的所有网址
18 人参与回答
谢谢各位啊 我已经搞定了
做个网站地图就可以了,抓取全站的链接
下载网站链接抓取器,输入网址即可抓取所有网址,并生成txt文档。
生成网站地图就都有啦
就是生成主要链接的地图即可!
可以用小爬虫网站地图抓取
可以用网站地图制作工具来做抓取
可以生成网站地图,如果自己后台没这个功能的话,可以借助爱站之类的工具
这是爬虫吧,能获取到的
生成个.txt的地图,很方便
如果有想生成Sitemap,有多种工具可以生成,WP还有专门的xml地图插件,很方便。如果是直接提取URL,那可以用一些提取工具,可以搜索一下,昨天看到一个工具Screaming Frog SEO Spider。
我是每个网页打开复制的,目前没有找到快捷的方法。