7 人参与回答

Xenu软件可以的,我的每次都是10万以上页面,2个小时就能爬完

都是实时自动更新上传到百度站长

大型网站的Sitemap叫技术弄自动更新的就行了,都大型站了不可能没技术把

制作Sitemap是SEO(搜索引擎优化)中的重要一步,因为它可以帮助搜索引擎了解你的网站结构和页面内容。对于大型网站,你可以考虑以下方法来创建Sitemap并包含所有页面的URL:

  1. 使用Sitemap生成工具:有很多在线工具和软件可以帮助你生成Sitemap,其中一些工具可以自动扫描网站并提取所有页面的URL。你只需要提供网站的根URL,工具会自动生成Sitemap文件。
  2. 使用爬虫程序:你可以编写一个自定义的爬虫程序,使用爬虫技术扫描整个网站并提取URL。爬虫程序会深度遍历你的网站链接,并生成一个包含所有页面URL的列表。然后,你可以将这些URL整理成一个Sitemap文件。

制作多个Sitemap的方法如下:
  1. 分割Sitemap:如果你的网站包含大量页面,可以将Sitemap文件分割成多个小的Sitemap文件。按照逻辑的页面分类,每个Sitemap文件包含一部分页面URL。例如,你可以按照产品类别或页面类型进行划分。
  2. 使用Sitemap索引文件:Sitemap索引文件是一个包含多个Sitemap文件链接的文件。你可以创建一个主Sitemap索引文件,其中包含多个Sitemap文件的链接。这样,你可以将大型网站的所有Sitemap组织在一个索引文件中。

当你创建了Sitemap或多个Sitemap后,你可以将它们上传到网站的根目录,并通过Google Search Console或其他搜索引擎工具提交Sitemap。这样,搜索引擎就可以找到并索引你网站的所有页面。记得每次网站有新的页面添加或旧的页面删除时,更新Sitemap并重新提交给搜索引擎。
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、大型网站如果URL很大,Sitemap也是需要按百度站长里面的标准来提交;
2、文件地址格式为txt或xml,每个地址文件最多包含50,000个网址且需小于10MB;
3、超过5万的URL就换其他Sitemap文件另外提交,分开提交就好;
4、sitemap可借助工具来生成。

用工区爬取全页面url到本地txt 上传到服务器 然后提交到百度资源平台就行了