百度站长抓取诊断显示失败 状态码200 无法抓取到具体内容 悬赏1元 已结束
<p>网址:<a href="https://www.qlightcn.com/cn/board/news/page/17/" target="_blank" data-url="www.qlightcn.com" class="show-5118-data" rel="nofollow">https://www.qlightcn.com/cn/board/news/page/17/</a><br><br><br></p><p><br></p><p>同一个站点:<br><a href="https://www.qlightcn.com/cn/sitemap.xml" target="_blank" data-url="www.qlightcn.com" class="show-5118-data" rel="nofollow">https://www.qlightcn.com/cn/sitemap.xml</a><br><a href="https://www.qlightcn.com/_widgets/pdfv/web/viewer.php?prfurl=/productdata/productfiles/107/cn/catalog_107.pdf&nm=SWT" target="_blank" data-url="www.qlightcn.com" class="show-5118-data" rel="nofollow">https://www.qlightcn.com/_widgets/pdfv/web/viewer.php?prfurl=/productdata/productfiles/107/cn/catalog_107.pdf&nm=SWT</a><br>除以上两类网址可以正常抓取外,其他页面一律报错。</p><p>尝试的解决方案:使用了几乎国内所有CDN都测试了一遍,最后只有百度的云加速生效后可以正常抓取。但最近百度云加速会自动把百度爬虫的抓取回源地址,导致百度无法抓取。</p>