关于网站日志分析_百度蜘蛛只抓取robots.txt
<p>作为SEOer近12年的工作人员，今天检测网站日志，发现百度蜘蛛200状态只抓取robots.txt文件，其他的文章，产品页面都不抓取；</p><p>因为着急让产品页面抓紧收录，获取产品词的排名：<a href="http://www.hergom.net/product/" target="_blank" data-url="www.hergom.net" class="show-5118-data" rel="nofollow">www.hergom.net/product/</a> 大家是否有遇到过这样的问题，怎么去解决他？？？？</p><p><br></p><p>如下图：</p><p><br>目前每天百度蜘蛛抓取的都很多，但是基本都是首页跟robots页面；</p><p>我一直在想，是否需要采取作弊的手段，购买蜘蛛池，或者其他的外链来提升网站的收录（产品、新闻，其他页面），所以在这里面问下大家，是否有遇到类似上面的问题，且是如何解决的！！！</p>
