<p>网站（www.goldenll.com）的Robots.txt没有禁止首页的抓取，为什么百度却抓不到？内页也一直没有收录。</p><p><br></p><p><br></p>
不太明白这个
Disallow: /最新文章 这里，这里直接屏蔽了全站
让更多人参与回答
