谁来帮我看看,百度蜘蛛胡乱抓取不存在的url
<p>我的网站www.njrxi.com今天正好开通一个月了,目前就收录个首页,前几天我开始查询蜘蛛抓取情况,发现百度每天只抓取首页和一个目录:www.njrxi.com/showmaster/ 来源是www.njrxi.com/? fallback=1,我查了代码完全查不到这两个地址,于是我建立robots把showmaster目录给禁止了。</p><p>最近两天百度抓取数上来的,第一天还好,昨天的抓取全是乱七八糟的url,网上查了说有可能是域名之前建过站,但我查了没有啊。它这抓取的域名后面两条/是什么意思?</p><p>另外请问两个问题:</p><p>1、蜘蛛抓取有很多404会影响抓取和收录吗?</p><p>2、麻烦推荐个工具能查看网站日志查看蜘蛛每次抓取的时间</p><p><br></p>