搜外网>搜外问答>问答页面

日志分析的时候发现蜘蛛在抓取竞价计划页面,这是怎么回事,占比还比较大

<p><br></p><p>正常我们的这个页面到?前面就没有了,后面是为了标记竞价和普通访问区分用的。分析日志发现几乎一半的蜘蛛都去抓这个页面。</p><p><br></p><p>且在百度统计里面,特别北京来的访客户,访问的也是页面,怀疑就是蜘蛛</p><p><br></p><p>这种情况怎么解决,对网站有影响吗</p>

追加问题
    2 人参与回答

去禁止抓取试试,你网站路径应该有这个页面,所以百度蜘蛛才去抓的