搜外网>搜外问答>问答页面

谁来帮我看看,百度蜘蛛胡乱抓取不存在的url

<p>我的网站www.njrxi.com今天正好开通一个月了,目前就收录个首页,前几天我开始查询蜘蛛抓取情况,发现百度每天只抓取首页和一个目录:www.njrxi.com/showmaster/ 来源是www.njrxi.com/? fallback=1,我查了代码完全查不到这两个地址,于是我建立robots把showmaster目录给禁止了。</p><p>最近两天百度抓取数上来的,第一天还好,昨天的抓取全是乱七八糟的url,网上查了说有可能是域名之前建过站,但我查了没有啊。它这抓取的域名后面两条/是什么意思?</p><p>另外请问两个问题:</p><p>1、蜘蛛抓取有很多404会影响抓取和收录吗?</p><p>2、麻烦推荐个工具能查看网站日志查看蜘蛛每次抓取的时间</p><p><br></p>

追加问题
    4 人参与回答

这些一般老域名才有的情况吧

这些PHP的话 你直接在Robots里面屏蔽掉PHP文件就行吧 她就不会再爬了

客套企业名录
客套企业名 · 一款可以搜索企业名录的CRM软件。

PHP页面如果打不开就提交死链,然后Robots继续屏蔽一下

Summer
Summe · seo学习群:690388174

肯定会影响啊,蜘蛛来你网站抓取,去一趟发现页面没东西,这是浪费蜘蛛资源,久而久之你的站抓取频率就会降低,进而会影响到网站的收录和排名;所以你这种情况,网站做个404页面是有必要的。

SEO培训招生中
172