搜外网>搜外问答>问答页面

网站抓取了一些不存在的目录跟页面,本站倒是一个都不抓取是怎么回事?

<p>网站抓取了一些不存在的目录跟页面,本站倒是一个都不抓取是怎么回事?要如何做才能让百度来抓取本站页面,一个多页了啥都没抓取,谜一样。。。www.szgoai.com</p><p>以下抓取页面都不存在,另外网站例如新闻页面生成的文章在根目录是没有的,应该是动态的,这是否导致都不抓取了呢?</p><p></p>

追加问题
    35 人参与回答
老表哥财税
老表哥财税 · 提供代理记账 公司注册 公司注销 税务筹划 建筑资质代办
我的微信:sec_vip 等 1 人赞同该回答

写个Robots禁止一些不应该抓取的内容。

我的微信:sec_vip 等 1 人赞同该回答

真实的蜘蛛是不会抓取不存在的网页的,不用管这些内容,看看就好

我的微信:sec_vip 等 1 人赞同该回答

感觉就是的,抓不存在的空页面快的很,抓真实页面了比蜗牛还慢

米时光
米时光 · 影视生活学习一把抓
我的微信:sec_vip 等 1 人赞同该回答

不用管这个,老实做好内容就行,看这个完全没啥用

我的微信:sec_vip 等 1 人赞同该回答

貌似大部分都不收录 把没用的文件禁止抓取 限制一下

孙稳兵
孙稳兵 · 智慧消防,智慧用电厂家
我的微信:sec_vip 等 1 人赞同该回答

做个robot文件 限制一下吧

我的微信:sec_vip 等 1 人赞同该回答

有些是假的百度蜘蛛,你要自己研究

我的微信:sec_vip 等 1 人赞同该回答

抓不存在的空页面快的很

Lewis
Lewis · 网站开发与维护,SEO推广
我的微信:sec_vip 等 1 人赞同该回答

做个Nofollow或者建个robot文件夹屏蔽不想要被抓取的页面

磁共振检查
磁共振检查 · 磁共振检查-深圳磁共振-华影门诊部
我的微信:sec_vip 等 1 人赞同该回答

持续优化就可以了 不用看太多

十六夜
十六夜 · 气象站-气象监测传感器-农业观测站设备-全自动气象站
我的微信:sec_vip 等 1 人赞同该回答

做一下屏蔽,禁止抓取某些用不到的文件,别太多。然后看一下状态码是否是404,死链及时提交和清除

拼多多-大C
拼多多-大 · 齐论拼多多学院,专注拼多多培训
我的微信:sec_vip 等 1 人赞同该回答

没有用的就让做网站的代码技术人员帮你们禁止抓取了吧,自己也可以弄的,网站不收录就提交,在百度资源平台抓取诊断一下看看有没有异常

蜻蜓队长
蜻蜓队长 · 免费ppt模板下载(搜:鲸鱼办公)
我的微信:sec_vip 等 1 人赞同该回答

得在等几天看看

我的微信:sec_vip 等 1 人赞同该回答

没办法的,这个正常现象

是不是真的百度蜘蛛抓取的呢!

加载更多
SEO培训招生中
173