搜外网>搜外问答>问答页面

网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？

微信

<p>网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？要如何做才能让百度来抓取本站页面，一个多页了啥都没抓取，谜一样。。。www.szgoai.com</p><p>以下抓取页面都不存在，另外网站例如新闻页面生成的文章在根目录是没有的，应该是动态的，这是否导致都不抓取了呢？</p><p></p>

追加问题
根目录 文章
本帖由用户发布，如有侵权联系删除  2021-08-12 发布1,248 次浏览
举报
其他问题
 
    35 人参与回答
用户203734 · 提供代理记账 公司注册 公司注销 税务筹划 建筑资质代办
用户204937 等 1 人赞同该回答

写个Robots禁止一些不应该抓取的内容。

4 年前
IP属地：四川
赞同 1 评论 0
收藏 举报
评论取消
用户197305
用户204937 等 1 人赞同该回答

真实的蜘蛛是不会抓取不存在的网页的，不用管这些内容，看看就好

4 年前
IP属地：河南
赞同 1 评论 0
收藏 举报
评论取消
用户181101
用户204937 等 1 人赞同该回答

感觉就是的，抓不存在的空页面快的很，抓真实页面了比蜗牛还慢

4 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
用户192134 · 影视生活学习一把抓
用户204937 等 1 人赞同该回答

不用管这个，老实做好内容就行，看这个完全没啥用

4 年前
IP属地：河南
赞同 1 评论 0
收藏 举报
评论取消
用户195244
用户204937 等 1 人赞同该回答

貌似大部分都不收录 把没用的文件禁止抓取 限制一下

4 年前
IP属地：山东
赞同 1 评论 0
收藏 举报
评论取消
用户144900 · 智慧消防，智慧用电厂家
用户204937 等 1 人赞同该回答

做个robot文件 限制一下吧

4 年前
IP属地：河南
赞同 1 评论 0
收藏 举报
评论取消

匿名用户

用户204937 等 1 人赞同该回答

有些是假的百度蜘蛛，你要自己研究

4 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
用户192853
用户204937 等 1 人赞同该回答

抓不存在的空页面快的很

4 年前
IP属地：四川
赞同 1 评论 0
收藏 举报
评论取消
用户203733 · 网站开发与维护，SEO推广
用户204937 等 1 人赞同该回答

做个Nofollow或者建个robot文件夹屏蔽不想要被抓取的页面

4 年前
IP属地：福建
赞同 1 评论 0
收藏 举报
评论取消
用户158698 · 磁共振检查-深圳磁共振-华影门诊部
用户204937 等 1 人赞同该回答

持续优化就可以了 不用看太多

4 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
用户201383 · 气象站-气象监测传感器-农业观测站设备-全自动气象站
用户204937 等 1 人赞同该回答

做一下屏蔽，禁止抓取某些用不到的文件，别太多。然后看一下状态码是否是404，死链及时提交和清除

4 年前
IP属地：北京
赞同 1 评论 0
收藏 举报
评论取消
用户201961 · 齐论拼多多学院，专注拼多多培训
用户204937 等 1 人赞同该回答

没有用的就让做网站的代码技术人员帮你们禁止抓取了吧，自己也可以弄的，网站不收录就提交，在百度资源平台抓取诊断一下看看有没有异常

4 年前
IP属地：福建
赞同 1 评论 0
收藏 举报
评论取消
用户201991 · 免费ppt模板下载（搜：鲸鱼办公）
用户204937 等 1 人赞同该回答

得在等几天看看

4 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
用户200752
用户204937 等 1 人赞同该回答

没办法的，这个正常现象

4 年前
IP属地：湖北
赞同 1 评论 0
收藏 举报
评论取消

匿名用户

是不是真的百度蜘蛛抓取的呢！

4 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
用户188278 · 竞价、信息流、优化

无用的就禁止抓取吧

4 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
用户53100 · 山东美新玻璃 | www . sdmeixinglass . com|

我感觉就是的，抓不存在的空页面快的很，抓真实页面了比蜗牛还慢

4 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
用户181510 · 重庆联合教育为广大学员提供自考、成教、网络教育等学历提升服务。

主要是做好持续优化

4 年前
IP属地：重庆
赞同 0 评论 0
收藏 举报
评论取消
用户162576 · 重庆新生植发，植养护为一体，为您全方位解决脱发困扰，详情联系13276600335

没办法的，这个正常现象

4 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
用户202788 · 阿里云代理返佣，腾讯云代理返佣，华为云代理返佣。百度云代理返佣，微信18129837002

百度的吗？我的到现在都没收录呢， 首页都不收录， 反馈了 啥都不回复，，百度是不准备玩儿了吗

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户197805

我感觉就是的，抓不存在的空页面快的很，抓真实页面了比蜗牛还慢

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户137963 · 专业的ERP定制开发、小程序开发、软件外包、软件开发服务商, 定制化开发服务, 擅长小程序开发,微商城开发,PHP项

无用的就禁止抓取

4 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
用户201042 · 婚姻配对 婚姻测试

没看懂 你说的啥 ，既然没有 这些页面 ，百度蜘蛛怎么能抓取到？肯定是有才可能抓取，你这应该是代码的问题，找别人做的，代码不精简？

4 年前
IP属地：山西
赞同 0 评论 0
收藏 举报
评论取消
用户197331 · 机械设备行业换友链的滴滴，SEO优化 SEO交流VX:3056861243

没有用的就让做网站的代码技术人员帮你们禁止抓取了吧，自己也可以弄的，网站不收录就提交，在百度资源平台抓取诊断一下看看有没有异常

4 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
用户136246 · Shuke.→谷歌SEO服务咨询微信：15877060841

没关系的，百度的蜘蛛就是这样，想尽可能获取用户隐私

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户190276 · 专注网站建设、网络营销推广、SEO优化，QQ97539994

百度这是做深层次的抓取，如果是死链那就在站长平台提交死链申请。

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户192846

我也一样，百度蜘蛛真流氓没什么 问题

4 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
用户176585 · 专业做美发、美容、养生、按摩、推拿、美甲行业收银系统

这些都禁止抓取了吧

4 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
用户159126 · 专业的有问必答平台

无用的就禁止抓取吧

4 年前
IP属地：湖北
赞同 0 评论 0
收藏 举报
评论取消
用户202829 · 米8体育直播官方账号

话说你这是百度站长里查看的吗？

4 年前
IP属地：菲律宾 菲律宾
赞同 0 评论 0
收藏 举报
评论取消
加载更多

收录宝

39750 52291 64958 77496 90079 02916 15287 27956 40495 27251 39750 64958 77538 90124 02665 15290 27870 40455 98248 06424

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司