搜外网>搜外问答>问答页面

百度搜索引擎可以抓取到很多网站根目录没有的文件？ 悬赏1元 已结束

微信

百度搜索引擎可以抓取到很多网站根目录没有的文件？返回的都是404，在根目录确实没有这种文件，求大佬指教？

追加问题
根目录 404 举报 本帖由用户发布，如有侵权联系删除  2019-10-30 发布1,610 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    12 人参与回答
亮健好
亮健好 · 亮健好药网-网上买药的正规网站!药品网,药房网请选亮健医药网!
xxy徐 等 1 人赞同该回答

除了做404，也写进Robots吧，不然爬那么多没用的文件，降低了蜘蛛的好感度

4 年前
IP属地：广东
赞同 1 评论 2
收藏 举报
评论取消

匿名用户

含玉 等 1 人赞同该回答

没有就不用管 404也是你网站的一个页面

4 年前
IP属地：安徽
赞同 1 评论 1
收藏 举报
评论取消
我叫猫先生
我叫猫先生 · 谷歌海外推推广

既然做了404就无需多花心思，把通往404页面的链接Nofollow或者mate Robots

4 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
蓝天
蓝天 · 海外大健康品牌推广合作（试管婴儿、基因检测）专业顾问团队帮忙谈单，合作微信yihe160

建议可以用日志分析工具查看下，是否是百度的蜘蛛。不正常的蜘蛛可以使用Robots文件来禁止掉，如果遇到流氓蜘蛛，比如最近的今日头条派出的蜘蛛，大家都反映它不遵守robots，可以百度下具体的封禁策略（内容比较多不展开讲），另外看是不是有之前的死链，整理一下，提交给百度，百度站长工具里面有死链提交。

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
左左渔
左左渔 · 专注“科技项目申报”体系

做好404，其他就正常优化把

4 年前
IP属地：安徽
赞同 0 评论 0
收藏 举报
评论取消
陈昌辉
陈昌辉 · 健身教练培训

好像不行吧，我觉得楼上说的对，可能是假蜘蛛

4 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
德玛嘻吖万岁
德玛嘻吖万

假蜘蛛，在试你的网站有没有漏洞。

4 年前
IP属地：湖北
赞同 0 评论 1
收藏 举报
评论取消
岁月神偷
岁月神偷

我的也是，Robots文件禁止了，然后抓的特别多我查了下是假的百度蜘蛛，但是我禁止对方IP了，还是被抓了，我也搞不懂

4 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
A程力专用车15971940101 韩
A程力专用 · 程力专用车销售，主营：冷藏车，雏禽运输车，散装饲料车，市政清淤车等。

做好404，正常优化。

4 年前
IP属地：湖北
赞同 0 评论 0
收藏 举报
评论取消
粤讲越掂
粤讲越掂 · 膏药seo

只要404做好，这个不会有影响的

4 年前
IP属地：广东
赞同 0 评论 1
收藏 举报
评论取消
崔家大院
崔家大院 · 网站诊断、建站、快速排名

这个没事做好404页面，抓取的这些 是个网站都会有这个问题，也是是假蜘蛛爬去网站漏洞啥的。不用太在意 正常优化就行了

4 年前
IP属地：北京
赞同 0 评论 1
收藏 举报
评论取消
施先生
施先生 · 资深的SEO/SEM工作者和管理者

应该是你的路径问题

4 年前
IP属地：上海
赞同 0 评论 1
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 索引更新中，请耐心等待
  • 妹子一枚，这个星期去相亲，做优化的，职业怎么和男方说呢，友友们给想想？
  • 本周为什么站长工具的数据都不及时更新了？有截图
  • 选择​西安高防服务器的优势是什么？
  • 我的网站收录显示是收录的，但是就是公司名称都找不到是啥原因啊。而且也一直在更新。
  • 首页加了几个关键词 会被降权吗？
  • 网站收录在回暖，反链在下降，怎么破？
  • 您查询的关键词仅在网页标题或指向此网页的链接中出现。这是什么意思？如图！
  • 网站推广计划怎么做呀，求教！
  • 查看了服务器日志，这样的抓取是不是有问题的呢？
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司