搜外网>搜外问答>问答页面

百度蜘蛛很多时候在首页爬来爬去，比较少去内页，经常去一些不存在的地址很费解，请大佬答疑解惑悬赏1元已结束

微信

如题。百度蜘蛛经常像苍蝇一样在首页串来串去，不去内页。只有在百度站长“抓取诊断”提交内页，才会显示有蜘蛛爬过。另外总是爬一些没有的地址，一去肯定触发404，总感觉哪不对劲。请大佬帮忙分析分析

404 百度蜘蛛举报 本帖由用户发布，如有侵权联系删除 2024-06-27 发布436 次浏览

交换友情链接，就用搜外友链，方便！

3 人参与回答

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

罗凌峰等 1 人赞同该回答

1、真正的蜘蛛是会通过网页里面的通道来进行爬行页面，如果网站里面并未有这些URL，还去爬行，这种蜘蛛可能非真实；
2、百度蜘蛛抓取爬行返回码404，出现了抓取异常，正常的都会在百度站长里面抓取异常里面有数据，你可以去看看，看看是否存在大量的404异常，如果没有异常，网站里面也没有这些不存在URL的通道，可能是模拟蜘蛛，做好网站备份和安全维护，避免被黑。
ps：自查下网页里面是否有这些通道，或者是老域名新上线，观察下这个持续多久，蜘蛛也不会经常性频繁的去抓取爬行返回码404的链接，确保没通道，关注下网站的安全。