百度蜘蛛很多时候在首页爬来爬去，比较少去内页，经常去一些不存在的地址很费解，请大佬答疑解惑悬赏1元已结束

Question

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

网站换域名或网页内容改版对网站有什么影响？

网站忽然出现很多访问者是怎么回事？

为什么词库还上不去，收录反而多了？

影响自然搜索排名的权重有哪些？

求助大佬，官网疑似被降权现在收录和品牌名都不能搜到

Answer 1

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

罗凌峰等 1 人赞同该回答

1、真正的蜘蛛是会通过网页里面的通道来进行爬行页面，如果网站里面并未有这些URL，还去爬行，这种蜘蛛可能非真实；
2、百度蜘蛛抓取爬行返回码404，出现了抓取异常，正常的都会在百度站长里面抓取异常里面有数据，你可以去看看，看看是否存在大量的404异常，如果没有异常，网站里面也没有这些不存在URL的通道，可能是模拟蜘蛛，做好网站备份和安全维护，避免被黑。
ps：自查下网页里面是否有这些通道，或者是老域名新上线，观察下这个持续多久，蜘蛛也不会经常性频繁的去抓取爬行返回码404的链接，确保没通道，关注下网站的安全。