搜外网>搜外问答>问答页面

后台显示百度爬取了一些根本不存在的页面,这是什么原因?

<p></p>

追加问题
    6 人参与回答

这个有点奇怪,但是我的站里面,系统会自动生成一些列表页,你这个抓取的太乱了,根本无章可循

一般情况下蜘蛛是不会大量抓取不存在的链接的,除非是假冒的,这个ip就不是百度蜘蛛
windows 下dos中输入命令 nslookup ,如果名称中显示有 baiduspider-[查询ip].才是真的百度蜘蛛
搜狗蜘蛛、谷歌蜘蛛、360蜘蛛都支持

看看是不是假蜘蛛

服务器看看呢

检查下服务器设置

千里马
千里马 · 个人站长一枚!努力深耕SEO行业!

你是不是服务器存在多个站点?建议排查一下站点之间的防跨站文件

SEO培训招生中
184