搜外网>搜外问答>问答页面

真假蜘蛛怎么分辨,查询到百度老抓取一些不存在的文本路径怎么处理?

真假蜘蛛怎么分辨,查询到百度老抓取一些不存在的文本路径怎么处理?

追加问题
    2 人参与回答
梦梦
梦梦 · 泰海科技12年服务经验,专注于服务器租用

已经收录的话,不存在的路径设置404,提交死链,没收录就可以Robots禁止抓取

屏蔽这些目录

SEO培训招生中
188