搜外网>搜外问答>问答页面

蜘蛛不爬取内页

为啥我的蜘蛛除了首页只抓群图片和js还有一些不存在的死链。内页都不爬取

追加问题
    1 人参与回答

Robots屏蔽死链,做下死链提交,每天坚持更新提交熊掌号

SEO培训招生中
188