搜外网>搜外问答>问答页面

蜘蛛不爬取内页

微信

为啥我的蜘蛛除了首页只抓群图片和js还有一些不存在的死链。内页都不爬取

JS

本帖由用户发布，如有侵权联系删除 2019-12-10 发布1,007 次浏览

举报

交换友情链接，就用搜外友链，方便！

1 人参与回答

用户139807

Robots屏蔽死链，做下死链提交，每天坚持更新提交熊掌号