搜外网>搜外问答>问答页面

问下哪位高手知道为嘛搜狗蜘蛛只抓取首页和robots就没后续了呢

微信

Robots 搜狗

本帖由用户发布，如有侵权联系删除 2019-11-19 发布1,704 次浏览

举报

交换友情链接，就用搜外友链，方便！

2 人参与回答

用户159591

我的也是..不来抓取内页的了。。

用户143027 · 教育类站长一枚

你的Robots禁止搜狗蜘蛛爬取内页吗