搜外网>搜外问答>问答页面

百度蜘蛛就只抓robots咋回事?

<p>每天来一下,就抓下主页,抓几下robots,就收录了主页,内页没收,每天就对着robots一顿抓,是协议写的有问</p><p>题吗,大佬帮忙给看看</p>

追加问题
    4 人参与回答

我的也开始了服了

这不是真的蜘蛛啊,IP都不对

大地旅人
大地旅人 · 一个热爱美食&amp;amp;amp;且喜欢旅游的网站行业工作者&amp;amp;amp;当然佛系#

新站都这样,习惯就好

假蜘蛛,鉴定完毕