搜外网>搜外问答>问答页面

大佬们帮我看下是不是只有绿标是真百度蜘蛛,红标都是假的冒充百度蜘蛛?

<p>大佬们帮我看下是不是只有绿标是真百度蜘蛛,红标都是假的冒充百度蜘蛛?这种蜘蛛怎么禁止访问啊,每天来爬取很多次,不知道干嘛的,可以设置robots.txt文件禁止访问嘛?比如这样设置:</p><p>User-agent: <span> 8.134.54.243</span></p><p>Disallow: /</p><p>是设置正确的嘛</p><p></p>

追加问题
    0 人参与回答
该问题还没有收到回答 :(