搜外网>搜外问答>问答页面

有谁了解,ds-robot是哪家的扫描器或蜘蛛吗?

日志中大量出现 user-agent:ds-robot/Nutch-1.20-SNAPSHOT

能否屏蔽,懂的大哥来说下

追加问题
    3 人参与回答

第一次看见这种,以前都没见过,😂

雪花风月
雪花风月 · 互联网米虫

兄弟,这也行,不知道靠不靠谱啊,我看日志中每天爬得太多了,就想屏蔽

可信度不晓得高不高,反正他是这么说的,如图

一般对于这种大量出现的蜘蛛,特别是影响到服务器性能的蜘蛛,除了自己要做的搜索引擎外,我全部屏蔽了

SEO培训招生中
190