搜外网>搜外问答>问答页面

有谁了解，ds-robot是哪家的扫描器或蜘蛛吗？

微信

日志中大量出现 user-agent:ds-robot/Nutch-1.20-SNAPSHOT

能否屏蔽，懂的大哥来说下

追加问题
举报 本帖由用户发布，如有侵权联系删除  2023-09-26 发布511 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    3 人参与回答
王威
王威

第一次看见这种，以前都没见过，?

1 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
雪花风月
雪花风月 · 互联网米虫

兄弟，这也行，不知道靠不靠谱啊，我看日志中每天爬得太多了，就想屏蔽

1 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
曾经的你
曾经的你

可信度不晓得高不高，反正他是这么说的，如图

一般对于这种大量出现的蜘蛛，特别是影响到服务器性能的蜘蛛，除了自己要做的搜索引擎外，我全部屏蔽了

1 年前
IP属地：重庆
赞同 0 评论 0
收藏 举报
评论取消
搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司