火车头大量的采集怎么避免文章重复？
文章重复率太高了，是和前段时间采集有关系，为什么采集之后，查询很多都有重复，以前也没有注意，这是什么原因导致的，火车头采集文章有避免文章重复的方法吗？为什么会重复的内容很多？
7 人参与回答
这个只有通过采集规则来屏蔽了~
没啥办法，因为采集的内容会被很多人重复利用，只要中间加点其他的信息，就没有办法去重，只能人工去重
在发布的时候开启重复标题不发布，我一直都是这样做的，
您好,在同一站点分类下的规则使用同一个网址库 您的意思是要每次运行这条采集规则都会重新采集不检测重复网址对吗?
编辑规则 > 第一步: 采集网址规则
在网站编码右边有一个 检测重复网址 复选框 取消勾选就不会检测重复网址了
没使用过···
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
