火车头采集怎么避免重复？

火车头采集文章，批量的采集太多了，大量的采集文章怎么避免文章会重复，如何重复太多了对文章不利于，有什么避免采集重复的，如何采集文章提高质量？谢谢各位回答！