用火车头采集，能不能实现只采集一次，不要重复的采集，现在对火车头还不太会操作使用，有时候总觉得火车头采集的内容是重复的，我怕时间长了，网站多数重复率太高不好担心，有什么办法不重复采集？谢谢哥哥姐姐解答。
没用过不知道呢
火车头可以去重url 一般网站系统内带去重 比如帝国 织梦
如果你采集的站有两篇一样的内容那么是无法避免的
这个应该可以的
本来就是不重复采集，同一url只采集一次，除非源站内容重复，网上有代码可以直接禁止重复标题发布，问度娘要
让更多人参与回答
