火车头采集能避免重复采集的内容吗？

Question

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

Answer 1

橙橙 · 无锡华芯科技，霍尔元件，霍尔开关，专业霍尔生产厂家

没用过不知道呢

Answer 2

寕榏青楓 · 无锡华芯科技，霍尔元件，霍尔开关

没用过不知道呢

Answer 3

贱贱 · 喜欢玩网页游戏打发时间的。可以进来玩呀~！点击右侧回形针 ✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈

火车头可以去重url 一般网站系统内带去重比如帝国织梦

Answer 4

如果你采集的站有两篇一样的内容那么是无法避免的

Answer 5

努力搬砖

这个应该可以的

Answer 6

二狗

本来就是不重复采集，同一url只采集一次，除非源站内容重复，网上有代码可以直接禁止重复标题发布，问度娘要

收录宝