搜外网>搜外问答>问答页面

火车头采集能避免重复采集的内容吗?

用火车头采集,能不能实现只采集一次,不要重复的采集,现在对火车头还不太会操作使用,有时候总觉得火车头采集的内容是重复的,我怕时间长了,网站多数重复率太高不好担心,有什么办法不重复采集?谢谢哥哥姐姐解答。

追加问题
    8 人参与回答
陈陈陈陈
陈陈陈陈 · 无锡华芯科技,霍尔元件,霍尔开关,专业霍尔生产厂家

没用过不知道呢

寕榏青楓
寕榏青楓 · 无锡华芯科技,霍尔元件,霍尔开关

没用过不知道呢

贱贱
贱贱 · 喜欢玩网页游戏打发时间的。可以进来玩呀~!点击右侧回形针 →

火车头可以去重url  一般网站系统内带去重 比如帝国 织梦

如果你采集的站有两篇一样的内容那么是无法避免的

这个应该可以的

本来就是不重复采集,同一url只采集一次,除非源站内容重复,网上有代码可以直接禁止重复标题发布,问度娘要

SEO培训招生中
158