Hadoop实验--数据去重

Hadoop实验报告 数据去重问题背景：随着存储数据信息量的飞速增长，去重无疑成为众多大数据科研人员要面对的问题之一。因此越来越多的人开始关注存储数据的缩减方法。数据压缩、单实例存储和重复数据删除等