基于MapReduce的并行关联规则算法研究.pdf

1、关联规则挖掘是数据挖掘领域中一个十分重要的研究课题，在各个领域中都有很广泛的应用。如何正确地挖掘并使用关联规则是数据挖掘的重要任务，因此，对关联规则的研究具有重要的理论和现实意义。然而，随着信息技术的发展，特别是互联网的迅速发展，数据积累呈现出指数级的增长趋势，如何从海量数据中挖掘出有用的信息和知识是亟待解决的问题。因此，对并行的关联规则算法研究有重大价值。
　　 本文针对海量数据的数据挖掘问题，以MapReduce并行编程模型

2、和关联规则理论为基础，对并行关联规则算法进行研究，提出基于MapReduce的并行PrunedFP-tree算法和并行Apriori算法。并基于Hadoop平台，设计和实现了一个海量数据挖掘原型系统，取得的研究成果具体如下:
　　 (1)针对FP-Growth算法在挖掘FP-tree中存在特殊的单路径项集问题，提出Pruned FP-tree算法。该算法首先提出一个FP-tree的剪枝策略，可以减少部分分支的迭代次数，提高了下一

3、步条件FP-tree建立和挖掘的效率，并得到精确的条件模式基。然后采用MapReduce并行编程模型，提出基于MapReduce的并行PrunedFP-tree算法。该算法不仅可以提高挖掘效率，而且有效解决了在进行海量数据挖掘时传统方法造成内存不足的问题。仿真实验表明该算法在处理大数据时，有良好的性能。
　　 (2)针对经典Apriori算法对PC机内存要求很高的缺点，提出基于MapReduce的并行Apriori算法。该算法在