专利交易市场

本发明实施例公开了基于MapReduce和数组的频繁项集挖掘方法，将数据集转换为二维数组；将二维数组分解成若干二维子数组；将若干二维子数组分配至至少两个并行执行挖掘频繁项集任务的节点上；每一节点挖掘二维子数组对应的子频繁项集并保留每个节点的非频繁项集；统计汇总各子频繁项集并合并非频繁项集，得到数据组的频繁项集。本发明只扫描一次数据库，把数据库转化为二维数组，减少数据库的扫描，缩短I/O时间；同时创造性的通过水平划分的方法将数组分解为更多的子数组，使用Hadoop平台的MapReduce编程模型，采用并行处理二维子数组的方法，即在若干节点并行的对子数组进行频繁项集的挖掘，使得本发明具有较好的加速比和可扩展性，适合对大数据集挖掘频繁项集。