专利名称：一种基于Spark平台的频繁项集挖掘方法      申请号：201811570307X     转让价格：面议  收藏
法律状态：已下证   类型：发明   关键词：R P SPA   相似专利 发布日：2023/10/23  
摘要： 本发明涉及一种基于Spark平台的频繁项集挖掘方法，属于数据挖掘技术领域。本发明基于Spark大数据处理框架，提出了一种新颖的BitMapFIM-Miner算法，并行化处理数据集，且不需要对数据集进行多次扫描，基于分治的思想，对事务长度大于一定阈值的事务进行分割，然后使用位操作的方法分别计算生成频繁项集，最后将各部分得到的频繁项集进行汇总合并。使用位操作的方法加速了频繁项集的挖掘速度，大大提高了算法的执行效率；通过理论分析和实验验证发现对过长的事务进行分割，在保证结果准确的同时可以高效地得到频繁项集，为频繁项集挖掘方法提供了一种新的思路。

专利名称：一种基于Spark平台的不确定数据集频繁项挖掘方法      申请号：2018102120006     转让价格：面议  收藏
法律状态：已下证   类型：发明   关键词：R P SPA   相似专利 发布日：2023/10/23  
摘要： 本发明涉及一种基于Spark平台的不确定数据集频繁项挖掘方法，属于数据挖掘领域。本发明基于Spark大数据框架，提出了一种新颖的UWPFP‑tree结构，并行化处理数据集，且不需要对数据集进行多次扫描，不会产生大量候选集，大大提高了算法的执行效率；同时，通过兼顾不确定数据项的生存概率和权重值，挖掘出更加符合用户需求的频繁项，为不确定数据集频繁项挖掘方法提供了一种新的思路。

专利名称：一种基于规则的Spark分布式弹性语义流推理方法      申请号：202110482360X     转让价格：面议  收藏
法律状态：已下证   类型：发明   关键词：人工智能 布 纺织面料 R P SPA   相似专利 发布日：2023/10/17  
摘要： 本发明公开了一种基于规则的Spark分布式弹性语义流推理方法，包括：S1、获取RDF图；S2、为RDF图的标识符构建双向字典；S3、对RDF图进行划分得到模式图模型和实例图模型；S4、利用双向字典基于模式图模型和实例图模型设计对应的键值模型；S5、基于规则的Spark分布式弹性语义流推理引擎模块读取模式图模型和实例图模型中的模式数据和实例数据，根据RDFS规则的优化顺序执行Spark作业。与现有技术相比，本发明采用分布式内存计算模型Spark，把面向分布式数据集的操作抽象成面向本地数据集的操作，进一步提高了大数据处理环境下迭代计算的效率，并且实现了分布式的内存RDFS推理，有助于进一步提升RDFS推理效率和可扩展性。

专利名称：基于Spark的高维序列数据相似性查询方法及系统      申请号：2019109633445     转让价格：面议  收藏
法律状态：已下证   类型：发明   关键词：R P SPA   相似专利 发布日：2023/10/17  
摘要： 本发明公开了一种基于Spark的高维序列数据相似性查询方法及系统，包括数据预处理、索引构建和查询等处理步骤。本发明使用分布式集群Spark提高计算能力；通过利用局部敏感哈希(LSH)函数来构建索引解决了高维序列数据处理困难等问题；查询过程只在部分Worker节点中进行，大大降低了数据的处理量，并且通过碰撞计数机制，有效的减少了候选集的规模，加速相似性查找的速率。本发明可以对用户任意给出的一条高维序列数据对象，快速且准确的从大规模数据集中查找出大部分相似数据对象。

专利名称：Spark框架下分布式深度学习的量子优化调参方法      申请号：2019101082586     转让价格：面议  收藏
法律状态：已下证   类型：发明   关键词：布 深度学习 R P SPA   相似专利 发布日：2023/09/14  
摘要： Spark框架下分布式深度学习的量子优化调参方法，采集数据并进行预处理和分组，确定生成对抗网络结构参数：初步构建深度神经网络，设定包括层数、各层节点数、权重和学习率，Spark主节点将参数信息广播给从节点，通过数据并行的方式训练生成对抗网络模型，初始化基于Spark的分布式量子粒子群优化算法参数信息，各个从节点分布式进行独立进化，并通过主节点进行汇总，依据上次迭代时的个体最优和全局最优更新连接权重，计算每个粒子对应的适应度函数值，评估深度学习模型的性能。本发明能够为分布式深度学习模型如何寻找最优参数提供一种参考方法，能够避免人工对深度学习模型调参需要的先验知识、效率低下的问题。

专利名称：一种基于Spark算子的序列化存储优化方法      申请号：2017101608624     转让价格：面议  收藏
法律状态：已下证   类型：发明   关键词：R P SPA   相似专利 发布日：2023/07/10  
摘要： 本发明公开了一种基于Spark算子的序列化存储优化方法，包括以下步骤：S1)使用ganglia检测应用执行过程中机器的内存使用量，如果检测到当前内存值正常，则继续监测，若检测到已达到指定阈值，则执行步骤S2)；S2)计算RDD的执行时间和RDD的执行效率；S3)根据公式(5)得到已排序的RDD序列，即序列化候选集合；S4)从序列化候选集合中选择值最小的进行序列化存储；S5)继续步骤1)，直到应用执行完毕。本发明实现在应用执行过程中高效存储有价值的RDD缓存，从而提高内存的使用率。相比与现有的缓存使用方案，本方法应用于现有的Spark大数据平台上，能够在内存资源有限时使整个应用保持较高的执行效率。

专利名称：基于Spark的地图相交区域面积计算方法及系统      申请号：2019109086922     转让价格：面议  收藏
法律状态：已下证   类型：发明   关键词：R P SPA   相似专利 发布日：2023/07/10  
摘要： 本发明涉及一种基于Spark的地图相交区域面积计算方法、系统及设备，属于地图信息系统领域，所述方法包括：根据经纬度和网格个数，将地图划分成网格形式，确定多边形区域包含的单元网格的编号或编码，将单元网格的编号或编码，存入Spark的分布式文件系统中，根据单元网格的编号或编码确定可能存在相交的多边形区域，判断可能存在相交的多边形区域的相交关系，计算对应的相交区域的面积，本发明通过建立空间索引，来快速且准确的找出地图区域中相交的区域，从而高效的计算海量地图数据场景下的相交区域的面积。

专利名称：基于内存计算框架Spark的性能优化和参数配置方法      申请号：2019112412679     转让价格：面议  收藏
法律状态：已下证   类型：发明   关键词：计算机硬件 R P SPA   相似专利 发布日：2023/07/10  
摘要： 本发明公开了一种基于内存计算框架Spark的性能优化和参数配置方法，通过先确定Spark应用程序类型以及影响不同类型的Spark性能参数，随机组合配置参数得到训练集，将训练集通过LightGBM算法建立配置参数模型，通过贝叶斯优化算法搜索LightGBM算法的超参数最优组合，进一步使得配置模型选择出最优配置参数。本发明不要求用户理解Spark运行机制、参数意义作业和取值范围，以及应用程序类型特点和输入集的情况下，能为用户找到运行在不同集群环境下不同类型应用程序的最优配置参数，较之前的参数配置方法更加简单明了方便。