咨询电话:13280638997
传真:0533-3110363
邮箱:kefu@shizifang.com
摘 要:本公开提出了海量数据下并行Skyline处理方法及系统,包括:分配web数据到worker节点:将web数据上传到HDFS中,通过Hadoop的文件系统HDFS将数据进行切分,将切分的数据块分配到worker节点,以进行并行计算;worker节点进行Skyline计算:通过本地Skyline计算阶段得到本地候选Skyline服务,然后将每个本地Skyline候选服务通过网络传送到master主节点,经过master节点Skyline计算,最终得到全局Skyline服务;master节点Skyline计算:汇总所有worker节点的候选Skyline服务,再次通过改进的Skyline算法,将所有的数据分成4个区域,这样得到全局Skyline服务。将传统的Skyline算法进行改进,将服务集合进行区域划分,大量减少了不具有支配关系的数据点,节省了内存的占用,并将改进的Skyline算法通过Spark平台实现了并行化。
著 录 项:
专利/申请号: | CN201910543347.3 | 专利名称: | 海量数据下并行Skyline处理方法及系统 |
申请日: | 2019-06-21 | 申请/专利权人 | 齐鲁工业大学 |
专利类型: | 发明 | 地址: | 山东省济南市长清区大学路3501号 |
专利状态: | 已下证 查询审查信息 | 分类号: | G06F9/50搜分类 其他搜索 |
公开/公告日: | 2021-11-12 | 转让价格: | 面议 |
公开/公告号: | CN110245022B | 交易状态: | 等待洽谈 搜索相似专利 |
交易方 | 企业 | 个人 |
买家 | 营业执照副本复印件(需盖公章) | 身份证复印件(签字) |
专利转让委托书(需盖公章)一式两份 | 专利转让委托书(需签字)一式两份 | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
卖家 | 营业执照副本复印件(需盖公章) | 身份证复印件(需申请人签字) |
解除代理委托书(需盖公章)一式两份(如专利通过代理机构申请) | 解除代理委托书(需签字)一式两份(如专利通过代理机构申请) | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
专利请求书或手续合格通知书、授权通知书复印件 | 专利请求书或手续合格通知书、专利授权通知书复印件 | |
专利证原件(若授权下证) | 专利证原件(若授权下证) |
日期 | 法律信息 | 备注 |