咨询电话:13280638997
传真:0533-3110363
邮箱:kefu@shizifang.com
摘 要:本发明涉及一种资源不均衡Spark环境下的任务调度优化方法,本发明对Spark的底层调度算法进行优化,提出了基于节点优先级的Spark动态自适应调度算法(Spark Dynamic Adaptive Scheduling Algorithm,SDASA)。SDASA使用节点的优先级表示其计算能力,并在任务运行过程中实时进行优先级的更新,充分了考虑节点的异构性、资源利用和负载等情况。实验证明SDASA能够提高Spark系统的运行效率,缩短作业执行时间。当执行不同数据量的同种任务时,使用SDASA算法集群性能平均提升6.99%;当执行不同种任务时,使用SDASA算法集群性能平均提升6.32%。
著 录 项:
专利/申请号: | CN201910669809.6 | 专利名称: | 一种资源不均衡Spark环境下的任务调度优化方法 |
申请日: | 2019-07-24 | 申请/专利权人 | 浙江工业大学 |
专利类型: | 发明 | 地址: | 浙江省杭州市下城区潮王路18号 |
专利状态: | 已下证 查询审查信息 | 分类号: | G06F9/48搜分类 资源 R P SPA 任务搜索 |
公开/公告日: | 转让价格: | 面议 | |
公开/公告号: | 交易状态: | 等待洽谈 搜索相似专利 |
交易方 | 企业 | 个人 |
买家 | 营业执照副本复印件(需盖公章) | 身份证复印件(签字) |
专利转让委托书(需盖公章)一式两份 | 专利转让委托书(需签字)一式两份 | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
卖家 | 营业执照副本复印件(需盖公章) | 身份证复印件(需申请人签字) |
解除代理委托书(需盖公章)一式两份(如专利通过代理机构申请) | 解除代理委托书(需签字)一式两份(如专利通过代理机构申请) | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
专利请求书或手续合格通知书、授权通知书复印件 | 专利请求书或手续合格通知书、专利授权通知书复印件 | |
专利证原件(若授权下证) | 专利证原件(若授权下证) |
日期 | 法律信息 | 备注 |