咨询电话:13280638997
传真:0533-3110363
邮箱:kefu@shizifang.com
摘 要:本发明涉及大数据处理领域,具体涉及一种基于动态分区的高能效Spark任务调度方法,包括:对服务器进行初始化,得到任务信息参照表;用户发起任务调度请求;服务器接收任务调度请求后获取任务数据信息;判断该任务是否限制任务完成时间以及任务是否为首次执行;根据判断结果确定分区数;根据分区数进行服务器的任务调度与运行;任务运行结束后采用能耗评估模型计算任务运行情况的数据使用能耗,并记录入任务信息参照表中,完成任务调度;本发明改善了Spark原生调度策略运行过程中将任务统一对待与分配导致的节点性能不能有效利用的情况,实现了根据任务情况更好的对CPU以及I/O性能不同的节点进行调度,达到了节能的效果。
著 录 项:
专利/申请号: | CN202010578245.8 | 专利名称: | 一种基于动态分区的高能效Spark任务调度方法 |
申请日: | 2020-06-23 | 申请/专利权人 | |
专利类型: | 发明 | 地址: | |
专利状态: | 已下证 查询审查信息 | 分类号: | G06F9/48搜分类 大数据云计算 分布式数据中心搜索 |
公开/公告日: | 转让价格: | 面议 | |
公开/公告号: | 交易状态: | 等待洽谈 搜索相似专利 |
交易方 | 企业 | 个人 |
买家 | 营业执照副本复印件(需盖公章) | 身份证复印件(签字) |
专利转让委托书(需盖公章)一式两份 | 专利转让委托书(需签字)一式两份 | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
卖家 | 营业执照副本复印件(需盖公章) | 身份证复印件(需申请人签字) |
解除代理委托书(需盖公章)一式两份(如专利通过代理机构申请) | 解除代理委托书(需签字)一式两份(如专利通过代理机构申请) | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
专利请求书或手续合格通知书、授权通知书复印件 | 专利请求书或手续合格通知书、专利授权通知书复印件 | |
专利证原件(若授权下证) | 专利证原件(若授权下证) |
日期 | 法律信息 | 备注 |