发明专利 已授权

一种基于动态分区的高能效Spark任务调度方法

📄 申请号:CN202010578245.8 📄 发布日:2026/07/23

著录项目信息

申请日
2020-06-23
公开号
CN111813512B
公开日
2022-11-25
申请人
广州大鱼创福科技有限公司
法律状态
已下证
专利类型
发明
主分类号
IPC 分类号

技术画像

应用场景

大数据分析, 数据中心, 云计算, 分布式计算集群

摘要

本发明涉及大数据处理领域,具体涉及一种基于动态分区的高能效Spark任务调度方法,包括:对服务器进行初始化,得到任务信息参照表;用户发起任务调度请求;服务器接收任务调度请求后获取任务数据信息;判断该任务是否限制任务完成时间以及任务是否为首次执行;根据判断结果确定分区数;根据分区数进行服务器的任务调度与运行;任务运行结束后采用能耗评估模型计算任务运行情况的数据使用能耗,并记录入任务信息参照表中,完成任务调度;本发明改善了Spark原生调度策略运行过程中将任务统一对待与分配导致的节点性能不能有效利用的情况,实现了根据任务情况更好的对CPU以及I/O性能不同的节点进行调度,达到了节能的效果。
权利要求书 (12项) 说明书 附图

……

……

图1
图2
图3

法律状态时间线

20230818
?? 专利权的转移 :
20221125
✅ 授权
20201110
?? 实质审查的生效 :
20201023
📄 公开
议价
不含过户费

📋 交易方式: 委托待转让 📌 交易状态: 在售 👁️ 浏览次数:11 ❤️ 收藏人数:93 📋 项目申报: 未申报

资金托管 权属尽调 包过户
🏢 淄博智来知识产权服务有限公司
✓ 企业认证✓ 手机绑定历史成交 0件好评率 98.5%

📊 出价记录 (3条)
王**¥-10万
李** 企业¥-8万
陈**¥-3万
查看全部出价