专利名称：一种基于动态分区的高能效Spark任务调度方法      申请号：2020105782458     转让价格：面议  收藏
法律状态：已下证   类型：发明   关键词：大数据云计算 分布式数据中心   相似专利 发布日：2025/02/21  
摘要： 本发明涉及大数据处理领域，具体涉及一种基于动态分区的高能效Spark任务调度方法，包括：对服务器进行初始化，得到任务信息参照表；用户发起任务调度请求；服务器接收任务调度请求后获取任务数据信息；判断该任务是否限制任务完成时间以及任务是否为首次执行；根据判断结果确定分区数；根据分区数进行服务器的任务调度与运行；任务运行结束后采用能耗评估模型计算任务运行情况的数据使用能耗，并记录入任务信息参照表中，完成任务调度；本发明改善了Spark原生调度策略运行过程中将任务统一对待与分配导致的节点性能不能有效利用的情况，实现了根据任务情况更好的对CPU以及I/O性能不同的节点进行调度，达到了节能的效果。

专利名称：基于动态电压频率调整的双层Spark节能调度方法      申请号：2018114306913     转让价格：面议  收藏
法律状态：已下证   类型：发明   关键词：大数据云计算 分布式数据中心   相似专利 发布日：2025/02/21  
摘要： 本发明涉及大数据处理领域和能效领域，特别涉及一种基于动态电压频率调整的双层Spark节能调度方法，包括针对不同应用程序对CPU以及I/O需求的不同，通过观察不同应用的资源使用特性，可以对应用类别数预先进行大致的判断，对应用程序进行一个整体的降频处理；考虑Spark固有特性，在应用程序运行过程中同一个阶段不同任务的完成时间不同，对具体节点进行降频处理，减少节点空运行时间，保证各个Task的完成时间均衡；本发明保证Spark运行过程中任务完成时间均衡，减少了节点CPU空运转时间，有效的降低了应用程序在Spark运行过程中所产生的能耗。

专利名称：一种基于能耗感知的Spark节能调度方法      申请号：2017104523384     转让价格：面议  收藏
法律状态：已下证   类型：发明   关键词：大数据云计算 分布式数据中心   相似专利 发布日：2025/02/21  
摘要： 本发明公开了一种基于能耗感知的Spark节能调度方法。首先构建Spark计算框架下大数据计算能耗模型，基于该模型建立任务与计算资源的能耗和执行时间关系策略表，通过策略表指导并优化Spark任务调度，在保证并行计算效率的前提下有效降低计算总能耗。本发明解决了Spark原有调度策略无法感知能耗的缺陷，该方法具有能耗感知，动态优化调度和高可扩展的特点，有效降低运行在Spark计算框架下的应用程序产生的能耗。