专利交易市场

本发明涉及集群调度技术领域，尤其涉及一种基于用户作业类型及节点性能偏向性的集群资源调度方法，包括以下步骤：1)Master节点收集集群中各节点的静态指标值，计算各节点静态性能；2)Master节点计算作业队列中当前将运行的用户作业类型；3)Master节点采集集群中各节点的动态状态数据，计算各节点的动态性能；4)根据各节点的动态与静态性能，Master节点计算各节点的性能偏向性；5)Master节点根据用户作业类型和节点的性能偏向性，将合适的节点资源分配给用户作业，作业完成，Master节点返回作业的执行结果；6)若所有用户作业执行完成，系统运行结束；否则返回步骤2)。本发明的有益效果在于：有效提高集群的性能、缩短用户作业的执行时间。

本发明涉及一种基于用户作业流程的分布式集群资源调度方法。本发明首先分析作业所包含的各个子作业间的执行顺序约束关系，确定子作业的串并行执行顺序。再根据子作业的执行顺序为其进行资源的逻辑分配并预测在此资源配置下各子作业的执行时间，进而通过计算作业流程中的关键路径预测出作业的执行时间。通常用户提交的作业具有完成时间的约束，因此预测的作业完成时间可以作为集群能否及时为用户提供服务的依据。实验证明，相对于Spark默认的资源分配算法，本发明提出的算法能够缩短16.81％的作业执行时间。本发明提出的算法能够提高子作业运行的并行度、缩短作业执行时间，有助于提升云服务平台、超算中心和数据中心等机构的服务质量。