摘要
本发明涉及一种异构Spark集群的节点优先级调优方法,本发明在建立节点优先级评价指标体系的基础上,使用层次分析法确定各个性能评价指标的初始权重,进一步使用BP神经网络对初始权重进行优化,生成优化的节点优先级。本发明提出的节点优先级调优方法能够提高Spark系统的运行效率,缩短作业执行时间。相比Spark的默认调度算法和使用初始节点优先级的Spark任务调度算法SDASA,本发明提出的算法能够有效提高集群系统的性能。相对于上述两种算法,当执行不同数据量的同种任务时,使用优化的节点优先级集群性能平均提升10.74%和5.96%;当执行不同种任务时,使用优化的节点优先级集群性能平均提升12.03%和6.05%。