摘要
一种基于LSTM时间预测模型和遗传算法的资源分配方法,包括:1)进行基于LSTM网络的作业执行时间预测模型的训练;2)使用遗传算法为批作业中每个作业分配合理的资源量;把遗传算法的适应度函数改为基于LSTM的时间预测模型,通过遗传算法的选择,交叉,变异,迭代出适合每个作业的资源量大小;3)使用基于遗传算法的资源分配算法针对不同作业给予不同的资源量;当Spark分布式计算框架收到作业时,将根据不同的作业能使用的集群资源量进行计算,得到作业最短的处理时间。将需要处理的批作业信息提交后,本发明能够给出各作业的优化资源分配方案,从而达到批作业运行时间最短的优化目标。