专利交易市场

本发明公开一种基于Q学习的混合云作业调度方法，使用多agent并行学习，即每个agent独立进行最优策略学习，当某个agent最先得到满足error＜θ条件的策略时，就进行agent间的知识迁移。本发明通过分析用户作业在云环境中的执行流程，以最小化用户作业完成时间和等待时间为优化目标，设计了一种基于强化学习的混合云作业调度方法，并采用并行多agent技术加速最优策略的收敛，提高了云资源的利用率，降低了用户等级协议的违约率。

本发明提供一种基于Deep Q‑network算法的多资源云作业调度方法，包括四个步骤：通过云环境采集资源的当前配置信息和作业的需求信息；所述资源的当前配置信息和作业的需求信息分别以矩阵图像表示，所述包括单元格，同一种彩色的单元格表示同一个作业，同一种彩色的单元格形成的矩形包括M×N个单元格，M表示资源数，N表示时间步；根据所述矩阵图像，利用深度学习方法得到高层语义信息；根据所述高层语义信息，利用强化学习方法完成资源的实时调度规划。本发明矩阵图像能完全清晰地表示资源与作业的状态。本方法还使用了深度强化学习，将深度与强化学习进行了结合，其中深度学习主要完成环境状态感知，而强化学习完成决策，实现状态到动作的映射。

本发明涉及一种基于探索利用分离的联合神经网络的云作业调度方法及系统。方法包括：将用户负载解耦成子作业并分配到多个队列中；将多个队列中的多个作业属性组成状态；将状态作为多个并行神经网络的输入，对应输出动作决策；利用回报函数计算每个动作决策的成本值，选择获取最小成本值的动作决策作为该组作业的最佳动作决策；根据选择的最佳动作决策将队列中的子作业调度到多个集群中；其中，多个并行的神经网络分为探索部分和利用部分，将利用部分的神经网络利用训练集进行训练得到训练后的神经网络；然后将状态输入训练后的利用部分的神经网络和探索部分的神经网络。本发明能够避免陷入局部最优，进而提升优化本发明的作业调度问题。

本发明公开了一种作业调度主备切换方法、装置、计算机设备及存储介质，所述方法包括：以预设时间间隔，获取预设守护进程的属性信息，并对属性信息进行安全性检查；若安全性检查的结果为异常，则获取预设备机的设备状态；若预设备机的设备状态为备用状态，则将预设主备切换指令发送到预设备机；暂停工作进程，并保存主机中的调度信息和作业流信息；若接收到预设备机返回的确认消息，则将调度信息和作业流信息发送到预设备机，以使预设备机继续执行作业调度任务；结束工作进程，并将本端的设备状态设置为备用状态。本发明的技术方案解决了作业调度主备系统切换过程中，切换效率低，影响作业调度任务正常执行的问题。