基于自适应L-BFGS 算法的深度神经网络的批量学习方法

摘     要：本发明提出一种基于自适应的L‑BFGS算法的批量学习方法，用于深度神经网络的训练，每次训练时按一定规则选取一部分样本计算更新参数，以减少计算复杂度，同时解决一阶算法(如Mini‑Batch GD)训练时存在的收敛速度慢，易陷入局部最优点等缺点。本发明提出的算法解决了L‑BFGS算法中记忆尺度选择困难的问题。本发明提出的算法引入了多步拟牛顿理论对AL‑BFGS中衡量近似程度的计算公式进行了改进，使得到海塞矩阵逆的近似矩阵与海塞矩阵的逆矩阵之间近似程度更高。本发明提出的算法选取多个记忆尺度，计算出不同的方向进行叠加，得到最终的搜索方向，从而加强对最近曲率信息的使用，加快了收敛速度。

著 录 项： 

• 1． 买家选定所需专利，确认国家手续办理方，下单，确认交易合同；
  2． 卖家确认专利可交易；
  3． 买家支付交易款项到平台；
  4． 买卖双方签订《专利转让委托书》、《转让协议》、《解除代理委托书》各一式两份并提交给办理国家手续方；
  5． 办理国家手续方提交办理官方手续，国家知识产权局1个月左右下发《著录项目变更手续合格通知书》；
  6． 买家确认收到《专利证书》、《著录项目变更手续合格通知书》；
  7． 平台把交易款项支付给卖家，至此专利转让合同完成。
  

• 交易方	企业	个人
  买家	营业执照副本复印件（需盖公章）	身份证复印件（签字）
  	专利转让委托书（需盖公章）一式两份	专利转让委托书（需签字）一式两份
  	专利转让协议（需盖公章）一式两份	专利转让协议（需签字）一式两份
  卖家	营业执照副本复印件（需盖公章）	身份证复印件（需申请人签字）
  	解除代理委托书（需盖公章）一式两份（如专利通过代理机构申请）	解除代理委托书（需签字）一式两份（如专利通过代理机构申请）
  	专利转让协议（需盖公章）一式两份	专利转让协议（需签字）一式两份
  	专利请求书或手续合格通知书、授权通知书复印件	专利请求书或手续合格通知书、专利授权通知书复印件
  	专利证原件（若授权下证）	专利证原件（若授权下证）

• 日期	法律信息	备注
  2022/08/30	授权
  2021/12/14	实质审查的生效	IPC(主分类): G06K 9/62 专利申请号: 202111069585.9 申请日: 2021.09.13
  2021/11/26	公开