本申请提供了一种语音实时驱动虚拟人的方法、系统及存储介质,语音实时驱动虚拟人的方法包括:获取人脸RGB图像;对人脸RGB图像进行3D人脸重建,得到人脸RGB图像对应的3D人脸参数;预采集一段语音并经去噪处理后保存至缓存队列中;实时采集语音片段并经去噪处理后保存至缓存队列中;读取缓存队列中的所有语音片段并进行拼接,得到拼接后的语音片段,并利用拼接后的语音片段和预训练的神经网络得到预测的3D人脸表情参数;根据预测的3D人脸表情参数和3D人脸参数得到渲染后的RGB图像。本申请能够在不降低虚拟人质量的基础上,达到整个驱动过程的实时性,从而使得语音驱动虚拟人技术能够用于各类实时应用中。
📄 2021114000261
📂 G06T13_20
👤 北京影创信息科技有限公司
📅 2021-11-24
本申请公开提供了一种虚拟人物面部表情处理方法及装置,其中,该方法包括:获取待处理人物头模的头模数据和表情信息;基于头模数据获取目标标准混合形状单元,目标标准混合形状单元与待处理人物头模在形状上相互匹配;基于所述表情信息调用目标预设表情参数,目标预设表情参数与目标标准混合形状单元相互匹配;利用目标预设表情参数对目标标准混合形状单元进行处理;将处理后的目标标准混合形状单元与待处理人物头模进行融合,形成虚拟人物头像,解决了现有技术中人工独立一帧一帧的制作虚拟人物面部表情浪费人力资源且效率低的问题。
📄 2022114047243
📂 G06T13_40
👤 北京鲜衣怒马文化传媒有限公司
📅 2022-11-10
本发明提供了一种基于虚拟人物模型的人体运动姿态数据集生成方法,使用虚拟人物模型运动代替真实人体运动作为数据源,解决人体运动姿态数据集采集受到真实人体运动限制的问题,包括步骤:步骤1、人物模型播放符合人体解剖学的骨骼动画;步骤2、根据三维场景使用反向运动学算法修正模型动作;步骤3、设置虚拟IMU,记录虚拟人物模型动作序列数据;步骤4、将动作序列中虚拟坐标系数据转换为现实人体所在坐标系数据;步骤5、对现实人体所在坐标系数据进行时间平滑和数据整合,得到人体运动姿态数据集。本发明具有数据集采集难度低、不受环境干扰、采集精度高的优点。
📄 2022107670920
📂 G06T13_40
👤 电子科技大学
📅 2022-06-30
本发明提供了一种基于多智能体的井下应急撤离虚拟人群仿真方法。该方法基于多智能体技术,构建了一种虚拟矿井紧急撤离人群仿真框架,仿真框架主要由人群仿真引擎、几何场景仿真引擎、场景数据库、事件记录器、人机交互界面5部分组成。考虑到在矿难发生时生理、心理等健康因素对矿工的影响,以及不同角色的矿工在矿难发生时对矿井知识的认识不同,做出的行为决策不同,该方法面向角色理论,构建了班组长、有经验的矿工、普通矿工、救援者等不同角色的多智能体矿工人群应急撤离模型与算法。本发明提出的仿真方法能很好的模拟矿井真实情况,具有很好的通用性与逼真性,能为井下安全事故分析与预防、矿井安全培训、救援演练提供有效技术支撑。
📄 2014100566527
📂 G06T13_20
👤 重庆邮电大学
📅 2014-02-19
一种行为树驱动虚拟人的控制方法,包括步骤:步骤1:构建节点,包括虚拟人行为节点与逻辑节点;步骤2:从驱动获取用户输入的语音;步骤3:对于获取的语音对其进行识别;步骤4:处理文本信息,构建事件列表;步骤5:根据事件列表中得到的结果,构建事件集合;步骤6:构建行为树执行器;步骤7:根据行为树执行器完成对虚拟人的控制。本发明利用语音识别技术和行为树算法,把用户描述的处理行为过程自动转换成一个按照时间顺序排列的事件列表,并通过匹配虚拟人物动作指令构建行为树,再现用户描述的场景。使得用户可以通过自然语音描述所需交互的场景,而不需要手动编写复杂控制指令,从而降低了用户的学习成本和操作难度。
📄 2023109405375
📂 G06F9_50
👤 淮阴工学院
📅 2023-07-28
本公开公开了一种虚拟人物的驱动方法、装置、电子设备及可读存储介质,涉及数据处理技术领域和图像处理技术领域,尤其涉及智能语音技术、计算机视觉技术和深度学习技术等人工智能技术领域。具体实现方案为:获取分段处理的虚拟人物的语音数据和驱动数据,所述驱动数据为根据所述语音数据所获得;缓存所述分段处理的虚拟人物的语音数据和驱动数据;响应于所缓存的多段数据满足预定完整内容表达条件,同步输出多段语音数据与所述多段语音数据所对应段的驱动数据。
📄 2021114216482
📂 G06T13_20
👤 北京百度网讯科技有限公司
📅 2021-11-26