专利交易市场

本公开提供了一种基于多模态融合模型的提高视频问答精度方法及系统，包括：采集视频数据和问题特征，获取视频问答的问题；从视频数据中提取视觉特征和字幕特征；将视觉特征和字幕特征进行融合处理，获得融合视觉特征和融合字幕特征；将融合视觉特征、融合字幕特征和问题特征输入多模态融合模型中进行训练，获得训练好的多模态融合模型；将视频问答的问题输入训练好的多模态融合模型，获得问题答案；根据问题的特点针对不同的问题聚焦不同的目标实体实例，提高了模型选择答案的准确性。

一种基于双模态融合的抑郁状态识别的智能方法，包括：采集目标人员在抑郁状态诱发场景中的脑电信号和心电信号；建立识别模型：利用多模态深度神经网络对所述脑电预处理数据和心电预处理数据进行特征提取并融合，得到融合特征；所述多模态深度神经网络包括心电特征提取网络和脑电特征提取网络；训练识别模型：利用最优模型对待测试人员的抑郁状态进行识别，最终将其抑郁状态进行归类、分级。本发明利用深度学习算法对抑郁状态患者进行识别，减轻了心理工作者在面临大范围筛查时的巨大工作量，为医疗工作人员提供判定参考，提高抑郁状态患者识别的效率。

本发明提供了一种基于多模态融合与注意力机制的目标检测方法及系统，该方法包括：对每一图像信息进行堆叠处理，以生成对应的目标图像信息；通过若干特征提取模块以及切片特征融合模块实时提取出目标图像信息中包含的若干目标特征图，并将最后三张特征图输入至预设第一算法中，以使预设第一算法输出对应的目标信息；实时检测出与目标信息对应的预测值以及真实值，并根据预测值以及真实值构建出对应的损失函数；对损失函数进行训练，以输出对应的网络权重文件，并构建出对应的多模态目标检测网络，以通过多模态目标检测网络实时确定出目标场景中的目标物体的位置。本发明能够快速的完成多模态数据的融合，提升了工作效率。

本发明公开了一种基于多模态融合的饲料制粒过程动态稳定性分析方法，包括如下步骤：采集饲料制粒过程中的多模态原始信号集合，并执行预处理；进行特征提取，得到多模态特征向量集合；构建能量拓扑关系图，生成能量拓扑权重矩阵；建立黏弹响应函数，生成黏弹谱特征向量，与能量拓扑权重矩阵结合，形成能量‑黏弹耦合特征矩阵；对能量节点间传递关系、黏弹谱特征与能量耦合权重进行联合学习，计算制粒过程的实时稳定性评分值；进行记忆自演化学习，更新动态稳定性边界参数；生成动态稳定性分析结果。本发明构建多模态能量拓扑与黏弹谱联合分析机制，实现制粒过程稳定性智能评估，具备感知更全面、判断更精准、自适应性更强的优点。