专利交易市场

本发明公开了一种基于多模态特征融合的抗NMDAR脑炎预后分类方法，主要涉及医学图像处理技术领域；包括步骤：S1、获取对应的患者MRI图像和临床特征；S2、构建MRI特征提取器，提取患者的影像特征；S3、构建多模态特征融合模型，将影像特征和临床特征跨模态融合，生成信息更加丰富的融合特征；S4、基于融合特征构建抗NMDAR脑炎预后分类器，并通过多模态数据集对其进行训练；S5、将待分类的抗NMDAR脑炎患者的MRI图像与临床特征输入到训练好的分类器中，获得预后分类结果；本发明大大减少了抗NMDAR患者预后诊断对领域专家的依赖，能够为医生提供客观、准确、一致和可解释的诊断参考。

本发明提供一种基于多模态特征融合的三维对象融合特征表示方法。本发明将三种模态的三维模型特征表示，都做了一个非常细致的实现和复现：三维模型的多视图特征表示、点云特征表示以及网格特征表示。对多模态三维数据进行了处理、增强和融合，并基于此提取出了三维对象的融合特征表示。本发明能实现非常优秀的多模态信息融合，实现更加鲁棒的三维模型特征表示，供给其他三维对象任务使用。

本发明提出一种基于混合优化与多模态特征融合的心电信号重构方法，该方法包括：获取12导联心电信号，将12导联心电信号依次经过线性回归模型、遗传算法与模拟退火算法处理，以得到最优三导联心电信号，将最优三导联心电信号依次经过一维卷积层与最大池化处理，以得到时域特征，将时域特征、频域特征与专家特征进行多模态特征融合，以得到融合特征，将融合特征输入至Transformer机制中进行处理，以得到重构心电信号。本发明在长程时序建模与局部波形细节优化中取得显著效果。传统CNN/RNN受限于局部感受野或梯度消失问题，难以平衡全局节律与局部形态，本发明采用QRS感知Transformer架构，结合多头自注意力与非线性前馈网络，使得QRS波群宽度误差更小。

本申请涉及一种基于动态稀疏特征提取的智能系统多模态特征融合方法，包括：基于注意力权重，通过注意力机制分别对稀疏化处理后的图像特征、语音特征、文本特征进行加权池化，将池化的语音特征、文本特征的维度均映射到与池化的图像特征的维度相同的空间，并进行空间维度和通道数对齐；基于对齐的语音特征、文本特征分别引导加权的图像特征；将池化的图像特征按空间维度划分为多个部分，基于语音引导以及文本引导的图像特征与各部分的维度，计算各部分的特征匹配度；各部分基于对应的特征匹配度选择与语音引导/文本引导的图像特征进行初步融合，并基于门控机制，得到各部分的局部融合结果，拼接所有部分的局部融合结果得到多模态融合特征表示。

本发明涉及一种基于残差式3D CNN和多模态特征融合策略的视频动作识别方法，属于计算机视觉与深度学习领域。首先将传统C3D网络连接方式改为残差式连接；采用核分解技术将3D卷积核拆解，得到一个空间卷积核，与并行的多个不同时间尺度时间核，再在空间卷积核后插入注意力模型，得到A3D残差模块并将其堆叠成的残差网络。搭建双流动作识别模型，将RGB图像特征和光流特征输入到空间流网络和时间流网络中，并提取出多级卷积特征层特征，再利用多级特征融合策略对两个网络进行融合，实现时空特征互补；最后将分数级融合后的全局视频动作描述子通过PCA降维，再用SVM分类器完成动作分类。