专利交易市场

一种基于多模态数据的面向糖尿病患者的实时饮食健康监控方法，包括数据库构建、检索模型构建、检索模型训练、预警精度测试和监控方法的使用五个过程。利用卷积神经网络与BERT分别学习食品图像模态和描述文本模态中的语义表征，在提取特征的同时帮助处理各形态特征之间的潜在联系，其将第三模态的数据引入跨模态检索方法中，以缩小模态间的语义鸿沟。本发明利用实时摄取的生活记录图像作为输入来检测食品并进行检索，在输出部分增添食品组成数据来提高输出信息的实用性。以上改进均可以提高跨模态检索的精确度与稳定性，从而实现准确的跨模态检索。同时，该方法还可用于辅助分析致糖尿病食物成分与个体身体状况的相关性。

本发明公开了一种基于多层次特征融合的多模态抑郁症识别系统，涉及多模态融合技术领域，所述系统包括：获取单元：用于获取多模态抑郁症数据，对所述多模态抑郁症数据进行预处理，获得多模态数据；第一特征单元：用于对所述多模态数据进行特征提取获得单模态的低级抑郁特征；对所述低级抑郁特征进行特征提取，获得单模态的高级抑郁特征；融合单元：用于时间维度、空间维度和所述高级抑郁特征，获得时空融合抑郁特征；关系图单元：用于所述时空融合抑郁特征和所述高级抑郁特征，获得模态融合关系图E；第二特征单元：用于对所述模态融合关系图E的模态的平衡关系进行处理，获得多模态抑郁特征；预测单元：用于将所述多模态抑郁特征输入抑郁预测模块，获得预测结果，可以解决现有多模态抑郁症识别模型缺少对每种模态内部具有高情绪感知特征的关注和对模态自身内部价值差异的处理，导致模型预测的精准度和泛化能力较差的问题。

本发明涉及一种基于多模态特征的抑郁倾向测评装置及系统，装置包括：存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令在处理器上运行时执行以下步骤：接收样本用户查看不同情绪面孔图像时的眼动数据，其中样本用户的抑郁倾向为已知；接收样本用户按照第一设定方法获取的记忆力测评数据，以及样本用户按照第二设定方法获取的认知风格指数；基于所得到的眼动数据、记忆力测评数据以及认知风格指数提取样本用户的眼动‑记忆力‑认知风格融合特征集合；根据所述融合特征集合训练分类模型，采用分类模型对测试用户进行抑郁倾向的测评。