专利交易市场

基于多模态信息融合的轮椅机械手系统模拟环境有干扰状态下，人体搜索目标、意图判定、接近目标并准确抓取目标的过程。所述基于多模态信息融合的轮椅机械手系统主要包括多模态信息采集系统a、信息处理融合系统b、决策控制系统c以及执行系统d组成。所述多模态信息采集系统a实现人体多模态信息与周边环境信息采集；所述信息处理融合系统b实现人体意图的判定并最终将特征信息融合；所述决策控制系统c实现对多模态信息采集系统a和信息处理融合系统b采集、预处理信息的综合处理，生成决策信息；所述执行系统d由差动轮椅14和机械臂15组成，实现对决策信息的执行操作即基于人体意图的接近目标运动和准确抓取目标物体。

本发明公开一种多模态脑图信息融合识别孤独症脑图的方法，应用于图像识别领域，针对现有技术未能充分利用多模态核磁共振图像数据、模型可解释性不足的问题；本发明从结构磁共振图像、功能磁共振图像、表型等三种模态数据中分别提取脑区特征，然后进行多模态融合，构建脑区图结构；设计图卷积模块和损失函数学习如何提取脑图深度特征；基于脑图深度特征，通过ABIDE数据集标签数据对多层感知机分类器进行训练，可以获得更好的准确率、敏感度、异质性等性能指标；利用训练好的多模态脑图融合识别孤独症模型可以用于辅助孤独症诊断识别。