专利交易市场

本发明公布了一种基于图文匹配的多层次图像特征融合方法，通过使用预训练网络中的多层特征作为图像的多层次总预训练特征，并且在图文匹配的学习目标指导下，利用多层感知机(Multi‑Layer Perceptron)有监督地融合和降维图像的多层次总预训练特征，生成融合图像特征。从而能够充分地利用更多有用的、不同层次的预训练特征，并从中归纳出对图文匹配任务有用的特征和去除无用的特征，减少了噪声特征的干扰。然后即可利用融合图像特征和文本特征在特征空间上的余弦相似度来进行图文匹配。

本发明公开了一种基于通道感知的手势图像特征融合方法。本发明包括如下步骤：1对原始手势图像进行预处理，获得手势图像；2手势图像输入到不同的卷积神经网络，分别获得高阶特征张量和低阶特征张量；3对高阶特征张量进行处理，获得通道压缩后的高阶特征张量；对低阶特征张量进行处理，获得通道扩增后的低阶特征张量；4将步骤3中获得的特征张量进行拼接融合，得到包含高低阶特征的特征张量；5将包含高低阶特征的特征张量输入到SE‑Net模块中，得到标定后的特征张量；6将标定后的特征张量输入到分类器中，得到分类结果。本发明能够提取手势图像的高低阶特征并进行组合，得到精确描述手势的特征张量，并通过其特征实现对手势图像的精确识别。