专利交易市场

本发明提出一种基于多模态网络的人群计数方法、系统及计算机设备，该方法包括：将各种模态下的人群图像均分割成预设份数的待训练图像，对各种模态下的待训练图像进行预编码；将相同待训练图像中对应的多种第一特征向量进行映射融合，得到第二特征向量；根据位置信息和像素信息将不同模态下表示同一区域的待训练图像进行特征分离及融合，得到多种第三特征向量，以根据第三特征向量对初始人群计数模型训练，得到最终人群计数模型；获取双模态下分别对应的待识别图像，并将待识别图像输入到最终人群计数模型中。本发明提出的基于多模态网络的人群计数方法，能够更好地应用于夜间或人群拥挤等复杂环境的人群计数，得到更准确的人群预测数量。

本发明提供多模态人群计数模型训练方法、系统、存储介质及设备，方法包括获取并对人群场景图像的人群位置进行标注以获得多组训练图像，根据多组训练图像得到训练集并生成标签密度图；根据人群场景图像分别得到特征图，并根据特征图进行多模态特征融合得到融合后的特征；将融合后的特征进行自蒸馏学习并计算自蒸馏损失；将融合后的特征进行特征聚合和目标区域的多尺度感知并进行人数预测得到预测密度图；根据预测密度图和对应训练图像的标签密度图计算贝叶斯损失进而得到网络整体损失函数计算损失，进行反向传播以更新模型参数得到多模态人群计数模型。本发明可对全局上下文信息进行高效建模，增强多尺度信息提取能力。