本发明属于人物交互关系检测领域,公开了一种基于动态降噪蒸馏和先验提纯的人物交互检测方法,通过编码器对图像样本生成全局编码特征;构建可学习查询、真实查询和噪声查询,将真实查询和噪声查询相加得到联合查询,将可学习查询与联合查询拼接生成混合查询;将全局编码特征与混合查询输入解码器,提取解码器的输出得到学生预测集合和教师预测集合,并计算总损失进行优化更新。本发明方法有效的平衡了降噪策略和知识蒸馏,最小化在查询蒸馏中负样本的影响,同时保留正样本。
📄 2024117854027
📂 G06V40_10
👤 浙江工业大学
📅 2024-12-06
本发明公开了一种基于提示性引导查询的级联约束解码人物交互检测方法,构建并训练人物交互检测网络模型,所述人物交互检测网络模型包括目标检测器、向量融合模块和级联约束交互解码器,然后将待检测图像输入至目标检测器中得到目标框、目标类别与置信度分数,在向量融合模块中,将得到的视觉查询向量、空间查询向量和语义查询向量拼接得到最终的融合查询向量,再通过级联约束交互解码器,采用主分支解码器和抑制分支解码器对融合查询向量进行解码,将两个分支的输出进行交互感知融合,再经过多层感知机得到交互检测结果。本发明可以挖掘更深层次的交互式表征,并提高模型的泛化能力性能,提高了人、物交互检测人物的精度,具有领先的性能。
📄 2023110846330
📂 G06V40_10
👤 浙江工业大学
📅 2023-08-25
本发明提供了一种人物交互检测设备及其方法、装置、可读存储介质,包括:获取待检测的目标图像;根据所述目标图像生成输入参数集;输入参数集包括人体候选框集、物体候选框集、目标图像的全局特征和根据人体候选框集和物体候选框集生成HOI提议数据;调用训练好的基于多流架构的HOI检测模型;基于多流架构的HOI检测模型由多个不同流HOI检测模型并联形成;根据输入参数集获取各个流HOI检测模型的输入集,并将输入集输入至对应HOI检测模型,以获得每个HOI检测模型的输出;根据每个HOI检测模型输出计算得到最终交互预测分数,以输出采集到的目标图像中人物交互行为判断结果。旨在解决现有技术中HOI检测方法判断人物交互效果不佳,外观特征性能较差的问题。
📄 2021113445639
📂 G06V40_10
👤 华侨大学
📅 2021-11-15
基于级联式并行的人物交互检测方法、装置、设备和介质,涉及图像识别技术领域。方法包含:获取待识别图像并提取图像特征,同时成图像特征的位置信息。迭代以下步骤#imgabs0#次后根据最后一次迭代的输出预测人物交互检测结果。根据图像特征和人物对先验边界框,生成人体查询向量和物体查询向量。根据人体查询向量解码得到人体解码特征。根据人体解码特征更新物体查询向量,然后根据更新后的物体查询向量解码得到物体解码特征。根据将人体解码特征和物体解码特征获取初始交互解码特征。根据人体解码特征、物体解码特征和初始交互解码特征获取多重关系特征,然后进行融合。根据融合的关系特征来增强初始交互解码特征,获取交互特征向量。
📄 2025103361866
📂 G06V40_10
👤 华侨大学
📅 2025-03-21