本发明属于人物交互关系检测领域,公开了一种基于动态降噪蒸馏和先验提纯的人物交互检测方法,通过编码器对图像样本生成全局编码特征;构建可学习查询、真实查询和噪声查询,将真实查询和噪声查询相加得到联合查询,将可学习查询与联合查询拼接生成混合查询;将全局编码特征与混合查询输入解码器,提取解码器的输出得到学生预测集合和教师预测集合,并计算总损失进行优化更新。本发明方法有效的平衡了降噪策略和知识蒸馏,最小化在查询蒸馏中负样本的影响,同时保留正样本。
📄 2024117854027
📂 G06V40_10
👤 浙江工业大学
📅 2024-12-06
本发明公开了一种基于提示性引导查询的级联约束解码人物交互检测方法,构建并训练人物交互检测网络模型,所述人物交互检测网络模型包括目标检测器、向量融合模块和级联约束交互解码器,然后将待检测图像输入至目标检测器中得到目标框、目标类别与置信度分数,在向量融合模块中,将得到的视觉查询向量、空间查询向量和语义查询向量拼接得到最终的融合查询向量,再通过级联约束交互解码器,采用主分支解码器和抑制分支解码器对融合查询向量进行解码,将两个分支的输出进行交互感知融合,再经过多层感知机得到交互检测结果。本发明可以挖掘更深层次的交互式表征,并提高模型的泛化能力性能,提高了人、物交互检测人物的精度,具有领先的性能。
📄 2023110846330
📂 G06V40_10
👤 浙江工业大学
📅 2023-08-25