专利交易市场

一种基于稀疏融合的在线碳语义地图构建方法，所述方法包括以下步骤：1)对输入视频进行时空分片处理，分成视频片段集合p和关键帧片段集合x；2)提取视频片段集合p的多速率运动特征，然后通过快特征与慢特征的插值对齐模块得到时域运动特征；3)提取关键帧片段集合x的多尺度空间特征，然后通过多尺度特征对齐模块得到对齐后的空域特征；4)融合对齐后的时域运动特征与空域特征得到一个具有时空感知特性的视频动作质量特征，然后进入质量回归模块得到视频动作质量评价分数。本发明利用非常稀疏的图片帧来提取空间特征和具有非常低空间分辨率的密集视频帧来提取运动特征，在提高精度的同时降低了计算复杂度，更适合边缘设备的部署应用。

本发明公开了基于时序高斯混合空洞卷积的语义重构视频描述方法。本发明方法首先对含文本描述的采样视频帧提取外观特征和动作特征，将其拼接后输入到时序高斯混合空洞卷积编码器获得时序高斯特征；然后利用两层长短时记忆神经网络构建解码器，得到生成语句概率分布和隐藏向量；再建立语义重构网络并计算语义重构损失；利用随机梯度下降算法优化模型，对新视频依次通过上述步骤获得生成语句概率分布，用贪心搜索算法获得视频描述语句。本发明方法利用时序高斯混合空洞卷积对视频长期时序关系进行建模，并通过语义重构网络获得语句级的概率分布差异，能够缩小生成语句和视频内容的语义鸿沟，从而生成更准确描述视频内容的自然语句。

本发明实施例提供基于全局感知与提名关系挖掘的时序动作定位方法，涉及视频识别技术领域。其中，这种时序动作定位方法，其包含步骤S1至步骤S4。S1、获取待识别视频。S2、根据待识别视频，提取视觉特征。S3、将视觉特征输入预先训练好的时序提名生成网络模型，获取时序提名。S4、将时序提名输入预先训练好的时序提名分类网络模型，获取定位结果。定位结果包括动作类别和动作起止时间。时序提名生成网络模型通过图建模的方式动态捕获特征之间的关联性，实现动作边界与动作特征之间的信息交互，达到全局感知动作、背景、边界之间关系的目的。时序提名分类网络模型挖掘提名之间的潜在关系，实现更精准地定位与动作分类。

本申请实施例提供一种视频描述方法及装置、计算机设备和存储介质，其中，将待描述的视频分割为N个片段；获取预设的网络模型输出的第P个文本特征，所述N为大于等于2的整数，P为大于等于1且小于等于N的整数；将所述N个片段和所述第P个文本特征输入所述网络模型，得到第(P+1)个文本特征；输出所述第(P+1)个文本特征；如此，通过根据前一个文本特征生成下一个文本特征，大大减少了描述视频的文本的冗余，使得文本中的语句更加连贯且简洁。