本申请公开了基于特征融合和增量滑动窗口的视频摘要生成方法及系统，对待处理视频基于图建模的方式进行特征表示，得到每一帧图像对应的若干个图特征表示；计算每一帧图像的若干个图特征表示与中值图的对应特征表示之间的特征差异值；对每一帧图像的所有特征差异值进行自适应加权求和，得到每一帧图像的差异度量；采用自适应长度的滑动窗口对待处理视频进行滑动检测；在滑动窗口滑动检测的过程中，假设滑动窗口内R帧图像的差异度量符合正态分布，计算第R+1帧的差异度量是否符合同一正态分布；如果不符合则表示存在镜头边界；对每个镜头中的所有帧图像进行聚类处理，获取关键帧；将所有的关键帧按照时间顺序进行排列生成视频摘要。
📄 2020115867804
📂 G06F16_738
👤 湖北华中电力科技开发有限责任公司
📅 2020-12-28
本发明涉及人工智能技术领域，提供一种视频摘要生成方法、装置、计算机设备及介质，包括：将原始视频切分为多个视频片段，并识别每个视频片段的视频文本；提取视频片段的视觉特征向量及提取视频文本的文本语义向量；采用层级注意力机制将所述视觉特征向量及对应的所述文本语义向量进行融合得到融合特征向量；基于Bi‑LSTM构成视频片段选择器，使用所述视频片段选择器根据所述融合特征向量计算每个视频片段的重要度；以GAN为网络框架，根据所述重要度对所述视频片段选择器进行优化训练，得到最优的视频片段选择器；使用所述最优的视频片段选择器生成视频摘要。本发明融合了视频的图像特征和文本特征，生成的视频摘要准确度较高。
📄 2021105521912
📂 G06K9_00
👤 平安科技(深圳)有限公司
📅 2021-05-20
本发明公开了一种层次化跨模态交互的无监督视频摘要生成方法，属于计算机视觉技术领域。所述方法包括：读取输入的视频帧序列，通过特征提取器分别提取视频静态特征和动态特征，得到帧级静态特征序列和动态特征序列；利用基于核的分割算法将视频划分为语义连贯的镜头子序列；接着将帧级静态特征序列和动态特征序列输入视频摘要生成模型，通过模型预测镜头级重要性分数序列；之后构建目标损失函数，采用无监督方式训练上述的视频摘要生成模型；将训练得到的视频摘要模型对新视频进行预测，根据生成的镜头级重要性得分序列生成视频摘要；本方法解决了现有视频摘要方法中在跨模态交互不足，偏离全局语义的问题。
📄 202511787837X
📂 G06F16_738
👤 石家庄铁道大学
📅 2025-12-01
本申请公开了一种视频摘要生成方法、装置、计算机设备和存储介质，涉及视频监控领域。本申请实施例提供的视频摘要生成方法，不仅获取第一监控设备的监控视频，还获取第一监控设备目标区域内的多个第二监控设备的监控视频，从多个第二监控视频中获取包括目标对象的至少一个第二监控视频，从而生成的目标视频摘要中不仅第一视频片段中包括目标对象，至少一个第二视频片段中的每个第二视频片段也包括目标对象，因此，该目标视频摘要包括的信息量丰富，可以拓展相关人员查找目标对象的维度和范围，提高目标对象的查找效率。
📄 2019105513054
📂 H04N21_8549
👤 杭州海康威视系统技术有限公司
📅 2019-06-24
本发明提供一种视频摘要生成方法及装置、设备、介质，该方法包括：在确定生成视频摘要中每个视频摘要帧所需的目标对象的位置信息时，依据缓存队列Q1中的剩余容量从数据库中获取未处理的轨迹并存入至Q1中，数据库中存储了从视频中确定出的目标对象的轨迹；按照指定要求确定Q1中需转存的轨迹T并转存至缓存队列Q2，取出Q2中轨迹上的指定轨迹点；将本次取出的指定轨迹点确定为生成当前视频摘要帧所需的目标对象的位置信息；判断当前已确定出位置信息的视频摘要帧的数量是否大于目标帧数，若否，继续确定生成下一个视频摘要帧所需的目标对象的位置信息，若是，依据已确定的生成各个视频摘要帧所需的目标对象的位置信息生成视频摘要。
📄 2019100498467
📂 H04N21_8549
👤 杭州海康威视数字技术股份有限公司
📅 2019-01-18
本发明公开了一种基于对比学习和注意驱动对抗网络的无监督视频摘要生成方法。所述方法包括：读取视频帧序列，并利用特征提取器提取帧级视觉特征；将帧级视觉特征输入视频摘要生成模型，通过模型生成每个帧的重要性得分向量；构建目标函数，优化帧选择器的选择准确性，并结合生成对抗网络的判别器，迭代优化模型参数，使得视频摘要生成模型能够从无标签视频中有效学习帧的重要性和时序特征；最后，利用上述训练得到的视频摘要生成模型，根据重要性预测得分，选择出最具代表性的帧，并生成最终的视频摘要。所提方法可以有效地捕获视频关键帧的多样性和代表性，并且建模视频序列中长距离时间依赖。
📄 2025102094923
📂 G06V20_40
👤 石家庄铁道大学
📅 2025-02-25
本发明公开了一种基于全局记忆检索与双流动态融合的视频摘要生成方法，属于计算机视觉技术领域。所述方法包括：对输入视频帧序列进行特征提取，得到时序视频特征；将时序视频特征输入视频摘要生成模型，通过模型预测帧级重要性分数；将所述帧级重要性分数与中心置信度进行加权融合，获得最终帧级重要性得分；对所述帧级重要性得分执行时序非极大值抑制处理，抑制相邻高得分帧中的冗余帧，根据处理后的结果选择关键帧，并生成最终视频摘要。在基准数据集SumMe和TVSum上得到的实验结果证明了该方法的先进性。本发明所提出的视频摘要生成方法可以有效地提升长视频的时序建模能力和关键帧选择的准确性。
📄 2025107537881
📂 G06V20_40
👤 石家庄铁道大学
📅 2025-06-06
本发明公开了一种基于全局多尺度编码与局部稀疏注意力的视频摘要生成方法，属于计算机视觉技术领域。所述方法包括：读取输入视频，提取输入视频的帧级特征向量；构造视频摘要生成模型，将帧级特征向量输入视频摘要模型；将全局多尺度编码和局部稀疏注意力模块的输出进行自适应融合，生成融合特征；融合特征经回归网络输出帧重要性分数，选出代表性帧，生成视频摘要。本发明所提视频摘要方法通过结合全局多尺度编码与局部稀疏注意力机制，能够精确识别视频中的关键片段，显著提升视频浏览效率和用户体验。实验在基准数据集SumMe和TVSum上进行，实验结果充分证明了该方法的有效性。
📄 2025107722257
📂 G06F16_738
👤 石家庄铁道大学
📅 2025-06-11
本发明公开了一种基于运动信息协助的视频摘要生成方法，用于自动地从视频中挑选最重要的片段，从而提升视频浏览效率。所提方法首先根据输入视频获取外观帧序列和运动帧序列，并采用神经网络模型分别提取外观特征和运动特征，然后根据镜头分割算法检测视觉变化点，得到子镜头集合，接着利用构建的视频摘要生成模型预测镜头级重要性得分，最后根据预测得分生成动态视频摘要。所提方法在使用静态的外观信息的基础上进一步引入了运动信息，通过实现有效的单模态特征编码以及跨模态特征交互提升了对视频内容的理解能力。在SumMe和TVSum两个基准数据集上的实验结果充分证明了所提方法的有效性和先进性。
📄 2023105041596
📂 H04N21_8549
👤 石家庄铁道大学
📅 2023-05-06
本发明公开了一种基于语义自挖掘的视频摘要生成方法。该方法包括：S1，读取视频帧序列，并利用特征提取器提取帧级视觉特征；S2，构建视频摘要生成模型，将所述帧级视觉特征送入所述视频摘要生成模型中生成预测得分向量；S3，构建均方误差损失函数，增加预测得分与人工标注得分之间的一致性，并迭代优化网络参数，训练所述视频摘要生成模型；S4，利用S3训练得到的视频摘要生成模型对输入视频执行上述S1和S2，根据预测得分向量生成关键镜头集合。所提方法可以有效地处理任意时长的视频，并且通过深入挖掘输入视频本身的语义表征使得该方法可以更加准确地定位视频中的关键片段。在基准数据集上的实验结果充分证明了其有效性和先进性。
📄 2023103530193
📂 G06F16_738
👤 石家庄铁道大学
📅 2023-04-04
本发明公开了一种基于内容感知的视频摘要生成方法。该方法包括：通过特征编码器将视频帧编码为帧级特征向量；构建视频摘要生成模型预测帧级重要性分数；采用监督学习的学习范式训练所述视频摘要生成模型；选择包含最多关键信息的子镜头，输出动态视频摘要。实验在基准数据集SumMe和TVSum上进行，实验结果充分证明了该方法的有效性。本发明所提出的视频摘要算法，充分利用了注意力机制和卷积操作的全局和局部建模能力，可以准确地感知视频中的重要片段，提升视频浏览效率。
📄 2023100051750
📂 H04N21_8549
👤 石家庄铁道大学
📅 2023-01-04
本发明公开了一种联合强化学习和对比学习的视频摘要生成方法。该方法包括：根据视觉特征将完整的视频序列分割成互不相交的子序列集合；构建以镜头级特征为输入，以镜头级重要性分数为输出的视频摘要模型；构建训练损失函数，对网络参数进行迭代优化；选择包含最多关键信息的镜头，输出动态视频摘要。在基准数据集SumMe和TVSum上得到的实验结果证明了该方法的有效性。本发明所提出的视频摘要生成方法采用无监督的方式进行训练，可以有效地从判别性的特征表示中挖掘视频中的上下文依赖关系，从而准确地提取视频中的关键片段。
📄 2022115293508
📂 G06V20_40
👤 石家庄铁道大学
📅 2022-12-01
柿子坊 · 知识产权运营
柿子坊知识产权运营平台