发明专利 已授权

一种大模型非时序训练数据质量评价方法

📄 申请号:CN202311405741.3 📄 发布日:2026/08/26

著录项目信息

申请日
2023-10-27
公开号
CN117150232B
公开日
2024-02-06
申请人
南京邮电大学
法律状态
已下证
专利类型
发明
主分类号

技术画像

应用场景

大模型训练, 数据治理, 人工智能研发, 数据预处理, 模型评估

摘要

本发明公开了一种大模型非时序训练数据质量评价方法,从宏观与微观两个角度出发对大模型预训练数据集的质量做出评价。宏观层面:对数据集总量、数据类分布情况进行检查,考虑到数据的特殊性,还对数据集时效性进行检查,对数据集质量进行初步评价。微观层面:将数据集特征与标签的关联强度作为数据集质量评价标准,对数据集进行评价时为了降低大规模数据集背景下的工作量,预先采用分层抽样的方法对原始数据集进行样本抽取;评价过程包括特征重排列测试、标签重排列测试,并通过置换检测进行辅助,对数据集的质量作出评价。该方法可以帮助研究人员对大规模数据集进行高效快速的质量评估,降低数据集质量对模型训练结果的影响,减少模型迭代成本。
权利要求书 (12项) 说明书 附图

……

……

图1
图2
图3

法律状态时间线

相似专利推荐 AI 驱动 · 同领域

暂无同领域相似专利推荐
议价
不含过户费

📋 交易方式: 委托待转让 📌 交易状态: 在售 👁️ 浏览次数:3 ❤️ 收藏人数:93 📋 项目申报: 未申报

资金托管 权属尽调 包过户
🏢 淄博智来知识产权服务有限公司
✓ 企业认证✓ 手机绑定历史成交 0件好评率 98.5%

📊 出价记录 (3条)
王**¥-10万
李** 企业¥-8万
陈**¥-3万
查看全部出价