发明专利 已授权

一种基于Spark大数据平台的并行CRF算法

📄 申请号:CN201810500016.7 📄 发布日:2026/07/23

著录项目信息

申请日
2018-05-23
申请人
重庆邮电大学
法律状态
已下证
专利类型
发明
主分类号
IPC 分类号

技术画像

应用场景

大数据分析, 自然语言处理, 文本挖掘, 命名实体识别, 序列标注

摘要

本发明请求保护一种基于Spark大数据平台的并行CRF算法,涉及数据挖掘技术和自然语言处理技术。首先,读取大规模数据集,进行数据初始化处理,将数据集划分为训练集和测试集。其次,获取特征模板,创建分布式训练数据集RDD和分布式特征模型RDD。再次,利用flatMap特征模型将训练数据转换成特征,通过整合相同的特征得到特征RDD,从而生成并行特征。然后,通过梯度计算更新特征权值,直到所有训练数据RDD更新完成,得到特征权值向量。最后,从HDFS上读取训练好的模型数据和测试数据,将测试数据执行特征抽取操作,利用特征权值向量计算得到最优预测标记序列,将输出存在HDFS中。本发明提高了CRF算法的高迭代效率。
权利要求书 (12项) 说明书 附图

……

……

图1
图2
图3

法律状态时间线

20181225
?? 实质审查的生效 :
20181130
📄 公开
议价
不含过户费

📋 交易方式: 委托待转让 📌 交易状态: 在售 👁️ 浏览次数:27 ❤️ 收藏人数:93 📋 项目申报: 未申报

资金托管 权属尽调 包过户
🏢 淄博智来知识产权服务有限公司
✓ 企业认证✓ 手机绑定历史成交 0件好评率 98.5%

📊 出价记录 (3条)
王**¥-10万
李** 企业¥-8万
陈**¥-3万
查看全部出价