发明专利已授权

一种spark下的机器学习快速大规模样本签名方法

📄 申请号：CN201910983158.8 📄 发布日：2026/07/23

著录项目信息

申请日

2019-10-16

公开号

CN111079935B

公开日

2022-10-18

申请人

深圳楷乔科技有限公司

法律状态

已下证

专利类型

发明

主分类号

G06N20_00

IPC 分类号

G06N20_00 , G06K9_62 ,

技术画像

所属领域

机器学习机器学习分布式计算大数据处理

应用场景

大数据分析, 机器学习平台, 数据去重, 相似度检索, 分布式数据处理

AI 智能推荐 · 同申请人专利 · 搜索相似专利

摘要

本发明请求保护一种spark下的机器学习快速大规模样本签名方法，涉及数据挖掘技术和计算机信息处理技术。本方法为：1)读入样本数据，将样本数据转换成独有的样本格式；2)对样本数据中的高频特征进行划分，得到FeatureMap；3)设置最大广播数量，根据最大广播数量计算FeatureMap的partition；4)根据partition数量进行循环迭代，分片广播大量特征；5)最后对样本进行格式转换，得到libsvm格式的数据。本发明可以解决模型训练过程中样本签名性能瓶颈的问题，特别适用于在spark集群下训练模型。本发明虽然解决的是样本签名问题，但是由于本方法定制数据结构和分片广播可以很好的避免shuffle从而同样适用于大数据工程中的数据倾斜问题。

权利要求书 (12项) 说明书附图

……

图1

图2

图3

法律状态时间线

一种具有药物释放功能的形状记忆高分子材料的制备方法及所得产品和应用

当前第 / 件

一种银纳米片及其低温制备方法

同领域国内专利 · IPC: (G06N20_00)

G06N20_00 G06N20_10 G06N20_20 覆盖3个领域

相似专利推荐 AI 驱动 · 同领域

暂无同领域相似专利推荐

议价

不含过户费

📋 交易方式： 委托待转让 📌 交易状态：在售 👁️ 浏览次数：30 ❤️ 收藏人数：93 📋 项目申报： 未申报

资金托管权属尽调包过户

🏢 淄博智来知识产权服务有限公司

✓ 企业认证✓ 手机绑定历史成交 0件好评率 98.5%

📊 出价记录 (3条)

王**¥-10万

李** 企业¥-8万

陈**¥-3万

查看全部出价

我要出价 (议价)