咨询电话：13280638997
传真：0533-3110363
邮箱：kefu@shizifang.com
24小时咨询热线13280638997
24小时咨询热线著 录 项 目：
| 专利/申请号： | CN201910983158.8 | 专利名称： | 一种spark下的机器学习快速大规模样本签名方法 |
| 申请日： | 2019-10-16 | 申请/专利权人 | |
| 专利类型： | 发明 | 地址： | |
| 专利状态： | 已下证 查询审查信息 | 分类号： | G06N20/00分类检索 其他专利转让搜索 |
| 公开/公告日： | 转让价格： | 【平台担保交易】 | |
| 公开/公告号： | 交易状态： | 等待洽谈 搜索相似专利 |
摘 要：本发明请求保护一种spark下的机器学习快速大规模样本签名方法，涉及数据挖掘技术和计算机信息处理技术。本方法为：1)读入样本数据，将样本数据转换成独有的样本格式；2)对样本数据中的高频特征进行划分，得到FeatureMap；3)设置最大广播数量，根据最大广播数量计算FeatureMap的partition；4)根据partition数量进行循环迭代，分片广播大量特征；5)最后对样本进行格式转换，得到libsvm格式的数据。本发明可以解决模型训练过程中样本签名性能瓶颈的问题，特别适用于在spark集群下训练模型。本发明虽然解决的是样本签名问题，但是由于本方法定制数据结构和分片广播可以很好的避免shuffle从而同样适用于大数据工程中的数据倾斜问题。
| 交易方 | 企业 | 个人 |
| 买家 | 营业执照副本复印件（需盖公章） | 身份证复印件（签字） |
| 专利转让委托书（需盖公章）一式两份 | 专利转让委托书（需签字）一式两份 | |
| 专利转让协议（需盖公章）一式两份 | 专利转让协议（需签字）一式两份 | |
| 卖家 | 营业执照副本复印件（需盖公章） | 身份证复印件（需申请人签字） |
| 解除代理委托书（需盖公章）一式两份（如专利通过代理机构申请） | 解除代理委托书（需签字）一式两份（如专利通过代理机构申请） | |
| 专利转让协议（需盖公章）一式两份 | 专利转让协议（需签字）一式两份 | |
| 专利请求书或手续合格通知书、授权通知书复印件 | 专利请求书或手续合格通知书、专利授权通知书复印件 | |
| 专利证原件（若授权下证） | 专利证原件（若授权下证） |
| 日期 | 法律信息 | 备注 |
| 申请号 | 专利名称 | 发布日期 |
| 2018115342673 | 【发明】特征处理流程的建立方法、装置、存储介质及电子设备 | 2025/02/14 |
| 2018114273394 | 【发明】数据均衡方法、装置、计算机可读存储介质及电子设备 | 2025/02/14 |
| 2017114249070 | 【发明】机器学习流程的迁移方法、装置、存储介质和电子设备 | 2025/02/14 |
| 2021112711131 | 【发明】模型训练方法及装置、深度预测方法及装置、设备和介质 | 2025/01/03 |
| 2021111918089 | 【发明】一种多小区联邦学习模型训练方法 | 2025/03/12 |
| 2022103572045 | 【发明】一种鱼对水流形态感知和响应关系的提取方法及装置 | 2024/11/07 |
| 2020101059811 | 【发明】一种面向数据隐私保护的机器学习预测方法及系统 | 2024/10/16 |
| 2024101827072 | 【发明】一种工业过程关键性指标软测量建模方法 | 2025/07/09 |
| 2023105530639 | 【发明】一种可防御拜占庭攻击的异步联邦优化方法 | 2025/05/08 |
| 2021110404800 | 【发明】一种具有差分隐私保护的联邦学习模型训练方法 | 2024/07/29 |
