发明专利已授权

一种基于Spark算子的序列化存储优化方法

📄 申请号：CN201710160862.4 📄 发布日：2026/07/23

著录项目信息

申请日

2017-03-17

申请人

重庆邮电大学

法律状态

已下证

专利类型

发明

主分类号

G06F12_02

IPC 分类号

G06F12_02 , G06F12_0806 ,

技术画像

所属领域

大数据处理大数据处理分布式计算数据序列化

应用场景

大数据分析, 数据仓库, 实时计算, 机器学习, 日志处理

AI 智能推荐 · 同申请人专利 · 搜索相似专利

摘要

本发明公开了一种基于Spark算子的序列化存储优化方法，包括以下步骤：S1)使用ganglia检测应用执行过程中机器的内存使用量，如果检测到当前内存值正常，则继续监测，若检测到已达到指定阈值，则执行步骤S2)；S2)计算RDD的执行时间和RDD的执行效率；S3)根据公式(5)得到已排序的RDD序列，即序列化候选集合；S4)从序列化候选集合中选择值最小的进行序列化存储；S5)继续步骤1)，直到应用执行完毕。本发明实现在应用执行过程中高效存储有价值的RDD缓存，从而提高内存的使用率。相比与现有的缓存使用方案，本方法应用于现有的Spark大数据平台上，能够在内存资源有限时使整个应用保持较高的执行效率。

权利要求书 (12项) 说明书附图

……

图1

图2

图3

法律状态时间线

20200207

✅ 授权

20170714

?? 实质审查的生效：

20170620

📄 公开

弹性光网络中最小代价频谱分配与碎片感知的路由方法

当前第 / 件

基于DSRC的智能车辆地图融合系统及方法

同领域国内专利 · IPC: (G06F12_02)

G06F12_02 G06F12_06 G06F12_08 G06F12_0811 G06F12_0813 G06F12_0855 G06F12_0862 G06F12_0866 G06F12_0871 G06F12_0875 G06F12_0877 G06F12_0891 G06F12_0893 G06F12_1009 G06F12_12 G06F12_123 G06F12_14 G06F12_16 覆盖18个领域

议价

不含过户费

📋 交易方式： 委托待转让 📌 交易状态：在售 👁️ 浏览次数：17 ❤️ 收藏人数：93 📋 项目申报： 未申报

资金托管权属尽调包过户

🏢 淄博智来知识产权服务有限公司

✓ 企业认证✓ 手机绑定历史成交 0件好评率 98.5%

📊 出价记录 (3条)

王**¥-10万

李** 企业¥-8万

陈**¥-3万

查看全部出价

我要出价 (议价)

一种基于Spark算子的序列化存储优化方法

著录项目信息

技术画像

所属领域

应用场景

摘要

法律状态时间线

同领域国内专利 · IPC: (G06F12_02)

相似专利推荐 AI 驱动 · 同领域

一种视频数据压缩存储设备

一种气象数据压缩重建方法

一种D-RoF系统中基于矢量量化的数据压缩方法

服务项目

资源中心

关于柿子坊