本发明公开了云计算容器领域的一种基于IPFS的分批式镜像分发方法、系统及存储介质,所述方法包括:获取待下载镜像的集群节点列表,计算各节点待分发镜像的镜像层的缓存比例,将每个节点缓存比例与预设节点的阈值进行比较,获取完整镜像;将完整镜像的节点加入源节点列表中,以及将待下载镜像的节点加入需求节点列表中,并根据源节点列表中各节点构建初始IPFS网络,并导出和共享镜像文件;采用优化算法计算目标需求节点,将目标需求节点输入至IPFS网络中进行镜像下载,并将下载后的镜像文件导入并启动容器;下载完成的需求节点从需求节点列表中移出,并添加到源节点列表中,直至需求节点列表为空。本发明能够提高传输效率,以及增加传输过程的鲁棒性。
📄 2024104952784
📂 H04L67_1095
👤 南京邮电大学
📅 2024-04-24
本发明属于计算机领域,公开了一种基于完全图的对称部分重复码构造及故障节点修复方法。本方法主要是根据n阶完全图中顶点之间的对称关系,构造对称部分重复码。所构造的对称部分重复码不但能快速高效修复单故障节点或任意两个故障节点,而且在修复节点修复过程中节点的修复局部性较小。单故障节点和不连续的两个节点故障有多种修复度为2的修复方案,当两个连续节点发生故障也存在节点的修复度为2的修复方案。相比于传统的部分重复码,节点修复时磁盘I/O开销相对较小,冗余编码块少,且该码构造过程简单,极易推广,可操作性强。
📄 2019109308881
📂 G06F11_10
👤 长安大学
📅 2019-09-29
本发明公开了基于HBase的剧场数据精准查询优化方法,包括以下步骤:1)通过Thrift使用C++访问HBase;2)使用Thrift生成文件写接口,把HBase源码中的HBase.thritf文件放在root用户的主目录下;3)在程序中访问HBase;在服务器端打开HBasethrift2service的服务,通过参考生成的文件中的函数定义,调用API来编写接口程序,客户端向服务器申请访问数据库,调用thrift函数来打开数据库的连接;4)采用PARTITION算法进行直接连接运算,减少数据处理时间;5)利用Spark分布式计算平台进行计算密集型、大数据量的操作,通过Spark平台的迭代计算优势可实现数据的高效查询。
📄 2021116759341
📂 G06F16_2453
👤 浙江工业大学
📅 2021-12-31
本发明公开了一种分布式数据副本的分级存储与调度方法,包括以下步骤:建立SSD‑HDD的分层式存储结构,数据的存储采用三副本的存储策略;将数据划分为冷数据、潜冷数据、热数据以及潜热数据;采用基于线段树的分配算法选择合适的存储节点;按照副本冷热属性的不同,分阶段迁移数据的副本;当数据的冷热属性变化时,将数据按照相应属性的策略进行迁移。本发明避免了因短时间大量数据的迁移而导致系统不稳定,减少数据迁移对整个存储系统的性能影响;同时为不同属性的数据提供了合适的存储和迁移方式,从而使数据对外服务达到较高的性能,并节约了成本。
📄 2021102360463
📂 G06F3_06
👤 成都信息工程大学
📅 2021-03-03
本发明涉及一种分布式存储环境下实现节点数据安全的方法,采用一种全或无变换算法预处理要存储的明文信息,采用纠删码技术进行分布式存储,扩充密钥KA满足不同的安全强度要求,重构阶段第一步比较散列值进行完整性检验,实现了分布式存储数据的机密性、完整性和可恢复性。因此,本发明具有如下优点:1、采用一种全或无变换算法,对存储的数据进行转换,实现分布式存储节点数据的机密性。2、采用纠删码技术,对全无变换包进行编码分布式存储,并用来恢复正确数据,实现数据的可恢复性。3、扩充密钥与密文散列值一样长,从而适用不同的密钥长度,满足不同安全强度要求。4、重构阶段第一步进行完整性检验,高效的检验分布式存储数据的完整性。
📄 2018100658705
📂 G06F21_60
👤 中南民族大学
📅 2018-01-23
本公开的实施例提供了基于双层Raft一致性协议的云边协同分布式存储方法和装置,应用于大数据处理技术领域。所述方法包括接收用户端发送的数据查询请求;所述数据查询请求包括目标信息;根据所述目标信息从预设哈希环中确定目标边缘集群信息;将所述目标边缘集群信息返回给所述用户端,以令用户端从对应的边缘集群获取需要查询的数据。以此方式,可以在确保网络节点可以灵活扩展的同时,进一步提高数据检索效率。
📄 2024110850947
📂 G06F16_2453
👤 浙江理工大学
📅 2024-08-08
本发明公开了一种分布式存储中降低纠删码修复的方法及装置,其方法包括:将分布式存储的纠删码数据划分成N个数据条带,并将所述N个数据条带中每S个数据条带组合成数据条带集,其中,每个数据条带集中包含L个数据小组;以所述数据条带集为编码单位,通过分别对所述每个数据小组进行旋转编码处理,生成SP2类型组内编码数据块和SP3类型组内编码数据块;在检测到所述纠删码数据中存在失效数据块时,确定用于解码恢复所述无效数据块所需要的组内编码数据块;利用所述组内编码数据块,解码恢复出所述纠删码数据中的失效数据块。
📄 2019112525198
📂 G06F11_10
👤 成都信息工程大学
📅 2019-12-09
本发明属于计算机技术领域,尤其涉及一种基于点对点网络的数据存储方法、装置、计算机可读存储介质及服务器。所述方法在接收到终端设备上传的待存储数据后,首先将所述待存储数据划分为各个数据分片,并计算其哈希值,然后根据各个数据分片的哈希值在所述点对点网络中确定与各个数据分片分别对应的目标节点,再分别构造各个数据分片的授权信息,并向各个目标节点分别发送所述授权信息,最后分别接收各个目标节点在对所述授权信息进行验证后发送的反馈信息,若与某一数据分片对应的目标节点对该数据分片的授权信息的反馈信息为确认信息,则将该数据分片发送至与该数据分片对应的目标节点进行存储,保证了整个数据存储过程安全有序的进行。
📄 2019103478380
📂 H04L67_104
👤 平安科技(深圳)有限公司
📅 2019-04-28
本发明公开了一种大数据的分布式存储系统,该大数据的分布式存储系统包括名字服务节点、任务派发节点和数据服务节点,任务派发节点接收客户端发送的数据读写命令,并将接收到的数据读写命令、访问信息以及文件的全局路径信息发送至名字服务节点;名字服务节点根据访问信息和全局路径信息从对应的树结构中获取数据服务节点对应的访问信息,并向数据服务节点发送读写操作命令;数据服务节点根据读写操作命令读或者写存储在对应数据服务节点上的文件数据,并将执行结果数据返回至任务派发节点,由任务派发节点将执行结果数据返回至对应的客户端,解决了对大数据的分布式存储系统中的任意数据的快速读写问题,提高了数据读写效率,节约了时间。
📄 2019101113423
📂 G06F16_182
👤 哈尔滨学院
📅 2019-02-12
本发明提供一种用于物联网的大数据分布式存储方法及系统,涉及数据处理领域,其中,该系统包括:数据处理模块,用于接收多个物联网终端采集的物联网数据并进行存储预处理;数据处理模块用于对物联网数据进行存储预处理,并判断是否对物联网数据进行缓存;数据存储模块用于存储预处理后的物联网数据;数据缓存模块,用于在数据预处理节点判定对物联网数据进行缓存后,分配多个最优数据缓存节点,缓存预处理后的物联网数据;算力调度节点还用于为用户终端发起的数据查询请求分配数据预处理节点,数据预处理节点用于从数据存储模块或数据缓存模块调取数据查询请求对应的目标物联网数据,具有提高物联网的大数据存储的安全性的优点。
📄 202410811495X
📂 H04L67_1097
👤 广州云扬信息科技有限公司
📅 2024-06-21
本申请涉及计算机数据存储技术领域,具体涉及服务于电力CPS异构数据的分布式存储方法,该方法包括:采用聚类算法确定每台前端设备的相对高、低关系簇;基于所有前端设备的高关系值中最值之间的差异,及所述异构数据离散度,确定电力CPS的差异阈值,并结合每台前端设备的相对低关系簇中所有元素的平均分布情况,以及所述高关系值,得到每台前端设备的电力高关系簇;基于所述电力高关系簇中元素总数,确定电力CPS的动态虚拟节点数,对电力CPS所有前端设备的电力数据进行存储。本申请通过动态分配虚拟节点个数,提高存储空间的利用率及数据分布的均匀性。
📄 2025103208669
📂 G06F3_06
👤 西安云领大数据科技有限公司
📅 2025-03-18
本实用新型涉及电子数字数据处理技术领域,具体涉及一种云计算虚拟化分布式存储设备,包括储存设备主体、两个散热板、两个主散热风扇、两个辅助散热风扇和两个防尘组件,储存设备主体具有多个散热孔,防尘组件包括安装架、第一滤网、平移机构和清洁刷;通过两个主散热风扇和两个辅助散热风扇对储存设备主体内部进行吹风散热,热气经散热板和散热孔排出,避免储存设备主体因温度过高而损坏;安装架支撑第一滤网,通过第一滤网能够对空气中的灰尘进行隔离,避免灰尘经散热孔进入储存设备主体内部,防止因储存设备主体内部的电子元件上积攒大量灰尘而影响储存设备主体的正常运行。
📄 2024200255809
📂 G11B33_14
👤 深圳橙聘科技有限公司
📅 2024-01-04