本发明属于计算机领域，公开了一种基于完全图的对称部分重复码构造及故障节点修复方法。本方法主要是根据n阶完全图中顶点之间的对称关系，构造对称部分重复码。所构造的对称部分重复码不但能快速高效修复单故障节点或任意两个故障节点，而且在修复节点修复过程中节点的修复局部性较小。单故障节点和不连续的两个节点故障有多种修复度为2的修复方案，当两个连续节点发生故障也存在节点的修复度为2的修复方案。相比于传统的部分重复码，节点修复时磁盘I/O开销相对较小，冗余编码块少，且该码构造过程简单，极易推广，可操作性强。
📄 2019109308881
📂 G06F11_10
👤 长安大学
📅 2019-09-29
本发明公开了基于HBase的剧场数据精准查询优化方法，包括以下步骤：1)通过Thrift使用C++访问HBase；2)使用Thrift生成文件写接口，把HBase源码中的HBase.thritf文件放在root用户的主目录下；3)在程序中访问HBase；在服务器端打开HBasethrift2service的服务，通过参考生成的文件中的函数定义，调用API来编写接口程序，客户端向服务器申请访问数据库，调用thrift函数来打开数据库的连接；4)采用PARTITION算法进行直接连接运算，减少数据处理时间；5)利用Spark分布式计算平台进行计算密集型、大数据量的操作，通过Spark平台的迭代计算优势可实现数据的高效查询。
📄 2021116759341
📂 G06F16_2453
👤 浙江工业大学
📅 2021-12-31
本发明公开了一种分布式数据副本的分级存储与调度方法，包括以下步骤：建立SSD‑HDD的分层式存储结构，数据的存储采用三副本的存储策略；将数据划分为冷数据、潜冷数据、热数据以及潜热数据；采用基于线段树的分配算法选择合适的存储节点；按照副本冷热属性的不同，分阶段迁移数据的副本；当数据的冷热属性变化时，将数据按照相应属性的策略进行迁移。本发明避免了因短时间大量数据的迁移而导致系统不稳定，减少数据迁移对整个存储系统的性能影响；同时为不同属性的数据提供了合适的存储和迁移方式，从而使数据对外服务达到较高的性能，并节约了成本。
📄 2021102360463
📂 G06F3_06
👤 成都信息工程大学
📅 2021-03-03
本发明涉及一种分布式存储环境下实现节点数据安全的方法，采用一种全或无变换算法预处理要存储的明文信息，采用纠删码技术进行分布式存储，扩充密钥KA满足不同的安全强度要求，重构阶段第一步比较散列值进行完整性检验，实现了分布式存储数据的机密性、完整性和可恢复性。因此，本发明具有如下优点：1、采用一种全或无变换算法，对存储的数据进行转换，实现分布式存储节点数据的机密性。2、采用纠删码技术，对全无变换包进行编码分布式存储，并用来恢复正确数据，实现数据的可恢复性。3、扩充密钥与密文散列值一样长，从而适用不同的密钥长度，满足不同安全强度要求。4、重构阶段第一步进行完整性检验，高效的检验分布式存储数据的完整性。
📄 2018100658705
📂 G06F21_60
👤 中南民族大学
📅 2018-01-23
本公开的实施例提供了基于双层Raft一致性协议的云边协同分布式存储方法和装置，应用于大数据处理技术领域。所述方法包括接收用户端发送的数据查询请求；所述数据查询请求包括目标信息；根据所述目标信息从预设哈希环中确定目标边缘集群信息；将所述目标边缘集群信息返回给所述用户端，以令用户端从对应的边缘集群获取需要查询的数据。以此方式，可以在确保网络节点可以灵活扩展的同时，进一步提高数据检索效率。
📄 2024110850947
📂 G06F16_2453
👤 浙江理工大学
📅 2024-08-08
本发明公开了一种分布式存储中降低纠删码修复的方法及装置，其方法包括：将分布式存储的纠删码数据划分成N个数据条带，并将所述N个数据条带中每S个数据条带组合成数据条带集，其中，每个数据条带集中包含L个数据小组；以所述数据条带集为编码单位，通过分别对所述每个数据小组进行旋转编码处理，生成SP2类型组内编码数据块和SP3类型组内编码数据块；在检测到所述纠删码数据中存在失效数据块时，确定用于解码恢复所述无效数据块所需要的组内编码数据块；利用所述组内编码数据块，解码恢复出所述纠删码数据中的失效数据块。
📄 2019112525198
📂 G06F11_10
👤 成都信息工程大学
📅 2019-12-09
一种分布式数据删除流控方法，包括：接收到客户端发送的数据删除请求时，将所述数据删除请求添加至配置的处理队列中，同时向所述客户端返回数据删除成功的信息；每隔预设时间段获取所述处理队列中的数据删除请求；根据数据删除请求确定对应的待删除数据的索引信息；将所述待删除数据的索引信息存入配置的数据库中；获取删除周期内的当前统计周期对应的流控阈值；基于所述当前统计周期对应的流控阈值，将数据库中的所述索引信息对应的数据进行删除。本发明还提供一种分布式数据删除流控装置、电子设备及存储介质。本发明能够在提高大规模分布式存储系统的数据删除效率的同时，避免对正常输入输出业务性能造成明显冲击，具有很好的流控效果。
📄 2018105660966
📂 G06F16_16
👤 平安科技(深圳)有限公司
📅 2018-06-04
本发明涉及数据处理领域，提供了一种基于分布式集群的数据存储方法、及其相关设备，所述基于分布式集群的数据存储方法包括：接收iscsi客户端发送的块设备创建请求，块设备创建请求携有参数信息和iscsi客户端的客户端标识；根据参数信息，生成N个块设备作为目标块设备以存储数据，并获取目标块设备的基本信息；基于N个目标块设备的基本信息，使用负载均衡的方式从ceph分布式集群中选取N个代理端作为目标代理端；获取每个目标代理端包含的iscsi目标器的目标器标识；建立目标块设备、目标器标识和客户端标识的映射关系。本发明的技术方案实现对目标代理端的动态配置以及灵活选择，从而提高系统资源调用的灵活性，确保系统的稳健性。
📄 2019108841120
📂 H04L67_1097
👤 平安科技(深圳)有限公司
📅 2019-09-19
本发明属于计算机技术领域，尤其涉及一种基于点对点网络的数据存储方法、装置、计算机可读存储介质及服务器。所述方法在接收到终端设备上传的待存储数据后，首先将所述待存储数据划分为各个数据分片，并计算其哈希值，然后根据各个数据分片的哈希值在所述点对点网络中确定与各个数据分片分别对应的目标节点，再分别构造各个数据分片的授权信息，并向各个目标节点分别发送所述授权信息，最后分别接收各个目标节点在对所述授权信息进行验证后发送的反馈信息，若与某一数据分片对应的目标节点对该数据分片的授权信息的反馈信息为确认信息，则将该数据分片发送至与该数据分片对应的目标节点进行存储，保证了整个数据存储过程安全有序的进行。
📄 2019103478380
📂 H04L67_104
👤 平安科技(深圳)有限公司
📅 2019-04-28
本发明公开了一种基于Ceph的OSD阻塞检测方法、系统、终端及存储介质。所述方法包括：通过OSD进程接收IO请求；统计所述IO请求的排队时延或等待时延；判断所述排队时延或等待时延是否超过设定阈值，如果超过设定阈值，判定所述OSD进程为阻塞OSD，并将所述阻塞OSD的阻塞消息发送至Monitor主节点；通过所述Monitor主节点接收所述阻塞消息，并计算所述阻塞OSD的阻塞状态，根据所述阻塞状态的计算结果控制所述阻塞OSD的运行状态。本发明可以确保IO阻塞不进一步扩散，从而保证Ceph集群稳定运行。在整个OSD阻塞检测和集群自愈过程中，无需人工干预，实现了自动化的集群自处理和维护。
📄 2020107852864
📂 G06F3_06
👤 平安科技(深圳)有限公司
📅 2020-08-06
本公开提供了基于异构再生码变换的数据分布式存储方法及系统，涉及数据分布式存储技术领域，包括获取设定大小的数据文件；将所述数据文件利用基于PM‑RC变换改进的再生码进行编码并在含有多个存储节点的异构DSS中跨节点存储；在所述异构DSS中，利用异构编码变换策略将基于PM的再生码结构变换为一组新的再生码结构HCT‑RC，所述再生码结构HCT‑RC的码字矩阵为不规则矩阵；异构编码变换策略为将基于PM的再生码的规则码字矩阵的多个数据符号按照一定的顺序重新排列到不规则矩阵中，从而将基于PM的再生码的码字转换为HCT‑RC的码字。本公开减少了修复故障节点给系统带来的额外工作量。
📄 2023108692141
📂 G06F16_174
👤 山东管理学院
📅 2023-07-17
本发明公开了一种分布式键值存储系统的存储节点层间合并方法及装置，涉及数据存储领域，包括：当获取到分布式键值存储系统的层间合并的操作指令，则判断层间合并的类型；若层间合并的类型为跨层级的层间合并，则采用负载均衡策略确定待执行层间合并操作的存储节点，在待执行层间合并操作的存储节点上读取到需进行层间合并的键值文件数据并进行层间合并操作，当层间合并操作完成后，待执行层间合并操作的存储节点将执行结果返回给主节点，并更新分布式键值存储系统的元数据信息；若层间合并的类型为同层级的层间合并，则在主节点上执行层间合并操作，本发明解决现有层间合并操作数据传输量大，数据写入效率低等问题。
📄 2024107133614
📂 G06F16_16
👤 华侨大学
📅 2024-06-04
柿子坊 · 知识产权运营
柿子坊知识产权运营平台