专利交易市场

一种利用哈希减少写停顿的键值存储方法，其包括如下步骤1）LSM树存储：HSKV遵循HashKV的基础，使用KV分离，只在LSM树中存储键和元数据，用于索引KV对，同时将值存储在称为值存储的单独区域中，在KV分离之上，HSKV三个核心设计元素，实现高效的储值管理；2）存储管理：Mem Segments（Write cache）：我们将Mem Segments的每一列称为mem segment，将insert/update的KV对，利用哈希散列到对应的mem segment末尾，当mem segment大小达到阈值时，对其进行KV分离，将key与元数据单独保留成为Mem Table加入LSM‑Tree，将整个mem segment直接添加到对应的段组中；本发明通过HSKV可以在更新密集型工作负载下进行有效的更新，它的创新之处在于利用基于哈希的方法改进了基于KV分离的垃圾回收管理策略，实现了高更新性能，以减轻GC开销。

本发明一种基于内存表索引与迭代器缩减机制的键值存储及读写方法，涉及计算机存储领域，包括：对于写入的键值对，保存在可写内存表中，当可写内存表大小达到设定的限制时，将可写内存表转换为只读内存表；当只读内存表需要写入磁盘时，将只读内存表临时保存至内存表索引池中；生成一个标识SST文件，并将其写入到磁盘中的L0层；只读内存表与标识SST文件间的一一对应关系通过映射关系表记录；当发生层间合并操作时，检查L1‑L6层的键范围映射表中记录的层级信息是否需要更新。本发明对L0层文件执行读写请求时无需进行磁盘I/O，通过设计键范围映射表结构，减少了范围查找过程中迭代器的构建数量，从而提升键值存储的读写性能，实现键值存储读写性能的提升。

本发明提出一种应用于键值存储系统的热度感知本地更新方法，包括：对于待写入的数据，若键值对的键存在于B树中且已经写入外存设备，则将该数据插入更新缓存中，当更新缓存大小达到限制时，将该数据转换为只读结构，并生成相应的频率表，根据键信息，在B树中查询到该键值对的地址，并为键值对创建迭代器，逐条判断被更新键值对的地址与大小；对于热度相同的被更新数据，若同一哈希区内的数据同时被更新且数据总大小未发生变化，则进行本地更新；若同一哈希区内的部分数据被更新，则判断被更新数据与该哈希区内总数据量的比值，进行对应操作；本发明方法充分利用固态硬盘的随机性能，缓解层间合并过程中的IO放大，实现键值存储系统性能的提升。

本发明公开了一种基于键值分离的键值存储系统优化方法及装置，涉及计算机存储领域，方法包括：在内存中划分键存储空间和值存储空间，键存储空间通过LSM‑Tree结构管理，刷写方向为从下往上；值存储空间由若干段组组成，段组通过键范围进行分组；在内存中建立分组表记录每个分组的键范围和分组号，建立段组表记录每个分组所包含的段组的段组号；根据写请求键所属键范围选择分组并将键值索引存储到LSM‑Tree结构中，在LSM‑Tree结构中选择与写请求键所属键范围无范围重叠的层级刷写Immutable MemTable。本发明改变LSM‑Tree刷写顺序，减少频繁触发compaction操作带来的读写放大；通过LSM‑Tree范围查询筛选出过期段组，提高垃圾回收效率。

本发明提出一种基于多树转换机制的键值存储方法，具体包括：对于写入的键值数据，首先保存至写入跳表，当大小达到限制后，转换为只读跳表插入至内存设备中的B+树；当B+树大小达到一定限制时，根据热度策略遍历键值数据，将热度低的键值数据持久化至外存设备中的冷树0层；若冷树0层中的键值数据文件数量达到大小限制，则触发0层分区操作；当B+树中的键值数据执行持久化操作时，0层分区只接收符合设定范围的键值数据；若冷树中特定范围内的键值数据达到一定热度时，则转移至外存设备的热树中；同时热树中低热度的键值数据将转移至冷树中。本发明提供的方法使用热度策略减少读放大的同时，保证写入性能，实现键值存储系统性能的整体提升。

本发明公开了一种应用于键值分离存储系统的页缓存热数据聚合方法及装置，涉及数据存储领域，包括：若写缓冲区已被写满并获取到将待写入的键值对写入值文件的操作指令，则查询热度统计表；若写入的键值对中的键在热度统计表中，则确定为热数据，判断热缓冲区是否已被写满，若是则将热缓冲区中的所有键值对持久化，再写入热缓冲区，否则直接写入热缓冲区；若待写入的键值对中的键不在热度统计表中，则确定为冷数据，判断冷缓冲区是否已被写满，若是则将冷缓冲区中的所有键值对持久化，再写入冷缓冲区，否则直接写入冷缓冲区；将待写入的键值对所在的值地址和对应的键写入LSM树中。本法可以解决页缓存的命中率低且影响读性能的问题。

一种基于Rime应用特征的键值存储层间合并优化方法及装置，涉及计算机存储领域，包括：对于查找操作，依据用户输入的拼音为键前缀在用户数据库中依次查找数据，直到找到目标数据；若读取到目标数据，更新键值对缓冲区并记录SST文件的读取次数；当用户选择汉字/词语时，通过拼音和汉字/词语构成的完整键，依次查询键值对缓冲区和用户数据库，直到找到目标数据；对于写入操作，数据首先存入可写内存表中，达到阈值后转为只读内存表并以SST文件形式写入磁盘，写入SST文件后，检查层级大小，超出限制时触发层间合并操作，合并过程中依据键前缀分割SST文件，并当新SST文件写入时，检查SST文件冷热记录表，优先合并热范围数据，确保数据有序性。

一种基于Caffe应用特征的键值存储和数据预取方法，涉及计算机存储领域，包括：根据不同的存储设备的带宽大小设置SST文件中的数据块大小；当图像数据写入键值存储系统时，将图像数据转换为键值对并保存在内存表中；若内存表容量达到预设阈值，则将图像数据转化为不可变内存表并刷新到磁盘，组织成SST文件；其中，每个SST文件中包含多个数据块用于存储键值对数据；当执行数据预取操作时，将读取的磁盘I/O单位大小与存储设备的带宽匹配；同时，在图像分辨率大于预设分辨率时采用一个线程负责读取和解析键值对另一个线程执行数据格式转换的双线程并行执行策略；在读取键值对时，采用全局乱序读取机制。本发明提高数了数据预取效率及模型的测试精度。

本发明公开了一种基于接收端驱动的键值调度方法。当键值操作到达客户端时，键值操作并没有被立刻发送，而是在客户端队列中等待以寻找最佳调度时机，此外，客户端分布式地调节其允许发送键值操作的阈值来控制客户端之间的并发性。故本发明能够根据服务器动态变化的性能来进行键值调度，当有些服务器性能较差时，键值操作会被压在客户端队列中以等待最佳的调度时机，性能较好的服务器处理速度快，因此能够被分配到更多的键值操作。此外，本发明分布式地调节客户端允许发送的键值操作数目，使客户端之间达成了良好的协作，有效地控制了大规模场景下的并发导致尾延时激增的问题。与现有的自适应调度方法相比，本发明有效地降低了键值操作的尾延迟。