本发明提出的一种基于多NDP协同主机端执行并行任务的KV存储系统优化方法,首先在存储系统中设置多个NDP设备,组成多NDP的可计算存储阵列,每一个NDP设备设置一个对应的键值阈值,并根据键值阈值对NDP设备进行排序,获取各NDP设备的键值区间;主机端将获取的存储数据分发到各NDP设备进行存储;当触发压缩任务时,首先获取参与压缩的文件,结合参与压缩的文件的键值范围和键值阈值,将参与压缩的文件分配到对应的NDP设备进行压缩和存储。本发明通过压缩任务的动态分割和分配,达到主机端CPU与NDP设备阵列多CPU协同的效果,且实现了NDP设备与键值存储系统的横向扩展能力,通过NDP设备阵列扩展了存储资源和计算资源。
📄 2020105878910
📂 G06F16_174
👤 安徽大学
📅 2020-06-24