摘要
本发明提出了一种基于MPI的云存储中数据消冗方法。包括:1.客户端计算文件指纹签名并发送到云端主服务器进行文件级消冗;若该文件不存在则进行并行数据分块并将文件元数据和分块元数据以及数据分块发送到云端主服务器;2.云端主服务器收到文件指纹后在二级索引结构上进行检索从而判断是否存在该文件;接收文件元数据和所有分块元数据及数据分块并存储文件元数据;将分块元数据发送到云端从服务器节点在消冗矩阵上利用MPI进行分布式并行消冗并将数据分块发送到从服务器处理。本发明充分利用云存储系统中多核资源的特性,以及二级索引结构来进行高效检索数据,提高了数据消冗的计算性能,适合在云存储系统中处理各种类型的文件。