什么是分布式存储系统？

发布网友 发布时间：2022-03-28 00:04

我来回答

共4个回答

懂视网 时间：2022-03-28 04:25

目前几个主流的分布式文件系统除GPFS外，还有PVFS、Lustre、PanFS、GoogleFS等。具体介绍如下：

　　1、PVFS(Parallel Virtual File System)项目是Clemson大学为了运行Linux集群而创建的一个开源项目，目前PVFS还存在以下不足：

　　（1）单一管理节点：只有一个管理节点来管理元数据，当集群系统达到一定的规模之后，管理节点将可能出现过度繁忙的情况，这时管理节点将成为系统瓶颈；

　　（2）对数据的存储缺乏容错机制:当某一I/O节点无法工作时，数据将出现不可用的情况；

　　（3）静态配置：对PVFS的配置只能在启动前进行，一旦系统运行则不可再更改原先的配置。

　　2、Lustre文件系统是一个基于对象存储的分布式文件系统，此项目于1999年在Carnegie Mellon University启动，Lustre也是一个开源项目。它只有两个元数据管理节点，同PVFS类似，当系统达到一定的规模之后，管理节点会成为Lustre系统中的瓶颈。

　　3、PanFS(Panasas File System)是Panasas公司用于管理自己的集群存储系统的分布式文件系统。

　　4、GoogleFS(Google File System)是Google公司为了满足公司内部的数据处理需要而设计的一套分布式文件系统。

　　5、相对其它的文件系统，GPFS的主要优点有以下三点：

　　（1）使用分布式锁管理和大数据块策略支持更大规模的集群系统,文件系统的令牌管理器为块、inode、属性和目录项建立细粒度的锁，第一个获得锁的客户将负责维护相应共享对象的一致性管理，这减少了元数据服务器的负担；

　　（2）拥有多个元数据服务器，元数据也是分布式，使得元数据的管理不再是系统瓶颈；

　　（3）令牌管理以字节作为锁的最小单位，也就是说除非两个请求访问的是同一文件的同一字节数据，对于数据的访问请求永远不会冲突。

热心网友 时间：2022-03-28 01:33

分布式存储系统

定义

分布式存储系统是大量普通PC服务器通过Internet互联，对外作为一个整体提供存储服务

特性

可扩展

低成本

高性能

易用

挑战

分布式存储系统的挑战主要在于数据、状态信息的持久化，要求在自动迁移、自动容错、并发读写的过程中保证数据的一致性。分布式存储涉及的技术主要来自两个领域：分布式系统以及数据库。

数据分布

一致性

容错

负载均衡

事务与并发控制

易用性

压缩/解压缩

分类

非结构化数据，一般的文档

结构化数据， 存储在关系数据库中

半结构化数据，HTML文档

不同的分布式存储系统适合处理不同类型的数据：

分布式文件系统

非结构化数据，这类数据以对象的形式组织，不同对象之间没有关联，这样的数据一般称为Blob（二进制大对象）数据

典型的有* Haystack 以及 Taobao File System

另外，分布式文件系统也常作为分布式表格系统以及分布式数据库的底层存储，如谷歌的GFS可以作为分布式表格系统Google Bigtable 的底层存储，Amazon的EBS（弹性存储块）系统可以作为分布式数据库（Amazon RDS）的底层存储

总体上看，分布式文件系统存储三种类型的数据：Blob对象、定长块以及大文件

分布式键值系统

较简单的半结构化数据，只提供主键的CRUD（创建、读取、更新、删除）

典型的有Amazon Dynamo 以及 Taobao Tair

分布式表格系统

较复杂的半结构化数据，不仅支持CRUD，而且支持扫描某个主键范围

以表格为单位组织数据，每个表格包括很多行，通过主键标识一行，支持根据主键的CRUD功能以及范围查找功能

典型的有Google Bigtable 以及 Megastore，Microsoft Azure Table Storage，Amazon DynamoDB等

分布式数据库

存储结构化数据，一般是由单机关系数据库扩展而来

典型的包括MySQL数据库分片集群、Amazon RDS以及Microsoft SQL Azure

热心网友 时间：2022-03-28 02:51

热心网友 时间：2022-03-28 04:26