首页

文章

linux下常用的分布式文件系统有哪些?

发布网友 发布时间:2022-03-28 00:04

我来回答

3个回答

懂视网 时间:2022-03-28 04:25

目前几个主流的分布式文件系统除GPFS外,还有PVFS、Lustre、PanFS、GoogleFS等。具体介绍如下:

  

  1、PVFS(Parallel Virtual File System)项目是Clemson大学为了运行Linux集群而创建的一个开源项目,目前PVFS还存在以下不足:

  

  (1)单一管理节点:只有一个管理节点来管理元数据,当集群系统达到一定的规模之后,管理节点将可能出现过度繁忙的情况,这时管理节点将成为系统瓶颈;

  

  (2)对数据的存储缺乏容错机制:当某一I/O节点无法工作时,数据将出现不可用的情况;

  

  (3)静态配置:对PVFS的配置只能在启动前进行,一旦系统运行则不可再更改原先的配置。

  

  2、Lustre文件系统是一个基于对象存储的分布式文件系统,此项目于1999年在Carnegie Mellon University启动,Lustre也是一个开源项目。它只有两个元数据管理节点,同PVFS类似,当系统达到一定的规模之后,管理节点会成为Lustre系统中的瓶颈。

  

  3、PanFS(Panasas File System)是Panasas公司用于管理自己的集群存储系统的分布式文件系统。

  

  4、GoogleFS(Google File System)是Google公司为了满足公司内部的数据处理需要而设计的一套分布式文件系统。

  

  5、相对其它的文件系统,GPFS的主要优点有以下三点:

  

  (1)使用分布式锁管理和大数据块策略支持更大规模的集群系统,文件系统的令牌管理器为块、inode、属性和目录项建立细粒度的锁,第一个获得锁的客户将负责维护相应共享对象的一致性管理,这减少了元数据服务器的负担;

  

  (2)拥有多个元数据服务器,元数据也是分布式,使得元数据的管理不再是系统瓶颈;

  

  (3)令牌管理以字节作为锁的最小单位,也就是说除非两个请求访问的是同一文件的同一字节数据,对于数据的访问请求永远不会冲突。

热心网友 时间:2022-03-28 01:33

Lustre是HP,Intel,Cluster File System公司联合美国能源部开发的Linux集群并行文件系统,名称来源于Linux和Clusters。同时Lustre也是一个遵循GPL许可协议的开源软件,Lustre也被称为平行分布式文件系统,常用于大型计算机集群和超级电脑中。

Lustre的主要组建包括:元数据服务器(Metadataservers, MDSs)、对象存储服务器(objectstorage servers, OSSs)和客户端。其中MDSs提供元数据服务,MGS管理服务器提供Lustre文件系统配置信息,OSS对象存储服务器expose块设备提供数据。

Lustre文件系统针对大文件读写进行了优化,能够提高性能的IO能力;在源数据独立存储、服务和网络失效的快速恢复、基于意图的分布式锁管理和系统可快速配置方面优异。

分布式存储的关键技术主要包括:全局名字空间、缓存一致性、安全性、可用性和可扩展性。从数据形态来划分,主要有:结构化数据、非机构化数据和半结构化数据。

Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。

Linux操作系统诞生于1991 年10 月5 日(这是第一次正式向外公布时间)。Linux存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。

热心网友 时间:2022-03-28 02:51

常见的分布式文件系统有,GFS、HDFS、Lustre
、Ceph
、GridFS
、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。
GFS(Google
File
System)
--------------------------------------
Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。。尽管Google公布了该系统的一些技术细节,但Google并没有将该系统的软件部分作为开源软件发布。
下面分布式文件系统都是类
GFS的产品。
HDFS
--------------------------------------
Hadoop
实现了一个分布式文件系统(Hadoop
Distributed
File
System),简称HDFS。
Hadoop是Apache
Lucene创始人Doug
Cutting开发的使用广泛的文本搜索库。它起源于Apache
Nutch,后者是一个开源的网络搜索引擎,本身也是Luene项目的一部分。Aapche
Hadoop架构是MapRece算法的一种开源应用,是Google开创其帝国的重要基石。
Ceph
---------------------------------------
是加州大学圣克鲁兹分校的Sage
weil攻读博士时开发的分布式文件系统。并使用Ceph完成了他的论文。

ceph
性能最高,C++编写的代码,支持Fuse,并且没有单点故障依赖,
于是下载安装,
由于
ceph
使用
btrfs
文件系统,
而btrfs
文件系统需要
Linux
2.6.34
以上的内核才支持。
可是ceph太不成熟了,它基于的btrfs本身就不成熟,它的官方网站上也明确指出不要把ceph用在生产环境中。
Lustre
---------------------------------------
Lustre是一个大规模的、安全可靠的,具备高可用性的集群文件系统,它是由SUN公司开发和维护的。
该项目主要的目的就是开发下一代的集群文件系统,可以支持超过10000个节点,数以PB的数据量存储系统。
目前Lustre已经运用在一些领域,例如HP
SFS产品等。
ups快递客服电话24小时 贷款记录在征信保留几年? 安徽徽商城有限公司公司简介 安徽省徽商集团新能源股份有限公司基本情况 安徽省徽商集团有限公司经营理念 2019哈尔滨煤气费怎么有税? 快手删除的作品如何恢复 体育理念体育理念 有关体育的格言和理念 什么是体育理念 万里挑一算彩礼还是见面礼 绿萝扦插多少天后发芽 绿萝扦插多久发芽 扦插绿萝多久发芽 炖牛排骨的做法和配料 网络诈骗定罪标准揭秘 “流水不争先”是什么意思? mc中钻石装备怎么做 为什么我的MC里的钻石块是这样的?我想要那种。是不是版本的问题?如果是... 带“偷儿”的诗句 “君不见巴丘古城如培塿”的出处是哪里 带“奈何”的诗句大全(229句) 里翁行()拼音版、注音及读音 带“不虑”的诗句 “鲁肃当年万人守”的出处是哪里 无尘防尘棚 进出口报关流程,越详细越好。谢谢大家指教。 双线桥不是看化合价升多少就标多少的吗?为什么CL2+2KI=2KCL+I2中I失... 出师表高锰酸钾有画面了吗 2021年幼儿园新学期致家长一封信 电脑屏幕一条黑线怎么办? 销售代理商销售代理商的特点 商业代理商业代理的特征 如何看微信有没有开通微众银行 为什么微众没有开户 微众银行怎么开户 微众银行APP开户流程是什么? 唐古拉山海拔唐古拉山海拔是多少 怎么看待取消跳广场舞的人的退休金 如何选购新鲜的蓝田水柿? 恭城水柿柿树作用 创维洗衣机使用教程 创维全自动洗衣机怎么使用 自动开门器 狗羊属相婚姻相配吗 3岁的小孩不会说话怎么办 3岁孩子不会说话,应该挂什么科? 3岁小孩不会说话正常吗 鹿茸炖乌鸡怎么做? 新型冠状肺炎吃什么药可以预防 冰箱上电后一直响 食品生产许可证编号开头为“ G”。 什么是分布式存储系统? 分布式文件系统有哪些主要的类别? 分布式文件/对象存储系统? 当前主流分布式文件系统有哪些? 分布式存储排名前十名有哪些? oppor15的屏幕尺寸是多大 oppor15屏幕多大尺寸 oppo r15屏幕分辨率是多少 OPPOR15手机屏幕怎么调成16比9 如果手机受潮会怎样 手机潮湿了怎么办 手机一直提示检查端口,检测到潮湿,请问敢充电吗 手机长时间放在潮湿的地方会不会损坏 苹果手机受潮有什么症状 手机一个多月没用,充不了电开不了机怎么办,是不是最近天气潮湿受潮 手机一般经过维修站检测是否受潮是不是结局都是受潮,它无法维修? 手机进水怎么判断? 怎样判断手机是否进水 我手机刚刚洗澡的时候听一会歌曲 然后潮气很大 是不是进水了 屏幕失灵怎么按都不动 苹果手机主板受潮的表现 知名分布式存储系统包含哪些? 基于linux 平台的主要分布式文件系统有哪些? 分布式存储是什么? 当前主流分布式文件系统有哪些?各有什么优缺点 linux下常用的分布式文件系统有哪些 分布式文件系统的系统分类 XFS分布式存储系统的特性有那些? 什么是灵动的分布式存储系统? 小文件读写的分布式文件系统哪些 浪潮服务器存储的分布式存储有哪几种?每款特点是什么? 四块科技分布式存储主要是做什么的呀? 哪些分布式文件系统是由Python编写的呢? 请问PPT如何更换模版啊? nodejs和vue的关系是什么? nodejs和vuejs的区别 vue.js是什么?为什么要在nodejs中安装 学习vuejs是需要nodejs的基础吗 vue和nodejs怎么结合 nodejs和vuejs有哪些不同 后台用nodejs,前端用vuejs,开发web app可行吗
声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com