一.GFS概述

2.1 GlusterFS

①GlusterFS简介

GlusterFS 是一个开源的分布式文件系统，同时也是Scale-Out存储解决方案Gluster
的核心，在存储数据方面具有强大的横向扩展能力，通过扩展不同的节点可以支持数PB级
别的存储容量。GlusterFS借助TCP/IP或InfiniBandRDMA 网络将分散的存储资源汇聚在
一起，统一提供存储服务，并使用单一全局命名空间来管理数据。GlusterFS基于可堆叠的
用户空间以及无元的设计，可为各种不同的数据负载提供优异的性能。
GlusterFS 主要由存储服务器（BrickServer）、客户端及NFS/Samba 存储网关（可选，
根据需要选择使用）组成

GlusterFS架构中最大的设计特点是没有元数据服务器组件，这有助于提升整个系统的
性能、可靠性和稳定性。传统的分布式文件系统大多通过元服务器来存储元数据，元数据包
含存储节点上的目录信息、目录结构等。这样的设计在浏览目录时效率非常高，但是也存在
一些缺陷，例如单点故障。一旦元数据服务器出现故障，即使节点具备再高的冗余性，整个
存储系统也将崩溃。而GlusterFS分布式文件系统是基于无元服务器的设计，数据横向扩展
能力强，具备较高的可靠性及存储效率。GlusterFS支持TCP/IP和InfiniBandRDMA高速
网络互联，客户端可通过原生GlusterFS协议访问数据，其他没有运行GlusterFS客户端
的终端可利用NFS/CIFS标准协议通过存储网关访问数据

②GlusterFS的特点

GlusterFS具有如下特点：
1.扩展性和高性能。GlusterFS利用双重特性来提供高容量存储解决方案。

• Scale-Out架构通过增加存储节点的方式来提高存储容量和性能（磁盘、计算和
  I/O资源都可以独立增加），支持10GbE和InfiniBand等高速网络互联。
• Gluster弹性哈希（ElasticHash）解决了GlusterFS对元数据服务器的依赖，
  GlusterFS采用弹性哈希算法在存储池中定位数据，放弃了传统的通过元数据服
  务器定位数据。GlusterFS中可以智能地定位任意数据分片（将数据分片存储在
  不同节点上），不需要查看索引或者向元数据服务器查询。这种设计机制实现了
  存储的横向扩展，改善了单点故障及性能瓶颈，真正实现了并行化数据访问。

高可用性。GlusterFS通过配置某些类型的存储卷，可以对文件进行自动复制（类似
于RAID1），即使某个节点出现故障，也不影响数据的访问。当数据出现不一致时，
自动修复功能能够把数据恢复到正确的状态，数据的修复是以增量的方式在后台执行，
不会占用太多系统资源。GlusterFS可以支持所有的存储，因为它没有设计自己的私
有数据文件格式，而是采用操作系统中标准的磁盘文件系统（如EXT3、XFS等）来
存储文件，数据可以使用传统访问磁盘的方式被访问。

全局统一命名空间。全局统一命名空间将所有的存储资源聚集成一个单一的虚拟存储
池，对用户和应用屏蔽了物理存储信息。存储资源（类似于LVM）可以根据生产环
境中的需要进行弹性扩展或收缩。在多节点场景中，全局统一命名空间还可以基于不
同节点做负载均衡，大大提高了存取效率。

弹性卷管理。GlusterFS通过将数据储存在逻辑卷中，逻辑卷从逻辑存储池进行独立
逻辑划分。逻辑存储池可以在线进行增加和移除，不会导致业务中断。逻辑卷可以根
据需求在线增长和缩减，并可以在多个节点中实现负载均衡。文件系统配置也可以实时在线进行更改并应用，从而可以适应工作负载条件变化或在线性能调优。

基于标准协议。Gluster存储服务支持NFS、CIFS、HTTP、FTP、SMB及Gluster
原生协议，完全与POSIX标准兼容。现有应用程序不需要做任何修改就可以对
Gluster中的数据进行访问，也可以使用专用API进行访问（效率更高），这在公有
云环境中部署Gluster时非常有用，Gluster对云服务提供商专用API进行抽象，然
后提供标准POSIX接口

③.GlusterFS术语

Brick（存储块）：指可信主机池中由主机提供的用于物理存储的专用分区，是
GlusterFS中的基本存储单元，同时也是可信存储池中服务器上对外提供的存储目录。
存储目录的格式由服务器和目录的绝对路径构成，表示方法为SERVER:EXPORT，
如192.168.1.4:/data/mydir/。

Volume（逻辑卷）：一个逻辑卷是一组Brick的集合。卷是数据存储的逻辑设备，类
似于LVM中的逻辑卷。大部分Gluster管理操作是在卷上进行的。

FUSE（FilesysteminUserspace）：是一个内核模块，允许用户创建自己的文件系统，
无须修改内核代码。

VFS：内核空间对用户空间提供的访问磁盘的接口。

Glusterd（后台管理进程）：在存储群集中的每个节点上都要运行

④.模块化堆栈式架构

GlusterFS机构细化图。GlusterFS采用模块化、堆栈式的架构，可以根据需
求配置定制化的应用环境，如大文件存储、海量小文件存储、云存储、多传输协议应用等。
通过对模块进行各种组合，即可实现复杂的功能。例如Replicate模块可实现RAID1，Stripe
模块可实现RAID0，通过两者的组合可实现RAID10和RAID01，同时获得更高的性能及可
靠性
GlusterFS是模块化堆栈式的架构设计，模块称为Translator，是GlusterFS提供的一
种强大机制，借助这种良好定义的接口可以高效简便地扩展文件系统的功能。

• 服务端与客户端的设计高度模块化的同时模块接口是兼容的，同一个translator可同
  时在客户端和服务器加载。
• GlusterFS中所有的功能都是通过translator实现的，其中客户端要比服务端更复杂，
  所以功能的重点主要集中在客户端上。

2.2 GlusterFS工作原理

①.GlusterFS工作流程

GlusterFS的工作流程如下：
(1)客户端或应用程序通过GlusterFS的挂载点访问数据。
(2) Linux系统内核通过VFSAPI收到请求并处理。
(3) VFS将数据递交给FUSE内核文件系统，并向系统注册一个实际的文件系统FUSE，
而FUSE文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFSclient端。可以
将FUSE文件系统理解为一个代理。
(4) GlusterFSclient收到数据后，client根据配置文件对数据进行处理。
(5)经过GlusterFSclient处理后，通过网络将数据传递至远端的GlusterFSServer,
并且将数据写入服务器存储设备

②．弹性HASH算法

弹性HASH算法是Davies-Meyer算法的具体实现，通过HASH算法可以得到一个32
位的整数范围的hash值，假设逻辑卷中有N个存储单位Brick，则32位的整数范围将被划
分为N个连续的子空间，每个空间对应一个Brick。当用户或应用程序访问某一个命名空间
时，通过对该命名空间计算HASH值，根据该HASH值所对应的32位整数空间定位数据
所在的Brick。弹性HASH算法的优点表现如下。
保证数据平均分布在每个Brick中。
解决了对元数据服务器的依赖，进而解决了单点故障及访问瓶颈

假设创建了一个包含四个Brick节点的GlusterFS卷，在服务端的Brick挂载目录
会给四个Brick平均分配232的区间的范围空间，GlusterFShash分布区间是保存在目录上
而不是根据机器去分布区间。如图2.4所示，Brick*表示一个目录。分布区间保存在每个
Brick挂载点目录的扩展属性上
在卷中创建四个文件，分别是test-file1、test-file2、test-file3、test-file4。在访问文件
时，通过快速Hash函数计算出对应的HASH值(232范围的数值)，然后根据计算出来的HASH
值所对应的子空间散列到服务器的Brick上

2.3 GlusterFS的卷类型

GlusterFS支持七种卷，即分布式卷、条带卷、复制卷、分布式条带卷、分布式复制卷、
条带复制卷和分布式条带复制卷，这七种卷可以满足不同应用对高性能、高可用的需求。

① 分布式卷（Distributevolume）：文件通过HASH算法分布到所有BrickServer上，
这种卷是Glusterf的基础；以文件为单位根据HASH算法散列到不同的Brick，其实
只是扩大了磁盘空间，如果有一块磁盘损坏，数据也将丢失，属于文件级的RAID0，
不具有容错能力。
② 条带卷（Stripevolume）：类似RAID0，文件被分成数据块并以轮询的方式分布到多
个BrickServer上，文件存储以数据块为单位，支持大文件存储，文件越大，读取效
率越高
③ 复制卷（Replicavolume）：将文件同步到多个Brick上，使其具备多个文件副本，
属于文件级RAID1，具有容错能力。因为数据分散在多个Brick中，所以读性能得到很大提升，但写性能下降。
④ 分布式条带卷（DistributeStripevolume）：BrickServer数量是条带数（数据块分布
的Brick数量）的倍数，兼具分布式卷和条带卷的特点。
⑤ 分布式复制卷（DistributeReplicavolume）：BrickServer数量是镜像数（数据副本
数量）的倍数，兼具分布式卷和复制卷的特点。
⑥条带复制卷（StripeReplicavolume）：类似RAID10，同时具有条带卷和复制卷的
特点。
⑦分布式条带复制卷（DistributeStripeReplicavolume）：三种基本卷的复合卷，通常
用于类MapReduce应用。
下面介绍几种重要的卷类型

1．分布式卷

分布式卷是GlusterFS的默认卷，在创建卷时，默认选项是创建分布式卷。在该模式下，
并没有对文件进行分块处理，文件直接存储在某个Server节点上。直接使用本地文件系统
进行文件存储，大部分Linux命令和工具可以继续正常使用。需要通过扩展文件属性保存
HASH值，目前支持的底层文件系统有EXT3、EXT4、ZFS、XFS等。
由于使用的是本地文件系统，所以存取效率并没有提高，反而会因为网络通信的原因而
有所降低；另外支持超大型文件也会有一定的难度，因为分布式卷不会对文件进行分块处理。
虽然EXT4已经可以支持最大16TB的单个文件，但是本地存储设备的容量实在有限。如图
2.6所示，File1和File2存放在Server1，而File3存放在Server2，文件都是随机存储，一
个文件（如File1）要么在Server1上，要么在Server2上，不能分块同时存放在Server1
和Server2上
分布式卷具有如下特点：
1.文件分布在不同的服务器,不具备冗余性。
2.更容易且廉价地扩展卷的大小。
3.存在单点故障会造成数据丢失。
4.依赖底层的数据保护。

创建分布式卷的命令如下所示：

#gluster volume create dis-volume server1:/dir1 server2:/dir2 server3:/dir3
Creationofdis-volumehasbeensuccessful
Pleasestartthevolumetoaccessdata

上述命令创建了一个名为dis-volume的分布式卷，文件将根据HASH分布在
server1:/dir1、server2:/dir2和server3:/dir3中。

2．条带卷

Stripe模式相当于RAID0，在该模式下，根据偏移量将文件分成N块（N个条带节点），
轮询地存储在每个BrickServer节点。节点把每个数据块都作为普通文件存入本地文件系统
中，通过扩展属性记录总块数（Stripe-count）和每块的序号（Stripe-index）。在配置时指
定的条带数必须等于卷中Brick所包含的存储服务器数，在存储大文件时，性能尤为突出，
但是不具备冗余性。
第10页共32页
将数据文件分布到不同的Brick节点，如图2.7所示，File被分割为6段，1、3、5放
在Server1，2、4、6放在Server2

条带卷具有如下特点。
①数据被分割成更小块分布到块服务器群中的不同条带区。
②分布减少了负载且更小的文件加速了存取的速度。
③没有数据冗余。

创建条带卷的命令如下所示：
#gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1
server2:/dir2

Creationofstripe-volumehasbeensuccessful
Pleasestartthevolumetoaccessdata

上述命令创建了一个名为Stripe-volume的条带卷，文件将被分块轮询地存储在
Server1:/dir1和Server2:/dir2两个Brick中

3．复制卷

复制模式，也称为AFR（AutoFileReplication），相当于RAID1，即同一文件保存一份
或多份副本，每个节点上保存相同的内容和目录结构。复制模式因为要保存副本，所以磁盘
利用率较低。如果多个节点上的存储空间不一致，那么将按照木桶效应取最低节点的容量作
为该卷的总容量。在配置复制卷时，复制数必须等于卷中Brick所包含的存储服务器数，复
制卷具备冗余性，即使一个节点损坏，也不影响数据的正常使用。
将数据文件分布到不同的Brick节点，如图2.8所示。File1同时存在Server1和Server2，
File2 也是如此，相当于Server2中的文件是Server1中文件的副本

复制卷具有如下特点。
①卷中所有的服务器均保存一个完整的副本。
②卷的副本数量可由客户创建的时候决定。
③至少有两个块服务器或更多服务器。
④具备冗余性。
创建复制卷的命令如下所示：

gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2

Creation of rep-volume has been successful
Please start the volume to access data
上述命令创建了一个名为rep-volume的复制卷，文件将同时存储两个副本，分别在
Server1:/dir1 和 Server2:/dir2 两个 Brick 中

4．分布式条带卷

第12页共32页
分布式条带卷兼顾分布式卷和条带卷的功能，主要用于大文件访问处理，创建一个分布
式条带卷最少需要4台服务器。
图2.9展示了分布式条带卷原理。File1和File2通过分布式卷的功能分别定位到Server1
和Server2。在Server1中，File1被分割成4段，其中1、3在Server1中的exp1目录中，
2、4在Server1中的exp2目录中。在Server2中，File2也被分割成4段，其中1、3在
Server2中的exp3目录中，2、4在Server2中的exp4目录中。
创建分布式条带卷的命令如下所示：

#glustervolumecreatedis-stripestripe2transporttcpserver1:/dir1
server2:/dir2server3:/dir3server4:/dir4

Creationofdis-stripehasbeensuccessful
Pleasestartthevolumetoaccessdata

上述命令创建了一个名为dis-stripe的分布式条带卷，配置分布式条带卷时，卷中Brick
所包含的存储服务器数必须是条带数的倍数(≥2倍)。在上述命令中，Brick的数量是4
（Server1:/dir1、Server2:/dir2、Server3:/dir3和Server4:/dir4），条带数为2（stripe2）。
创建卷时，存储服务器的数量如果等于条带或复制数，那么创建的是条带卷或者复
制卷；如果存储服务器的数量是条带或复制数的2倍甚至更多，那么将创建的是分布
式条带卷或分布式复制卷

5．分布式复制卷

分布式复制卷兼顾分布式卷和复制卷的功能，主要用于需要冗余的情况下。图2.10呈
现了分布式复制卷原理。File1和File2通过分布式卷的功能分别定位到Server1和Server2。
在存放File1 时，File1 根据复制卷的特性，将存在两个相同的副本，分别是Server1中的
exp1 目录和Server2 中的exp2目录。在存放File2时，File2根据复制卷的特性，也将存
在两个相同的副本，分别是Server3中的exp3目录和Server4中的exp4目录
创建分布式复制卷的命令如下所示：
#gluster volume create dis-rep replica 2 transport tcp server1:/dir1 server2:
/dir2 server3:/dir3 server4:/dir4

Creation of dis-rep has been successful
Please start the volume to access data
上述命令创建了一个名为dis-rep的分布式复制卷，配置分布式复制卷时，卷中Brick
所包含的存储服务器数必须是条带数的倍数(≥2倍)。在上述命令中，Brick的数量是4
（Server1:/dir1、Server2:/dir2、Server3:/dir3 和 Server4:/dir4），复制数为 2（replica 2）。
假如存在8台存储服务器，当复制副本为2时，按照服务器列表的顺序，服务器1
和2作为一个复制, 服务器3和4作为一个复制, 服务器5和6作为一个复制, 服务器
第 13 页 共 32 页
第14页共32页
7和8作为一个复制；当复制副本为4时，按照服务器列表的顺序，服务器1/2/3/4作
为一个复制,服务器5/6/7/8作为一个复制

在glusterfs 6.1版本之后，不在支持stripe ，分布式条带卷不再多说，在官方的安装文档卷的介绍中已经把条带卷移除了，因为这个卷的可用性太差，只要一个brick挂掉，整个就挂掉，客户端就不能访问，显然不符合生产环境

2.4部署 GlusterFS群集

2.4.1 部署群集环境

1.准备环境（以node1节点其他节点步骤相同）

②为所有节点磁盘分区

②对分区格式化（节点操作相同）

③创建挂载点

④挂载光盘

⑤修改自动挂载配置文件 永久生效

⑥在所有节点关闭防火墙和selinux机制

⑦在所有节点上添加hosts文件

2.在每个节点安装服务器端分布式文件系统GFS

glusterfs：gluster客户端主程序
glusterfs-server：gluster服务端主程序
glusterfs-fuse：Filesystem Userspace是一个可加载的内核模块，其支持非特权用户创建自己的文件系统而不需要修改内核代码。通过在用户空间运行文件系统的代码通过FUSE代码与内核进行桥接。
glusterfs-rdma：为gluster提供远程直接内存访问，支持不通过双方的OS进行直接内存访问。

3. 在所有节点上启动GFS

4.添加节点（只在node1上创建集群）

5：在每个节点上查看状态

备注：
重置GlusterFS集群（所有节点）
systemctl stop glusterd.service
rm -rf /var/lib/glusterd/
systemctl start glusterd.service*

二.创建卷 （node1集群）

创建分布式卷
注释：默认创建的就是分布式卷
[root@localhost ~]# gluster volume create dist-volume node1:/e6 node2:/e6 force
[root@localhost ~]# gluster volume info dist-volume

[root@localhost ~]# gluster volume start dist-volume

2：创建复制卷

注释：复制卷要求复制的数量和Brick Server的数量（node的数量）相同

3：分散卷

*备注：
用三个分区创建分散卷，允许一个分区失效
分散卷中每三个brick允许有一个失效（31或62）
是基于ErasureCodes（纠错码）的一种新类型的Volume（3.6版本正式发布该特性），类似于RAID5/6。通过配置Redundancy（冗余）级别提高可靠性，在保证较高的可靠性同时，可以提升物理存储空间的利用率。redundancy 必须大于0，并且bricks的总数必须大于2 redundancy 。 这意味着dispersed卷必须至少包含3个bricks。类似raid5/raid6，防止单点故障(HA),提升IO性能(LB)。
disperse 3 redundancy 1：需要3个brick
disperse 4 redundancy 1：需要4个brick
每个分散卷至少3个brick，冗余级别最小为1（一个brick失效）

在创建Dispersed volume时，如若redundancy值设置为0，则Dispersed volume等同于分布式卷，若redundancy设置为#Bricks/2，则Dispersed volume等同于复制卷，因此，在创建Dispersed volume时，redundancy值的设定应遵循以下公式：
0< redundancy<#Bricks /2

(disperse-data)+redundancy=disperse
1）3 bricks，创建Dispersed Type为1*(2+1)，存储磁盘空间利用率66.7%；
2）10bricks，创建Dispersed Type为2*(4+1)的卷，存储磁盘空间利用率为80%。

备注：
原来的条带卷，在6的版本以后不在支持
gluster volume create strip-volume stripe 2 node1:/d5 node2:/d5 force

4：创建分布式复制卷

注释：分布式复制卷要求Brick Server的数量必须是复制数的倍数（两倍或更高的倍数）

5：分布式分散卷

备注：
分布式分散卷需要用六个节点，每三个节点做一个分散卷，两组分散卷做成复制卷

三.客户端GFS

1.安装客户端软件

2.创建挂载目录

3.修改hosts文件

4.挂载gluster文件系统

四。在客户端测试gluster文件系统

1.在卷中写入文件

①创建存储文件

②卷写入文件

2.查看每个brick的分布

①node1分布式

node2分布式

②在node3和node4中查看复制卷文件分布

③在node1、node2、node3、node4中查看分布式复制卷文件分布

五.破坏性测试

（1）挂起node2节点，在客户端上测试各个文件是否可以正常使用
（2）再挂起node4，在客户端继续测试各个文件的读取

六：其他维护命令

1.查看gfs卷

[root@localhost ~]# gluster volume info

[root@localhost ~]# gluster volume status

2：停止删除卷

[root@localhost ~]# gluster volume stop dist-volume
Stopping volume will make its data inaccessible. Do you want to continue? (y/n) y
volume stop: dis-stripe: success

[root@localhost ~]# gluster volume delete dist
Deleting volume will erase all information about the volume. Do you want to continue? (y/n) y
volume delete: dis-stripe: failed: Some of the peers are down

3：设置卷的访问控制

[root@localhost ~]# gluster volume set dist-rep auth.allow 192.168.1.,10.1.1.
volume set: success