新聞中心
1.GFS介紹
GFS簡要說明,它有兩種:

創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價比懷柔網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式懷柔網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們,業(yè)務(wù)覆蓋懷柔地區(qū)。費(fèi)用合理售后完善,10年實(shí)體公司更值得信賴。
1. Google文件系統(tǒng):GFS是GOOGLE實(shí)現(xiàn)的是一個可擴(kuò)展的分布式文件系統(tǒng),用于大型的、分布式的、對大量數(shù)據(jù)進(jìn)行訪問的應(yīng)用。它運(yùn)行于廉價的普通硬件上,但可以提供容錯功能。它可以給大量的用戶提供總體性能較高的服務(wù)。欲了解更多,可以訪問:http://baike.baidu.com/item/GFS/1813072
2. RedHat 的GFS(Global File System)
GFS(Global File System)自己以本地文件系統(tǒng)的形式出現(xiàn)。多個Linux機(jī)器通過網(wǎng)絡(luò)共享存儲設(shè)備,每一臺機(jī)器都可以將網(wǎng)絡(luò)共享磁盤看作是本地磁盤,如果某臺機(jī)器對 某個文件執(zhí)行了寫操作,則后來訪問此文件的機(jī)器就會讀到寫以后的結(jié)果??梢愿鶕?jù)對性能或是可擴(kuò)展性,或者以經(jīng)濟(jì)性多個原則進(jìn)行不同方案的部署。
GFS 主要組件,集群卷管理,鎖管理,集群管理,圍欄和恢復(fù),集群配置管理。
本文主要介紹Redhat的GFS系統(tǒng)。
REDHAT CLUSTER SUITEWITH GFS :
RHCS(REDHAT CLUSTER SUITE)是一款能夠提供高性能、高可靠性、負(fù)載均衡、高可用性的集群工具集,一個集群通常有兩個或兩個以上的計(jì)算機(jī)(稱為“節(jié)點(diǎn)”或”成員“)共同執(zhí)行一個任務(wù)。
RHCS主要組件:
- 集群架構(gòu):
提供一個基本功能使節(jié)點(diǎn)作為集群工作在一起:配置文件管理,成員關(guān)系管理,鎖管理和柵設(shè)備。
- 高可用性管理:
提供節(jié)點(diǎn)失敗轉(zhuǎn)移服務(wù),當(dāng)一個節(jié)點(diǎn)失敗后將服務(wù)轉(zhuǎn)移到另一個節(jié)點(diǎn)上。
- 集群管理工具:
通過配置和管理工具來配置和管理Red Hat集群。
- Linux Virtual Server (LVS)
LVS提供一個基于IP的負(fù)載均衡功能,通過LVS可以將客戶請求均勻的分配到集群節(jié)點(diǎn)上。
其它Red Hat集群組件:
- Cluster Logical Volume Manager (CLVM)
提供邏輯卷管理集群存儲。
- 集群管理器:
CMAN是一個分布式集群管理器(DLM),它運(yùn)行在每一個集群節(jié)點(diǎn)上,CMAN通過監(jiān)視集群節(jié)點(diǎn)提供一個法定節(jié)點(diǎn)數(shù)(quorum),當(dāng)集群 中有多于一半的節(jié)點(diǎn)處于活躍狀態(tài)時,此時符合法定節(jié)點(diǎn)數(shù),集群繼續(xù)可用,當(dāng)只有有一半或少于一半的節(jié)點(diǎn)處于活躍狀態(tài)是則已達(dá)到不到法定節(jié)點(diǎn)數(shù),此時整個集 群變得不可用。CMAN通過監(jiān)控集群中節(jié)點(diǎn)來確定各節(jié)點(diǎn)的成員關(guān)系,當(dāng)集群中的成員關(guān)系發(fā)生改變,CMAN會通架構(gòu)中其它組件來進(jìn)行相應(yīng)的調(diào)整。
- DLM鎖管理:
分布式鎖管理器,它運(yùn)行在所有的集群節(jié)點(diǎn)上,鎖管理是一個公共的基礎(chǔ)結(jié)構(gòu),為集群提供一種共享集群資源的管理機(jī)制,GFS通過鎖管理器使用鎖機(jī)制來同步訪問文件系統(tǒng)元數(shù)據(jù),CLVM通過鎖管理器來同步更新數(shù)據(jù)到LVM卷和卷組。
- 數(shù)據(jù)的完整保證:
RHCS 通過 Fence設(shè)備從共享存儲切斷失效節(jié)點(diǎn)的I/O以保證數(shù)據(jù)的完整性。當(dāng)CMAN確定一個節(jié)點(diǎn)失敗后,它在集群結(jié)構(gòu)中通告這個失敗的節(jié)點(diǎn)(組播),fenced進(jìn)程會將失敗的節(jié)點(diǎn)隔離,以保證失敗節(jié)點(diǎn)不破壞共享數(shù)據(jù)。
REDHAT集群配置系統(tǒng):
集群配置文件:(/etc/cluster/cluster.conf) 是一個XML文件,用來描述下面的集群特性。
集群名稱:列出集群名稱、集群配置文件版本和一個隔離時間,隔離相應(yīng)時間當(dāng)一個新節(jié)點(diǎn)加入或從集群中隔離時。
集群:列出集群中的每一個節(jié)點(diǎn),指定節(jié)點(diǎn)名稱,節(jié)點(diǎn)ID,法定投票數(shù),和柵模式。
fence設(shè)備:定義fence設(shè)備。
管理資源:定義創(chuàng)建集群服務(wù)需要的資源。管理資源包括失敗轉(zhuǎn)移域,資源和服務(wù)。
2.GFS搭建
設(shè)置環(huán)境如下,兩節(jié)點(diǎn)操作共享文件:
- 192.168.10.11 test01
- 192.168.10.12 test02
- OS:CentOS6.8 64位
- VMware共享磁盤一塊
以下操作如非特別注明,則需要在所有的節(jié)點(diǎn)上執(zhí)行。
2.1配置網(wǎng)絡(luò)
編輯hosts文件,使兩節(jié)點(diǎn)間可通過主機(jī)名訪問:
# more /etc/hosts 127.0.0.1 localhost localhost.localdomain ::1 localhost localhost.localdomain 192.168.10.11 test01 192.168.10.12 test02
2.2安裝集群文件系統(tǒng)相關(guān)的軟件包
使用yum安裝軟件包:
# yum install cman openais gfs* kmod-gfs lvm2* rgmanager system-config-cluster scsi-target-utils cluster-snmp
上述軟件包有眾多的依賴包會被安裝或更新,為避免出現(xiàn)意外情況,建議軟件包安裝后重啟。
2.3配置iptables
允許test01和test02相互通信
test01配置文件/etc/sysconfig/iptables添加:
-A INPUT -s 192.168.10.12 -j ACCEPT
test02配置文件/etc/sysconfig/iptables添加:
-A INPUT -s 192.168.10.11 -j ACCEPT
2.4修改相關(guān)配置
修改/etc/sysconfig/selinux中selinux=disabled
修改lvm邏輯卷配置:
# vi /etc/lvm/lvm.conf
將locking_type = 1,改為locking_type = 3,允啟用同時讀寫。
修改fallback_to_local_locking=0,以禁止回寫,避免導(dǎo)致裂腦。
2.5生成集群配置文件
[root@test02 ~
]# ccs_tool create GFSmail
[root@test02~
]# ccs_tool addfence meatware fence_manual
[root@test02~
]# ccs_tool lsfence
Name Agent
meatware fence_manual
[root@test02~]# ccs_tool addnode -n
11 -
f meatware test01
[root@test02~]# ccs_tool addnode -n
12 -
f meatware test02
[root@test02~
]# ccs_tool lsnode
Cluster name: GFSmail, config_version:
4
Nodename Votes Nodeid Fencetype
test01
1
11
meatware
test02
1
12
meatware
[root@test02~
]#
[root@test02~]# rsync -avz /etc/cluster/
cluster.conf root@test01
sending incremental
file
list
cluster.conf
sent
307 bytes received
31 bytes
676.00 bytes/
sec
total size is
557 speedup is
1.65
[root@test02~]#
[root@test02 data]# cat /etc/cluster/cluster.conf
而后可以執(zhí)行ccs_config_validate命令檢查配置文件是否合法。
2.6創(chuàng)建集群存儲
先手動啟動cman和clvmd命令,以便監(jiān)控集群卷的中存儲設(shè)備的狀態(tài):
# service cman start # service clvmd start # service rgmanager start
以下操作在節(jié)點(diǎn)1端執(zhí)行:
創(chuàng)建物理卷和卷組和邏輯卷:
[root@test01 ~]# pvcreate /dev/
sdb
Physical volume
"
/dev/sdb
"
successfully created
[root@test01~]# vgcreate mailcluster /dev/
sdb
Clustered volume group
"
mailcluster
"
successfully created
[root@test01~
]# pvs
PV VG Fmt Attr PSize PFree
/dev/sda2 vg_mail lvm2 a--u
199.41g
0
/dev/sdb mailcluster lvm2 a--u
4.00t
4
.00t
[root@test01~]# lvcreate -n maildata -l
100%
FREE mailcluster
Logical volume
"
maildata
"
created.
[root@test01~
]# lvs
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%
Sync Convert
maildata mailcluster-wi-a-----
4
.00t
home vg_mail -wi-ao----
80
.00g
root vg_mail -wi-ao----
115
.41g
swap vg_mail -wi-ao----
4
.00g
[root@test01~]#
2.7在新建的邏輯卷上創(chuàng)建gfs2文件系統(tǒng):
[root@test01 ~]# mkfs.gfs2 -j
2 -p lock_dlm -t GFSmail:maildata /dev/mapper/mailcluster-
maildata
This will destroy any data on/dev/mapper/mailcluster-
maildata.
It appears to contain: symbolic link to `../dm-
3
'
Are you sure you want to proceed? [y/
n] y
Device: /dev/mapper/mailcluster-
maildata
Blocksize:
4096
Device Size
4096.00 GB (
1073740800
blocks)
Filesystem Size:
4096.00 GB (
1073740798
blocks)
Journals:
2
Resource Groups:
8192
Locking Protocol:
"
lock_dlm
"
Lock Table:
"
GFSmail:maildata
"
UUID: 50e12acf-6fb0-
6881-
3064-
856c383b51dd
[root@test01~]#
對于mkfs.gfs2命令來說,我們所使用的參數(shù)功能如下:
-p:用來指定gfs的鎖機(jī)制,一般情況下會選擇lock_dlm;
-j:指定journal個數(shù)(可加入節(jié)點(diǎn)數(shù)),一般情況下應(yīng)留有冗余,否則后期還得再調(diào)整;
查看journals:# gfs2_tool journals /home/coremail/var
增加journals:# gfs2_jadd -j 1 /home/coremail/var ##增加一個journals
-t:格式為ClusterName:FS_Path_Name
ClusterName:應(yīng)與前面cluster.conf中指定的集群名稱相同(上文為:GFSmail);
FS_Path_Name:這個塊設(shè)備mount的路徑(上文為:maildata);
最后一個參數(shù)是指定邏輯卷的詳細(xì)路徑;
2.8GFS掛載
創(chuàng)建目錄:
[root@test01 ~]# mkdir /home/coremail/var
將剛剛創(chuàng)建的邏輯卷加入到/etc/fstab文件中,使其開機(jī)自動映射:
[root@test01 ~]# echo "/dev/mapper/mailcluster-maildata /home/coremail/var gfs2 defaults,noatime,nodiratime,noquota 0 0" >> /etc/fstab
啟動gfs2服務(wù):
[root@test01 ~]# /etc/init.d/gfs2 start
節(jié)點(diǎn)2端執(zhí)行:
操作前可以先執(zhí)行pvs,lvs命令,看看是否能夠正常顯示節(jié)點(diǎn)1端創(chuàng)建的物理卷和邏輯卷信息,如果看不到(先嘗試lvscan),則說明并未使用共享存儲,或者配置有異常,仍然需要排查,需要等問題解決后,再執(zhí)行下列的命令。
[root@test02 ~]#
mkdir /home/coremail/
var [root@test02~]#
echo
"
/dev/mapper/mailcluster-maildata /home/coremail/var gfs2 defaults,noatime,nodiratime,noquota 0 0
" >> /etc/
fstab
[root@test02~]# /etc/init.d/gfs2 start
執(zhí)行# clustat可以查詢各成員節(jié)點(diǎn)的狀態(tài)。
[root@test02 ~
]# clustat
Cluster Status
for GFSmail @ Thu Nov
3
23:
17:
24
2016
Member Status: Quorate
Member Name ID Status
------ ---- ---- ------
test01
11
Online
test02
12
Online, Local
[root@test02~]#
2.9在所有節(jié)點(diǎn)操作,配置服務(wù)的自動啟動,這樣就不必?fù)?dān)心服務(wù)器重啟了:
# chkconfig --
add cman
# chkconfig--
add clvmd # chkconfig--
add gfs2
# chkconfig--
add rgmanager
# chkconfig--level
345
cman on
# chkconfig--level
345
clvmd on
# chkconfig--level
345
gfs2 on
# chkconfig--level
345 rgmanager on
網(wǎng)頁題目:VMware下CentOS6.8配置GFS文件系統(tǒng)
標(biāo)題URL:http://www.fisionsoft.com.cn/article/ccciiss.html


咨詢
建站咨詢
