當(dāng)下流行的分布式文件系統(tǒng)大閱兵

作者：freyson 2010-07-20 09:49:07

系統(tǒng)

linux

分布式 分布式文件系統(tǒng)，也就是集群文件系統(tǒng)，可以支持大數(shù)量的節(jié)點(diǎn)以及PB級(jí)的數(shù)量存儲(chǔ)。新興分布式文件系統(tǒng)以高IO速度、方便管理等特性著稱(chēng)。本文介紹當(dāng)前比較流行的分布式文件系統(tǒng)，包括：Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及GoogleFS。

站在用戶(hù)的角度思考問(wèn)題，與客戶(hù)深入溝通，找到清豐網(wǎng)站設(shè)計(jì)與清豐網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶(hù)體驗(yàn)好的作品，建站類(lèi)型包括：成都網(wǎng)站建設(shè)、成都網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、域名申請(qǐng)、雅安服務(wù)器托管、企業(yè)郵箱。業(yè)務(wù)覆蓋清豐地區(qū)。

本文對(duì)目前數(shù)種分布式文件系統(tǒng)進(jìn)行簡(jiǎn)單的介紹。當(dāng)前比較流行的分布式文件系統(tǒng)包括：Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及GoogleFS。

51CTO編輯推薦：下一代Linux文件系統(tǒng)

Lustre（www.lustre.org）

lustre是一個(gè)大規(guī)模的、安全可靠的，具備高可用性的集群文件系統(tǒng)，它是由SUN公司開(kāi)發(fā)和維護(hù)。該項(xiàng)目主要的目的就是開(kāi)發(fā)下一代的集群文件系統(tǒng)，可以支持超過(guò)10000個(gè)節(jié)點(diǎn)，數(shù)以PB的數(shù)量存儲(chǔ)系統(tǒng)。

lustre是開(kāi)放源代碼的集群文件系統(tǒng)，采取GPL許可協(xié)議，目前在集群計(jì)算機(jī)里，計(jì)算機(jī)與磁盤(pán)間數(shù)據(jù)交換的提升無(wú)法跟上微處理器和內(nèi)存增長(zhǎng)的速度，從而也拖累了應(yīng)用程序的性能，一種新興的集群文件系統(tǒng)軟件提高了I/O速度，可能降低企業(yè)購(gòu)買(mǎi)存儲(chǔ)設(shè)備的成本并改變企業(yè)購(gòu)買(mǎi)存儲(chǔ)的方式，集群文件系統(tǒng)已經(jīng)在大學(xué)、實(shí)驗(yàn)室和超級(jí)計(jì)算機(jī)研究中心里使用，而且即將進(jìn)入通用商業(yè)計(jì)算市場(chǎng)。新的集群文件系統(tǒng)采用了開(kāi)源的lustre技術(shù)，由美國(guó)能源部(Department Of Energy）開(kāi)發(fā)，惠普公司(HP）提供商業(yè)支持。它顯著提高了輸入輸出（I/O)速度，目前已經(jīng)在高校、國(guó)家實(shí)驗(yàn)室和超級(jí)計(jì)算研究中心產(chǎn)生了一定影響，未來(lái)幾年中，它很有可能進(jìn)入普通的商業(yè)計(jì)算機(jī)領(lǐng)域。

運(yùn)行在linux下,開(kāi)發(fā)語(yǔ)言c/c++

Hadoop（hadoop.apache.com）

hadoop并不僅僅是一個(gè)用于存儲(chǔ)的分布式文件系統(tǒng)，而是設(shè)計(jì)用來(lái)在由通用計(jì)算設(shè)備組成的大型集群上執(zhí)行分布式應(yīng)用的框架。

如下圖是hadoop的體系結(jié)構(gòu)：

授權(quán)協(xié)議apache,開(kāi)發(fā)語(yǔ)言java，資源耗費(fèi)有點(diǎn)大。

MogileFs（www.danga.com）

Mogile Fs是一個(gè)開(kāi)源的分布式文件系統(tǒng)，主要特征包括

1、應(yīng)用層的組件

2、無(wú)單點(diǎn)故障

3、自動(dòng)文件復(fù)制

4、具有比RAID更好的可靠性

5、無(wú)需RAID nigukefs支持 ，運(yùn)行在linux下。

FreeNAS（www.openqrm.org）

FreeNAS是網(wǎng)絡(luò)附加存儲(chǔ)(NAS)服務(wù)專(zhuān)用操作系統(tǒng)(FreeBSD的簡(jiǎn)化版 )?；趍0n0wall防火墻，該系統(tǒng)通過(guò)提供磁盤(pán)管理及RAID軟件，可讓用戶(hù)home將PC轉(zhuǎn)換為NAS服務(wù)器，支持FTP/NFS/RSYNC/CIFS/AFP/UNISON/SSH sourceforge.net/pro協(xié)議，旨在讓人們重新使用舊硬件.

FastDFS（code.google.com/p/fastdfs）

FastDFS是一個(gè)開(kāi)源的分布式文件系統(tǒng)，它對(duì)文件進(jìn)行管理，功能包括:文件存儲(chǔ)、文件同步、文件訪(fǎng)問(wèn)(文件上傳、文件下載)等，解決了大容量存儲(chǔ)和負(fù)載均衡的問(wèn)題。特別適合以文件為載體的在線(xiàn)服務(wù)， 如相冊(cè)網(wǎng)站，視頻網(wǎng)站等等。FastDFS服務(wù)端有兩個(gè)角色：跟蹤器(tracker)和存儲(chǔ)節(jié)點(diǎn)(storage)。跟蹤器主要做調(diào)度的工作，在訪(fǎng)問(wèn)上起負(fù)載均衡的作用。存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)文件，完成文件管理的所有功能：

存儲(chǔ)、同步、和提供存取接口，F(xiàn)astDFS同時(shí)對(duì)文件的meta data進(jìn)行管理。所謂文件的meta data就是文件的相關(guān)屬性，以鍵值對(duì)(key value pair)方式表示，如：width=1024,其中的key為width，value為1024。文件meta data是文件屬性列表，可以包含多個(gè)鍵值樹(shù)。

開(kāi)發(fā)語(yǔ)言c/c++，運(yùn)行在linux系統(tǒng)下。

#p#

NFS（www.tldp.org/HOWTO/NFS-HOWTO/index.html）

網(wǎng)絡(luò)文件系統(tǒng)是FreeBSD支持的文件系統(tǒng)中的一種，也被稱(chēng)為NFS。

NFS允許一個(gè)系統(tǒng)在網(wǎng)絡(luò)上與它人共享目錄和文件。通過(guò)使用NFS， 用戶(hù)和程序可以象訪(fǎng)問(wèn)本地文件一樣訪(fǎng)問(wèn)遠(yuǎn)端系統(tǒng)上的文件。它的好處是：

1、本地工作站使用更少的磁盤(pán)空間，因?yàn)橥ǔ５臄?shù)據(jù)可以存放在一臺(tái)機(jī)器上而且可以通過(guò)網(wǎng)絡(luò)訪(fǎng)問(wèn)到。

2、用戶(hù)不必在每個(gè)網(wǎng)絡(luò)上機(jī)器里面都有一個(gè)home目錄。home目錄可以被放在NFS服務(wù)器上并且在網(wǎng)絡(luò)上處處可用。

3、諸如軟驅(qū)、CDROM、和ZIP之類(lèi)的存儲(chǔ)設(shè)備可以在網(wǎng)絡(luò)上面被別的機(jī)器使用?？梢詼p少整個(gè)網(wǎng)絡(luò)上的可移動(dòng)介質(zhì)設(shè)備的數(shù)量。

開(kāi)發(fā)語(yǔ)言c/c++,可跨平臺(tái)運(yùn)行。

OpenAFS（www.openafs.org）

OpenAFS是一套開(kāi)放源代碼的分布式文件系統(tǒng)，允許系統(tǒng)之間通過(guò)局域網(wǎng)和廣域網(wǎng)來(lái)分享檔案和資源。OpenAFS是圍繞一組叫做cell的文件服務(wù)器組織的，每個(gè)服務(wù)器的標(biāo)識(shí)通常是隱藏在文件系統(tǒng)中，從AFS客戶(hù)機(jī)登陸的用戶(hù)將分辨不出他們?cè)谀莻€(gè)服務(wù)器上運(yùn)行，因?yàn)閺挠脩?hù)的角度上看，他們想在有識(shí)別的Unix文件系統(tǒng)語(yǔ)義的單個(gè)系統(tǒng)上運(yùn)行。

文件系統(tǒng)內(nèi)容通常都是跨cell復(fù)制，一便一個(gè)硬盤(pán)的失效不會(huì)損害OpenAFS客戶(hù)機(jī)上的運(yùn)行。OpenAFS需要高達(dá)1GB的大容量客戶(hù)機(jī)緩存，以允許訪(fǎng)問(wèn)經(jīng)常使用的文件。它是一個(gè)十分安全的基于kerbero的系統(tǒng)，它使用訪(fǎng)問(wèn)控制列表(ACL）以便可以進(jìn)行細(xì)粒度的訪(fǎng)問(wèn)，這不是基于通常的Linux和Unix安全模型。開(kāi)發(fā)協(xié)議IBM Public，運(yùn)行在linux下。

MooseFs（derf.homelinux.org）

Moose File System是一個(gè)具備容錯(cuò)功能的網(wǎng)路分布式文件統(tǒng)，它將數(shù)據(jù)分布在網(wǎng)絡(luò)中的不同服務(wù)器上，MooseFs通過(guò)FUSE使之看起來(lái)就 是一個(gè)Unix的文件系統(tǒng)。但有一點(diǎn)問(wèn)題，它還是不能解決單點(diǎn)故障的問(wèn)題。開(kāi)發(fā)語(yǔ)言perl,可跨平臺(tái)操作。

pNFS（www.pnfs.com）

網(wǎng)絡(luò)文件系統(tǒng)(Network FileSystem,NFS)是大多數(shù)局域網(wǎng)(LAN）的重要的組成部分。但NFS不適用于高性能計(jì)算中苛刻的輸入書(shū)櫥密集型程序，至少以前是這樣。NFS標(biāo)準(zhǔn)的罪行修改納入了Parallel NFS(pNFS），它是文件共享的并行實(shí)現(xiàn)，將傳輸速率提高了幾個(gè)數(shù)量級(jí)。

開(kāi)發(fā)語(yǔ)言c/c++,運(yùn)行在linu下。

googleFs

據(jù)說(shuō)是一個(gè)比較不錯(cuò)的一個(gè)可擴(kuò)展分布式文件系統(tǒng)，用于大型的，分布式的，對(duì)大量數(shù)據(jù)進(jìn)行訪(fǎng)問(wèn)的應(yīng)用。它運(yùn)行于廉價(jià)的普通硬件上，但可以提供容錯(cuò)功能，它可以給大量的用戶(hù)提供性能較高的服務(wù)。google自己開(kāi)發(fā)的。

新聞名稱(chēng)：當(dāng)下流行的分布式文件系統(tǒng)大閱兵
文章URL：http://www.fisionsoft.com.cn/article/copocgc.html