基于虛擬化與分布式技術(shù)的存儲系統(tǒng)
(2)替換hadoop-xxxx-core.jar版本
由于hadoop有自己的rpc遠(yuǎn)程調(diào)用實現(xiàn),并且各個版本間可能不兼容(0.17.X與0.18.x之間就不兼容),所以需要將WEB-INF/lib/ha doop-XXXX-core.jar的版本與NameNode Server的版本一致,現(xiàn)war自帶的是hadoop-0.18.1-core.jar的版本。
(3)部署至tomcat
以上修改完,將war包部署至tomcat或是jboss中,部署在其它服務(wù)器中時需要tomcat的catalina.jar與tomcat-coyote.jar,拷貝至WEB-INF/lib目錄,因為現(xiàn)在項目是從tomcat的WebdavServlet中修改而來的。
(4)測試是否部署成功
訪問http://localhost:8080/hdfs-webdav
第三步:webdav客戶端訪問
實現(xiàn)webdav的hdfs可以映射為windows或是linux本地文件夾。
(1)window網(wǎng)上鄰居訪問
打開“網(wǎng)上鄰居”,添加網(wǎng)上鄰居,在“請鍵入網(wǎng)上鄰居的位置”中輸入Web文件夾的URL。
http://loealhost:8080/hdfs-webdav
然后按照向?qū)У奶崾纠^續(xù)下一步就可以了。
(2)Linux mount WebDav為本地文件系統(tǒng)
linux下想要mount WebDAV server為本地文件系統(tǒng),必須要使用davfs2,項目網(wǎng)址為http://day.sourceforge.net/。
安裝davfs2請使用編譯安裝。
davfs2編譯時依賴于neon,neon是一個WebDAV client library.neon網(wǎng)址為http://www.webdav.org/neon/。
dsvfs2在mount時會使用fuse或是coda這兩個文件系統(tǒng),其中一個文件系統(tǒng)linux一般都有自帶,davfs2在mount時會首先嘗試使用fuse,失敗時再使用coda。
但在CentOs中使用coda時發(fā)生如下錯誤,所以后面安裝fuse,fuse網(wǎng)址為http://fuse.sourceforge.net/。
/sbin/mount.davfs:no free coda device to mount
/sbin/mount.davfs:trying fuse kernel file system
/sbin/mount.davfs:can't open fuse device
(3)neon,davfs2,fuse編譯安裝
項目的linux_mount_lib目錄自帶如下三個包:
①運行./configure;
②運行make;
③運行make install。
運行davfs2的mount命令
在mount之前,davfs2需要創(chuàng)建davfs2用戶及用戶組
[root@datacenter5 usr]# mkdir/data/hdfs
[root@datacenter5 usr]# groupadd davfs2
[root@datacenter5 usr]# useradd-g davfs2 davfs2
[root@datacenter5 usr]# mount.davfshttp://192.168.55.104:8080/hdfs-webdav/data/hdfs
3 系統(tǒng)應(yīng)用拓補分析
基于服務(wù)器虛擬化(VMware)系統(tǒng),制作出的云存儲陣列,其中云主機控制云系統(tǒng)內(nèi)的服務(wù)器集群,進行數(shù)據(jù)的寫入與讀出,由云主機提供的API接口(主要是WebDAV協(xié)議,也可采用其他協(xié)議)進行與客戶應(yīng)用服務(wù)器之間的數(shù)據(jù)存儲、數(shù)據(jù)備災(zāi)、數(shù)據(jù)應(yīng)用,這樣能夠盡可能地利用云的效率,如圖2所示。本文引用地址:http://2s4d.com/article/148960.htm
在圖2中,系統(tǒng)應(yīng)用主要分為存儲服務(wù)與應(yīng)用服務(wù)兩部分。存儲服務(wù)主要以Hadoop系統(tǒng)為主,通過應(yīng)用服務(wù)中的局域網(wǎng)DNS構(gòu)建頭節(jié)點與存儲節(jié)點關(guān)系。WebDAV部署在頭節(jié)點服務(wù)器上,通過建立映射可在Windows或Linux系統(tǒng)上建立本地文件夾,從而實現(xiàn)為應(yīng)用服務(wù)器提供存儲服務(wù)功能。
4 結(jié)論
本系統(tǒng)通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能,將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能。通過虛擬化技術(shù)將iSCSI與云存儲系統(tǒng)結(jié)合,為大型企業(yè)和機構(gòu)提供異地數(shù)據(jù)存儲服務(wù),并且通過云存儲系統(tǒng)平臺為企業(yè)提供跨平臺服務(wù)應(yīng)用解決方案,實現(xiàn)了部署靈活、可擴展性和安全性高的特點,從而降低了數(shù)據(jù)存儲、應(yīng)用和維護成本。
評論