欧美一区二区三区视频_AV在线精品二区亚洲_午夜福利男女xx00动态图片_草裙社区精品视频播放

新聞 > 新聞詳情

大數(shù)據(jù)浪潮下科研機構(gòu)存儲發(fā)展新方向

公司動態(tài)|發(fā)布于2020-12-02 14:07:39


在大數(shù)據(jù)分析的浪潮下,我國科研機構(gòu)近年來的數(shù)據(jù)量呈現(xiàn)明顯的爆發(fā)性增長。大數(shù)據(jù)的搜集與分析能夠從龐大的數(shù)據(jù)源中剔選出過去難以察覺的趨勢與方向,為科研領(lǐng)域的探索和突破指明了一條新的道路。然而,大數(shù)據(jù)對信息及數(shù)據(jù)的存儲與管理也帶來了諸多新的難題。首先,爆發(fā)性增長的海量信息對存儲設(shè)備的讀寫性能及擴展能力都提出了更高的要求。其次,大數(shù)據(jù)分析所帶來的龐大歷史數(shù)據(jù)的安全問題也變得尤為重要。過去傳統(tǒng)的存儲基礎(chǔ)架構(gòu)是否在新時代已顯得捉襟見肘,而基礎(chǔ)架構(gòu)的改造升級又該何去何從?我們將從存儲虛擬化這一角度入手,來探討在大數(shù)據(jù)時代下我國科研機構(gòu)數(shù)據(jù)存儲的未來發(fā)展方向之一。

1我國科研機構(gòu)數(shù)據(jù)存儲架構(gòu)的現(xiàn)狀與問題

隨著我國科研機構(gòu)的不斷發(fā)展,各種信息化相關(guān)應(yīng)用及大數(shù)據(jù)搜集平臺的快速增加,加之原有的網(wǎng)站系統(tǒng)、OA系統(tǒng)等都同樣運行、存儲在本地的業(yè)務(wù)中心,原有的基礎(chǔ)架構(gòu)早已不堪重負。在數(shù)據(jù)爆發(fā)性增長及信息系統(tǒng)的安全性、連續(xù)性要求越來越高的雙重壓力下,原有的存儲體系架構(gòu)及其運維管理逐漸跟不上發(fā)展的腳步,主要體現(xiàn)在以下幾個方面:

第一, 在現(xiàn)有的存儲網(wǎng)絡(luò)架構(gòu)下,隨著數(shù)據(jù)量的快速增長,服務(wù)器和磁盤陣列數(shù)量都隨之快速增長,對于這些不同品牌、型號、容量、性能的磁盤陣列的管理越來越復(fù)雜,導(dǎo)致存儲資源利用效率不高、存儲讀寫性能瓶頸、存儲空間擴展困難、數(shù)據(jù)跨存儲存放和遷移困難等。

第二, 早期的業(yè)務(wù)連續(xù)性(高可用性)多采用服務(wù)器端雙機集群來保障,而數(shù)據(jù)則存放在一臺共用存儲中,存儲的單點故障往往被忽視了。尤其是,近年來隨著服務(wù)器虛擬化、云計算技術(shù)的迅速發(fā)展,絕大多數(shù)電力企業(yè)內(nèi)配置了虛擬化服務(wù)器,將大量應(yīng)用遷移到虛擬機上運行,而虛擬機以文件的形式集中存放在一臺公共存儲中。如此一旦存儲設(shè)備發(fā)生故障,業(yè)務(wù)應(yīng)用往往要花較長時間恢復(fù),甚至大量運行在虛擬機上的應(yīng)用將無法恢復(fù)。

第三, 由于業(yè)務(wù)數(shù)據(jù)重要性提高,傳統(tǒng)的依托備份軟件的數(shù)據(jù)備份方式已無法滿足數(shù)據(jù)安全保護的要求。采用備份軟件定期對業(yè)務(wù)數(shù)據(jù)進行備份,備份周期較長,備份數(shù)據(jù)的正確性無法驗證,一旦發(fā)生故障,不但恢復(fù)時間長,而且數(shù)據(jù)丟失量較大。

因此,結(jié)合以上問題,我們希望能夠找到一種方法,在能夠?qū)υ性O(shè)備、系統(tǒng)進行最大化程度利用的前提下,改變存儲管理模式,簡化存儲分配,提升存儲的讀寫性能、安全性與可用性,而存儲虛擬化無疑是一種不錯的選擇與方向。


2存儲虛擬化技術(shù)及其分類

權(quán)威組織SNIA(存儲網(wǎng)絡(luò)工業(yè)協(xié)會)對存儲虛擬化的定義:通過對存儲(子)系統(tǒng)或存儲服務(wù)的內(nèi)部功能進行抽象、隱藏或隔離,使存儲或數(shù)據(jù)的管理與應(yīng)用、服務(wù)器、網(wǎng)絡(luò)資源的管理分離,從而實現(xiàn)應(yīng)用和網(wǎng)絡(luò)的獨立管理。通俗點說,存儲虛擬化就是把多個、多種存儲設(shè)備通過一定的方式統(tǒng)一管理起來,提供大容量、高數(shù)據(jù)傳輸性能的存儲系統(tǒng)。這種技術(shù)帶來的好處主要有:減少存儲設(shè)備數(shù)量,提高資產(chǎn)利用率,增加可管理性、靈活性和可擴展性,降低成本、綠色運營。


根據(jù)在網(wǎng)絡(luò)中實現(xiàn)位置的不同,目前存儲虛擬化技術(shù)主要分為三種:基于主機側(cè)、基于存儲設(shè)備側(cè)、基于網(wǎng)絡(luò)層實現(xiàn)的存儲虛擬化技術(shù)。


基于主機側(cè)的存儲虛擬化

基于主機側(cè)的存儲虛擬化的實現(xiàn)方式是由主機操作系統(tǒng)下的邏輯卷管理軟件或者安裝專門卷管理軟件方式來實現(xiàn)。這種技術(shù)可以使服務(wù)器的存儲空間跨越多個異構(gòu)的磁盤陣列,常用于在不同磁盤陣列之間做數(shù)據(jù)鏡像保護。這一方式的缺點是主機需要安裝卷管理軟件和數(shù)據(jù)保護軟件,系統(tǒng)運行需要占用主機資源,對現(xiàn)有業(yè)務(wù)沖擊大,且后續(xù)維護和擴展比較復(fù)雜。


基于存儲設(shè)備側(cè)的存儲虛擬化

基于存儲設(shè)備側(cè)的存儲虛擬化實現(xiàn)方式是在存儲控制器上添加虛擬化功能,常見于中高端存儲設(shè)備。這一技術(shù)主要優(yōu)點是與主機無關(guān),不占用主機資源,其缺點是要求存儲設(shè)備必須具備所需功能,一般要求組網(wǎng)存儲設(shè)備為同一廠家甚至同一系列的,擴展性較差。


基于網(wǎng)絡(luò)層實現(xiàn)存儲虛擬技術(shù)

基于網(wǎng)絡(luò)層實現(xiàn)存儲虛擬技術(shù)是通過在存儲域網(wǎng)(SAN)中添加虛擬化硬件實現(xiàn),這一技術(shù)被用來整合異構(gòu)存儲系統(tǒng)和統(tǒng)一數(shù)據(jù)管理。其優(yōu)點是與主機無關(guān),不占用主機資源,且支持異構(gòu)主機、異構(gòu)存儲設(shè)備。采用基于網(wǎng)絡(luò)層實現(xiàn)存儲虛擬技術(shù)可以顯著提高存儲設(shè)備總的利用率,簡化管理,系統(tǒng)可擴展性好。


3虛擬化存儲改造方案

我國科研機構(gòu)服務(wù)器數(shù)量較多,普遍存在Windows2003、Windows2008、Linix等操作系統(tǒng),且一般都有2個以上不同品牌的存儲設(shè)備。因此,基于提高異構(gòu)存儲統(tǒng)一管理能力,消除存儲設(shè)備單點故障的目標,我基于網(wǎng)絡(luò)層實現(xiàn)存儲虛擬技術(shù)是最合適的選擇,具體方案如下:

存儲虛擬化管理:采用兩臺存儲虛擬化網(wǎng)關(guān)(雙活,互為主備),實現(xiàn)對異構(gòu)存儲設(shè)備(磁盤陣列)的虛擬化管理。存儲虛擬化網(wǎng)關(guān)將所有的存儲設(shè)備資源池化,存儲設(shè)備可隨意移入或退出虛擬化,虛擬化過程不破壞數(shù)據(jù),沒有數(shù)據(jù)遷移過程,大幅減小停機時間(分鐘級)。存儲系統(tǒng)的LUN不是直接映射給服務(wù)器,而是映射給存儲虛擬化網(wǎng)關(guān)。存儲虛擬化網(wǎng)關(guān)把不同存儲系統(tǒng)多個虛擬磁盤進行統(tǒng)一管理后再將存儲卷映射給服務(wù)器。通過存儲虛擬化網(wǎng)關(guān),可以完成對企業(yè)現(xiàn)有的存儲及今后采購的存儲統(tǒng)一管理以及統(tǒng)一數(shù)據(jù)保護,同時支持跨存儲在線遷移,零停機,大大簡化了存儲區(qū)域網(wǎng)絡(luò)架構(gòu),而且通過對存儲虛擬化網(wǎng)關(guān)的緩存大小控制,可顯著提升了吞吐性能。拓撲見下圖。

存儲高可用容災(zāi):

通過存儲虛擬化網(wǎng)關(guān)進行存儲虛擬化整合后,虛擬化網(wǎng)關(guān)本身互為熱備,一旦其中一臺發(fā)生故障,另一臺可立即接管其存儲管理功能,從而不影響前端的應(yīng)用。此外,存儲虛擬化網(wǎng)關(guān)支持鏡像、快照、持續(xù)數(shù)據(jù)保護、卷復(fù)制等功能,可實現(xiàn)對關(guān)鍵業(yè)務(wù)數(shù)據(jù)的容災(zāi)保護。在信息中心,可通過存儲虛擬化網(wǎng)關(guān)的同步鏡像功能、卷復(fù)制功能,將一份數(shù)據(jù)同時寫入兩臺存儲(兩個卷),實現(xiàn)存儲系統(tǒng)間的高可用。使用存儲虛擬化網(wǎng)關(guān)進行跨存儲系統(tǒng)鏡像后,對于服務(wù)器獲得的存儲卷來說,不會因為任何一個磁盤存儲系統(tǒng)的故障而導(dǎo)致業(yè)務(wù)宕機或數(shù)據(jù)丟失,有效避免存儲設(shè)備單點故障所導(dǎo)致的數(shù)據(jù)丟失和計劃外停機。

邏輯錯誤的恢復(fù):

在部署虛擬化網(wǎng)關(guān)前,原有存儲系統(tǒng)缺少了對業(yè)務(wù)系統(tǒng)邏輯錯誤的防護,實際上無法解決概率最高的人工錯誤型的災(zāi)難。虛擬化網(wǎng)關(guān)具有“連續(xù)快照功能”,快照頻率可達分鐘級甚至秒級,實現(xiàn)了對業(yè)務(wù)系統(tǒng)“邏輯錯誤”的防范及糾錯功能,對業(yè)務(wù)系統(tǒng)的正常運轉(zhuǎn)提供有力保障。一旦發(fā)生誤刪除、病毒感染等任何邏輯錯誤,管理人員都可以找到最近的版本立即恢復(fù)。快照恢復(fù)與數(shù)據(jù)量無關(guān),大數(shù)據(jù)量提取即刻可用。

存儲虛擬化逃生:

實施存儲虛擬化改造后,萬一存儲虛擬化網(wǎng)關(guān)發(fā)生故障,會不會對存儲及數(shù)據(jù)造成影響?這是所有人都很關(guān)心的問題。虛擬化網(wǎng)關(guān)應(yīng)支持快速的接入和遷出組網(wǎng)環(huán)境的方案。該方案提供了一種雙向的操作網(wǎng)絡(luò)部署環(huán)境的功能,能夠通過對實施存儲環(huán)境的控制而達到快速把虛擬化網(wǎng)關(guān)接入到存儲網(wǎng)絡(luò)中,啟動存儲虛擬化功能;或者當虛擬化網(wǎng)關(guān)故障或其它需要把存儲系統(tǒng)遷出虛擬化平臺,屏蔽虛擬化功能,恢復(fù)原用存儲網(wǎng)絡(luò)。具體來說,就是在虛擬化網(wǎng)關(guān)出現(xiàn)故障后,對原有存儲原始磁盤鏡像重新分配。去除存儲與原有存儲的鏡像關(guān)系,把“虛擬磁盤”分離為原始磁盤,并重新指定存儲系統(tǒng)磁盤映射掛載到服務(wù)器上,服務(wù)器即可識別新加入磁盤,恢復(fù)系統(tǒng)業(yè)務(wù)。

應(yīng)用容災(zāi)保護:

通過存儲虛擬化網(wǎng)關(guān)的卷復(fù)制、CDP等應(yīng)用保護功能,可以對關(guān)鍵業(yè)務(wù)物理服務(wù)器進行實時鏡像和快照保護。當被保護服務(wù)器發(fā)生故障或數(shù)據(jù)丟失時可直接掛載存儲虛擬化網(wǎng)關(guān)上的同步數(shù)據(jù)或歷史快照數(shù)據(jù),5分鐘內(nèi)即可恢復(fù)業(yè)務(wù)運行。

4實施效果

通過架設(shè)存儲虛擬化網(wǎng)關(guān),對原有的SAN存儲區(qū)域網(wǎng)絡(luò)實施優(yōu)化改造,使得存儲系統(tǒng)具備了資源池化、按需分配、彈性擴展、統(tǒng)一維護等云計算特性,同時,也去除了存儲單點故障,建立了一套開放的、高效的本地災(zāi)難保護系統(tǒng),有效的提高信息系統(tǒng)的實時數(shù)據(jù)保護能力和抗災(zāi)能力,保證業(yè)務(wù)系統(tǒng)的連續(xù)性。對比實施前后,效果如下:

  • 虛擬化整合異構(gòu)存儲:將不同廠商、不同架構(gòu)(ISCSI、FC、SCSI、SAS)存儲資源整合為開放、標準的存儲資源池,統(tǒng)一調(diào)度資源給應(yīng)用主機,提高資源利用率,突破單臺存儲設(shè)備性能瓶頸,降低維護成本;
  • 靈活管理:虛擬存儲池擴展及調(diào)配的靈活性,存儲資源自由選擇加入和退出虛擬化,集中統(tǒng)一管理存儲池;
  • 存儲設(shè)備高可用:通過存儲虛擬化網(wǎng)關(guān)的鏡像和卷復(fù)制,數(shù)據(jù)可以在存儲設(shè)備間一對一、一對多、多對一的復(fù)制,單臺存儲設(shè)備故障不會導(dǎo)致應(yīng)用停機和數(shù)據(jù)丟失,消除了存儲單點故障;
  • 虛擬化平臺的支持:可實現(xiàn)虛擬化平臺容災(zāi),支持P2V/V2V/V2P恢復(fù);
  • 快速數(shù)據(jù)遷移:支持跨存儲在線遷移,按業(yè)務(wù)需求進行數(shù)據(jù)遷移,虛擬化過程不破壞數(shù)據(jù),沒有數(shù)據(jù)遷移過程,大幅減小停機時間;
  • 智能數(shù)據(jù)保護:虛擬化容災(zāi)網(wǎng)關(guān)提供統(tǒng)一的高級數(shù)據(jù)管理功能(復(fù)制、鏡像、快照、CDP),在各種故障情況下(硬件故障、病毒攻擊、軟件故障、誤刪除等)均能快速有效地恢復(fù)數(shù)據(jù),實現(xiàn)智能數(shù)據(jù)保護;
  • 數(shù)據(jù)自動接管:核心存儲故障時,生產(chǎn)中心業(yè)務(wù)系統(tǒng)可進行無縫接管;
  • 隨時演練:備份卷、快照均可以方便快速地掛載給物理服務(wù)器或虛擬機,可隨時驗證和恢復(fù),非常簡單快捷。

科研機構(gòu)的成果關(guān)系到國家各個環(huán)節(jié)的發(fā)展與未來,而能否利用好大數(shù)據(jù)分析這一新時代的新武器,對科研成果的影像也舉足輕重。工欲善其事,必先利其器,對舊有的存儲基礎(chǔ)架構(gòu)進行升級改造,將大數(shù)據(jù)分析這一利器發(fā)揮其應(yīng)有的威力,無疑是各科研機構(gòu)IT負責人員必須考慮的問題。推進存儲虛擬化解決方案的導(dǎo)入,實現(xiàn)“池”化管理和統(tǒng)一再分配,可以有效提高我國科研機構(gòu)的運行支撐能力。存儲虛擬化不失為我國科研單位基礎(chǔ)架構(gòu)完善的新方向與新選擇。