BCM超可用一體機(jī)
365云魔盒
DR容災(zāi)網(wǎng)關(guān) 試用
VRD存儲(chǔ)虛擬化網(wǎng)關(guān)
VTL虛擬帶庫系統(tǒng)
備份軟件系統(tǒng)
NAS存儲(chǔ)系統(tǒng)
集中式存儲(chǔ)系統(tǒng)
分布式存儲(chǔ)系統(tǒng)
趨勢已經(jīng)很明顯了:不管你的應(yīng)用是什么,云、Hadoop或者是文件系統(tǒng),一體化都是你的未來之選。如果你遇到了一個(gè)存儲(chǔ)難題,至少有一家廠商可以提供能即插即用的解決方案。
數(shù)據(jù)中心整合,不管是在企業(yè)內(nèi)部還是到公共云,都是當(dāng)前IT場景的一部分。那么,你應(yīng)該如何做以保證未來不會(huì)丟掉工作呢?
建議是:加入一體化大軍,走在趨勢前沿。
當(dāng)企業(yè)將IT基礎(chǔ)設(shè)施的全部或者部分外包了,這是因?yàn)橛衅渌丝梢詮闹匈嵉藉X。據(jù)了解和聽到的消息,這種外包的利潤最高可以達(dá)到25%。試問一下自己,為什么其他一些公司或者其他一些云提供商可以購買到所需的所有硬件和軟件,同時(shí)仍然可以通過公司內(nèi)部IT部門獲得利潤?部分原因是內(nèi)部政策往往阻礙著數(shù)據(jù)中心的效率提高。每個(gè)部門都希望以自己希望的方式做事。
但是一體化模式正在改變著人們思考IT的方式,它將改變企業(yè)機(jī)構(gòu)的組織結(jié)構(gòu)。
如果你的IT基礎(chǔ)設(shè)施,沒有存儲(chǔ)、虛擬化和計(jì)算的集成,那么未來幾年你的環(huán)境就需要迅速改變,否則,你可能需要尋找一份新工作了,因?yàn)楹芏鄰S商會(huì)進(jìn)來,通過外包或者IT承包商的形式交給云提供商,從而讓你的環(huán)境現(xiàn)代化。
你需要有計(jì)劃和有準(zhǔn)備,因?yàn)椤八淼辣M頭的一點(diǎn)光也許是一輛疾馳的火車”。讓我們來談一談你可能需要熟悉的幾種存儲(chǔ)一體機(jī)吧:
Hadoop一體機(jī)
就目前來說,這些類型的一體機(jī)主要分為三種:
1、標(biāo)準(zhǔn)Hadoop
2、共享文件系統(tǒng)Hadoop
3、高速存儲(chǔ)一體機(jī)Hadoop
標(biāo)準(zhǔn)Hadoop
如果是標(biāo)準(zhǔn)的一體機(jī),你可以購買預(yù)加載、預(yù)配置、針對Hadoop硬件優(yōu)化了的節(jié)點(diǎn)。
你可以從很多廠商那種購買到這種類型的硬件和軟件。在有些情況下,你只是為你自己的集群購買軟件,在其他情況下,你從一家集成商那里購買硬件和軟件。無論哪一種途徑,這都是標(biāo)準(zhǔn)的Hadoop,帶有針對運(yùn)行Hadoop優(yōu)化配置了的硬件和軟件。
共享文件系統(tǒng)Hadoop
共享文件系統(tǒng)一體機(jī)通常有Lustre或者GPFS文件系統(tǒng),優(yōu)化了Hadoop中的Shuffle階段。這起到了一定效果,因?yàn)橛脩艨梢詮母鱾€(gè)節(jié)點(diǎn)全局訪問數(shù)據(jù),而不用跨網(wǎng)絡(luò)分布數(shù)據(jù)或者讀取數(shù)據(jù)。所有節(jié)點(diǎn)都是連接到這個(gè)共享文件系統(tǒng)的,可以直接從存儲(chǔ)中讀取數(shù)據(jù),而不用從服務(wù)器到網(wǎng)絡(luò)到服務(wù)器再到存儲(chǔ)。
這已經(jīng)被證明在某些情況下要比標(biāo)準(zhǔn)配置的Hadoop明顯更快一些。此外,你獲得了RAID的可靠性和故障轉(zhuǎn)移功能(如果架構(gòu)是這么設(shè)計(jì)的)。廠商對可靠性的研究顯示,如果是RAID化了,那么在存儲(chǔ)中就不要三重復(fù)制機(jī)制了。
高速存儲(chǔ)一體機(jī)
不少廠商都有或者正在開發(fā)用戶Hadoop的固態(tài)盤,已經(jīng)有很多產(chǎn)品出現(xiàn)未來還會(huì)有更多,這些都是針對Hadoop優(yōu)化的,易于管理。
哪個(gè)最好?
當(dāng)然,答案取決于數(shù)據(jù)的量和類型,有多少數(shù)據(jù)流入以及查詢量。多問自己一些問題,你就可以找到答案。
大型文件系統(tǒng)一體機(jī)
就目前來說,有兩種不同的個(gè)性共享文件系統(tǒng)用于大型存儲(chǔ)一體機(jī)——GPFS和Lustre。很多廠商都提供這種一體機(jī)。Lustre是一個(gè)開源項(xiàng)目,而GPFS是來自IBM的產(chǎn)品。
這些文件系統(tǒng)的規(guī)模遠(yuǎn)遠(yuǎn)超過現(xiàn)有的任何一款NAS產(chǎn)品。這些文件系統(tǒng)可以擴(kuò)展到數(shù)千個(gè)客戶端,提供數(shù)百GB/s。哪一家NAS廠商在具有可擴(kuò)展性的單一命名空間內(nèi)有30+ PB的空間?
現(xiàn)在的問題是,在大多數(shù)情況下,文件系統(tǒng)是圍繞著用戶應(yīng)用對大數(shù)據(jù)塊、連續(xù)I/O的要求設(shè)計(jì)的。這并不是說,硬件和軟件就無法支持更小的塊。不是說,小數(shù)據(jù)塊性能在NAS設(shè)備中就表現(xiàn)更好,但是當(dāng)你向管理層展示你的共享文件系統(tǒng)時(shí),你可能想要問的一些問題:
1、 關(guān)于你的工作負(fù)載,需要了解以下幾個(gè)方面:
- 有多少I/O請求正在同時(shí)被處理?
- 讀/寫率是多少,讀和寫的情況大小是?
- 有多少打開/創(chuàng)建正在同時(shí)進(jìn)行?
- 需要多少存儲(chǔ)空間?
2、 問問廠商關(guān)于端到端的可靠性:
- 使用了ANSI T10 DIF/PI嗎?
- 使用了其他一些方法嗎?
- 是否使用校驗(yàn)或者糾錯(cuò)碼?
- 廠商是如何解釋哪塊磁盤導(dǎo)致了故障?
3、 問問廠商關(guān)于RAID重建的問題:
- RAID是分簇的嗎?
- 在重建時(shí)性能是否受到影響?
這只是針對這些類型設(shè)備必須要問到的一些問題。當(dāng)你進(jìn)行縱向擴(kuò)展的時(shí)候,你需要確保其他不會(huì)受到影響,而且確保你可以完成任務(wù)。
其他一體機(jī)
現(xiàn)在還有很多其他數(shù)據(jù)分析產(chǎn)品和數(shù)據(jù)庫產(chǎn)品,未來還會(huì)出現(xiàn)更多,滿足你企業(yè)機(jī)構(gòu)的需求,這些新的一體機(jī)設(shè)備可能會(huì)使用某種方法將信息關(guān)聯(lián)起來,或者使用圖形分析找出關(guān)系或者其他方法。
遇到的問題都是一樣的:如果你不能利用現(xiàn)有的技術(shù)做到更快更廉價(jià),那么可能就需要把你的工作外包給云了。
我們的工作危在旦夕
如果CIO和員工們沒有相應(yīng)的計(jì)劃,其他人就會(huì)搶先一步。然后,別人就會(huì)取代你的工作。隨著市場的發(fā)展,我們不得不學(xué)習(xí)一些新的技能,包括公司管理層。
如果不這樣的話,就做好自己的工作被外包給云或者其他部門的準(zhǔn)備吧。
現(xiàn)在有很多新技術(shù)可以解決新老問題,我們都需要了解這些技術(shù)以保住飯碗。
如今存儲(chǔ)領(lǐng)域我們越來越多地關(guān)注點(diǎn)集中在專有的一體機(jī)上。現(xiàn)在有90%的數(shù)據(jù)訪問是通過POSIX文件系統(tǒng)接口的,10%是通過對象接口,未來十年這個(gè)情況將發(fā)生改變。
做好準(zhǔn)備,這有點(diǎn)類似于20世紀(jì)90年代的微處理器,從專有的大型處理器轉(zhuǎn)向微處理器,從DEC、MIPS到Intel和其他。
柏科數(shù)據(jù)
產(chǎn)品解決方案
PRODUCT SOLUTIONS
最近案例
CASE STUDY