分布式存儲(chǔ)
distributed storage
定義:將數(shù)據(jù)按照一定的分布算法分散存儲(chǔ)在多臺(tái)獨(dú)立的存儲(chǔ)節(jié)點(diǎn)上,實(shí)現(xiàn)多節(jié)點(diǎn)并行訪問(wèn)的存儲(chǔ)技術(shù)。
學(xué)科:計(jì)算機(jī)科學(xué)技術(shù)_計(jì)算機(jī)體系結(jié)構(gòu)_存儲(chǔ)系統(tǒng)
相關(guān)名詞:存儲(chǔ)介質(zhì)、大規(guī)模并行計(jì)算機(jī)、服務(wù)器

圖片來(lái)源:視覺(jué)中國(guó)
【延伸閱讀】
分布式存儲(chǔ)最早是由谷歌提出的概念,其目的是通過(guò)廉價(jià)的服務(wù)器為大規(guī)模、高并發(fā)場(chǎng)景下的網(wǎng)頁(yè)訪問(wèn)場(chǎng)景提供服務(wù)。它通過(guò)分布式軟件將物理資源組織起來(lái),構(gòu)成具備高性能的邏輯存儲(chǔ)池,在保證可靠性的同時(shí)提供多種存儲(chǔ)服務(wù)。
一般而言,分布式存儲(chǔ)是將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的物理設(shè)備上(通常是通用X86服務(wù)器),采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu),利用多臺(tái)物理服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷,利用位置服務(wù)器定位存儲(chǔ)信息。這種架構(gòu)不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴(kuò)展。
分布式存儲(chǔ)擴(kuò)展能力強(qiáng),容量隨節(jié)點(diǎn)數(shù)線性上漲,可達(dá)到EB(百億億字節(jié),艾字節(jié))級(jí)別,但網(wǎng)絡(luò)時(shí)延會(huì)成為分布式存儲(chǔ)對(duì)外提供服務(wù)時(shí)的瓶頸。
歷經(jīng)幾十年的發(fā)展,分布式存儲(chǔ)的發(fā)展經(jīng)歷了以下四個(gè)階段:
第一個(gè)階段是1980年代的網(wǎng)絡(luò)文件系統(tǒng),該系統(tǒng)通過(guò)少量服務(wù)器(通用X86服務(wù)器)實(shí)現(xiàn)網(wǎng)絡(luò)環(huán)境下的簡(jiǎn)單文件共享(文件共享是指主動(dòng)地在網(wǎng)絡(luò)上共享自己的計(jì)算機(jī)文件)。
第二個(gè)階段是1990年代的共享SAN文件存儲(chǔ),該類型存儲(chǔ)已經(jīng)能夠外接SAN設(shè)備實(shí)現(xiàn)更大的文件系統(tǒng)。SAN存儲(chǔ)全稱為存儲(chǔ)區(qū)域網(wǎng)絡(luò),是一種連接外接存儲(chǔ)設(shè)備和服務(wù)器的存儲(chǔ)架構(gòu)。
第三個(gè)階段是2000年代的Share-Nothing存儲(chǔ),這種存儲(chǔ)開始利用通用服務(wù)器構(gòu)建起高擴(kuò)展的存儲(chǔ)系統(tǒng)。Share-Nothing存儲(chǔ)架構(gòu)的優(yōu)點(diǎn)是每臺(tái)服務(wù)器都可以對(duì)外提供服務(wù),擴(kuò)展性比之前的架構(gòu)更好。
第四個(gè)階段是2010年代逐漸產(chǎn)生的企業(yè)級(jí)的云存儲(chǔ),這類存儲(chǔ)開始具備豐富的企業(yè)特性,存儲(chǔ)性能、效率和數(shù)據(jù)保護(hù)能力有了進(jìn)一步的增強(qiáng),開始廣泛應(yīng)用在各行各業(yè)中。
下一個(gè)十年,分布式存儲(chǔ)的技術(shù)創(chuàng)新將集中在AI(人工智能技術(shù))、介質(zhì)和架構(gòu)三個(gè)主要的方向。
首先是AI,AI技術(shù)的發(fā)展會(huì)使得存儲(chǔ)更加智能,使得分布式存儲(chǔ)自動(dòng)化運(yùn)維的能力逐步增強(qiáng)。
其次是存儲(chǔ)介質(zhì),QLC(四層存儲(chǔ)單元)、TLC(三層存儲(chǔ)單元)、NVME over Fabric(使用Fabric網(wǎng)絡(luò)來(lái)承載NVMe協(xié)議) 等存儲(chǔ)介質(zhì)和傳輸協(xié)議的發(fā)展使得分布式存儲(chǔ)具備更優(yōu)的價(jià)格和更低的時(shí)延。
最后,為了適應(yīng)新興的技術(shù)和存儲(chǔ)介質(zhì),適配海量多樣的數(shù)據(jù)帶來(lái)的性能和成本挑戰(zhàn),分布式存儲(chǔ)在架構(gòu)上也會(huì)出現(xiàn)相應(yīng)的創(chuàng)新。
分布式存儲(chǔ)主要的應(yīng)用場(chǎng)景一般為氣象氣候預(yù)測(cè)、地質(zhì)勘探、航空航天、工程計(jì)算、材料工程等領(lǐng)域。
責(zé)任編輯:張鵬輝





