隨著企業(yè)數(shù)字化轉(zhuǎn)型的深入，分布式存儲(chǔ)由初的開發(fā)測(cè)試、桌面云等非關(guān)鍵應(yīng)用，逐步走向生產(chǎn)應(yīng)用。生產(chǎn)應(yīng)用除了上述可靠性SLA要求之外，對(duì)分布式存儲(chǔ)的性能，尤其是數(shù)據(jù)訪問的穩(wěn)定低時(shí)延提出了更嚴(yán)苛的要求。軟硬件解耦的分布式存儲(chǔ)在性能設(shè)計(jì)上存在兩大天然缺陷：標(biāo)準(zhǔn)服務(wù)器不具備機(jī)房突然斷電時(shí)保護(hù)內(nèi)存數(shù)據(jù)的電池（BBU），所以只能用SSD卡/盤來做數(shù)據(jù)緩存。SSD的時(shí)延遠(yuǎn)高于內(nèi)存，導(dǎo)致業(yè)界絕大多數(shù)的軟硬解耦的分布式存儲(chǔ)時(shí)延無(wú)法和生產(chǎn)存儲(chǔ)媲美。單獨(dú)采購(gòu)的分布式存儲(chǔ)軟件無(wú)法和第三方服務(wù)器的SSD盤緊密配合，從而無(wú)法像業(yè)界先進(jìn)的全閃存存儲(chǔ)一樣實(shí)現(xiàn)全局垃圾回收，控制數(shù)量眾多的SSD盤各自的垃圾回收導(dǎo)致的生產(chǎn)應(yīng)用時(shí)延波動(dòng)。 分布式存儲(chǔ)系統(tǒng)中的多臺(tái)服務(wù)器通過網(wǎng)絡(luò)進(jìn)行連接。湖州全閃塊分布式存儲(chǔ)

    那么現(xiàn)在問題來了，如果我們要選擇分布式存儲(chǔ)，選擇哪種好呢？其實(shí)它們各有各的優(yōu)勢(shì)和使用場(chǎng)景，具體要看需求。（1）HDFS：主要用于大數(shù)據(jù)的存儲(chǔ)場(chǎng)景，是Hadoop大數(shù)據(jù)架構(gòu)中的存儲(chǔ)組件。HDFS在開始設(shè)計(jì)的時(shí)候，就已經(jīng)明確的它的應(yīng)用場(chǎng)景，就是大數(shù)據(jù)服務(wù)。（2）Ceph：目前應(yīng)用廣的開源分布式存儲(chǔ)系統(tǒng)，已得到眾多廠商的支持，許多超融合系統(tǒng)的分布式存儲(chǔ)都是基于Ceph深度定制。而且Ceph已經(jīng)成為L(zhǎng)INUX系統(tǒng)和OpenStack的“標(biāo)配”，用于支持各自的存儲(chǔ)系統(tǒng)。Ceph可以提供對(duì)象存儲(chǔ)、塊設(shè)備存儲(chǔ)和文件系統(tǒng)存儲(chǔ)服務(wù)。同時(shí)支持三種不同類型的存儲(chǔ)服務(wù)的特性，在分布式存儲(chǔ)系統(tǒng)中，是很少見的。（3）Swift：主要面向的是對(duì)象存儲(chǔ)。和Ceph提供的對(duì)象存儲(chǔ)服務(wù)類似。主要用于解決非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)問題。它和Ceph的對(duì)象存儲(chǔ)服務(wù)的主要區(qū)別是。 嘉興集中式分布式存儲(chǔ)的一般架構(gòu)布式存儲(chǔ)解決如何將數(shù)據(jù)存到多臺(tái)機(jī)器上，并且提供可用性，可靠性和一致性等問題。

面對(duì)海量數(shù)據(jù)的存儲(chǔ)需求，分布式存儲(chǔ)顯然在架構(gòu)上有著天然優(yōu)勢(shì)，但在這波數(shù)據(jù)洪流之中也面臨著性能上的全新挑戰(zhàn)。于分布式存儲(chǔ)的工作原理是將各個(gè)存儲(chǔ)節(jié)點(diǎn)使用網(wǎng)絡(luò)互聯(lián)的方式構(gòu)建為集群，向外部提供更加可靠的高性能服務(wù)，因此可以說分布式存儲(chǔ)本質(zhì)上是一種網(wǎng)絡(luò)存儲(chǔ)，其性能在很大程度上受網(wǎng)絡(luò)的影響。在高性能的分布式存儲(chǔ)中，使用傳統(tǒng)的TCP網(wǎng)絡(luò)進(jìn)行各存儲(chǔ)節(jié)點(diǎn)之間的網(wǎng)絡(luò)互聯(lián)很容易形成網(wǎng)絡(luò)瓶頸，而在分布式存儲(chǔ)容易讓用戶詬病的IO延時(shí)方面，網(wǎng)絡(luò)部分的開銷是不可忽視的一部分。

如何保證分布式存儲(chǔ)的高性能與高可用？大家可能想到的是，除了傳統(tǒng)架構(gòu)里面的備份、HotStandby、雙活、多活這種架構(gòu)之外，對(duì)于保證分布式存儲(chǔ)系統(tǒng)的高可靠和高可用，數(shù)據(jù)在系統(tǒng)中一般存儲(chǔ)多個(gè)副本。當(dāng)某個(gè)存儲(chǔ)節(jié)點(diǎn)出故障時(shí)，系統(tǒng)能夠自動(dòng)將服務(wù)切換到其他的副本，從而實(shí)現(xiàn)自動(dòng)容錯(cuò)。分布式存儲(chǔ)系統(tǒng)通過復(fù)制協(xié)議將數(shù)據(jù)同步到多個(gè)存儲(chǔ)節(jié)點(diǎn)，并確保多個(gè)副本之間的數(shù)據(jù)一致性。同一份數(shù)據(jù)有多個(gè)副本，只有一個(gè)為主副本Primary，其他的副本為備份副本Backup，數(shù)據(jù)從主副本復(fù)制到備份副本，采用終一致性來保證數(shù)據(jù)和事物的完整。 分布式存儲(chǔ)在數(shù)據(jù)治理過程中的定位。

    分布式存儲(chǔ)早期主要用于互聯(lián)網(wǎng)日志、企業(yè)備份歸檔、開發(fā)測(cè)試等場(chǎng)景，這些場(chǎng)景無(wú)疑是低價(jià)值場(chǎng)景，成本是第yi訴求甚至訴求。然此一時(shí)彼一時(shí)，士別三日也當(dāng)刮目相看。首先是分布式存儲(chǔ)產(chǎn)品能力已今非昔比，逐漸具備了承載企業(yè)高價(jià)值業(yè)務(wù)的關(guān)鍵能力，例如毫秒級(jí)時(shí)延、TB/s級(jí)帶寬、雙活/3DC業(yè)務(wù)級(jí)容災(zāi)、端到端DIF等，無(wú)論是結(jié)構(gòu)化數(shù)據(jù)還是非結(jié)構(gòu)化數(shù)據(jù)的承載，功能完備性的比較大短板早已補(bǔ)齊。其次，分布式存儲(chǔ)已走入眾多高價(jià)值關(guān)鍵業(yè)務(wù)，如運(yùn)營(yíng)商BOM業(yè)務(wù)、金融渠道類業(yè)務(wù)以及超算、油藏探測(cè)HPC等高價(jià)值業(yè)務(wù)，通過大規(guī)模應(yīng)用實(shí)踐來檢驗(yàn)成色。（小道消息，某些高價(jià)值場(chǎng)景全閃出貨價(jià)達(dá)到1000美金/TB以上啦）看完當(dāng)下還要看看未來，筆者認(rèn)為未來高價(jià)值的非結(jié)構(gòu)化數(shù)據(jù)場(chǎng)景，分布式存儲(chǔ)的版圖還會(huì)持續(xù)擴(kuò)展。如自動(dòng)駕駛訓(xùn)練、4K/8K超高清、5G日志留存等場(chǎng)景，對(duì)多協(xié)議訪問、極zhi帶寬、擴(kuò)展性訴求強(qiáng)烈，分布式存儲(chǔ)已然成為這些未來業(yè)務(wù)的優(yōu)先架構(gòu)。 分布式存儲(chǔ)“避坑”指南。上海大規(guī)模分布式存儲(chǔ)架構(gòu)實(shí)戰(zhàn)

分布式存儲(chǔ)系統(tǒng)通過復(fù)制協(xié)議將數(shù)據(jù)同步到多個(gè)存儲(chǔ)節(jié)點(diǎn)，并確保多個(gè)副本之間的數(shù)據(jù)一致性。湖州全閃塊分布式存儲(chǔ)

分布式存儲(chǔ)系統(tǒng)中的多臺(tái)服務(wù)器通過網(wǎng)絡(luò)進(jìn)行連接。但是我們無(wú)法保證網(wǎng)絡(luò)是一直通暢的，分布式系統(tǒng)需要具有一定的容錯(cuò)性來處理網(wǎng)絡(luò)故障帶來的問題。一個(gè)令人滿意的情況是，當(dāng)一個(gè)網(wǎng)絡(luò)因?yàn)楣收隙纸鉃槎鄠€(gè)部分的時(shí)候，分布式存儲(chǔ)系統(tǒng)仍然能夠工作。分布式存儲(chǔ)系統(tǒng)需要使用多臺(tái)服務(wù)器共同存儲(chǔ)數(shù)據(jù)，而隨著服務(wù)器數(shù)量的增加，服務(wù)器出現(xiàn)故障的概率也在不斷增加。為了保證在有服務(wù)器出現(xiàn)故障的情況下系統(tǒng)仍然可用。一般做法是把一個(gè)數(shù)據(jù)分成多份存儲(chǔ)在不同的服務(wù)器中。但是由于故障和并行存儲(chǔ)等情況的存在，同一個(gè)數(shù)據(jù)的多個(gè)副本之間可能存在不一致的情況。這里稱保證多個(gè)副本的數(shù)據(jù)完全一致的性質(zhì)為一致性。 湖州全閃塊分布式存儲(chǔ)

江蘇魏晉元興智能科技有限公司是一家智能技術(shù)、計(jì)算機(jī)技術(shù)研發(fā)、技術(shù)咨詢，技術(shù)轉(zhuǎn)讓:軟件開 發(fā)、銷售;信息系統(tǒng)集成服務(wù):機(jī)電產(chǎn)品、計(jì)算機(jī)及配件、 電線電纜、儀器儀表、電子元器件、機(jī)械設(shè)備、機(jī)電設(shè)備 節(jié)能設(shè)備、辦公用品、攝影器材、文化用品、通訊設(shè)備、體 育器材、消防器材銷售;綜合布線工程、水電工程、園林綠 化工程、室內(nèi)裝飾工程、土石方工程設(shè)計(jì)、施工，提供勞務(wù) 服務(wù);企業(yè)形象策劃:企業(yè)管理咨詢:家用電器銷售、維 修;文化藝術(shù)交流活動(dòng)組織、 策劃。( 依法須經(jīng)批準(zhǔn)的項(xiàng) 目，經(jīng)相關(guān)部門批準(zhǔn)后方可開展經(jīng)營(yíng)活動(dòng))的公司，致力于發(fā)展為創(chuàng)新務(wù)實(shí)、誠(chéng)實(shí)可信的企業(yè)。魏晉元興智能作為智能技術(shù)、計(jì)算機(jī)技術(shù)研發(fā)、技術(shù)咨詢，技術(shù)轉(zhuǎn)讓:軟件開 發(fā)、銷售;信息系統(tǒng)集成服務(wù):機(jī)電產(chǎn)品、計(jì)算機(jī)及配件、 電線電纜、儀器儀表、電子元器件、機(jī)械設(shè)備、機(jī)電設(shè)備 節(jié)能設(shè)備、辦公用品、攝影器材、文化用品、通訊設(shè)備、體 育器材、消防器材銷售;綜合布線工程、水電工程、園林綠 化工程、室內(nèi)裝飾工程、土石方工程設(shè)計(jì)、施工，提供勞務(wù) 服務(wù);企業(yè)形象策劃:企業(yè)管理咨詢:家用電器銷售、維 修;文化藝術(shù)交流活動(dòng)組織、 策劃。( 依法須經(jīng)批準(zhǔn)的項(xiàng) 目，經(jīng)相關(guān)部門批準(zhǔn)后方可開展經(jīng)營(yíng)活動(dòng))的企業(yè)之一，為客戶提供良好的網(wǎng)絡(luò)安全，VR,MR，VR，AI，視頻監(jiān)控安防，出入口門禁失控制。魏晉元興智能繼續(xù)堅(jiān)定不移地走高質(zhì)量發(fā)展道路，既要實(shí)現(xiàn)基本面穩(wěn)定增長(zhǎng)，又要聚焦關(guān)鍵領(lǐng)域，實(shí)現(xiàn)轉(zhuǎn)型再突破。魏晉元興智能始終關(guān)注自身，在風(fēng)云變化的時(shí)代，對(duì)自身的建設(shè)毫不懈怠，高度的專注與執(zhí)著使魏晉元興智能在行業(yè)的從容而自信。