一般分布式存儲(chǔ)的MDC采用的是數(shù)據(jù)庫(kù)或內(nèi)存儲(chǔ)數(shù)據(jù)庫(kù)來(lái)記錄數(shù)據(jù)塊和物理位置關(guān)系。客戶端向MDC發(fā)出詢問(wèn)位置的請(qǐng)求,MDC查詢數(shù)據(jù)庫(kù)后返回請(qǐng)求數(shù)據(jù)的存儲(chǔ)位置。這種方法存儲(chǔ)訪問(wèn)的速度較慢,而且MDC作為交通的“樞紐”,是整個(gè)存儲(chǔ)的核xin,當(dāng)MDC發(fā)生故障,會(huì)導(dǎo)致整個(gè)存儲(chǔ)都不能使用。但是采取這個(gè)方式,也有好處,比如可以根據(jù)不同需求設(shè)置不同的副本策略等。對(duì)象存儲(chǔ)對(duì)象存儲(chǔ)是在同樣容量下提供的存儲(chǔ)性能比文件存儲(chǔ)更好,又能像文件存儲(chǔ)一樣有很好的共享性。實(shí)際使用中,性能不是對(duì)象存儲(chǔ)關(guān)注的問(wèn)題,需要高性能可以用塊存儲(chǔ),容量才是對(duì)象存儲(chǔ)關(guān)注的問(wèn)題。所以對(duì)象存儲(chǔ)的持久化層的硬盤數(shù)量更多,單盤的容量也更大。對(duì)象存儲(chǔ)的數(shù)據(jù)的安全性保障也各式各樣,可以是單機(jī)raid或網(wǎng)絡(luò)raid,也可以副本。Ceph和google基于GFS的存儲(chǔ)就是典型的對(duì)象存儲(chǔ)。 分布式存儲(chǔ)提供豐富的API,根據(jù)業(yè)務(wù)應(yīng)用要求,自動(dòng)按需部署存儲(chǔ)資源,實(shí)現(xiàn)基于存儲(chǔ)策略的自動(dòng)化管理目標(biāo)。嘉興大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)架構(gòu)
分布式存儲(chǔ)分為文件存儲(chǔ)、對(duì)象存儲(chǔ)和塊存儲(chǔ),但它們?nèi)N存儲(chǔ)方式的基本架構(gòu)都是大同小異的。即客戶端或應(yīng)用端、元數(shù)據(jù)(MDS)服務(wù)器和數(shù)據(jù)節(jié)點(diǎn)服務(wù)器??蛻舳撕驮獢?shù)據(jù)服務(wù)器之間交互是“信令交互”,而客戶端到數(shù)據(jù)節(jié)點(diǎn)是“媒體交互”。元數(shù)據(jù)服務(wù)器或通過(guò)數(shù)據(jù)節(jié)點(diǎn)服務(wù)器獲取各節(jié)點(diǎn)服務(wù)器的基本配置情況和狀態(tài)信息。比如,客戶端需要讀取某一個(gè)文件的信息,客戶端會(huì)將相應(yīng)的要求發(fā)給元數(shù)據(jù)服務(wù)器:“喂!我需要XXX,存在哪里了”,元數(shù)據(jù)服務(wù)器查詢后回答“你到xxx服務(wù)器的xxx地址+xxx服務(wù)器的xxx地址取”??蛻舳四玫竭@個(gè)指示后,向這2臺(tái)服務(wù)器發(fā)出指令,數(shù)據(jù)節(jié)點(diǎn)獲得指令后,將相應(yīng)的數(shù)據(jù)返回給客戶端。 湖州視頻分布式存儲(chǔ)的一般架構(gòu)分布式存儲(chǔ)系統(tǒng)需要使用多臺(tái)服務(wù)器共同存儲(chǔ)數(shù)據(jù),隨著服務(wù)器數(shù)量的增加,出現(xiàn)故障的概率也在不斷增加。
分布式存儲(chǔ)的種類和比較:分布式存儲(chǔ)包含的種類繁多,除了傳統(tǒng)意義上的分布式文件系統(tǒng)、分布式塊存儲(chǔ)和分布式對(duì)象存儲(chǔ)外,還包括分布式數(shù)據(jù)庫(kù)和分布式緩存等,但其中架構(gòu)無(wú)外乎于三種;以HDFS(HadoopDistributionFileSystem)為代biao的架構(gòu)是典型的代biao。在這種架構(gòu)中,一部分節(jié)點(diǎn)NameNode是存放管理數(shù)據(jù)(元數(shù)據(jù)),另一部分節(jié)點(diǎn)DataNode存放業(yè)務(wù)數(shù)據(jù),這種類型的服務(wù)器負(fù)責(zé)管理具體數(shù)據(jù)。這種架構(gòu)就像公司的層次組織架構(gòu),namenode就如同老板,只管理下屬的經(jīng)理(datanode),而下屬的經(jīng)理,而經(jīng)理們來(lái)管理節(jié)點(diǎn)下本地盤上的數(shù)據(jù)。
分布式存儲(chǔ)系統(tǒng)需要使用多臺(tái)服務(wù)器共同存儲(chǔ)數(shù)據(jù),而隨著服務(wù)器數(shù)量的增加,服務(wù)器出現(xiàn)故障的概率也在不斷增加。為了保證在有服務(wù)器出現(xiàn)故障的情況下系統(tǒng)仍然可用。一般做法是把一個(gè)數(shù)據(jù)分成多份存儲(chǔ)在不同的服務(wù)器中。但是由于故障和并行存儲(chǔ)等情況的存在,同一個(gè)數(shù)據(jù)的多個(gè)副本之間可能存在不一致的情況。這里稱保證多個(gè)副本的數(shù)據(jù)完全一致的性質(zhì)為一致性。分布式存儲(chǔ)系統(tǒng)需要多臺(tái)服務(wù)器同時(shí)工作。當(dāng)服務(wù)器數(shù)量增多時(shí),其中的一些服務(wù)器出現(xiàn)故障是在所難免的。我們希望這樣的情況不會(huì)對(duì)整個(gè)系統(tǒng)造成太大的影響。在系統(tǒng)中的一部分節(jié)點(diǎn)出現(xiàn)故障之后,系統(tǒng)的整體不影響客服端的讀/寫(xiě)請(qǐng)求稱為可用性。 分布式存儲(chǔ)“避坑”指南。
從技術(shù)的角度,分布式存儲(chǔ)的發(fā)力點(diǎn)在大規(guī)模的擴(kuò)展性,基于此逐步優(yōu)化性能、可靠性,讓海量數(shù)據(jù)存得下、用得起;集中式存儲(chǔ)的技術(shù)方向在于保持穩(wěn)定性的基礎(chǔ)上,利用更快的介質(zhì)、更低時(shí)延的網(wǎng)絡(luò)為核xin業(yè)務(wù)提供加速,讓業(yè)務(wù)更穩(wěn)、效率更高。因此,從技術(shù)方向上來(lái)看,二者也是各有側(cè)重的。云和分布式存儲(chǔ)一樣,這些年正在大行其道、炙手可熱。CloudFirst、AllinCloud、CloudNative等概念風(fēng)靡業(yè)界,CIO見(jiàn)面不提云貌似都不好意思打招呼。早期人們也習(xí)慣把分布式存儲(chǔ)叫做“云存儲(chǔ)”,那么分布式存儲(chǔ)和云是什么關(guān)系?筆者認(rèn)為,分布式存儲(chǔ)是一種技術(shù)架構(gòu),而云是一種商業(yè)模式。分布式存儲(chǔ)可以被用作各種云的數(shù)據(jù)底座,也可以單獨(dú)成為數(shù)據(jù)底座,是配合的關(guān)系,而非替換和包含關(guān)系。 分布式存儲(chǔ)不得不要了解的幾大特點(diǎn)。安徽什么是分布式存儲(chǔ)
分布式存儲(chǔ)系統(tǒng)通過(guò)復(fù)制協(xié)議將數(shù)據(jù)同步到多個(gè)存儲(chǔ)節(jié)點(diǎn),并確保多個(gè)副本之間的數(shù)據(jù)一致性。嘉興大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)架構(gòu)
為了保證分布式存儲(chǔ)系統(tǒng)的高可靠和高可用,數(shù)據(jù)在系統(tǒng)中一般存儲(chǔ)多個(gè)副本。當(dāng)某個(gè)副本所在的存儲(chǔ)節(jié)點(diǎn)出現(xiàn)故障時(shí),分布式存儲(chǔ)系統(tǒng)能夠自動(dòng)將服務(wù)切換到其他的副本,從而實(shí)現(xiàn)自動(dòng)容錯(cuò)。分布式存儲(chǔ)系統(tǒng)通過(guò)復(fù)制協(xié)議將數(shù)據(jù)同步到多個(gè)存儲(chǔ)節(jié)點(diǎn),并確保多個(gè)副本之間的數(shù)據(jù)一致性。客戶端將寫(xiě)請(qǐng)求發(fā)送給主副本,主副本將寫(xiě)請(qǐng)求復(fù)制到其他備副本,常見(jiàn)的做法是同步操作日志(CommitLog)。主副本首先將操作日志同步到備副本,備副本回放操作日志,完成后通知主副本。接著,主副本修改本機(jī),等到所有的操作都完成后再通知客戶端寫(xiě)成功。下圖中的復(fù)制協(xié)議要求主備同步成功才可以返回客戶端寫(xiě)成功,這種協(xié)議稱為強(qiáng)同步協(xié)議。 嘉興大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)架構(gòu)
江蘇魏晉元興智能科技有限公司致力于數(shù)碼、電腦,是一家貿(mào)易型的公司。公司業(yè)務(wù)分為網(wǎng)絡(luò)安全,VR,MR,VR,AI,視頻監(jiān)控安防,出入口門禁失控制等,目前不斷進(jìn)行創(chuàng)新和服務(wù)改進(jìn),為客戶提供良好的產(chǎn)品和服務(wù)。公司從事數(shù)碼、電腦多年,有著創(chuàng)新的設(shè)計(jì)、強(qiáng)大的技術(shù),還有一批**的專業(yè)化的隊(duì)伍,確保為客戶提供良好的產(chǎn)品及服務(wù)。在社會(huì)各界的鼎力支持下,持續(xù)創(chuàng)新,不斷鑄造***服務(wù)體驗(yàn),為客戶成功提供堅(jiān)實(shí)有力的支持。