網(wǎng)站seo優(yōu)化HDFS架構(gòu)
日期 : 2020-09-19 19:01:56
HDFS架構(gòu)。首先，管理網(wǎng)絡(luò)上多臺(tái)計(jì)算機(jī)的存儲(chǔ)的文件系統(tǒng)稱為分布式文件系統(tǒng)。HDFS(Hadoop分布式文件系統(tǒng)）就是其中之一，并且是專門(mén)為諸如MapReduce之類的分布式編程框架開(kāi)發(fā)的文件系統(tǒng)，用于執(zhí)行大規(guī)模數(shù)據(jù)處理。HDFS使用服務(wù)器/客戶端架構(gòu)，每個(gè)HDFS群集主要由兩部分組成，一個(gè)是NameNode，另一個(gè)是DataNode。“名稱”節(jié)點(diǎn)主要控制HDFS文件系統(tǒng)的名稱空間，并維護(hù)存儲(chǔ)在整個(gè)集群中的文件系統(tǒng)樹(shù)。與元數(shù)據(jù)有關(guān)的所有服務(wù)也由名稱節(jié)點(diǎn)進(jìn)程提供，因此它們也稱為元數(shù)據(jù)節(jié)點(diǎn)。“名稱”節(jié)點(diǎn)記錄文件名和拆分文件的塊列表之間的映射關(guān)系，以及塊和實(shí)際系統(tǒng)之間的對(duì)應(yīng)關(guān)系。“名稱”節(jié)點(diǎn)以快照的形式在本地文件系統(tǒng)中存儲(chǔ)映射關(guān)系，并在每次系統(tǒng)重新啟動(dòng)時(shí)在本地加載映像，并獲取文件的存儲(chǔ)地址。在大多數(shù)情況下，名稱節(jié)點(diǎn)僅被動(dòng)地接受來(lái)自數(shù)據(jù)節(jié)點(diǎn)的請(qǐng)求，執(zhí)行其任務(wù)并更新。數(shù)據(jù)節(jié)點(diǎn)是實(shí)際存儲(chǔ)文件的節(jié)點(diǎn)，通常一個(gè)物理系統(tǒng)對(duì)應(yīng)一個(gè)數(shù)據(jù)節(jié)點(diǎn)。通常，不執(zhí)行數(shù)據(jù)節(jié)點(diǎn)的磁盤(pán)陣列備份，因?yàn)槲募辉O(shè)計(jì)為備份到多個(gè)數(shù)據(jù)節(jié)點(diǎn)，而不是一個(gè)數(shù)據(jù)節(jié)點(diǎn)上的多個(gè)文件。HDFS數(shù)據(jù)塊備份和分發(fā)策略存儲(chǔ)一系列數(shù)據(jù)塊，每個(gè)文件都在其中劃分。除最后一個(gè)分段數(shù)據(jù)塊外，分段成文件的所有其他數(shù)據(jù)塊大小相同。為了提高容錯(cuò)能力，通常以多份副本備份數(shù)據(jù)塊，同時(shí)用戶也可以自行配置數(shù)據(jù)塊的大小和備份副本的數(shù)量。基于HDFS的應(yīng)用程序可以通過(guò)配置文件更改參數(shù)，創(chuàng)建數(shù)據(jù)備份時(shí)，用戶可以指定塊備份的數(shù)量或稍后對(duì)其進(jìn)行修改，但是在HDFS中，每個(gè)文件一次寫(xiě)入。名稱節(jié)點(diǎn)會(huì)定期在每個(gè)數(shù)據(jù)節(jié)點(diǎn)上執(zhí)行心跳檢查和數(shù)據(jù)庫(kù)快速狀態(tài)報(bào)告，以確定哪些數(shù)據(jù)節(jié)點(diǎn)當(dāng)前可用以及哪些數(shù)據(jù)文件已存儲(chǔ)。通常，如果很長(zhǎng)時(shí)間未收到數(shù)據(jù)節(jié)點(diǎn)的心跳，則系統(tǒng)會(huì)使它無(wú)效并重新啟動(dòng)該節(jié)點(diǎn)以恢復(fù)數(shù)據(jù)從而重新加入系統(tǒng)。
相關(guān)文章
精彩導(dǎo)讀
熱門(mén)資訊
