這篇文章主要介紹HDFS架構(gòu)如何設(shè)計(jì),文中介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們一定要看完!
建網(wǎng)站原本是網(wǎng)站策劃師、網(wǎng)絡(luò)程序員、網(wǎng)頁設(shè)計(jì)師等,應(yīng)用各種網(wǎng)絡(luò)程序開發(fā)技術(shù)和網(wǎng)頁設(shè)計(jì)技術(shù)配合操作的協(xié)同工作。創(chuàng)新互聯(lián)專業(yè)提供網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作,網(wǎng)頁設(shè)計(jì),網(wǎng)站制作(企業(yè)站、成都響應(yīng)式網(wǎng)站建設(shè)、電商門戶網(wǎng)站)等服務(wù),從網(wǎng)站深度策劃、搜索引擎友好度優(yōu)化到用戶體驗(yàn)的提升,我們力求做到極致!HDFS架構(gòu)設(shè)計(jì):
1.NN(NameNode):主要是維護(hù)管理文件命名空間,其中包括了文件名稱,文件的權(quán)限,創(chuàng)建時(shí)間,副本數(shù),文件被分成多少塊,快分布在哪些機(jī)器(產(chǎn)生文件fsimage和editlog)。
2.理解NN管理下NN和塊以及實(shí)際存儲(chǔ)內(nèi)容的存儲(chǔ)關(guān)系。
實(shí)例:假設(shè)NN為一個(gè)容量為128000ML的正方形盒子,每個(gè)塊為同樣大小正正方方的容量為128ML的盒子,但是每個(gè)盒子里只有3ml的水(每個(gè)塊中存儲(chǔ)文件的實(shí)際大?。?br/>
則問實(shí)際存儲(chǔ)的內(nèi)容是多少ml?3*(128000/128)=3000ml這里是由DN管理存儲(chǔ)的。
放進(jìn)去的盒子是多少個(gè)?1000個(gè)(其實(shí)就是存儲(chǔ)的塊的數(shù)量)
總的來說盡管實(shí)際存儲(chǔ)只有3000ml,但是卻消耗了1000個(gè)瓶子的名字的字節(jié)總和的NN的空間,但是如果把1000個(gè)瓶子壓縮成500或者更少(小文件合并),則可以消耗更少量的NN管理空間。
3.DN(DataNode):存儲(chǔ)數(shù)據(jù)塊,存儲(chǔ)數(shù)據(jù)塊校驗(yàn)和。
4.SN(SecondaryNode):做每小時(shí)的檢查工作checkpoint。(檢查NN的工作即產(chǎn)生文件fsimage和editlog并進(jìn)行打包制作成新的fsimage文件保存下來)
圖理解:
以上是“HDFS架構(gòu)如何設(shè)計(jì)”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對(duì)大家有幫助,更多相關(guān)知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道!
新聞標(biāo)題:HDFS架構(gòu)如何設(shè)計(jì)-創(chuàng)新互聯(lián)
瀏覽路徑:http://m.rwnh.cn/article4/djigoe.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供虛擬主機(jī)、網(wǎng)站導(dǎo)航、Google、品牌網(wǎng)站設(shè)計(jì)、手機(jī)網(wǎng)站建設(shè)、關(guān)鍵詞優(yōu)化
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容