本篇內容介紹了“Hadoop1.x和Hadoop2.x哪個更好”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

創(chuàng)新互聯(lián)公司是工信部頒發(fā)資質IDC服務器商，為用戶提供優(yōu)質的大邑服務器托管服務

Hadoop1.x構成： HDFS、MapReduce(資源管理和任務調度)；運行時環(huán)境為JobTracker和TaskTracker；

Hadoop2.0構成：HDFS、MapReduce/其他計算框架、YARN； 運行時環(huán)境為YARN

　　1、HDFS：HA、NameNode Federation

　　2、MapReduce/其他計算框架：運行在YARN之上的MapReduce通常稱之為MapReduce2.0（MRv2）

　　3、YARN：資源管理系統(tǒng)（Yet Another Resource Negotiator），在其之上可以運行各種計算框架，如：MapReduce、Storm、Spark等；

HDFS2.0

解決HDFS1.0中單點故障和內存受限問題

解決單點故障： HDFS HA（High Available）

　　通過主備NameNode，當主NameNode發(fā)生故障時則切換到備NameNode；

解決內存受限問題： HDFS Federation

　　水平擴展，支持多個NameNode；

　　每個NameNode分管一部分目錄；不同的NameNode可以分管不同的應用；

　　所有NameNode共享所有DataNode存儲的資源；

HDFS2.0和HDFS1.0相比、僅是架構上發(fā)生了變化，使用方式不變，對HDFS使用者來說是透明的。比如說hdfs shell命令：

hadoop fs -ls /luogankun

hadoop fs -mkdir /luogankun/data

在HDFS1.0和HDFS2.0中用法是一致的。

YARN

Hadoop2.0新引入的資源管理系統(tǒng)

YARN核心思想：將MRv1中JobTracker的資源管理和任務調度分開，分別由ResourceManager和ApplicationMaster進程實現(xiàn)；

ResourceManager：負責整個集群的資源管理；整個集群只有一個；

ApplicationMaster：負責應用程序相關的事務，比如：任務調度、任務監(jiān)控和任務容錯；一個應用程序對應一個ApplicationMaster；

YARN引入的好處：使得多個計算框架可以運行在一個集群中，比如：MapReduce、Spark、Storm等；

MapReduce On YARN

運行在YARN之上的MapReduce稱為MRv2；

將MapReduce作業(yè)直接運行在YARN上，而不是運行在由JobTracker和TaskTracker構建的MRv1之上；在Hadoop2.0中并不存在JobTracker和TaskTracker；

MRv2的模塊基本功能：

1、YARN：負責資源管理和調度；

2、MRAppMaster：負責一個應用程序/作業(yè)的任務切分、任務調度、任務監(jiān)控和容錯；

3、Map/Reduce Task：任務驅動引擎，與MRv1一致；

每個應用程序/作業(yè)對應一個MRAppMaster，所以：

1、單個應用程序/作業(yè)運行失敗，不會影響其他應用程序/作業(yè)；

2、負責應用程序/作業(yè)相關的事務，包括將從YARN分配得到的資源二次分配給內部的任務、任務切分、任務健康和容錯等；

“Hadoop1.x和Hadoop2.x哪個更好”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關的知識可以關注創(chuàng)新互聯(lián)-成都網(wǎng)站建設公司網(wǎng)站，小編將為大家輸出更多高質量的實用文章！

文章題目：Hadoop1.x和Hadoop2.x哪個更好-創(chuàng)新互聯(lián)
URL鏈接：http://m.rwnh.cn/article40/gepho.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供電子商務、網(wǎng)站內鏈、網(wǎng)站制作、定制開發(fā)、微信小程序、移動網(wǎng)站建設

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)