創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務器提供商，新人活動買多久送多久，劃算不套路！

創(chuàng)新互聯(lián)專注于偏關網(wǎng)站建設服務及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗。 熱誠為您提供偏關營銷型網(wǎng)站建設，偏關網(wǎng)站制作、偏關網(wǎng)頁設計、偏關網(wǎng)站官網(wǎng)定制、微信小程序定制開發(fā)服務，打造偏關網(wǎng)絡公司原創(chuàng)品牌,更為您提供偏關網(wǎng)站排名全網(wǎng)營銷落地服務。

本篇文章給大家分享的是有關Hadoop的入門基礎有哪些，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

1、Hadoop概述

Hadoop 是 Apache 旗下的一個用 Java 語言實現(xiàn)開源軟件框架，它還是一個開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺。Hadoop允許使用簡單的編程模型，在大量計算機集群上，對大型數(shù)據(jù)集進行分布式處理。

狹義上說，Hadoop 指 Apache 這款開源框架，它的核心組件有：HDFS（分布式文件系統(tǒng)）：解決海量數(shù)據(jù)存儲 ；YARN（作業(yè)調(diào)度和集群資源管理的框架）：解決資源任務調(diào)度；MAPREDUCE（分布式運算編程框架）：解決海量數(shù)據(jù)計算。

廣義上來說，Hadoop 通常是指一個更廣泛的概念——Hadoop 生態(tài)圈。當下的 Hadoop 已經(jīng)成長為一個龐大的體系，隨著生態(tài)系統(tǒng)的成長，新出現(xiàn)的項目越來越多，其中不乏一些非 Apache 主管的項目，這些項目對 HADOOP 是很好的補充或者更高層的抽象。比如，HDFS： 分 布 式 文 件 系 統(tǒng)；MAPREDUCE：分布式運算程序開發(fā)框架；HIVE：基于 HADOOP 的分布式數(shù)據(jù)倉庫，提供基于 SQL 的查詢數(shù)據(jù)操作；HBASE：基于Hadoop的分布式海量數(shù)據(jù)庫；ZOOKEEPER：分布式協(xié)調(diào)服務基礎組件；Mahout：基于 mapreduce/spark/flink 等分布式運算框架的機器學習算法庫；OOZIE：工作流調(diào)度框架；Sqoop：數(shù)據(jù)導入導出工具；FLUME：日志數(shù)據(jù)采集框架；IMPALA：基于 hive 的實時 sql 查詢分析。

2、Hadoop的發(fā)展歷程

Hadoop 是 Apache Lucene 創(chuàng)始人 Doug Cutting 創(chuàng)建的。最早起源于 Nutch， 它是 Lucene 的子項目。Nutch 的設計目標是構建一個大型的全網(wǎng)搜索引擎，包括網(wǎng)頁抓取、索引、查詢等功能，但隨著抓取網(wǎng)頁數(shù)量的增加，遇到了嚴重的可擴展性問題：如何解決數(shù)十億網(wǎng)頁的存儲和索引問題。

2003 年 Google 發(fā)表了一篇論文為該問題提供了可行的解決方案。論文中描述的是谷歌的產(chǎn)品架構，該架構稱為：谷歌分布式文件系統(tǒng)（GFS）,可以解決他們在網(wǎng)頁爬取和索引過程中產(chǎn)生的超大文件的存儲需求。

2004 年 Google 發(fā)表論文向全世界介紹了谷歌版的MapReduce 系統(tǒng)。 同時期，Nutch 的開發(fā)人員完成了相應的開源實現(xiàn) HDFS 和 MAPREDUCE，并從Nutch 中剝離成為獨立項目 HADOOP，到 2008 年 1 月，HADOOP 成為 Apache 頂級項目，迎來了它的快速發(fā)展期。

2006 年 Google 發(fā)表了論文是關于 BigTable 的，這促使了后來的 Hbase的發(fā)展。 因此，Hadoop 及其生態(tài)圈的發(fā)展離不開 Google 的貢獻。

3、Hadoop的特性

（1）擴容能力：Hadoop 是在可用的計算機集群間分配數(shù)據(jù)并完成計算任務的，這些集群可用方便的擴展到數(shù)以千計的節(jié)點中。

（2）成本低：Hadoop 通過普通廉價的機器組成服務器集群來分發(fā)以及處理數(shù)據(jù)，以至于成本很低。

（3）高效率：通過并發(fā)數(shù)據(jù)，Hadoop 可以在節(jié)點之間動態(tài)并行的移動數(shù)據(jù)，使得速度非?？?。

（4）可靠性：能自動維護數(shù)據(jù)的多份復制，并且在任務失敗后能自動地重新部署計算任務。所以 Hadoop 的按位存儲和處理數(shù)據(jù)的能力值得人們信賴。

4、Hadoop的應用

Hadoop 最受青睞的行業(yè)是互聯(lián)網(wǎng)領域，可以說互聯(lián)網(wǎng)公司是 hadoop 的主要使用力量。國外來說，Yahoo、Facebook、IBM 等公司都大量使用 hadoop 集群來支撐業(yè)務。比如：Yahoo 的 Hadoop 應用在支持廣告系統(tǒng)、用戶行為分析、支持 Web 搜索等。 Facebook 主要使用 Hadoop 存儲內(nèi)部日志與多維數(shù)據(jù)，并以此作為報告、分析和機器學習的數(shù)據(jù)源。

國內(nèi)來說，BAT 領頭的互聯(lián)網(wǎng)公司是當仁不讓的 Hadoop 使用者、維護者。比如 Ali 云梯（14 年國內(nèi)大 Hadoop 集群）、百度的日志分析平臺、推薦引擎系統(tǒng)等。國內(nèi)其他非互聯(lián)網(wǎng)領域也有不少 hadoop 的應用，比如：金融行業(yè)的個人征信分析，證券行業(yè)的投資模型分析，還有交通行業(yè)的車輛、路況監(jiān)控分析和電信行業(yè)的用戶上網(wǎng)行為分析 。

以上就是Hadoop的入門基礎有哪些，小編相信有部分知識點可能是我們?nèi)粘９ぷ鲿姷交蛴玫降摹ＯＭ隳芡ㄟ^這篇文章學到更多知識。更多詳情敬請關注創(chuàng)新互聯(lián)-成都網(wǎng)站建設公司行業(yè)資訊頻道。

文章題目：Hadoop的入門基礎有哪些-創(chuàng)新互聯(lián)
網(wǎng)頁網(wǎng)址：http://m.rwnh.cn/article22/dsdjjc.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁設計公司、網(wǎng)站內(nèi)鏈、網(wǎng)站建設、云服務器、品牌網(wǎng)站制作、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)