這篇文章主要講解了“hadoop分布式集群的搭建過程”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“hadoop分布式集群的搭建過程”吧！

目前創(chuàng)新互聯(lián)公司已為成百上千家的企業(yè)提供了網(wǎng)站建設(shè)、域名、虛擬空間、網(wǎng)站運營、企業(yè)網(wǎng)站設(shè)計、連平網(wǎng)站維護等服務(wù)，公司將堅持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。

hadoop分布式集群搭建：

1. 集群規(guī)劃：

2.具體步驟：

（1）上傳安裝包，并解壓到相關(guān)目錄：

[hadoop@hadoop01 home]$ put c:/hadoop-2.6.5-centos-6.7.tar.gz
[hadoop@hadoop01 home]$tar -zxvf hadoop-2.6.5-centos-6.7.tar.gz -C /home/hadoop/apps

（2）修改配置文件：

[hadoop@hadoop01 home]$ cd /home/hadoop/apps/hadoop-2.6.5/hadoop/etc
這里需要修改6個配置文件：
hadoop-env.sh：
加入：export JAVA_HOME=/usr/java/jdk1.8.0_73

---

core-site.xml：

<property>
 <name>fs.defaultFS</name>
 <value>hdfs://hadoop01:9000</value>
</property>
<property>
 <name>hadoop.tmp.dir</name>
 <value>/home/hadoop/hadoopdata</value>
</property>

hdfs-site.xml：

<property>
 <name>dfs.namenode.name.dir</name>
 <value>/home/hadoop/hadoopdata/name</value>
<description>為了保證元數(shù)據(jù)的安全一般配置多個不同目錄</description>
</property>
<property>
 <name>dfs.datanode.data.dir</name>
 <value>/home/hadoop/hadoopdata/data</value>
<description>datanode 的數(shù)據(jù)存儲目錄</description>
</property>
<property>
<name>dfs.replication</name>
 <value>2</value>
<description>HDFS 的數(shù)據(jù)塊的副本存儲個數(shù)</description>
</property>
<property>
 <name>dfs.secondary.http.address</name>
 <value>hadoop02:50090</value>
<description>secondarynamenode 運行節(jié)點的信息，和 namenode 不同節(jié)點</description>
</property>

mapred-site.xml：

<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>

yarn-site.xml：

<property>
 <name>yarn.resourcemanager.hostname</name>
 <value>hadoop03</value>
</property>
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
<description>YARN 集群為 MapReduce 程序提供的 shuffle 服務(wù)</description>
</property>

slaves：

 hadoop01
 hadoop02
 hadoop03

（3）分發(fā)安裝包到各個節(jié)點，Hadoop 集群的每個節(jié)點都需要安裝 Hadoop 安裝包：

[hadoop@hadoop01 etc]$scp -r hadoop-2.6.5 hadoop02:$PWD
[hadoop@hadoop01 etc]$scp -r hadoop-2.6.5 hadoop03:$PWD

（4）配置hadoop的環(huán)境變量

[hadoop@hadoop01 etc]$sudo vim /etc/profile:
加入：
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.5/
export  PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
[hadoop@hadoop01 etc]$source /etc/profile

（5）在 HDFS 主節(jié)點上執(zhí)行命令進行初始化 namenode

[hadoop@hadoop01 etc]$hadoop namenode -format

（6）在 HDFS 上的主節(jié)點啟動 HDFS

[hadoop@hadoop01 etc]$start-dfs.sh

（7）在 HDFS 上的主節(jié)點啟動 YARN

[hadoop@hadoop01 etc]$sbin/start-yarn.sh

補充：
hdfs的web界面是： http://hadoop01:50070
yarn的web界面是： http://hadoop03:8088
查看集群的狀態(tài)：hdfs dfsadmin -report
1、啟動 namenode 或者 datenode
sbin/hadoop-daemon.sh start datanode
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start secondarynamenode
2、啟動 yarn nodemanager
sbin/yarn-daemon.sh start nodemanager
sbin/yarn-daemon.sh start resourcemanager

感謝各位的閱讀，以上就是“hadoop分布式集群的搭建過程”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對hadoop分布式集群的搭建過程這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識點的文章，歡迎關(guān)注！

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)站名稱：hadoop分布式集群的搭建過程-創(chuàng)新互聯(lián)
本文鏈接：http://m.rwnh.cn/article14/dddede.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供全網(wǎng)營銷推廣、用戶體驗、品牌網(wǎng)站設(shè)計、網(wǎng)站設(shè)計、面包屑導(dǎo)航、微信公眾號

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)