建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)和大家一起學(xué)習(xí)一下Linux下安裝Hadoop教程，在學(xué)習(xí)Hadoop的過程中，你可能會(huì)遇到Hadoop安裝問題，這里介紹一下Linux下安裝Hadoop方法，希望通過本節(jié)的介紹大家能夠掌握如何安裝Hadoop。
創(chuàng)新互聯(lián)公司專注于網(wǎng)站建設(shè)|成都企業(yè)網(wǎng)站維護(hù)|優(yōu)化|托管以及網(wǎng)絡(luò)推廣，積累了大量的網(wǎng)站設(shè)計(jì)與制作經(jīng)驗(yàn)，為許多企業(yè)提供了網(wǎng)站定制設(shè)計(jì)服務(wù)，案例作品覆蓋成都發(fā)電機(jī)租賃等行業(yè)。能根據(jù)企業(yè)所處的行業(yè)與銷售的產(chǎn)品，結(jié)合品牌形象的塑造，量身定制品質(zhì)網(wǎng)站。
Linux下安裝Hadoop教程
目的：此安裝Hadoop教程旨在引導(dǎo)未接觸Hadoop的新手入門只用，高手請(qǐng)飄過。
環(huán)境：Fedora12
Kernel2.6.31.5-127.fc12.i686.PAE
Hadoop-0.20.2
jdk-6u18-linux-i586
初學(xué)者可以選擇三臺(tái)實(shí)體機(jī)子做實(shí)驗(yàn)，一臺(tái)做NameNode，JobTracker，另外兩臺(tái)做DataNode，TaskTracker。
本安裝Hadoop教程里就用的三臺(tái)機(jī)子做演示。
station1192.168.128.11NameNode
station2192.168.128.22DataNode
station3192.168.128.33DataNode
1、Fedora的安裝就不用演示了，裝好后默認(rèn)是啟動(dòng)sshd服務(wù)的。
不確定的話可以手工查一下
[root@station1~]#servicesshdstatus
如果沒有啟動(dòng)，可以手工啟動(dòng)
[root@station1~]#servicesshdstart
2、建立ssh無密碼登錄
在NameNode上
[cuijj@station1~]$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
會(huì)在~/.ssh/生成兩個(gè)文件：id_dsa和id_dsa.pub。這兩個(gè)是成對(duì)出現(xiàn)的。
把id_dsa.pub文件追加到DataNode上的authorized_keys(默認(rèn)是沒有這個(gè)文件的)內(nèi)。
[cuijj@station1~][email protected]:/home/cuijj/
登錄到192.168.128.22上（另一臺(tái)DataNode一樣）
[cuijj@station1~]$catid_dsa.pub>>~/.ssh/authorized_keys
3、關(guān)閉防火墻
[root@station1~]#serviceiptablesstop
4、安裝jdk1.6(確保幾臺(tái)機(jī)子的java環(huán)境一樣)
到官網(wǎng)http://java.sun.com下載jdk-6u18-linux-i586.bin，下載后，直接安裝。本安裝Hadoop教程的安裝路徑為/home/cuijj/jdk1.6.0_18。安裝后添加如下語句到/ect/profile中：
exportJAVA_HOME=/home/cuijj/jdk1.6.0_18
exportJRE_HOME=/home/cuijj/jdk1.6.0_18/jre
exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
5、安裝hadoop
到官網(wǎng)下載hadoop-0.20.2.tar.gz
[cuijj@station1~]$tarxzvfhadoop-0.20.2.tar.gz
把Hadoop的安裝路徑添加到/etc/profile中
exportHADOOP_HOME=/home/cuijj/hadoop-0.20.2
exportPATH=$HADOOP_HOME/bin:$PATH
為了讓/etc/profile生效，source一下
[cuijj@station1~]$source/etc/profile
6、配置hadoop
安裝Hadoop教程介紹一下如何配置Hadoop。hadoop的配置文件在/conf目錄下
1）配置Java環(huán)境
[cuijj@station1~]$vimhadoop-0.20.2/conf/hadoop-env.sh
exportJAVA_HOME=/home/cuijj/jdk1.6.0_18
2）配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件
[cuijj@station1~]$vimhadoop-0.20.2/conf/core-site.xml
[cuijj@station1~]$vimhadoop-0.20.2/conf/mapred-site.xml
[cuijj@station1~]$vimhadoop-0.20.2/conf/hdfs-site.xml
3）將NameNode上拷貝完整的hadoop到DataNode上
4）配置NameNode上的conf/masters和conf/slaves
masters:
192.168.128.11
slaves:
192.168.128.22
192.168.128.33
7、運(yùn)行hadoop
1）格式化文件系統(tǒng)
[[email protected]]$hadoopnamenode-format
2）啟動(dòng)Hadoop
[[email protected]]$bin/start-all.sh
3）用jps命令查看進(jìn)程，NameNode上的結(jié)果如下：
4）查看集群狀態(tài)
[[email protected]]$hadoopdfsadmin-report
5）用hadoop的web方式查看
[[email protected]]$linkshttp://192.168.128.11:50070
8、運(yùn)行wordcount.java程序
1）先在本地磁盤建立兩個(gè)文件file01和file02
[cuijj@station1~]$echo"Hellocuijjbyecuijj">file01
[cuijj@station1~]$echo"HelloHadoopGoodbyeHadoop">file02
2）在hdfs中建立一個(gè)input目錄
[cuijj@station1~]$hadoopdfs-mkdirinput
3）將file01和file02拷貝到hdfs的input目錄下
[cuijj@station1~]$hadoopdfs-copyFromLocal/home/cuijj/file0*input
4）查看hdfs中有沒有input目錄
[cuijj@station1~]$hadoopdfs-ls
5）查看input目錄下有沒有復(fù)制成功file01和file02
6）執(zhí)行wordcount（確保hdfs上沒有output目錄）
[[email protected]]$hadoopjarhadoop-0.20.2-examples.jarwordcountinputoutput
7）運(yùn)行完成，查看結(jié)果
本安裝Hadoop教程到此結(jié)束，謝謝關(guān)注。
【編輯推薦】
- 如何進(jìn)行Hadoop安裝部署？
- Hadoop安裝部署簡(jiǎn)明步驟詳解
- 學(xué)習(xí)筆記 Hadoop是什么?
- 深入剖析Hadoop HBase
- Hadoop配置指導(dǎo)手冊(cè)
網(wǎng)站題目：專家推薦 Linux下安裝Hadoop教程新手必備
網(wǎng)站路徑：http://www.fisionsoft.com.cn/article/ccieecc.html
