close
因為某些原因所以必須在主機上安裝Hadoop的環境,可是我又懶的抓檔案下來慢慢安裝...所以就找了apt的方式
開始安裝:
- 1.確認來源庫是否有non-free來源
#sudo echo "deb http://free.nchc.org.tw/debian squeeze non-free" >> /etc/apt/sources.list - 加入來源
#sudo echo "deb http://www.classcloud.org unstable main" > /etc/apt/sources.list.d/hadoop.list
#sudo apt-get update
#sudo apt-get install hadoop - 更改hdfsadm密碼
#sudo passwd hdfsadm
其實這樣就已經安裝完成了
如何啟動:
- 1.登入身份
#sudo su hdfsadm - - 2.啟動hadoop
#/opt/hadoop/bin/start-all.sh - 3.關閉hadoop
#/opt/hadoop/bin/stop-all.sh
測試執行:
- 丟檔案到HDFS
#/opt/hadoop/bin/hadoop fs -put /opt/hadoop/conf input - 測試執行
#/opt/hadoop/bin/hadoop jar hadoop-*-examples.jar wordcount input wc_output
Note:
- 為求執行上方便起見,把 Hadoop 放在 /opt 目錄下,而不放在 /usr/share 底下。
- Hadoop 的 conf 目錄是重要的設定檔,依 Debian 檔案架構規範,移至 /etc/hadoop
- Hadoop 的 docs 裡面多半是 PDF 與 HTML 檔案, src 目錄為原始碼。兩者檔案都蠻大的。與執行階段無關,故另外打包成 hadoop-doc 與 hadoop-src 兩個套件。
- 新增 hdfsadm 帳號來執行 HDFS ,以 hdfsadm 為 supergroup 的最大權限擁有者。可方便後續管理上新增其他帳號使用者建立預設目錄,設定讀寫權限上的便利性。(使用 root 總是限制比較多,且有安全上的考量)
- 協助 hdfsadm ssh key 的產生與交換。並設定 conf 裡的 hadoop-site.xml 與 hadoop-env.sh 方便啟動 HDFS。
- Hadoop 的 logs 目錄是重要的設定檔,依 Debian 檔案架構規範,移至 /var/log/hadoop
links: http://www.hadoop.tw/2009/03/-hadoop-0183-debian-ubuntu.html
全站熱搜