因為某些原因所以必須在主機上安裝Hadoop的環境,可是我又懶的抓檔案下來慢慢安裝...所以就找了apt的方式

開始安裝:

  1. 1.確認來源庫是否有non-free來源
    #sudo echo "deb http://free.nchc.org.tw/debian squeeze non-free" >> /etc/apt/sources.list
  2. 加入來源
    #sudo echo "deb http://www.classcloud.org unstable main" > /etc/apt/sources.list.d/hadoop.list
    #sudo apt-get update
    #sudo apt-get install hadoop
  3. 更改hdfsadm密碼
    #sudo passwd hdfsadm

其實這樣就已經安裝完成了

如何啟動:

  1. 1.登入身份
    #sudo su hdfsadm -
  2. 2.啟動hadoop
    #/opt/hadoop/bin/start-all.sh
  3. 3.關閉hadoop
    #/opt/hadoop/bin/stop-all.sh

測試執行:

  1. 丟檔案到HDFS
    #/opt/hadoop/bin/hadoop fs -put /opt/hadoop/conf input
  2. 測試執行
    #/opt/hadoop/bin/hadoop jar hadoop-*-examples.jar wordcount input wc_output

 

Note:

  1. 為求執行上方便起見,把 Hadoop 放在 /opt 目錄下,而不放在 /usr/share 底下。
  2. Hadoop 的 conf 目錄是重要的設定檔,依 Debian 檔案架構規範,移至 /etc/hadoop
  3. Hadoop 的 docs 裡面多半是 PDF 與 HTML 檔案, src 目錄為原始碼。兩者檔案都蠻大的。與執行階段無關,故另外打包成 hadoop-doc 與 hadoop-src 兩個套件。
  4. 新增 hdfsadm 帳號來執行 HDFS ,以 hdfsadm 為 supergroup 的最大權限擁有者。可方便後續管理上新增其他帳號使用者建立預設目錄,設定讀寫權限上的便利性。(使用 root 總是限制比較多,且有安全上的考量)
  5. 協助 hdfsadm ssh key 的產生與交換。並設定 conf 裡的 hadoop-site.xml 與 hadoop-env.sh 方便啟動 HDFS。
  6. Hadoop 的 logs 目錄是重要的設定檔,依 Debian 檔案架構規範,移至 /var/log/hadoop

 

links: http://www.hadoop.tw/2009/03/-hadoop-0183-debian-ubuntu.html

創作者介紹

Amin's Note

Aminzai 發表在 痞客邦 PIXNET 留言(0) 人氣()