hadoop3 禁用ec

在Hadoop的Wiki頁面上放置了一個舊教程： http : //wiki.apache.org/hadoop/AmazonEC2 ，但是最近我不得不遵循本教程，并且我注意到它沒有涵蓋某些Amazon新功能。

建議您已經(jīng)熟悉Hadoop的基礎(chǔ)來學(xué)習(xí)本教程，可以在Hadoop的主頁http://hadoop.apache.org/上找到非常有用的“如何開始”教程。 另外，您必須至少熟悉Amazon EC2內(nèi)部和實例定義。

當(dāng)您在Amazon AWS上注冊帳戶時，您可以運(yùn)行750小時
t1.micro實例，但不幸的是，您無法在此類計算機(jī)上成功運(yùn)行Hadoop。

在以下步驟中，當(dāng)命令以$開頭時，意味著它應(yīng)該在本地計算機(jī)中執(zhí)行，而在＃EC2實例中以＃命令執(zhí)行。

創(chuàng)建一個X.509證書

由于我們將使用ec2-tools，因此我們在AWS的帳戶需要有效的X.509證書：

• • 創(chuàng)建.ec2文件夾：

$ mkdir ~/.ec2

• • 在AWS上登錄
    • 選擇“安全憑證”，然后在“訪問憑證”上單擊“ X.509證書”；
    • 您有兩種選擇：
      • 使用命令行創(chuàng)建證書：

$ cd ~/.ec2; openssl genrsa -des3 -out my-pk.pem 2048$ openssl rsa -in my-pk.pem -out my-pk-unencrypt.pem$ openssl req -new -x509 -key my-pk.pem -out my-cert.pem -days 1095

• • • • 僅在您的機(jī)器日期確定的情況下才有效。
    • 使用該站點(diǎn)創(chuàng)建證書并下載私鑰（請記住將其放在?/ .ec2中）。

設(shè)置Amazon EC2-Tools

• • 下載并解壓縮ec2-tools；
  • 編輯?/ .profile以導(dǎo)出ec2-tools所需的所有變量，因此您不必在每次打開提示時都這樣做：
    • 以下是應(yīng)附加到?/ .profile文件的示例：
      • 導(dǎo)出JAVA_HOME = / usr / lib / jvm / java-6-sun
      • 出口EC2_HOME =?/ ec2-api-tools- *
      • 導(dǎo)出PATH = $ PATH：$ EC2_HOME / bin
      • 出口EC2_CERT =?/ .ec2 / my-cert.pem
    • 要訪問實例，您需要進(jìn)行身份驗證（出于安全方面的明顯原因），通過這種方式，您必須創(chuàng)建密鑰對（公共密鑰和私有密鑰）：
      • 在https://console.aws.amazon.com/ec2/home上，單擊“密鑰對”，或
      • 您可以運(yùn)行以下命令：

$ ec2-add-keypair my-keypair | grep –v KEYPAIR > ~/.ec2/id_rsa-keypair$ chmod 600 ~/.ec2/id_rsa-keypair

設(shè)置Hadoop

下載并解壓縮Hadoop后，您必須編輯src / contrib / ec2 / bin / hadoop-ec2-env.sh上的EC2配置腳本。

• AWS變量
  • 這些變量與您的AWS賬戶（AWS_ACCOUNT_ID，AWS_ACCESS_KEY_ID，AWS_SECRET_ACCESS_KEY）相關(guān)，可以在您的賬戶登錄時在“安全憑證”中找到。

• 安全變量
  • 安全變量（EC2_KEYDIR，KEY_NAME，PRIVATE_KEY_PATH）是與EC2實例的啟動和訪問有關(guān)的變量。

• • 選擇一個AMI
    • 根據(jù)要運(yùn)行的Hadoop版本（HADOOP_VERSION）和實例類型（INSTANCE_TYPE），應(yīng)使用正確的映像來部署實例：
    • 您可以使用許多公共AMI圖像（它們必須滿足大多數(shù)用戶的需求）來列出，鍵入

$ ec2-describe-images -x all | grep hadoop

• • 或者，您可以構(gòu)建自己的映像，然后將其上傳到Amazon S3存儲桶；
  • 選擇了將要使用的AMI之后，基本上可以在hadoop-ec2-env.sh上編輯三個變量：
    • S3_BUCKET：將要使用的圖像（例如hadoop-images）放置在存儲桶中，
    • ARCH：您選擇的AMI映像（i386或x84_64）的體系結(jié)構(gòu)，以及
    • BASE_AMI_IMAGE：映射AMI圖像的唯一代碼，例如ami-2b5fba42。
  • 其他可配置變量是JAVA_VERSION，您可以在其中定義將與實例一起安裝的版本：
    • 您還可以提供二進(jìn)制文件所在的鏈接（JAVA_BINARY_URL），例如，如果您具有JAVA_VERSION = 1.6.0_29，則可以使用JAVA_BINARY_URL = http：//download.oracle.com/otn-pub/java/ jdk / 6u29-b11 / jdk-6u29-linux-i586.bin。

跑步！

• • 您可以將src / contrib / ec2 / bin的內(nèi)容添加到PATH變量中，以便能夠從打開提示的位置運(yùn)行獨(dú)立的命令；
  • 要啟動EC2集群并啟動Hadoop，請使用以下命令。 參數(shù)是集群名稱（hadoop-test）和從站數(shù)（2）。 群集啟動時，公共DNS名稱將被打印到控制臺。

$ hadoop-ec2 launch-cluster hadoop-test 2

• • 要從“集群”登錄主節(jié)點(diǎn)，請輸入：

$ hadoop-ec2 login hadoop-test

• • 登錄到主節(jié)點(diǎn)后，便可以開始作業(yè)：
    • 例如，要測試您的集群，您可以運(yùn)行hadoop * -examples.jar已提供的pi計算：

# cd /usr/local/hadoop-*# bin/hadoop jar hadoop-*-examples.jar pi 10 10000000

• • 您可以通過http：// MASTER_HOST：50030 /查看工作進(jìn)度。 其中MASTER_HOST是群集啟動后返回的主機(jī)名。
  • 工作完成后，群集仍處于活動狀態(tài)。 要關(guān)閉，請使用以下命令：

$ hadoop-ec2 terminate-cluster hadoop-test

• • 請記住，在Amazon EC2中，實例是按小時收費(fèi)的，因此，如果您只想進(jìn)行測試，則可以在集群上再玩幾分鐘。

參考： Hadoop + Amazon EC2 –我們的JCG合作伙伴 Rodrigo Duarte在Thinking Bigger博客上的更新教程 。

翻譯自: https://www.javacodegeeks.com/2012/11/hadoop-amazon-ec2-an-updated-tutorial.html

hadoop3 禁用ec

總結(jié)

以上是生活随笔為你收集整理的hadoop3 禁用ec_Hadoop + Amazon EC2 –更新的教程的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。