クイックスタート：EMR クラスターを OSS-HDFS に接続する - Object Storage Service

OSS-HDFS は、特定のバージョンの Alibaba Cloud E-MapReduce (EMR) クラスターに統合されています。本トピックでは、EMR クラスターを OSS-HDFS に接続し、一般的な操作を実行する方法について説明します。

説明

セルフマネージド Hadoop クラスターを使用する場合は、非 EMR クラスターを OSS-HDFS に接続するのと同じ方法で、セルフマネージド Hadoop クラスターを OSS-HDFS に接続してください。詳細については、「クイックスタート：非 EMR クラスターを OSS-HDFS サービスに接続する」をご参照ください。

前提条件

バケットに対して OSS-HDFS が有効化されており、OSS-HDFS へのアクセス権限が RAM ロールに付与されている必要があります。詳細については、「OSS-HDFS の有効化とアクセス権限の付与」をご参照ください。
Alibaba Cloud アカウント (root ユーザー) は、デフォルトで EMR クラスターを OSS-HDFS に接続し、OSS-HDFS 関連の一般的な操作を実行する権限を持っています。必要な権限が付与された RAM ユーザーが作成されています。RAM ユーザーを使用して EMR クラスターを OSS-HDFS に接続する場合は、その RAM ユーザーに必要な権限が付与されている必要があります。詳細については、「RAM ユーザーに EMR クラスターを OSS-HDFS に接続する権限を付与する」をご参照ください。

操作手順

E-MapReduce コンソールにログインします。左側のナビゲーションウィンドウで、EMR on ECS をクリックして EMR クラスターを作成します。

EMR クラスターを作成する際は、Product Version が EMR-3.46.2 以降または EMR-5.12.2 以降であること、および クラスターストレージのルートパス が OSS-HDFS が有効化されたバケットに設定されていることを確認してください。その他のパラメーターはデフォルト値を使用します。詳細については、「クラスターの作成」をご参照ください。
EMR クラスターにログインします。
1. 作成した EMR クラスターをクリックします。
2. Nodes タブをクリックし、ノードグループの左側にあるアイコンをクリックします。
3. ECS ID をクリックします。ECS インスタンスページで、インスタンス ID の横にある接続をクリックし、デフォルトの方法（ワークベンチ）を選択してインスタンスにログインします。
  
  SSH キーペアまたは SSH パスワードを使用して Windows または Linux クラスターにログインする方法の詳細については、「クラスターへの接続」をご参照ください。
HDFS Shell コマンドを実行して、OSS-HDFS 関連の一般的な操作を行います。
- ローカルファイルのアップロード
  ローカルルートディレクトリにある examplefile.txt という名前のローカルファイルを examplebucket という名前のバケットにアップロードするには、次のコマンドを実行します。
```
hdfs dfs -put examplefile.txt oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/
```
- オブジェクトのダウンロード
  examplebucket という名前のバケットから exampleobject.txt という名前のオブジェクトを、ご利用のコンピューター上の /tmp という名前のルートディレクトリにダウンロードするには、次のコマンドを実行します。
```
hdfs dfs -get oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/exampleobject.txt  /tmp/
```
詳細については、「Hadoop Shell コマンドを使用した OSS-HDFS へのアクセス」をご参照ください。