OSS-HDFS は、特定バージョンの Alibaba Cloud E-MapReduce (EMR) クラスターに統合されています。このトピックでは、EMR クラスターを OSS-HDFS に接続し、一般的な操作を実行する方法について説明します。
セルフマネージド Hadoop クラスターを使用する場合は、EMR 以外のクラスターを OSS-HDFS に接続する場合と同じ方法で、セルフマネージド Hadoop クラスターを OSS-HDFS に接続します。詳細については、「クイックスタート:EMR 以外のクラスターを OSS-HDFS サービスに接続する」をご参照ください。
前提条件
バケットで OSS-HDFS を有効化し、OSS-HDFS にアクセスするための権限を RAM ロールに付与していること。詳細については、「OSS-HDFS を有効化し、アクセス権限を付与する」をご参照ください。
デフォルトでは、Alibaba Cloud アカウントには、EMR クラスターを OSS-HDFS に接続し、OSS-HDFS に関連する一般的な操作を実行するための権限があります。必要な権限が付与された RAM ユーザーを作成していること。RAM ユーザーを使用して EMR クラスターを OSS-HDFS に接続する場合、その RAM ユーザーには必要な権限が必要です。詳細については、「EMR クラスターを OSS-HDFS に接続するための権限を RAM ユーザーに付与する」をご参照ください。
操作手順
E-MapReduce コンソールにログインします。左側のナビゲーションウィンドウで、EMR on ECS をクリックし、EMR クラスターを作成します。
EMR クラスターを作成する際は、Product Version が EMR-3.46.2 以降または EMR-5.12.2 以降で、クラスターストレージのルートパス が OSS-HDFS が有効なバケットに設定されていることを確認してください。 その他のパラメーターにはデフォルトを使用します。 詳細については、「クラスターの作成」をご参照ください。
EMR クラスターにログインします。
作成した EMR クラスターをクリックします。
Nodes タブをクリックし、ノードグループの左側にある
アイコンをクリックします。ECS ID をクリックします。ECS インスタンスページで、インスタンス ID の横にある接続をクリックし、デフォルトの方法 (Workbench) を選択してインスタンスにログオンします。
SSH キーペアまたは SSH パスワードを使用して Windows または Linux からクラスターにログインする方法の詳細については、「クラスターに接続する」をご参照ください。
HDFS Shell コマンドを実行し、OSS-HDFS に関連する一般的な操作を実行します。
ローカルファイルのアップロード
次のコマンドを実行して、ローカルのルートディレクトリにある examplefile.txt という名前のローカルファイルを、examplebucket という名前のバケットにアップロードします:
hdfs dfs -put examplefile.txt oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/オブジェクトのダウンロード
次のコマンドを実行して、examplebucket という名前のバケットから exampleobject.txt という名前のオブジェクトを、お使いのコンピューター上の /tmp という名前のディレクトリにダウンロードします:
hdfs dfs -get oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/exampleobject.txt /tmp/
詳細については、「Hadoop Shell コマンドを使用して OSS-HDFS にアクセスする」をご参照ください。