Object Storage Service:EMR 以外のクラスターから OSS-HDFS サービスに接続するためのクイックスタート

操作手順

1. ECS インスタンスに接続します。詳細については、「ECS インスタンスへの接続」をご参照ください。

2. JindoSDK JAR パッケージをダウンロードして解凍します。 ダウンロードリンクについては、GitHub をご参照ください。

3. 次のコマンドを実行して、JindoSDK JAR パッケージを解凍します。

   次の例では、jindosdk-x.x.x-linux.tar.gz を解凍する方法を示します。 異なるバージョンの JindoSDK を使用する場合は、JAR パッケージ名を実際のパッケージ名に置き換えてください。

   tar zxvf jindosdk-x.x.x-linux.tar.gz

   説明

   x.x.x は JindoSDK JAR パッケージのバージョン番号を示します。

4. 環境変数を設定します。

   1. JINDOSDK_HOME を設定します。

      この例では、パッケージは /usr/lib/jindosdk-x.x.x-linux ディレクトリに解凍されます。

      export JINDOSDK_HOME=/usr/lib/jindosdk-x.x.x-linux

   2. HADOOP_CLASSPATH を設定します。

      export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:${JINDOSDK_HOME}/lib/*

      重要

      インストールディレクトリをデプロイし、必要なすべてのノードで環境変数を設定します。

5. OSS-HDFS サービスの実装クラスと AccessKey を設定します。

   1. 次のコマンドを実行して、Hadoop の core-site.xml 設定ファイルを開きます。

      vim /usr/local/hadoop/etc/hadoop/core-site.xml

   2. core-site.xml ファイルで、JindoSDK DLS 実装クラスを設定します。

      <configuration>
          <property>
              <name>fs.AbstractFileSystem.oss.impl</name>
              <value>com.aliyun.jindodata.oss.JindoOSS</value>
          </property>
      
          <property>
              <name>fs.oss.impl</name>
              <value>com.aliyun.jindodata.oss.JindoOssFileSystem</value>
          </property>
      </configuration>

   3. core-site.xml ファイルで、ご利用の Alibaba Cloud アカウントまたは必要な権限を持つ RAM ユーザーの AccessKey ペアを設定します。

      このシナリオで RAM ユーザーに必要な権限の詳細については、「EMR 以外のクラスターから OSS-HDFS サービスに接続するための権限を RAM ユーザーに付与」をご参照ください。

      <configuration>
          <property>
              <name>fs.oss.accessKeyId</name>
              <value>xxx</value>
          </property>
      
          <property>
              <name>fs.oss.accessKeySecret</name>
              <value>xxx</value>
          </property>
      </configuration>

6. OSS-HDFS サービスのエンドポイントを設定します。

   OSS バケットにアクセスするには、エンドポイントを設定する必要があります。 次のパス形式を使用します：oss://<Bucket>.<Endpoint>/<Object>。 例：oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/exampleobject.txt。 JindoSDK は、アクセスパス内のエンドポイントを使用して、対応する OSS-HDFS サービスの API にアクセスします。

7. HDFS シェルコマンドを使用して、OSS-HDFS サービスで一般的な操作を実行します。

   • ファイルのアップロード

     次の例は、ローカルのルートディレクトリから examplebucket に examplefile.txt ファイルをアップロードする方法を示しています。

     hdfs dfs -put examplefile.txt oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/

   • ファイルのダウンロード

     次の例は、examplebucket からローカルの /tmp ディレクトリに exampleobject.txt ファイルをダウンロードする方法を示しています。

     hdfs dfs -get oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/exampleobject.txt  /tmp/

   その他の操作の詳細については、「Hadoop シェルコマンドを使用した OSS-HDFS サービスへのアクセス」をご参照ください。