Object Storage Service:JindoSDKとImpalaを使用して、OSS-HDFSに格納されたデータを照会する

手順

1. ECS インスタンスに接続します。 詳細については、「インスタンスへの接続」をご参照ください。

2. JindoSDKを設定します。

   1. JindoSDK JARパッケージの最新バージョンをダウンロードします。 詳細については、『GitHub』をご参照ください。

   2. JindoSDK JARパッケージを解凍します。

      次のサンプルコードは、jindosdk-x.x.x-linux.tar.gzという名前のパッケージを解凍する方法の例を示しています。 別のバージョンのJindoSDKを使用する場合は、パッケージ名を対応するJARパッケージの名前に置き換えます。

      tar zxvf jindosdk-x.x.x-linux.tar.gz

      説明

      x.x.xは、JindoSDK JARパッケージのバージョン番号を示します。

   3. オプション: Kerberos関連およびSASL関連の依存関係が環境に含まれていない場合は、JindoSDKがデプロイされているすべてのノードに次の依存関係をインストールします。

      • UbuntuまたはDebian

        sudo apt-getインストールlibkrb5-dev krb5-admin-server krb5-kdc krb5-user libsasl2-dev libsasl2-modules libsasl2-modules-gssapi-mit

      • Red Hat Enterprise LinuxまたはCentOS

        sudo yum install krb5-server krb5-workstation cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain

      • macOS

        brew install krb5

   4. ダウンロードしたJindoSDK JARパッケージをクラスパスで指定されたパスにコピーします。

      cp jindosdk-x.x.x-linux/lib/*.jar $HIVE_HOME/lib/

3. バケットの実装クラスを設定し、OSS-HDFSへのアクセスに使用するAccessKeyペアを指定します。

   1. Impalaのcore-site.xmlファイルでOSS-HDFSの実装クラスを設定します。

      <configuration>
          <property>
              <name>fs.AbstractFileSystem.oss.impl</name>
              <value>com.aliyun.jindodata.oss.JindoOSS</value>
          </property>
      
          <property>
              <name>fs.oss.impl</name>
              <value>com.aliyun.jindodata.oss.JindoOssFileSystem</value>
          </property>
      </configuration> 

   2. では、core-site.xmlファイルには、OSS-HDFSが有効になっているバケットへのアクセスに使用するAccessKey IDとAccessKeyシークレットを指定します。

      <configuration>
          <property>
              <name>fs.oss.accessKeyId</name>
              <value>LTAI ******** </value>
          </property>
      
          <property>
              <name>fs.oss.accessKeySecret</name>
              <value>KZo1 ********</value>
          </property>
      </configuration> 

4. OSS-HDFSのエンドポイントを設定します。

   OSS-HDFSを使用してObject Storage Service (OSS) のバケットにアクセスする場合は、OSS-HDFSのエンドポイントを指定する必要があります。 OSS-HDFSへのアクセスに使用されるパスをoss://<Bucket>.<Endpoint>/<Object> 形式で設定することを推奨します。 例: oss:// examplebucket.cn-shanghai.oss-dls.aliyuncs.com/exampleobject.txt アクセスパスを設定した後、JindoSDKはアクセスパスで指定されたエンドポイントに基づいて対応するOSS-HDFS操作を呼び出します。

   他の方法を使用してOSS-HDFSのエンドポイントを設定することもできます。 異なる方法を使用して構成されたエンドポイントの優先度は異なります。 詳細については、「付録1: OSS-HDFSのエンドポイントの設定に使用されるその他の方法」をご参照ください。

5. Impalaを使用して、OSS-HDFSに保存されたデータを照会します。

   1. テーブルを作成します。

      外部テーブルの作成customer_demographics ()
       'cd_demo_sk 'INT、
       'cd_gender' ストリング、
       'cd_marital_status 'ストリング、
       'cd_education_status 'ストリング、
       'cd_purchase_estimate 'INT、
       'cd_credit_rating 'ストリング、
       'cd_dep_count 'INT、
       'cd_dep_employed_count 'INT、
       'cd_dep_college_count 'INT)
      PARQUETとして保存
      LOCATION 'oss:// bucket.endpoint/dir'; 

   2. テーブル内のデータを照会します。

      select * from customer_demographics;