如何使用ImpalaJindoSDK查詢OSS-HDFS服務中的資料 - Object Storage Service

JindoSDK是一個面向Hadoop、Spark生態且簡單易用的OSS用戶端，為OSS提供高度最佳化的Hadoop FileSystem實現。相對於Hadoop社區OSS用戶端，Impala使用JindoSDK查詢OSS-HDFS服務中的資料時，可以獲得更好的效能。

前提條件

阿里雲帳號預設擁有通過非EMR叢集的方式接入OSS-HDFS服務並執行常見操作的許可權。如果您希望通過RAM使用者接入OSS-HDFS服務，RAM使用者需要具備對應的許可權要求，詳情請參見授權RAM使用者通過非EMR叢集接入OSS-HDFS服務。
以部署環境為阿里雲ECS為例，需要選購ECS執行個體。
已建立Hadoop環境。具體步驟，請參見建立Hadoop運行環境。
已為Bucket開通並授權訪問OSS-HDFS服務。具體操作，請參見開通OSS-HDFS服務。

操作步驟

串連ECS執行個體。具體操作，請參見串連ECS執行個體。
配置JindoSDK。
1. 下載最新版本的JindoSDK JAR包。下載地址，請參見GitHub。
2. 解壓JindoSDK JAR包。
  以下以解壓jindosdk-x.x.x-linux.tar.gz為例，如使用其他版本的JindoSDK，請替換為對應的JAR包名稱。
```
tar zxvf jindosdk-x.x.x-linux.tar.gz
```
  說明
  x.x.x表示JindoSDK JAR包版本號碼。
3. 將已下載的JindoSDK JAR包拷貝至Impala的classpath路徑下。
```
cp jindosdk-x.x.x-linux/lib/*.jar  $HIVE_HOME/lib/
```

配置OSS-HDFS服務實作類別及AccessKey。

將OSS-HDFS服務實作類別配置到Impala的core-site.xml檔案中。

<configuration>
    <property>
        <name>fs.AbstractFileSystem.oss.impl</name>
        <value>com.aliyun.jindodata.oss.JindoOSS</value>
    </property>

    <property>
        <name>fs.oss.impl</name>
        <value>com.aliyun.jindodata.oss.JindoOssFileSystem</value>
    </property>
</configuration>

將已開啟OSS-HDFS服務的Bucket對應的AccessKey ID、AccessKey Secret預先配置在Impala的core-site.xml檔案中。

<configuration>
    <property>
        <name>fs.oss.accessKeyId</name>
        <value>LTAI********</value>
    </property>

    <property>
        <name>fs.oss.accessKeySecret</name>
        <value>KZo1********</value>
    </property>
</configuration>

配置OSS-HDFS服務Endpoint。
使用OSS-HDFS服務訪問OSS Bucket時需要配置Endpoint。推薦訪問路徑格式為oss://<Bucket>.<Endpoint>/<Object>，例如oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/exampleobject.txt。配置完成後，JindoSDK會根據訪問路徑中的Endpoint訪問對應的OSS-HDFS服務介面。
您還可以通過其他方式配置OSS-HDFS服務Endpoint，且不同方式配置的Endpoint存在生效優先順序。更多資訊，請參見附錄一：配置Endpoint的其他方式。

使用Impala查詢OSS-HDFS服務中的資料。

建立表。

CREATE EXTERNAL TABLE customer_demographics (
 `cd_demo_sk` INT,
 `cd_gender` STRING,
 `cd_marital_status` STRING,
 `cd_education_status` STRING,
 `cd_purchase_estimate` INT,
 `cd_credit_rating` STRING,
 `cd_dep_count` INT,
 `cd_dep_employed_count` INT,
 `cd_dep_college_count` INT)
STORED AS PARQUET
LOCATION 'oss://bucket.endpoint/dir';

查詢表資料。
```
select * from customer_demographics;
```