Trino使用JindoSDK查詢OSS-HDFS服務的資料 - Object Storage Service

Trino是一個開源的分布式SQL查詢引擎，適用於互動式分析查詢。本文介紹Trino如何使用JindoSDK查詢OSS-HDFS服務中的資料。

前提條件

以部署環境為阿里雲ECS為例，需要選購ECS執行個體。
已建立Hadoop環境。具體步驟，請參見建立Hadoop運行環境。
已部署Trino。具體操作，請參見部署Trino。
已開通並授權訪問OSS-HDFS服務。具體操作，請參見開通OSS-HDFS服務。

操作步驟

串連ECS執行個體。具體操作，請參見串連ECS執行個體。
配置JindoSDK。
1. 下載最新版本的JindoSDK JAR包。下載地址，請參見GitHub。
2. 解壓JindoSDK JAR包。
  以下以解壓jindosdk-x.x.x-linux.tar.gz為例，如使用其他版本的JindoSDK，請替換為對應的JAR包名稱。
```
tar zxvf jindosdk-x.x.x-linux.tar.gz
```
  說明
  x.x.x表示JindoSDK JAR包版本號碼。
3. 將已下載的JindoSDK JAR包安裝到Trino的classpath路徑下。
```
cp jindosdk-x.x.x-linux/lib/*.jar  $Trino_HOME/plugin/hive-hadoop2/
```

配置OSS-HDFS服務實作類別及AccessKey。

將OSS-HDFS服務實作類別配置到Trino所有節點上的Hadoop設定檔core-site.xml中。

<configuration>
    <property>
        <name>fs.AbstractFileSystem.oss.impl</name>
        <value>com.aliyun.jindodata.oss.JindoOSS</value>
    </property>

    <property>
        <name>fs.oss.impl</name>
        <value>com.aliyun.jindodata.oss.JindoOssFileSystem</value>
    </property>
</configuration>

將已開啟OSS-HDFS服務的Bucket對應的AccessKey ID、AccessKey Secret配置到Trino所有節點上的Hadoop設定檔core-site.xml檔案中。

<configuration>
    <property>
        <name>fs.oss.accessKeyId</name>
        <value>LTAI********</value>
    </property>

    <property>
        <name>fs.oss.accessKeySecret</name>
        <value>KZo1********</value>
    </property>
</configuration>

配置OSS-HDFS服務Endpoint。
使用OSS-HDFS服務訪問OSS Bucket時需要配置Endpoint。推薦訪問路徑格式為oss://{yourBucketName}.{yourBucketEndpoint}/{path}，例如oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/exampleobject.txt。配置完成後，JindoSDK會根據訪問路徑中的Endpoint訪問對應的OSS-HDFS服務介面。
您還可以通過其他方式配置OSS-HDFS服務Endpoint，且不同方式配置的Endpoint存在生效優先順序。更多資訊，請參見附錄一：配置Endpoint的其他方式。
重要
完成以上配置後，您需要重啟Trino服務，使配置生效。
查詢OSS-HDFS服務中的資料。
以下以常用的Hive catalog為例，使用Trino建立一個OSS中的schema，並執行簡單的SQL查詢樣本。由於Trino依賴Hive Metastore，因此Hive服務也需要安裝並部署JindoSDK。具體操作，請參見Hive使用JindoSDK處理OSS-HDFS服務中的資料。
1. 登入Trino控制台。
```
trino --server <Trino_server_address>:<Trino_server_port> --catalog hive
```
2. 建立OSS中的schema。
```
create schema testDB with (location='oss://{yourBucketName}.{yourBucketEndpoint}/{schema_dir}');
```
3. 使用schema。
```
use testDB;
```
4. 建立表。
```
create table tbl (key int, val int);
```
5. 往表中插入資料。
```
insert into tbl values (1,666);
```
6. 查詢表。
```
select * from tbl;
```