Object Storage Service:Trino のネイティブ S3 ファイルシステムで OSS Tables にアクセスする

trino-filesystem-s3 の変更

S3 ロケーション検証ロジックを特定し、許可されたスキームのセットに oss を追加します。

// 変更前
checkArgument(Set.of("s3", "s3a", "s3n").contains(location.scheme().get()), "Wrong scheme for S3 location: %s", location);

// 変更後
checkArgument(Set.of("s3", "s3a", "s3n", "oss").contains(location.scheme().get()), "Wrong scheme for S3 location: %s", location);

trino-filesystem-manager の変更

ファイルシステムファクトリのバインディングに、oss スキーム用のバインディングを追加します：

factories.addBinding("s3").to(Key.get(TrinoFileSystemFactory.class, FileSystemS3.class));

factories.addBinding("s3a").to(Key.get(TrinoFileSystemFactory.class, FileSystemS3.class));

factories.addBinding("s3n").to(Key.get(TrinoFileSystemFactory.class, FileSystemS3.class));
// 既存の s3/s3a/s3n バインディングの後に、次の行を追加します。
factories.addBinding("oss").to(Key.get(TrinoFileSystemFactory.class, FileSystemS3.class));

JAR パッケージのビルドと置換

2 つのモジュールをビルドした後、Trino のデプロイメントディレクトリ内にある元の JAR パッケージを新しいパッケージに置き換え、Trino サービスを再起動します。

# trino-filesystem-s3 をビルドします
mvn -pl lib/trino-filesystem-s3 -am package -DskipTests

# trino-filesystem-manager をビルドします
mvn -pl lib/trino-filesystem-manager -am package -DskipTests

# JAR パッケージを置き換えます (Trino が /opt/trino にインストールされていると仮定)
cp lib/trino-filesystem-s3/target/trino-filesystem-s3-*.jar /opt/trino/lib/
cp lib/trino-filesystem-manager/target/trino-filesystem-manager-*.jar /opt/trino/lib/

方法 1: ossutil の使用

1. ossutil のインストールまたはアップグレード

ossutil 2.3.0 以降をインストールします。古いバージョンの ossutil がインストールされている場合は、次のコマンドを実行して最新バージョンにアップグレードします。

ossutil update -f

2. 認証情報の設定

ossutil config コマンドを実行し、プロンプトに従って AccessKey ID、AccessKey Secret、およびリージョンを入力します。

3. テーブルバケットの作成

ossutil tables-api create-table-bucket --name <table_bucket_name> --endpoint http://<endpoint> --region <region>

コマンドが成功すると、出力にテーブルバケットの ARN が含まれます。この ARN は後で使用するため、記録しておいてください。

4. 名前空間の作成

ossutil tables-api create-namespace --table-bucket-arn <table_bucket_arn> --namespace <namespace_name> --endpoint http://<endpoint>

5. テーブルの作成

Iceberg テーブルは次のいずれかの方法で作成できます。

• Spark などの別のコンピューティングエンジンを使用して作成します。

• ossutil を使用して作成します。テーブルスキーマを JSON ファイルに保存し、create-table を呼び出します。

  次のスキーマファイルの例は schema.json という名前で、3 つのフィールドを定義します：

  {
    "iceberg": {
      "schema": {
        "fields": [
          {"name": "event_id", "type": "string", "required": true},
          {"name": "event_time", "type": "string"},
          {"name": "event_type", "type": "string"}
        ]
      }
    }
  }

  スキーマファイルに基づいてテーブルを作成します。

  ossutil tables-api create-table --table-bucket-arn <bucket_arn> --namespace <namespace_name> --name <table_name> --format ICEBERG --metadata file://<file_path> --endpoint http://<endpoint>

方法 2: AWS CLI の使用

OSS Tables は S3 Tables API と互換性があるため、AWS CLI を使用してテーブルバケットを管理することもできます。

1. AWS CLI のインストール

curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
sudo ./aws/install

2. 認証情報の設定

aws configure コマンドを実行し、プロンプトに従ってアクセスキー ID、アクセスキーシークレット、およびリージョンを入力します。

3. テーブルバケットの作成

aws s3tables --endpoint http://<endpoint> create-table-bucket --region <region> --name <table_bucket_name>

コマンドが成功すると、出力にテーブルバケットの ARN が含まれます。

4. 名前空間の作成

aws s3tables --endpoint http://<endpoint> create-namespace --table-bucket-arn <table_bucket_arn> --namespace <namespace_name>

5. テーブルの作成

• Spark などの別のコンピューティングエンジンを使用してテーブルを作成します。

• AWS CLI を使用して、すべてのパラメーターを create-table.json などの JSON ファイルに保存してから、create-table を呼び出します。

  {
      "tableBucketARN": "<bucket_arn>",
      "namespace": "<namespace_name>",
      "name": "<table_name>",
      "format": "ICEBERG",
      "metadata": {
          "iceberg": {
              "schema": {
                  "fields": [
                       {"name": "event_id", "type": "string","required": true},
                       {"name": "event_time", "type": "string"},
                       {"name": "event_type", "type": "string"}
                  ]
              }
          }
      }
  }

  aws s3tables --endpoint http://<endpoint> create-table --cli-input-json file://<file_path>

6. バックグラウンドメンテナンス タスクの管理

OSS Tables は、ファイルのクリーンアップやコンパクションなど、Iceberg テーブルの自動バックグラウンドメンテナンスをサポートしています。AWS CLI を使用して、これらのメンテナンスタスクをクエリおよび設定できます。

テーブルメンテナンスジョブのステータスのクエリ

aws s3tables get-table-maintenance-job-status \
   --table-bucket-arn="<table_bucket_arn>" \
   --namespace="<namespace_name>" \
   --name="<table_name>" 

バケットレベルのメンテナンスポリシー (ファイルのクリーンアップ) の設定

aws s3tables put-table-bucket-maintenance-configuration \
   --table-bucket-arn "<table_bucket_arn>" \
   --type icebergUnreferencedFileRemoval \
   --value '{"status":"enabled","settings":{"icebergUnreferencedFileRemoval":{"unreferencedDays":4,"nonCurrentDays":10}}}' 

テーブルレベルのメンテナンスポリシー (小規模ファイルのコンパクション) の設定

aws s3tables put-table-maintenance-configuration \
   --table-bucket-arn "<table_bucket_arn>" \
   --type icebergCompaction \
   --namespace "<namespace_name>" \
   --name "<table_name>" \
   --value '{"status":"enabled"}'

カタログプロパティファイルの作成

Trino の etc/catalog/ ディレクトリに、プロパティファイル (たとえば、oss_tables.properties) を作成します：

connector.name=iceberg
iceberg.catalog.type=rest
iceberg.rest-catalog.uri=https://<region>-internal.oss-tables.aliyuncs.com/iceberg
iceberg.rest-catalog.warehouse=<Table Bucket ARN>
iceberg.rest-catalog.security=SIGV4
iceberg.rest-catalog.signing-name=osstables
iceberg.rest-catalog.view-endpoints-enabled=false
fs.hadoop.enabled=false
fs.native-s3.enabled=true
s3.endpoint=https://oss-<region>-internal.aliyuncs.com
s3.region=<region>
s3.aws-access-key=<AccessKey ID>
s3.aws-secret-key=<AccessKey Secret>
s3.path-style-access=true

パラメーター

例: テーブルの作成

CREATE TABLE ${catalog}.${namespace}.orders (
    order_id    BIGINT,
    customer    VARCHAR,
    amount      DECIMAL(10,2),
    order_date  DATE,
    created_at  TIMESTAMP(6)
)
WITH (
    format = 'PARQUET',
    partitioning = ARRAY['day(order_date)'],
);

例: データのクエリ

SELECT * FROM ${catalog}.${namespace}.orders limit 10;

リソース

• テーブルバケット ARN： acs:osstables:<region>:<alibaba_cloud_account_id>:bucket/<bucket_name>

• テーブル ARN： acs:osstables:<region>:<alibaba_cloud_account_id>:bucket/<bucket_name>/table/<table_id>

アクション

次の表に、OSS Tables でサポートされているアクションと、クロスアカウントアクセスが許可されるかどうかを示します。

Iceberg REST 操作に必要な権限

次の表に、各 Iceberg REST Catalog 操作で要求される OSS アクションを示します。