Lindorm OLAP の FILES 関数による OSS データのクエリとエクスポート - Lindorm

OLAP リソースグループで FILES 関数を使用すると、Object Storage Service (OSS) のファイルに直接アクセスして、データをインポートおよびエクスポートできます。このドキュメントでは、FILES 関数を使用して OSS ファイルのデータを読み書きする方法について説明します。

関数の説明

FILES 関数に OSS のアクセス認証情報やその他のパラメーターを渡すことができます。この関数はテーブルとして機能し、INSERT 文の宛先、または SELECT 文のデータソースとして使用して、データの読み取りやエクスポートが可能です。

構文：

FILES( path , format, compression, ...)

パラメーター設定：

すべてのパラメーターは "key" = "value" のペアとして指定されます。

パラメーター	説明
`path`	OSS パス。パスは `s3://` で始まる必要があります。例： `"s3://bucket_name/path/to/dir/"`。
`format`	ファイルフォーマット。サポートされているフォーマットは `parquet` と `csv` です。
`compression`	圧縮アルゴリズム。サポートされているアルゴリズムは `uncompressed` (非圧縮)、`gzip`、`snappy`、`zstd` です。
`single`	データを単一ファイルにエクスポートするかどうかを指定します。このパラメーターを `true` に設定すると、データは単一のデータファイルに保存されます。デフォルト値は `false` です。データ量が 512 MB を超える場合、データは複数のファイルに保存されます。
`aws.s3.access_key`	OSS の AccessKey ID。
`aws.s3.secret_key`	OSS の AccessKey Secret。
`aws.s3.endpoint`	OSS のエンドポイント。例： `"oss-cn-hangzhou-internal.aliyuncs.com"`。

OSS へのデータのエクスポート

次の SQL 文は一例です。

INSERT INTO FILES(
  "path" = "s3://bucket_name/path/to/dir/",
  "format" = "parquet",
  "compression" = "snappy",
  "single" = "true",
  "aws.s3.access_key" = "your_ak",
  "aws.s3.secret_key" = "your_sk",
  "aws.s3.endpoint" = "oss-cn-hangzhou-internal.aliyuncs.com"
) SELECT * FROM sometable;

この文は、クエリ結果を指定された OSS フォルダに書き込みます。

OSS データのクエリ

次のコードは一例です。

select * from FILES(
  "path" = "s3://bucket_name/path/to/dir/*.parquet",
  "format" = "parquet",
  "aws.s3.access_key" = "your_ak",
  "aws.s3.secret_key" = "your_sk",
  "aws.s3.endpoint" = "oss-cn-hangzhou-internal.aliyuncs.com" 
);

説明

path パラメーターには、フォルダのみを指定しないでください。フォルダ内のすべてのファイルを指定するには /dir/* フォーマットを使用するか、*.parquet のようなパターンを使用して特定の拡張子を持つファイルを照合します。
format パラメーターは必須です。
データをクエリする場合、compression パラメーターは省略できます。システムがファイルの圧縮フォーマットを自動的に検出します。