AnalyticDB:OSS 外部テーブルを用いた高速 OSS へのデータエクスポート

仕組み

各コンピュートノードは、ノード間でデータを再分配することなく、並列で直接 OSS にデータをエクスポートします。エクスポートは 3 ステップのパターンに従います。データベースごとに 1 回 oss_ext 拡張をインストールし、書き込み可能な外部テーブルを作成してから、INSERT INTO ... SELECT 文を実行します。

前提条件

開始する前に、以下の条件を満たしていることを確認してください。

• AnalyticDB for PostgreSQL V6.0 インスタンス

• ご利用のインスタンスと同じリージョンにある OSS バケット

• 該当バケットへ書き込み権限を持つ AccessKey ID および AccessKey Secret。AccessKey ペアの作成については、「AccessKey ペアの作成」をご参照ください。

拡張の設定

データをエクスポートする前に、以下の文をデータベースごとに 1 回実行して、oss_ext 拡張をインストールします。

CREATE EXTENSION IF NOT EXISTS oss_ext;

この文は、データベースごとに 1 回のみ実行すれば十分であり、各エクスポートの直前には実行する必要はありません。

OSS へのデータエクスポート

CREATE WRITABLE EXTERNAL TABLE table_name
    ( column_name data_type [, ...] | LIKE other_table )
    LOCATION ('ossprotocol')
    FORMAT 'TEXT'
               [( [DELIMITER [AS] 'delimiter']
               [NULL [AS] 'null string']
               [ESCAPE [AS] 'escape' | 'OFF'] )]
          | 'CSV'
               [([QUOTE [AS] 'quote']
               [DELIMITER [AS] 'delimiter']
               [NULL [AS] 'null string']
               [FORCE QUOTE column [, ...]] ]
               [ESCAPE [AS] 'escape'] )]
    [ ENCODING 'encoding' ]
    [ DISTRIBUTED BY (column, [ ... ] ) | DISTRIBUTED RANDOMLY ]

ossprotocol:
    oss://oss_endpoint [prefix=prefix_name|dir=[folder/[folder/]...]/file_name]
     id=userossid key=userosskey bucket=ossbucket compressiontype=[none|gzip] async=[true|false]

INSERT INTO <external_table> SELECT * FROM <source_table>;

サンプル

この例では、example という名前のローカルテーブルからデータをエクスポートし、OSS バケットにエクスポートします。

1. ソーステーブルの作成：

CREATE TABLE example
    (date text, time text, open float,
     high float, low float, volume int)
    DISTRIBUTED BY (date);

2. 書き込み可能な外部テーブルの作成。

prefix を使用して出力パスを指定します。

CREATE WRITABLE EXTERNAL TABLE ossexample_exp
    (date text, time text, open float, high float,
     low float, volume int)
    LOCATION ('oss://oss-cn-hangzhou.aliyuncs.com
    prefix=osstest/exp/outfromhdb id=<your-access-key-id>
    key=<your-access-key-secret> bucket=testbucket')
    FORMAT 'csv'
    DISTRIBUTED BY (date);

dir を使用して出力パスを指定する：

CREATE WRITABLE EXTERNAL TABLE ossexample_exp
    (date text, time text, open float, high float,
     low float, volume int)
    LOCATION ('oss://oss-cn-hangzhou.aliyuncs.com
    dir=osstest/exp/ id=<your-access-key-id>
    key=<your-access-key-secret> bucket=testbucket')
    FORMAT 'csv'
    DISTRIBUTED BY (date);

プレースホルダーを実際の値に置き換えてください。

3. データのエクスポート：

INSERT INTO ossexample_exp SELECT * FROM example;

4. エクスポートの確認：

EXPLAIN を実行して、各コンピュートノードがデータを直接 OSS にエクスポートしていることを確認します。

EXPLAIN INSERT INTO ossexample_exp SELECT * FROM example;

期待される出力：

                          QUERY PLAN
---------------------------------------------------------------
 Insert (slice0; segments: 3)  (rows=1 width=92)
   ->  Seq Scan on example  (cost=0.00..0.00 rows=1 width=92)
(2 rows)

segments: 3 は、3つのコンピュートノードすべてがデータを並列でエクスポートすることを示します。エクスポートが完了したら、ファイルが指定されたパスのOSS コンソールに表示されることを確認してください。

パフォーマンスに関する考慮事項

エクスポートスループットを最大化するには、以下の点に注意してください。

• ソーステーブルの作成時に、圧縮付きの列指向ストレージを使用してください。例：

  WITH (APPENDONLY=true, ORIENTATION=column, COMPRESSTYPE=zlib, COMPRESSLEVEL=5, BLOCKSIZE=1048576)

  詳細については、「CREATE TABLE」をご参照ください。

• OSS バケットと AnalyticDB for PostgreSQL インスタンスを同一リージョンに配置してください。

• データ量およびネットワーク環境に基づいて、num_parallel_worker、oss_flush_block_size、およびoss_file_max_sizeを調整します。

制限事項

• V6.0 インスタンスのみがサポートされています。V7.0 の場合は、OSS 外部テーブル を使用します。

• TEXT 形式および CSV 形式のみがサポートされます。

• GZIP 圧縮のみがサポートされています（compressiontype=gzip）。

• prefix および dir は相互排他です。外部テーブルごとに 1 つだけ指定してください。

• prefix では、正規表現はサポートされていません。

• すべてのフォーマットコントロール文字（`DELIMITER`、`QUOTE`、`ESCAPE`、`NULL`）は、単一バイト文字である必要があります。

• 外部テーブルの構文は Greenplum Database の規則に従いますが、ロケーション関連のパラメーターを除きます。

トラブルシューティング

エクスポートエラーが発生した場合、エラーログには以下のフィールドが含まれます。

エラーコードの完全なリストについては、「エラー応答」をご参照ください。タイムアウト関連のエラーを修正するには、oss_speed_limit パラメーターと oss_speed_time パラメーターを調整します。OSS API エラー応答OSS API エラー応答

関連ドキュメント

• OSS ドメイン名

• OSS ドキュメントOSS エンドポイント情報

• エラー処理