ApsaraDB RDS:oss_fdw 拡張機能を使用して外部データテキストファイルの読み取りと書き込みを行う

前提条件

oss_fdw 拡張機能の使用

1. oss_fdw 拡張機能を作成します。 詳細については、「oss_fdw 拡張機能でサポートされているパラメータ」をご参照ください。

   CREATE EXTENSION oss_fdw; 

2. サーバーを作成します。 詳細については、「CREATE SERVER 文のパラメータ」をご参照ください。

   CREATE SERVER ossserver FOREIGN DATA WRAPPER oss_fdw OPTIONS 
        (host 'oss-cn-hangzhou-internal.aliyuncs.com' , id 'access_id', key 'secrect_key',bucket 'mybucket');

3. ossexample という名前の OSS 外部テーブルを作成します。 詳細については、「CREATE FOREIGN TABLE 文のパラメータ」をご参照ください。

   CREATE FOREIGN TABLE ossexample 
       (date text, time text, open float,
        high float, low float, volume int) 
        SERVER ossserver 
        OPTIONS ( dir 'osstest/', delimiter ',' ,
            format 'csv', encoding 'utf8');

   重要

   テーブル作成文のテーブルスキーマは参照用です。 外部テーブルのスキーマが、OSS オブジェクトに対応するテーブルのスキーマと同じであることを確認してください。

4. OSS 外部テーブルからデータを読み取り、RDS インスタンスに書き込みます。

   • OSS 外部テーブルからデータを読み取ります。

     SELECT * FROM ossexample;

   • OSS バケット内のデータを RDS インスタンスに書き込みます。

     1. ossexample テーブルと同じスキーマを持つ example という名前のテーブルを作成します。

        CREATE TABLE example
                (date text, time text, open float,
                 high float, low float, volume int);

     2. OSS バケット内のデータを example テーブルに書き込みます。

        INSERT INTO example SELECT * FROM ossexample;

        • EXPLAIN 文を実行して、OSS オブジェクトのサイズを見積もり、クエリプランを作成できます。

          EXPLAIN INSERT INTO example SELECT * FROM ossexample;
                                        QUERY PLAN
          ----------------------------------------------------------------------
           Insert on example  (cost=0.00..1.10 rows=0 width=0)
             ->  Foreign Scan on ossexample  (cost=0.00..1.10 rows=1 width=998)
                   Foreign OssDir: osstest/
                   Number Of Ossfile: 2

        • example テーブルのデータを OSS バケットに書き込むこともできます。

          INSERT INTO ossexample SELECT * FROM example;

oss_fdw パラメータの詳細については、次のセクションを参照してください。

oss_fdw 拡張機能でサポートされているパラメータ

他の外部データラッパー (FDW) と同様に、oss_fdw 拡張機能は OSS バケットに格納されている外部データをカプセル化します。 oss_fdw 拡張機能を使用して、OSS バケットからデータを読み取ることができます。 このプロセスは、データテーブルを読み取るプロセスに似ています。 oss_fdw 拡張機能は、OSS バケットに接続し、OSS バケット内のデータを分析するためのパラメータをサポートしています。

CREATE SERVER 文のパラメータ

次の表に、OSS によって提供されるフォールトトレランスパラメータを示します。 ネットワーク接続が悪い場合は、これらのパラメータの値を調整して、インポートとエクスポートを確実に成功させることができます。

CREATE FOREIGN TABLE 文のパラメータ

CREATE FOREIGN TABLE 文のパラメータ

• oss_flush_block_size：一度に OSS バケットに書き込むことができるデータのバッファサイズ。 有効な値：1 ～ 128。 単位：MB。 デフォルト値：32。

• oss_file_max_size：OSS バケット内のオブジェクトに書き込むことができるデータの最大量。 書き込む必要のあるデータ量が最大値に達すると、残りのデータは新しいオブジェクトに書き込まれます。 有効な値：8 ～ 4000。 単位：MB。 デフォルト値：1024。

• num_parallel_worker：OSS バケットに書き込まれたデータを圧縮するために並列で実行できるスレッドの最大数。 有効な値：1 ～ 8。 デフォルト値：3。

補助関数

FUNCTION oss_fdw_list_file (relname text, schema text DEFAULT 'public')

• この関数は、指定された外部テーブルが一致する OSS オブジェクトの名前とサイズを取得するために使用されます。

• サイズはバイト単位で測定されます。

SELECT * FROM oss_fdw_list_file('ossexample');
              name              |   size    
--------------------------------+-----------
 osstest/test.gz.1  | 739698350
 osstest/test.gz.2  | 739413041
 osstest/test.gz.3  | 739562048
(3 rows)

補助パラメータ

oss_fdw.rds_read_one_file：外部テーブルが一致する OSS オブジェクトを指定します。 このパラメータは、OSS バケットから RDS インスタンスにデータをインポートする場合にのみサポートされます。 このパラメータを指定すると、指定された外部テーブルが一致する OSS オブジェクトのみがインポートされます。

SET oss_fdw.rds_read_one_file = 'osstest/test.gz.2';
SELECT * FROM oss_fdw_list_file('ossexample');
              name              |   size    
--------------------------------+-----------
  oss_test/test.gz.2  | 739413041
(1 rows)

使用上の注意

• oss_fdw 拡張機能は、外部テーブルを管理するために PostgreSQL FOREIGN TABLE フレームワークに基づいて開発されています。

• データのインポートパフォーマンスは、使用可能な PostgreSQL と OSS のリソースによって異なります。 PostgreSQL のリソースは、CPU、I/O、メモリです。

• 高パフォーマンスでデータをインポートするには、RDS インスタンスと OSS バケットが同じリージョンにあることを確認してください。 詳細については、「OSS ドメイン名」をご参照ください。

• 外部テーブルから SQL 文を読み取るときに「ERROR: oss endpoint userendpoint not in aliyun white list」というエラーが報告された場合は、指定されたリージョンに提供されているパブリック OSS エンドポイントを使用することをお勧めします。 詳細については、「リージョンとエンドポイント」をご参照ください。

トラブルシューティング

インポートまたはエクスポートエラーが発生した場合、次のエラー情報がログに記録されます。

• code：失敗したリクエストの HTTP ステータスコード。

• error_code：OSS によって返されるエラーコード。

• error_msg：OSS によって返されるエラーメッセージ。

• req_id：失敗したリクエストの UUID。 問題解決の支援が必要な場合は、失敗したリクエストの req_id 値を含むチケットを送信できます。

さまざまなエラーの詳細については、次のドキュメントを参照してください。 oss_ext 拡張機能に関連するパラメータを再構成することで、タイムアウトエラーを処理できます。

• OSS ドキュメント

• CREATE FOREIGN TABLE

• OSS エラー処理

• OSS エラー応答

AccessKey ID と AccessKey シークレットの暗号化

CREATE SERVER 文の id パラメータと key パラメータの値を暗号化しないと、他のユーザーが select * from pg_foreign_server 文を実行することで、プレーンテキストで AccessKey ペアを取得できます。 対称暗号化を使用して、id パラメータと key パラメータの値を暗号化できます。 RDS インスタンスごとに異なるキーを使用します。 これにより、AccessKey ペアがさらに保護されます。 ただし、Greenplum のようにデータ型を追加することはできません。 これにより、以前のバージョンとの非互換性が防止されます。

次のスニペットは、id パラメータと key パラメータの暗号化された値を提供します。

postgres=# SELECT * FROM pg_foreign_server ;
  srvname  | srvowner | srvfdw | srvtype | srvversion | srvacl |                                                                              srvoptions
-----------+----------+--------+---------+------------+--------+------------------------------------------------------------------------------------------------------------------------------------
----------------------------------
 ossserver |       10 |  16390 |         |            |        | {host=oss-cn-hangzhou-zmf.aliyuncs.com,id=MD5****,key=MD5****,bucket=067862}

暗号化された各値は MD5 文字列で始まります。 合計の長さを 8 で割ると 3 になります。 これらの暗号化された値は、エクスポートされた後、再度暗号化されることはありません。 MD5 文字列で始まる AccessKey ID または AccessKey シークレットは作成できないことに注意してください。