AnalyticDB:OSS外部テーブルを使用したデータのインポートとエクスポート

制限事項

AnalyticDB for PostgreSQLインスタンスと、データのインポートおよびエクスポートに関与するOSSバケットは、同じリージョンに存在する必要があります。

サポートされているオブジェクト形式

OSS外部テーブルを使用して、次のデータオブジェクトのみからデータをインポートし、データをエクスポートできます。

• 圧縮されていないCSVおよびTEXTオブジェクト。

• GZIP圧縮されたCSVおよびTEXTオブジェクト。

• ORCバイナリオブジェクト。

  ORCとAnalyticDB For PostgreSQL間のデータ型マッピングの詳細については、「OSS外部テーブルのデータ型マッピング」トピックの「ORCとAnalyticDB for PostgreSQL間のデータ型マッピング」を参照してください。

OSSサーバー、OSSサーバーへのユーザーマッピング、およびOSS外部テーブルの作成

OSS外部テーブルを使用する前に、OSSサーバー、OSSサーバーへのユーザーマッピング、およびOSS外部テーブルを作成する必要があります。

• OSSサーバーの作成方法については、「データレイク分析にOSS外部テーブルを使用する」トピックの「OSSサーバーの作成」セクションをご参照ください。

• OSSサーバーへのユーザーマッピングの作成方法については、「データレイク分析にOSS外部テーブルを使用する」トピックの「OSSサーバーへのユーザーマッピングの作成」をご参照ください。

• OSS外部テーブルの作成方法については、「データレイク分析にOSS外部テーブルを使用する」トピックの「OSS外部テーブルの作成」セクションをご参照ください。

OSSからAnalyticDB for PostgreSQLテーブルへのデータのインポート

1. example.csvという名前のサンプルファイルをOSSにアップロードします。 詳細については、データレイク分析にOSS外部テーブルを使用するトピックの「準備」セクションとオブジェクトのアップロードをご参照ください。

   説明

   • エンコード処理を不要にして効率を向上させるために、データオブジェクトとデータベースに同じデータエンコード形式を使用することをお勧めします。 デフォルトのデータベースエンコード形式はUTF-8です。

   • AnalyticDB for PostgreSQLのすべての計算ノードは、ポーリングメカニズムを使用してOSSのデータオブジェクトを並列に読み取ります。

   • AnalyticDB for PostgreSQLは、複数のCSVおよびTEXTオブジェクトを並行して読み取ることができます。 デフォルトでは、4つのオブジェクトを並行して読み取ることができます。 読み取り効率を最大化するには、並行して読み取ることができるオブジェクトの数を、計算ノードコアの数の整数倍に設定することを推奨します。 計算ノードコアの数は、計算ノードの数と計算ノードあたりのコアの数の積です。 オブジェクトを分割する方法については、OSS外部テーブルで操作を実行するためのベストプラクティスの「大きなオブジェクトを分割する」セクションを参照してください。

2. AnalyticDB for PostgreSQLデータベースに接続します。 詳細については、「クライアント接続」をご参照ください。

3. OSSサーバーを作成します。

   CREATE SERVER oss_serv
       FOREIGN DATA WRAPPER oss_fdw
       OPTIONS (
           endpoint 'oss-cn-********.aliyuncs.com',
           bucket 'adb-pg'
     );

   Parameters

   • endpoint: OSSデータへのアクセスに使用されるエンドポイント。 AnalyticDB for PostgreSQLでは、内部エンドポイントのみを設定できます。 詳細については、「リージョンとエンドポイント」トピックの「Alibaba Cloudパブリッククラウド」セクションをご参照ください。

   • bucket: データオブジェクトを格納するOSSバケットの名前。 OSSバケットは、AnalyticDB for PostgreSQLインスタンスと同じリージョンに存在する必要があります。

4. OSSサーバーにアクセスするユーザーを作成します。

   CREATE USER MAPPING FOR PUBLIC
       SERVER oss_serv
       OPTIONS (
           id 'LTAI****************',
           key 'yourAccessKeySecret'
       );

   説明

   Alibaba Cloudアカウント間でデータをインポートまたはエクスポートする場合、OSSバケットを所有するAlibaba CloudアカウントのAccessKey IDとAccessKey secretを設定する必要があります。

5. ossexampleという名前のOSS外部テーブルを作成します。

   CREATE FOREIGN TABLE ossexample (
       date text,
       time text,
       open float,
       high float,
       low float,
       volume int
   ) SERVER oss_serv OPTIONS (dir 'oss_adb/', format 'csv');

6. INSERTまたはCREATE TABLE ASステートメントを実行して、OSSデータをインポートします。

   • INSERT

     1. INSERTステートメントを実行してデータをインポートするには、外部テーブルと同じスキーマを持つadbexampleという名前のAnalyticDB for PostgreSQLテーブルを作成します。

        CREATE TABLE adbexample (
            date text,
            time text,
            open float,
            high float,
            low float,
            volume int
        ) WITH (APPENDONLY=TRUE, ORIENTATION=COLUMN, COMPRESSTYPE=ZSTD, COMPRESSLEVEL=5);

     2. INSERTステートメントを実行して、外部テーブルossampleのデータをAnalyticDB for PostgreSQLテーブルadbexampleにインポートします。

        INSERT INTO adbexample SELECT * FROM ossexample;

   • CREATE TABLE AS

     CREATE TABLE ASステートメントを実行して、adbexampleという名前のAnalyticDB for PostgreSQLテーブルを作成し、外部テーブルossexampleからデータをインポートします。

     CREATE TABLE adbexample AS SELECT * FROM ossexample DISTRIBUTED BY (volume);

AnalyticDB for PostgreSQLテーブルからOSSへのデータのエクスポート

1. に格納されたCSVオブジェクトにデータをエクスポートするために使用できるOSS外部テーブルを作成します。tt_csvディレクトリに移動します。

   CREATE FOREIGN TABLE foreign_x (i int, j int)
   SERVER oss_serv
   OPTIONS (format 'csv', dir 'tt_csv/');

2. INSERT INTOステートメントを実行して、AnalyticDB for PostgreSQLテーブルからOSSにデータをエクスポートします。

   INSERT INTO foreign_x SELECT * FROM local_x;

{tablename | prefix } _{timestamp}_{random_key}_{seg}{segment_id}_{fileno}.{ext}[.gz]

関連ドキュメント

• データレイク分析にOSS外部テーブルを使用

• パーティション化されたOSS外部テーブルの使用

• OSS外部テーブルで操作を実行するためのベストプラクティス

• OSS外部テーブルのデータ型マッピング