AnalyticDB:COPY または UNLOAD コマンドを使用した OSS へのデータのインポートまたはエクスポート

CSV からの特定列のインポート

1. ターゲットテーブルを作成します。

   CREATE TABLE local_t2 (a int, b float8, c text);

2. 列 a と c にデータをインポートします。列 b には NULL が入ります。

   COPY local_t2 (a, c)
   FROM 'oss://adbpg-regress/local_t/'
   ACCESS_KEY_ID 'LTAI****************'
   SECRET_ACCESS_KEY 'TNPP*************************'
   FORMAT AS CSV
   ENDPOINT 'oss-cn-hangzhou-internal.aliyuncs.com'
   FDW 'oss_fdw';

3. インポートを検証します。

   SELECT * FROM local_t2 LIMIT 10;

   期待される出力：

    a  | b |                c
   ----+---+----------------------------------
     12 |   | a24cba6ebdc5e0c485cd88ef60b72fea
     15 |   | c4d3028f5205fab98e5f43c7945db4ba
     20 |   | 769884311db01f400e21a903a3f1cb50
   ...
   (10 rows)

4. local_t2 テーブルの列 a と c のデータが local_t テーブルのデータと一致するかどうかを確認します。

   SELECT sum(hashtext(t.a::text)) AS col_a_hash, sum(hashtext(t.c::text)) AS col_c_hash FROM local_t2 t;

   期待される出力：

    col_a_hash  | col_c_hash
   -------------+-------------
    23725368368 | 13447976580
   (1 row)

   SELECT sum(hashtext(t.a::text)) AS col_a_hash, sum(hashtext(t.c::text)) AS col_c_hash FROM local_t t;

   期待される出力：

    col_a_hash  | col_c_hash
   -------------+-------------
    23725368368 | 13447976580
   (1 row)

5. 異なる FORMAT を使用して、同じ構文で ORC または Parquet ファイルをインポートします：

   -- ORC
   COPY tt
   FROM 'oss://adbpg-regress/q_oss_orc_list/'
   ACCESS_KEY_ID 'LTAI****************'
   SECRET_ACCESS_KEY 'TNPP*************************'
   FORMAT AS ORC
   ENDPOINT 'oss-cn-hangzhou-internal.aliyuncs.com'
   FDW 'oss_fdw';
   
   -- Parquet
   COPY tp
   FROM 'oss://adbpg-regress/test_parquet/'
   ACCESS_KEY_ID 'LTAI****************'
   SECRET_ACCESS_KEY 'TNPP*************************'
   FORMAT AS PARQUET
   ENDPOINT 'oss-cn-hangzhou-internal.aliyuncs.com'
   FDW 'oss_fdw';

マニフェストファイルからのインポート

1. ターゲットテーブルを作成します。

   CREATE TABLE local_manifest (a int, c text);

2. 複数のバケットからのオブジェクトを参照するマニフェストファイルを作成します。

   {
     "entries": [
       {"url": "oss://adbpg-regress/local_t/_20210114103840_83f407434beccbd4eb2a0ce45ef39568_1450404435_seg2_0.csv", "mandatory": true},
       {"url": "oss://adbpg-regress/local_t/_20210114103840_83f407434beccbd4eb2a0ce45ef39568_1856683967_seg1_0.csv", "mandatory": true},
       {"url": "oss://adbpg-regress/local_t/_20210114103840_83f407434beccbd4eb2a0ce45ef39568_1880804901_seg0_0.csv", "mandatory": true},
       {"url": "oss://adbpg-regress-2/local_t/_20210114103849_67100080728ef95228e662bc02cb99d1_1008521914_seg1_0.csv", "mandatory": true},
       {"url": "oss://adbpg-regress-2/local_t/_20210114103849_67100080728ef95228e662bc02cb99d1_1234881553_seg2_0.csv", "mandatory": true},
       {"url": "oss://adbpg-regress-2/local_t/_20210114103849_67100080728ef95228e662bc02cb99d1_1711667760_seg0_0.csv", "mandatory": true}
     ]
   }

3. マニフェストファイルのパスを使用してインポートします。

   COPY local_manifest
   FROM 'oss://adbpg-regress-2/unload_manifest/t_manifest'
   ACCESS_KEY_ID 'LTAI****************'
   SECRET_ACCESS_KEY 'TNPP*************************'
   FORMAT AS CSV
   MANIFEST
   ENDPOINT 'oss-cn-hangzhou-internal.aliyuncs.com'
   FDW 'oss_fdw';

フォールトトレランスによるインポートエラーの処理

1. ターゲットテーブルを作成します。

   CREATE TABLE sales (id integer, value float8, x text) DISTRIBUTED BY (id);

2. エラーログを有効にしてインポートします。行が失敗してもインポートは続行されますが、10 個以上のエラーが見つかると停止します。

   COPY sales
   FROM 'oss://adbpg-const/error_sales/'
   ACCESS_KEY_ID 'LTAI****************'
   SECRET_ACCESS_KEY 'TNPP*************************'
   FORMAT AS CSV
   log_errors 'true'
   segment_reject_limit '10'
   endpoint 'oss-cn-hangzhou-internal.aliyuncs.com'
   FDW 'oss_fdw';

   期待される出力：

   NOTICE:  found 3 data formatting errors (3 or more input rows), rejected related input data
   COPY FOREIGN TABLE

3. エラーの詳細をクエリします。

   SELECT * FROM gp_read_error_log('sales');

   期待される出力：

            cmdtime            |                    relname                     |        filename         | linenum | bytenum |                          errmsg                           | rawdata | rawbytes
   ----------------------------+------------------------------------------------+-------------------------+---------+---------+-----------------------------------------------------------+---------+----------
    2021-02-08 14:24:04.225238 | adbpgforeigntabletmp_20210208142403_1936866966 | error_sales/sales.2.csv |       2 |         | invalid byte sequence for encoding "UTF8": 0xed 0xab 0xad |         | \x
    2021-02-08 14:24:04.225238 | adbpgforeigntabletmp_20210208142403_1936866966 | error_sales/sales.2.csv |       3 |         | invalid byte sequence for encoding "UTF8": 0xed 0xab 0xad |         | \x
    2021-02-08 14:24:04.225269 | adbpgforeigntabletmp_20210208142403_1936866966 | error_sales/sales.3.csv |       2 |         | invalid byte sequence for encoding "UTF8": 0xed 0xab 0xad |         | \x
   (3 rows)

CSV へのエクスポート

1. ソーステーブルを作成し、テストデータを挿入します。

   CREATE TABLE local_t (a int, b float8, c text);
   INSERT INTO local_t
   SELECT r, random() * 1000, md5(random()::text)
   FROM generate_series(1, 1000) r;

2. ソースデータを検証します。

   SELECT * FROM local_t LIMIT 5;

   期待される出力：

    a  |        b         |                c
   ----+------------------+----------------------------------
      5 |  550.81393988803 | 8009fa725372e996786849213a695ce0
      6 | 95.8335199393332 | ce7952c6728cdffdee06cc5b502d6457
      9 | 421.379795763642 | d3260ccbf6b9c03f3658d96bb7678b4d
     10 | 362.347379792482 | 2bbbf89d23a2f83b089b589f55b5c4fc
     11 | 800.203878898174 | a52994c5573e6b36d8a1c357bf800ce5
   (5 rows)

3. 列 a と c を CSV 形式で OSS にエクスポートします。

   UNLOAD ('SELECT a, c FROM local_t')
   TO 'oss://adbpg-regress/local_t/'
   ACCESS_KEY_ID 'LTAI****************'
   SECRET_ACCESS_KEY 'TNPP*************************'
   FORMAT AS CSV
   ENDPOINT 'oss-cn-hangzhou-internal.aliyuncs.com'
   FDW 'oss_fdw';

   期待される出力：

   NOTICE:  OSS output prefix: "local_t/adbpgforeigntabletmp_20200907164801_1354519958_20200907164801_652261618".
   UNLOAD

4. ファイルが OSS に書き込まれたことを確認します。

   ossutil --config hangzhou-zmf.config ls oss://adbpg-regress/local_t/

   期待される出力 (計算ノードごとに 1 ファイル)：

   LastModifiedTime                   Size(B)  StorageClass   ETAG                                  ObjectName
   2020-09-07 16:48:01 +0800 CST        12023      Standard   9F38B5407142C044C1F3555F00000000      oss://adbpg-regress/local_t/adbpgforeigntabletmp_20200907164801_1354519958_20200907164801_652261618_seg0_0.csv
   2020-09-07 16:48:01 +0800 CST        12469      Standard   807BA680A0DED49BC1F3555F00000000      oss://adbpg-regress/local_t/adbpgforeigntabletmp_20200907164801_1354519958_20200907164801_652261618_seg1_0.csv
   2020-09-07 16:48:01 +0800 CST        12401      Standard   3524F68F628CEB64C1F3555F00000000      oss://adbpg-regress/local_t/adbpgforeigntabletmp_20200907164801_1354519958_20200907164801_652261618_seg2_0.csv
   Object Number is: 3

5. CSV の内容を検査します。

   head -n 10 adbpgforeigntabletmp_20200907164801_1354519958_20200907164801_652261618_seg2_0.csv

   期待される出力：

   7,1225341d0d367a69b1b345536b21ef73
   19,424a7a5c36066842f4de8c8a8341fc89
   27,c214432e9928e4a6f7bef7bd815424c0
   29,ade5d636e2b5d2a606a02e79255da4bd
   37,85660e60ede47b68493f6295620db568

マニフェストファイルを使用したエクスポート

以下の 3 つの例はすべて、前のセクションで作成した同じソーステーブル (local_t) を使用します。

シナリオ 1：データファイルと並行してマニフェストファイルを生成する

UNLOAD ('SELECT * FROM local_t')
TO 'oss://adbpg-regress/local_t/'
ACCESS_KEY_ID 'LTAI****************'
SECRET_ACCESS_KEY 'TNPP*************************'
FORMAT AS CSV
MANIFEST
ENDPOINT 'oss-cn-hangzhou-internal.aliyuncs.com'
FDW 'oss_fdw';

エクスポートされたファイルをリストします：

ossutil ls -s oss://adbpg-regress/local_t/

期待される出力 — 3 つのデータファイルと 1 つのマニフェストファイルが同じパスプレフィックスを共有します：

oss://adbpg-regress/local_t/_20210114100329_3e9b07726306d88b3193dc95c10a5c5c_162488956_seg1_0.csv
oss://adbpg-regress/local_t/_20210114100329_3e9b07726306d88b3193dc95c10a5c5c_163756258_seg0_0.csv
oss://adbpg-regress/local_t/_20210114100329_3e9b07726306d88b3193dc95c10a5c5c_1741120517_seg2_0.csv
oss://adbpg-regress/local_t/_20210114100329_3e9b07726306d88b3193dc95c10a5c5c_manifest
Object Number is: 4

マニフェストの内容を表示します：

ossutil cat oss://adbpg-regress/local_t/_20210114100329_3e9b07726306d88b3193dc95c10a5c5c_manifest

{
  "entries": [
    {"url": "oss://adbpg-regress/local_t/_20210114100329_3e9b07726306d88b3193dc95c10a5c5c_162488956_seg1_0.csv"},
    {"url": "oss://adbpg-regress/local_t/_20210114100329_3e9b07726306d88b3193dc95c10a5c5c_163756258_seg0_0.csv"},
    {"url": "oss://adbpg-regress/local_t/_20210114100329_3e9b07726306d88b3193dc95c10a5c5c_1741120517_seg2_0.csv"}
  ]
}

シナリオ 2：マニフェストファイルを別のバケットに書き込む

ALLOWOVERWRITE 'true' は既存のマニフェストファイルのみを上書きします。データファイルは上書きされず、必要に応じて手動で削除する必要があります。

UNLOAD ('SELECT * FROM local_t')
TO 'oss://adbpg-regress/local_t/'
ACCESS_KEY_ID 'LTAI****************'
SECRET_ACCESS_KEY 'TNPP*************************'
FORMAT AS CSV
MANIFEST 'oss://adbpg-regress-2/unload_manifest/t_manifest'
ALLOWOVERWRITE 'true'
ENDPOINT 'oss-cn-hangzhou-internal.aliyuncs.com'
FDW 'oss_fdw';

データファイルが元のバケットにあり、マニフェストが別のバケットにあることを確認します：

# データファイル
ossutil ls -s oss://adbpg-regress/local_t/

oss://adbpg-regress/local_t/_20210114100956_4d3395a9501f6e22da724a2b6df1b6d3_1736161168_seg0_0.csv
oss://adbpg-regress/local_t/_20210114100956_4d3395a9501f6e22da724a2b6df1b6d3_1925769064_seg2_0.csv
oss://adbpg-regress/local_t/_20210114100956_4d3395a9501f6e22da724a2b6df1b6d3_644328153_seg1_0.csv
Object Number is: 3

# 別のバケットにあるマニフェストファイル
ossutil cat oss://adbpg-regress-2/unload_manifest/t_manifest

{
  "entries": [
    {"url": "oss://adbpg-regress/local_t/_20210114100956_4d3395a9501f6e22da724a2b6df1b6d3_1736161168_seg0_0.csv"},
    {"url": "oss://adbpg-regress/local_t/_20210114100956_4d3395a9501f6e22da724a2b6df1b6d3_1925769064_seg2_0.csv"},
    {"url": "oss://adbpg-regress/local_t/_20210114100956_4d3395a9501f6e22da724a2b6df1b6d3_644328153_seg1_0.csv"}
  ]
}