AnalyticDB:Gunakan tabel eksternal OSS untuk mengekspor data ke OSS dengan kecepatan tinggi

Cara kerja

Setiap node komputasi mengekspor data langsung ke OSS secara paralel tanpa redistribusi data antar node. Proses ekspor mengikuti tiga langkah: instal ekstensi oss_ext sekali per database, buat tabel eksternal yang dapat ditulis, lalu jalankan pernyataan INSERT INTO ... SELECT.

Prasyarat

Sebelum memulai, pastikan Anda memiliki:

• Instans AnalyticDB for PostgreSQL V6.0

• Bucket OSS di wilayah yang sama dengan instans Anda

• ID AccessKey dan Rahasia AccessKey dengan akses tulis ke bucket tersebut. Untuk membuat pasangan Kunci Akses, lihat Buat pasangan Kunci Akses.

Siapkan ekstensi

Jalankan pernyataan berikut sekali per database untuk menginstal ekstensi oss_ext sebelum mengekspor data:

CREATE EXTENSION IF NOT EXISTS oss_ext;

Perintah ini hanya perlu dijalankan sekali per database—tidak perlu diulang sebelum setiap ekspor.

Mengekspor data ke OSS

CREATE WRITABLE EXTERNAL TABLE table_name
    ( column_name data_type [, ...] | LIKE other_table )
    LOCATION ('ossprotocol')
    FORMAT 'TEXT'
               [( [DELIMITER [AS] 'delimiter']
               [NULL [AS] 'null string']
               [ESCAPE [AS] 'escape' | 'OFF'] )]
          | 'CSV'
               [([QUOTE [AS] 'quote']
               [DELIMITER [AS] 'delimiter']
               [NULL [AS] 'null string']
               [FORCE QUOTE column [, ...]] ]
               [ESCAPE [AS] 'escape'] )]
    [ ENCODING 'encoding' ]
    [ DISTRIBUTED BY (column, [ ... ] ) | DISTRIBUTED RANDOMLY ]

ossprotocol:
    oss://oss_endpoint [prefix=prefix_name|dir=[folder/[folder/]...]/file_name]
     id=userossid key=userosskey bucket=ossbucket compressiontype=[none|gzip] async=[true|false]

INSERT INTO <external_table> SELECT * FROM <source_table>;

Contoh

Contoh ini mengekspor data dari tabel lokal bernama example ke bucket OSS.

1. Buat tabel sumber:

CREATE TABLE example
    (date text, time text, open float,
     high float, low float, volume int)
    DISTRIBUTED BY (date);

2. Buat tabel eksternal yang dapat ditulis.

Menggunakan prefix untuk menentukan path output:

CREATE WRITABLE EXTERNAL TABLE ossexample_exp
    (date text, time text, open float, high float,
     low float, volume int)
    LOCATION ('oss://oss-cn-hangzhou.aliyuncs.com
    prefix=osstest/exp/outfromhdb id=<your-access-key-id>
    key=<your-access-key-secret> bucket=testbucket')
    FORMAT 'csv'
    DISTRIBUTED BY (date);

Menggunakan dir untuk menentukan path output:

CREATE WRITABLE EXTERNAL TABLE ossexample_exp
    (date text, time text, open float, high float,
     low float, volume int)
    LOCATION ('oss://oss-cn-hangzhou.aliyuncs.com
    dir=osstest/exp/ id=<your-access-key-id>
    key=<your-access-key-secret> bucket=testbucket')
    FORMAT 'csv'
    DISTRIBUTED BY (date);

Ganti placeholder dengan nilai aktual Anda:

3. Ekspor data:

INSERT INTO ossexample_exp SELECT * FROM example;

4. Verifikasi ekspor:

Jalankan EXPLAIN untuk memastikan bahwa setiap node komputasi mengekspor data langsung ke OSS:

EXPLAIN INSERT INTO ossexample_exp SELECT * FROM example;

Output yang diharapkan:

                          QUERY PLAN
---------------------------------------------------------------
 Insert (slice0; segments: 3)  (rows=1 width=92)
   ->  Seq Scan on example  (cost=0.00..0.00 rows=1 width=92)
(2 rows)

segments: 3 menunjukkan bahwa ketiga node komputasi mengekspor data secara paralel. Setelah ekspor selesai, verifikasi bahwa file muncul di Konsol OSS pada path yang ditentukan.

Pertimbangan kinerja

Untuk memaksimalkan throughput ekspor:

• Gunakan penyimpanan berorientasi kolom dengan kompresi saat membuat tabel sumber. Contohnya:

  WITH (APPENDONLY=true, ORIENTATION=column, COMPRESSTYPE=zlib, COMPRESSLEVEL=5, BLOCKSIZE=1048576)

  Untuk informasi lebih lanjut, lihat CREATE TABLE.

• Simpan bucket OSS dan instans AnalyticDB for PostgreSQL di wilayah yang sama.

• Sesuaikan num_parallel_worker, oss_flush_block_size, dan oss_file_max_size berdasarkan volume data dan kondisi jaringan Anda.

Batasan

• Hanya instans V6.0 yang didukung. Untuk V7.0, gunakan tabel eksternal OSS.

• Hanya format TEXT dan CSV yang didukung.

• Hanya kompresi GZIP yang didukung (compressiontype=gzip).

• prefix dan dir saling eksklusif—tentukan hanya salah satu per tabel eksternal.

• Ekspresi reguler tidak didukung dalam prefix.

• Semua karakter kontrol format (DELIMITER, QUOTE, ESCAPE, NULL) harus berupa karakter satu byte.

• Sintaks tabel eksternal mengikuti konvensi Greenplum Database, kecuali untuk parameter yang terkait lokasi.

Pemecahan masalah

Saat terjadi kesalahan ekspor, log kesalahan mencakup:

Untuk daftar lengkap kode kesalahan, lihat Tanggapan kesalahan. Untuk memperbaiki kesalahan terkait timeout, sesuaikan parameter oss_speed_limit dan oss_speed_time.Tanggapan kesalahan API OSSTanggapan kesalahan API OSS

Lihat juga

• Nama domain OSS

• Dokumentasi OSSInformasi titik akhir OSS

• Penanganan kesalahan