AnalyticDB：Gunakan tabel asing OSS untuk analisis danau data

Batasan

Instansi AnalyticDB for PostgreSQL dan Bucket OSS yang terlibat dalam impor dan ekspor data harus berada di wilayah yang sama.

Ikhtisar

OSS FDW dikembangkan berdasarkan PostgreSQL FDW. OSS FDW memungkinkan Anda melakukan operasi berikut:

• Mengimpor data OSS ke tabel berorientasi baris atau kolom dari instansi AnalyticDB for PostgreSQL untuk analisis data yang dipercepat.

• Meminta dan menganalisis sejumlah besar data OSS.

• Menggabungkan tabel asing OSS dengan tabel AnalyticDB for PostgreSQL untuk analisis data.

OSS FDW mendukung objek data berikut dalam berbagai skenario bisnis:

• Objek CSV, TEXT, JSON, dan JSON Lines yang tidak dikompresi.

• Objek CSV dan TEXT yang dikompresi GZIP dan Snappy standar.

• Objek JSON dan JSON Lines yang dikompresi GZIP.

• Objek biner ORC. Untuk informasi tentang pemetaan tipe data antara ORC dan AnalyticDB for PostgreSQL, lihat bagian "Pemetaan tipe data antara ORC dan AnalyticDB for PostgreSQL" dari topik Pemetaan tipe data untuk tabel asing OSS.

• Objek biner Parquet. Untuk informasi tentang pemetaan tipe data antara Parquet dan AnalyticDB for PostgreSQL, lihat bagian "Pemetaan tipe data antara Parquet dan AnalyticDB for PostgreSQL" dari topik Pemetaan tipe data untuk tabel asing OSS.

• Objek biner Avro. Untuk informasi tentang pemetaan tipe data antara Avro dan AnalyticDB for PostgreSQL, lihat bagian "Pemetaan tipe data antara Avro dan AnalyticDB for PostgreSQL" dari topik Pemetaan tipe data untuk tabel asing OSS.

Persiapan

Siapkan data OSS

Siapkan file contoh bernama example.csv.

Dapatkan informasi bucket OSS

Prosedur berikut menunjukkan cara mendapatkan bucket name, object path, endpoint, dan bucket domain name.

1. Masuk ke Konsol OSS.

2. Di panel navigasi sisi kiri, klik Buckets.

3. Di halaman Buckets, klik nama sebuah bucket.

   Anda bisa mendapatkan bucket name di halaman Buckets.

4. Di halaman Object Management, peroleh jalur objek.

5. Di panel navigasi sisi kiri, klik Overview.

6. Di bagian Port dari halaman Overview, dapatkan endpoint dan bucket domain name yang sesuai.

   Kami merekomendasikan Anda menggunakan titik akhir dari Access from ECS over the VPC (internal network) untuk akses data.

Dapatkan ID AccessKey dan Rahasia AccessKey

Untuk informasi tentang cara mendapatkan ID AccessKey dan Rahasia AccessKey, lihat Buat pasangan AccessKey.

Buat server OSS

Eksekusi pernyataan CREATE SERVER untuk membuat server OSS. Anda harus menentukan nama untuk server OSS yang ingin Anda akses. Untuk informasi lebih lanjut tentang CREATE SERVER, lihat CREATE SERVER.

Sintaksis

CREATE SERVER server_name
    FOREIGN DATA WRAPPER fdw_name
    [ OPTIONS ( option 'value' [, ... ] ) ]

Parameter

Tabel berikut menjelaskan parameter yang terlibat dalam OPTIONS.

Contoh

CREATE SERVER oss_serv
    FOREIGN DATA WRAPPER oss_fdw
    OPTIONS (
        endpoint 'oss-cn-********.aliyuncs.com',
        bucket 'adb-pg'
  );

Anda juga bisa mengeksekusi pernyataan ALTER SERVER untuk memodifikasi konfigurasi server OSS. Untuk informasi lebih lanjut, lihat ALTER SERVER.

Contoh untuk memodifikasi konfigurasi server OSS:

• Modifikasi parameter.

  ALTER SERVER oss_serv OPTIONS(SET endpoint 'oss-cn-********.aliyuncs.com');

• Tambahkan parameter.

  ALTER SERVER oss_serv OPTIONS(ADD connect_timeout '20');

• Hapus parameter.

  ALTER SERVER oss_serv OPTIONS(DROP connect_timeout);

Anda juga bisa mengeksekusi pernyataan DROP SERVER untuk menghapus server OSS. Untuk informasi lebih lanjut, lihat DROP SERVER.

Buat pemetaan pengguna ke server OSS

Setelah Anda membuat server OSS, Anda harus membuat pengguna yang mengakses server OSS. Anda bisa mengeksekusi pernyataan CREATE USER MAPPING untuk membuat pemetaan pengguna antara pengguna basis data AnalyticDB for PostgreSQL dan pengguna yang mengakses server OSS. Untuk informasi lebih lanjut, lihat CREATE USER MAPPING.

Sintaksis

CREATE USER MAPPING FOR { username | USER | CURRENT_USER | PUBLIC }
    SERVER <server_name>
    [ OPTIONS ( option 'value' [, ... ] ) ]

Parameter

Tabel berikut menjelaskan parameter yang terlibat dalam OPTIONS.

Contoh

CREATE USER MAPPING FOR PUBLIC
    SERVER oss_serv
    OPTIONS (
        id 'LTAI****************',
        key 'yourAccessKeySecret'
    );

Anda juga bisa mengeksekusi pernyataan DROP USER MAPPING untuk menghapus pengguna. Untuk informasi lebih lanjut, lihat DROP USER MAPPING.

Buat tabel asing OSS

Setelah Anda membuat server OSS dan pengguna untuk mengakses server tersebut, Anda dapat mengeksekusi pernyataan CREATE FOREIGN TABLE untuk membuat tabel asing OSS. Untuk informasi lebih lanjut, lihat CREATE FOREIGN TABLE.

Sintaksis

CREATE FOREIGN TABLE [ IF NOT EXISTS ] table_name ( [
    column_name data_type [ OPTIONS ( option 'value' [, ... ] ) ] [ COLLATE collation ] [ column_constraint [ ... ] ]
      [, ... ]
] )
    SERVER server_name
  [ OPTIONS ( option 'value' [, ... ] ) ]

Parameter

Tabel berikut menjelaskan parameter yang terlibat dalam OPTIONS.

Contoh

CREATE FOREIGN TABLE ossexample (
    date text,
    time text,
    open float,
    high float,
    low float,
    volume int
) SERVER oss_serv OPTIONS (dir 'dir_oss_adb/', format 'csv');

Anda juga bisa mengeksekusi pernyataan DROP FOREIGN TABLE untuk menghapus tabel asing OSS. Untuk informasi lebih lanjut, lihat DROP FOREIGN TABLE.

Minta dan analisis data OSS

Anda dapat meminta data tabel asing OSS dengan cara yang sama seperti tabel AnalyticDB for PostgreSQL. Metode permintaan berikut dapat digunakan:

• Minta data dengan menentukan pasangan nilai-kunci.

  SELECT * FROM ossexample WHERE volume = 5;

• Minta data dengan menggunakan fungsi agregat.

  SELECT count(*) FROM ossexample WHERE volume = 5;

• Minta data dengan menentukan kolom dan menggunakan klausa GROUP BY dan LIMIT.

  SELECT low, sum(volume)
    FROM ossexample
   GROUP BY low
   ORDER BY low
   limit 5;

Gabungkan tabel asing OSS dengan tabel AnalyticDB for PostgreSQL untuk analisis data

1. Buat tabel AnalyticDB for PostgreSQL bernama example untuk analisis gabungan dan masukkan data ke dalam tabel.

   CREATE TABLE example (id int, volume int);
   INSERT INTO example VALUES(1,1), (2,3), (4,5);

2. Gabungkan tabel asing OSS ossexample dengan tabel AnalyticDB for PostgreSQL example untuk permintaan data.

   SELECT example.volume, min(high), max(low)
   FROM
   ossexample,
   example
   WHERE ossexample.volume = example.volume
   GROUP BY(example.volume)
   ORDER BY example.volume;

Toleransi kesalahan

OSS FDW menggunakan parameter log_errors dan segment_reject_limit untuk memberikan fitur toleransi kesalahan sehingga pemindaian tabel asing OSS tidak terganggu oleh kesalahan dalam data mentah.

Untuk informasi lebih lanjut tentang parameter log_errors dan segment_reject_limit, lihat bagian "Buat tabel asing OSS" dari topik ini.

• Buat tabel asing OSS yang mendukung toleransi kesalahan.

  CREATE FOREIGN TABLE oss_error_sales (id int, value float8, x text)
      SERVER oss_serv
      OPTIONS (log_errors 'true',         -- Catat informasi baris kesalahan.
               segment_reject_limit '10', -- Tentukan ambang batas untuk menghentikan pemindaian. Jika jumlah baris kesalahan melebihi 10, pemindaian berhenti. 
               dir 'error_sales/',        -- Tentukan direktori objek OSS yang cocok dengan tabel asing.
               format 'csv',              -- Tentukan CSV sebagai format untuk mengurai objek.
               encoding 'utf8');          -- Tentukan format penyandian.

• Minta log baris kesalahan.

  SELECT * FROM gp_read_error_log('oss_error_sales');

• Hapus log baris kesalahan.

  SELECT gp_truncate_error_log('oss_error_sales');

FAQ

T: Apakah data yang disimpan di OSS juga dihapus jika saya menghapus data dari tabel asing OSS?

A: Tidak, data yang disimpan di OSS tidak akan dihapus jika Anda menghapus data dari tabel asing OSS.

Referensi

• Gunakan tabel asing OSS yang dipartisi

• Gunakan tabel asing OSS untuk mengimpor dan mengekspor data

• Praktik terbaik untuk melakukan operasi pada tabel asing OSS

• Pemetaan tipe data untuk tabel asing OSS