DataWorks：Sumber data PostgreSQL

Baca dan tulis offline

• Sumber data PostgreSQL mendukung autentikasi berbasis kata sandi, termasuk metode SCRAM-SHA-256. Jika Anda mengubah kata sandi atau metode autentikasi di database PostgreSQL, Anda harus memperbarui konfigurasi sumber data, menguji koneksi lagi, dan menjalankan tugas terkait secara manual untuk memverifikasi perubahan tersebut.

• Jika nama tabel atau bidang di PostgreSQL diawali dengan angka, bersifat case-sensitive, atau mencakup tanda hubung (-), Anda harus membungkus nama tersebut dengan tanda kutip ganda (""). Jika tidak, plugin PostgreSQL tidak dapat membaca atau menulis data. Di plugin PostgreSQL Reader dan Writer, tanda kutip ganda ("") merupakan kata kunci JSON. Oleh karena itu, Anda harus melakukan escape tanda kutip ganda tersebut dengan backslash (\). Misalnya, jika sebuah tabel bernama 123Test, nama yang telah di-escape adalah \"123Test\".

  Catatan

  • Baik tanda kutip ganda pembuka maupun penutup harus di-escape dengan backslash (\).

  • Antarmuka tanpa kode tidak mendukung escape karakter. Anda harus beralih ke editor kode untuk melakukan escape karakter.

  Kode berikut menunjukkan contoh cara melakukan escape karakter di editor kode.

  "parameter": {
      "datasource": "abc",
      "column": [
          "id",
          "\"123Test\"", // Tambahkan karakter escape.
  ],
  "where": "",
  "splitPk": "id",
  "table": "public.wpw_test"
  },

• Pembaruan data di sumber data PostgreSQL berdasarkan indeks unik tidak didukung. Untuk memperbarui data, Anda harus terlebih dahulu menulis data ke tabel sementara lalu menggunakan operasi RENAME.

Baca real-time

Batasan berikut berlaku untuk tugas sinkronisasi real-time di Data Integration:

• Data Integration menyediakan dukungan khusus untuk ADD COLUMN:

  • Batasan: Anda tidak dapat menggabungkan operasi ADD COLUMN dengan operasi ADD COLUMN, DROP COLUMN, atau pernyataan Data Definition Language (DDL) lainnya dalam satu transaksi.

    Penting

    Jika Anda menggunakan ADD COLUMN bersama dengan operasi lain seperti DROP COLUMN or RENAME COLUMN, yang merupakan perilaku ALTER COLUMN, tugas sinkronisasi data akan gagal.

  • Batasan: Data Integration tidak dapat mendeteksi operasi DDL selain ADD COLUMN.

• Operasi ALTER TABLE dan CREATE TABLE tidak didukung.

• Replikasi tabel TEMPORARY, UNLOGGED, dan Hyper tidak didukung. PostgreSQL tidak menyediakan mekanisme untuk mengurai log dan berlangganan jenis tabel ini.

• Replikasi Sequences (serial/bigserial/identity) tidak didukung.

• Operasi TRUNCATE tidak didukung.

• Replikasi objek besar (Bytea) tidak didukung.

• Replikasi tampilan, tampilan yang di-materialisasi, dan tabel eksternal tidak didukung.

Persiapan 1: Buat akun dan konfigurasikan izin

Buat akun login database untuk operasi selanjutnya. Akun ini harus memiliki izin REPLICATION dan LOGIN.

1. Buat akun.

   Untuk informasi selengkapnya, lihat Buat akun dan database.

2. Konfigurasikan izin.

   Periksa apakah akun memiliki izin replication.

   select userepl from pg_user where usename='xxx'

   Jika perintah mengembalikan `True`, izin telah diberikan. Jika mengembalikan `False`, izin belum diberikan. Untuk memberikan izin tersebut, jalankan pernyataan berikut:

   ALTER USER <user> REPLICATION;

Persiapan 2: Periksa dukungan database sekunder

SELECT pg_is_in_recovery()

Hanya database utama yang didukung. Perintah harus mengembalikan `False`. Jika mengembalikan `True`, database tersebut adalah database sekunder. Sinkronisasi real-time tidak mendukung database sekunder. Anda harus mengubah konfigurasi sumber data agar menggunakan database utama. Untuk informasi selengkapnya, lihat Konfigurasi sumber data PostgreSQL.

Persiapan 3: Periksa apakah wal_level diatur ke logical

show wal_level

Parameter wal_level menentukan tingkat wal_log. Perintah harus mengembalikan `logical`. Jika tidak, mekanisme replikasi logis tidak didukung.

Persiapan 4: Periksa apakah proses wal_sender dapat dimulai

-- Kueri max_wal_senders.
show max_wal_senders;

-- Kueri jumlah proses pg_stat_replication.
select count(*) from pg_stat_replication

Jika max_wal_senders tidak kosong, dan nilai max_wal_senders lebih besar daripada jumlah entri di pg_stat_replication, tersedia proses wal_sender yang menganggur. Database PostgreSQL memulai proses wal_sender untuk program sinkronisasi data guna mengirim log ke subscriber.

Untuk setiap tabel yang ingin Anda sinkronkan, Anda harus menjalankan pernyataan ALTER TABLE [tableName] REPLICA IDENTITY FULL untuk memberikan izin yang diperlukan. Jika tidak, tugas sinkronisasi real-time akan melaporkan kesalahan.

Setelah tugas sinkronisasi PostgreSQL real-time dimulai, tugas tersebut secara otomatis membuat slot dan publikasi di database. Nama slot menggunakan format di_slot_ + ID Solusi, dan nama publikasi menggunakan format di_pub_ + ID Solusi. Setelah tugas sinkronisasi real-time dihentikan atau dibatalkan publikasinya, Anda harus menghapus slot dan publikasi tersebut secara manual. Jika tidak, Write-Ahead Logging (WAL) PostgreSQL dapat terus bertambah.

Panduan konfigurasi tugas sinkronisasi offline untuk satu tabel

• Untuk informasi selengkapnya, lihat Konfigurasi tugas di antarmuka tanpa kode dan Konfigurasi tugas di editor kode.

• Untuk daftar lengkap parameter dan contoh skrip untuk editor kode, lihat Lampiran 1: Contoh skrip dan deskripsi parameter.

Panduan konfigurasi tugas baca offline basis data penuh dan sinkronisasi real-time

Untuk informasi selengkapnya, lihat Konfigurasi tugas sinkronisasi real-time untuk basis data penuh.

Konfigurasi tugas sinkronisasi batch menggunakan editor kode

Jika Anda ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip berdasarkan persyaratan format skrip terpadu. Untuk informasi selengkapnya, lihat Konfigurasi tugas di editor kode. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Contoh skrip Reader

Untuk mengonfigurasi pekerjaan yang menyinkronkan dan mengekstraksi data dari database PostgreSQL, lihat petunjuk di Konfigurasi tugas di editor kode.

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        {
            "stepType":"postgresql",// Nama plugin.
            "parameter":{
                "datasource":"",// Sumber data.
                "column":[// Bidang.
                    "col1",
                    "col2"
                ],
                "where":"",// Kondisi filter.
                "splitPk":"",// Bidang yang digunakan untuk sharding data. Sinkronisasi data memulai tugas konkuren untuk menyinkronkan data.
                "table":""// Nama tabel.
            },
            "name":"Reader",
            "category":"reader"
        },
        { 
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah catatan kesalahan.
        },
        "speed":{
            "throttle":true, // Jika throttle diatur ke false, parameter mbps tidak berlaku dan pengendalian aliran dinonaktifkan. Jika throttle diatur ke true, pengendalian aliran diaktifkan.
            "concurrent":1, // Jumlah pekerjaan konkuren.
            "mbps":"12"// Laju pengendalian aliran. 1 mbps setara dengan 1 MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter skrip Reader

Contoh skrip Writer

Kode berikut memberikan contoh konfigurasi skrip. Untuk informasi selengkapnya, lihat deskripsi parameter berikut.

{
  "type":"job",
  "version":"2.0",// Nomor versi.
  "steps":[ 
    {
      "stepType":"stream",
      "parameter":{},
      "name":"Reader",
      "category":"reader"
    },
    {
      "stepType":"postgresql",// Nama plugin.
      "parameter":{
        "datasource":"",// Sumber data.
        "column":[// Bidang.
          "col1",
          "col2"
        ],
        "table":"",// Nama tabel.
        "preSql":[],// Pernyataan SQL yang dijalankan sebelum tugas sinkronisasi data dijalankan.
        "postSql":[],// Pernyataan SQL yang dijalankan setelah tugas sinkronisasi data dijalankan.
      },
      "name":"Writer",
      "category":"writer"
    }
  ],
  "setting":{
    "errorLimit":{
      "record":"0"// Jumlah catatan kesalahan.
    },
    "speed":{
      "throttle":true,// Jika throttle diatur ke false, parameter mbps tidak berlaku dan pengendalian aliran dinonaktifkan. Jika throttle diatur ke true, pengendalian aliran diaktifkan.
      "concurrent":1, // Jumlah pekerjaan konkuren.
      "mbps":"12"// Laju pengendalian aliran. 1 mbps setara dengan 1 MB/s.
    }
  },
  "order":{
    "hops":[
      {
        "from":"Reader",
        "to":"Writer"
      }
    ]
  }
}

Parameter skrip Writer

{
    "job":
    {
        "content":
        [{
            "reader": {...},
            "writer":
            {
                "parameter":
                {
                    "column":
                    [
                        // Daftar bidang di tabel tujuan.
                        "bigint_arr",
                        "double_arr",
                        "text_arr",
                        "jsonb_obj",
                        "json_obj"
                    ],
                    "pgType":
                    {
                        // Pengaturan tipe khusus. Kunci adalah nama bidang di tabel tujuan, dan nilai adalah tipe bidang.
                        "bigint_arr": "bigint[]",
                        "double_arr": "double[]",
                        "text_arr": "text[]",
                        "jsonb_obj": "jsonb",
                        "json_obj": "json"
                    }

                }
            }
        }]
    }
}

Berkas autentikasi SSL PostgreSQL

Saat Anda membuat atau memodifikasi koneksi untuk sumber data PostgreSQL di DataWorks, Anda dapat mengonfigurasi autentikasi SSL. Tabel berikut menjelaskan item konfigurasi yang terkait dengan autentikasi SSL.

Memperoleh berkas autentikasi SSL PostgreSQL

Bagian ini menggunakan instans ApsaraDB RDS for PostgreSQL sebagai contoh untuk menghasilkan sertifikat autentikasi SSL.

1. Peroleh Truststore Certificate File.

   Untuk informasi selengkapnya tentang cara memperoleh Truststore Certificate File, lihat Gunakan sertifikat cloud untuk mengaktifkan enkripsi SSL dengan cepat.

   1. Buka halaman Instans RDS, temukan instans RDS di wilayah target, lalu klik ID instans untuk membuka halaman detail instans.

   2. Pilih string koneksi yang akan dilindungi, seperti yang ditunjukkan pada gambar berikut:

   

   Catatan

   • Jika titik akhir publik diaktifkan, sistem menampilkan titik akhir internal dan titik akhir publik. Sertifikat cloud hanya dapat melindungi satu titik akhir. Kami merekomendasikan agar Anda melindungi titik akhir publik karena terpapar ke internet, sedangkan titik akhir internal lebih aman di dalam VPC. Untuk informasi selengkapnya tentang cara melihat titik akhir internal dan publik, lihat Lihat titik akhir internal dan publik.

   • Untuk melindungi kedua titik akhir internal dan publik, lihat Gunakan sertifikat kustom untuk mengaktifkan enkripsi SSL.

   • Setelah Anda mengonfigurasi sertifikat cloud, Running Status instans berubah menjadi Modifying SSL. Proses ini memakan waktu sekitar tiga menit. Tunggu hingga status berubah menjadi Running sebelum melanjutkan.

   Klik Download CA Certificate untuk memperoleh file Truststore Certificate.

   

   Paket sertifikat CA yang diunduh berisi tiga file. Saat Anda mengonfigurasi sumber data PostgreSQL di DataWorks, unggah file dengan ekstensi .pem atau .p7b ke kolom Truststore Certificate File.

2. Peroleh dan konfigurasikan Keystore Certificate File, Private Key File, dan Private Key Password.

   Prasyarat: Anda telah menyelesaikan langkah-langkah di Gunakan sertifikat cloud untuk mengaktifkan enkripsi SSL dengan cepat atau Gunakan sertifikat kustom untuk mengaktifkan enkripsi SSL, dan Anda telah menginstal alat OpenSSL.

   Catatan

   Sistem Linux secara default menyertakan alat OpenSSL. Jika Anda menggunakan sistem Windows, Anda harus memperoleh dan menginstal paket OpenSSL.

   Untuk informasi selengkapnya tentang cara memperoleh dan mengonfigurasi Keystore Certificate File, Private Key File, dan Private Key Password, lihat Konfigurasi sertifikat CA klien.

   1. Gunakan alat OpenSSL untuk menghasilkan sertifikat tanda tangan sendiri (`ca1.crt`) dan kunci privat (`ca1.key`).

      openssl req -new -x509 -days 3650 -nodes -out ca1.crt -keyout ca1.key -subj "/CN=root-ca1"

   2. Hasilkan file permintaan penandatanganan sertifikat (CSR) klien (`client.csr`) dan kunci privat klien (`client.key`).

      openssl req -new -nodes -text -out client.csr -keyout client.key -subj "/CN=<Nama pengguna klien>"

      Dalam perintah ini, atur nilai Common Name (CN) setelah parameter -subj ke nama pengguna yang digunakan klien untuk mengakses database.

   3. Hasilkan sertifikat klien (`client.crt`).

      openssl x509 -req -in client.csr -text -days 365  -CA ca1.crt -CAkey ca1.key -CAcreateserial  -out client.crt

   4. Jika server ApsaraDB RDS for PostgreSQL Anda perlu memverifikasi sertifikat CA klien, buka file sertifikat tanda tangan sendiri yang dihasilkan `ca1.crt`. Salin konten sertifikat dan tempelkan ke kotak dialog Enter The Public Key Of The Client Certificate Authority.

   5. Setelah Anda mengonfigurasi sertifikat CA klien di instans RDS, Anda harus mengonversi file kunci privat klien `client.key` ke format PKCS#8 (`client.pk8`). Saat Anda mengonfigurasi sumber data PostgreSQL di DataWorks, unggah file `client.pk8` ke kolom Private Key File.

      cp client.key client.pk8

   6. Konfigurasikan kata sandi kunci privat.

      openssl pkcs8 -topk8 -inform PEM -in client.key -outform der -out client.pk8 -v1 PBE-MD5-DES

      Catatan

      Saat Anda menjalankan perintah untuk mengonfigurasi kata sandi kunci privat, Anda akan diminta memasukkan kata sandi. Jika Anda menetapkan kata sandi, Anda harus menggunakan kata sandi yang sama untuk kolom Kata Sandi Kunci Privat di konfigurasi sumber data PostgreSQL DataWorks.

Konfigurasi berkas autentikasi SSL PostgreSQL

Saat Anda mengunggah file sertifikat ke konfigurasi sumber data PostgreSQL di DataWorks, ikuti langkah-langkah berikut:

• Truststore Certificate File: Unggah file .pem atau .p7b yang Anda peroleh di langkah Memperoleh file sertifikat Truststore.

• Keystore Certificate File: Unggah file `client.crt` yang Anda peroleh di langkah Menghasilkan sertifikat klien.

• Private Key File: Unggah file `client.pk8` yang Anda peroleh di langkah Mengonversi file kunci privat.

• Private Key Password: Kata sandi yang dikonfigurasi di langkah Mengonfigurasi kata sandi kunci privat.

Configure ACL: Buka halaman Instans RDS, temukan instans RDS di wilayah target, lalu klik ID instans untuk membuka halaman detail instans. Klik Data Security > Configure ACL untuk memodifikasi pengaturan. Anda dapat memilih dari berbagai metode autentikasi SSL. Untuk informasi selengkapnya, lihat Paksa klien untuk menggunakan koneksi SSL.