DataWorks:Sumber data PostgreSQL

Baca dan tulis offline

Anda dapat membaca data dari views.

• Sumber data PostgreSQL mendukung autentikasi berbasis password, termasuk metode SCRAM-SHA-256. Jika Anda mengubah password atau metode autentikasi di database PostgreSQL, Anda harus memperbarui konfigurasi sumber data, menguji koneksi lagi, dan menjalankan tugas terkait secara manual untuk memverifikasi perubahan tersebut.

• PostgreSQL

• Jika nama tabel atau kolom di PostgreSQL diawali angka, case-sensitive, atau mengandung tanda hubung (-), Anda harus membungkus nama tersebut dengan tanda kutip ganda (""). Jika tidak, plugin PostgreSQL tidak dapat membaca atau menulis data. Di plugin PostgreSQL Reader dan Writer, tanda kutip ganda ("") merupakan kata kunci JSON. Oleh karena itu, Anda harus melakukan escape tanda kutip ganda tersebut dengan backslash (\). Misalnya, jika sebuah tabel bernama 123Test, nama yang telah di-escape adalah \"123Test\".

  Catatan

  • Kedua tanda kutip ganda (pembuka dan penutup) harus di-escape dengan backslash (\).

  • Mode wizard tidak mendukung escaping. Anda harus beralih ke mode skrip untuk melakukan escaping karakter.

  Kode berikut menunjukkan contoh cara melakukan escaping karakter dalam mode skrip.

  "parameter": {
      "datasource": "abc",
      "column": [
          "id",
          "\"123Test\"", //Tambahkan karakter escape
  ],
  "where": "",
  "splitPk": "id",
  "table": "public.wpw_test"
  },

• Pembaruan data di sumber data PostgreSQL berdasarkan indeks unik tidak didukung. Untuk memperbarui data, Anda harus terlebih dahulu menulis data ke tabel temporary, lalu menggunakan operasi RENAME.

Baca real-time

Batasan berikut berlaku untuk tugas sinkronisasi real-time di Data Integration:

• Data Integration memberikan dukungan khusus untuk ADD COLUMN:

  • Batasan: Anda tidak dapat menggabungkan operasi ADD COLUMN dengan operasi ADD COLUMN, DROP COLUMN, atau pernyataan DDL lainnya dalam satu transaksi.

    Penting

    Jika Anda menggunakan ADD COLUMN bersama operasi lain seperti DROP COLUMN、RENAME COLUMN atau operasi ALTER COLUMN lainnya, tugas sinkronisasi data mungkin gagal berjalan dengan benar.

  • Batasan: Operasi DDL selain ADD COLUMN tidak dapat dikenali.

• ALTER TABLE/CREATE TABLE tidak didukung.

• Replikasi tabel TEMPORARY, tabel UNLOGGED, dan tabel Hyper tidak didukung. PostgreSQL tidak menyediakan mekanisme untuk berlangganan parsing log WAL untuk jenis tabel ini.

• Replikasi Sequences (serial/bigserial/identity) tidak didukung.

• Operasi TRUNCATE tidak didukung.

• Replikasi objek besar (Bytea) tidak didukung.

• Replikasi views, materialized views, dan foreign tables tidak didukung.

• Ketika PostgreSQL digunakan sebagai sumber untuk sinkronisasi real-time satu tabel atau sinkronisasi real-time seluruh database, hanya tabel yang memiliki izin owner pada akun tersebut yang dapat disinkronkan.

Persiapan 1: Buat akun dan konfigurasi izin

Anda harus merencanakan akun login database untuk operasi selanjutnya. Akun ini harus memiliki izin REPLICATION、 LOGIN pada database.

Sinkronisasi real-time hanya mendukung mekanisme replikasi logis. Replikasi logis menggunakan model publish-and-subscribe di mana satu atau lebih subscriber berlangganan ke satu atau lebih publication pada node publisher. Subscriber menarik data dari publication yang mereka langgani.

Replikasi logis suatu tabel biasanya dimulai dengan mengambil snapshot data pada database publisher dan menyalinnya ke subscriber. Setelah snapshot selesai, perubahan pada publisher dikirim ke subscriber secara real-time.

1. Buat akun.

   Untuk informasi lebih lanjut, lihat Buat akun.

2. Konfigurasi izin.

   Periksa apakah akun memiliki izin replication.

   select userepl from pg_user where usename='xxx'

   Hasil yang diharapkan adalah True. Jika hasilnya False, akun tersebut tidak memiliki izin. Anda dapat menjalankan pernyataan berikut untuk memberikan izin tersebut.

   ALTER USER <user> REPLICATION;

Persiapan 2: Periksa apakah database standby didukung

SELECT pg_is_in_recovery()

Hanya database utama yang didukung. Hasil yang diharapkan adalah False. Jika hasilnya True, database tersebut adalah database standby. Sinkronisasi real-time tidak mendukung database standby. Anda harus mengubah konfigurasi sumber data agar mengarah ke database utama. Untuk informasi lebih lanjut, lihat Konfigurasi sumber data.

Persiapan 3: Periksa apakah wal_level diatur ke logical

show wal_level

wal_level menentukan tingkat wal_log. Nilai yang diharapkan adalah logical. Jika tidak, mekanisme replikasi logis tidak didukung.

Persiapan 4: Periksa apakah proses wal_sender dapat dimulai

-- Query max_wal_senders
show max_wal_senders;

-- Query jumlah entri pg_stat_replication
select count(*) from pg_stat_replication

Jika max_wal_senders tidak kosong dan nilainya lebih besar daripada jumlah entri max_wal_senders di pg_stat_replication, tersedia proses wal_sender yang idle. Database PostgreSQL memulai proses wal_sender untuk program sinkronisasi data agar mengirim log ke subscriber.

Untuk setiap tabel yang perlu disinkronkan, Anda harus menjalankan pernyataan ALTER TABLE [tableName] REPLICA IDENTITY FULL secara manual untuk memberikan izin yang diperlukan. Jika tidak, tugas sinkronisasi real-time akan gagal.

Setelah tugas sinkronisasi real-time PostgreSQL dimulai, slot dan publication dibuat secara otomatis di database. Format nama slot adalah di_slot_ + ID Solusi , dan format nama publication adalah di_pub_ + ID Solusi. Setelah tugas sinkronisasi real-time dihentikan atau diundeploy, Anda harus menghapus slot dan publication tersebut secara manual. Jika tidak, file WAL PostgreSQL dapat terus bertambah.

Panduan konfigurasi tugas sinkronisasi batch satu tabel

• Untuk informasi lebih lanjut tentang prosedurnya, lihat Konfigurasi tugas sinkronisasi batch dalam mode wizard dan Konfigurasi tugas sinkronisasi batch dalam mode skrip.

• Untuk semua parameter dan demo skrip konfigurasi mode skrip, lihat Lampiran 1: Demo skrip dan deskripsi parameter di bawah.

Panduan konfigurasi tugas sinkronisasi baca batch seluruh database dan baca real-time seluruh database

Untuk informasi lebih lanjut tentang prosedurnya, lihat Konfigurasi tugas sinkronisasi batch seluruh database dan Konfigurasi tugas sinkronisasi real-time seluruh database.

Konfigurasi tugas sinkronisasi batch menggunakan editor kode

Jika Anda ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip berdasarkan persyaratan format skrip terpadu. Untuk informasi lebih lanjut, lihat Konfigurasi mode skrip. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Demo skrip Reader

Untuk mengonfigurasi pekerjaan yang mengekstraksi data dari database PostgreSQL, gunakan mode skrip. Untuk informasi lebih lanjut, lihat Konfigurasi tugas sinkronisasi batch dalam mode skrip.

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        {
            "stepType":"postgresql",// Nama plugin.
            "parameter":{
                "datasource":"",// Sumber data.
                "column":[// Kolom.
                    "col1",
                    "col2"
                ],
                "where":"",// Kondisi filter.
                "splitPk":"",// Kolom yang digunakan sebagai kunci split untuk sharding data. Sinkronisasi data memulai tugas konkuren untuk sinkronisasi data.
                "table":""// Nama tabel.
            },
            "name":"Reader",
            "category":"reader"
        },
        { 
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah error.
        },
        "speed":{
            "throttle":true, // Nilai false untuk throttle menunjukkan bahwa pembatasan kecepatan dinonaktifkan dan parameter mbps tidak berlaku. Nilai true menunjukkan bahwa pembatasan kecepatan diaktifkan.
            "concurrent":1, // Konkurensi pekerjaan.
            "mbps":"12"// Laju pembatasan. 1 mbps = 1 MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter skrip Reader

Demo skrip Writer

Berikut adalah contoh konfigurasi skrip. Untuk informasi lebih lanjut, lihat deskripsi parameter di atas.

{
  "type":"job",
  "version":"2.0",// Nomor versi.
  "steps":[ 
    {
      "stepType":"stream",
      "parameter":{},
      "name":"Reader",
      "category":"reader"
    },
    {
      "stepType":"postgresql",// Nama plugin.
      "parameter":{
        "datasource":"",// Sumber data.
        "column":[// Kolom.
          "col1",
          "col2"
        ],
        "table":"",// Nama tabel.
        "preSql":[],// Pernyataan SQL yang dieksekusi sebelum tugas sinkronisasi data.
        "postSql":[],// Pernyataan SQL yang dieksekusi setelah tugas sinkronisasi data.
      },
      "name":"Writer",
      "category":"writer"
    }
  ],
  "setting":{
    "errorLimit":{
      "record":"0"// Jumlah error.
    },
    "speed":{
      "throttle":true,// Nilai false untuk throttle menunjukkan bahwa pembatasan kecepatan dinonaktifkan dan parameter mbps tidak berlaku. Nilai true menunjukkan bahwa pembatasan kecepatan diaktifkan.
      "concurrent":1, // Konkurensi pekerjaan.
      "mbps":"12"// Laju pembatasan. 1 mbps = 1 MB/s.
    }
  },
  "order":{
    "hops":[
      {
        "from":"Reader",
        "to":"Writer"
      }
    ]
  }
}

Parameter skrip Writer

{
    "job":
    {
        "content":
        [{
            "reader": {...},
            "writer":
            {
                "parameter":
                {
                    "column":
                    [
                        // Daftar field tabel tujuan
                        "bigint_arr",
                        "double_arr",
                        "text_arr",
                        "jsonb_obj",
                        "json_obj"
                    ],
                    "pgType":
                    {
                        // Pengaturan tipe khusus. Kunci adalah nama field tabel tujuan, dan nilai adalah tipe field.
                        "bigint_arr": "bigint[]",
                        "double_arr": "double[]",
                        "text_arr": "text[]",
                        "jsonb_obj": "jsonb",
                        "json_obj": "json"
                    }

                }
            }
        }]
    }
}

Deskripsi file autentikasi SSL PostgreSQL

Saat membuat atau mengubah koneksi sumber data PostgreSQL di DataWorks, Anda dapat mengonfigurasi autentikasi SSL. Parameter konfigurasi autentikasi SSL dijelaskan di bawah ini.

• Ketika konfigurasi ACL diatur ke prefer, konten klien tidak diberlakukan untuk verifikasi.

  • Jika tidak ada file yang dikonfigurasi untuk autentikasi SSL, koneksi reguler digunakan.

  • Jika file autentikasi ditambahkan untuk autentikasi SSL, lihat deskripsi yang sesuai dalam tabel di atas.

• Saat konfigurasi ACL diatur ke verify-ca, konfigurasikan Keystore certificate file, Private key file, dan Private key password untuk membuat Sumber data.

Memperoleh file autentikasi SSL PostgreSQL

Bagian ini menggunakan instans ApsaraDB RDS for PostgreSQL sebagai contoh untuk menghasilkan sertifikat autentikasi SSL.

1. Dapatkan file sertifikat Truststore.

   Untuk informasi lebih lanjut tentang memperoleh File sertifikat Truststore, lihat Konfigurasi koneksi terenkripsi SSL.

   1. Buka daftar instans RDS, klik instans RDS di wilayah yang sesuai, lalu klik ID instans target untuk membuka halaman detail instans.

   2. Pilih string koneksi yang ingin Anda lindungi. Prosedur berikut menunjukkan langkah-langkahnya:

   

   Catatan

   • Jika titik akhir publik diaktifkan, baik titik akhir internal maupun publik ditampilkan. Sertifikat cloud hanya dapat melindungi satu titik akhir. Karena titik akhir internal relatif lebih aman, kami merekomendasikan Anda melindungi titik akhir publik. Untuk informasi lebih lanjut tentang cara melihat titik akhir internal dan publik, lihat Lihat titik akhir internal dan publik.

   • Jika Anda perlu melindungi kedua titik akhir internal dan publik, lihat Konfigurasi sertifikat kustom.

   • Setelah Anda mengonfigurasi sertifikat cloud, Running Status instans berubah menjadi Memodifikasi SSL. Status ini berlangsung sekitar tiga menit. Tunggu hingga status berjalan berubah menjadi Running sebelum melanjutkan.

   c. Klik Unduh Sertifikat CA untuk memperoleh file Sertifikat Truststore.

   

   Paket sertifikat CA yang diunduh berisi tiga file. Saat mengonfigurasi sumber data PostgreSQL di DataWorks, unggah file dengan ekstensi .pem atau file dengan ekstensi .p7b ke item konfigurasi File sertifikat Truststore.

2. Dapatkan dan konfigurasikan file sertifikat Keystore, file kunci privat, serta kata sandi kunci privat.

   Prasyarat: Anda telah menyelesaikan mengonfigurasi koneksi terenkripsi SSL atau mengonfigurasi sertifikat kustom, dan Anda memiliki tool OpenSSL.

   Catatan

   Jika Anda menggunakan sistem Linux, OpenSSL sudah terinstal sebelumnya. Jika Anda menggunakan sistem Windows, unduh dan instal paket perangkat lunak OpenSSL.

   Untuk informasi lebih lanjut tentang memperoleh dan mengonfigurasi File sertifikat Keystore, File kunci privat, dan Password kunci privat, lihat Konfigurasi sertifikat klien.

   1. Gunakan tool OpenSSL pada sistem Linux atau instal perangkat lunak OpenSSL pada sistem Windows untuk menghasilkan sertifikat tanda tangan sendiri (ca1.crt) dan kunci privatnya (ca1.key).

      openssl req -new -x509 -days 3650 -nodes -out ca1.crt -keyout ca1.key -subj "/CN=root-ca1"

   2. Hasilkan file permintaan penandatanganan sertifikat klien (client.csr) dan kunci privat sertifikat klien (client.key).

      openssl req -new -nodes -text -out client.csr -keyout client.key -subj "/CN=<client_username>"

      Dalam perintah ini, nilai CN setelah parameter -subj harus diatur ke username yang digunakan klien untuk mengakses database.

   3. Hasilkan sertifikat klien (client.crt).

      openssl x509 -req -in client.csr -text -days 365  -CA ca1.crt -CAkey ca1.key -CAcreateserial  -out client.crt

   4. Jika server RDS PostgreSQL Anda memerlukan verifikasi sertifikat CA klien, buka file sertifikat tanda tangan sendiri klien yang dihasilkan ca1.crt, salin konten sertifikatnya, dan tempelkan ke dialog Konten Kunci Publik Sertifikat CA Klien sebagai sertifikat CA klien.

   5. Setelah mengonfigurasi sertifikat CA klien di sisi RDS, saat mengonfigurasi sumber data PostgreSQL di DataWorks, konversi kunci privat sertifikat klien client.key menjadi file client.pk8, dan unggah file client.pk8 ke item konfigurasi File kunci privat dalam konfigurasi sumber data PostgreSQL DataWorks.

      cp client.key client.pk8

   6. Konfigurasikan password kunci privat.

      openssl pkcs8 -topk8 -inform PEM -in client.key -outform der -out client.pk8 -v1 PBE-MD5-DES

      Catatan

      Saat menjalankan perintah untuk mengonfigurasi password kunci privat, Anda harus memasukkan password. Jika Anda menetapkan password, gunakan password yang sama untuk password kunci privat dalam konfigurasi sumber data PostgreSQL DataWorks.

Konfigurasi file autentikasi SSL PostgreSQL

Saat mengunggah file sertifikat yang diperoleh ke item konfigurasi PostgreSQL DataWorks, lakukan operasi berikut:

• File sertifikat Truststore: Unggah file dengan ekstensi .pem atau file dengan ekstensi .p7b yang diperoleh dalam langkah Memperoleh file sertifikat Truststore.

• File sertifikat Keystore: Unggah file sertifikat klien client.crt yang diperoleh dalam langkah Menghasilkan sertifikat klien.

• File kunci privat: Unggah file client.pk8 yang dikonversi dari kunci privat sertifikat klien client.key dalam langkah Mengonversi file kunci privat.

• Password kunci privat: Password yang dikonfigurasi dalam langkah Mengonfigurasi password kunci privat.

Konfigurasi ACL: Buka daftar instans RDS, klik instans RDS di wilayah yang sesuai, klik ID instans target untuk membuka halaman detail instans, lalu klik Keamanan Data > Konfigurasi ACL untuk memodifikasi pengaturan. Anda dapat memilih metode autentikasi SSL yang berbeda. Untuk informasi lebih lanjut, lihat Konfigurasi ACL.

• Jika metode autentikasi ACL diatur ke prefer, server PostgreSQL tidak menerapkan verifikasi sertifikat klien.

• Jika metode autentikasi ACL diatur ke verify-ca di RDS PostgreSQL, Anda harus mengunggah sertifikat klien yang benar saat mengonfigurasi sumber data PostgreSQL di DataWorks, sehingga server dapat memverifikasi otentikasi klien.