DataWorks:PostgreSQL

Baca dan tulis offline

• Sumber data PostgreSQL mendukung autentikasi berbasis password, termasuk metode SCRAM-SHA-256. Jika Anda mengubah password atau metode autentikasi di database PostgreSQL, Anda harus memperbarui konfigurasi sumber data, menguji koneksi lagi, dan menjalankan tugas terkait secara manual untuk memverifikasi perubahan tersebut.

• Jika nama tabel atau field di PostgreSQL diawali dengan angka, bersifat case-sensitive, atau mengandung tanda hubung (-), Anda harus membungkus nama tersebut dalam tanda kutip ganda (""). Jika tidak, plugin PostgreSQL tidak dapat membaca atau menulis data. Di plugin PostgreSQL Reader dan Writer, tanda kutip ganda ("") merupakan kata kunci JSON. Oleh karena itu, Anda harus melakukan escape tanda kutip ganda tersebut dengan backslash (\). Sebagai contoh, jika sebuah tabel bernama 123Test, maka nama yang telah di-escape adalah \"123Test\".

  Catatan

  • Kedua tanda kutip ganda (pembuka dan penutup) harus di-escape dengan backslash (\).

  • Antarmuka tanpa kode tidak mendukung escaping. Anda harus beralih ke editor kode untuk melakukan escaping karakter.

  Kode berikut menunjukkan contoh cara melakukan escaping karakter di editor kode.

  "parameter": {
      "datasource": "abc",
      "column": [
          "id",
          "\"123Test\"", // Tambahkan karakter escape.
  ],
  "where": "",
  "splitPk": "id",
  "table": "public.wpw_test"
  },

• Pembaruan data di sumber data PostgreSQL berdasarkan indeks unik tidak didukung. Untuk memperbarui data, Anda harus terlebih dahulu menulis data ke tabel temporary, lalu menggunakan operasi RENAME.

Baca real-time

Batasan berikut berlaku untuk tugas sinkronisasi real-time di Data Integration:

• Data Integration menyediakan dukungan khusus untuk ADD COLUMN:

  • Batasan: Anda tidak dapat menggabungkan operasi ADD COLUMN dengan operasi ADD COLUMN, DROP COLUMN, atau pernyataan Data Definition Language (DDL) lainnya dalam satu transaksi.

    Penting

    Jika Anda menggunakan ADD COLUMN bersamaan dengan operasi lain seperti DROP COLUMN or RENAME COLUMN, yang merupakan perilaku ALTER COLUMN, tugas sinkronisasi data akan gagal.

  • Batasan: Data Integration tidak dapat mendeteksi operasi DDL selain ADD COLUMN.

• Operasi ALTER TABLE dan CREATE TABLE tidak didukung.

• Replikasi tabel TEMPORARY, UNLOGGED, dan Hyper tidak didukung. PostgreSQL tidak menyediakan mekanisme untuk mengurai log dan berlangganan jenis tabel tersebut.

• Replikasi Sequences (serial/bigserial/identity) tidak didukung.

• Operasi TRUNCATE tidak didukung.

• Replikasi objek besar (Bytea) tidak didukung.

• Replikasi views, materialized views, dan foreign tables tidak didukung.

• Saat menggunakan PostgreSQL sebagai sumber untuk sinkronisasi real-time tingkat tabel tunggal atau seluruh database, Anda hanya dapat menyinkronkan tabel yang dimiliki oleh pengguna database yang dikonfigurasi.

Persiapan 1: Buat akun dan konfigurasikan izin

Buat akun login database untuk operasi selanjutnya. Akun ini harus memiliki izin REPLICATION dan LOGIN.

1. Buat akun.

   Untuk informasi selengkapnya, lihat Buat akun dan database.

2. Konfigurasikan izin.

   Periksa apakah akun memiliki izin replication.

   select userepl from pg_user where usename='xxx'

   Jika perintah mengembalikan True, izin telah diberikan. Jika mengembalikan False, izin belum diberikan. Untuk memberikan izin tersebut, jalankan pernyataan berikut:

   ALTER USER <user> REPLICATION;

Persiapan 2: Periksa dukungan database sekunder

SELECT pg_is_in_recovery()

Hanya database utama yang didukung. Perintah harus mengembalikan False. Jika mengembalikan True, database tersebut adalah database sekunder. Sinkronisasi real-time tidak mendukung database sekunder. Anda harus mengubah konfigurasi sumber data untuk menggunakan database utama. Untuk informasi selengkapnya, lihat Konfigurasi sumber data PostgreSQL.

Persiapan 3: Periksa apakah wal_level diatur ke logical

show wal_level

Parameter wal_level menentukan tingkat wal_log. Perintah harus mengembalikan logical. Jika tidak, mekanisme replikasi logis tidak didukung.

Persiapan 4: Periksa apakah proses wal_sender dapat dimulai

-- Query max_wal_senders.
show max_wal_senders;

-- Query jumlah proses pg_stat_replication.
select count(*) from pg_stat_replication

Jika max_wal_senders tidak kosong, dan nilai max_wal_senders lebih besar daripada jumlah entri di pg_stat_replication, maka tersedia proses wal_sender yang idle. Database PostgreSQL memulai proses wal_sender untuk program sinkronisasi data guna mengirim log ke subscriber.

Untuk setiap tabel yang ingin Anda sinkronkan, Anda harus menjalankan pernyataan ALTER TABLE [tableName] REPLICA IDENTITY FULL untuk memberikan izin yang diperlukan. Jika tidak, tugas sinkronisasi real-time akan melaporkan error.

Setelah tugas sinkronisasi real-time PostgreSQL dimulai, sistem secara otomatis membuat slot dan publication di database. Nama slot mengikuti format di_slot_ + ID Solusi, dan nama publication mengikuti format di_pub_ + ID Solusi. Setelah tugas sinkronisasi real-time dihentikan atau dibatalkan publikasinya, Anda harus menghapus slot dan publication tersebut secara manual. Jika tidak, Write-Ahead Logging (WAL) PostgreSQL dapat terus bertambah.

Panduan konfigurasi tugas sinkronisasi offline untuk tabel tunggal

• Untuk informasi selengkapnya, lihat Gunakan antarmuka tanpa kode dan Gunakan editor kode.

• Untuk daftar lengkap parameter dan contoh skrip editor kode, lihat Lampiran 1: Contoh skrip dan deskripsi parameter.

Panduan konfigurasi tugas baca offline seluruh database dan sinkronisasi real-time

Untuk informasi selengkapnya, lihat Konfigurasi tugas sinkronisasi real-time untuk seluruh database.

Konfigurasi tugas sinkronisasi batch menggunakan editor kode

Jika Anda ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip berdasarkan persyaratan format skrip terpadu. Untuk informasi selengkapnya, lihat Gunakan editor kode. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Contoh skrip Reader

Untuk mengonfigurasi pekerjaan yang menyinkronkan dan mengekstraksi data dari database PostgreSQL, lihat petunjuk di Gunakan editor kode.

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        {
            "stepType":"postgresql",// Nama plugin.
            "parameter":{
                "datasource":"",// Sumber data.
                "column":[// Field.
                    "col1",
                    "col2"
                ],
                "where":"",// Kondisi filter.
                "splitPk":"",// Field yang digunakan untuk sharding data. Sinkronisasi data memulai tugas konkuren untuk menyinkronkan data.
                "table":""// Nama tabel.
            },
            "name":"Reader",
            "category":"reader"
        },
        { 
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah catatan error.
        },
        "speed":{
            "throttle":true, // Jika throttle diatur ke false, parameter mbps tidak berlaku dan pembatasan kecepatan dinonaktifkan. Jika throttle diatur ke true, pembatasan kecepatan diaktifkan.
            "concurrent":1, // Jumlah pekerjaan konkuren.
            "mbps":"12"// Laju pembatasan. 1 mbps setara dengan 1 MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter skrip Reader

Contoh skrip Writer

Kode berikut memberikan contoh konfigurasi skrip. Untuk informasi selengkapnya, lihat deskripsi parameter berikut.

{
  "type":"job",
  "version":"2.0",// Nomor versi.
  "steps":[ 
    {
      "stepType":"stream",
      "parameter":{},
      "name":"Reader",
      "category":"reader"
    },
    {
      "stepType":"postgresql",// Nama plugin.
      "parameter":{
        "datasource":"",// Sumber data.
        "column":[// Field.
          "col1",
          "col2"
        ],
        "table":"",// Nama tabel.
        "preSql":[],// Pernyataan SQL yang dijalankan sebelum tugas sinkronisasi data berjalan.
        "postSql":[],// Pernyataan SQL yang dijalankan setelah tugas sinkronisasi data berjalan.
      },
      "name":"Writer",
      "category":"writer"
    }
  ],
  "setting":{
    "errorLimit":{
      "record":"0"// Jumlah catatan error.
    },
    "speed":{
      "throttle":true,// Jika throttle diatur ke false, parameter mbps tidak berlaku dan pembatasan kecepatan dinonaktifkan. Jika throttle diatur ke true, pembatasan kecepatan diaktifkan.
      "concurrent":1, // Jumlah pekerjaan konkuren.
      "mbps":"12"// Laju pembatasan. 1 mbps setara dengan 1 MB/s.
    }
  },
  "order":{
    "hops":[
      {
        "from":"Reader",
        "to":"Writer"
      }
    ]
  }
}

Parameter skrip Writer

{
    "job":
    {
        "content":
        [{
            "reader": {...},
            "writer":
            {
                "parameter":
                {
                    "column":
                    [
                        // Daftar field di tabel tujuan.
                        "bigint_arr",
                        "double_arr",
                        "text_arr",
                        "jsonb_obj",
                        "json_obj"
                    ],
                    "pgType":
                    {
                        // Pengaturan tipe khusus. Kunci adalah nama field di tabel tujuan, dan nilai adalah tipe field.
                        "bigint_arr": "bigint[]",
                        "double_arr": "double[]",
                        "text_arr": "text[]",
                        "jsonb_obj": "jsonb",
                        "json_obj": "json"
                    }

                }
            }
        }]
    }
}

File autentikasi SSL PostgreSQL

Saat Anda membuat atau memodifikasi koneksi untuk sumber data PostgreSQL di DataWorks, Anda dapat mengonfigurasi autentikasi SSL. Tabel berikut menjelaskan item konfigurasi terkait autentikasi SSL.

Dapatkan file autentikasi SSL PostgreSQL

Bagian ini menggunakan instans ApsaraDB RDS for PostgreSQL sebagai contoh untuk menghasilkan sertifikat autentikasi SSL.

1. Dapatkan Truststore File.

   Untuk informasi selengkapnya tentang cara mendapatkan Truststore File, lihat Gunakan sertifikat cloud untuk mengaktifkan enkripsi SSL dengan cepat.

   1. Buka halaman Instans RDS, temukan instans RDS di wilayah target, lalu klik ID instans untuk membuka halaman detail instans.

   2. Pilih string koneksi yang ingin dilindungi, seperti yang ditunjukkan pada gambar berikut:

   

   Catatan

   • Jika titik akhir publik diaktifkan, sistem menampilkan baik titik akhir internal maupun titik akhir publik. Sertifikat cloud hanya dapat melindungi satu titik akhir. Kami merekomendasikan agar Anda melindungi titik akhir publik karena terpapar ke internet, sedangkan titik akhir internal lebih aman di dalam VPC. Untuk informasi selengkapnya tentang cara melihat titik akhir internal dan publik, lihat Lihat titik akhir internal dan publik.

   • Untuk melindungi kedua titik akhir internal dan publik, lihat Gunakan sertifikat kustom untuk mengaktifkan enkripsi SSL.

   • Setelah Anda mengonfigurasi sertifikat cloud, Running Status instans berubah menjadi Modifying SSL. Proses ini memakan waktu sekitar tiga menit. Tunggu hingga status berubah menjadi Running sebelum melanjutkan.

   Klik Download CA Certificate untuk mendapatkan Truststore File.

   

   Paket sertifikat CA yang diunduh berisi tiga file. Saat mengonfigurasi sumber data PostgreSQL di DataWorks, unggah file dengan ekstensi .pem atau .p7b ke field Truststore File.

2. Dapatkan dan konfigurasikan Keystore File, Private Key File, dan Private Key Password.

   Prasyarat: Anda telah menyelesaikan langkah-langkah di Gunakan sertifikat cloud untuk mengaktifkan enkripsi SSL dengan cepat atau Gunakan sertifikat kustom untuk mengaktifkan enkripsi SSL, dan Anda telah menginstal tool OpenSSL.

   Catatan

   Sistem Linux secara default menyertakan tool OpenSSL. Jika Anda menggunakan sistem Windows, Anda harus mendapatkan dan menginstal paket OpenSSL.

   Untuk informasi selengkapnya tentang cara mendapatkan dan mengonfigurasi Keystore File, Private Key File, dan Private Key Password, lihat Konfigurasi sertifikat CA klien.

   1. Gunakan tool OpenSSL untuk menghasilkan sertifikat self-signed (ca1.crt) dan kunci privat (ca1.key).

      openssl req -new -x509 -days 3650 -nodes -out ca1.crt -keyout ca1.key -subj "/CN=root-ca1"

   2. Hasilkan file permintaan penandatanganan sertifikat (CSR) klien (client.csr) dan kunci privat klien (client.key).

      openssl req -new -nodes -text -out client.csr -keyout client.key -subj "/CN=<Client username>"

      Dalam perintah ini, atur nilai Common Name (CN) setelah parameter -subj ke username yang digunakan klien untuk mengakses database.

   3. Hasilkan sertifikat klien (client.crt).

      openssl x509 -req -in client.csr -text -days 365  -CA ca1.crt -CAkey ca1.key -CAcreateserial  -out client.crt

   4. Jika server ApsaraDB RDS for PostgreSQL Anda perlu memverifikasi sertifikat CA klien, buka file sertifikat self-signed yang dihasilkan ca1.crt. Salin konten sertifikat tersebut dan tempelkan ke dalam kotak dialog Enter Public Key from Client Certificate Authority.

   5. Setelah Anda mengonfigurasi sertifikat CA klien pada instans RDS, Anda harus mengonversi file kunci privat klien client.key ke format PKCS#8 (client.pk8). Saat mengonfigurasi sumber data PostgreSQL di DataWorks, unggah file client.pk8 ke field Private Key File.

      cp client.key client.pk8

   6. Konfigurasikan password kunci privat.

      openssl pkcs8 -topk8 -inform PEM -in client.key -outform der -out client.pk8 -v1 PBE-MD5-DES

      Catatan

      Saat menjalankan perintah untuk mengonfigurasi password kunci privat, Anda akan diminta memasukkan password. Jika Anda menetapkan password, Anda harus menggunakan password yang sama untuk field Private Key Password dalam konfigurasi sumber data PostgreSQL di DataWorks.

Konfigurasi file autentikasi SSL PostgreSQL

Saat Anda mengunggah file sertifikat ke konfigurasi sumber data PostgreSQL di DataWorks, ikuti langkah-langkah berikut:

• Truststore File: Unggah file .pem atau .p7b yang Anda peroleh dalam langkah Dapatkan file sertifikat Truststore.

• Keystore File: Unggah file client.crt yang Anda peroleh dalam langkah Hasilkan sertifikat klien.

• Private Key File: Unggah file client.pk8 yang Anda peroleh dalam langkah Konversi file kunci privat.

• Private Key Password: Password yang dikonfigurasi dalam langkah Konfigurasi password kunci privat.

Configure ACL: Buka halaman Instans RDS, temukan instans RDS di wilayah target, lalu klik ID instans untuk membuka halaman detail instans. Klik Data Security > Configure ACL untuk memodifikasi pengaturan. Anda dapat memilih dari berbagai metode autentikasi SSL. Untuk informasi selengkapnya, lihat Paksa klien menggunakan koneksi SSL.