DataWorks:DB2

Versi yang didukung

DB2 Reader dan DB2 Writer menggunakan IBM Data Server Driver for JDBC and SQLJ versi 4.11.77. Untuk informasi pemetaan versi antara driver DB2 dan layanan database, lihat dokumentasi resmi.

Kemampuan yang didukung

Tipe bidang yang didukung

DB2 Reader dan DB2 Writer mendukung tipe data DB2 berikut untuk operasi baca dan tulis offline. Periksa tipe data Anda sebelum mengonfigurasi tugas sinkronisasi.

Batasan

• Resource groups: DB2 Reader dan DB2 Writer mendukung Serverless resource groups dan exclusive resource groups for Data Integration. Public resource groups dan custom resource groups tidak didukung.

• Write behavior: DB2 Writer menulis data menggunakan pernyataan insert into. Jika terjadi konflik kunci primary atau indeks unik, baris yang bertentangan tidak ditulis. Untuk performa, DB2 Writer menggunakan PreparedStatement + Batch dengan rewriteBatchedStatements=true, menyimpan data di buffer konteks thread dan mengirim permintaan tulis saat buffer mencapai ambang batas yang dikonfigurasi.

  Tugas sinkronisasi memerlukan setidaknya izin insert into. Izin tambahan mungkin diperlukan tergantung pada pernyataan SQL yang dikonfigurasi di parameter preSql dan postSql.

• Encryption: Algoritma enkripsi AES DB2 tidak didukung.

Tambahkan sumber data

Tambahkan sumber data DB2 ke DataWorks sebelum mengembangkan tugas sinkronisasi. Ikuti petunjuk dalam Data source management. Deskripsi parameter tersedia di Konsol DataWorks saat Anda menambahkan sumber data.

Kembangkan tugas sinkronisasi data

FAQ

Mengapa database standby bisa kehilangan data selama sinkronisasi aktif/standby?

Dalam pengaturan disaster recovery aktif/standby, database standby terus-menerus menerapkan perubahan dari database primary melalui binlog. Proses ini memiliki jeda waktu inheren, yang dapat diperparah oleh latensi jaringan. Akibatnya, database standby mungkin tidak mencerminkan database primary secara real time, sehingga perbedaan data signifikan antara keduanya dimungkinkan.

Apakah DB2 Reader menjamin konsistensi data selama ekstraksi konkuren?

DB2 adalah sistem manajemen database relasional (RDBMS) dengan antarmuka kueri konsistensi kuat. Dalam mode single-threaded, DB2 Reader membaca snapshot yang konsisten—jika sumber lain menulis data saat tugas berjalan, DB2 Reader tidak mengambil pembaruan tersebut.

Saat Anda mengonfigurasi ekstraksi konkuren menggunakan parameter splitPk, DB2 Reader menjalankan beberapa tugas yang tidak termasuk dalam transaksi baca yang sama dan berjalan pada waktu berbeda. Dalam kasus ini, snapshot yang dibaca oleh tugas konkuren mungkin tidak lengkap atau tidak konsisten. Dua solusi tersedia:

• Gunakan sinkronisasi single-threaded (tanpa partisi data). Ini menjaga konsistensi data tetapi mengurangi kecepatan sinkronisasi.

• Nonaktifkan penulisan ke sumber selama sinkronisasi, misalnya dengan mengunci tabel atau menjeda replikasi ke database standby. Ini menjaga data sumber tetap statis tetapi dapat memengaruhi layanan online.

Apakah saya perlu mengonfigurasi encoding untuk DB2 Reader?

Tidak. DB2 Reader menggunakan Java Database Connectivity (JDBC) untuk mengekstrak data. JDBC menangani konversi encoding di lapisan dasar, sehingga DB2 Reader secara otomatis mendeteksi dan mentranskode encoding.

Bagaimana cara mengatur sinkronisasi data inkremental?

DB2 Reader mengekstrak data menggunakan pernyataan JDBC SELECT, sehingga Anda dapat menggunakan SELECT...WHERE... untuk ekstraksi inkremental dengan dua cara:

• Jika aplikasi sumber mengisi bidang timestamp (seperti kolom modify) saat data berubah, konfigurasikan klausa where menggunakan timestamp dari proses sinkronisasi sebelumnya. Ini menangkap baris baru, diperbarui, dan dihapus secara logis.

• Untuk data append-only, konfigurasikan klausa where menggunakan ID auto-increment maksimum dari proses sinkronisasi sebelumnya.

Jika tidak ada bidang yang membedakan data baru dari data yang sudah ada, hanya sinkronisasi penuh yang dimungkinkan.

Apakah parameter querySql aman dari Injeksi SQL?

DB2 Reader tidak melakukan pemeriksaan keamanan pada pernyataan querySql. Tinjau dan validasi SQL kustom apa pun sebelum mengonfigurasi parameter ini.

Lampiran: Demo skrip dan deskripsi parameter

Gunakan skrip dan referensi parameter berikut saat mengonfigurasi tugas sinkronisasi batch di editor kode. Untuk prosedur umum, lihat Configure a task in the code editor.

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "db2",
            "parameter": {
                "datasource": "",
                "jdbcUrl": "",
                "username": "",
                "password": "",
                "table": "",
                "column": [
                    "id"
                ],
                "where": "",
                "splitPk": ""
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "throttle": true,
            "concurrent": 1,
            "mbps": "12"
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "db2",
            "parameter": {
                "jdbcUrl": "jdbc:db2://ip:port/database",
                "username": "",
                "password": "",
                "table": "",
                "column": [
                    "id"
                ],
                "preSql": [],
                "postSql": [],
                "batchSize": 1024
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "throttle": true,
            "concurrent": 1,
            "mbps": "12"
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}