DataWorks：Oracle

Baca dan tulis data batch

Baca data real-time

• Didukung:

  Versi Oracle Database 11g R2 dan yang lebih baru, 12c non-CDB, 18c non-CDB, 19c non-CDB, dan 19c CDB.

• Tidak didukung:

  Versi Oracle Database 12c CDB dan 18c CDB.

• Untuk menggunakan Oracle sebagai Sumber dalam tugas sinkronisasi real-time seluruh database, Anda harus mengaktifkan fitur Archive Log. Untuk informasi selengkapnya, lihat Persiapkan lingkungan Oracle.

Verifikasi versi database Oracle

Versi Oracle Database yang didukung bergantung pada jenis tugas sinkronisasi. Sebelum memulai, pastikan versi database Oracle Anda didukung.

1. Untuk memeriksa versi database Oracle Anda, jalankan salah satu pernyataan berikut.

   • Pernyataan 1:

     select * from v$version;

   • Pernyataan 2:

     select version from v$instance;

2. Jika versi database Oracle adalah 12c atau 18c, Anda perlu menggunakan pernyataan berikut untuk memastikan apakah database tersebut merupakan database tipe cdb. Saat ini, tugas sinkronisasi real-time Data Integration DataWorks tidak mendukung database Oracle tipe cdb versi 12c atau 18c.

   select name,cdb,open_mode,con_id from v$database;

Buat akun dan berikan izin

Buat akun pengguna database untuk Sinkronisasi Data. Akun ini memerlukan izin tertentu.

1. Buat akun. Untuk informasi selengkapnya, lihat Buat akun untuk mengakses database Oracle.

2. Berikan izin.

   Anda dapat menjalankan perintah berikut untuk memberikan izin yang relevan kepada suatu akun. Saat menjalankan perintah, ganti 'sync_account' dengan akun yang telah Anda buat di atas.

   grant create session to 'your_sync_user';  -- Memberikan izin login.
   grant connect to 'your_sync_user';  -- Memberikan izin untuk terhubung ke database.
   grant select on nls_database_parameters to 'your_sync_user';  -- Memberikan izin untuk mengkueri konfigurasi sistem nls_database_parameters.
   grant select on all_users to 'your_sync_user';  -- Memberikan izin untuk mengkueri semua pengguna dalam database.
   grant select on all_objects to 'your_sync_user';  -- Memberikan izin untuk mengkueri semua objek dalam database.
   grant select on DBA_MVIEWS to 'your_sync_user';  -- Memberikan izin untuk melihat semua materialized view dalam database.
   grant select on DBA_MVIEW_LOGS to 'your_sync_user';  -- Memberikan izin untuk melihat log materialized view.
   grant select on DBA_CONSTRAINTS to 'your_sync_user';  -- Memberikan izin untuk melihat informasi constraint untuk semua tabel.
   grant select on DBA_CONS_COLUMNS to 'your_sync_user';  -- Memberikan izin untuk melihat informasi kolom dalam constraint.
   grant select on all_tab_cols to 'your_sync_user';  -- Memberikan izin untuk melihat informasi kolom untuk semua tabel, view, dan kluster.
   grant select on sys.obj$ to 'your_sync_user';  -- Memberikan izin untuk melihat objek database. Tabel sys.obj$ adalah tabel dasar untuk objek dalam kamus data Oracle.
   grant select on SYS.COL$ to 'your_sync_user';  -- Memberikan izin untuk melihat informasi definisi kolom. SYS.COL$ menyimpan definisi kolom.
   grant select on sys.USER$ to 'your_sync_user';  -- Memberikan izin untuk melihat tabel pengguna sistem. sys.USER$ menyimpan informasi tentang pengguna database.
   grant select on sys.cdef$ to 'your_sync_user';  -- Memberikan izin untuk melihat tabel sistem cdef$.
   grant select on sys.con$ to 'your_sync_user';  -- Memberikan izin untuk melihat informasi constraint. sys.con$ menyimpan informasi constraint.
   grant select on all_indexes to 'your_sync_user';  -- Memberikan izin untuk melihat semua indeks dalam database.
   grant select on v_$database to 'your_sync_user';  -- Memberikan izin untuk mengakses view v_$database.
   grant select on V_$ARCHIVE_DEST to 'your_sync_user';  -- Memberikan izin untuk mengakses view V_$ARCHIVE_DEST.
   grant select on v_$log to 'your_sync_user';  -- Memberikan izin untuk mengakses view v_$log, yang menampilkan informasi file log dari control file.
   grant select on v_$logfile to 'your_sync_user';  -- Memberikan izin untuk mengakses view v_$logfile, yang berisi informasi tentang file redo log.
   grant select on v_$archived_log to 'your_sync_user';  -- Memberikan izin untuk mengakses view v$archived_log, yang berisi informasi tentang log terarsip.
   grant select on V_$LOGMNR_CONTENTS to 'your_sync_user';  -- Memberikan izin untuk mengakses view V_$LOGMNR_CONTENTS.
   grant select on DUAL to 'your_sync_user';   -- Memberikan izin untuk mengakses tabel DUAL, sebuah tabel virtual yang digunakan untuk memenuhi aturan sintaks SELECT.
   grant select on v_$parameter to 'your_sync_user';  -- Memberikan izin untuk mengakses view v_$parameter, yang menyimpan pengaturan parameter.
   grant select any transaction to 'your_sync_user';  -- Memberikan izin untuk mengkueri transaksi apa pun.
   grant execute on SYS.DBMS_LOGMNR to 'your_sync_user';  -- Memberikan izin untuk menggunakan utilitas DBMS_LOGMNR untuk analisis transaksi dan pemulihan data.
   grant alter session to 'your_sync_user';  -- Memberikan izin untuk memodifikasi sesi database.
   grant select on dba_objects to 'your_sync_user';  -- Memberikan izin untuk melihat semua objek database.
   grant select on v_$standby_log to 'your_sync_user';  -- Memberikan izin untuk mengakses view v_$standby_log, yang berisi file log database standby.
   grant select on v_$ARCHIVE_GAP to 'your_sync_user';  -- Memberikan izin untuk mengkueri log terarsip yang hilang.
   grant select on sys.ICOL$ to 'your_sync_user';  -- Memberikan izin untuk melihat informasi kolom internal dalam tabel sistem ICOL$.
   grant select on V$THREAD to 'your_sync_user';  -- Memberikan izin untuk melihat informasi thread instans. View V$THREAD digunakan untuk menentukan status instans dan sumber log selama penguraian inkremental.

   Untuk Sinkronisasi Penuh Batch, jalankan juga perintah berikut untuk memberikan izin kueri pada semua tabel.

   grant select any table to 'your_sync_user'; 

   Untuk Oracle 12c dan versi setelahnya, jalankan perintah berikut untuk memberikan izin Log Mining. Perintah ini tidak diperlukan untuk versi sebelumnya karena fitur Log Mining sudah termasuk secara bawaan.

   grant LOGMINING TO 'your_sync_user';

Aktifkan log dan alihkan file redo log

1. Aktifkan Archive Logging. Jalankan pernyataan SQL berikut:

   shutdown immediate;
   startup mount;
   alter database archivelog;
   alter database open;

2. Aktifkan Supplemental Logging.

   Pilih tingkat Supplemental Logging yang sesuai. Jalankan pernyataan SQL berikut.

   -- Untuk menangkap perubahan data lengkap untuk sinkronisasi real-time, Anda harus mengaktifkan supplemental logging.
   -- Anda dapat mengaktifkannya di tingkat database:
   alter database add supplemental log data(primary key) columns; -- Mengaktifkan supplemental logging untuk semua kolom kunci primer di database.
   alter database add supplemental log data(unique) columns; -- Mengaktifkan supplemental logging untuk semua kolom indeks unik di database.
   
   -- Atau, Anda dapat mengaktifkannya di tingkat tabel:
   alter schema.table add supplemental log data(primary key) columns; -- Mengaktifkan supplemental logging untuk kolom kunci primer tabel tertentu.
   alter schema.table add supplemental log data(unique) columns; -- Mengaktifkan supplemental logging untuk kolom indeks unik tabel tertentu.

3. Alihkan File Redo Log.

   Setelah mengaktifkan Supplemental Logging, jalankan perintah berikut lima kali untuk mengalihkan File Redo Log.

   alter system switch logfile;

   Catatan

   Menjalankan perintah ini beberapa kali akan mengisi file log saat ini hingga penuh, sehingga memaksa pergantian ke file berikutnya. Hal ini mencegah kehilangan catatan transaksi dan menyederhanakan pemulihan data.

Periksa encoding karakter database

Jalankan perintah berikut di database Anda untuk memeriksa encoding karakternya.

select * from v$nls_parameters where PARAMETER IN ('NLS_CHARACTERSET', 'NLS_NCHAR_CHARACTERSET');

• v$nls_parameters menyimpan nilai parameter database.

• NLS_CHARACTERSET adalah set karakter database, dan NLS_NCHAR_CHARACTERSET adalah set karakter nasional. Keduanya menentukan tipe penyimpanan untuk dua kategori utama data karakter di Oracle.

Periksa tipe data tabel

Anda dapat menggunakan pernyataan SELECT untuk mengkueri tipe data kolom dalam suatu tabel. Contoh ini menunjukkan cara melihat tipe data untuk tabel bernama 'tablename'.

select COLUMN_NAME,DATA_TYPE from all_tab_columns where TABLE_NAME='tablename'; 

• COLUMN_NAME: Nama kolom dalam tabel.

• DATA_TYPE: Tipe data kolom yang bersangkutan.

• all_tab_columns: View yang menyimpan informasi tentang semua kolom dalam tabel database.

• TABLE_NAME: Nama tabel target. Ganti 'tablename' dengan nama tabel aktual Anda.

Anda juga dapat menjalankan select * from 'tablename'; untuk mengkueri semua informasi dari tabel target dan mendapatkan tipe datanya.

Tugas sinkronisasi batch tabel tunggal

• Lihat Konfigurasikan tugas di antarmuka tanpa kode dan Konfigurasikan tugas di editor kode.

• Untuk daftar lengkap parameter dan contoh skrip untuk Editor Kode, lihat Lampiran: Contoh Skrip dan Referensi Parameter.

Tugas sinkronisasi real-time tabel tunggal

Lihat Konfigurasikan tugas sinkronisasi real-time di DataStudio.

Sinkronisasi seluruh database: batch, real-time, dan sharding

Lihat Konfigurasikan tugas sinkronisasi real-time seluruh database.

Konfigurasikan tugas sinkronisasi batch menggunakan editor kode

Jika Anda ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip berdasarkan persyaratan format skrip terpadu. Untuk informasi selengkapnya, lihat Gunakan editor kode. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Contoh skrip Reader

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "oracle",
            "parameter": {
                "selectedDatabase": "AUTOTEST",
                "indexes": [],
                "datasource": "oracle_test",
                "envType": 0,
                "useSpecialSecret": true,
                "column": [
                    "id"
                ],
                "where": "",
                "splitPk": "id",
                "encoding": "UTF-8",
                "table": "AUTOTEST.table01"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
            },
            "name": "Writer",
            "category": "writer"
        },
        {
            "name": "Processor",
            "stepType": null,
            "category": "processor",
            "copies": 1,
            "parameter": {
                "nodes": [],
                "edges": [],
                "groups": [],
                "version": "2.0"
            }
        }
    ],
    "setting": {
        "executeMode": null,
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Parameter skrip Reader

Contoh skrip Writer

{
    "type":"job",
    "version":"2.0",// Nomor versi. 
    "steps":[
        { 
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"oracle",// Nama plug-in. 
            "parameter":{
                "postSql":[],// Pernyataan SQL yang akan dieksekusi setelah tugas sinkronisasi data. 
                "datasource":"",
                "session":[],// Parameter sesi untuk koneksi database. 
                "column":[// Field. 
                    "id",
                    "name"
                ],
                "encoding":"UTF-8",// Format encoding. 
                "batchSize":1024,// Jumlah catatan yang dikirim dalam satu batch. 
                "table":"",// Nama tabel. 
                "preSql":[]// Pernyataan SQL yang akan dieksekusi sebelum tugas sinkronisasi data. 
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah catatan data kotor. 
        },
        "speed":{
            "throttle":true,// Jika nilai throttle adalah false, parameter mbps tidak berlaku dan trafik tidak dibatasi. Jika nilai throttle adalah true, trafik dibatasi. 
            "concurrent":1, // Jumlah thread konkuren. 
            "mbps":"12"// Laju pembatasan. 1 mbps = 1 MB/s. 
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter skrip Writer