DataWorks:Sumber data Oracle

Baca dan tulis data batch

Baca data real-time

• Versi yang didukung:

  11g R2 dan versi setelahnya, 12c non-CDB, 18c non-CDB, 19c non-CDB, atau 19c CDB.

• Versi yang tidak didukung:

  12c CDB dan 18c CDB.

• Untuk menggunakan database Oracle sebagai sumber dalam tugas sinkronisasi real-time seluruh database, Anda harus mengaktifkan fitur archive log. Untuk informasi lebih lanjut, lihat Siapkan lingkungan Oracle.

Periksa versi database Oracle

Versi database Oracle yang didukung bervariasi tergantung skenario sinkronisasi. Sebelum menyinkronkan data, pastikan versi database Oracle Anda didukung.

1. Untuk memeriksa versi database Oracle Anda, jalankan salah satu pernyataan berikut.

   • Pernyataan 1:

     select * from v$version;

   • Pernyataan 2:

     select version from v$instance;

2. Jika versi database Oracle Anda adalah 12c atau 18c, Anda perlu menggunakan pernyataan berikut untuk memastikan apakah database tersebut merupakan database cdb. Saat ini, tugas sinkronisasi real-time Data Integration DataWorks tidak mendukung database Oracle cdb versi 12c atau 18c.

   select name,cdb,open_mode,con_id from v$database;

Buat akun dan berikan hak istimewa

Buat akun database dengan hak istimewa yang diperlukan di Oracle.

1. Untuk detailnya, lihat Buat akun Oracle.

2. Berikan hak istimewa.

   Jalankan perintah berikut untuk memberikan hak istimewa yang diperlukan kepada akun tersebut. Dalam pernyataan berikut, ganti 'synchronization account' dengan akun yang telah Anda buat.

   grant create session to 'synchronization account';  // Memberikan hak istimewa untuk login ke database.
   grant connect to 'synchronization account';  // Memberikan hak istimewa untuk terhubung ke database.
   grant select on nls_database_parameters to 'synchronization account';  // Memberikan hak istimewa untuk mengkueri konfigurasi sistem nls_database_parameters.
   grant select on all_users to 'synchronization account';  // Memberikan hak istimewa untuk mengkueri semua pengguna di database.
   grant select on all_objects to 'synchronization account';  // Memberikan hak istimewa untuk mengkueri semua objek di database.
   grant select on DBA_MVIEWS to 'synchronization account';  // Memberikan hak istimewa untuk melihat materialized view di database.
   grant select on DBA_MVIEW_LOGS to 'synchronization account';  // Memberikan hak istimewa untuk melihat log materialized view di database.
   grant select on DBA_CONSTRAINTS to 'synchronization account';  // Memberikan hak istimewa untuk melihat informasi constraint untuk semua tabel di database.
   grant select on DBA_CONS_COLUMNS to 'synchronization account';  // Memberikan hak istimewa untuk melihat informasi kolom dalam constraint tertentu untuk semua tabel di database.
   grant select on all_tab_cols to 'synchronization account';  // Memberikan hak istimewa untuk melihat informasi kolom dalam tabel, view, dan kluster.
   grant select on sys.obj$ to 'synchronization account';  // Memberikan hak istimewa untuk melihat objek di database. Tabel sys.obj$ adalah tabel dasar dalam kamus data Oracle yang menyimpan semua objek Oracle.
   grant select on SYS.COL$ to 'synchronization account';  // Memberikan hak istimewa untuk melihat definisi kolom dalam tabel database. SYS.COL$ menyimpan informasi definisi kolom.
   grant select on sys.USER$ to 'synchronization account';  // Memberikan hak istimewa untuk melihat tabel sistem sys.USER$, yang berisi detail tentang pengguna database.
   grant select on sys.cdef$ to 'synchronization account';  // Memberikan hak istimewa untuk melihat tabel sistem database.
   grant select on sys.con$ to 'synchronization account';  // Memberikan hak istimewa untuk melihat informasi constraint. sys.con$ mencatat informasi constraint Oracle.
   grant select on all_indexes to 'synchronization account';  // Memberikan hak istimewa untuk melihat semua indeks di database.
   grant select on v_$database to 'synchronization account';  // Memberikan hak istimewa untuk melihat view v_$database.
   grant select on V_$ARCHIVE_DEST to 'synchronization account';  // Memberikan hak istimewa untuk melihat view V_$ARCHIVE_DEST.
   grant select on v_$log to 'synchronization account';  // Memberikan hak istimewa untuk melihat view v_$log, yang menampilkan informasi file log dari control file.
   grant select on v_$logfile to 'synchronization account';  // Memberikan hak istimewa untuk melihat view v_$logfile, yang berisi informasi tentang file redo log.
   grant select on v_$archived_log to 'synchronization account';  // Memberikan hak istimewa untuk melihat view v$archived_log, yang berisi informasi tentang log arsip.
   grant select on V_$LOGMNR_CONTENTS to 'synchronization account';  // Memberikan hak istimewa untuk melihat view V_$LOGMNR_CONTENTS.
   grant select on DUAL to 'synchronization account';   // Memberikan hak istimewa untuk melihat tabel DUAL. DUAL adalah tabel virtual yang digunakan untuk memenuhi aturan sintaks SELECT. Di Oracle, DUAL hanya berisi satu catatan.
   grant select on v_$parameter to 'synchronization account';  // Memberikan hak istimewa untuk melihat view v_$parameter. v$parameter adalah tabel kamus data dinamis yang menyimpan pengaturan parameter database.
   grant select any transaction to 'synchronization account';  // Memberikan hak istimewa untuk melihat transaksi apa pun di database.
   grant execute on SYS.DBMS_LOGMNR to 'synchronization account';  // Memberikan hak istimewa untuk menggunakan tool LogMiner, yang membantu Anda menganalisis transaksi dan memulihkan data yang hilang.
   grant alter session to 'synchronization account';  // Memberikan hak istimewa untuk memodifikasi sesi database.
   grant select on dba_objects to 'synchronization account';  // Memberikan hak istimewa untuk melihat semua objek di database.
   grant select on v_$standby_log to 'synchronization account';  // Memberikan hak istimewa untuk melihat view v_$standby_log, yang berisi informasi tentang log arsip database standby.
   grant select on v_$ARCHIVE_GAP to 'synchronization account';  // Memberikan hak istimewa untuk mengkueri log arsip yang hilang.
   grant select on sys.ICOL$ to 'synchronization account';  // Memberikan hak istimewa untuk melihat informasi tentang kolom tabel yang diorganisasi berdasarkan indeks.
   grant select on V_$THREAD to 'synchronization account';  // Memberikan hak istimewa untuk melihat informasi thread instans. View V_$THREAD adalah tabel status thread dalam dynamic performance views Oracle. View ini menyimpan status thread setiap instans dalam kluster RAC dan digunakan selama penguraian inkremental untuk menentukan status instans dan sumber log.

   Untuk melakukan sinkronisasi offline penuh, jalankan juga pernyataan berikut untuk memberikan hak istimewa kepada akun sinkronisasi agar dapat mengkueri semua tabel.

   grant select any table to 'synchronization account'; 

   Untuk Oracle 12c dan versi setelahnya, jalankan pernyataan berikut untuk memberikan hak istimewa log mining. Perintah ini tidak diperlukan untuk versi sebelum Oracle 12c karena log mining merupakan fitur bawaan.

   grant LOGMINING TO 'synchronization account';

Aktifkan pencatatan log dan alihkan file redo log

1. Untuk mengaktifkan pencatatan log arsip, jalankan pernyataan SQL berikut:

   shutdown immediate;
   startup mount;
   alter database archivelog;
   alter database open;

2. Aktifkan supplemental logging.

   Aktifkan supplemental logging di tingkat database atau tabel sesuai kebutuhan bisnis Anda:

   // Aktifkan supplemental logging di tingkat database untuk menangkap semua perubahan data untuk sinkronisasi real-time.
   alter database add supplemental log data(primary key) columns; // Mengaktifkan supplemental logging untuk kolom kunci primer database.
   alter database add supplemental log data(unique) columns; // Mengaktifkan supplemental logging untuk kolom indeks unik database.
   
   // Atau, aktifkan supplemental logging di tingkat tabel:
   alter schema.table add supplemental log data(primary key) columns; // Mengaktifkan supplemental logging untuk kolom kunci primer tabel tertentu.
   alter schema.table add supplemental log data(unique) columns; // Mengaktifkan supplemental logging untuk kolom indeks unik tabel tertentu.

3. Alihkan file redo log.

   Setelah mengaktifkan supplemental logging, jalankan perintah berikut beberapa kali (disarankan lima kali) untuk mengalihkan file redo log.

   alter system switch logfile;

   Catatan

   Menjalankan perintah ini beberapa kali memastikan bahwa pengaturan supplemental logging baru diterapkan ke semua file redo log, yang sangat penting untuk penangkapan dan pemulihan data secara lengkap.

Periksa encoding karakter database

Jalankan perintah berikut untuk memeriksa encoding karakter database Anda.

select * from v$nls_parameters where PARAMETER IN ('NLS_CHARACTERSET', 'NLS_NCHAR_CHARACTERSET');

• View v$nls_parameters menyimpan pengaturan parameter database.

• NLS_CHARACTERSET dan NLS_NCHAR_CHARACTERSET masing-masing adalah set karakter database dan set karakter nasional. Keduanya menentukan encoding untuk data karakter di Oracle.

Periksa tipe data tabel

Gunakan pernyataan SELECT untuk mengkueri tipe data suatu tabel. Contoh berikut menunjukkan cara mengkueri tipe data untuk tabel bernama 'tablename'.

select COLUMN_NAME,DATA_TYPE from all_tab_columns where TABLE_NAME='tablename'; 

• COLUMN_NAME: nama kolom dalam tabel.

• DATA_TYPE: tipe data kolom yang bersangkutan.

• all_tab_columns: view yang menyimpan informasi tentang semua kolom dalam tabel database.

• TABLE_NAME: nama tabel yang akan dikueri. Saat menjalankan pernyataan ini, ganti 'tablename' dengan nama tabel Anda.

Anda juga dapat menjalankan select * from 'tablename'; untuk mengkueri semua informasi dari tabel target dan mendapatkan tipe datanya.

Sinkronisasi batch satu tabel

• Lihat Konfigurasi Antarmuka Tanpa Kode dan Konfigurasi Mode Skrip.

• Untuk daftar lengkap parameter dan contoh skrip, lihat Lampiran: Contoh Skrip dan Parameter.

Sinkronisasi real-time satu tabel

Lihat Konfigurasikan tugas sinkronisasi real-time di DataStudio.

Sinkronisasi seluruh database

Lihat Konfigurasikan sinkronisasi real-time seluruh database.

Konfigurasikan tugas sinkronisasi batch menggunakan editor kode

Jika Anda ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip berdasarkan persyaratan format skrip terpadu. Untuk informasi lebih lanjut, lihat Konfigurasi mode skrip. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Contoh skrip Reader

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "oracle",
            "parameter": {
                "selectedDatabase": "AUTOTEST",
                "indexes": [],
                "datasource": "oracle_test",
                "envType": 0,
                "useSpecialSecret": true,
                "column": [
                    "id"
                ],
                "where": "",
                "splitPk": "id",
                "encoding": "UTF-8",
                "table": "AUTOTEST.table01"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
            },
            "name": "Writer",
            "category": "writer"
        },
        {
            "name": "Processor",
            "stepType": null,
            "category": "processor",
            "copies": 1,
            "parameter": {
                "nodes": [],
                "edges": [],
                "groups": [],
                "version": "2.0"
            }
        }
    ],
    "setting": {
        "executeMode": null,
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Parameter Reader

Contoh skrip Writer

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        { 
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"oracle",// Nama plugin.
            "parameter":{
                "postSql":[],// Pernyataan SQL yang dieksekusi setelah tugas selesai.
                "datasource":"",
                "session":[],// Parameter untuk sesi koneksi database.
                "column":[// Kolom tujuan.
                    "id",
                    "name"
                ],
                "encoding":"UTF-8",// Format encoding.
                "batchSize":1024,// Jumlah catatan yang dikirim dalam satu batch.
                "table":"",// Nama tabel tujuan.
                "preSql":[]// Pernyataan SQL yang dieksekusi sebelum tugas dimulai.
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah catatan error.
        },
        "speed":{
            "throttle":true,// Mengaktifkan atau menonaktifkan pembatasan kecepatan. Jika false, parameter mbps diabaikan.
            "concurrent":1, // Jumlah maksimum thread paralel.
            "mbps":"12"// Laju maksimum untuk pembatasan kecepatan. Satuan: MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter Writer