DataWorks：Sumber data Oracle

Baca dan tulis offline

Pembacaan real-time

• Didukung:

  Database dengan versi lebih baru dari 11g R2, 12c non cdb, 18c non cdb, 19c non cdb, atau 19c cdb.

• Tidak didukung:

  Database 12c cdb dan 18c cdb.

Konfirmasi versi database Oracle

Versi database Oracle yang didukung bervariasi tergantung pada skenario sinkronisasi. Sebelum menyinkronkan data, periksa apakah versi database Oracle Anda didukung.

1. Anda dapat menjalankan salah satu pernyataan berikut untuk melihat versi database Oracle Anda.

   • Pernyataan 1:

     select * from v$version;

   • Pernyataan 2:

     select version from v$instance;

2. Jika versi database adalah 12c atau 18c, jalankan pernyataan berikut untuk memeriksa apakah itu database cdb. Tugas sinkronisasi real-time di Data Integration tidak mendukung database Oracle 12c dan 18c cdb.

   select name,cdb,open_mode,con_id from v$database;

Buat akun dan konfigurasikan izin

Anda perlu merencanakan akun login database untuk operasi selanjutnya. Akun ini memerlukan izin Oracle yang diperlukan.

1. Buat akun. Untuk informasi selengkapnya, lihat Buat akun Oracle.

2. Konfigurasikan izin.

   Anda dapat menggunakan perintah berikut untuk memberikan izin kepada akun tersebut. Saat menjalankan pernyataan, ganti 'sync_account' dengan akun yang telah Anda buat.

   grant create session to 'sync_account';  // Memberikan izin login ke akun sinkronisasi.
   grant connect to 'sync_account';  // Memberikan izin koneksi database ke akun sinkronisasi.
   grant select on nls_database_parameters to 'sync_account';  // Memberikan izin untuk mengkueri konfigurasi sistem nls_database_parameters.
   grant select on all_users to 'sync_account';  // Memberikan izin untuk mengkueri semua pengguna di database.
   grant select on all_objects to 'sync_account';  // Memberikan izin untuk mengkueri semua objek di database.
   grant select on DBA_MVIEWS to 'sync_account';  // Memberikan izin untuk melihat materialized view di database.
   grant select on DBA_MVIEW_LOGS to 'sync_account';  // Memberikan izin untuk melihat log materialized view di database.
   grant select on DBA_CONSTRAINTS to 'sync_account';  // Memberikan izin untuk melihat informasi constraint semua tabel.
   grant select on DBA_CONS_COLUMNS to 'sync_account';  // Memberikan izin untuk melihat informasi semua kolom dalam constraint tertentu dari semua tabel.
   grant select on all_tab_cols to 'sync_account';  // Memberikan izin untuk melihat informasi kolom di tabel, view, dan kluster.
   grant select on sys.obj$ to 'sync_account';  // Memberikan izin untuk melihat objek di database. Tabel sys.obj$ adalah tabel objek dasar dalam kamus data Oracle dan menyimpan semua objek Oracle.
   grant select on SYS.COL$ to 'sync_account';  // Memberikan izin untuk melihat informasi definisi kolom. SYS.COL$ menyimpan definisi kolom.
   grant select on sys.USER$ to 'sync_account';  // Memberikan izin untuk melihat tabel sistem. sys.USER$ adalah layanan default untuk sesi pengguna.
   grant select on sys.cdef$ to 'sync_account';  // Memberikan izin untuk melihat tabel sistem.
   grant select on sys.con$ to 'sync_account';  // Memberikan izin untuk melihat informasi constraint. sys.con$ mencatat informasi constraint Oracle.
   grant select on all_indexes to 'sync_account';  // Memberikan izin untuk melihat semua indeks di database.
   grant select on v_$database to 'sync_account';  // Memberikan izin untuk melihat view v_$database.
   grant select on V_$ARCHIVE_DEST to 'sync_account';  // Memberikan izin untuk melihat view V_$ARCHIVE_DEST.
   grant select on v_$log to 'sync_account';  // Memberikan izin untuk melihat view v_$log. v_$log menampilkan informasi file log dari control file.
   grant select on v_$logfile to 'sync_account';  // Memberikan izin untuk melihat view v_$logfile. v_$logfile berisi informasi tentang file redo log.
   grant select on v_$archived_log to 'sync_account';  // Memberikan izin untuk melihat view v$archived_log. v$archived_log berisi informasi tentang archived log.
   grant select on V_$LOGMNR_CONTENTS to 'sync_account';  // Memberikan izin untuk melihat view V_$LOGMNR_CONTENTS.
   grant select on DUAL to 'sync_account';   // Memberikan izin untuk melihat tabel DUAL. DUAL adalah tabel virtual yang digunakan untuk memenuhi aturan sintaks SELECT. Di Oracle, DUAL hanya berisi satu catatan.
   grant select on v_$parameter to 'sync_account';  // Memberikan izin untuk melihat view v_$parameter. v$parameter adalah tabel kamus dinamis yang menyimpan pengaturan parameter database.
   grant select any transaction to 'sync_account';  // Memberikan izin untuk melihat transaksi apa pun.
   grant execute on SYS.DBMS_LOGMNR to 'sync_account';  // Memberikan izin untuk menggunakan tool Logmnr. Tool Logmnr membantu Anda menganalisis transaksi dan memulihkan data yang hilang.
   grant alter session to 'sync_account';  // Memberikan izin untuk mengubah sesi database.
   grant select on dba_objects to 'sync_account';  // Memberikan izin untuk melihat semua objek di database.
   grant select on v_$standby_log to 'sync_account';  // Memberikan izin untuk melihat view v_$standby_log. v_$standby_log berisi archived log dari database sekunder.
   grant select on v_$ARCHIVE_GAP to 'sync_account';  // Memberikan izin untuk mengkueri archived log yang hilang.
   grant select on sys.ICOL$ to 'sync_account';  // Memberikan izin untuk melihat objek di database. Tabel sys.obj$ adalah tabel objek dasar dalam kamus data Oracle dan menyimpan semua objek Oracle.
   grant select on V$THREAD to 'sync_account';  // Memberikan izin untuk melihat informasi thread instans. View V$THREAD adalah tabel status thread dalam view performa dinamis Oracle. View ini menyimpan status thread setiap instans dalam kluster RAC dan digunakan untuk menentukan status instans dan sumber log selama penguraian inkremental.

   Untuk melakukan sinkronisasi data penuh offline, Anda juga harus menjalankan perintah berikut untuk memberikan izin kueri pada semua tabel kepada akun sinkronisasi.

   grant select any table to 'sync_account'; 

   Untuk Oracle 12c dan versi selanjutnya, jalankan perintah berikut untuk memberikan izin log mining kepada akun sinkronisasi. Untuk versi sebelum Oracle 12c, perintah ini tidak diperlukan karena fitur log mining sudah built-in.

   grant LOGMINING TO 'sync_account';

Aktifkan archived log dan supplemental logging, serta alihkan file redo log

1. Aktifkan archived log. Pernyataan SQL-nya sebagai berikut.

   shutdown immediate;
   startup mount;
   alter database archivelog;
   alter database open;

2. Aktifkan supplemental logging.

   Untuk mengaktifkan supplemental logging yang sesuai, gunakan pernyataan SQL berikut.

   // Untuk sinkronisasi real-time agar menangkap perubahan data secara lengkap, Anda harus mengaktifkan supplemental logging. Anda dapat mengaktifkannya di tingkat database. Pernyataan SQL-nya sebagai berikut:
   alter database add supplemental log data(primary key) columns; // Mengaktifkan supplemental logging untuk kolom kunci primer database.
   alter database add supplemental log data(unique) columns; // Mengaktifkan supplemental logging untuk kolom indeks unik database.
   
   // Anda juga dapat mengaktifkannya di tingkat tabel:
   alter schema.table add supplemental log data(primary key) columns; // Mengaktifkan supplemental logging untuk kolom kunci primer tabel tertentu.
   alter schema.table add supplemental log data(unique) columns; // Mengaktifkan supplemental logging untuk kolom indeks unik tabel tertentu.

3. Alihkan file redo log.

   Setelah Anda mengaktifkan supplemental logging, jalankan perintah berikut beberapa kali (disarankan lima kali) untuk mengalihkan file redo log.

   alter system switch logfile;

   Catatan

   Menjalankan perintah beberapa kali memastikan sistem beralih ke file log berikutnya ketika file log saat ini penuh. Proses ini mencegah hilangnya catatan operasi dan membantu pemulihan data selanjutnya.

Periksa encoding karakter database

Jalankan perintah berikut di database Anda untuk memeriksa encoding karakternya.

select * from v$nls_parameters where PARAMETER IN ('NLS_CHARACTERSET', 'NLS_NCHAR_CHARACTERSET');

• v$nls_parameters menyimpan pengaturan parameter database.

• NLS_CHARACTERSET dan NLS_NCHAR_CHARACTERSET masing-masing adalah set karakter database dan set karakter nasional. Keduanya menunjukkan kelas penyimpanan untuk dua jenis utama data karakter di Oracle.

Periksa tipe data tabel database

Anda dapat menggunakan pernyataan SELECT untuk mengkueri tipe data di tabel database. Contoh berikut menunjukkan cara melihat tipe data di tabel 'tablename'.

select COLUMN_NAME,DATA_TYPE from all_tab_columns where TABLE_NAME='tablename'; 

• COLUMN_NAME: Nama kolom tabel.

• DATA_TYPE: Tipe data kolom yang sesuai.

• all_tab_columns: View yang menyimpan informasi tentang semua kolom di tabel database.

• TABLE_NAME: Nama tabel target untuk dikueri. Saat menjalankan pernyataan, ganti 'tablename' dengan nama tabel aktual Anda.

Anda juga dapat menjalankan select * from 'tablename'; untuk mengkueri semua informasi tentang tabel target dan mengambil tipe datanya.

Panduan konfigurasi tugas sinkronisasi offline untuk satu tabel

• Untuk informasi selengkapnya tentang prosedur, lihat Konfigurasi tugas di antarmuka tanpa kode dan Konfigurasi tugas di editor kode.

• Untuk semua parameter dan demo skrip editor kode, lihat Lampiran: Demo skrip dan deskripsi parameter.

Panduan konfigurasi tugas sinkronisasi real-time untuk satu tabel

Untuk informasi selengkapnya tentang prosedur, lihat Konfigurasi tugas sinkronisasi real-time di DataStudio.

Panduan konfigurasi sinkronisasi seluruh database

Untuk informasi selengkapnya tentang prosedur, lihat Konfigurasi tugas sinkronisasi real-time untuk seluruh database.

Konfigurasi tugas sinkronisasi batch menggunakan editor kode

Jika Anda ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip berdasarkan persyaratan format skrip terpadu. Untuk informasi selengkapnya, lihat Konfigurasi tugas di editor kode. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Demo skrip Reader

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "oracle",
            "parameter": {
                "selectedDatabase": "AUTOTEST",
                "indexes": [],
                "datasource": "oracle_test",
                "envType": 0,
                "useSpecialSecret": true,
                "column": [
                    "id"
                ],
                "where": "",
                "splitPk": "id",
                "encoding": "UTF-8",
                "table": "AUTOTEST.table01"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
            },
            "name": "Writer",
            "category": "writer"
        },
        {
            "name": "Processor",
            "stepType": null,
            "category": "processor",
            "copies": 1,
            "parameter": {
                "nodes": [],
                "edges": [],
                "groups": [],
                "version": "2.0"
            }
        }
    ],
    "setting": {
        "executeMode": null,
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Parameter skrip Reader

Demo skrip Writer

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        { 
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"oracle",// Nama plugin.
            "parameter":{
                "postSql":[],// Pernyataan SQL yang dieksekusi setelah tugas sinkronisasi data.
                "datasource":"",
                "session":[],// Parameter sesi koneksi database.
                "column":[// Bidang.
                    "id",
                    "name"
                ],
                "encoding":"UTF-8",// Format encoding.
                "batchSize":1024,// Jumlah catatan dalam satu batch.
                "table":"",// Nama tabel.
                "preSql":[]// Pernyataan SQL yang dieksekusi sebelum tugas sinkronisasi data.
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah catatan error.
        },
        "speed":{
            "throttle":true,// Jika throttle bernilai false, mbps diabaikan dan pembatasan kecepatan dinonaktifkan. Jika throttle bernilai true, pembatasan kecepatan diaktifkan.
            "concurrent":1, // Konkurensi pekerjaan.
            "mbps":"12"// Laju pembatasan. 1 mbps = 1 MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter skrip Writer