DataWorks：Sumber data Oracle

Baca dan tulis offline

Baca real-time

• Didukung:

  11g R2 dan yang lebih baru, 12c non-CDB, 18c non-CDB, 19c non-CDB, atau database 19c CDB.

• Tidak didukung:

  database 12c CDB dan 18c CDB.

Konfirmasi versi database Oracle

Versi database Oracle yang didukung bervariasi tergantung pada skenario sinkronisasi. Sebelum memulai, pastikan versi database Oracle Anda didukung.

1. Jalankan salah satu pernyataan berikut untuk melihat versi database Oracle.

   • Pernyataan 1:

     select * from v$version;

   • Pernyataan 2:

     select version from v$instance;

2. Jika versi database adalah 12c atau 18c, jalankan pernyataan berikut untuk memeriksa apakah database tersebut merupakan CDB. Tugas sinkronisasi real-time Data Integration tidak mendukung versi database Oracle 12c dan 18c CDB.

   select name,cdb,open_mode,con_id from v$database;

Buat akun dan konfigurasikan izin

Anda perlu membuat akun login database yang memiliki izin yang diperlukan untuk Oracle.

1. Buat akun. Untuk informasi selengkapnya, lihat Buat akun Oracle.

2. Konfigurasikan izin.

   Jalankan perintah berikut untuk memberikan izin kepada akun tersebut. Ganti 'sync_account' dengan akun yang telah Anda buat.

   grant create session to 'sync_account';  // Memberikan izin untuk login ke database.
   grant connect to 'sync_account';  // Memberikan izin untuk terhubung ke database.
   grant select on nls_database_parameters to 'sync_account';  // Memberikan izin untuk mengkueri konfigurasi sistem nls_database_parameters.
   grant select on all_users to 'sync_account';  // Memberikan izin untuk mengkueri semua pengguna di database.
   grant select on all_objects to 'sync_account';  // Memberikan izin untuk mengkueri semua objek di database.
   grant select on DBA_MVIEWS to 'sync_account';  // Memberikan izin untuk melihat tampilan yang di-materialisasi di database.
   grant select on DBA_MVIEW_LOGS to 'sync_account';  // Memberikan izin untuk melihat log tampilan yang di-materialisasi di database.
   grant select on DBA_CONSTRAINTS to 'sync_account';  // Memberikan izin untuk melihat informasi constraint untuk semua tabel di database.
   grant select on DBA_CONS_COLUMNS to 'sync_account';  // Memberikan izin untuk melihat informasi tentang semua kolom dalam constraint tertentu untuk semua tabel di database.
   grant select on all_tab_cols to 'sync_account';  // Memberikan izin untuk melihat informasi tentang kolom di tabel, tampilan, dan kluster.
   grant select on sys.obj$ to 'sync_account';  // Memberikan izin untuk melihat objek di database. Tabel sys.obj$ adalah tabel objek dasar dalam kamus data Oracle dan menyimpan semua objek Oracle.
   grant select on SYS.COL$ to 'sync_account';  // Memberikan izin untuk melihat informasi definisi kolom di tabel database. SYS.COL$ menyimpan informasi definisi kolom.
   grant select on sys.USER$ to 'sync_account';  // Memberikan izin untuk melihat tabel sistem. sys.USER$ adalah layanan default untuk sesi pengguna.
   grant select on sys.cdef$ to 'sync_account';  // Memberikan izin untuk melihat tabel sistem.
   grant select on sys.con$ to 'sync_account';  // Memberikan izin untuk melihat informasi constraint. sys.con$ mencatat informasi constraint Oracle.
   grant select on all_indexes to 'sync_account';  // Memberikan izin untuk melihat semua indeks di database.
   grant select on v_$database to 'sync_account';  // Memberikan izin untuk melihat tampilan v_$database.
   grant select on V_$ARCHIVE_DEST to 'sync_account';  // Memberikan izin untuk melihat tampilan V_$ARCHIVE_DEST.
   grant select on v_$log to 'sync_account';  // Memberikan izin untuk melihat tampilan v_$log. Tampilan v_$log menampilkan informasi file log dari file kontrol.
   grant select on v_$logfile to 'sync_account';  // Memberikan izin untuk melihat tampilan v_$logfile. Tampilan v_$logfile berisi informasi tentang file log Redo.
   grant select on v_$archived_log to 'sync_account';  // Memberikan izin untuk melihat tampilan v$archived_log. Tampilan v$archived_log berisi informasi tentang log arsip.
   grant select on V_$LOGMNR_CONTENTS to 'sync_account';  // Memberikan izin untuk melihat tampilan V_$LOGMNR_CONTENTS.
   grant select on DUAL to 'sync_account';   // Memberikan izin untuk melihat tabel DUAL. DUAL adalah tabel virtual yang digunakan untuk memenuhi sintaks SELECT. Di Oracle, DUAL hanya berisi satu catatan.
   grant select on v_$parameter to 'sync_account';  // Memberikan izin untuk melihat tampilan v_$parameter. Tampilan v$parameter adalah tabel kamus dinamis di Oracle yang menyimpan pengaturan parameter database.
   grant select any transaction to 'sync_account';  // Memberikan izin untuk melihat transaksi apa pun di database.
   grant execute on SYS.DBMS_LOGMNR to 'sync_account';  // Memberikan izin untuk menggunakan alat Logmnr. Alat Logmnr membantu Anda menganalisis transaksi dan memulihkan data yang hilang.
   grant alter session to 'sync_account';  // Memberikan izin untuk memodifikasi koneksi database.
   grant select on dba_objects to 'sync_account';  // Memberikan izin untuk melihat semua objek di database.
   grant select on v_$standby_log to 'sync_account';  // Memberikan izin untuk melihat tampilan v_$standby_log. Tampilan v_$standby_log berisi log arsip dari database standby.
   grant select on v_$ARCHIVE_GAP to 'sync_account';  // Memberikan izin untuk mengkueri log arsip yang hilang.
   grant select on sys.ICOL$ to 'sync_account';  // Memberikan izin untuk melihat objek di database. Tabel sys.obj$ adalah tabel objek dasar dalam kamus data Oracle dan menyimpan semua objek Oracle.
   grant select on V$THREAD to 'sync_account';  // Memberikan izin untuk melihat informasi thread instans. Tampilan V$THREAD adalah tabel status thread dalam tampilan kinerja dinamis Oracle. Tampilan ini menyimpan status thread setiap instans dalam kluster RAC dan digunakan untuk menentukan status instans dan sumber log selama penguraian inkremental.

   Untuk melakukan sinkronisasi data penuh offline, jalankan perintah berikut untuk memberikan izin kepada akun agar dapat mengkueri semua tabel.

   grant select any table to 'sync_account'; 

   Untuk Oracle 12c dan yang lebih baru, jalankan perintah berikut untuk memberikan izin penambangan log kepada akun tersebut. Untuk versi sebelum Oracle 12c, Anda tidak perlu menjalankan perintah ini karena fitur penambangan log sudah built-in.

   grant LOGMINING TO 'sync_account';

Aktifkan log arsip dan pencatatan tambahan, serta alihkan file log Redo

1. Aktifkan log arsip dengan menjalankan pernyataan SQL berikut.

   shutdown immediate;
   startup mount;
   alter database archivelog;
   alter database open;

2. Aktifkan pencatatan tambahan.

   Anda dapat mengaktifkan pencatatan tambahan sesuai kebutuhan dengan menjalankan pernyataan SQL berikut.

   // Untuk menangkap perubahan data lengkap selama sinkronisasi real-time, aktifkan pencatatan tambahan. Anda dapat mengaktifkannya di tingkat database dengan menjalankan pernyataan SQL berikut:
   alter database add supplemental log data(primary key) columns; // Mengaktifkan pencatatan tambahan untuk kolom kunci primer database.
   alter database add supplemental log data(unique) columns; // Mengaktifkan pencatatan tambahan untuk kolom indeks unik database.
   
   // Anda juga dapat mengaktifkannya di tingkat tabel:
   alter schema.table add supplemental log data(primary key) columns; // Mengaktifkan pencatatan tambahan untuk kolom kunci primer tabel tertentu.
   alter schema.table add supplemental log data(unique) columns; // Mengaktifkan pencatatan tambahan untuk kolom indeks unik tabel tertentu.

3. Alihkan file log Redo.

   Setelah Anda mengaktifkan pencatatan tambahan, jalankan perintah berikut beberapa kali (disarankan lima kali) untuk mengalihkan file log Redo.

   alter system switch logfile;

   Catatan

   Menjalankan perintah beberapa kali memastikan bahwa ketika file log saat ini penuh, sistem akan beralih ke file berikutnya. Hal ini mencegah kehilangan catatan operasi dan memfasilitasi pemulihan data.

Periksa pengkodean karakter database

Jalankan pernyataan berikut untuk memeriksa format pengkodean karakter database:

select * from v$nls_parameters where PARAMETER IN ('NLS_CHARACTERSET', 'NLS_NCHAR_CHARACTERSET');

• v$nls_parameters menyimpan pengaturan parameter database.

• NLS_CHARACTERSET dan NLS_NCHAR_CHARACTERSET adalah set karakter database dan set karakter nasional. Keduanya menentukan kelas penyimpanan untuk dua jenis utama data karakter di Oracle.

Periksa tipe data tabel database

Anda dapat menggunakan pernyataan SELECT untuk mengkueri tipe data dalam tabel database. Contoh berikut menunjukkan cara melihat tipe data dalam tabel 'tablename'.

select COLUMN_NAME,DATA_TYPE from all_tab_columns where TABLE_NAME='tablename'; 

• COLUMN_NAME: Nama kolom tabel.

• DATA_TYPE: Tipe data kolom yang bersesuaian.

• all_tab_columns: Tampilan yang menyimpan informasi tentang semua kolom di tabel database.

• TABLE_NAME: Nama tabel target untuk dikueri. Saat menjalankan pernyataan, ganti 'tablename' dengan nama tabel Anda.

Anda juga dapat menjalankan select * from 'tablename'; untuk mengkueri semua informasi tentang tabel target dan mengambil tipe datanya.

Panduan mengonfigurasi tugas sinkronisasi offline untuk satu tabel

• Untuk informasi selengkapnya tentang prosedur, lihat Konfigurasi menggunakan antarmuka tanpa kode dan Konfigurasi menggunakan editor kode.

• Untuk daftar lengkap parameter dan demo skrip untuk editor kode, lihat Lampiran: Demo skrip dan deskripsi parameter.

Panduan mengonfigurasi tugas sinkronisasi real-time untuk satu tabel

Untuk informasi selengkapnya tentang prosedur, lihat Konfigurasi tugas sinkronisasi real-time di DataStudio.

Panduan mengonfigurasi sinkronisasi untuk seluruh database, termasuk offline, real-time penuh dan inkremental, serta database ter-shard

Untuk informasi selengkapnya tentang prosedur, lihat Konfigurasi tugas sinkronisasi real-time untuk seluruh database.

Konfigurasi tugas sinkronisasi batch menggunakan editor kode

Jika Anda ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip berdasarkan persyaratan format skrip terpadu. Untuk informasi selengkapnya, lihat Konfigurasi tugas di editor kode. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Demo skrip Reader

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "oracle",
            "parameter": {
                "selectedDatabase": "AUTOTEST",
                "indexes": [],
                "datasource": "oracle_test",
                "envType": 0,
                "useSpecialSecret": true,
                "column": [
                    "id"
                ],
                "where": "",
                "splitPk": "id",
                "encoding": "UTF-8",
                "table": "AUTOTEST.table01"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
            },
            "name": "Writer",
            "category": "writer"
        },
        {
            "name": "Processor",
            "stepType": null,
            "category": "processor",
            "copies": 1,
            "parameter": {
                "nodes": [],
                "edges": [],
                "groups": [],
                "version": "2.0"
            }
        }
    ],
    "setting": {
        "executeMode": null,
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Parameter skrip Reader

Demo skrip Writer

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        { 
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"oracle",// Nama plugin.
            "parameter":{
                "postSql":[],// Pernyataan SQL yang dieksekusi setelah tugas sinkronisasi data.
                "datasource":"",
                "session":[],// Parameter sesi koneksi database.
                "column":[// Bidang-bidang.
                    "id",
                    "name"
                ],
                "encoding":"UTF-8",// Format encoding.
                "batchSize":1024,// Jumlah catatan dalam satu batch.
                "table":"",// Nama tabel.
                "preSql":[]// Pernyataan SQL yang dieksekusi sebelum tugas sinkronisasi data.
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah catatan kesalahan.
        },
        "speed":{
            "throttle":true,// Jika throttle bernilai false, parameter mbps diabaikan dan pengendalian aliran dinonaktifkan. Jika throttle bernilai true, pengendalian aliran diaktifkan.
            "concurrent":1, // Jumlah pekerjaan konkuren.
            "mbps":"12"// Laju pengendalian aliran. 1 mbps = 1 MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter skrip Writer