Data Transmission Service:Migrasi Oracle yang dikelola sendiri ke Message Queue for Apache Kafka

Catatan penggunaan

• Selama migrasi data penuh, DTS mengonsumsi sumber daya baca dan tulis pada database sumber dan tujuan, sehingga meningkatkan beban kerja mereka. Jika performa database Anda buruk, spesifikasinya rendah, atau beban kerjanya tinggi (misalnya, jika database sumber memiliki banyak kueri SQL lambat atau tabel tanpa primary key, atau terjadi deadlock di database tujuan), peningkatan beban tersebut dapat memberatkan database Anda atau bahkan menyebabkan gangguan layanan. Lakukan migrasi data selama jam sepi, misalnya ketika utilisasi CPU kedua database berada di bawah 30%.

• Jika tugas migrasi gagal, DTS secara otomatis mencoba melanjutkannya. Sebelum Anda memindahkan beban kerja bisnis ke database tujuan, Anda harus menghentikan atau melepas tugas tersebut. Hal ini mencegah tugas yang dilanjutkan menimpa data di database tujuan dengan data dari sumber.

• Jika database Oracle yang dikelola sendiri diterapkan dalam arsitektur Real Application Cluster (RAC) dan terhubung ke DTS melalui virtual private cloud (VPC) Alibaba Cloud, Anda harus menghubungkan alamat IP Single Client Access Name (SCAN) dari Oracle RAC dan alamat IP virtual (VIP) setiap node ke VPC serta mengonfigurasi entri rute. Pengaturan ini memastikan tugas DTS Anda dapat berjalan sebagaimana mestinya. Untuk informasi selengkapnya, lihat Hubungkan pusat data ke DTS melalui VPN Gateway.

  Penting

  Saat Anda mengonfigurasi database Oracle sumber di konsol DTS, Anda dapat menentukan alamat IP SCAN dari Oracle RAC sebagai titik akhir database atau alamat IP.

• Jika database Oracle yang dikelola sendiri Anda menggunakan versi 12c atau yang lebih baru, nama tabel yang akan dimigrasikan tidak boleh melebihi panjang 30 byte.

• Jika tabel sumber tidak memiliki primary key atau kendala unik dan berisi data non-unik, data duplikat mungkin tercipta di database tujuan.

Penagihan

Jenis migrasi

Sebelum memulai

Login ke database Oracle yang ingin Anda migrasikan, buat akun database untuk pengumpulan data, dan berikan izin yang diperlukan kepada akun tersebut.

Untuk membuat akun database dan memberikan izin:

Untuk database Oracle yang dikelola sendiri, lihat CREATE USER dan GRANT.

Aktifkan pencatatan dan berikan izin detail halus kepada akun database Oracle

1. Aktifkan pencatatan arsip dan pencatatan tambahan.

   Tipe	Prosedur
   Pencatatan arsip	Eksekusi pernyataan berikut untuk mengaktifkan pencatatan arsip: shutdown immediate; startup mount; alter database archivelog; alter database open; archive log list;
   Pencatatan tambahan	Aktifkan pencatatan tambahan di tingkat database atau tabel sesuai kebutuhan bisnis Anda: Catatan Anda dapat mengaktifkan pencatatan tambahan di tingkat database untuk memastikan stabilitas tugas Layanan Transmisi Data (DTS). Anda juga dapat mengaktifkan pencatatan tambahan di tingkat tabel untuk mengurangi penggunaan disk pada database Oracle sumber. Aktifkan pencatatan tambahan di tingkat database Eksekusi pernyataan berikut untuk mengaktifkan pencatatan tambahan minimal: alter database add supplemental log data; Eksekusi pernyataan berikut untuk mengaktifkan pencatatan tambahan primary key dan unique key di tingkat database: alter database add supplemental log data (primary key,unique index) columns; Aktifkan pencatatan tambahan di tingkat tabel Eksekusi pernyataan berikut untuk mengaktifkan pencatatan tambahan minimal: alter database add supplemental log data; Aktifkan pencatatan tambahan di tingkat tabel dengan salah satu metode berikut: Aktifkan pencatatan tambahan primary key di tingkat tabel alter table table_name add supplemental log data (primary key) columns; Aktifkan pencatatan tambahan di tingkat tabel untuk semua kolom alter table tb_name add supplemental log data (all) columns;
   Pencatatan paksa	Eksekusi pernyataan berikut untuk mengaktifkan pencatatan paksa: alter database force logging;

2. Berikan izin detail halus kepada akun database Oracle.

   Versi Oracle 9i hingga 11g

   # Buat akun database bernama rdsdt_dtsacct dan berikan izin kepada akun tersebut.
   create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
   grant create session to rdsdt_dtsacct;
   grant connect to rdsdt_dtsacct;
   grant resource to rdsdt_dtsacct;
   grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
   grant select on V_$LOGMNR_LOGS to rdsdt_dtsacct;
   grant select on  all_objects to rdsdt_dtsacct;
   grant select on  all_tab_cols to rdsdt_dtsacct;
   grant select on  dba_registry to rdsdt_dtsacct;
   grant select any table to rdsdt_dtsacct;
   grant select any transaction to rdsdt_dtsacct;
   -- hak istimewa v$log
   grant select on v_$log to rdsdt_dtsacct;
   -- hak istimewa v$logfile
   grant select on v_$logfile to rdsdt_dtsacct;
   -- hak istimewa v$archived_log
   grant select on v_$archived_log to rdsdt_dtsacct;
   -- hak istimewa v$parameter
   grant select on v_$parameter to rdsdt_dtsacct;
   -- hak istimewa v$database
   grant select on v_$database to rdsdt_dtsacct;
   -- hak istimewa v$active_instances
   grant select on v_$active_instances to rdsdt_dtsacct;
   -- hak istimewa v$instance
   grant select on v_$instance to rdsdt_dtsacct;
   -- hak istimewa v$logmnr_contents
   grant select on v_$logmnr_contents to rdsdt_dtsacct;
   -- tabel sistem
   grant select on sys.USER$ to rdsdt_dtsacct;
   grant select on SYS.OBJ$ to rdsdt_dtsacct;
   grant select on SYS.COL$ to rdsdt_dtsacct;
   grant select on SYS.IND$ to rdsdt_dtsacct;
   grant select on SYS.ICOL$ to rdsdt_dtsacct;
   grant select on SYS.CDEF$ to rdsdt_dtsacct;
   grant select on SYS.CCOL$ to rdsdt_dtsacct;
   grant select on SYS.TABPART$ to rdsdt_dtsacct;
   grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
   grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;
   grant select_catalog_role TO rdsdt_dtsacct;

   Oracle 12c hingga 19c (multitenant)

   # Beralih ke database yang dapat dicolokkan (PDB). Buat akun database bernama rdsdt_dtsacct dan berikan izin kepada akun tersebut.
   ALTER SESSION SET container = ORCLPDB1;
   create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
   grant create  session to rdsdt_dtsacct;
   grant connect  to rdsdt_dtsacct;
   grant resource to rdsdt_dtsacct;
   grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
   grant select on  all_objects to rdsdt_dtsacct;
   grant select on  all_tab_cols to rdsdt_dtsacct;
   grant select on  dba_registry to rdsdt_dtsacct;
   grant select any table to rdsdt_dtsacct;
   grant select any transaction to rdsdt_dtsacct;
   -- hak istimewa v$log
   grant select on v_$log to rdsdt_dtsacct;
   -- hak istimewa v$logfile
   grant select on v_$logfile to rdsdt_dtsacct;
   -- hak istimewa v$archived_log
   grant select on v_$archived_log to rdsdt_dtsacct;
   -- hak istimewa v$parameter
   grant select on v_$parameter to rdsdt_dtsacct;
   -- hak istimewa v$database
   grant select on v_$database to rdsdt_dtsacct;
   -- hak istimewa v$active_instances
   grant select on v_$active_instances to rdsdt_dtsacct;
   -- hak istimewa v$instance
   grant select on v_$instance to rdsdt_dtsacct;
   -- hak istimewa v$logmnr_contents
   grant select on v_$logmnr_contents to rdsdt_dtsacct;
   grant select on sys.USER$ to rdsdt_dtsacct;
   grant select on SYS.OBJ$ to rdsdt_dtsacct;
   grant select on SYS.COL$ to rdsdt_dtsacct;
   grant select on SYS.IND$ to rdsdt_dtsacct;
   grant select on SYS.ICOL$ to rdsdt_dtsacct;
   grant select on SYS.CDEF$ to rdsdt_dtsacct;
   grant select on SYS.CCOL$ to rdsdt_dtsacct;
   grant select on SYS.TABPART$ to rdsdt_dtsacct;
   grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
   grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;
   -- hak istimewa V$PDBS
   grant select on V_$PDBS to rdsdt_dtsacct;
   grant select on v$database to rdsdt_dtsacct;
   grant select on dba_objects to rdsdt_dtsacct;
   grant select on DBA_TAB_COMMENTS to rdsdt_dtsacct;
   grant select on dba_tab_cols to rdsdt_dtsacct;
   grant select_catalog_role TO rdsdt_dtsacct;
   
   # Beralih ke CDB$ROOT, yaitu kontainer root dari database kontainer (CDB). Buat akun database dan berikan izin kepada akun tersebut.
   ALTER SESSION SET container = CDB$ROOT;
   # Buat akun database bernama rdsdt_dtsacct dan berikan izin kepada akun tersebut. Anda harus memodifikasi parameter default database Oracle.
   alter session set "_ORACLE_SCRIPT"=true;
   create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
   grant create session to rdsdt_dtsacct;
   grant connect to rdsdt_dtsacct;
   grant select on v_$logmnr_contents to rdsdt_dtsacct;
   grant LOGMINING TO rdsdt_dtsacct;
   grant EXECUTE_CATALOG_ROLE to rdsdt_dtsacct;
   grant execute on sys.dbms_logmnr to rdsdt_dtsacct;

   Oracle 12c hingga 19c (non-multitenant)

   # Buat akun database bernama rdsdt_dtsacct dan berikan izin kepada akun tersebut.
   create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
   grant create  session to rdsdt_dtsacct;
   grant connect  to rdsdt_dtsacct;
   grant resource to rdsdt_dtsacct;
   grant select on V_$LOGMNR_LOGS to rdsdt_dtsacct;
   grant select on  all_objects to rdsdt_dtsacct;
   grant select on  all_tab_cols to rdsdt_dtsacct;
   grant select on  dba_registry to rdsdt_dtsacct;
   grant select any table to rdsdt_dtsacct;
   grant select any transaction to rdsdt_dtsacct;
   grant select on v$database to rdsdt_dtsacct;
   grant select on dba_objects to rdsdt_dtsacct;
   grant select on DBA_TAB_COMMENTS to rdsdt_dtsacct;
   grant select on dba_tab_cols to rdsdt_dtsacct;
   -- hak istimewa v$log
   grant select on v_$log to rdsdt_dtsacct;
   -- hak istimewa v$logfile
   grant select on v_$logfile to rdsdt_dtsacct;
   -- hak istimewa v$archived_log
   grant select on v_$archived_log to rdsdt_dtsacct;
   -- hak istimewa v$parameter
   grant select on v_$parameter to rdsdt_dtsacct;
   -- hak istimewa v$database
   grant select on v_$database to rdsdt_dtsacct;
   -- hak istimewa v$active_instances
   grant select on v_$active_instances to rdsdt_dtsacct;
   -- hak istimewa v$instance
   grant select on v_$instance to rdsdt_dtsacct;
   -- hak istimewa v$logmnr_contents
   grant select on v_$logmnr_contents to rdsdt_dtsacct;
   grant select on sys.USER$ to rdsdt_dtsacct;
   grant select on SYS.OBJ$ to rdsdt_dtsacct;
   grant select on SYS.COL$ to rdsdt_dtsacct;
   grant select on SYS.IND$ to rdsdt_dtsacct;
   grant select on SYS.ICOL$ to rdsdt_dtsacct;
   grant select on SYS.CDEF$ to rdsdt_dtsacct;
   grant select on SYS.CCOL$ to rdsdt_dtsacct;
   grant select on SYS.TABPART$ to rdsdt_dtsacct;
   grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
   grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;
   grant LOGMINING TO rdsdt_dtsacct;
   grant EXECUTE_CATALOG_ROLE to rdsdt_dtsacct;
   grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
   grant select_catalog_role TO rdsdt_dtsacct;

   Catatan

   Untuk informasi selengkapnya tentang arsitektur multitenant Oracle, lihat Oracle Multitenant.

Prosedur

1. Masuk ke atau Konsol DTS.

   Catatan

   Jika Anda dialihkan secara otomatis ke konsol Data Management (DMS), Anda dapat mengklik ikon di pojok kanan bawah lalu klik untuk kembali ke konsol DTS klasik.

2. Di panel navigasi sebelah kiri, klik Data Migration.

3. Di bagian atas halaman Migration Tasks, pilih wilayah instans tujuan.

4. Di pojok kanan atas halaman, klik Create Data Migration Task.

5. Konfigurasi pengaturan koneksi untuk database sumber dan tujuan.

   Kategori	Parameter	Deskripsi
   Tidak berlaku	Task Name	DTS secara otomatis menghasilkan nama tugas. Kami menyarankan agar Anda menentukan nama deskriptif agar mudah diidentifikasi. Nama tersebut tidak perlu unik.
   Database sumber	Instance type	Pilih cara penempatan database sumber. Topik ini menggunakan User-Created Database with Public IP Address sebagai contoh. Catatan Jika Anda menggunakan jenis instans berbeda untuk database yang dikelola sendiri, Anda harus melakukan persiapan tambahan. Untuk informasi selengkapnya, lihat Ikhtisar persiapan.
   	Instance region	Jika Anda memilih User-Created Database with Public IP Address sebagai jenis instans, Anda tidak perlu mengatur Instance Region. Catatan Jika Anda telah mengonfigurasi daftar putih untuk database Oracle yang dikelola sendiri, klik Get IP Address Segment of DTS di sebelah pengaturan Instance Region untuk mendapatkan alamat IP server DTS. Lalu, tambahkan alamat IP tersebut ke daftar putih keamanan database Oracle yang dikelola sendiri.
   	Database type	Pilih Oracle.
   	Hostname or IP address	Masukkan titik akhir database Oracle yang dikelola sendiri. Dalam kasus ini, masukkan alamat IP publiknya.
   	Port number	Masukkan port layanan database Oracle yang dikelola sendiri. Nilai default-nya adalah 1521. Catatan Dalam contoh ini, port layanan dapat diakses melalui internet.
   	Instance type	Non-RAC Instance: Jika Anda memilih opsi ini, Anda juga harus menentukan SID. RAC or PDB Instance: Jika Anda memilih opsi ini, Anda juga harus menentukan Service Name.
   	Database account	Masukkan akun untuk database Oracle yang dikelola sendiri. Untuk informasi tentang izin yang diperlukan, lihat Sebelum memulai.
   	Database password	Masukkan kata sandi untuk akun database. Catatan Setelah Anda memasukkan informasi database sumber, Anda dapat mengklik Test Connectivity di sebelah Database Password untuk memverifikasi bahwa informasi tersebut benar. Jika informasi tersebut benar, pesan Passed akan ditampilkan. Jika pesan Failed ditampilkan, klik Diagnose di sebelah pesan Failed dan sesuaikan informasi database sumber berdasarkan petunjuk.
   Database tujuan	Instance type	Pilih User-Created Database Connected Over Express Connect, VPN Gateway, or Smart Access Gateway. Catatan Karena DTS tidak mendukung pemilihan langsung Message Queue for Apache Kafka, Anda harus mengonfigurasinya sebagai cluster Kafka yang dikelola sendiri.
   	Instance region	Pilih wilayah tempat instans Kafka tujuan berada.
   	Peer VPC	Pilih ID VPC instans Kafka tujuan. Anda dapat menemukan ID VPC di halaman Basic Information instans Kafka.
   	Database type	Pilih Kafka.
   	IP address	Masukkan alamat IP apa pun dari Default Endpoint instans Kafka. Catatan Anda dapat menemukan alamat IP Default Endpoint di halaman Basic Information instans Kafka.
   	Port number	Port layanan instans Kafka. Nilai default-nya adalah 9092.
   	Database account	Masukkan username untuk instans Kafka. Catatan Jika jenis instans instans Kafka adalah VPC Instance, Anda tidak perlu mengonfigurasi Database Account dan Database Password.
   	Database password	Masukkan kata sandi untuk username tersebut.
   	Topic	Klik Get Topic list di sebelah kanan dan pilih topik dari daftar drop-down.
   	Topic for storing DDL	Klik Get Topic list di sebelah kanan dan pilih topik dari daftar drop-down untuk menyimpan informasi DDL. Jika Anda tidak menentukan topik, DTS menyimpan informasi DDL di topik yang dipilih untuk pengaturan Topic.
   	Kafka version	Pilih versi yang sesuai dengan instans Kafka Anda.
   	Connection method	Berdasarkan kebutuhan bisnis dan keamanan Anda, pilih Non-encrypted atau SCRAM-SHA-256.
   	Use Kafka schema registry	Kafka Schema Registry adalah lapisan layanan metadata yang menyediakan antarmuka RESTful untuk menyimpan dan mengambil skema Avro. No: Tidak menggunakan Kafka Schema Registry. Yes: Menggunakan Kafka Schema Registry. Anda harus memasukkan URL atau alamat IP skema Avro yang terdaftar di Kafka Schema Registry.

6. Setelah menyelesaikan konfigurasi, klik Set Whitelist and Next di pojok kanan bawah halaman.
   Jika sumber atau tujuan adalah instans database Alibaba Cloud (seperti ApsaraDB RDS untuk MySQL atau ApsaraDB untuk MongoDB), DTS secara otomatis menambahkan alamat IP server DTS di wilayah yang sesuai ke daftar putih instans tersebut. Jika sumber atau tujuan adalah database yang dikelola sendiri pada instans ECS, DTS secara otomatis menambahkan alamat IP server DTS ke aturan grup keamanan instans ECS. Anda juga harus memastikan bahwa database yang dikelola sendiri mengizinkan akses dari instans ECS. Jika database Anda adalah kluster yang ditempatkan di beberapa instans ECS, Anda harus secara manual menambahkan alamat IP regional server DTS ke aturan grup keamanan setiap instans ECS. Jika sumber atau tujuan adalah database yang dikelola sendiri di pusat data lokal atau database cloud pihak ketiga, Anda harus secara manual menambahkan alamat IP server DTS untuk mengizinkan akses. Untuk daftar alamat IP server DTS, lihat Blok CIDR server DTS.

   Peringatan

   Menambahkan blok CIDR publik server DTS, baik secara otomatis maupun manual, dapat menimbulkan risiko keamanan. Dengan menggunakan produk ini, Anda mengakui dan menerima risiko potensial tersebut. Anda bertanggung jawab untuk menerapkan langkah-langkah keamanan dasar, termasuk namun tidak terbatas pada penggunaan kata sandi kuat, pembatasan port terbuka, penggunaan otentikasi untuk panggilan API internal, peninjauan rutin dan pembatasan segmen jaringan yang tidak perlu, atau koneksi melalui jaringan pribadi seperti Express Connect, VPN Gateway, atau Smart Access Gateway.

7. Konfigurasi jenis migrasi, kebijakan, dan objek.

   Parameter	Deskripsi
   Migration type	Pilih Schema Migration, Full Data Migration, dan Incremental Data Migration. Penting Jika Anda tidak memilih Incremental Data Migration, jangan menulis data baru ke database sumber selama migrasi data penuh untuk memastikan konsistensi data.
   Data format in Kafka	Data yang dimigrasikan ke kluster Kafka disimpan dalam format Avro. Anda harus mengurai data berdasarkan definisi skema Avro. Untuk informasi selengkapnya, lihat Definisi skema Avro DTS.
   Policy for migrating data to Kafka partitions	Pilih kebijakan migrasi berdasarkan kebutuhan bisnis Anda. Untuk informasi selengkapnya, lihat Kebijakan migrasi partisi Kafka.
   Migration objects	Di kotak Available, klik tabel yang ingin Anda migrasikan, lalu klik ikon untuk memindahkannya ke kotak Selected Objects. Catatan DTS secara otomatis memetakan nama tabel ke nama topik yang Anda pilih di Langkah 5. Untuk mengubah topik tujuan migrasi, lihat Pemetaan tabel dan kolom.
   Rename objects	Untuk mengubah nama objek di instans tujuan, gunakan fitur pemetaan nama objek. Untuk informasi selengkapnya, lihat Pemetaan tabel dan kolom.
   Connection retry duration	Secara default, DTS mencoba ulang selama 12 jam. Anda juga dapat menentukan durasi percobaan ulang khusus. Jika DTS berhasil terhubung kembali ke database sumber atau tujuan dalam waktu yang ditentukan, tugas migrasi akan dilanjutkan secara otomatis. Jika tidak, tugas tersebut gagal. Catatan DTS membebankan biaya untuk tugas selama mencoba ulang koneksi. Kami menyarankan agar Anda menentukan durasi percobaan ulang khusus sesuai kebutuhan bisnis atau segera melepas instans DTS setelah instans database sumber dan tujuan dilepas.

8. Klik Precheck and Start.

   Penting

   • Sebelum tugas dimulai, DTS melakukan pemeriksaan awal. Anda hanya dapat memulai tugas setelah lulus pemeriksaan awal ini.

   • Jika pemeriksaan awal gagal, klik ikon di sebelah item pemeriksaan tertentu untuk melihat detail kegagalan.

     • Anda dapat memperbaiki masalah berdasarkan detail tersebut lalu menjalankan pemeriksaan awal lagi.

     • Jika Anda tidak perlu memperbaiki item peringatan, Anda dapat memilih Ignore atau Ignore and Precheck Again untuk melewati item peringatan dan menjalankan pemeriksaan awal lagi.

9. Setelah tugas lulus pemeriksaan awal, klik Next.

10. Di kotak dialog Confirm Settings yang muncul, pilih Instance Class dan centang kotak Data Transmission Service (pay-as-you-go) Service Terms.

11. Klik Buy and Start untuk memulai tugas migrasi.

Hentikan tugas migrasi

• Migrasi data penuh

  Jangan menghentikan tugas secara manual selama migrasi data penuh. Jika tidak, sistem mungkin gagal memigrasikan semua data. Tunggu hingga tugas migrasi berakhir secara otomatis.

• Migrasi data inkremental

  Jenis tugas ini tidak berhenti secara otomatis; Anda harus menghentikannya secara manual.

  1. Tunggu hingga tugas memasuki tahap Incremental Data Migration dengan status Undelayed. Lalu, hentikan penulisan ke database sumber selama beberapa menit. Selama periode ini, status Incremental Data Migration mungkin menunjukkan latensi.
  2. Tunggu hingga status Incremental Data Migration kembali ke Undelayed. Setelah ini dikonfirmasi dalam daftar, pilih kotak centang tugas tersebut dan klik tombol StopEnd di bilah operasi batch di bagian bawah.