Data Transmission Service：Migrasi data dari database Oracle yang dikelola sendiri ke instance Message Queue for Apache Kafka

Catatan penggunaan

• DTS menggunakan sumber daya baca dan tulis dari database sumber dan tujuan selama migrasi data penuh. Hal ini dapat meningkatkan beban pada server database. Jika performa database tidak optimal, spesifikasinya rendah, atau volume data besar, layanan database mungkin menjadi tidak tersedia. Sebagai contoh, DTS menempati sejumlah besar sumber daya baca dan tulis dalam kasus berikut: banyak kueri SQL lambat dilakukan pada database sumber, tabel tidak memiliki kunci utama, atau deadlock terjadi di database tujuan. Sebelum memigrasikan data, evaluasi dampak migrasi data terhadap performa database sumber dan tujuan. Kami merekomendasikan agar Anda memigrasikan data selama jam non-puncak. Sebagai contoh, Anda dapat memigrasikan data ketika utilisasi CPU dari database sumber dan tujuan kurang dari 30%.

• Jika tugas migrasi data gagal dan berhenti, DTS secara otomatis melanjutkan tugas tersebut. Sebelum beralih beban kerja ke database tujuan, hentikan atau lepaskan tugas migrasi data. Jika tidak, data dari database sumber akan menimpa data di database tujuan setelah tugas dilanjutkan.

• Jika database Oracle yang dikelola sendiri diterapkan dalam arsitektur Real Application Cluster (RAC) dan terhubung ke DTS melalui virtual private cloud (VPC) Alibaba Cloud, Anda harus menghubungkan alamat IP Single Client Access Name (SCAN) dari Oracle RAC dan alamat IP virtual (VIP) dari setiap node ke VPC serta mengonfigurasi rute. Pengaturan ini memastikan bahwa tugas DTS Anda dapat berjalan seperti yang diharapkan. Untuk informasi lebih lanjut, lihat Hubungkan Pusat Data ke DTS Menggunakan VPN Gateway.

  Penting

  Saat mengonfigurasi database Oracle sumber di konsol DTS, Anda dapat menentukan alamat IP SCAN dari Oracle RAC sebagai titik akhir database atau alamat IP.

• Jika versi database Oracle Anda adalah 12c atau lebih baru, nama tabel yang akan dimigrasikan tidak boleh melebihi 30 byte panjangnya.

• Tabel yang akan dimigrasikan di database sumber harus memiliki batasan PRIMARY KEY atau UNIQUE dan semua bidang harus unik. Jika tidak, database tujuan mungkin berisi catatan data duplikat.

Aturan penagihan

Jenis migrasi

Sebelum Anda mulai

Masuk ke database Oracle yang dikelola sendiri, buat akun yang ingin digunakan untuk mengumpulkan data, dan berikan izin kepada akun tersebut.

Untuk informasi lebih lanjut tentang cara membuat akun database dan memberikan izin kepada akun database, lihat topik-topik berikut:

Database Oracle yang dikelola sendiri: CREATE USER dan GRANT.

Aktifkan logging dan berikan izin granular halus ke akun database Oracle

1. Aktifkan logging arsip dan logging tambahan.

   Jenis	Prosedur
   Logging arsip	Eksekusi pernyataan berikut untuk mengaktifkan logging arsip: shutdown immediate; startup mount; alter database archivelog; alter database open; archive log list;
   Logging tambahan	Aktifkan logging tambahan di tingkat database atau tabel berdasarkan kebutuhan bisnis Anda: Catatan Anda dapat mengaktifkan logging tambahan tingkat database untuk memastikan stabilitas tugas Data Transmission Service (DTS). Anda dapat mengaktifkan logging tambahan tingkat tabel untuk mengurangi penggunaan disk di database Oracle sumber. Aktifkan logging tambahan tingkat database Eksekusi pernyataan berikut untuk mengaktifkan logging tambahan minimal: alter database add supplemental log data; Eksekusi pernyataan berikut untuk mengaktifkan logging tambahan kunci utama dan kunci unik di tingkat database: alter database add supplemental log data (primary key,unique index) columns; Aktifkan logging tambahan tingkat tabel Eksekusi pernyataan berikut untuk mengaktifkan logging tambahan minimal: alter database add supplemental log data; Aktifkan logging tambahan tingkat tabel dengan menggunakan salah satu metode berikut: Aktifkan logging tambahan kunci utama di tingkat tabel alter table table_name add supplemental log data (primary key) columns; Aktifkan logging tambahan tingkat tabel untuk semua kolom alter table tb_name add supplemental log data (all) columns;
   Force logging	Eksekusi pernyataan berikut untuk mengaktifkan force logging: alter database force logging;

2. Berikan izin granular halus ke akun database Oracle.

   Versi Oracle 9i hingga 11g

   # Buat akun database bernama rdsdt_dtsacct dan berikan izin ke akun tersebut.
   create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
   grant create session to rdsdt_dtsacct;
   grant connect to rdsdt_dtsacct;
   grant resource to rdsdt_dtsacct;
   grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
   grant select on V_$LOGMNR_LOGS to rdsdt_dtsacct;
   grant select on  all_objects to rdsdt_dtsacct;
   grant select on  all_tab_cols to rdsdt_dtsacct;
   grant select on  dba_registry to rdsdt_dtsacct;
   grant select any table to rdsdt_dtsacct;
   grant select any transaction to rdsdt_dtsacct;
   -- v$log privileges
   grant select on v_$log to rdsdt_dtsacct;
   -- v$logfile privileges
   grant select on v_$logfile to rdsdt_dtsacct;
   -- v$archived_log privileges
   grant select on v_$archived_log to rdsdt_dtsacct;
   -- v$parameter privileges
   grant select on v_$parameter to rdsdt_dtsacct;
   -- v$database privileges
   grant select on v_$database to rdsdt_dtsacct;
   -- v$active_instances privileges
   grant select on v_$active_instances to rdsdt_dtsacct;
   -- v$instance privileges
   grant select on v_$instance to rdsdt_dtsacct;
   -- v$logmnr_contents privileges
   grant select on v_$logmnr_contents to rdsdt_dtsacct;
   -- system tables
   grant select on sys.USER$ to rdsdt_dtsacct;
   grant select on SYS.OBJ$ to rdsdt_dtsacct;
   grant select on SYS.COL$ to rdsdt_dtsacct;
   grant select on SYS.IND$ to rdsdt_dtsacct;
   grant select on SYS.ICOL$ to rdsdt_dtsacct;
   grant select on SYS.CDEF$ to rdsdt_dtsacct;
   grant select on SYS.CCOL$ to rdsdt_dtsacct;
   grant select on SYS.TABPART$ to rdsdt_dtsacct;
   grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
   grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;
   grant select_catalog_role TO rdsdt_dtsacct;

   Oracle 12c hingga 19c (multitenant)

   # Beralih ke pluggable database (PDB). Buat akun database bernama rdsdt_dtsacct dan berikan izin ke akun tersebut.
   ALTER SESSION SET container = ORCLPDB1;
   create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
   grant create  session to rdsdt_dtsacct;
   grant connect  to rdsdt_dtsacct;
   grant resource to rdsdt_dtsacct;
   grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
   grant select on  all_objects to rdsdt_dtsacct;
   grant select on  all_tab_cols to rdsdt_dtsacct;
   grant select on  dba_registry to rdsdt_dtsacct;
   grant select any table to rdsdt_dtsacct;
   grant select any transaction to rdsdt_dtsacct;
   -- v$log privileges
   grant select on v_$log to rdsdt_dtsacct;
   -- v$logfile privileges
   grant select on v_$logfile to rdsdt_dtsacct;
   -- v$archived_log privileges
   grant select on v_$archived_log to rdsdt_dtsacct;
   -- v$parameter privileges
   grant select on v_$parameter to rdsdt_dtsacct;
   -- v$database privileges
   grant select on v_$database to rdsdt_dtsacct;
   -- v$active_instances privileges
   grant select on v_$active_instances to rdsdt_dtsacct;
   -- v$instance privileges
   grant select on v_$instance to rdsdt_dtsacct;
   -- v$logmnr_contents privileges
   grant select on v_$logmnr_contents to rdsdt_dtsacct;
   grant select on sys.USER$ to rdsdt_dtsacct;
   grant select on SYS.OBJ$ to rdsdt_dtsacct;
   grant select on SYS.COL$ to rdsdt_dtsacct;
   grant select on SYS.IND$ to rdsdt_dtsacct;
   grant select on SYS.ICOL$ to rdsdt_dtsacct;
   grant select on SYS.CDEF$ to rdsdt_dtsacct;
   grant select on SYS.CCOL$ to rdsdt_dtsacct;
   grant select on SYS.TABPART$ to rdsdt_dtsacct;
   grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
   grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;
   -- V$PDBS privileges
   grant select on V_$PDBS to rdsdt_dtsacct;
   grant select on v$database to rdsdt_dtsacct;
   grant select on dba_objects to rdsdt_dtsacct;
   grant select on DBA_TAB_COMMENTS to rdsdt_dtsacct;
   grant select on dba_tab_cols to rdsdt_dtsacct;
   grant select_catalog_role TO rdsdt_dtsacct;
   
   # Beralih ke CDB$ROOT, yang merupakan root container dari container database (CDB). Buat akun database dan berikan izin ke akun tersebut.
   ALTER SESSION SET container = CDB$ROOT;
   # Buat akun database bernama rdsdt_dtsacct dan berikan izin ke akun tersebut. Anda harus memodifikasi parameter default dari database Oracle.
   alter session set "_ORACLE_SCRIPT"=true;
   create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
   grant create session to rdsdt_dtsacct;
   grant connect to rdsdt_dtsacct;
   grant select on v_$logmnr_contents to rdsdt_dtsacct;
   grant LOGMINING TO rdsdt_dtsacct;
   grant EXECUTE_CATALOG_ROLE to rdsdt_dtsacct;
   grant execute on sys.dbms_logmnr to rdsdt_dtsacct;

   Oracle 12c hingga 19c (non-multitenant)

   # Buat akun database bernama rdsdt_dtsacct dan berikan izin ke akun tersebut.
   create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
   grant create  session to rdsdt_dtsacct;
   grant connect  to rdsdt_dtsacct;
   grant resource to rdsdt_dtsacct;
   grant select on V_$LOGMNR_LOGS to rdsdt_dtsacct;
   grant select on  all_objects to rdsdt_dtsacct;
   grant select on  all_tab_cols to rdsdt_dtsacct;
   grant select on  dba_registry to rdsdt_dtsacct;
   grant select any table to rdsdt_dtsacct;
   grant select any transaction to rdsdt_dtsacct;
   grant select on v$database to rdsdt_dtsacct;
   grant select on dba_objects to rdsdt_dtsacct;
   grant select on DBA_TAB_COMMENTS to rdsdt_dtsacct;
   grant select on dba_tab_cols to rdsdt_dtsacct;
   -- v$log privileges
   grant select on v_$log to rdsdt_dtsacct;
   -- v$logfile privileges
   grant select on v_$logfile to rdsdt_dtsacct;
   -- v$archived_log privileges
   grant select on v_$archived_log to rdsdt_dtsacct;
   -- v$parameter privileges
   grant select on v_$parameter to rdsdt_dtsacct;
   -- v$database privileges
   grant select on v_$database to rdsdt_dtsacct;
   -- v$active_instances privileges
   grant select on v_$active_instances to rdsdt_dtsacct;
   -- v$instance privileges
   grant select on v_$instance to rdsdt_dtsacct;
   -- v$logmnr_contents privileges
   grant select on v_$logmnr_contents to rdsdt_dtsacct;
   grant select on sys.USER$ to rdsdt_dtsacct;
   grant select on SYS.OBJ$ to rdsdt_dtsacct;
   grant select on SYS.COL$ to rdsdt_dtsacct;
   grant select on SYS.IND$ to rdsdt_dtsacct;
   grant select on SYS.ICOL$ to rdsdt_dtsacct;
   grant select on SYS.CDEF$ to rdsdt_dtsacct;
   grant select on SYS.CCOL$ to rdsdt_dtsacct;
   grant select on SYS.TABPART$ to rdsdt_dtsacct;
   grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
   grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;
   grant LOGMINING TO rdsdt_dtsacct;
   grant EXECUTE_CATALOG_ROLE to rdsdt_dtsacct;
   grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
   grant select_catalog_role TO rdsdt_dtsacct;

   Catatan

   Untuk informasi lebih lanjut tentang arsitektur multitenant Oracle, lihat Oracle Multitenant.

Prosedur

1. Masuk ke Konsol DTS.

   Catatan

   Jika Anda dialihkan ke konsol Data Management (DMS), Anda dapat mengklik ikon di untuk kembali ke versi sebelumnya dari konsol DTS.

2. Di panel navigasi sisi kiri, klik Data Migration.

3. Di bagian atas halaman Migration Tasks, pilih wilayah tempat instance tujuan berada.

4. Di pojok kanan atas halaman, klik Create Migration Task.

5. Konfigurasikan database sumber dan tujuan.

   

   Bidang	Parameter	Deskripsi
   Tidak ada	Nama Tugas	Nama tugas yang DTS hasilkan secara otomatis. Kami merekomendasikan agar Anda menentukan nama yang menunjukkan kebutuhan bisnis Anda untuk kemudahan identifikasi. Anda tidak perlu menggunakan nama unik.
   Database Sumber	Jenis Instance	Metode akses database sumber. Dalam contoh ini, User-Created Database with Public IP Address dipilih. Catatan Jika database Oracle yang dikelola sendiri sebagai sumber adalah jenis lain, Anda harus menyiapkan lingkungan yang diperlukan untuk database tersebut. Untuk informasi lebih lanjut, lihat Ikhtisar persiapan.
   	Wilayah Instance	Jika Anda memilih User-Created Database with Public IP Address sebagai jenis instance, Anda tidak perlu menentukan parameter Instance Region. Catatan Jika daftar putih alamat IP dikonfigurasi untuk database Oracle yang dikelola sendiri, Anda harus menambahkan blok CIDR server DTS ke daftar putih alamat IP database. Anda dapat mengklik Get IP Address Segment of DTS di sebelah Instance Region untuk mendapatkan blok CIDR server DTS.
   	Tipe Database	Tipe database sumber. Pilih Oracle.
   	Nama Host atau Alamat IP	Titik akhir yang digunakan untuk terhubung ke database Oracle yang dikelola sendiri. Dalam contoh ini, alamat IP publik database digunakan.
   	Nomor Port	Nomor port layanan database Oracle yang dikelola sendiri. Nilai default: 1521. Catatan Port layanan database Oracle yang dikelola sendiri harus dapat diakses melalui Internet.
   	Jenis Instance	Jenis arsitektur database Oracle yang dikelola sendiri. Jika Anda memilih Non-RAC Instance, Anda harus menentukan parameter SID. Jika Anda memilih RAC or PDB Instance, Anda harus menentukan parameter Service Name.
   	Akun Database	Akun database Oracle yang dikelola sendiri. Untuk informasi tentang izin yang diperlukan untuk akun tersebut, lihat Sebelum Anda mulai.
   	Kata Sandi Database	Kata sandi akun database Oracle yang dikelola sendiri. Catatan Setelah menentukan informasi database sumber, klik Test Connectivity di sebelah Database Password untuk memverifikasi validitas informasi tersebut. Jika valid, pesan Passed akan ditampilkan. Jika muncul pesan Failed, klik Check di sebelah Failed dan perbarui informasi sesuai hasil pemeriksaan.
   Database Tujuan	Jenis Instance	Metode akses database sumber. Pilih User-Created Database Connected Over Express Connect, VPN Gateway, or Smart Access Gateway. Catatan Anda tidak dapat menentukan Message Queue for Apache Kafka untuk parameter Jenis Instance. Anda dapat menggunakan Message Queue for Apache Kafka sebagai kluster Kafka yang dikelola sendiri untuk mengonfigurasi sinkronisasi data.
   	Wilayah Instance	Wilayah tempat instance Message Queue for Apache Kafka tujuan berada.
   	VPC Peer	ID virtual private cloud (VPC) tempat instance Message Queue for Apache Kafka tujuan berada. Untuk mendapatkan ID VPC, lakukan operasi berikut: Masuk ke konsol Message Queue for Apache Kafka dan buka halaman Detail Instance dari instance Message Queue for Apache Kafka. Di bagian Configuration Information, lihat ID VPC.
   	Tipe Database	Jenis basis data tujuan. Pilih Kafka.
   	Alamat IP	Alamat IP yang termasuk dalam parameter Default Endpoint instance Message Queue for Apache Kafka. Catatan Untuk mendapatkan alamat IP, lakukan operasi berikut: Masuk ke konsol Message Queue for Apache Kafka dan buka halaman Detail Instance dari instance Message Queue for Apache Kafka. Di bagian Informasi Endpoint tab Instance Information, lihat alamat IP yang termasuk dalam parameter Default Endpoint.
   	Nomor Port	Nomor port layanan instance Message Queue for Apache Kafka. Nilai default: 9092.
   	Akun Database	Akun database yang digunakan untuk masuk ke instance Message Queue for Apache Kafka. Catatan Jika instance Message Queue for Apache Kafka adalah tipe VPC Instance, Anda tidak perlu menentukan parameter Database Account dan Database Password.
   	Kata Sandi Database	Kata sandi akun database yang digunakan untuk masuk ke instance Message Queue for Apache Kafka.
   	Topik	Klik Get Topic list di sebelah Topik dan pilih topik dari daftar drop-down.
   	Topik untuk menyimpan DDL	Klik Get Topic list di sebelah Topik untuk menyimpan DDL, dan pilih topik dari daftar drop-down. Topik ini digunakan untuk menyimpan informasi DDL. Jika Anda tidak menentukan parameter ini, informasi DDL disimpan di topik yang ditentukan oleh parameter Topic.
   	Versi Kafka	Versi instance Message Queue for Apache Kafka.
   	Enkripsi	Menentukan apakah akan mengenkripsi koneksi ke kluster tujuan. Pilih Non-encrypted atau SCRAM-SHA-256 berdasarkan kebutuhan bisnis dan keamanan Anda.
   	Apakah Menggunakan Kafka schema registry	Kafka Schema Registry menyediakan lapisan penyajian untuk metadata Anda. Ini menyediakan API RESTful untuk menyimpan dan mengambil skema Avro Anda. No: tidak menggunakan Kafka Schema Registry. Yes: menggunakan Kafka Schema Registry. Dalam hal ini, Anda harus memasukkan URL atau alamat IP yang terdaftar di Kafka Schema Registry untuk skema Avro Anda.

6. Di pojok kanan bawah halaman, klik Set Whitelist and Next.

   Peringatan

   Jika blok CIDR server DTS secara otomatis atau manual ditambahkan ke daftar putih database atau instance, atau ke aturan grup keamanan ECS, risiko keamanan mungkin timbul. Oleh karena itu, sebelum menggunakan DTS untuk memigrasikan data, Anda harus memahami dan mengakui potensi risiko serta mengambil langkah-langkah pencegahan, termasuk tetapi tidak terbatas pada langkah-langkah berikut: tingkatkan keamanan nama pengguna dan kata sandi Anda, batasi port yang diekspos, autentikasi panggilan API, periksa daftar putih atau aturan grup keamanan ECS secara berkala dan larang blok CIDR yang tidak sah, atau hubungkan database ke DTS menggunakan Express Connect, VPN Gateway, atau Smart Access Gateway.

7. Pilih jenis migrasi, kebijakan migrasi, dan objek yang akan dimigrasikan.

   

   Parameter atau Pengaturan	Deskripsi
   Jenis Migrasi	Pilih Schema Migration, Full Data Migration, dan Incremental Data Migration. Penting Jika Incremental Data Migration tidak dipilih, kami merekomendasikan agar Anda tidak menulis data ke database sumber selama migrasi data penuh. Hal ini memastikan konsistensi data antara database sumber dan tujuan.
   Pilih format data yang digunakan di Kafka	Data yang dimigrasikan ke kluster Kafka disimpan dalam format Avro. Anda harus mengurai data yang dimigrasikan berdasarkan skema Avro. Untuk informasi lebih lanjut, lihat DTS Avro schema.
   Pilih kebijakan untuk memigrasikan data ke partisi Kafka	Pilih kebijakan migrasi berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Tentukan Kebijakan untuk Memigrasikan Data ke Partisi Kafka.
   Pilih objek yang akan dimigrasikan	Pilih satu atau lebih tabel dari bagian Available dan klik ikon untuk menambahkan tabel ke bagian Selected. Catatan DTS memetakan nama tabel ke nama topik yang Anda pilih di Langkah 5. Untuk informasi lebih lanjut tentang cara mengubah nama topik, lihat Pemetaan Nama Objek.
   Tentukan apakah akan mengganti nama objek	Anda dapat menggunakan fitur pemetaan nama objek untuk mengganti nama objek yang dimigrasikan ke instance tujuan. Untuk informasi lebih lanjut, lihat Pemetaan Nama Objek.
   Tentukan rentang waktu ulang untuk koneksi gagal ke database sumber atau tujuan	Secara default, jika DTS gagal terhubung ke database sumber atau tujuan, DTS mencoba lagi dalam 12 jam berikutnya. Anda dapat menentukan rentang waktu ulang berdasarkan kebutuhan bisnis Anda. Jika DTS tersambung kembali ke database sumber atau tujuan dalam rentang waktu ulang yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal. Catatan Selama rentang waktu ulang di mana DTS mencoba tersambung kembali ke database sumber dan tujuan, Anda dikenakan biaya untuk menggunakan instance DTS. Kami merekomendasikan agar Anda menentukan rentang waktu ulang berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepaskan instance DTS sesegera mungkin setelah instance sumber dan tujuan dilepaskan.

8. Di pojok kanan bawah halaman, klik Precheck.

   Penting

   • Sebelum memulai tugas migrasi data, pemeriksaan awal dilakukan. Anda hanya dapat memulai tugas migrasi data setelah tugas tersebut lolos pemeriksaan awal.

   • Jika tugas gagal lolos pemeriksaan awal, Anda dapat mengklik ikon di sebelah setiap item yang gagal untuk melihat detail.

     • Setelah menyelesaikan masalah berdasarkan penyebabnya, Anda dapat menjalankan pemeriksaan awal lagi.

     • Jika Anda tidak perlu menyelesaikan masalah, Anda dapat mengabaikan item yang gagal dan menjalankan pemeriksaan awal lagi.

9. Setelah tugas lolos pemeriksaan awal, klik Next.

10. Di kotak dialog Confirm Settings, tentukan parameter Channel Specification dan pilih Data Transmission Service (Pay-As-You-Go) Service Terms.

11. Klik Buy and Start untuk memulai tugas migrasi data.

Hentikan tugas migrasi data

• Migrasi Data Penuh

  Jangan hentikan tugas secara manual selama migrasi data penuh. Jika tidak, sistem mungkin gagal memigrasikan semua data. Tunggu hingga tugas migrasi berakhir secara otomatis.

• Migrasi Data Tambahan

  Tugas tidak berakhir secara otomatis selama migrasi data tambahan. Anda harus menghentikan tugas migrasi secara manual.

  1. Tunggu hingga bilah kemajuan tugas menunjukkan Incremental Data Migration dan The migration task is not delayed. Kemudian, hentikan penulisan data ke database sumber selama beberapa menit. Dalam beberapa kasus, bilah kemajuan menunjukkan waktu penundaan incremental data migration.
  2. Setelah status incremental data migration berubah menjadi The migration task is not delayed, hentikan tugas migrasi secara manual.