Topik ini menjelaskan cara memigrasikan data dari Db2 untuk LUW database ke ApsaraMQ untuk Kafka instance menggunakan Data Transmission Service (DTS).
Prasyarat
Ruang penyimpanan yang tersedia di tujuan ApsaraMQ untuk Kafka instance lebih besar daripada total ukuran data di sumber Db2 untuk LUW database. Untuk informasi lebih lanjut, lihat Ikhtisar.
CatatanUntuk informasi lebih lanjut tentang versi database yang didukung, lihat Ikhtisar Skenario Migrasi Data.
Sebuah topik dibuat di tujuan ApsaraMQ untuk Kafka instance untuk menerima data yang akan dimigrasikan. Untuk informasi lebih lanjut, lihat bagian "Langkah 1: Buat Topik" dalam Langkah 3: Buat Sumber Daya topik.
Jika Anda ingin memigrasikan data inkremental dari sebuah Db2 untuk database LUW, fitur pencatatan arsip dari sumber Db2 untuk LUW database harus diaktifkan. Untuk informasi lebih lanjut, lihat logarchmeth1 - Parameter Konfigurasi Metode Pengarsipan Log Utama dan logarchmeth2 - Parameter Konfigurasi Metode Pengarsipan Log Sekunder.
PentingSetelah Anda mengubah konfigurasi logarchmeth, cadangkan database sumber agar konfigurasi tersebut berlaku. Jika tidak, pesan kesalahan mungkin muncul selama pra-pemeriksaan.
Batasan
DTS tidak memigrasikan kunci asing di database sumber ke database tujuan. Oleh karena itu, operasi kaskade dan hapus dari database sumber tidak dimigrasikan ke database tujuan.
Kategori | Deskripsi |
Batasan pada database sumber |
|
Batasan lainnya |
|
Kasus khusus |
|
Penagihan
Jenis Migrasi | Biaya Konfigurasi Instance | Biaya Lalu Lintas Internet |
Migrasi skema dan migrasi data penuh | Gratis. | Gratis. |
Migrasi data inkremental | Dikenakan biaya. Untuk informasi lebih lanjut, lihat Ikhtisar Penagihan. |
Operasi SQL yang dapat dimigrasikan selama migrasi data inkremental
Jenis Operasi | Pernyataan SQL |
DML | INSERT, UPDATE, dan DELETE |
Izin yang diperlukan untuk akun database
Database | Migrasi Data Penuh | Migrasi Skema | Migrasi Data Inkremental |
Db2 untuk LUW | Izin CONNECT dan SELECT | Izin CONNECT dan SELECT | Izin administrator database |
Untuk informasi lebih lanjut tentang cara membuat akun dan memberikan izin untuk database Db2 untuk LUW, lihat Membuat Grup dan ID Pengguna untuk Instalasi Database Db2 (Linux dan UNIX) dan Ikhtisar Otoritas.
Prosedur
Klik Create Task. Di halaman wizard Buat Tugas, konfigurasikan database sumber dan tujuan.
Bagian
Parameter
Deskripsi
Tidak Ada
Task Name
Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami sarankan Anda menentukan nama deskriptif yang memudahkan identifikasi tugas. Anda tidak perlu menentukan nama tugas yang unik.
Source Database
Select an existing DMS database instance. (Optional. If you have not registered a DMS database instance, ignore this option and configure database settings in the section below.)
Database yang ingin Anda gunakan. Anda dapat memilih apakah akan menggunakan database yang ada berdasarkan kebutuhan bisnis Anda.
Jika Anda memilih database yang ada, DTS secara otomatis mengisi parameter untuk database tersebut.
Jika Anda tidak memilih database yang ada, Anda harus mengonfigurasi informasi database berikut.
Database Type
Tipe database sumber. Pilih DB2 for LUW.
Access Method
Metode akses berdasarkan lokasi di mana Db2 untuk LUW database sumber ditempatkan. Dalam contoh ini, Self-managed Database on ECS dipilih.
CatatanJika Anda memilih metode lain untuk mengakses database mandiri sumber, Anda harus melakukan persiapan lain. Untuk informasi lebih lanjut, lihat Ikhtisar Persiapan.
Instance Region
Wilayah di mana Db2 untuk LUW database sumber berada.
Replicate Data Across Alibaba Cloud Accounts
Menentukan apakah akan memigrasikan data di seluruh akun Alibaba Cloud. Dalam contoh ini, No dipilih.
ECS Instance ID
ID instance Elastic Compute Service (ECS) tempat Db2 untuk LUW database sumber berada.
Port Number
Nomor port layanan dari Db2 untuk LUW database sumber.
Database Name
Nama Db2 untuk LUW database sumber tempat objek yang akan dimigrasikan berada.
Database Account
Akun database dari Db2 untuk LUW. Untuk informasi lebih lanjut tentang izin yang diperlukan untuk akun tersebut, lihat bagian Izin yang diperlukan untuk akun database dari topik ini.
Database Password
Kata sandi yang digunakan untuk mengakses database.
Destination Database
Select an existing DMS database instance. (Optional. If you have not registered a DMS database instance, ignore this option and configure database settings in the section below.)
Database yang ingin Anda gunakan. Anda dapat memilih apakah akan menggunakan database yang ada berdasarkan kebutuhan bisnis Anda.
Jika Anda memilih database yang ada, DTS secara otomatis mengisi parameter untuk database tersebut.
Jika Anda tidak memilih database yang ada, Anda harus mengonfigurasi informasi database berikut.
Database Type
Tipe database tujuan. Pilih Kafka.
Access Method
Metode akses database tujuan. Pilih Express Connect, VPN Gateway, or Smart Access Gateway.
CatatanDTS tidak mendukung instance ApsaraMQ untuk Kafka sebagai database tujuan. Anda dapat menggunakan instance ApsaraMQ untuk Kafka sebagai klaster Kafka mandiri untuk mengonfigurasi migrasi data.
Instance Region
Wilayah di mana instance tujuan ApsaraMQ untuk Kafka berada.
Connected VPC
ID virtual private cloud (VPC) tempat instance tujuan ApsaraMQ untuk Kafka berada.
CatatanUntuk mendapatkan ID VPC, lakukan operasi berikut: Masuk ke konsol ApsaraMQ untuk Kafka dan buka halaman Detail Instance dari instance tujuan ApsaraMQ untuk Kafka. Di bagian Configuration Information tab Instance Information, lihat VPC ID.
Domain Name or IP
Alamat IP endpoint default dari instance tujuan ApsaraMQ untuk Kafka.
CatatanUntuk mendapatkan alamat IP, lakukan operasi berikut: Masuk ke konsol ApsaraMQ untuk Kafka dan buka halaman Detail Instance dari instance tujuan ApsaraMQ untuk Kafka. Di bagian Endpoint Information tab Instance Information, temukan endpoint yang nilainya di kolom Type adalah Default Endpoint. Gerakkan pointer ke informasi endpoint di kolom Domain Name. Dalam pesan yang muncul, peroleh alamat IP.
Port Number
Nomor port layanan dari instance tujuan ApsaraMQ untuk Kafka. Nomor port default adalah 9092.
CatatanMasukkan salah satu alamat IP yang tersedia dan nomor port dari alamat IP tersebut.
Database Account
Nama pengguna dan kata sandi akun yang ingin Anda gunakan untuk mengakses instance tujuan ApsaraMQ untuk Kafka. Parameter Database Account dan Database Password diperlukan jika Anda mengaktifkan fitur daftar kontrol akses (ACL) untuk instance ApsaraMQ untuk Kafka.
CatatanUntuk informasi lebih lanjut tentang cara mengaktifkan fitur ACL, lihat Berikan izin kepada pengguna SASL.
Database Account: Buka halaman Instance Details dari instance ApsaraMQ untuk Kafka. Di tab Manage SASL Users, lihat nama pengguna akun yang ingin Anda gunakan.
Database Password: Di tab Manage SASL Users, temukan akun yang ingin Anda gunakan dan klik Copy Password di kolom Kata Sandi.
Database Password
Kafka Version
Versi instance tujuan ApsaraMQ untuk Kafka.
Jika versi instance ApsaraMQ untuk Kafka yang digunakan dalam tugas ini adalah 0.10.2, pilih 0.10.
Jika versi instance ApsaraMQ untuk Kafka yang digunakan dalam tugas ini adalah 2.6.2 atau 2.2.0, pilih Later Than 1.0.
Encryption
Menentukan apakah akan mengenkripsi koneksi ke database tujuan. Pilih Non-encrypted atau SCRAM-SHA-256 berdasarkan kebutuhan bisnis dan keamanan Anda.
Topic
Topik yang digunakan untuk menerima data yang dimigrasikan. Pilih topik dari daftar drop-down.
Topic That Stores DDL Information
Topik yang digunakan untuk menyimpan informasi DDL. Pilih topik dari daftar drop-down. Jika Anda tidak mengonfigurasi parameter ini, informasi DDL disimpan di topik yang ditentukan oleh parameter Topic.
Use Kafka Schema Registry
Menentukan apakah akan menggunakan Kafka Schema Registry, yang menyediakan lapisan penyajian untuk metadata Anda. Ini menyediakan API RESTful untuk menyimpan dan mengambil skema Avro Anda. Nilai valid:
No: tidak menggunakan Kafka Schema Registry.
Yes: menggunakan Kafka Schema Registry. Dalam hal ini, Anda harus memasukkan URL atau alamat IP yang terdaftar di Kafka Schema Registry untuk skema Avro Anda.
Di bagian bawah halaman, klik Test Connectivity and Proceed.
Jika database sumber atau tujuan adalah instance database Alibaba Cloud, seperti instance ApsaraDB RDS untuk MySQL atau ApsaraDB untuk MongoDB, DTS secara otomatis menambahkan blok CIDR server DTS ke daftar putih alamat IP instance tersebut. Jika database sumber atau tujuan adalah database mandiri yang di-hosting pada instance Elastic Compute Service (ECS), DTS secara otomatis menambahkan blok CIDR server DTS ke aturan grup keamanan instance ECS, dan Anda harus memastikan bahwa instance ECS dapat mengakses database. Jika database mandiri di-hosting pada beberapa instance ECS, Anda harus secara manual menambahkan blok CIDR server DTS ke aturan grup keamanan setiap instance ECS. Jika database sumber atau tujuan adalah database mandiri yang ditempatkan di pusat data atau disediakan oleh penyedia layanan cloud pihak ketiga, Anda harus secara manual menambahkan blok CIDR server DTS ke daftar putih alamat IP database untuk mengizinkan DTS mengakses database. Untuk informasi lebih lanjut, lihat bagian Blok CIDR Server DTS dari topik Tambahkan Blok CIDR Server DTS.
PeringatanJika blok CIDR publik server DTS secara otomatis atau manual ditambahkan ke daftar putih instance database atau ke aturan grup keamanan instance ECS, risiko keamanan mungkin timbul. Oleh karena itu, sebelum Anda menggunakan DTS untuk memigrasikan data, Anda harus memahami dan mengetahui potensi risiko serta mengambil langkah-langkah pencegahan, termasuk tetapi tidak terbatas pada langkah-langkah berikut: meningkatkan keamanan nama pengguna dan kata sandi Anda, membatasi port yang diekspos, mengotentikasi panggilan API, secara teratur memeriksa daftar putih atau aturan grup keamanan dan melarang blok CIDR yang tidak sah, atau menghubungkan instance database ke DTS dengan menggunakan Express Connect, VPN Gateway, atau Smart Access Gateway.
Pilih objek yang akan dimigrasikan untuk tugas dan konfigurasikan pengaturan lanjutan.
Parameter
Deskripsi
Migration Types
Untuk hanya melakukan migrasi data penuh, pilih Schema Migration dan Full Data Migration.
Untuk memastikan kontinuitas layanan selama migrasi data, pilih Schema Migration, Full Data Migration, dan Incremental Data Migration.
CatatanJika Anda tidak memilih Schema Migration, pastikan database dan tabel dibuat di database tujuan untuk menerima data dan fitur pemetaan nama objek diaktifkan di Selected Objects.
Jika Anda tidak memilih Incremental Data Migration, kami sarankan Anda tidak menulis data ke database sumber selama migrasi data. Ini memastikan konsistensi data antara database sumber dan tujuan.
Processing Mode of Conflicting Tables
Precheck and Report Errors: memeriksa apakah database tujuan berisi tabel yang menggunakan nama yang sama dengan tabel di database sumber. Jika database sumber dan tujuan tidak berisi tabel dengan nama tabel identik, pra-pemeriksaan dilewati. Jika tidak, kesalahan dikembalikan selama pra-pemeriksaan dan tugas migrasi data tidak dapat dimulai.
CatatanJika database sumber dan tujuan berisi tabel dengan nama identik dan tabel di database tujuan tidak dapat dihapus atau diganti namanya, Anda dapat menggunakan fitur pemetaan nama objek untuk mengganti nama tabel yang dimigrasikan ke database tujuan. Untuk informasi lebih lanjut, lihat Peta Nama Objek.
Ignore Errors and Proceed: melewati pra-pemeriksaan untuk nama tabel identik di database sumber dan tujuan.
PeringatanJika Anda memilih Ignore Errors and Proceed, ketidaksesuaian data mungkin terjadi dan bisnis Anda mungkin terpapar risiko potensial berikut:
Jika database sumber dan tujuan memiliki skema yang sama, dan catatan data memiliki kunci utama yang sama dengan catatan data yang ada di database tujuan, skenario berikut mungkin terjadi:
Selama migrasi data penuh, DTS tidak memigrasikan catatan data ke database tujuan. Catatan data yang ada di database tujuan dipertahankan.
Selama migrasi data inkremental, DTS memigrasikan catatan data ke database tujuan. Catatan data yang ada di database tujuan ditimpa.
Jika database sumber dan tujuan memiliki skema yang berbeda, hanya kolom tertentu yang dimigrasikan atau tugas migrasi data gagal. Lanjutkan dengan hati-hati.
Data Format in Kafka
Format di mana data disimpan di instance ApsaraMQ untuk Kafka. Hanya DTS Avro yang didukung, yang menunjukkan bahwa data diuraikan berdasarkan skema DTS Avro. Untuk informasi lebih lanjut, kunjungi subscribe_example/avro/ di Github.
Policy for Shipping Data to Kafka Partitions
Kebijakan untuk memigrasikan data ke partisi Kafka. Pilih kebijakan berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Tentukan Kebijakan untuk Memigrasikan Data ke Partisi Kafka.
Capitalization of Object Names in Destination Instance
Huruf besar/kecil nama database, nama tabel, dan nama kolom di instance tujuan. Secara default, DTS default policy dipilih. Anda dapat memilih opsi lain untuk memastikan huruf besar/kecil nama objek konsisten dengan database sumber atau tujuan. Untuk informasi lebih lanjut, lihat Tentukan Huruf Besar/Kecil Nama Objek di Instance Tujuan.
Source Objects
Pilih satu atau lebih objek dari bagian Source Objects. Klik ikon
untuk menambahkan objek ke bagian Selected Objects.CatatanAnda dapat memilih kolom, tabel, atau database sebagai objek yang akan dimigrasikan. Jika Anda memilih tabel atau kolom sebagai objek yang akan dimigrasikan, DTS tidak memigrasikan objek lain seperti tampilan, pemicu, dan prosedur tersimpan ke instance tujuan.
Selected Objects
Untuk mengganti nama objek yang ingin Anda migrasikan ke instance tujuan, klik kanan objek di bagian Selected Objects. Untuk informasi lebih lanjut, lihat Peta Nama Objek Tunggal.
Untuk mengganti nama beberapa objek sekaligus, klik Batch Edit di pojok kanan atas bagian Selected Objects. Untuk informasi lebih lanjut, lihat Peta Beberapa Nama Objek Sekaligus.
CatatanJika Anda menggunakan fitur pemetaan nama objek untuk mengganti nama objek, objek lain yang bergantung pada objek tersebut mungkin gagal dimigrasikan.
Untuk menentukan kondisi WHERE untuk memfilter data, klik kanan objek di bagian Selected Objects. Di kotak dialog yang muncul, tentukan kondisinya. Untuk informasi lebih lanjut, lihat Tentukan Kondisi Filter.
Untuk memigrasikan operasi SQL yang dilakukan pada database atau tabel tertentu, klik kanan objek di bagian Selected Objects. Di kotak dialog yang muncul, pilih operasi SQL yang ingin Anda migrasikan. Untuk informasi lebih lanjut, lihat bagian Operasi SQL yang Dapat Dimigrasikan Selama Migrasi Data Inkremental dari topik ini.
Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.
Parameter
Deskripsi
Dedicated Cluster for Task Scheduling
Secara default, DTS menjadwalkan tugas migrasi data ke klaster bersama jika Anda tidak menentukan klaster khusus. Jika Anda ingin meningkatkan stabilitas tugas migrasi data, beli klaster khusus. Untuk informasi lebih lanjut, lihat Apa Itu Klaster Khusus DTS.
Set Alerts
Menentukan apakah akan mengonfigurasi peringatan untuk tugas migrasi data. Jika tugas gagal atau latensi migrasi melebihi ambang batas yang ditentukan, kontak peringatan menerima notifikasi. Nilai valid:
No: tidak mengonfigurasi peringatan.
Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan pengaturan notifikasi peringatan. Untuk informasi lebih lanjut, lihat bagian Konfigurasikan Pemantauan dan Peringatan Saat Membuat Tugas DTS dari topik Konfigurasikan Pemantauan dan Peringatan.
Retry Time for Failed Connections
Rentang waktu ulang untuk koneksi gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas migrasi data dimulai, DTS segera mencoba kembali koneksi dalam rentang waktu ulang. Nilai valid: 10 hingga 1.440. Unit: menit. Nilai default: 720. Kami sarankan Anda mengatur parameter ini ke nilai lebih besar dari 30. Jika DTS tersambung kembali ke database sumber dan tujuan dalam rentang waktu ulang yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal.
CatatanJika Anda menentukan rentang waktu ulang berbeda untuk beberapa tugas migrasi data yang berbagi database sumber atau tujuan yang sama, nilai yang ditentukan terakhir akan berlaku.
Saat DTS mencoba kembali koneksi, Anda dikenakan biaya untuk instance DTS. Kami sarankan Anda menentukan rentang waktu ulang berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepaskan instance DTS pada kesempatan pertama setelah database sumber dan instance tujuan dilepaskan.
Retry Time for Other Issues
Rentang waktu ulang untuk masalah lainnya. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas migrasi data dimulai, DTS segera mencoba kembali operasi dalam rentang waktu ulang. Nilai valid: 1 hingga 1.440. Unit: menit. Nilai default: 10. Kami sarankan Anda mengatur parameter ini ke nilai lebih besar dari 10. Jika operasi gagal berhasil dilakukan dalam rentang waktu ulang yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal.
PentingNilai parameter Retry Time for Other Issues harus lebih kecil dari nilai parameter Retry Time for Failed Connections.
Enable Throttling for Full Data Migration
Menentukan apakah akan mengaktifkan pembatasan untuk migrasi data penuh. Selama migrasi data penuh, DTS menggunakan sumber daya baca dan tulis dari database sumber dan tujuan. Ini dapat meningkatkan beban server database. Anda dapat mengaktifkan pembatasan untuk migrasi data penuh berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan, Anda harus mengonfigurasi parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s). Ini mengurangi beban server database tujuan.
CatatanAnda hanya dapat mengonfigurasi parameter ini jika Anda memilih Full Data Migration untuk parameter Migration Types.
Enable Throttling for Incremental Data Migration
Menentukan apakah akan mengaktifkan pembatasan untuk migrasi data inkremental. Untuk mengonfigurasi pembatasan, Anda harus mengonfigurasi parameter RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s). Ini mengurangi beban server database tujuan.
CatatanAnda hanya dapat mengonfigurasi parameter ini jika Anda memilih Incremental Data Migration untuk parameter Migration Types.
Environment Tag
Tag lingkungan yang digunakan untuk mengidentifikasi instance DTS. Anda dapat memilih tag lingkungan berdasarkan kebutuhan bisnis Anda. Dalam contoh ini, Anda tidak perlu mengonfigurasi parameter ini.
Configure ETL
Menentukan apakah akan mengaktifkan fitur ekstraksi, transformasi, dan pemuatan (ETL). Untuk informasi lebih lanjut, lihat Apa Itu ETL? Nilai valid:
Yes: mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi lebih lanjut, lihat Configure ETL in a data migration or data synchronization task.
No: Fitur ETL tidak dikonfigurasi.
Simpan pengaturan tugas dan jalankan pra-pemeriksaan.
Untuk melihat parameter yang harus ditentukan saat Anda memanggil operasi API terkait untuk mengonfigurasi tugas DTS, gerakkan pointer ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.
Jika Anda tidak perlu melihat atau telah melihat parameter tersebut, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
CatatanSebelum Anda dapat memulai tugas migrasi data, DTS melakukan pra-pemeriksaan. Anda hanya dapat memulai tugas migrasi data setelah tugas tersebut lulus pra-pemeriksaan.
Jika tugas gagal lulus pra-pemeriksaan, klik View Details di sebelah setiap item yang gagal. Setelah Anda menganalisis penyebab berdasarkan hasil pemeriksaan, atasi masalah tersebut. Kemudian, jalankan pra-pemeriksaan lagi.
Jika peringatan dipicu untuk suatu item selama pra-pemeriksaan:
Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan atasi masalah tersebut. Kemudian, jalankan pra-pemeriksaan lagi.
Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog Lihat Detail, klik Ignore. Dalam pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan pra-pemeriksaan lagi. Jika Anda mengabaikan item peringatan, ketidaksesuaian data mungkin terjadi, dan bisnis Anda mungkin terpapar risiko potensial.
Tunggu hingga Success Rate menjadi 100%. Kemudian, klik Next: Purchase Instance.
Di halaman Purchase Instance, konfigurasikan parameter Kelas Instance untuk instance migrasi data. Tabel berikut menjelaskan parameter.
Bagian
Parameter
Deskripsi
New Instance Class
Resource Group
Grup sumber daya tempat instance migrasi data berada. Nilai default: default resource group. Untuk informasi lebih lanjut, lihat Apa itu Resource Management?
Instance Class
DTS menyediakan kelas instance yang bervariasi dalam kecepatan migrasi. Anda dapat memilih kelas instance berdasarkan skenario bisnis Anda. Untuk informasi lebih lanjut, lihat Kelas instance instance migrasi data.
Baca dan setujui Data Transmission Service (Pay-as-you-go) Service Terms dengan memilih kotak centang.
Klik Buy and Start. Dalam pesan yang muncul, klik OK.
Anda dapat melihat kemajuan tugas di halaman Data Migration.
CatatanJika tugas migrasi data tidak dapat digunakan untuk memigrasikan data inkremental, tugas tersebut secara otomatis berhenti. Completed ditampilkan di bagian Status .
Jika tugas migrasi data dapat digunakan untuk memigrasikan data inkremental, tugas tersebut tidak berhenti secara otomatis. Tugas migrasi data inkremental tidak pernah berhenti atau selesai. Running ditampilkan di bagian Status.