Migrasi data
Fitur migrasi data membantu Anda memindahkan data antara sumber data homogen atau heterogen. Fitur ini ideal untuk skenario seperti migrasi data ke cloud, migrasi lintas instans dalam Alibaba Cloud, serta pemisahan dan penskalaan database.
Kategori | Fitur | Deskripsi | Referensi |
Migrasi homogen | Migrasi logis | Fitur ini memungkinkan Anda memindahkan data antar database homogen. | Migrasi data dari database MySQL yang dikelola sendiri ke instans ApsaraDB RDS for MySQL |
Migrasi fisik | Fitur ini memungkinkan Anda memindahkan data dari database yang dikelola sendiri ke cloud menggunakan gateway fisik. | ||
Migrasi heterogen | Migrasi logis | Fitur ini memungkinkan Anda memindahkan data antar database heterogen. | |
Pemotongan lalu lintas | Pemotongan database ke cloud | Fitur ini membantu Anda memindahkan bisnis secara mulus ke database cloud setelah menyelesaikan evaluasi database dan aplikasi. | |
Tugas periodik | Migrasi penuh terjadwal | Fitur ini memungkinkan Anda memindahkan data struktur dan data historis dari database sumber ke database tujuan secara berkala menggunakan konfigurasi kebijakan penjadwalan fitur integrasi data. | Konfigurasikan tugas integrasi data antar instans ApsaraDB RDS for MySQL |
Migrasi akun | Migrasi akun penuh | Saat mengonfigurasi tugas sinkronisasi atau migrasi, Anda dapat mengaktifkan fitur migrasi akun untuk dengan mudah memindahkan akun termasuk kata sandi dan izin mereka dari database sumber ke database tujuan. |
Sinkronisasi data
Fitur sinkronisasi data mendukung penyinkronan data real-time antar sumber data. Fitur ini cocok untuk berbagai skenario bisnis seperti redundansi geo aktif, pemulihan bencana geo dan zona, sinkronisasi data lintas batas, sistem business intelligence (BI) berbasis cloud, dan gudang data real-time.
Kategori | Fitur | Deskripsi | Referensi |
Manajemen instans sinkronisasi | Pembalikan pemulihan bencana dengan beberapa langkah sederhana | Fitur ini memungkinkan Anda membuat instans balik dengan beberapa langkah sederhana untuk instans sinkronisasi yang berjalan normal. Anda dapat menggunakan instans balik untuk menyinkronkan data tambahan kembali dari database tujuan ke database sumber. | |
Pemulihan bencana dan redundansi multi-aktif | Sinkronisasi dua arah | Fitur ini memungkinkan Anda mengonfigurasi sinkronisasi data dua arah real-time antara dua database seperti ApsaraDB RDS for MySQL dan MySQL yang dikelola sendiri. Cocok untuk berbagai skenario seperti redundansi geo aktif berbasis arsitektur seluler dan pemulihan bencana geo. | |
Pembalikan arah sinkronisasi dua arah dengan beberapa langkah sederhana | Fitur ini memungkinkan Anda mengubah arah instans sinkronisasi dua arah. Jika Anda perlu beralih antara database utama dan sekunder atauantara dua platform cloud, Anda dapat dengan mudah mengubah arah instans sinkronisasi dua arah yang ada tanpa perlu mengonfigurasi ulang instans. | ||
Kluster database aktif global (GAD) | Anda dapat membuat kluster GAD berdasarkan ApsaraDB RDS dan Data Transmission Service (DTS). Dengan cara ini, Anda dapat menerapkan pemulihan bencana untuk database dan memungkinkan pengguna mengakses sumber daya terdekat. | Tidak tersedia | |
Manajemen topologi sinkronisasi | Fitur ini memungkinkan Anda meningkatkan topologi sinkronisasi tugas sinkronisasi dari sinkronisasi satu arah menjadi sinkronisasi dua arah untuk memenuhi kebutuhan bisnis yang berkembang. | ||
Manajemen deteksi dan resolusi konflik | Deteksi konflik | Fitur ini memungkinkan Anda mendeteksi konflik seperti konflik unik akibat operasi INSERT, catatan tidak konsisten akibat operasi UPDATE, dan catatan yang akan dihapus tidak ada. | Tidak tersedia |
Resolusi konflik | Kebijakan resolusi konflik berikut didukung: TaskFailed, Ignore, dan Overwrite. Kebijakan TaskFailed menentukan bahwa sistem melaporkan kesalahan dan menghentikan tugas saat terjadi konflik. Kebijakan Ignore menentukan bahwa sistem menggunakan catatan konflik di instans tujuan saat terjadi konflik. Kebijakan Overwrite menentukan bahwa sistem menimpa catatan konflik di instans tujuan. | Tidak tersedia | |
Sinkronisasi heterogen | Sinkronisasi ke gudang data real-time | Fitur ini memungkinkan Anda menyinkronkan data ke gudang data real-time untuk melakukan pemrosesan offline berkapasitas tinggi dan analisis online berperforma tinggi. | Sinkronkan data dari instans ApsaraDB RDS for MySQL ke kluster AnalyticDB for MySQL V3.0 |
Sinkronisasi non-database | Fitur ini memungkinkan Anda menyinkronkan data ke fungsi tertentu dalam Function Compute. Anda dapat menulis kode fungsi untuk memproses data. | ||
Sinkronisasi database heterogen | Fitur ini memungkinkan Anda menyinkronkan data antar database heterogen. | ||
Pengiriman data | Saluran pengiriman data | Anda dapat membuat instans pengiriman data untuk membuka saluran pengiriman data. Dengan cara ini, Anda dapat menggunakan SDK pengiriman data untuk mengirim data dari sumber data ke DTS. | |
SDK pengiriman data | Anda dapat menggunakan SDK pengiriman data untuk mengirim data dari berbagai sumber data ke DTS, kemudian disinkronkan ke database tujuan. Ini memperluas jenis sumber data yang didukung. | ||
Sinkronisasi homogen | Sinkronisasi real-time antar database logis homogen | Fitur ini memungkinkan Anda menyinkronkan data antar database homogen. | Sinkronkan data dari database MySQL yang dikelola sendiri ke instans ApsaraDB RDS for MySQL |
Pelacakan perubahan
Fitur pelacakan perubahan membantu Anda mengakses data tambahan secara real-time dari database. Anda dapat menggunakan data tambahan sesuai kebutuhan bisnis dan menulisnya ke database tujuan. Ini memungkinkan implementasi skenario bisnis seperti pembaruan cache, pemisahan bisnis asinkron, sinkronisasi data real-time antar sumber data heterogen, serta operasi ekstraksi, transformasi, dan pemuatan (ETL) yang kompleks.
Kategori | Fitur | Deskripsi | Referensi |
Pelacakan perubahan | Saluran pelacakan perubahan | Anda dapat membuat instans pelacakan perubahan untuk mendapatkan perubahan data tambahan real-time dari database. | |
SDK pelacakan perubahan | Anda dapat menggunakan demo klien SDK, flink-dts-connector, atau demo klien Kafka untuk menampilkan data yang dilacak. Kemudian, Anda dapat mengonsumsi data dalam saluran pelacakan perubahan menggunakan klien SDK, Flink, atau Kafka. | ||
Manajemen lalu lintas instans pelacakan perubahan | Jika Anda menentukan database MySQL sebagai database sumber untuk instans pelacakan perubahan, sistem menentukan apakah akan membebankan biaya transfer data berdasarkan jenis biaya konfigurasi yang Anda pilih. |
Manajemen tugas
Manajemen tugas DTS
Kategori | Fitur | Deskripsi | Referensi |
Manajemen tugas | Pembuatan dan konfigurasi tugas | Anda dapat membuat tugas DTS antar berbagai sumber data. Anda dapat menentukan apakah akan mengonfigurasi tugas DTS sebelum atau setelah membeli instans DTS. | |
Penjadwalan tugas | Secara default, DTS menjadwalkan tugas ke kluster bersama. Anda dapat memilih kluster khusus dalam pengaturan lanjutan untuk menjadwalkan tugas tersebut. | Tidak tersedia | |
Pemantauan tugas | Di konsol DTS, Anda dapat memperoleh status koneksi antara DTS dan database sumber serta tujuan, serta berbagai metrik performa instans DTS. Informasi ini dapat digunakan sebagai referensi untuk mengelola tugas DTS. | ||
Diagnosis tugas | Anda dapat memeriksa performa database sumber, database tujuan, jaringan, dan DTS selama migrasi tambahan. DTS memberikan hasil diagnosis dan saran. | ||
Modifikasi tugas | Anda dapat mengelola tag lingkungan instans, menambah atau menghapus objek yang disinkronkan saat instans sinkronisasi data sedang berjalan, dan memodifikasi konfigurasi ETL instans sinkronisasi atau migrasi data. | ||
Penghapusan tugas | Untuk mencegah biaya tambahan, Anda dapat secara manual melepaskan instans DTS berbayar sesuai pemakaian atau berhenti berlangganan instans DTS jika semua tugas DTS pada instans tersebut sudah selesai dan konfigurasi instans tidak lagi diperlukan. | ||
Akses lintas akun | Fitur ini memungkinkan Anda mengonfigurasi tugas DTS lintas akun Alibaba Cloud untuk skenario seperti migrasi atau penggabungan sumber daya lintas akun Alibaba Cloud dan penyesuaian arsitektur bisnis. | ||
Akses lintas cloud dalam hybrid cloud | Anda dapat mengakses database melalui alamat IP publik untuk memigrasikan data antar akun dengan atribut berbeda, seperti antara akun di public cloud dan akun di financial cloud. | Tidak tersedia | |
Log operasi | Anda dapat memeriksa log operasi instans untuk mendapatkan informasi tentang operasi pada instans, hasil operasi, dan operator. | ||
Manajemen koneksi database | Anda dapat mendaftarkan database terlebih dahulu. Saat mengonfigurasi tugas, Anda dapat langsung memilih database yang telah didaftarkan. DTS secara otomatis mengisi informasi database tanpa memerlukan input manual. | ||
API | Operasi API Platform Open pctowap Alibaba Cloud (POP) | Anda dapat memanggil operasi API di OpenAPI Explorer untuk debugging. | |
SDK | Anda dapat memanggil operasi API menggunakan SDK. | ||
Terraform | Alat open source Terraform didukung. | Tidak tersedia | |
Manajemen jaringan | Konektivitas lintas region | Fitur ini memungkinkan Anda mentransmisikan data antara database sumber dan tujuan yang berada di region berbeda. | |
Kompresi dan transmisi data | DTS mendukung kompresi data konkuren dan transmisi untuk membantu meminimalkan penggunaan bandwidth. | ||
Akses melalui endpoint internal | DTS memungkinkan Anda terhubung ke database sumber atau tujuan dalam virtual private cloud (VPC) melalui endpoint internal. | Tidak tersedia | |
Database Gateway | Anda dapat menghubungkan database ke DTS menggunakan Database Gateway. | ||
Akses melalui Internet | Anda dapat menghubungkan database ke DTS menggunakan alamat IP publik. | ||
Transmisi data lintas batas | Secara default, DTS hanya mendukung sinkronisasi data dalam satu negara atau wilayah. | ||
Pusat acara | Notifikasi acara | Anda dapat menggunakan fitur langganan acara CloudMonitor untuk mengonfigurasi notifikasi peringatan kustom untuk acara penting. Ini memungkinkan Anda segera mengetahui kemunculan dan perkembangan acara, mendapatkan informasi dinamis acara secara real-time, dan menganalisis serta menemukan masalah dengan cepat saat terjadi gangguan bisnis. | |
Platform O&M proaktif | Fitur peringatan acara O&M didukung. Saat sistem mendeteksi risiko yang dapat menyebabkan instans DTS gagal berjalan seperti yang diharapkan, acara O&M yang sesuai akan dipicu dan notifikasi akan dikirim melalui konsol, email, atau pesan internal. | ||
Instans Serverless | Manajemen instans Serverless | Anda dapat menangguhkan instans Serverless, melihat data metrik, dan memodifikasi batas atas dan bawah unit DTS (DU). | Tidak tersedia |
Kluster khusus | Manajemen DU | Anda dapat melihat DU yang dibuat untuk kluster khusus dan penggunaan DU. Anda juga dapat memodifikasi jumlah DU untuk tugas dalam kluster khusus untuk menyesuaikan spesifikasi tugas tersebut. | |
Perubahan konfigurasi disk | Jika penggunaan disk kluster khusus terlalu tinggi sehingga tidak dapat memenuhi kebutuhan bisnis Anda, Anda dapat memperluas kapasitas disk kluster khusus untuk memastikan ruang disk sesuai dengan kebutuhan bisnis Anda. | ||
Migrasi instans DTS antara kluster khusus dan publik | Anda dapat memindahkan instans DTS antara kluster khusus dan publik. | ||
Manajemen kluster khusus | Anda dapat secara manual memperpanjang kluster khusus, memodifikasi konfigurasi node kluster khusus, dan menentukan rasio overcommit untuk kluster khusus. | ||
Keamanan | Enkripsi data | DTS mendukung koneksi aman ke database menggunakan SSL. | |
Isolasi operasi | Anda dapat menggunakan identitas Manajemen Akses Sumber Daya (RAM), termasuk pengguna RAM dan peran RAM, yang diberi izin minimum untuk mengakses DTS. Ini meningkatkan keamanan data dan mengurangi risiko keamanan akibat penyalahgunaan izin. | Tidak tersedia | |
Kontrol izin akun | Anda dapat menggunakan kebijakan sistem untuk memberikan akses ke sumber daya seperti ApsaraDB RDS dan Elastic Compute Service (ECS) dalam akun Alibaba Cloud tertentu. Ini memungkinkan Anda melakukan tugas DTS menggunakan akun database dengan izin yang cukup. | ||
Reliabilitas | Kluster ketersediaan tinggi (HA) | DTS menggunakan server berkualitas tinggi untuk memastikan performa setiap instans sinkronisasi atau migrasi data. | |
Pengunggahan berkelanjutan | DTS mendukung pengunggahan berkelanjutan otomatis untuk secara efektif menjamin reliabilitas transmisi data. | ||
Perlindungan Pemulihan Bencana untuk Sumber Data | Jika database sumber atau tujuan tidak dapat terhubung atau masalah lain muncul, DTS mendukung operasi pengulangan segera dan terus-menerus. | Tidak tersedia |
Integrasi data
Anda dapat menggunakan operasi drag-and-drop atau mengeksekusi pernyataan SQL Flink untuk mengonfigurasi tugas ETL. Fitur ETL terintegrasi dengan kemampuan replikasi data DTS untuk mendukung ekstraksi data streaming, transformasi dan pemrosesan data, serta pemuatan data. Hal ini membantu mengurangi hambatan pengembangan, meminimalkan dampak pada sistem bisnis, meningkatkan efisiensi, memperkaya skenario pemrosesan dan komputasi data real-time, serta mendukung transformasi digital perusahaan.
Kategori | Fitur | Deskripsi | Referensi |
Pemisahan baca/tulis dan distribusi lalu lintas | Caching real-time untuk pemrosesan transaksi | Anda dapat memigrasikan data dari database MySQL, seperti database MySQL yang dikelola sendiri atau ApsaraDB RDS for MySQL, ke instans Redis. Ini mengurangi beban pada database relasional backend dan meningkatkan pengalaman pengguna. | |
Filtering dan pemetaan metadata | Filtering database, tabel, dan kolom | Saat Anda mengonfigurasi objek untuk tugas DTS, Anda dapat memilih database, tabel, dan kolom sebagai objek tugas. | Tidak tersedia |
Filtering menggunakan pernyataan DDL dan DML | Saat Anda mengonfigurasi objek untuk tugas migrasi atau sinkronisasi data, Anda dapat menjalankan pernyataan SQL untuk menyaring data yang perlu disinkronkan atau dimigrasikan secara tambahan. | Tidak tersedia | |
Pemetaan nama database, tabel, dan kolom | Saat Anda mengonfigurasi objek untuk tugas migrasi atau sinkronisasi data, Anda dapat menentukan nama objek tugas termasuk database, tabel, dan kolom di instans tujuan. Anda dapat menggunakan fitur ini untuk menyinkronkan atau memigrasikan data ke objek tertentu di instans tujuan. Anda juga dapat membuat objek baru dengan skema yang sama tetapi nama berbeda di instans tujuan. | ||
Pemetaan topologi | Fitur sinkronisasi data mendukung berbagai jenis topologi sinkronisasi. Anda dapat merencanakan instans sinkronisasi data berdasarkan kebutuhan bisnis Anda. | ||
Filtering dan pemetaan data | Filtering berbasis kondisi WHERE | Saat Anda mengonfigurasi objek untuk tugas sinkronisasi atau migrasi data, Anda dapat menentukan kondisi SQL untuk menyinkronkan atau memigrasikan hanya data yang memenuhi kondisi tertentu ke database tujuan. | |
Pemetaan tipe data | Saat Anda menyinkronkan atau memigrasikan data antar database heterogen, pemetaan tipe data dilakukan selama sinkronisasi atau migrasi skema. Dengan cara ini, tipe data di database sumber dikonversi ke tipe data yang didukung oleh database tujuan. |
Verifikasi data
Fitur verifikasi data yang disediakan oleh DTS memungkinkan pemantauan perbedaan data antara database sumber dan tujuan. Anda dapat melakukan verifikasi tanpa downtime, membantu mendeteksi ketidaksesuaian data dan skema sedini mungkin.
Kategori | Fitur | Deskripsi | Referensi |
Verifikasi homogen | Verifikasi metadata | Fitur ini memungkinkan Anda memverifikasi skema data homogen. | |
Verifikasi data penuh | Fitur ini memungkinkan Anda memverifikasi data historis dalam database homogen. | ||
Verifikasi data tambahan | Fitur ini memungkinkan Anda memverifikasi data tambahan yang disinkronkan atau dimigrasikan antar database homogen. | ||
Verifikasi heterogen | Verifikasi kesetaraan metadata | Fitur ini memungkinkan Anda memverifikasi skema data heterogen. | |
Verifikasi data penuh | Fitur ini memungkinkan Anda memverifikasi data historis dalam database heterogen. | ||
Verifikasi data tambahan | Fitur ini memungkinkan Anda memverifikasi data tambahan yang disinkronkan atau dimigrasikan antar database heterogen. | ||
Koreksi data | Koreksi metadata | Jika ketidaksesuaian struktur data terdeteksi selama verifikasi data, Anda dapat mengoreksi data berdasarkan hasil verifikasi. | |
Koreksi data penuh | Jika ketidaksesuaian data penuh terdeteksi selama verifikasi data, Anda dapat mengunduh pernyataan SQL yang direvisi untuk mengoreksi data berdasarkan hasil verifikasi. | ||
Koreksi data tambahan | Jika ketidaksesuaian data tambahan terdeteksi selama verifikasi data, Anda dapat mengoreksi data berdasarkan hasil verifikasi. |
Solusi berbasis skenario
Solusi DTS berbasis skenario
Kategori | Fitur | Deskripsi | Referensi |
ZeroETL | Sinkronisasi dari kluster PolarDB for MySQL ke kluster AnalyticDB for MySQL 3.0 | Anda dapat menggunakan analitik federasi bersama dengan fitur AnalyticDB Pipeline Service (APS) dari AnalyticDB for MySQL untuk menyinkronkan data dari PolarDB for MySQL ke AnalyticDB for MySQL Data Lakehouse Edition (V3.0) secara real-time. Ini memfasilitasi sinkronisasi dan manajemen data. | Gunakan analitik federasi untuk menyinkronkan data ke Data Lakehouse Edition |