Data Transmission Service (DTS) adalah platform Alibaba Cloud untuk transmisi dan pemrosesan data. Platform ini mengintegrasikan kemampuan inti seperti migrasi data, sinkronisasi data, pelacakan perubahan, transformasi data, dan verifikasi data. DTS membangun tautan data yang aman, andal, dan berkinerja tinggi antara berbagai sumber data untuk memenuhi kebutuhan dalam skenario seperti adopsi cloud, pemulihan bencana geo, dan gudang data real-time.
Kemampuan inti
DTS menyediakan kemampuan inti untuk aliran data, mencakup berbagai skenario mulai dari migrasi data dan sinkronisasi real-time hingga pelacakan perubahan inkremental. Kemampuan ini dapat dikategorikan sebagai berikut:
Jenis Fitur | Kemampuan Utama | Casus Penggunaan | |
Transmisi Data | Menjalankan migrasi satu kali data dari sumber ke target. Mendukung database homogen dan heterogen, memungkinkan migrasi dengan downtime minimal (sering hanya beberapa menit). | Adopsi cloud dan relokasi database. | |
Membangun tautan sinkronisasi data real-time dan kontinu antara berbagai sumber data. Mendukung sinkronisasi peer-to-peer (uni-directional atau bi-directional) untuk membangun arsitektur data yang sangat tersedia atau berkinerja tinggi. Selain itu, ini menawarkan tautan pengiriman data, memungkinkan Anda menggunakan SDK untuk mengirimkan data inkremental (seperti data log atau jenis data khusus lainnya) ke sumber data tertentu. | Peningkatan, pemisahan data atau penskalaan, redundansi geo-aktif, pemulihan bencana geo, sinkronisasi lintas batas, offloading kueri dan laporan, serta gudang data real-time. | ||
Menangkap perubahan data inkremental (seperti operasi | Strategi pembaruan cache, penguraian keterkaitan asinkron dari logika bisnis, memberikan aliran data real-time untuk proses Extract, Transform, dan Load (ETL) kompleks atau sinkronisasi sumber data heterogen. | ||
Menjalankan operasi ETL real-time pada data streaming saat mengalir melalui tautan. | Memenuhi kebutuhan pembersihan data real-time, konversi format, penambahan/penghapusan bidang, dan kebutuhan pemrosesan dan komputasi data lainnya. | ||
Mendukung perbandingan data antara database sumber dan target dalam tugas migrasi atau sinkronisasi data, atau sebagai tugas verifikasi data mandiri, untuk memverifikasi konsistensi data. | Sebagai perlindungan, ini membantu Anda segera mengidentifikasi dan menemukan masalah ketidaksesuaian data, memastikan akurasi transmisi data. | ||
Keunggulan produk
DTS menyederhanakan tugas interaksi data yang kompleks dengan lebih banyak fitur, performa lebih baik, kemudahan penggunaan lebih besar, serta keamanan dan keandalan yang lebih ditingkatkan dibandingkan alat tradisional.
Kompatibilitas Tinggi
Dukungan Sumber Data Heterogen: Mendukung transmisi data antar berbagai sumber data, termasuk database relasional (seperti MySQL, PostgreSQL, SQL Server, Oracle), database NoSQL (seperti MongoDB, Redis), dan gudang data besar (seperti AnalyticDB, MaxCompute). Untuk informasi lebih lanjut, lihatDatabase yang Didukung.
Konektivitas Lintas Lingkungan Tanpa Batas: Memungkinkan aliran data antara layanan cloud (seperti ApsaraDB RDS, database cloud-native PolarDB), database yang dikelola sendiri di lokasi, dan database dari vendor cloud lain untuk menghubungkan arsitektur hybrid dan multi-cloud.
Kolaborasi Lintas Akun: Untuk memenuhi kebutuhan kolaborasi perusahaan yang kompleks, DTS memungkinkan Anda mengonfigurasi tugas lintas Akun Alibaba Cloud. Anda cukup mengonfigurasi Otorisasi RAM untuk berbagi data secara aman antar akun berbeda, memungkinkan manajemen dan aliran data terpadu dalam grup perusahaan atau lintas departemen.
Topologi Jaringan Fleksibel: Mendukung metode akses jaringan, termasuk jaringan publik, koneksi privat, Gateway VPN, dan Smart Access Gateways, untuk beradaptasi dengan lingkungan jaringan perusahaan yang kompleks.
Kaya Fungsionalitas
Menyediakan berbagai metode transmisi, termasuk migrasi data, sinkronisasi data, dan Pelacakan Perubahan. Untuk migrasi sumber data heterogen, DTS mendukung transformasi skema database dan tabel.
Fitur sinkronisasi real-time mendukung sinkronisasi uni-directional atau bi-directional, berlaku untuk berbagai skenario seperti pemulihan bencana geo, redundansi geo-aktif, dan gudang data real-time.
Mudah Digunakan
DTS menyediakan antarmuka manajemen visual dan alur kerja pembuatan tugas terpandu, memungkinkan Anda membuat dan mengelola tugas transmisi dengan mudah. Konsol menampilkan status transmisi tugas, kemajuan, performa, dan informasi relevan lainnya. DTS juga mencakup kemampuan pemulihan titik putus dan pemulihan otomatis serta restart untuk menangani pengecualian jaringan atau sistem secara efektif.
Kinerja Tinggi
DTS menggunakan server berspesifikasi tinggi untuk memastikan performa transmisi. Untuk migrasi data, beberapa optimasi performa tingkat dasar memungkinkan performa migrasi data penuh puncak hingga 70 MB/s. Untuk sinkronisasi real-time, DTS dapat mempersempit granularitas konkurensi hingga tingkat transaksi, mencapai performa puncak 30.000 RPS. DTS juga mendukung transmisi terkompresi multi-threaded untuk mengurangi konsumsi bandwidth.
Aman dan Andal
Arsitektur dasar DTS menggunakan kluster layanan. Kegagalan node tunggal memicu switchover cepat, memastikan stabilitas tugas tinggi. Layanan ini menyediakan verifikasi akurasi data 24/7 dan menggunakan protokol transportasi aman, otentikasi token aman, dan enkripsi SSL untuk menjamin keandalan dan keamanan transmisi data. Dalam skenario sinkronisasi lintas batas dan lintas wilayah, DTS menggunakan jaringan koneksi privat untuk isolasi, lebih meningkatkan keamanan data.
Migrasi Tanpa Downtime
Anda dapat memigrasikan data sementara database sumber tetap beroperasi, mengurangi downtime aplikasi menjadi beberapa menit.
Casus penggunaan
Migrasi Database Tanpa Downtime ke Cloud
Saat memigrasikan database lokal (seperti MySQL, Oracle) atau database yang dikelola sendiri di ECS ke database Alibaba Cloud seperti ApsaraDB RDS atau PolarDB, Anda dapat menggunakan migrasi data untuk menghindari gangguan bisnis yang berkepanjangan. Fitur ini menggunakan pendekatan migrasi penuh ditambah sinkronisasi inkremental untuk menyelesaikan migrasi data sementara bisnis terus menangani operasi tulis, memungkinkan Anda beralih aplikasi ke database cloud baru.
Membangun Arsitektur Redundansi Geo-Aktif dan Pemulihan Bencana
Untuk mencapai ketersediaan tinggi dan pemulihan bencana geo untuk sistem bisnis inti, Anda dapat membangun sinkronisasi dua arah real-time antara instansiasi database di wilayah berbeda. Sinkronisasi Data direkomendasikan untuk tujuan ini. Ini memastikan bahwa perubahan data di salah satu ujung disinkronkan ke ujung lainnya secara real-time. Jika terjadi kegagalan di satu wilayah, lalu lintas bisnis dapat dengan cepat dialihkan ke pusat data lain, memastikan kelangsungan bisnis.
ETL Gudang Data Real-Time dan Pembaruan Cache
Saat data bisnis berubah dan perlu diperbarui di gudang analitik hilir (seperti AnalyticDB dan ClickHouse) atau Redis secara real-time, Anda dapat menggunakan pelacakan perubahan. DTS menangkap log inkremental (seperti Binlog dan WAL) dari database sumber dan mengubahnya menjadi aliran data JSON terstruktur. Aplikasi dapat mengonsumsi aliran data ini untuk menulis ke gudang atau langsung memperbarui cache, mencapai penguraian keterkaitan data link secara real-time.
Pembersihan dan Pemformatan Data Real-Time
Saat mensinkronkan data dari database produksi ke lingkungan analitik atau pengujian, seringkali diperlukan pemrosesan data. Misalnya, Anda mungkin perlu melakukan desensitisasi data pada informasi sensitif seperti nomor telepon pelanggan atau ID, atau menggabungkan bidang
first_namedanlast_namedari sumber menjadi satu bidangfull_namedi target. Dalam kasus seperti itu, Anda dapat menggunakan ETL untuk melakukan transformasi ini secara real-time selama transmisi data, menghilangkan kebutuhan pengembangan sekunder di sisi target, menyederhanakan tautan data, dan memastikan keamanan data.Verifikasi Konsistensi Data
Setelah menyelesaikan migrasi database penting atau selama proses sinkronisasi pemulihan bencana geo jangka panjang, Anda dapat menggunakan verifikasi data untuk memastikan konsistensi data. Ini secara otomatis membandingkan semua data atau rentang data tertentu dan menghasilkan laporan verifikasi rinci, dengan jelas menunjukkan tabel dan baris mana yang memiliki ketidaksesuaian data. Ini memberikan keyakinan tingkat data untuk pergantian bisnis setelah migrasi dan menawarkan alat pemantauan untuk kesehatan tugas sinkronisasi jangka panjang, mencegah ketidaksesuaian data.
Memulai dengan DTS
Identifikasi fitur DTS yang sesuai untuk skenario Anda.
Periksa apakah database Anda didukung untuk migrasi data, sinkronisasi, atau pelacakan perubahan dengan fitur yang dipilih.
Buat tugas DTS. Anda dapat membuat tugas melalui Konsol Data Transmission Service visual atau menggunakan API atau SDK.
Informasi lebih lanjut
Pelajari lebih lanjut
Untuk mempelajari tentang arsitektur DTS dan cara kerja fiturnya, lihat Arsitektur Layanan.
Untuk performa berbagai tautan transmisi DTS, lihat Spesifikasi.
Untuk definisi istilah dan konsep terkait DTS, lihat Istilah.
Asisten pintar
DTS Insight: Asisten operasi pintar yang disediakan oleh DTS untuk membantu Anda lebih memahami dan menggunakan DTS. Ini juga memantau status berjalan tugas secara real-time dan membantu pemecahan masalah saat tugas mengalami pengecualian.
Tanya Jawab Umum
Apa perbedaan antara migrasi data dan sinkronisasi data? Bagaimana cara memilih?
Tujuan Berbeda
Migrasi data memindahkan data dari database sumber ke database target satu kali. Setelah migrasi selesai, database sumber biasanya tidak lagi digunakan.
Sinkronisasi data mendirikan replikasi data jangka panjang dan kontinu antara dua sumber data untuk menjaga konsistensi dinamis mereka.
Fungsi Berbeda
Migrasi data berfokus pada konsistensi data akhir dan berhenti setelah selesai.
Sinkronisasi data adalah tugas jangka panjang yang menyediakan fitur lebih kompleks seperti sinkronisasi dua arah dan resolusi konflik.
Panduan Pemilihan
Untuk skenario seperti adopsi cloud, penggantian database, atau relokasi pusat data, pilih migrasi data.
Untuk skenario seperti membangun redundansi geo-aktif, pemulihan bencana, atau arsitektur pemisahan baca/tulis, pilih sinkronisasi data.
Bagaimana DTS ditagih?
Biaya DTS terdiri dari dua komponen utama: biaya instans tugas dan biaya lalu lintas data/jaringan publik. Aturan penagihan bervariasi berdasarkan jenis tugas. Untuk informasi lebih lanjut, lihat Item yang Dapat Ditagih.