Lindorm Tunnel Service (LTS) adalah layanan ekosistem data yang disesuaikan dengan karakteristik skenario bisnis Lindorm. LTS menyediakan kemampuan seperti pertukaran data, pemrosesan, dan pelacakan perubahan secara mudah digunakan. Anda dapat memanfaatkan fitur ini untuk migrasi data, pelacakan perubahan real-time, replikasi data ke danau data, sinkronisasi dari gudang data ke database Lindorm, pencadangan serta pemulihan data, dan redundansi multi-aktif berbasis unit. Dengan demikian, LTS menawarkan solusi all-in-one untuk ekosistem data Lindorm.
Kemampuan inti
Cloud-native dan terdistribusi: LTS diimplementasikan pada ECS dan mendukung skalabilitas horizontal serta konfigurasi sumber daya sesuai permintaan.
Mudah digunakan: Anda dapat mengonfigurasi tugas seperti migrasi data, impor, pelacakan perubahan, dan pengarsipan hanya dengan satu klik. Untuk migrasi data, cukup pilih sumber, tujuan, dan kolom yang akan disinkronkan. LTS secara otomatis menangani replikasi skema serta sinkronisasi data penuh dan inkremental.
Aman dan andal: LTS meminimalkan dampak terhadap sistem sumber dan tujuan. Sebelum tugas dimulai, LTS secara otomatis memeriksa konektivitas dan keamanan jaringan. Selama tugas berlangsung, LTS memantau latensi sinkronisasi dan penggunaan penyimpanan kluster tujuan secara real-time, serta menyediakan pembatasan laju (throttling) dan peringatan. Setelah tugas selesai, LTS menyediakan verifikasi data.
Hemat biaya: LTS sangat dioptimalkan untuk sistem open source seperti HBase dan Cassandra. Dengan memproses data pada tingkat file fisik, LTS meningkatkan efisiensi hingga 10 kali lipat. Optimasi komprehensif terhadap CPU, cache, memori, dan I/O jaringan mengurangi biaya transfer data.
Fitur
Fitur | Skenario | Referensi |
Migrasi Data antara HBase dan LindormTable | Migrasi data tanpa batas antara kluster lama dan baru, peningkatan kluster, pemisahan beban kerja online dan offline, pemulihan bencana utama/sekunder, serta redundansi geo aktif. | |
RDS -> Lindorm Penting Fitur ini tidak lagi tersedia untuk instance LTS yang dibeli setelah 10 Maret 2023. Jika instance LTS Anda dibeli sebelum 10 Maret 2023, Anda masih dapat menggunakan fitur ini. | Pemisahan beban kerja online dan offline serta pengarsipan data historis. | Impor Data Penuh dan Tambahan dari ApsaraDB RDS Catatan Setelah fitur ini dihentikan, Anda dapat menggunakan DMS untuk menyinkronkan data. |
MaxCompute/Hive -> Lindorm | Akselerasi kueri offline, serta transmisi detail dan metrik dari gudang data ke Lindorm untuk kueri online. | Untuk informasi lebih lanjut, hubungi dukungan teknis. |
Ekspor Data dari Lindorm ke MaxCompute (sebelumnya dikenal sebagai Open Data Processing Service (ODPS)) Penting Fitur ini tidak lagi tersedia untuk instance LTS yang dibeli setelah 16 Juni 2023. Jika instance LTS Anda dibeli sebelum 16 Juni 2023, Anda masih dapat menggunakan fitur ini. | Ekspor data historis dan data tambahan. | Ekspor Data Penuh ke MaxCompute dan Arsipkan Data Tambahan ke MaxCompute |
Langganan Data Real-Time di LogHub Penting Fitur ini tidak lagi tersedia untuk instance LTS yang dibeli setelah 16 Juni 2023. Jika instance LTS Anda dibeli sebelum 16 Juni 2023, Anda masih dapat menggunakan fitur ini. | Langganan data real-time dari LogHub dan konsumsi data tersebut di Lindorm. | |
Pelacakan perubahan Lindorm | Langganan data tambahan real-time di Lindorm. |
Skenario
Migrasi Kluster
Ruang Lingkup Penggunaan
Migrasi data dari HBase ke Lindorm.
Pergantian jaringan kluster. Sebagai contoh, jenis jaringan diubah dari jaringan klasik menjadi virtual private cloud (VPC).
Migrasi pusat data lintas wilayah.
Pemisahan beban kerja.
Fitur
Data dapat dimigrasi tanpa gangguan layanan. LTS dapat memigrasi data historis dan menyinkronkan data tambahan real-time dalam satu tugas.
Selama proses migrasi, LTS tidak berinteraksi langsung dengan kluster HBase atau Lindorm sumber. LTS hanya membaca data dari HDFS kluster sumber, meminimalkan dampak pada bisnis online yang berjalan di kluster sumber.
Dalam banyak kasus, dibandingkan dengan migrasi data di lapisan API, replikasi data di lapisan file dapat membantu mengurangi lebih dari 50% penggunaan data.
LTS sangat efisien. Setiap node dapat memigrasi data dengan kecepatan hingga 100 MB/s. Anda dapat menambahkan node untuk penskalaaan horizontal guna memigrasi data terabyte bahkan petabyte.
LTS menyediakan layanan stabil dengan mencoba ulang tugas yang gagal, memantau laju dan kemajuan sinkronisasi tugas secara real-time, serta melaporkan peringatan saat tugas gagal.
LTS memastikan akurasi data dengan memverifikasi data yang disinkronkan.
Penyinkronan skema otomatis didukung untuk memastikan partisi yang konsisten.
Pemisahan Beban Kerja Online dan Offline
LTS memungkinkan Anda menyinkronkan data bisnis online secara real-time ke penyimpanan HDFS atau OSS. LTS dapat berintegrasi dengan komponen layanan data besar seperti Spark dan MapReduce untuk menganalisis data, sehingga memastikan kueri bisnis online tidak terganggu.
Pemulihan Bencana Utama/Sekunder
LTS mendukung sinkronisasi data dua arah antara kluster aktif dan kluster cadangan. Saat kluster aktif gagal, Anda dapat beralih ke kluster cadangan untuk mengurangi dampak pada beban kerja Anda. Setelah kluster aktif pulih, Anda dapat menggunakan LTS untuk menyinkronkan data tambahan dari kluster cadangan ke kluster aktif.
Penyimpanan Data Historis di Database ApsaraDB RDS
Dalam skenario penyimpanan data historis—seperti data pesanan transaksi—bottleneck performa dapat terjadi pada database ApsaraDB RDS akibat pertumbuhan volume data. Pengarsipan data periodik atau sharding bersifat kompleks dan mahal. LTS memungkinkan Anda menyinkronkan data dari ApsaraDB RDS ke LindormTable secara real-time untuk memisahkan data panas dari data dingin. LindormTable mendukung skalabilitas horizontal otomatis, kueri konkurensi tinggi, pengindeksan multidimensi, serta analisis ringan. Lindorm Streams memungkinkan pelacakan perubahan data secara berurutan. Selain itu, LTS juga memungkinkan sinkronisasi data dari LindormTable ke sistem analitik lainnya untuk analisis data yang lebih kompleks.