Lindorm Tunnel Service (LTS) adalah layanan ekosistem data yang dirancang khusus untuk skenario bisnis ApsaraDB for HBase. LTS menangani migrasi, sinkronisasi, subscription, dan pengarsipan data—memungkinkan Anda memindahkan data antar kluster, mengalirkan pembaruan real-time, melakukan dump data ke data lake, serta menulis kembali ke data warehouse, semuanya melalui satu layanan terpadu. LTS sebelumnya dikenal sebagai Big DataHub Service (BDS).
Kemampuan inti
Sistem terdistribusi cloud-native: LTS berjalan sebagai sistem terdistribusi di Elastic Compute Service (ECS). Lakukan skalabilitas horizontal dengan menambahkan node sesuai kebutuhan throughput Anda.
Kemudahan penggunaan: Siapkan tugas migrasi, impor, subscription, dan pengarsipan hanya dalam beberapa klik. Untuk tugas migrasi, cukup tentukan sumber, tujuan, dan kolom yang akan disinkronkan—LTS secara otomatis mereplikasi skema, data penuh, dan data inkremental.
Keamanan dan keandalan tinggi: Sebelum tugas dimulai, LTS memeriksa konektivitas dan keamanan jaringan. Selama tugas berjalan, LTS memantau latensi sinkronisasi dan kapasitas penyimpanan kluster tujuan secara real-time, menerapkan pembatasan kecepatan lalu lintas, serta mengirimkan peringatan. Setelah tugas selesai, LTS memverifikasi data yang telah disinkronkan.
Efisiensi biaya: LTS mereplikasi data berdasarkan file fisik, bukan panggilan API, sehingga 10 kali lebih efisien dibanding replikasi data tradisional. Dibangun di atas Apache HBase, Apache Phoenix, dan Apache Cassandra internal yang telah dioptimalkan, LTS juga menyediakan kemampuan CPU, cache, memori, dan I/O jaringan yang dioptimalkan.
Fitur
| Fitur | Skenario | Referensi |
|---|---|---|
| Migrasi atau sinkronisasi data antar kluster HBase | Migrasi data tanpa gangguan antara kluster yang ada dan kluster baru, peningkatan kluster, penguraian keterkaitan workload online dan offline, pemulihan bencana aktif/standby, serta redundansi geo-aktif | Sinkronisasi data penuh dan inkremental |
| Ekspor data dari HBase ke MaxCompute (sebelumnya dikenal sebagai Open Data Processing Service (ODPS)) | Ekspor data historis dan data inkremental | Ekspor data penuh ke MaxCompute dan Arsip data inkremental ke MaxCompute |
| Subscription ke Log Service untuk menyinkronkan data ke HBase | Subscription ke data real-time di Log Service untuk menyinkronkan data tersebut ke HBase | Impor data inkremental dari Log Service |
| Subscription ke data inkremental HBase | Subscription ke data real-time ApsaraDB for HBase Edisi Performa-tinggi | Petunjuk |
Manajemen siklus hidup log
Saat Anda mengaktifkan subscription log, LTS menyimpan data log yang belum dikonsumsi selama 48 jam. Setelah periode tersebut, subscription secara otomatis dibatalkan dan data yang tersimpan dihapus secara otomatis.
Data log mungkin gagal dikonsumsi dalam dua situasi: kluster LTS dilepas saat tugas sedang berjalan, atau tugas sinkronisasi ditangguhkan.
Subscription log didukung untuk jenis tugas berikut: sinkronisasi inkremental HBase atau Lindorm, pengarsipan data, pencadangan data, dan subscription data.
Kasus penggunaan
Migrasi tanpa downtime
LTS mendukung migrasi tanpa downtime untuk HBase 1.x, HBase 2.x, ApsaraDB for HBase Edisi Performa-tinggi, Phoenix 4.x, dan Phoenix 5.x.
Migrasikan data historis dan sinkronkan data inkremental real-time dalam satu tugas—tanpa gangguan layanan.
LTS membaca data langsung dari Hadoop Distributed File System (HDFS) kluster sumber tanpa berinteraksi dengan kluster HBase sumber, sehingga meminimalkan dampak pada workload online.
Replikasi berbasis file mengurangi lalu lintas lebih dari 50% dibanding replikasi berbasis API.
Setiap node mampu memigrasikan data hingga 100 MB/detik. Tambahkan node secara horizontal untuk menangani set data berskala terabyte atau petabyte.
Sinkronisasi skema otomatis menjaga konsistensi partisi antara sumber dan tujuan.
Fitur retry bawaan, pemantauan progres real-time, dan peringatan kegagalan memastikan kelancaran migrasi.
Verifikasi data pasca-migrasi memastikan akurasi.
Penguraian keterkaitan workload online dan offline
Sinkronkan data bisnis online secara real-time ke Object Storage Service (OSS) atau HDFS. Gunakan Spark dan MapReduce untuk menganalisis data tanpa memengaruhi performa kueri online.
Pemulihan bencana aktif/standby
LTS mendukung sinkronisasi data dua arah antara kluster utama dan kluster sekunder. Saat kluster utama gagal, alihkan workload ke kluster sekunder. Setelah kluster utama pulih, gunakan LTS untuk menyinkronkan data inkremental dari kluster sekunder kembali ke kluster utama.
Pemisahan data panas/dingin untuk ApsaraDB RDS
Saat riwayat transaksi atau data historis lainnya menyebabkan bottleneck performa di ApsaraDB RDS, gunakan LTS untuk menyinkronkan data RDS ke ApsaraDB for HBase secara real-time. Hal ini memisahkan data panas dari data dingin. ApsaraDB for HBase menyediakan skalabilitas horizontal otomatis, kueri konkurensi tinggi, indeks multi-dimensi, serta analisis ringan. Gunakan Streams untuk berlangganan pembaruan data secara berurutan, atau sinkronkan data dari ApsaraDB for HBase ke sistem analitik lainnya guna analisis kompleks.