Lindorm Tunnel Service (LTS) adalah layanan ekosistem data yang disesuaikan berdasarkan karakteristik skenario bisnis di mana ApsaraDB for HBase digunakan. Sebelumnya, layanan ini dikenal sebagai Big DataHub Service (BDS). LTS mendukung kemampuan yang mudah digunakan, seperti pertukaran data, pemrosesan, dan langganan. Layanan ini memungkinkan Anda untuk memigrasi data, berlangganan pembaruan data real-time, menyalin data ke data lake, serta mengonfigurasi aliran balik ke gudang data. LTS juga mendukung redundansi multi-aktif berbasis unit dan pencadangan serta pemulihan, menyediakan solusi ekosistem data all-in-one untuk ApsaraDB for HBase.
Kemampuan inti
Sistem terdistribusi cloud native: LTS adalah sistem terdistribusi yang dibangun berdasarkan Elastic Compute Service (ECS). Fiturnya mencakup skalabilitas horizontal yang sangat baik, memungkinkan Anda mengonfigurasi sumber daya sesuai dengan kebutuhan bisnis.
Kemudahan penggunaan: LTS memungkinkan Anda mengonfigurasi migrasi data, impor, langganan, dan tugas arsip hanya dengan beberapa klik. Misalnya, untuk membuat tugas migrasi data, Anda cukup menentukan sumber migrasi, tujuan migrasi, dan kolom yang ingin disinkronkan. LTS secara otomatis mereplikasi skema, data penuh, dan data tambahan berdasarkan pengaturan tersebut.
Keamanan dan keandalan tinggi: LTS meminimalkan dampak pada sistem sumber dan tujuan online serta mengurangi risiko kegagalan akibat ketidaksesuaian. Sebelum tugas dimulai, LTS melakukan pemeriksaan awal terhadap konektivitas jaringan dan keamanan. Saat tugas sedang berjalan, LTS memantau latensi sinkronisasi dan penggunaan penyimpanan kluster tujuan secara real-time. LTS juga menerapkan pembatasan lalu lintas dan melaporkan peringatan berdasarkan data pemantauan. Setelah tugas selesai, LTS memverifikasi data yang disinkronkan.
Efisiensi biaya: LTS dioptimalkan berdasarkan sistem open source seperti Apache HBase, Apache Phoenix, dan Apache Cassandra. LTS memungkinkan replikasi data berdasarkan file fisik, yang 10 kali lebih efisien dibandingkan metode replikasi data tradisional. LTS juga menyediakan kemampuan CPU, cache, memori, dan I/O jaringan yang dioptimalkan, memberikan solusi hemat biaya untuk transfer dan pemrosesan data.
Fitur
Fitur | Skenario | Referensi |
Migrasi atau sinkronisasi data antar kluster HBase | Migrasi data tanpa hambatan antara kluster yang ada dan baru, peningkatan kluster, pemisahan beban kerja online dan offline, pemulihan bencana aktif/standby, dan redundansi geo-aktif. | |
Ekspor data dari HBase ke MaxCompute (sebelumnya dikenal sebagai Open Data Processing Service (ODPS)) | Ekspor data historis dan data tambahan. | |
Langganan ke Log Service untuk menyinkronkan data ke HBase | Langganan ke data real-time dalam Log Service untuk menyinkronkan data ke HBase. | |
Langganan ke data tambahan HBase | Langganan ke data real-time dari ApsaraDB for HBase Performance-enhanced Edition. |
Pengelolaan siklus hidup log
Jika data log tidak dikonsumsi setelah Anda mengaktifkan fitur langganan log, data log akan disimpan selama 48 jam secara default. Setelah periode tersebut berakhir, langganan akan dibatalkan secara otomatis, dan data yang tersimpan akan dihapus secara otomatis.
Data log mungkin gagal dikonsumsi jika kluster LTS Anda dilepaskan saat tugas masih berjalan atau tugas sinkronisasi ditangguhkan.
Anda dapat mengaktifkan fitur langganan log untuk jenis tugas berikut di LTS: sinkronisasi tambahan HBase atau Lindorm, pengarsipan data, cadangan data, dan langganan data.
Skenario tipikal
Migrasi tanpa downtime (HBase 1.x, HBase 2.x, ApsaraDB for HBase Performance-enhanced Edition, Phoenix 4.x, dan Phoenix 5.x)
Data dapat dimigrasi tanpa gangguan layanan. LTS dapat memigrasi data historis dan menyinkronkan data tambahan real-time dalam satu tugas.
Saat data sedang dimigrasi, LTS tidak berinteraksi dengan kluster HBase sumber. LTS hanya membaca data dari HDFS kluster sumber, meminimalkan dampak pada bisnis online yang berjalan di kluster sumber.
LTS melakukan replikasi data berdasarkan file. Dibandingkan dengan replikasi data yang dilakukan dengan memanggil operasi API, metode ini dapat mengurangi lebih dari 50% lalu lintas yang dihasilkan selama replikasi.
Efisiensi tinggi. Setiap node dapat memigrasi data dengan kecepatan hingga 100 MB/s. Anda dapat menambahkan node untuk penskalaan horizontal guna memigrasi terabyte bahkan petabyte data.
Stabilitas tinggi. LTS mendukung mekanisme kuat untuk menjalankan ulang tugas yang gagal. LTS memantau laju sinkronisasi dan kemajuan tugas secara real-time, serta melaporkan peringatan jika tugas gagal.
Akurasi data. LTS memverifikasi data yang disinkronkan.
Sinkronisasi skema otomatis, memastikan partisi yang konsisten.
Pemisahan beban kerja online dan offline
LTS memungkinkan Anda menyinkronkan data bisnis online secara real-time ke penyimpanan seperti HDFS atau OSS. LTS dapat bekerja dengan komponen layanan big data, seperti Spark dan MapReduce, untuk menganalisis data. Hal ini memastikan bahwa kueri bisnis online tidak terpengaruh.
Pemulihan bencana aktif/standby
LTS mendukung sinkronisasi data dua arah antara kluster utama dan kluster sekunder. Saat kluster utama gagal, Anda dapat memindahkan beban kerja ke kluster sekunder untuk mengurangi dampak. Setelah kluster utama pulih, Anda dapat menggunakan LTS untuk menyinkronkan data tambahan dari kluster sekunder ke kluster utama.
Penyimpanan data historis di database ApsaraDB RDS
Dalam skenario di mana data historis, seperti pesanan transaksi, disimpan, kemacetan kinerja mungkin terjadi di database ApsaraDB RDS karena ukuran data yang terus bertambah. Pengarsipan data berkala atau sharding kompleks dan menyebabkan biaya tinggi. LTS memungkinkan Anda menyinkronkan data ApsaraDB RDS ke ApsaraDB for HBase secara real-time. Ini memisahkan data panas dari data dingin. ApsaraDB for HBase mendukung penskalaan horizontal otomatis, kueri konkurensi tinggi, pengindeksan multi-dimensi, dan analisis ringan. Streams memungkinkan Anda berlangganan pembaruan data secara berurutan. LTS juga memungkinkan Anda menyinkronkan data dari ApsaraDB for HBase ke sistem analitik lain untuk analisis data kompleks.