Lindorm Tunnel Service (LTS) memungkinkan Anda melakukan migrasi data penuh dan menyinkronkan data inkremental antar kluster ApsaraDB for HBase tanpa waktu henti layanan. LTS dapat digunakan untuk peningkatan versi, pemindahan lintas wilayah, transfer lintas akun, penskalaan ulang kluster, serta penguraian keterkaitan workload.
Cara kerja
LTS membaca data langsung dari Hadoop Distributed File System (HDFS) kluster sumber—tanpa berinteraksi dengan lapisan HBase kluster sumber. Pendekatan tingkat file ini mengurangi volume transfer data lebih dari 50% dibandingkan migrasi berbasis lapisan API dan meminimalkan dampak terhadap workload online Anda.
Setiap node LTS mampu melakukan migrasi data hingga 150 MB/detik. Tambahkan node secara horizontal untuk menangani set data berskala terabyte atau petabyte. LTS memantau kecepatan dan progres tugas secara real-time, mencoba ulang secara otomatis saat terjadi error, serta mengirimkan notifikasi jika tugas gagal. LTS juga menyinkronkan skema secara otomatis untuk memastikan partisi tetap konsisten.
Sebuah tugas migrasi mendukung tiga operasi berikut, yang dapat Anda pilih sesuai kebutuhan:
Schema migration (migration table schema): LTS membuat tabel di kluster tujuan dengan skema dan tata letak partisi yang sama seperti sumber. Anda tidak perlu membuat tabel secara manual.
Full data migration (history data migration): LTS menyalin file secara fisik pada lapisan HDFS.
Real-time incremental sync (real time data replication): LTS membaca write-ahead logging (WAL) untuk menangkap perubahan yang ditulis setelah migrasi penuh dimulai, sehingga menjaga kluster tujuan tetap mutakhir hingga Anda melakukan alih bencana.
Kasus penggunaan
| Skenario | Contoh |
|---|---|
| Peningkatan versi utama | Tingkatkan kluster ApsaraDB for HBase dari V1.x ke V2.x |
| Migrasi cross-region | Pindahkan data dari China (Qingdao) ke China (Beijing) |
| Migrasi cross-account | Migrasikan data antar akun berbeda |
| Peningkatan spesifikasi kluster | Tingkatkan kapasitas dari 4 core dan 8 GB menjadi 8 core dan 16 GB |
| Penguraian keterkaitan workload | Alihkan sebagian workload kluster ke kluster baru |
Versi yang didukung
LTS mendukung migrasi antar kombinasi versi berikut tanpa waktu henti layanan:
HBase 094
HBase 098
HBase V1.x
HBase V2.x
Lindorm
Fitur
Migrasikan skema tabel, sinkronkan data secara real-time, dan migrasikan data penuh
Migrasikan data berdasarkan database, namespace, dan tabel
Ubah nama tabel saat memigrasikan data dalam tabel tersebut
Tentukan rentang waktu, rentang row key, dan kolom saat memigrasikan data
Panggil operasi API untuk membuat tugas migrasi
Batasan
| Batasan | Detail |
|---|---|
| Kluster Kerberos | Tidak didukung |
| Kluster single-node | Tidak didukung |
| Kluster jaringan klasik | Tidak didukung |
| Data BulkLoad | Tidak disinkronkan — sinkronisasi inkremental hanya menangkap data yang ditulis melalui WAL |
| Data yang tidak ditulis ke WAL | Tidak disinkronkan |
Prasyarat
Sebelum memulai, pastikan Anda telah:
Memverifikasi konektivitas jaringan antara kluster sumber, kluster tujuan, dan LTS
Menambahkan sumber data HBase dan Lindorm di LTS
Memverifikasi bahwa kluster tujuan memiliki kapasitas HDFS yang cukup untuk menampung data yang dimigrasikan
Masuk ke antarmuka web LTS
Buat tugas migrasi
Di panel navigasi kiri, buka Migration > Quick Migration.
Konfigurasikan parameter berikut, lalu klik create.
CatatanLTS membuat tabel tujuan secara otomatis dengan tata letak partisi yang sama seperti sumber. Jika Anda membuat tabel secara manual sebelum migrasi, tata letak partisi mungkin berbeda, yang dapat menyebabkan split dan kompaksi berulang setelah migrasi—terutama untuk tabel besar.
Parameter Deskripsi job name Nama untuk tugas ini. Hanya huruf dan angka. Jika dibiarkan kosong, ID tugas akan digunakan. Source Cluster Kluster ApsaraDB for HBase atau Lindorm sumber. Target Cluster Kluster tujuan. migration table schema Membuat tabel di tujuan dengan skema dan tata letak partisi yang sama seperti sumber. Jika tabel sudah ada di kluster tujuan, data dalam tabel tersebut tidak dimigrasikan. real time data replication Menyinkronkan perubahan inkremental dari sumber secara real-time menggunakan WAL. history data migration Memigrasikan semua file secara fisik pada lapisan HDFS. table mapping Nama tabel yang akan dimigrasikan, satu per baris. advance configuration Opsional. Biarkan kosong untuk menggunakan nilai default. Jika tabel sumber memiliki coprocessor, pastikan kluster tujuan berisi paket JAR yang sesuai untuk coprocessor tersebut saat membuat tabel tujuan.
Konfigurasi sinkronisasi inkremental
Tetapkan periode retensi log
Sebelum memulai tugas sinkronisasi inkremental, perpanjang periode retensi log pada kluster sumber. Hal ini memberi LTS waktu untuk pulih dari error sementara tanpa kehilangan data WAL.
Atur hbase.master.logcleaner.ttl dalam hbase-site.xml ke nilai lebih dari 12 jam, lalu restart HBase Master.
Pahami jendela retensi default
Jika LTS tidak dapat mengonsumsi data log—misalnya karena kluster LTS telah dirilis, tugas sinkronisasi ditangguhkan, atau tugas diblokir secara abnormal—log yang belum dikonsumsi akan disimpan selama 48 jam secara default. Setelah 48 jam, langganan dibatalkan dan data yang disimpan akan dihapus.
Monitor tugas
Untuk melihat daftar tugas, buka Migration > Quick Migration di panel navigasi kiri.
Untuk melihat detail tugas dan status eksekusi, klik nama tugas tersebut.
Lakukan alih bencana
Tunggu hingga migrasi penuh selesai dan latensi sinkronisasi inkremental turun hingga beberapa detik atau ratusan milidetik.
Aktifkan sampling dan verifikasi data LTS. Untuk tabel besar, gunakan rasio sampling yang sesuai agar tidak memengaruhi traffic online.
Validasi aplikasi Anda terhadap kluster tujuan.
Arahkan traffic aplikasi ke kluster tujuan.