Gunakan Lindorm Tunnel Service (LTS) untuk memigrasikan data historis dan menyinkronkan data inkremental dari kluster HBase yang dikelola sendiri atau kluster ApsaraDB for HBase ke LindormTable — tanpa downtime.
Kasus penggunaan
Migrasikan kluster HBase yang dikelola sendiri ke Lindorm.
Lakukan migrasi lintas wilayah, misalnya dari wilayah China (Qingdao) ke wilayah China (Beijing).
Pisahkan beban kerja bisnis dengan memigrasikan sebagian ke kluster baru.
Cara kerja LTS
LTS membaca data langsung dari Hadoop Distributed File System (HDFS) kluster sumber, bukan berinteraksi dengan layanan HBase. Pendekatan tingkat file ini biasanya mengurangi volume transfer data lebih dari 50% dibandingkan replikasi tingkat API dan meminimalkan dampak terhadap bisnis online Anda selama migrasi.
Migrasi berjalan dalam maksimal tiga fase, yang dapat Anda gabungkan menjadi satu task:
| Fase | Operasi | Deskripsi |
|---|---|---|
| 1 | Migrasi skema tabel | LTS membuat tabel di kluster tujuan dengan skema dan informasi region yang sama seperti sumber. Konsistensi region dipertahankan secara otomatis. |
| 2 | Migrasi data historis | LTS melakukan migrasi fisik tingkat file untuk semua data yang ada dengan kecepatan hingga 150 MB/detik per node. Lakukan penskalaan horizontal untuk menangani set data berskala terabyte atau petabyte. |
| 3 | Sinkronisasi data inkremental | LTS mereplikasi entri write-ahead log (WAL) dari kluster sumber secara waktu nyata, menjaga sinkronisasi tujuan sambil bisnis Anda tetap berjalan. |
Sumber dan fitur yang didukung
LTS mendukung migrasi dari kluster HBase 1.x dan 2.x, termasuk kluster yang dikelola sendiri dan kluster ApsaraDB for HBase. Dalam satu task, Anda dapat:
Memigrasikan pada tingkat database, namespace, atau tabel.
Mengganti nama tabel selama migrasi.
Menyaring data berdasarkan rentang waktu, rentang row key, atau kolom tertentu.
Membuat task migrasi melalui API LTS.
LTS mencakup mekanisme retry bawaan dan menyediakan pemantauan waktu nyata terhadap kecepatan dan progres task, lengkap dengan notifikasi jika task gagal.
Batasan
Migrasi ke kluster HBase yang dikelola sendiri tidak didukung. LindormTable adalah satu-satunya tujuan yang didukung.
Kluster HBase dengan Kerberos aktif tidak didukung.
Instans single-node ApsaraDB for HBase tidak didukung.
Instans ApsaraDB for HBase di jaringan klasik tidak didukung.
Instans mandiri Lindorm tidak didukung sebagai tujuan.
Sinkronisasi inkremental bergantung pada entri WAL. Data yang diimpor melalui bulk loading atau data yang tidak ditulis ke WAL tidak akan disinkronkan.
Migrasi data indeks pencarian tidak didukung.
Sebelum memulai
Persiapkan lingkungan Anda
Sebelum memulai migrasi, lengkapi langkah-langkah berikut:
Verifikasi konektivitas jaringan antara kluster sumber, kluster tujuan, dan LTS.
Tambahkan sumber data HBase. Untuk informasi lebih lanjut, lihat Tambahkan sumber data HBase.
Tambahkan sumber data tabel lebar Lindorm. Untuk informasi lebih lanjut, lihat Tambahkan sumber data tabel lebar Lindorm.
Verifikasi bahwa kluster tujuan memiliki kapasitas HDFS yang cukup untuk mencegah masalah penyimpanan selama migrasi.
Konfigurasikan periode retensi log (hanya untuk sumber HBase yang dikelola sendiri atau ApsaraDB for HBase)
Tetapkan periode retensi log lebih dari 12 jam sebelum memulai sinkronisasi inkremental. Hal ini memberi LTS waktu yang cukup untuk pulih dari error sinkronisasi.
Untuk mengubah periode retensi, perbarui parameter hbase.master.logcleaner.ttl dalam hbase-site.xml dan restart HMaster. Satuannya adalah milidetik (ms). Contohnya, untuk menetapkan periode retensi 12 jam:
hbase.master.logcleaner.ttl=43200000Jika kluster sumber adalah kluster Lindorm, lewati langkah ini.
Tinjau catatan penggunaan
Jangan membuat tabel secara manual di kluster tujuan. LTS akan membuatnya secara otomatis dengan skema dan informasi region yang sama seperti sumber. Tabel yang dibuat manual mungkin memiliki konfigurasi region yang tidak konsisten, sehingga menyebabkan Pemisahan dan kompaksi berlebihan setelah migrasi — terutama mahal untuk tabel besar.
Jika tabel sumber memiliki coprocessor, pastikan kluster tujuan memiliki file JAR coprocessor yang sesuai sebelum LTS membuat tabel tujuan.
Setelah mengaktifkan sinkronisasi inkremental, LTS menyimpan log data yang belum dikonsumsi selama 48 jam secara default. Setelah periode ini, langganan dibatalkan secara otomatis dan data yang disimpan dihapus.
Buat task migrasi
Login ke LTS. Untuk informasi lebih lanjut, lihat Login ke LTS.
Di panel navigasi sebelah kiri, pilih Migration > Quick Migration.
Klik Create Task.
Di bidang task name (optional), masukkan nama. Nama hanya boleh berisi huruf dan angka. Jika dibiarkan kosong, ID task akan digunakan sebagai nama task.
Konfigurasikan source cluster dan destination cluster.
Pilih operations yang ingin disertakan:
Operasi Deskripsi table schema migration Membuat tabel di kluster tujuan dengan skema dan informasi region yang sama seperti sumber. Tabel yang sudah ada dilewati. real-time data replication Menyinkronkan data WAL inkremental dari kluster sumber secara waktu nyata. historical data migration Melakukan migrasi fisik tingkat file untuk semua data. Konfigurasikan table mapping dan, jika diperlukan, advanced configuration.
Klik Create.
Pantau tugas
Di panel navigasi sebelah kiri, pilih Migration > Quick Migration untuk melihat semua task. Klik nama task untuk melihat status eksekusinya, termasuk kecepatan dan progres migrasi.
Task siap untuk alih bencana ketika:
Migrasi data historis ditampilkan sebagai selesai.
Latensi sinkronisasi inkremental rendah — biasanya beberapa detik atau milidetik.
Lakukan alih bencana
Konfirmasi bahwa migrasi data historis telah selesai dan latensi inkremental rendah.
Di LTS, aktifkan pengambilan sampel dan validasi data. Untuk tabel besar, gunakan rasio pengambilan sampel kecil agar tidak memengaruhi bisnis online Anda.
Validasi bisnis Anda di kluster tujuan.
Lakukan alih bencana bisnis.
FAQ
Mengapa konsumsi data berhenti?
Konsumsi data berhenti ketika kluster LTS dirilis sebelum task dihentikan, task sinkronisasi ditangguhkan, atau task diblokir oleh error.
Apa yang harus saya lakukan jika task migrasi gagal?
LTS secara otomatis mencoba ulang task yang gagal. Jika task tetap gagal setelah beberapa kali percobaan, hubungi dukungan teknis Lindorm di DingTalk (ID: s0s3eg3).