ApsaraDB for HBase:Sinkronisasi data penuh dan inkremental

Kasus penggunaan

• Peningkatan versi utama: misalnya, dari HBase 1.x ke HBase 2.x.

• Migrasi lintas wilayah: misalnya, dari wilayah China (Qingdao) ke wilayah China (Beijing).

• Migrasi lintas akun: memindahkan data antar akun berbeda.

• Peningkatan kluster: misalnya, migrasi dari kluster 4-core, 8 GB ke kluster 8-core, 16 GB.

• Pemisahan beban kerja: misalnya, memindahkan sebagian beban kerja Anda ke kluster baru.

Fitur

• Mendukung migrasi tanpa downtime antara versi berikut: HBase 0.94, HBase 0.98, HBase 1.x, HBase 2.x, dan Lindorm.

• Mendukung migrasi skema tabel, replikasi data real-time, dan migrasi data penuh.

• Mendukung migrasi pada tingkat database, namespace, dan tabel.

• Mendukung penggantian nama tabel selama migrasi.

• Memungkinkan Anda menentukan rentang waktu, rentang row key, atau kolom tertentu untuk migrasi.

• Menyediakan OpenAPI yang dapat digunakan untuk membuat tugas migrasi.

Manfaat

• Mencapai migrasi data tanpa downtime dengan menangani migrasi data historis dan sinkronisasi data inkremental real-time dalam satu tugas.

• Proses migrasi membaca data langsung dari HDFS kluster sumber tanpa berinteraksi dengan layanan HBase, sehingga meminimalkan dampak terhadap layanan online Anda.

• Penyalinan data tingkat file lebih efisien, biasanya mengurangi volume transfer data hingga lebih dari 50% dibandingkan migrasi tingkat API.

• Satu node dapat melakukan migrasi data hingga 150 MB/s. Anda dapat melakukan penskalaan horizontal jumlah node untuk mendukung migrasi stabil data dalam skala terabyte atau petabyte.

• Dilengkapi mekanisme retry error yang andal, pemantauan waktu nyata terhadap kecepatan dan progres tugas, serta peringatan saat terjadi kegagalan tugas.

• Secara otomatis menyinkronkan skema untuk memastikan konsistensi partisi.

Keterbatasan

• Kluster yang mengaktifkan Kerberos tidak didukung.

• Instans ApsaraDB for HBase single-node tidak didukung.

• Instans ApsaraDB for HBase dalam jaringan klasik tidak didukung karena keterbatasan jaringan.

• Sinkronisasi data inkremental diimplementasikan secara asinkron berdasarkan write-ahead logging (WAL) HBase. Data yang diimpor menggunakan BulkLoad atau ditulis tanpa WAL tidak akan disinkronkan oleh Lindorm Tunnel Service (LTS).

Manajemen log untuk sinkronisasi inkremental

• Setelah Anda mengaktifkan sinkronisasi inkremental, jika data tidak dikonsumsi, log akan dipertahankan selama 48 jam secara default. Setelah periode retensi ini berakhir, subscription akan dibatalkan secara otomatis dan data yang disimpan akan dihapus.

• Data mungkin tidak dikonsumsi dalam skenario berikut: kluster Lindorm Tunnel Service (LTS) dirilis sebelum tugas dihentikan, tugas sinkronisasi ditangguhkan, atau tugas diblokir oleh error.

Catatan penggunaan

• Sebelum migrasi, pastikan kluster target memiliki kapasitas HDFS yang cukup untuk mencegah kehabisan penyimpanan selama proses.

• Sebelum memulai tugas sinkronisasi data inkremental, perpanjang periode retensi log pada kluster sumber. Hal ini memberikan waktu tambahan untuk menangani potensi error. Atur parameter hbase.master.logcleaner.ttl dalam hbase-site.xml menjadi lebih dari 12 jam dan restart HMaster.

• Anda tidak perlu membuat tabel di kluster target. Lindorm Tunnel Service (LTS) secara otomatis membuat tabel yang sesuai dengan skema dan informasi partisi kluster sumber. Jika Anda membuat tabel secara manual, partisinya mungkin tidak konsisten dengan tabel sumber, yang dapat menyebabkan split dan compaction berulang setelah migrasi—proses ini memakan waktu lama untuk tabel besar.

• Jika tabel sumber menggunakan coprocessor, pastikan kluster target berisi file JAR coprocessor yang sesuai sebelum membuat tabel target.

Sebelum memulai

1. Verifikasi konektivitas jaringan antara kluster sumber, kluster target, dan Lindorm Tunnel Service (LTS).

2. Tambahkan sumber data HBase dan Lindorm.

3. Login ke Konsol Lindorm Tunnel Service (LTS).

Buat tugas

1. Di panel navigasi sebelah kiri, pilih Lindorm/HBase Migration > Quick Migration.

2. Klik Create Task.

• Task name: Opsional. Nama hanya boleh terdiri dari huruf dan angka. Jika bidang ini dibiarkan kosong, ID tugas akan digunakan sebagai nama.

• Atur Source Cluster dan Target Cluster.

• Pilih operasi yang diperlukan:

  • Table Schema Migration: Membuat tabel di kluster target dengan skema dan informasi partisi yang sama seperti tabel sumber.

  • Real-time Data Replication: Menyinkronkan data inkremental dari kluster sumber secara real-time.

  • Historical Data Migration: Memindahkan semua data yang ada pada tingkat file.

• Table Mapping: Masukkan nama tabel yang akan dimigrasikan, pisahkan dengan baris baru.

• Advanced Configuration: Opsional.

Lihat tugas

1. Di panel navigasi sebelah kiri, pilih Lindorm/HBase Migration > Quick Migration untuk melihat tugas Anda.

Lihat detail tugas

1. Di panel navigasi sebelah kiri, pilih Lindorm/HBase Migration > Quick Migration.

2. Klik nama tugas untuk melihat status eksekusinya.

Switchover

1. Tunggu hingga migrasi data penuh selesai dan latensi sinkronisasi inkremental turun menjadi beberapa detik atau ratusan milidetik.

2. Aktifkan pengambilan sampel dan verifikasi data di Lindorm Tunnel Service (LTS). Untuk tabel besar, gunakan laju pengambilan sampel rendah agar tidak memengaruhi beban kerja online.

3. Validasi aplikasi Anda.

4. Lakukan switchover.