全部产品
Search

搜索本产品

    Lindorm：Migrasi dan sinkronisasi data dari kluster HBase ke Lindorm

    文档中心

    Lindorm：Migrasi dan sinkronisasi data dari kluster HBase ke Lindorm

    更新时间：Jul 02, 2025

    Gunakan Lindorm Tunnel Service (LTS) untuk memigrasikan data yang ada dan menyinkronkan data secara real-time dari kluster HBase yang dikelola sendiri atau ApsaraDB for HBase ke LindormTable. Topik ini menjelaskan cara memigrasikan dan menyinkronkan data dari kluster HBase.

    Skenario

    • Migrasi data dari kluster HBase yang dikelola sendiri ke Lindorm.

    • Migrasi data lintas wilayah. Sebagai contoh, Anda dapat memigrasikan data dari pusat data di wilayah China (Qingdao) ke pusat data di wilayah China (Beijing).

    • Distribusi beban kerja. Sebagai contoh, Anda dapat memigrasikan sebagian bisnis Anda ke kluster baru.

    Fitur dan manfaat

    Fitur yang didukung

    • Data dapat dimigrasikan dari kluster HBase V1.x dan V2.x ke Lindorm tanpa gangguan pada bisnis.

    • Mendukung migrasi skema tabel, sinkronisasi data real-time, dan migrasi data penuh.

    • Mendukung migrasi berdasarkan database, namespace, dan tabel.

    • Mendukung penggantian nama tabel selama migrasi.

    • Rentang waktu, rentang kunci baris, dan kolom dapat ditentukan selama migrasi.

    • Operasi API didukung untuk membuat tugas migrasi.

    Manfaat

    • Bisnis tidak terganggu selama migrasi. Baik data historis maupun data tambahan real-time dapat dimigrasikan dalam satu tugas migrasi.

    • Selama migrasi, kluster HBase tujuan yang dikelola sendiri tidak berinteraksi dengan kluster HBase sumber. Kluster tujuan hanya membaca data dari HDFS kluster sumber, meminimalkan dampak pada bisnis online yang berjalan di kluster sumber.

    • Dibandingkan dengan migrasi data di lapisan API, replikasi data di lapisan file membantu mengurangi lebih dari 50% penggunaan data dan meningkatkan efisiensi.

    • Setiap node dapat memigrasikan data dengan laju hingga 150 MB/s untuk memenuhi persyaratan stabilitas migrasi data. Anda dapat menambahkan node untuk penskalaan horizontal guna memigrasikan data dalam ukuran terabyte atau petabyte.

    • LTS menerapkan mekanisme ulang yang kuat untuk merespons kesalahan. LTS memantau kecepatan dan kemajuan tugas secara real-time serta menghasilkan peringatan ketika tugas gagal.

    • LTS secara otomatis menyinkronkan skema untuk memastikan konsistensi antar partisi.

    Batasan

    • Data tidak dapat dimigrasikan ke kluster HBase yang dikelola sendiri.

    • Kluster HBase dengan Kerberos diaktifkan tidak didukung.

    • Kluster ApsaraDB for HBase dengan satu node tidak didukung.

    • Kluster ApsaraDB for HBase yang diterapkan di jaringan klasik tidak didukung karena masalah kompatibilitas jaringan.

    • Data tidak dapat dimigrasikan atau disinkronkan ke instance mandiri Lindorm.

    • LTS menerapkan mode asinkron untuk menyinkronkan data tambahan berdasarkan write-ahead logging (WAL). Data yang diimpor menggunakan bulk loading dan data yang tidak ditulis ke file WAL tidak disinkronkan.

    • Indeks pencarian tidak dapat dimigrasikan.

    Catatan penggunaan

    • Sebelum memigrasikan data, pastikan kapasitas HDFS kluster tujuan mencukupi untuk mencegah data menghabiskan kapasitas selama migrasi.

    • Sebelum mengirimkan tugas sinkronisasi tambahan, kami sarankan menetapkan periode retensi log untuk kluster sumber lebih dari 12 jam untuk memberi waktu bagi LTS menangani kesalahan sinkronisasi tambahan. Modifikasi nilai parameter hbase.master.logcleaner.ttl di file konfigurasi hbase-site.xml untuk menetapkan periode retensi log. Setelah modifikasi, mulai ulang kluster sumber. Satuan parameter hbase.master.logcleaner.ttl adalah ms. Contohnya, jika parameter hbase.master.logcleaner.ttl diatur menjadi 43200000, periode retensi log yang ditentukan adalah 12 jam.

    • Tidak perlu membuat tabel secara manual di kluster tujuan. LTS akan secara otomatis membuat tabel dan region sesuai dengan kluster sumber. Skema partisi tabel yang dibuat secara manual mungkin berbeda dari tabel sumber, yang dapat menyebabkan tabel sering terpecah atau dikompres setelah proses migrasi selesai. Jika tabel menyimpan sejumlah besar data, proses ini mungkin memakan waktu lama.

    • Jika tabel sumber memiliki coprocessor, pastikan kluster tujuan berisi file JAR yang sesuai dari coprocessor saat membuat tabel tujuan.

    • Jika data log tidak dikonsumsi setelah mengaktifkan fitur sinkronisasi tambahan, data log dipertahankan selama 48 jam secara default. Setelah periode tersebut berakhir, langganan secara otomatis dibatalkan dan data yang tersimpan secara otomatis dihapus.

    Prasyarat

    Buat tugas

    1. Masuk ke LTS. Untuk informasi lebih lanjut, lihat Masuk ke Antarmuka Web LTS.

    2. Di panel navigasi di sebelah kiri, pilih Migration > Quick Migration.

    3. Konfigurasikan parameter lalu klik create.

    4. Di bidang job name(optional), masukkan nama tugas. Nama tugas hanya dapat berisi huruf dan angka. Anda dapat tidak menentukan nama tugas; dalam hal ini, ID tugas digunakan sebagai nama tugas.

    5. Konfigurasikan parameter Source Cluster dan Target Cluster sesuai petunjuk.

    6. Pilih operasi yang ingin Anda lakukan.

      • migration table schema: Membuat tabel di kluster tujuan. Tabel-tabel ini memiliki skema dan informasi partisi yang sama dengan tabel sumber. Jika sebuah tabel sudah ada di kluster tujuan, data di tabel ini tidak dimigrasikan.

      • real time data replication: Menyinkronkan data tambahan dari kluster sumber secara real-time.

      • history data migration: Memigrasikan semua file secara fisik.

    7. Masukkan informasi yang diperlukan di bidang table mapping dan advance configuration. Bidang advance configuration dapat dibiarkan tidak ditentukan.

    8. Klik create.

    Lihat detail tugas

    1. Di panel navigasi di sebelah kiri, pilih Migration > Quick Migration untuk melihat tugas yang Anda buat.

    2. Di halaman yang muncul, klik nama tugas yang ingin Anda lihat. Di halaman yang muncul, lihat status eksekusi tugas.

    Lakukan pergantian

    1. Tunggu hingga tugas migrasi penuh selesai. Latensi sinkronisasi tambahan serendah beberapa detik atau ratusan milidetik.

    2. Aktifkan pengambilan sampel dan verifikasi data LTS. Saat mengambil sampel dan memverifikasi tabel besar, pastikan rasio pengambilan sampel sesuai untuk mencegah bisnis online terpengaruh.

    3. Verifikasi bisnis Anda.

    4. Lakukan pergantian pada bisnis Anda.

    FAQ

    Mengapa data dalam tugas gagal dikonsumsi?

    Kluster LTS dilepaskan sementara tugas masih berjalan, tugas sinkronisasi ditangguhkan, atau tugas diblokir secara abnormal.

    Apa yang harus saya lakukan jika tugas migrasi data gagal?

    Tugas migrasi data mungkin gagal karena faktor-faktor seperti koneksi jaringan yang tidak stabil atau konflik layanan. LTS dilengkapi dengan mekanisme ulang, yang memungkinkan sistem secara otomatis mencoba ulang tugas setelah kegagalan. Jika masalah tetap ada, hubungi dukungan teknis Lindorm (ID DingTalk: s0s3eg3).