Lindorm Tunnel Service (LTS) menyediakan fitur sinkronisasi data yang memungkinkan Anda menyinkronkan data penuh dan data inkremental. Topik ini menjelaskan skenario, fitur, manfaat, dan batasan dari fitur ini, serta operasi terkait seperti membuat tugas sinkronisasi data.
Skema
Peningkatan versi utama. Contohnya, tingkatkan versi utama kluster ApsaraDB for HBase Anda dari V1.x ke V2.x.
Migrasi data lintas wilayah. Contohnya, migrasikan data dari pusat data di wilayah China (Qingdao) ke pusat data di wilayah China (Beijing).
Migrasi lintas akun. Contohnya, migrasikan data di antara akun yang berbeda.
Peningkatan spesifikasi kluster. Contohnya, tingkatkan spesifikasi kluster dari 4 core dan 8 GB memori menjadi 8 core dan 16 GB memori.
Pemisahan beban kerja. Contohnya, migrasikan sebagian beban kerja ke kluster baru.
Fitur
Fitur ini memungkinkan Anda memigrasi data tanpa waktu henti layanan di antara dua dari versi berikut: HBase 094, HBase 098, HBase V1.x, HBase V2.x, dan Lindorm.
Fitur ini mendukung migrasi skema tabel, sinkronisasi data secara real-time, dan migrasi data penuh.
Fitur ini memungkinkan Anda memigrasi data berdasarkan basis data, namespace, dan tabel.
Fitur ini memungkinkan Anda mengganti nama tabel saat memigrasi data dalam tabel tersebut.
Fitur ini memungkinkan Anda menentukan rentang waktu, rentang kunci baris, dan kolom saat memigrasi data.
API disediakan. Anda dapat memanggil Operasi API untuk membuat tugas migrasi.
Manfaat
Selama proses migrasi data, tidak ada waktu henti layanan yang terjadi. Dalam satu tugas, LTS dapat memigrasi data historis dan menyinkronkan data inkremental secara real-time.
Selama proses migrasi data, LTS tidak berinteraksi dengan kluster HBase sumber. LTS hanya membaca data dari Hadoop Distributed File System (HDFS) kluster sumber, sehingga meminimalkan dampak pada bisnis online yang berjalan di kluster sumber.
Dalam banyak kasus, dibandingkan dengan migrasi data di lapisan API, replikasi data di lapisan file membantu mengurangi lebih dari 50% Penggunaan data dan meningkatkan efisiensi.
Setiap node dapat memigrasi data dengan laju hingga 150 MB/s untuk memenuhi persyaratan stabilitas untuk migrasi data. Anda dapat menambahkan node untuk penskalaan horizontal guna memigrasi data terabyte atau petabyte.
LTS menerapkan mekanisme ulang yang kuat untuk merespons kesalahan. LTS memantau kecepatan tugas dan kemajuan tugas secara real-time, serta menghasilkan peringatan ketika tugas gagal.
LTS secara otomatis menyinkronkan skema untuk memastikan partisi yang konsisten.
Batasan
Kluster ApsaraDB for HBase dengan Kerberos diaktifkan tidak didukung.
Kluster ApsaraDB for HBase dengan satu node tidak didukung.
Kluster ApsaraDB for HBase yang diterapkan di jaringan klasik tidak didukung karena masalah jaringan.
Mode asinkron digunakan untuk menyinkronkan data inkremental berdasarkan write-ahead logging (WAL). Data yang diimpor melalui BulkLoad dan data yang tidak ditulis ke WAL tidak disinkronkan.
Manajemen log dalam sinkronisasi inkremental
Jika data log tidak dikonsumsi setelah Anda mengaktifkan fitur sinkronisasi inkremental, data log akan disimpan selama 48 jam secara default. Setelah periode tersebut berakhir, langganan secara otomatis dibatalkan dan data yang tersimpan secara otomatis dihapus.
Data log mungkin gagal dikonsumsi dalam skenario berikut: Kluster LTS Anda dilepaskan sementara tugas masih berjalan, tugas sinkronisasi ditangguhkan, atau tugas diblokir secara abnormal.
Tindakan pencegahan
Sebelum memigrasi data, pastikan kapasitas HDFS kluster tujuan mencukupi untuk mencegah kehabisan kapasitas selama migrasi.
Sebelum mengirimkan tugas sinkronisasi inkremental, kami sarankan Anda memodifikasi periode retensi log untuk kluster sumber. Berikan waktu bagi LTS untuk menangani kesalahan sinkronisasi inkremental. Contohnya, ubah pengaturan hbase.master.logcleaner.ttl dari hbase-site.xml menjadi nilai lebih besar dari 12 jam dan mulai ulang HBase Master.
Anda tidak perlu membuat tabel secara manual di kluster tujuan. LTS secara otomatis membuat tabel dengan cara yang sama seperti di kluster sumber. Tabel yang dibuat secara otomatis di kluster tujuan dipartisi dengan cara yang sama seperti tabel di kluster sumber. Skema partisi tabel yang dibuat secara manual mungkin berbeda dari tabel sumber, sehingga tabel yang dibuat secara manual mungkin sering dibagi atau dikompresi setelah proses migrasi selesai. Jika tabel menyimpan sejumlah besar data, seluruh proses bisa memakan waktu lama.
Jika tabel sumber memiliki coprocessor, pastikan kluster tujuan berisi paket JAR yang sesuai dari coprocessor saat membuat tabel tujuan.
Sebelum Anda mulai
Periksa konektivitas jaringan di antara kluster sumber, kluster tujuan, dan LTS.
Tambahkan sumber data HBase dan Lindorm.
Masuk ke antarmuka web LTS.
Buat tugas
Di panel navigasi di sebelah kiri, pilih Migration > Quick Migration.
Konfigurasikan parameter dan klik create untuk membuat tugas.
Di bidang job name, masukkan nama tugas. Nama tugas hanya dapat berisi huruf dan angka. Bidang ini dapat dibiarkan kosong. Secara default, ID tugas digunakan sebagai nama tugas.
Konfigurasikan parameter Source Cluster dan Target Cluster berdasarkan instruksi di layar.
Pilih operasi berdasarkan kebutuhan Anda.
migration table schema: membuat tabel di kluster tujuan. Tabel-tabel ini memiliki skema dan informasi partisi yang sama dengan tabel sumber. Jika sebuah tabel sudah ada di kluster tujuan, data di tabel ini tidak dimigrasi.
real time data replication: menyinkronkan data inkremental secara real-time dari kluster sumber.
history data migration: memigrasi semua file secara fisik pada level file.
Di bidang table mapping, masukkan nama tabel. Setiap nama tabel menempati satu baris.
Bidang advance configuration dapat dibiarkan kosong.
Lihat tugas
Di panel navigasi di sebelah kiri, pilih Migration > Quick Migration untuk melihat tugas yang telah Anda buat.
Lihat detail tugas
Di panel navigasi di sebelah kiri, pilih Migration > Quick Migration.
Di halaman yang muncul, klik nama tugas yang ingin Anda lihat. Lihat status eksekusi tugas.
Lakukan switchover
Tunggu hingga tugas migrasi penuh selesai dan latensi sinkronisasi inkremental menjadi serendah beberapa detik atau ratusan milidetik.
Aktifkan pengambilan sampel dan verifikasi data LTS. Saat mengambil sampel dan memverifikasi tabel besar, pastikan rasio pengambilan sampel sesuai untuk mencegah bisnis online terpengaruh.
Verifikasi bisnis Anda.
Lakukan switchover pada bisnis Anda.