Fitur ini tidak lagi tersedia untuk instans Lindorm Tunnel Service (LTS) yang dibeli setelah 16 Juni 2023. Jika instans LTS Anda dibeli sebelum 16 Juni 2023, Anda masih dapat menggunakan fitur ini.
Gunakan LTS untuk mengekspor snapshot lengkap data HBase Anda ke MaxCompute guna arsip atau analitik skala besar. LTS mendukung dua mode output—mode KV dan mode tabel lebar—sehingga Anda dapat memilih skema yang sesuai dengan beban kerja downstream Anda.
Versi yang didukung
Sumber HBase berikut didukung:
HBase V1.x dan V2.x yang dikelola sendiri
E-MapReduce HBase
ApsaraDB for HBase Standard Edition
ApsaraDB for HBase Performance-enhanced Edition (cluster mode)
ApsaraDB for Lindorm (Lindorm)
Prasyarat
Sebelum memulai, pastikan Anda telah:
Membeli LTS, mengonfigurasi nama pengguna dan kata sandi untuk UI web LTS, serta login. Untuk detailnya, lihat Aktifkan LTS dan login ke UI web LTS.
Menambahkan sumber data HBase
Menambahkan sumber data MaxCompute
Pilih mode ekspor
LTS mendukung dua mode untuk mengekspor data HBase ke MaxCompute. Tinjau perbandingan di bawah sebelum membuat pekerjaan.
| KV mode | Wide table mode | |
|---|---|---|
| Skema output | Satu baris per pasangan key-value (KV) — mencakup rowkey, versi, jenis operasi, column family, qualifier, dan nilai | Satu baris per baris HBase — setiap kolom yang ditentukan menjadi kolom MaxCompute |
| Pemilihan kolom | Tidak diperlukan | Diperlukan — tentukan kolom secara eksplisit |
| Kontrol tipe data | Nilai diekspor sebagai HexString | Tentukan tipe per kolom (string, int, long, short, decimal, double, float, boolean); default-nya HexString |
| Paling cocok untuk | Mempertahankan riwayat mutasi lengkap, kasus penggunaan bergaya CDC | Analitik terstruktur di mana setiap kolom dipetakan ke tipe yang diketahui |
Buat pekerjaan ekspor
Di UI web LTS, buka Data Export > Archive Full Data to MaxCompute di panel navigasi sebelah kiri.
Di halaman Lindorm/HBase archive to MaxCompute, klik create new job.
Pilih kluster sumber dan kluster tujuan, masukkan tabel yang akan dimigrasikan, lalu klik Create.
Klik nama pekerjaan untuk memantau progres migrasi.
Setelah pekerjaan selesai, login ke konsol MaxCompute untuk melakukan kueri terhadap data yang diekspor.
Konfigurasi parameter ekspor
Pekerjaan menerima parameter dalam bentuk objek JSON setelah pemetaan tabel. Sintaks dasarnya adalah:
<hbaseTable>[/<odpsTable>] <json-parameters><hbaseTable>: nama tabel HBase sumber.<odpsTable>(opsional): nama tabel MaxCompute tujuan. Jika tidak ditentukan, nama default mengikuti nama tabel HBase dengan tanda hubung (-) dan titik (.) diganti menjadi garis bawah (_).
KV mode
tablexxx {"tableMode": "KVTable"}Setiap baris yang diekspor merepresentasikan satu pasangan KV di HBase. Tabel MaxCompute berisi kolom-kolom berikut:
| Kolom | Deskripsi |
|---|---|
rowkey | Rowkey dari pasangan KV |
version | Versi dari pasangan KV |
op | Jenis operasi. Nilai yang valid: Put, DeleteFamily, DeleteColumn |
family | Column family |
qualifier | Nama kolom |
value | Nilai, dikonversi ke format HexString |
Wide table mode
hbaseTable/odpsTable {"tableMode": "wideTable", "cols":["cf1:string|string", "cf1:int|int", "cf1:double|double"]}Tentukan kolom yang akan diekspor dalam larik cols. Setiap entri menggunakan format <family>:<qualifier> atau <family>:<qualifier>|<type>. Jika Anda menghilangkan tipe, nilai diekspor sebagai HexString secara default.
Tipe yang didukung: string, int, long, short, decimal, double, float, boolean
Contoh:
Ekspor kolom dengan encoding HexString default:
hbaseTable/odpsTable {"tableMode": "wideTable", "cols":["f1:a", "f1:b", "f1:c"]}Ekspor kolom dengan konversi tipe eksplisit:
hbaseTable/odpsTable {"tableMode": "wideTable", "cols":["f1:a|string", "f1:b|boolean"]}Skema respons:
Filter berdasarkan rentang rowkey atau rentang waktu
Tambahkan startKey, endKey, startTs, atau endTs ke parameter pekerjaan apa pun untuk membatasi data yang diekspor. Mode KV dan mode tabel lebar sama-sama mendukung filter ini.
table1 {"startKey": "xxx", "endKey": "zzz", "startTs": "20191001153000", "endTs": "20191001233000"}| Parameter | Deskripsi | Format |
|---|---|---|
startKey | Awal rentang rowkey | String |
endKey | Akhir rentang rowkey | String |
startTs | Awal rentang waktu | yyyyMMddHHmmss |
endTs | Akhir rentang waktu | yyyyMMddHHmmss |
Contoh lengkap dengan semua filter diterapkan dalam mode tabel lebar:
hbaseTable/odpsTable {"tableMode": "wideTable", "cols":["f1:a|string", "f1:b|boolean"], "startTs": "20190101000000", "endTs": "20200101000000", "startKey": "a", "endKey": "z"}Ekspor ke tabel MaxCompute dengan nama berbeda
Secara default, nama tabel MaxCompute mengikuti nama tabel HBase, dengan tanda hubung (-) dan titik (.) diganti menjadi garis bawah (_). Untuk menggunakan nama berbeda, tentukan odpsTable secara eksplisit:
hbaseTable/odpsTable {"tableMode": "KVTable"}Ganti hbaseTable dengan nama tabel HBase sumber dan odpsTable dengan nama tabel MaxCompute tujuan.