Ekspor data lengkap ke MaxCompute - ApsaraDB for HBase

Tema ini menjelaskan cara mengekspor data lengkap dari HBase ke MaxCompute.

Catatan penggunaan

Fitur ini tidak lagi tersedia untuk instance Lindorm Tunnel Service (LTS) yang dibeli setelah 16 Juni 2023. Jika instance LTS Anda dibeli sebelum tanggal tersebut, Anda masih dapat menggunakannya.

Prasyarat

LTS telah diaktifkan. Nama pengguna dan kata sandi untuk masuk ke antarmuka web LTS telah dikonfigurasi, dan Anda telah berhasil masuk.
Sumber data HBase telah ditambahkan.
Sumber data MaxCompute telah ditambahkan.

Fitur

Mengekspor data lengkap dari HBase ke MaxCompute.
Menentukan rowkey, rentang waktu, dan kolom.

Versi yang didukung

HBase Mandiri V1.x dan HBase V2.x.
Elastic MapReduce (EMR) HBase.
ApsaraDB for HBase Edisi Standar, ApsaraDB for HBase Edisi Performa-ditingkatkan dalam mode kluster, dan Lindorm.

Buat tugas

Masuk ke antarmuka web LTS. Di panel navigasi kiri, pilih Ekspor Data > Arsipkan Data Lengkap ke MaxCompute.
Di halaman Arsip Lindorm/HBase ke MaxCompute, klik bikin pekerjaan baru.
Pilih cluster sumber dan cluster tujuan, tentukan tabel yang ingin dimigrasikan, lalu klik bikin.
Klik nama tugas untuk melihat kemajuan migrasi.
Setelah migrasi selesai, masuk ke konsol MaxCompute untuk memeriksa data.

Parameter

hbaseTable/odpsTable {"tableMode": "wideTable", "cols":["f1:a", "f1:b", "f1:c"]}
hbaseTable/odpsTable {"tableMode": "wideTable", "cols":["f1:a|string", "f1:b|boolean"]}
hbaseTable/odpsTable {"tableMode": "wideTable", "cols":["f1:a|string", "f1:b|boolean"], "startTs": "20190101000000", "endTs": "20200101000000", "startKey": "a", "endKey": "z"}
hbaseTable/odpsTable {"tableMode": "KVTable"}

Anda dapat menggunakan mode key-value (KV) atau wide table untuk mengekspor data HBase ke MaxCompute.

Mode KV

Parameter input: tablexxx {"tableMode": "KVTable"}

Respon MaxCompute

Catatan

Setiap baris menunjukkan pasangan KV di HBase.
rowkey: rowkey dari pasangan KV dalam tabel HBase.
versi: versi dari pasangan KV.
op: jenis pasangan KV. Nilai valid: Put, DeleteFamily, dan DeleteColumn.
family: keluarga kolom.
qualifier: nama kolom.
value: nilai dari pasangan KV. Nilai tersebut dikonversi ke format HexString.

Mode wide table

Parameter input: hbaseTable/odpsTable {"tableMode": "wideTable", "cols":["cf1:string|string", "cf1:int|int", "cf1:double|double"]}

Catatan

Dalam mode wide table, Anda harus menentukan kolom yang ingin diekspor. Sebagai contoh, Anda dapat menggunakan "cols":["f1:a", "f1:b", "f1:c"]. Secara default, nilai kolom dikonversi ke format HexString. Anda dapat menentukan tipe data kolom, seperti "cols":["f1:a|string", "f1:b|boolean", "f1:c|int"]. Kolom mendukung tipe data berikut: string, int, long, short, decimal, double, float, dan boolean. Tipe data default adalah hex, yang menunjukkan bahwa larik byte dikonversi ke format HexString.

Respon

Tentukan rentang data yang akan diekspor

Parameter input: table1 {"startKey": "xxx", "endKey": "zzz", "startTs": "20191001153000", "endTs": "20191001233000"}

Saat mengekspor data dari HBase ke MaxCompute dalam mode KV atau wide table, Anda dapat menggunakan parameter startKey dan endKey untuk menentukan rentang rowkey. Anda juga dapat menggunakan parameter startTs dan endTs untuk menentukan rentang waktu.

Tentukan tabel MaxCompute untuk data yang diekspor

Anda dapat mengekspor data ke tabel MaxCompute dengan nama yang berbeda dari nama tabel HBase sumber. Secara default, nama tabel MaxCompute sama dengan nama tabel HBase. Tanda hubung (-) dan titik (.) dalam nama tabel HBase diganti dengan garis bawah (_). Sebagai contoh, Anda dapat menggunakan hbaseTable/odpsTable {"tableMode": "KVTable"} untuk mengekspor data.