Ekspor data lengkap ke MaxCompute - Lindorm

Topik ini menjelaskan cara mengekspor data lengkap dari HBase ke MaxCompute.

Catatan penggunaan

Fitur ini tidak lagi tersedia untuk instance LTS yang dibeli setelah 16 Juni 2023. Jika instance LTS Anda dibeli sebelum 16 Juni 2023, Anda masih dapat menggunakannya.

Prasyarat

Layanan Lindorm Tunnel Service (LTS) telah dibeli. Nama pengguna dan kata sandi untuk masuk ke antarmuka web LTS telah dikonfigurasi, dan Anda sudah masuk ke antarmuka tersebut. Untuk informasi lebih lanjut, lihat Aktifkan LTS dan Masuk ke Antarmuka Web LTS.
Sumber data HBase telah ditambahkan.
Sumber data MaxCompute telah ditambahkan.

Fitur

Mengekspor data lengkap dari HBase ke MaxCompute.
Menentukan rowkey, rentang waktu, dan kolom.

Versi yang didukung

HBase Mandiri V1.x dan V2.x
E-MapReduce HBase
ApsaraDB for HBase Edisi Standar, ApsaraDB for HBase Edisi Performa-ditingkatkan yang beroperasi dalam Mode kluster, dan ApsaraDB for Lindorm (Lindorm)

Buat tugas

Masuk ke antarmuka web LTS. Di panel navigasi di sebelah kiri, pilih Ekspor Data > Arsipkan Data Lengkap ke MaxCompute.
Di halaman Arsip Lindorm/HBase ke MaxCompute, klik Buat Pekerjaan Baru.
Pilih kluster sumber dan kluster tujuan, masukkan tabel yang akan dimigrasikan, lalu klik Buat.
Klik nama tugas untuk melihat kemajuan migrasi.
Setelah migrasi selesai, masuk ke konsol MaxCompute untuk memeriksa data.

Parameter

hbaseTable/odpsTable {"tableMode": "wideTable", "cols":["f1:a", "f1:b", "f1:c"]}
hbaseTable/odpsTable {"tableMode": "wideTable", "cols":["f1:a|string", "f1:b|boolean"]}
hbaseTable/odpsTable {"tableMode": "wideTable", "cols":["f1:a|string", "f1:b|boolean"], "startTs": "20190101000000", "endTs": "20200101000000", "startKey": "a", "endKey": "z"}
hbaseTable/odpsTable {"tableMode": "KVTable"}

Anda dapat menggunakan mode key-value (KV) atau wide table untuk mengekspor data HBase ke MaxCompute.

Mode KV

Parameter input: tablexxx {"tableMode": "KVTable"}

Respons: MaxCompute

Catatan

Setiap baris menunjukkan pasangan KV di HBase.
rowkey: rowkey dari pasangan KV di tabel HBase.
version: versi dari pasangan KV.
op: jenis pasangan KV. Nilai valid: Put, DeleteFamily, dan DeleteColumn.
family: keluarga kolom.
qualifier: nama kolom.
value: nilai dari pasangan KV. Nilai tersebut dikonversi ke format HexString.

Mode tabel lebar

Parameter input: hbaseTable/odpsTable {"tableMode": "wideTable", "cols":["cf1:string|string", "cf1:int|int", "cf1:double|double"]}

Catatan

Dalam mode tabel lebar, Anda harus menentukan kolom yang akan diekspor. Sebagai contoh, Anda dapat menggunakan "cols":["f1:a", "f1:b", "f1:c"]. Secara default, nilai kolom dikonversi ke format HexString. Anda dapat menentukan tipe data kolom. Sebagai contoh, Anda dapat menggunakan "cols":["f1:a|string", "f1:b|boolean", "f1:c|int"]. Kolom mendukung tipe data berikut: string, int, long, short, decimal, double, float, dan boolean. Tipe data default adalah hex, yang menunjukkan bahwa larik byte dikonversi ke format HexString.

Respons:

Tentukan rentang data yang akan diekspor

Parameter input: table1 {"startKey": "xxx", "endKey": "zzz", "startTs": "20191001153000", "endTs": "20191001233000"}

Saat mengekspor data dari HBase ke MaxCompute dalam mode KV atau mode tabel lebar, Anda dapat menggunakan parameter startKey dan endKey untuk menentukan rentang rowkey. Anda juga dapat menggunakan parameter startTs dan endTs untuk menentukan rentang waktu.

Tentukan tabel MaxCompute untuk data yang diekspor

Anda dapat mengekspor data ke tabel MaxCompute yang namanya berbeda dari nama tabel HBase sumber. Secara default, nama tabel MaxCompute sama dengan nama tabel HBase. Tanda hubung (-) dan titik (.) dalam nama tabel HBase diganti dengan garis bawah (_). Sebagai contoh, Anda dapat menggunakan hbaseTable/odpsTable {"tableMode": "KVTable"} untuk mengekspor data.