Lindorm:Arsipkan data inkremental ke MaxCompute

Versi yang didukung

Batasan

• Data yang diarsipkan melalui LTS didasarkan pada log HBase. Data yang diimpor menggunakan bulk loading tidak dapat diekspor.

Siklus hidup data log

• Jika data log tidak dikonsumsi setelah Anda mengaktifkan fitur pengarsipan, LTS menyimpan data tersebut selama 48 jam secara default. Setelah 48 jam, subscription secara otomatis dibatalkan dan data yang disimpan akan dihapus secara otomatis.

• Data log mungkin gagal dikonsumsi jika kluster LTS Anda dirilis saat sebuah task sedang berjalan atau jika task sinkronisasi ditangguhkan.

Prasyarat

Sebelum memulai, pastikan Anda telah:

• LTS diaktifkan

• Menambahkan sumber data HBase

• Sumber data MaxCompute telah ditambahkan.

Arsipkan data inkremental

1. Login ke UI web LTS. Di panel navigasi sebelah kiri, pilih Data Export > Incremental Archive to MaxCompute.

   

2. Klik create new job. Pilih kluster HBase sumber dan paket resource MaxCompute tujuan, lalu tentukan tabel HBase yang akan diekspor.

   

   Contoh berikut mengarsipkan data dari tabel HBase wal-test ke MaxCompute secara real-time:

   • Kolom yang diarsipkan: cf1:a, cf1:b, cf1:c, cf1:d

   • mergeInterval: diatur ke 86400000 (nilai default), sehingga data diarsipkan sekali per hari

   • mergeStartAt: diatur ke 20190930000000, menentukan waktu mulai 30 September 2019 pukul 00:00. Anda dapat menentukan titik waktu di masa lalu.

3. Monitor progres pengarsipan. Bagian Real-time Synchronization Channel menampilkan latensi dan start offset dari task sinkronisasi log. Bagian Table Merge menampilkan task penggabungan tabel. Setelah penggabungan selesai, tabel terpartisi baru dapat dikueri di MaxCompute.

4. Kueri data di MaxCompute.

   

Parameter

Setiap baris dalam konfigurasi job menentukan satu ekspor tabel menggunakan format berikut:

<hbaseTable>[/<odpsTable>] <tbConf>

• <hbaseTable>: Nama tabel HBase sumber.

• <odpsTable>: Nama tabel MaxCompute tujuan (opsional). Secara default menggunakan nama yang sama dengan tabel HBase. Tanda hubung (-) dalam nama tabel HBase diubah menjadi garis bawah (_) di MaxCompute.

• <tbConf>: Objek JSON yang berisi konfigurasi pengarsipan untuk tabel tersebut.

Contoh:

hbaseTable/odpsTable {"cols": ["cf1:a|string", "cf1:b|int", "cf1:c|long", "cf1:d|short", "cf1:e|decimal", "cf1:f|double", "cf1:g|float", "cf1:h|boolean", "cf1:i"], "mergeInterval": 86400000, "mergeStartAt": "20191008100547"}
hbaseTable/odpsTable {"cols": ["cf1:a", "cf1:b", "cf1:c"], "mergeStartAt": "20191008000000"}
hbaseTable {"mergeEnabled": false}

Objek tbConf mendukung parameter berikut: