Menyimpan dan membuka kembali data dalam mode SDK - E-MapReduce

JindoTable memungkinkan Anda menjalankan perintah archiveTable dan unarchiveTable dalam mode SDK untuk menyimpan dan membuka kembali data di Object Storage Service (OSS). Perintah ini tidak bergantung pada komponen Jindo Namespace Service dari SmartData. Topik ini menjelaskan cara menggunakan perintah archiveTable dan unarchiveTable.

Prasyarat

Sebuah kluster E-MapReduce (EMR) telah dibuat. Untuk informasi lebih lanjut, lihat Buat Kluster.
Tabel partisi atau tabel non-partisi yang ingin disimpan harus berada di OSS. Hanya data tabel yang dapat disimpan.

Informasi latar belakang

Anda dapat menggunakan perintah arsip dan buka arsip asli JindoTable untuk menyimpan atau membuka kembali tabel atau partisi di OSS. Namun, perintah tersebut bergantung pada komponen Jindo Namespace Service dari SmartData. Perintah baru archiveTable dan unarchiveTable tidak bergantung pada komponen Jindo Namespace Service.

Perintah archiveTable dan unarchiveTable memiliki keunggulan berikut dibandingkan dengan perintah arsip dan buka arsip:

Anda dapat menjalankan perintah archiveTable dan unarchiveTable meskipun layanan SmartData tidak diterapkan di kluster Anda. Sebagai contoh, Anda dapat menjalankan perintah tersebut pada kluster yang dikelola sendiri.
Anda dapat mengonfigurasi parameter filter dalam perintah archiveTable atau unarchiveTable untuk menyimpan atau membuka kembali sejumlah besar partisi di beberapa thread secara bersamaan. Jika multithreading lokal tidak memenuhi persyaratan bisnis Anda, Anda dapat menjalankan tugas MapReduce di seluruh kluster untuk menyimpan atau membuka kembali data.

Untuk informasi lebih lanjut tentang perintah arsip dan buka arsip asli, lihat Gunakan JindoTable.

Batasan

Perintah archiveTable dan unarchiveTable hanya didukung di EMR V3.36.0 dan versi minor terbaru, serta EMR V5.2.0 dan versi minor terbaru.

archiveTable

Anda dapat menggunakan perintah archiveTable untuk menyimpan tabel atau partisi di OSS.

Masuk ke kluster Anda dalam mode SSH. Untuk informasi lebih lanjut, lihat Masuk ke Kluster.

Jalankan perintah berikut untuk mendapatkan informasi bantuan:

jindo table -help archiveTable

Sintaks archiveTable:

-archiveTable -t <dbName.tableName> \
-i/-a/-ca \
[-c "<kondisi>" | -fullTable] \
[-b/-before <jumlah hari sebelumnya>] \
[-p/-parallel <paralelisme>] \
[-mr/-mapReduce] \
[-e/-explain] \
[-w/-workingDir <direktori kerja>] \
[-l/-logDir <direktori log>]

Parameter	Deskripsi	Diperlukan
-t <dbName.tableName>	Nama tabel yang ingin Anda simpan. Anda harus mengonfigurasi parameter ini dalam format `Nama basis data.Nama tabel`. Pisahkan nama basis data dan nama tabel dengan titik (.). Tabel bisa berupa tabel partisi atau tabel non-partisi.	Ya
-i/-a/-ca	Kelas penyimpanan tempat Anda ingin menyimpan data. Anda dapat menggunakan salah satu opsi berikut untuk menentukan kelas penyimpanan: -i: Akses Jarang (IA) -a: Arsip -ca: Penyimpanan Arsip Dingin Jika Anda menggunakan opsi -i dalam perintah, file-file yang kelas penyimpanannya adalah Arsip atau Penyimpanan Arsip Dingin dilewati. Jika Anda menggunakan opsi -a dalam perintah, file-file yang kelas penyimpanannya adalah Penyimpanan Arsip Dingin dilewati.	Ya
-c "<kondisi>" \| -fullTable	Anda harus menentukan antara `-fullTable` atau `-c "<kondisi>"`. Jika Anda menentukan `-fullTable`, seluruh tabel partisi atau non-partisi disimpan. Jika Anda menentukan `-c "<kondisi>"`, hanya partisi yang memenuhi kondisi filter yang disimpan. Operator umum, seperti tanda lebih besar (>), didukung. Sebagai contoh, jika kolom kunci partisi adalah kolom ds yang bertipe data String dan Anda ingin menyimpan partisi yang namanya lebih besar dari 'd', gunakan `-c " ds > 'd' "`.	Ya
-b/before <jumlah hari sebelumnya>	Hanya tabel atau partisi yang dibuat setidaknya jumlah hari tertentu yang lalu yang dapat disimpan.	Tidak
-p/-parallel <paralelisme>	Paralelisme operasi penyimpanan.	Tidak
-mr/-mapReduce	Hadoop MapReduce digunakan alih-alih multithreading lokal untuk menyimpan data.	Tidak
-e/-explain	Mode explain digunakan. Dalam mode explain, daftar partisi yang akan disimpan ditampilkan, tetapi tidak ada data yang disimpan.	Tidak
-w/-workingDir	Direktori kerja pekerjaan MapReduce. Opsi ini hanya digunakan ketika Anda menggunakan pekerjaan MapReduce untuk menyimpan data. Anda harus memiliki izin baca dan tulis pada direktori tersebut. Direktori tersebut bisa kosong atau tidak. File sementara dibuat saat Anda menjalankan pekerjaan MapReduce dan secara otomatis dihapus setelah pekerjaan selesai.	Tidak
-l/-logDir <direktori log>	Direktori tempat file log disimpan.	Tidak

unarchiveTable

Sintaks perintah unarchiveTable mirip dengan sintaks perintah archiveTable. Anda dapat menggunakan perintah unarchiveTable untuk membuka kembali tabel atau partisi di OSS.

Masuk ke kluster Anda dalam mode SSH. Untuk informasi lebih lanjut, lihat Masuk ke Kluster.

Jalankan perintah berikut untuk mendapatkan informasi bantuan:

jindo table -help unarchiveTable

Sintaks unarchiveTable:

-archiveTable -t <dbName.tableName> \
-i/-a/-o/-cr \
[-notWait] \
[-c "<kondisi>" | -fullTable] \
[-b/-before <jumlah hari sebelumnya>] \
[-p/-parallel <paralelisme>] \
[-mr/-mapReduce] \
[-e/-explain] \
[-w/-workingDir <direktori kerja>] \
[-l/-logDir <direktori log>]

Parameter perintah unarchiveTable berbeda dari parameter perintah archiveTable dalam aspek berikut:

Parameter opsional -i/-a/-o/-cr digunakan sebagai pengganti parameter wajib -i/-a/-ca.
Parameter opsional -notWait digunakan.

Parameter	Deskripsi	Diperlukan
-i/-a/-o/-cr	Konversi kelas penyimpanan untuk data dalam kelas penyimpanan Penyimpanan Arsip Dingin. Jika Anda tidak menentukan -i/-a/-o/-cr, kelas penyimpanan data diubah dari Penyimpanan Arsip Dingin menjadi Standar. Catatan Kelas penyimpanan data hanya dapat diubah dari Penyimpanan Arsip Dingin menjadi Standar, IA, atau Arsip jika data sepenuhnya dibuka kembali. Jika Anda menentukan -i/-a/-o/-cr, deskripsi berikut berlaku: Jika Anda menentukan opsi -i, kelas penyimpanan data diubah dari Penyimpanan Arsip Dingin menjadi IA. File-file yang kelas penyimpanannya adalah Standar dilewati. Jika Anda menentukan opsi -a, kelas penyimpanan data diubah dari Penyimpanan Arsip Dingin menjadi Arsip. File-file yang kelas penyimpanannya adalah Standar atau IA dilewati. Jika Anda menentukan opsi -o, data hanya dibuka kembali sementara dan kelas penyimpanannya dipertahankan. File-file yang kelas penyimpanannya adalah Standar atau IA dilewati. File yang sebelumnya dibuka kembali juga dilewati. Dengan cara ini, file-file tersebut tidak dibuka kembali berulang kali. Anda dapat menentukan opsi -cr untuk memeriksa apakah file yang disimpan di kelas penyimpanan Arsip atau Penyimpanan Arsip Dingin dibuka kembali.	Tidak
-notWait	Parameter ini hanya valid ketika Anda membuka kembali data. Parameter ini digunakan untuk membuka kembali data yang disimpan di kelas penyimpanan Penyimpanan Arsip Dingin. Jika Anda menentukan parameter ini, sistem hanya mengirimkan perintah pembukaan kembali, tetapi tidak menunggu penyelesaian operasi pembukaan kembali.	Tidak