MaxCompute V2.0 mendukung tabel eksternal yang terhubung ke Object Storage Service (OSS) dan Tablestore. MaxCompute Studio menyediakan templat kode untuk mempercepat penulisan kelas penanganan kustom. Topik ini menjelaskan cara menggunakan MaxCompute Studio guna menulis, men-debug, mengemas, dan menjalankan kueri terhadap data tidak terstruktur yang disimpan di OSS atau Tablestore.
Prasyarat
Sebelum memulai, pastikan Anda telah:
Memiliki proyek MaxCompute yang terhubung. Untuk informasi selengkapnya, lihat Mengelola koneksi proyek.
Modul Java MaxCompute yang dibuat di MaxCompute Studio. Untuk informasi selengkapnya, lihat Membuat Modul Java MaxCompute.
Cara kerja
Menjalankan kueri terhadap data tidak terstruktur di MaxCompute mencakup empat tahap:
Menulis kelas penanganan — Implementasikan kelas
Extractor,StorageHandler, atauOutputeryang menentukan cara MaxCompute membaca dari atau menulis ke penyimpanan eksternal Anda.Debug — Jalankan pengujian unit terhadap penanganan Anda menggunakan contoh yang tersedia di direktori
examples.Mengemas dan mengunggah — Kompres penanganan menjadi paket JAR dan unggah ke MaxCompute sebagai resource.
Kueri — Buat tabel eksternal yang mereferensikan penanganan dan resource JAR Anda, lalu jalankan kueri SQL.
Menulis kelas StorageHandler, Extractor, atau Outputer
Pilih jenis kelas penanganan sesuai kebutuhan bisnis Anda:
| Class | Peran |
|---|---|
Extractor | Menentukan logika kustom untuk membaca data tidak terstruktur dari OSS atau Tablestore |
Outputer | Menentukan logika kustom untuk menulis data tidak terstruktur ke penyimpanan eksternal |
StorageHandler | Mengimplementasikan logika yang ditentukan dalam kelas Extractor atau Outputer |
Untuk membuat kelas:
Di panel navigasi sebelah kiri tab Project, pilih src > main > java, klik kanan java, lalu pilih New > MaxCompute Java.
Di bidang Name, masukkan nama kelas. Jika paket belum ada, gunakan format
PackageName.ClassName— MaxCompute Studio akan secara otomatis membuat paket tersebut. Pilih Extractor, StorageHandler, atau Outputer sebagai jenis kelas, lalu tekan Enter.
Di editor kode, implementasikan logika Anda. MaxCompute Studio telah mengisi file dengan kerangka kode — lengkapi bagian logika sesuai kasus penggunaan Anda.
Debug kelas Extractor atau Outputer
Tulis pengujian unit berdasarkan contoh yang tersedia di direktori examples. Setiap contoh menunjukkan cara menyusun input pengujian dan memverifikasi output penanganan. Jalankan pengujian tersebut untuk memastikan logika baca atau tulis Anda benar sebelum mengemas penanganan.
Mengemas dan mengunggah program
Kompres penanganan Anda menjadi paket JAR dan unggah ke server MaxCompute sebagai resource. Tabel eksternal yang Anda buat pada langkah berikutnya akan mereferensikan resource ini untuk menemukan penanganan Anda saat kueri dijalankan.
Untuk langkah-langkah detail, lihat Mengemas program Java, mengunggah paket, dan membuat UDF MaxCompute.
Kueri data tidak terstruktur
Di jendela tool Project, klik kanan scripts di bawah proyek MaxCompute Anda dan pilih New > MaxCompute SQL Script.
Masukkan nama di bidang Script Name, pilih proyek MaxCompute Anda dari daftar drop-down MaxCompute Project, lalu klik OK.
Masukkan pernyataan SQL yang membuat tabel eksternal yang mereferensikan resource JAR dan kelas penanganan Anda, lalu klik ikon
untuk menjalankannya.Buat skrip SQL MaxCompute lainnya, masukkan pernyataan kueri Anda, lalu klik ikon
untuk menjalankan kueri tersebut.
Langkah berikutnya
Contoh: Membuat tabel eksternal OSS menggunakan extractor kustom