MaxCompute:Custom storage handler

Usage notes

• Tabel eksternal OSS tidak mendukung properti cluster.

• Ukuran satu file tidak boleh melebihi 2 GB. Anda harus membagi file yang berukuran lebih dari 2 GB.

Create an external table

CREATE EXTERNAL TABLE [IF NOT EXISTS] mc_oss_extable_name
(
  col_name data_type,
  ...
)
[comment table_comment]
[partitioned BY (col_name data_type, ...)] 
stored BY '<YOUR_DEFINED_STORAGEHANDLER>' 
WITH serdeproperties (
  ['property_name'='property_value',...]
) 
location 'oss_location' 
USING 'jar_name';

SET odps.sql.unstructured.data.single.file.split.enabled=true;

Write data

Untuk informasi selengkapnya tentang sintaks penulisan MaxCompute, lihat Write data to OSS.

Query and analyze data

• Untuk informasi selengkapnya tentang sintaks SELECT, lihat Read data from OSS.

• Untuk informasi selengkapnya tentang cara mengoptimalkan rencana kueri, lihat Query optimization.

Example: Create an OSS external table

Contoh ini menunjukkan cara memetakan tabel eksternal ke direktori SampleData/ yang dijelaskan dalam Appendix: Prepare sample data. Direktori ini disiapkan untuk digunakan dengan custom storage handler. Prosedurnya adalah sebagai berikut:

1. Prasyarat

   • Proyek MaxCompute telah dibuat.

   • Bucket OSS dan folder tersedia. Untuk informasi selengkapnya, lihat Create a bucket dan Manage folders.

     MaxCompute mendukung pembuatan folder otomatis di OSS. Jika pernyataan SQL melibatkan tabel eksternal dan user-defined function (UDF), Anda dapat menggunakan satu pernyataan untuk membaca dan menulis ke tabel serta menggunakan UDF tersebut. Anda juga dapat membuat folder secara manual.

     MaxCompute hanya dideploy di wilayah tertentu. Untuk menghindari potensi masalah koneksi data lintas wilayah, pastikan bucket OSS Anda berada di wilayah yang sama dengan Proyek MaxCompute Anda.

   • Otorisasi

     • Anda harus memiliki izin untuk mengakses OSS. Anda dapat menggunakan Akun Alibaba Cloud, pengguna Resource Access Management (RAM), atau Peran RAM untuk mengakses tabel eksternal OSS. Untuk informasi selengkapnya tentang otorisasi, lihat Authorize access in STS mode for OSS.

     • Anda harus memiliki izin CreateTable di Proyek MaxCompute. Untuk informasi selengkapnya tentang izin tabel, lihat MaxCompute permissions.

2. Gunakan MaxCompute Studio untuk membuat kelas Java TextExtractor.java, TextOutputer.java, SplitReader.java, dan TextStorageHandler.java. Untuk informasi selengkapnya tentang cara mengembangkan program Java, lihat Develop UDFs.

3. Gunakan fitur pengemasan satu klik MaxCompute Studio untuk mengemas TextStorageHandler.java dan unggah paket tersebut sebagai resource MaxCompute.

   Asumsikan resource tersebut diberi nama javatest-1.0-SNAPSHOT.jar. Untuk informasi selengkapnya tentang cara mengemas, mengunggah, dan mendaftarkan resource, lihat Package, upload, and register.

   Catatan

   Jika Anda memiliki beberapa dependensi, kemas masing-masing dan unggah sebagai resource MaxCompute terpisah.

4. Jalankan perintah berikut untuk membuat tabel eksternal OSS:

   CREATE EXTERNAL TABLE ambulance_data_txt_external
   (
     vehicleId INT,
     recordId INT,
     patientId INT,
     calls INT,
     locationLatitute DOUBLE,
     locationLongtitue DOUBLE,
     recordTime STRING,
     direction STRING
   )
   stored BY 'com.aliyun.odps.udf.example.text.TextStorageHandler' 
     WITH serdeproperties (
       'delimiter'='|',  
       'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
     )
   location 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/SampleData/'
   USING 'javatest-1.0-SNAPSHOT.jar'; 
   
   -- Anda dapat menjalankan perintah 'desc extended ambulance_data_txt_external;' untuk melihat skema tabel eksternal yang telah dibuat.

   Catatan

   Parameter delimiter adalah properti kustom yang menentukan pemisah kolom dalam file OSS. Anda dapat menentukan string valid apa pun sebagai delimiter.

5. Baca data dari OSS. Contoh perintah:

   SELECT recordId, patientId, direction FROM ambulance_data_txt_external WHERE patientId > 25;

   Hasil berikut dikembalikan:

   +----------+-----------+-----------+
   | recordid | patientid | direction |
   +----------+-----------+-----------+
   | 1        | 51        | S         |
   | 3        | 48        | NE        |
   | 4        | 30        | W         |
   | 5        | 47        | S         |
   | 7        | 53        | N         |
   | 8        | 63        | SW        |
   | 10       | 31        | N         |
   +----------+-----------+-----------+

6. Tulis data ke tabel eksternal OSS.

   INSERT INTO ambulance_data_txt_external VALUES (1,16,76,1,'46.81006','-92.08174','9/14/2014 0:10','SW');
   
   -- Kueri ulang tabel untuk memeriksa apakah data telah ditulis. Anda juga dapat memeriksa apakah file baru dihasilkan di direktori OSS.
   SELECT * FROM ambulance_data_txt_external WHERE recordId='16';

FAQ