MaxCompute：Custom resolver

Applicability

• Tabel eksternal OSS tidak mendukung properti cluster.

• Satu file tidak boleh melebihi 2 GB. Jika ukuran file terlalu besar, lakukan pemisahan.

Create an external table

CREATE EXTERNAL TABLE [IF NOT EXISTS] mc_oss_extable_name
(
  col_name date_type,
  ...
)
[comment table_comment]
[partitioned BY (col_name data_type, ...)] 
stored BY '<YOUR_DEFINED_STORAGEHANDLER>' 
WITH serdeproperties (
  ['property_name'='property_value',...]
) 
location 'oss_location' 
USING 'jar_name';

SET odps.sql.unstructured.data.single.file.split.enabled=true;

Write data

Untuk informasi selengkapnya tentang sintaks penulisan data MaxCompute, lihat Write data to OSS.

Query and analysis

• Untuk informasi selengkapnya tentang sintaks SELECT, lihat Read OSS data.

• Untuk informasi selengkapnya tentang cara mengoptimalkan rencana kueri, lihat Query optimization.

Example: Create an OSS external table using a custom storage handler

Buat pemetaan dengan direktori SampleData/ (penanganan penyimpanan kustom) di Appendix: Prepare sample data. Prosedurnya sebagai berikut:

1. Prasyarat

   • Proyek MaxCompute telah dibuat.

   • Bucket OSS dan folder tersedia. Untuk informasi selengkapnya, lihat Create a bucket dan Manage folders.

     MaxCompute mendukung pembuatan folder otomatis di OSS. Jika suatu pernyataan SQL melibatkan tabel eksternal dan user-defined function (UDF), Anda dapat menggunakan satu pernyataan untuk membaca dan menulis ke tabel sekaligus menggunakan UDF tersebut. Anda juga dapat membuat folder secara manual.

     MaxCompute hanya dideploy di wilayah tertentu. Untuk menghindari potensi masalah koneksi data lintas wilayah, pastikan bucket OSS Anda berada di wilayah yang sama dengan proyek MaxCompute Anda.

   • Otorisasi

     • Anda harus memiliki izin untuk mengakses OSS. Anda dapat menggunakan Akun Alibaba Cloud, pengguna Resource Access Management (RAM), atau peran RAM untuk mengakses tabel eksternal OSS. Untuk informasi selengkapnya tentang otorisasi, lihat Authorize access in STS mode for OSS.

     • Anda harus memiliki izin CreateTable di proyek MaxCompute. Untuk informasi selengkapnya tentang izin tabel, lihat MaxCompute permissions.

2. Gunakan MaxCompute Studio untuk membuat empat kelas Java berikut: TextExtractor.java, TextOutputer.java, SplitReader.java, dan TextStorageHandler.java. Untuk informasi selengkapnya tentang cara mengembangkan program Java, lihat Develop a UDF.

3. Gunakan fitur pengemasan satu klik MaxCompute Studio untuk mengemas TextStorageHandler.java dan unggah sebagai resource MaxCompute.

   Asumsikan nama resource-nya adalah javatest-1.0-SNAPSHOT.jar. Untuk informasi selengkapnya tentang pengemasan dan pengunggahan, lihat Package, upload, and register.

   Catatan

   Jika diperlukan beberapa dependensi, kemas secara terpisah dan unggah sebagai resource MaxCompute.

4. Jalankan pernyataan berikut untuk membuat tabel eksternal OSS:

   CREATE EXTERNAL TABLE ambulance_data_txt_external
   (
     vehicleId INT,
     recordId INT,
     patientId INT,
     calls INT,
     locationLatitute DOUBLE,
     locationLongtitue DOUBLE,
     recordTime STRING,
     direction STRING
   )
   stored BY 'com.aliyun.odps.udf.example.text.TextStorageHandler' 
     WITH serdeproperties (
       'delimiter'='|',  
       'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
     )
   location 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/SampleData/'
   USING 'javatest-1.0-SNAPSHOT.jar'; 
   
   -- Anda dapat menjalankan pernyataan desc extended ambulance_data_txt_external; untuk melihat struktur tabel eksternal yang telah dibuat.

   Catatan

   Parameter delimiter adalah delimiter yang ditentukan pengguna untuk memisahkan nilai kolom pada setiap baris objek OSS. Anda dapat menggunakan string valid apa pun sebagai delimiter.

5. Baca data dari OSS. Contoh pernyataan:

   SELECT recordId, patientId, direction FROM ambulance_data_txt_external WHERE patientId > 25;

   Hasil berikut dikembalikan:

   +----------+-----------+-----------+
   | recordid | patientid | direction |
   +----------+-----------+-----------+
   | 1        | 51        | S         |
   | 3        | 48        | NE        |
   | 4        | 30        | W         |
   | 5        | 47        | S         |
   | 7        | 53        | N         |
   | 8        | 63        | SW        |
   | 10       | 31        | N         |
   +----------+-----------+-----------+

6. Tulis data ke tabel eksternal OSS.

   INSERT INTO ambulance_data_txt_external VALUES (1,16,76,1,'46.81006','-92.08174','9/14/2014 0:10','SW');
   
   -- Kueri data lagi untuk memeriksa apakah data telah ditulis. Anda juga dapat memeriksa apakah file baru dihasilkan di direktori OSS.
   SELECT * FROM ambulance_data_txt_external WHERE recordId='16';

FAQ