MaxCompute：UNLOAD

Penyimpanan eksternal: OSS

Penyimpanan eksternal: Hologres

Penyimpanan eksternal: OSS

+------------+-------------+-------------+------------+------------+
| shop_name  | customer_id | total_price | sale_date  | region     |
+------------+-------------+-------------+------------+------------+
| s1         | c1          | 100.1       | 2013       | china      |
| s2         | c2          | 100.2       | 2013       | china      |
| s3         | c3          | 100.3       | 2013       | china      |
| null       | c5          | NULL        | 2014       | shanghai   |
| s6         | c6          | 100.4       | 2014       | shanghai   |
| s7         | c7          | 100.5       | 2014       | shanghai   |
+------------+-------------+-------------+------------+------------+

1. Masuk ke Konsol OSS dan buat folder bernama mc-unload/data_location/ di bucket yang berada di wilayah oss-cn-hangzhou. Kemudian, susun path OSS. Untuk informasi lebih lanjut tentang cara membuat bucket OSS, lihat Buat bucket di konsol.

   Path OSS disusun dari informasi bucket, wilayah, dan titik akhir sebagai berikut:

   oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location

2. Masuk ke Klien MaxCompute dan jalankan perintah UNLOAD untuk mengekspor data dari tabel `sale_detail` ke OSS. Berikut adalah contoh perintah:

   • Contoh 1: Ekspor data dari tabel `sale_detail` dalam format CSV dan kompres menggunakan GZIP. Perintah berikut adalah contohnya.

     -- Kontrol jumlah file yang diekspor: Tetapkan ukuran data (dalam MB) yang dapat dibaca oleh satu worker dari tabel MaxCompute. Karena tabel MaxCompute dikompresi, data yang diekspor ke OSS biasanya sekitar empat kali lebih besar.
     SET odps.stage.mapper.split.size=256;
     -- Ekspor data.
     UNLOAD FROM  
     (SELECT * FROM sale_detail)
     INTO
     LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location'
     STORED BY 'com.aliyun.odps.CsvStorageHandler'
     WITH SERDEPROPERTIES ('odps.properties.rolearn'='acs:ram::<uid>:role/AliyunODPSDefaultRole', 'odps.text.option.gzip.output.enabled'='true');
     -- Ini setara dengan pernyataan berikut.
     SET odps.stage.mapper.split.size=256;
     UNLOAD FROM sale_detail 
     INTO
     LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location'
     STORED BY 'com.aliyun.odps.CsvStorageHandler'
     WITH SERDEPROPERTIES ('odps.properties.rolearn'='acs:ram::<uid>:role/AliyunODPSDefaultRole', 'odps.text.option.gzip.output.enabled'='true');                                 

   • Contoh 2: Ekspor data dari partisi `sale_date='2013'` dan `region='china'` di tabel `sale_detail`. Data diekspor dalam format TSV dan dikompresi menggunakan GZIP.

     -- Kontrol jumlah file yang diekspor: Tetapkan ukuran data (dalam MB) yang dapat dibaca oleh satu worker dari tabel MaxCompute. Karena tabel MaxCompute dikompresi, data yang diekspor ke OSS biasanya sekitar empat kali lebih besar.
     SET odps.stage.mapper.split.size=256;
     -- Ekspor data.
     UNLOAD FROM sale_detail PARTITION (sale_date='2013',region='china')
     INTO
     LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-unload/data_location'
     STORED BY 'com.aliyun.odps.TsvStorageHandler'
     WITH SERDEPROPERTIES ('odps.properties.rolearn'='acs:ram::<uid>:role/AliyunODPSDefaultRole', 'odps.text.option.gzip.output.enabled'='true');

   'odps.text.option.gzip.output.enabled'='true' menentukan bahwa file yang diekspor dikompresi menggunakan GZIP. Saat ini, GZIP adalah satu-satunya format kompresi yang didukung.

3. Anda dapat masuk ke Konsol Manajemen OSS dan melihat hasil impor di path OSS tujuan.

   • Hasil Contoh 1 ditunjukkan pada gambar berikut.

   • Hasil Contoh 2 ditunjukkan pada gambar berikut.

Penyimpanan eksternal: Hologres

Contoh ini menunjukkan cara mengekspor data dari tabel data_test di proyek MaxCompute ke Hologres. Data sampel dalam tabel data_test adalah sebagai berikut:

+------------+------+
| id         | name |
+------------+------+
| 3          | rgege |
| 4          | Gegegegr |
+------------+------+

1. Di Hologres, buat tabel tujuan bernama mc_2_holo di database test. Anda dapat menjalankan pernyataan pembuatan tabel di editor SQL HoloWeb. Untuk informasi selengkapnya, lihat Hubungkan ke HoloWeb dan jalankan kueri. Pernyataannya adalah sebagai berikut:

   Catatan

   Tipe data bidang di tabel tujuan harus sesuai dengan tipe data bidang di tabel sumber MaxCompute. Untuk informasi selengkapnya, lihat Pemetaan tipe data antara MaxCompute dan Hologres.

   CREATE TABLE mc_2_holo (id INT, name TEXT);

2. Masuk ke Klien MaxCompute dan jalankan perintah UNLOAD untuk mengekspor data dari tabel data_test ke Hologres. Perintah berikut adalah contohnya:

   UNLOAD FROM  
   (SELECT * FROM data_test) 
   INTO 
   LOCATION 'jdbc:postgresql://hgprecn-cn-5y**********-cn-hangzhou-internal.hologres.aliyuncs.com:80/test?ApplicationName=MaxCompute&currentSchema=public&useSSL=false&table=mc_2_holo/'  
   STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler'
   WITH SERDEPROPERTIES ( 
     'odps.properties.rolearn'='acs:ram::13**************:role/aliyunodpsholorole',
     'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver', 
     'odps.federation.jdbc.target.db.type'='holo'
   );

3. Kueri data yang diekspor di Hologres:

   SELECT * FROM mc_2_holo;

   Berikut adalah contoh hasilnya:

   id	name
   4	Gegegegr
   3	rgege