MaxCompute:LOAD

OSS

Hologres

OSS

Contoh ini menunjukkan cara memuat data menggunakan extractor bawaan (StorageHandler). Contoh ini mengasumsikan bahwa MaxCompute dan OSS dimiliki oleh Akun Alibaba Cloud yang sama dan menunjukkan cara memuat data dari file vehicle.csv ke MaxCompute melalui jaringan internal Alibaba Cloud.

1. Klik di sini untuk otorisasi satu klik.

2. Simpan file vehicle.csv ke direktori mc-test/data_location/ dalam bucket OSS di wilayah oss-cn-hangzhou, lalu buat path direktori OSS. Untuk informasi selengkapnya tentang cara membuat bucket OSS, lihat Buat bucket.

   Path direktori OSS dibuat dari informasi bucket, wilayah, dan endpoint sebagai berikut:

   oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/

3. Masuk ke Klien MaxCompute (odpscmd) untuk membuat tabel tujuan ambulance_data_csv_load. Contoh perintah:

   CREATE TABLE ambulance_data_csv_load (
   vehicleId INT,
   recordId INT,
   patientId INT,
   calls INT,
   locationLatitude DOUBLE,
   locationLongitude DOUBLE,
   recordTime STRING,
   direction STRING );
   

4. Jalankan perintah load overwrite untuk memuat file vehicle.csv dari OSS ke tabel tujuan. Contoh perintah:

   LOAD OVERWRITE TABLE ambulance_data_csv_load
   FROM
   LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/'
   STORED BY 'com.aliyun.odps.CsvStorageHandler'
   WITH SERDEPROPERTIES (
       -- ARN dari AliyunODPSDefaultRole. Anda dapat memperolehnya di halaman manajemen peran RAM.
       'odps.properties.rolearn'='acs:ram::xxxxx:role/aliyunodpsdefaultrole',
       'odps.text.option.delimiter'=','
   );
   

   Untuk melihat ARN suatu peran, lihat Lihat peran RAM.

5. Verifikasi data dalam tabel tujuan ambulance_data_csv_load. Contoh perintah:

   -- Aktifkan pemindaian tabel penuh. Pengaturan ini hanya berlaku untuk sesi saat ini.
   set odps.sql.allow.fullscan=true;
   SELECT * FROM ambulance_data_csv_load;
   
   -- Hasil berikut dikembalikan:
   +------------+------------+------------+------------+------------------+-------------------+------------+------------+
   | vehicleid  | recordid   | patientid  | calls      | locationlatitude | locationlongitude | recordtime | direction  |
   +------------+------------+------------+------------+------------------+-------------------+------------+------------+
   | 1          | 1          | 51         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          |
   | 1          | 2          | 13         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE         |
   | 1          | 3          | 48         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE         |
   | 1          | 4          | 30         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | W          |
   | 1          | 5          | 47         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          |
   | 1          | 6          | 9          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          |
   | 1          | 7          | 53         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | N          |
   | 1          | 8          | 63         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | SW         |
   | 1          | 9          | 4          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE         |
   | 1          | 10         | 31         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | N          |
   +------------+------------+------------+------------+------------------+-------------------+------------+------------+

Hologres

1. Skenario

   Instans dan database Hologres telah dibuat, serta tabel telah dibuat dalam database tersebut.

   Tabel eksternal Hologres telah dibuat di MaxCompute. Anda dapat mengkueri data dalam tabel Hologres menggunakan tabel eksternal tersebut.

   -- Kueri tabel eksternal Hologres:
   SELECT * FROM holo_ext;
   
   -- Hasil berikut dikembalikan:
   +------------+------+
   | id         | name |
   +------------+------+
   | 1          | abc  |
   | 2          | ereg |
   +------------+------+

2. Contoh berikut menunjukkan cara menggunakan perintah LOAD untuk memuat data dari tabel Hologres ini ke tabel internal MaxCompute.

   1. Buat tabel internal MaxCompute.

      -- Buat tabel internal.
      CREATE TABLE from_holo(id BIGINT, name STRING);

   2. Gunakan perintah LOAD untuk memuat data ke MaxCompute.

      -- Muat data dari tabel Hologres ke tabel internal MaxCompute.
      LOAD INTO TABLE from_holo 
      FROM LOCATION 'jdbc:postgresql://hgprecn-cn-wwo3ft0l****-cn-beijing-internal.hologres.aliyuncs.com:80/<YOUR_HOLO_DB_NAME>?application_name=MaxCompute&currentSchema=public&useSSL=false&table=<YOUR_HOLOGRES_TABLE_NAME>/' 
      STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler' 
      WITH SERDEPROPERTIES (
        'odps.properties.rolearn'='acs:ram::18927322887*****:role/hologresrole',
        'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver', 
        'odps.federation.jdbc.target.db.type'='holo'
      );
      

3. Kueri tabel untuk melihat hasilnya.

   SELECT * FROM from_holo;
   
   -- Hasil berikut dikembalikan:
   +------------+------+
   | id         | name |
   +------------+------+
   | 2          | ereg |
   | 1          | abc  |
   +------------+------+

Akun yang sama

Kepemilikan akun yang sama

Contoh ini menunjukkan cara memuat data dari file vehicle.textfile ke MaxCompute melalui jaringan internal Alibaba Cloud.

1. Klik di sini untuk otorisasi satu klik.

2. Simpan file vehicle.textfile ke direktori mc-test/data_location/ dalam bucket OSS di wilayah oss-cn-hangzhou, lalu buat path direktori OSS. Untuk informasi selengkapnya tentang cara membuat bucket OSS, lihat Buat bucket.

   Path direktori OSS dibuat dari informasi bucket, wilayah, dan endpoint sebagai berikut:

   oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/

3. Masuk ke Klien MaxCompute (odpscmd) untuk membuat tabel tujuan ambulance_data_textfile_load_pt. Contoh perintah:

   CREATE TABLE ambulance_data_textfile_load_pt (
     vehicleId STRING,
     recordId STRING,
     patientId STRING,
     calls STRING,
     locationLatitude STRING,
     locationLongitude STRING,
     recordTime STRING,
     direction STRING
   )
   PARTITIONED BY (
     ds STRING
   );

4. Jalankan perintah load overwrite untuk memuat file vehicle.textfile dari OSS ke tabel tujuan. Contoh perintah:

   LOAD OVERWRITE TABLE ambulance_data_textfile_load_pt PARTITION(ds='20200910')
   FROM
     LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/'
   ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
   WITH SERDEPROPERTIES ('field.delim' = ',')
   STORED AS TEXTFILE;

5. Verifikasi data dalam tabel tujuan ambulance_data_textfile_load_pt. Contoh perintah:

   -- Aktifkan pemindaian tabel penuh. Pengaturan ini hanya berlaku untuk sesi saat ini.
   SET odps.sql.allow.fullscan=true;
   SELECT * FROM ambulance_data_textfile_load_pt;
   
   -- Hasil berikut dikembalikan:
   +-----------+----------+-----------+-------+------------------+-------------------+----------------+-----------+----------+
   | vehicleid | recordid | patientid | calls | locationlatitude | locationlongitude | recordtime     | direction | ds       |
   +-----------+----------+-----------+-------+------------------+-------------------+----------------+-----------+----------+
   | 1         | 1        | 51        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | S         | 20200910 |
   | 1         | 2        | 13        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE        | 20200910 |
   | 1         | 3        | 48        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE        | 20200910 |
   | 1         | 4        | 30        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | W         | 20200910 |
   | 1         | 5        | 47        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | S         | 20200910 |
   | 1         | 6        | 9         | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | S         | 20200910 |
   | 1         | 7        | 53        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | N         | 20200910 |
   | 1         | 8        | 63        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | SW        | 20200910 |
   | 1         | 9        | 4         | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE        | 20200910 |
   | 1         | 10       | 31        | 1     | 46.81006         | -92.08174         | 9/14/2014 0:00 | N         | 20200910 |
   +-----------+----------+-----------+-------+------------------+-------------------+----------------+-----------+----------+

Partisi dinamis

Muat data menggunakan partisi dinamis

1. Klik di sini untuk otorisasi satu klik.

2. Simpan file vehicle1.csv dan vehicle2.csv ke direktori mc-test/data_location/ds=20200909/ dan mc-test/data_location/ds=20200910/ di bucket OSS wilayah oss-cn-hangzhou, lalu buat path direktori OSS. Untuk informasi selengkapnya tentang cara membuat bucket OSS, lihat Buat bucket.

   Path direktori OSS dibuat dari informasi bucket, wilayah, dan endpoint sebagai berikut:

   oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/ds=20200909/'
   oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/ds=20200910/'

3. Login ke Klien MaxCompute (odpscmd) untuk membuat tabel tujuan ambulance_data_csv_load_dynpt. Contoh perintah:

   CREATE TABLE ambulance_data_csv_load_dynpt (
     vehicleId STRING,
     recordId STRING,
     patientId STRING,
     calls STRING,
     locationLatitude STRING,
     locationLongitude STRING,
     recordTime STRING,
     direction STRING
   )
   PARTITIONED BY (
     ds STRING
   );

4. Jalankan perintah load overwrite untuk memuat file dari OSS ke tabel tujuan. Contoh perintah:

   LOAD OVERWRITE TABLE ambulance_data_csv_load_dynpt PARTITION(ds)
   FROM
     LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/'
   ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
   STORED AS TEXTFILE;
   

5. Verifikasi data dalam tabel tujuan ambulance_data_csv_load_dynpt. Contoh perintah:

   -- Aktifkan pemindaian tabel penuh. Pengaturan ini hanya berlaku untuk sesi saat ini.
   SET odps.sql.allow.fullscan=true;
   SELECT * FROM ambulance_data_csv_load_dynpt;
   
   -- Hasil berikut dikembalikan:
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | vehicleid  | recordid   | patientid  | calls      | locationlatitude | locationlongitude | recordtime     | direction  | ds         |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | 1          | 7          | 53         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | N          | 20200909   |
   | 1          | 8          | 63         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | SW         | 20200909   |
   | 1          | 9          | 4          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE         | 20200909   |
   | 1          | 10         | 31         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | N          | 20200909   |
   | 1          | 1          | 51         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          | 20200910   |
   | 1          | 2          | 13         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE         | 20200910   |
   | 1          | 3          | 48         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | NE         | 20200910   |
   | 1          | 4          | 30         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | W          | 20200910   |
   | 1          | 5          | 47         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          | 20200910   |
   | 1          | 6          | 9          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          | 20200910   |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+