AnalyticDB:Ekspor data ke MaxCompute

Prasyarat

Sebelum memulai, pastikan Anda telah:

• Membuat tabel tujuan di MaxCompute. Untuk memulai, lihat Buat Akun Alibaba Cloud. Untuk membuat tabel, lihat Buat tabel. Sebagai referensi, contoh berikut menunjukkan cara membuat tabel partisi MaxCompute. Untuk informasi lebih lanjut, lihat Operasi tabel.

  • Buat tabel dengan partisi hash:

    CREATE TABLE IF NOT EXISTS odps_table
    (
    uid STRING
     )
    PARTITIONED BY (ds STRING)
    LIFECYCLE 3;     

  • Buat tabel dengan partisi list:

    CREATE TABLE IF NOT EXISTS odps_table
    (
    uid STRING
     )
    PARTITIONED BY (ds STRING,other STRING)
    LIFECYCLE 3;     

• Mempersiapkan kluster AnalyticDB for MySQL Edisi Data Warehouse (V3.0) dengan daftar putih yang telah dikonfigurasi serta akun database dan database yang telah dibuat. Lihat Buat kluster.

• (Jika menggunakan mode elastis) Antarmuka jaringan elastis (ENI) diaktifkan pada bagian Network Information di halaman Cluster Information.

Cara kerja

Setiap ekspor mengikuti tiga langkah:

1. Hubungkan ke kluster AnalyticDB for MySQL.

2. Buat tabel eksternal di AnalyticDB for MySQL yang memetakan ke tabel MaxCompute tujuan.

3. Jalankan pernyataan INSERT untuk menulis data dari tabel AnalyticDB for MySQL ke partisi MaxCompute.

Tabel eksternal menggunakan ENGINE='ODPS' dan objek JSON TABLE_PROPERTIES untuk menetapkan koneksi. AnalyticDB for MySQL hanya dapat mengakses MaxCompute melalui titik akhir virtual private cloud (VPC); titik akhir publik tidak didukung.

Ekspor data ke tabel MaxCompute dengan partisi hash

Contoh ini mengekspor data dari adb_table di AnalyticDB for MySQL ke odps_table, yaitu tabel MaxCompute dengan partisi hash tingkat tunggal pada kolom ds.

Langkah 1: Hubungkan ke kluster AnalyticDB for MySQL Anda

Lihat Hubungkan ke kluster AnalyticDB for MySQL.

Langkah 2: Buat tabel eksternal

CREATE TABLE odps_external_table
(
uid string,
ds string
)
ENGINE='ODPS'
TABLE_PROPERTIES='{
"endpoint":"http://service.odps.aliyun-inc.com/api",
"accessid":"<your-accesskey-id>",
"accesskey":"<your-accesskey-secret>",
"project_name":"<your-maxcompute-project>",
"table_name":"odps_table",
"partition_column":"ds"
}'

Langkah 3: Ekspor data ke partisi target

INSERT [OVERWRITE] INTO odps_external_table PARTITION(ds='20200401')
SELECT [adb_table_column, ...] FROM adb_table [WHERE ...]

Ekspor data ke tabel MaxCompute dengan partisi list

Contoh ini mengekspor data dari adb_table ke odps_table, yaitu tabel MaxCompute dengan partisi list dua tingkat pada kolom ds dan other.

Langkah 1: Hubungkan ke kluster AnalyticDB for MySQL Anda

Lihat Hubungkan ke kluster AnalyticDB for MySQL.

Langkah 2: Buat tabel eksternal

CREATE TABLE odps_external_table
(
uid string,
ds string,
other string
)
ENGINE='ODPS'
TABLE_PROPERTIES='{
"endpoint":"http://service.odps.aliyun-inc.com/api",
"accessid":"<your-accesskey-id>",
"accesskey":"<your-accesskey-secret>",
"project_name":"<your-maxcompute-project>",
"table_name":"odps_table",
"partition_column":"ds,other"
}'

Untuk tabel berpartisi list dengan beberapa tingkat partisi, atur partition_column menjadi daftar kolom partisi yang dipisahkan koma sesuai urutan tingkatnya.

Langkah 3: Ekspor data ke partisi target

INSERT [OVERWRITE] INTO odps_external_table PARTITION(ds='20200401',other='hangzhou')
SELECT [adb_table_column, ...] FROM adb_table [WHERE ...]

Langkah selanjutnya

• Operasi tabel — buat tabel MaxCompute dengan tingkat partisi lebih tinggi.

• Endpoints — cari titik akhir VPC untuk wilayah MaxCompute Anda.