Data Integration adalah platform sinkronisasi data yang andal, aman, hemat biaya, elastis, dan scalable yang disediakan oleh Alibaba Cloud. Platform ini mendukung saluran akses data offline (full dan incremental) di berbagai lingkungan jaringan serta lebih dari 20 jenis sumber data. Untuk daftar lengkapnya, lihat Jenis sumber data, plugin Reader, dan plugin Writer yang didukung.
Kasus penggunaan
Impor: Muat data yang telah diproses dari sumber eksternal ke AnalyticDB for PostgreSQL.
Ekspor: Ekstrak data dari AnalyticDB for PostgreSQL ke penyimpanan data lain untuk pemrosesan downstream.
Prasyarat
Sebelum memulai, pastikan Anda telah memiliki hal-hal berikut:
Untuk Data Integration:
Akun Alibaba Cloud account — diperlukan untuk mengakses DataWorks dan Data Integration.
MaxCompute diaktifkan — mengaktifkan MaxCompute secara otomatis membuat sumber data MaxCompute default dan memungkinkan Anda masuk ke konsol DataWorks.
Workspace DataWorks — digunakan untuk mengatur alur kerja, data, dan tugas sinkronisasi Anda.
Untuk membuat tugas sinkronisasi menggunakan kredensial RAM user, berikan izin yang diperlukan terlebih dahulu kepada RAM user tersebut. Lihat Buat RAM user.
Untuk AnalyticDB for PostgreSQL:
(Hanya impor) Database dan tabel tujuan telah dibuat pada instans AnalyticDB for PostgreSQL Anda menggunakan client CLI psql.
(Hanya ekspor) Daftar putih alamat IP telah dikonfigurasi pada instans AnalyticDB for PostgreSQL Anda. Lihat Tambahkan daftar putih.
Impor data
Langkah 1: Tambahkan sumber data
Di konsol DataWorks, tambahkan penyimpanan data sumber sebagai sumber data. Lihat Konfigurasikan sumber data untuk petunjuknya.
Langkah 2: Konfigurasikan tugas sinkronisasi
Tugas sinkronisasi memindahkan data dari sumber ke AnalyticDB for PostgreSQL. DataWorks mendukung dua mode konfigurasi:
| Mode | Paling cocok untuk |
|---|---|
| Wizard mode | Pengaturan pertama kali; konfigurasi berbasis formulir yang terpandu tanpa perlu skrip |
| Script mode | Konfigurasi kustom atau advanced; full kontrol atas parameter plugin Reader dan Writer |
Wizard mode (6 langkah):
Buat node sinkronisasi data.
Tentukan sumber data.
Tetapkan AnalyticDB for PostgreSQL sebagai tujuan data.
Konfigurasikan pemetaan bidang antara tabel sumber dan tujuan.
Tetapkan laju transmisi maksimum dan aturan pemeriksaan dirty data.
Konfigurasikan atribut penjadwalan.
Untuk petunjuk detail, lihat Konfigurasikan tugas sinkronisasi dalam wizard mode.
Script mode (7 langkah):
Buat node sinkronisasi data.
Impor templat.
Konfigurasikan plugin Reader untuk sumber.
Konfigurasikan plugin Writer dengan menargetkan instans AnalyticDB for PostgreSQL Anda.
Konfigurasikan pemetaan bidang antara tabel sumber dan tujuan.
Tetapkan laju transmisi maksimum dan aturan pemeriksaan dirty data.
Konfigurasikan atribut penjadwalan.
Untuk petunjuk detail, lihat Konfigurasikan tugas sinkronisasi dalam script mode.
Ekspor data
Prosedur ekspor menyerupai prosedur impor, dengan satu perbedaan utama: tetapkan AnalyticDB for PostgreSQL sebagai sumber data alih-alih tujuan data, dan tentukan penyimpanan data target Anda sebagai tujuan.
Mulailah dengan menambahkan koneksi AnalyticDB for PostgreSQL di DataWorks. Lihat Tambahkan koneksi AnalyticDB for PostgreSQL, lalu ikuti langkah-langkah wizard mode atau script mode yang sama seperti yang dijelaskan di Impor data.
Langkah selanjutnya
Untuk dokumentasi DataWorks lengkap, lihat Dokumentasi DataWorksDokumentasi DataWorksDokumentasi DataWorksDokumentasi DataWorks.