MaxCompute:Impor data menggunakan DataWorks

Prosedur

1. Anda telah membuat proyek MaxCompute dan membuat tabel untuk menyimpan data yang diimpor.

2. Anda telah membuat ruang kerja DataWorks dan mengaitkan resource komputasi MaxCompute.

3. Impor data.

   Impor file lokal

   1. Masuk ke Konsol DataWorks, lalu pilih Wilayah di pojok kiri atas.

   2. Pada panel navigasi kiri, pilih Data Integration > Data Upload and Download.

   3. Klik ikon unggah di panel navigasi kiri , lalu klik Data Upload.

   4. Ikuti petunjuk di layar untuk mengunggah data Anda.

      Anda dapat mengimpor file dalam format CSV, XLS, XLSX, dan JSON ke MaxCompute menggunakan Local File atau OSS. Batasan:

      • Local File: Ukuran maksimum file CSV adalah 5 GB. Untuk jenis file lainnya, ukuran maksimum adalah 100 MB.

      • OSS: Anda hanya dapat mengunggah data dari bucket yang berada di Wilayah yang sama dengan proyek MaxCompute Anda.

   Unggah data.

   Untuk ruang kerja lama, unggah file CSV lokal atau file teks kustom melalui fitur Upload data.

   Impor dari sumber data lain

   1. Masuk ke Konsol DataWorks, lalu pilih Wilayah di pojok kiri atas.

   2. Pada panel navigasi kiri, pilih Data Development and O&M > Data Development.

   3. Select Workspace, lalu klik 进入Data Studio.

   4. Di panel kiri DataStudio, klik , lalu pilih Create Node > Data Integration > Batch Synchronization atau Real-time synchronization.

      • Node sinkronisasi offline: Konfigurasikan tujuan data sebagai MaxCompute dan sumber data sebagai sumber data lain.

      • Node sinkronisasi real-time: Konfigurasikan output sebagai MaxCompute dan input sebagai sumber data lain.

      Konfigurasikan node sinkronisasi dalam mode wizard, Konfigurasikan node sinkronisasi dalam mode skrip, dan Konfigurasikan tugas sinkronisasi real-time (tidak digunakan lagi).

   5. Kembali ke Konsol DataWorks.

      Pada panel navigasi kiri, pilih Data Integration > Data Integration.

   6. Pada panel navigasi kiri, pilih Sync Task, lalu klik Create Synchronization Task. Pada kotak dialog Create Sync Task yang muncul, konfigurasikan informasi sumber data.

      Konfigurasikan tugas sinkronisasi real-time untuk seluruh database.

Kemampuan sinkronisasi

Data Integration menyinkronkan data dari sumber seperti database RDS ke MaxCompute. Kemampuan yang didukung bervariasi tergantung skenario.

• Sinkronisasi batch menggunakan plugin Reader dan Writer untuk membaca dari dan menulis ke sumber data.

  • Setiap node sinkronisasi batch dapat mengimpor data dari satu atau beberapa tabel sumber ke satu tabel MaxCompute.

• Sinkronisasi real-time menggabungkan beberapa sumber data input dan output menjadi tautan sinkronisasi untuk sinkronisasi inkremental real-time dari satu tabel atau seluruh database.

• Solusi sinkronisasi mencakup skenario seperti sinkronisasi batch seluruh database dan sinkronisasi real-time penuh serta inkremental.

Tabel berikut mencantumkan kemampuan yang didukung ketika MaxCompute menjadi tujuan.

Untuk detail tentang kemampuan sinkronisasi MaxCompute, lihat Sumber data MaxCompute.

Penagihan

Data Integration memerlukan kelompok sumber daya baik untuk integrasi data maupun penjadwalan. Anda dapat menggunakan kelompok sumber daya bersama atau eksklusif. Transfer data melalui jaringan publik dapat dikenai biaya transfer data Internet.

• Kelompok sumber daya Data Integration: Penagihan kelompok sumber daya eksklusif berlangganan untuk Data Integration dan Kelompok sumber daya bersama pay-as-you-go untuk Data Integration (untuk debugging).

• Transfer data Internet: Penagihan transfer data Internet.

• Kelompok sumber daya penjadwalan: Penagihan kelompok sumber daya eksklusif berlangganan untuk penjadwalan dan Penagihan kelompok sumber daya bersama untuk penjadwalan.

Praktik terbaik