MaxCompute：Gunakan DataWorks (offline dan real-time)

Prosedur

1. Buat proyek MaxCompute dan tabel. Tabel tersebut menyimpan data yang Anda sinkronkan ke MaxCompute.

2. Buat ruang kerja DataWorks dan sambungkan resource komputasi MaxCompute.

3. Impor data.

   Impor file lokal ke MaxCompute

   1. Masuk ke Konsol DataWorks dan pilih Wilayah di pojok kiri atas.

   2. Pada panel navigasi kiri, pilih Data Integration > Data Upload and Download.

   3. Pada panel navigasi kiri, klik ikon upload lalu klik Upload Data.

   4. Ikuti petunjuk pada layar untuk mengupload data target.

      Anda dapat mengimpor file CSV, XLS, XLSX, dan JSON ke MaxCompute menggunakan opsi impor Local File atau OSS:

      • Local File: Ukuran maksimum file adalah 5 GB untuk file CSV dan 100 MB untuk jenis file lainnya.

      • OSS: Anda hanya dapat mengupload data dari Bucket yang berada di Wilayah yang sama dengan proyek MaxCompute saat ini.

   Untuk informasi selengkapnya, lihat Upload data.

   Untuk versi ruang kerja DataWorks yang lebih lama, Anda dapat mengupload file CSV lokal atau file teks kustom ke tabel MaxCompute. Untuk informasi selengkapnya, lihat Upload data.

   Impor data dari sumber data lain ke MaxCompute

   1. Masuk ke Konsol DataWorks dan pilih Wilayah di pojok kiri atas.

   2. Pada panel navigasi kiri, pilih Data Development and O&M > Data Development.

   3. Pada bagian Select Workspace, klik Go To DataStudio.

   4. Pada panel kiri DataStudio, klik ikon lalu pilih Create Node > Data Integration > Batch Synchronization atau Real-time Synchronization.

      • Batch Synchronization Node: Atur tujuan data ke MaxCompute dan sumber data ke sumber data lain.

      • Real-time synchronization node: Atur output ke MaxCompute dan input ke sumber data lain.

      Untuk informasi selengkapnya, lihat Konfigurasikan node di antarmuka tanpa kode, Konfigurasikan node di editor kode, dan Konfigurasikan tugas sinkronisasi real-time di DataStudio.

   5. Kembali ke Konsol DataWorks.

      Pada panel navigasi kiri, pilih Data Integration > Data Integration.

   6. Pada panel navigasi kiri, pilih Sync Task, klik Create Synchronization Task, lalu konfigurasikan informasi sumber data di kotak dialog Create Sync Task.

      Untuk informasi selengkapnya, lihat Konfigurasikan tugas sinkronisasi real-time untuk seluruh database.

Fitur sinkronisasi Data Integration

Data Integration DataWorks mendukung sinkronisasi data dari sumber data lain ke MaxCompute. Misalnya, Anda dapat menyinkronkan data dari database seperti ApsaraDB RDS ke MaxCompute. Prinsip sinkronisasi dan fitur yang didukung bervariasi tergantung pada skenario.

• Batch synchronization menyediakan plugin Reader dan Writer untuk membaca dan menulis data ke sumber data.

  • Dalam skenario impor batch, setiap node sinkronisasi batch dapat mengimpor data dari satu atau beberapa tabel ke satu tabel MaxCompute.

• Real-time synchronization mendukung penggabungan berbagai sumber data input dan output untuk membuat tautan sinkronisasi. Tautan ini dapat melakukan sinkronisasi inkremental real-time untuk satu tabel atau seluruh database.

• Data Integration juga menyediakan solusi sinkronisasi untuk berbagai skenario yang melibatkan sumber data berbeda. Solusi ini mendukung skenario seperti sinkronisasi batch untuk seluruh database serta sinkronisasi real-time penuh dan inkremental.

Tabel berikut menjelaskan fitur sinkronisasi data yang didukung untuk MaxCompute.

Untuk informasi selengkapnya tentang fitur sinkronisasi data yang disediakan Data Integration DataWorks untuk MaxCompute, lihat Sumber data MaxCompute.

Penagihan

Untuk menggunakan Data Integration DataWorks dalam sinkronisasi data, Anda perlu menggunakan kelompok sumber daya Data Integration dan kelompok sumber daya penjadwalan. Anda dapat menggunakan kelompok sumber daya bersama atau eksklusif sesuai kebutuhan. Jika data ditransfer melalui Internet, Anda mungkin dikenai biaya transfer data.

• Untuk informasi selengkapnya tentang penagihan kelompok sumber daya Data Integration, lihat Penagihan kelompok sumber daya eksklusif untuk Data Integration: Subscription dan Penagihan kelompok sumber daya bersama untuk Data Integration (debugging): Pay-as-you-go.

• Untuk informasi selengkapnya tentang biaya transfer data, lihat Penagihan lalu lintas internet.

• Untuk informasi selengkapnya tentang penagihan kelompok sumber daya penjadwalan, lihat Penagihan kelompok sumber daya eksklusif untuk penjadwalan: Subscription dan Penagihan kelompok sumber daya bersama untuk penjadwalan.

Praktik terbaik