全部产品
Search
文档中心

DataWorks:Konfigurasi MaxCompute Writer

更新时间:Jul 06, 2025

MaxCompute (sebelumnya dikenal sebagai ODPS) menyediakan solusi impor data yang komprehensif dengan dukungan untuk komputasi cepat pada sejumlah besar data.

Prasyarat

Node pembaca atau konversi telah dikonfigurasi. Untuk informasi lebih lanjut, lihat Ikhtisar fitur sinkronisasi waktu nyata.

Informasi latar belakang

Penghapusan duplikat tidak didukung untuk data yang ingin ditulis ke MaxCompute. Jika offset diatur ulang untuk node sinkronisasi atau node tersebut dijalankan ulang setelah failover, data duplikat mungkin akan ditulis ke MaxCompute.

Prosedur

  1. Buka halaman DataStudio.

    Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sisi kiri, pilih Data Development and O&M > Data Development. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.

  2. Di panel Alur Kerja Terjadwal halaman DataStudio, arahkan pointer ke ikon 新建 dan pilih Create Node > Data Integration > Real-time Synchronization.

    Sebagai alternatif, temukan alur kerja yang diinginkan di panel Alur Kerja Terjadwal, klik kanan nama alur kerja, dan pilih Create Node > Data Integration > Real-time Synchronization.

  3. Di kotak dialog Create Node, atur parameter Sync Method menjadi End-to-end ETL dan konfigurasikan parameter Name dan Path.

  4. Klik Confirm.

  5. Di tab konfigurasi node sinkronisasi waktu nyata, seret MaxCompute di bagian Output ke kanvas di sebelah kanan, dan hubungkan node MaxCompute ke node pembaca atau konversi yang telah dikonfigurasi.

  6. Klik node MaxCompute. Di panel yang muncul, konfigurasikan parameter.

    MaxCompute

    Parameter

    Deskripsi

    Data source

    Nama sumber data MaxCompute yang Anda tambahkan ke DataWorks. Anda hanya dapat memilih sumber data MaxCompute.

    Jika tidak ada sumber data yang tersedia, klik New data source di sebelah kanan untuk pergi ke halaman Data Sources di Management Center untuk menambahkan sumber data MaxCompute. Untuk informasi lebih lanjut, lihat Tambahkan sumber data MaxCompute.

    Tunnel Resource Group

    Nama grup kuota Tunnel. Secara default, Common transmission resources dipilih, yaitu kuota yang disediakan oleh MaxCompute secara gratis.

    Untuk informasi lebih lanjut tentang sumber daya transmisi data MaxCompute, lihat Beli dan gunakan grup sumber daya eksklusif untuk layanan transmisi data.

    Catatan

    Jika kuota Tunnel eksklusif tidak tersedia karena pembayaran terlambat atau kedaluwarsa, tugas yang sedang berjalan secara otomatis beralih dari kuota Tunnel eksklusif ke kuota Tunnel gratis.

    schema

    Pilih nama schema yang dibuat di MaxCompute.

    Table

    Nama tabel MaxCompute ke mana Anda ingin menulis data.

    Anda dapat mengklik Create Table untuk membuat tabel, atau klik Data preview untuk melihat pratinjau tabel yang dipilih.

    Catatan

    Sebelum Anda membuat tabel, hubungkan node MaxCompute ke node pembaca dan pastikan bahwa bidang output telah ditentukan untuk node pembaca.

    Partition Information

    Informasi tentang tabel MaxCompute yang dipartisi.

    Partitioning Mode

    Mode di mana data ditulis ke partisi tujuan tabel MaxCompute. Nilai valid: Automatic Partitioning by Time dan Dynamic Partitioning by Field Value. Jika Anda memilih Automatic Partitioning by Time, data ditulis ke partisi tujuan tabel MaxCompute berdasarkan nilai bidang _execute_time_. Untuk informasi lebih lanjut, lihat Bidang yang digunakan untuk sinkronisasi waktu nyata. Jika Anda memilih Dynamic Partitioning by Field Value, data secara dinamis ditulis ke partisi tujuan tabel MaxCompute berdasarkan pemetaan antara bidang di tabel sumber dan bidang di partisi tabel MaxCompute tujuan.

    Mappings

    Pemetaan bidang antara sumber dan tujuan. Klik Mappings untuk mengonfigurasi pemetaan bidang. Node sinkronisasi waktu nyata mensinkronkan data berdasarkan pemetaan bidang.

    Jika Anda ingin membuat tabel, klik Create Table di sebelah Tabel. Di kotak dialog Create Table, konfigurasikan parameter.一键建表

    Parameter atau bagian

    Deskripsi

    Table Name

    Nama tabel MaxCompute ke mana Anda ingin menulis data secara real-time.

    Lifecycle

    Siklus hidup tabel MaxCompute. Untuk informasi lebih lanjut, lihat Siklus Hidup.

    Data Field Structure

    Di bagian ini, Anda dapat mengonfigurasi bidang tabel MaxCompute. Anda dapat mengklik New field untuk menambahkan bidang.

    Configure Partition Settings

    Di bagian ini, Anda dapat mengonfigurasi informasi partisi tabel MaxCompute. Nilai valid untuk parameter Mode Partisi: Automatic Partitioning by Time dan Dynamic Partitioning by Field Value.

    • Automatic Partitioning by Time: Data ditulis ke partisi tujuan tabel MaxCompute berdasarkan nilai bidang _execute_time_. Untuk informasi lebih lanjut, lihat Bidang yang digunakan untuk sinkronisasi waktu nyata.时间自动分区

      Penting
      • Anda harus mengonfigurasi setidaknya dua tingkat partisi, yaitu partisi tahunan dan bulanan. Anda dapat mengonfigurasi maksimal lima tingkat partisi, yaitu partisi tahunan, bulanan, harian, per jam, dan per menit.

      • Untuk informasi lebih lanjut tentang tabel MaxCompute, lihat Partisi.

    • Dynamic Partitioning by Field Value: Data secara dinamis ditulis ke partisi tujuan tabel MaxCompute berdasarkan pemetaan antara bidang di tabel sumber dan bidang di partisi tabel MaxCompute tujuan. 根据字段内容动态分区Sebagai contoh, nilai Field A di tabel sumber didefinisikan sebagai nilai bidang partisi di tabel MaxCompute. Jika nilai Field A adalah aa, data ditulis ke partisi aa tabel MaxCompute. Jika nilai Field A adalah bb, data ditulis ke partisi bb tabel MaxCompute.

  7. Di bilah alat atas tab konfigurasi node sinkronisasi waktu nyata, klik ikon 保存 untuk menyimpan node.