DataWorks:Sumber data MaxCompute

Baca batch

• MaxCompute Reader mendukung pembacaan data dari tabel partisi maupun non-partisi. Fitur ini tidak mendukung pembacaan data dari virtual view atau sinkronisasi tabel eksternal.

• Saat melakukan pembacaan data batch dari tabel partisi MaxCompute, Anda tidak dapat langsung memetakan kolom partisi. Untuk menyinkronkan nilai kolom partisi, tambahkan kolom kustom dan masukkan nama partisi secara manual untuk pemetaan tersebut.

• Anda dapat menentukan partisi dengan menggunakan parameter penjadwalan untuk substitusi otomatis. Ini berguna dalam skenario di mana Anda perlu menyinkronkan data dari partisi yang sesuai dengan waktu penjadwalan.

  Sebagai contoh, pertimbangkan tabel t0 dengan kolom id dan name, partisi level-1 pt, dan partisi level-2 ds. Untuk membaca data dari partisi pt=<Business Date> dan ds=hangzhou, Anda harus menentukan nilai partisi sebagai pt=${Scheduling Parameter} dan ds=hangzhou saat mengonfigurasi sumber data. Kemudian, Anda dapat memetakan kolom id dan name.

• Untuk menulis kolom partisi ke tabel tujuan, tambahkan kolom tersebut sebagai kolom kustom.

• MaxCompute Reader mendukung penyaringan data menggunakan klausa WHERE.

Tulis batch

• Ketika data berisi nilai null, MaxCompute Writer tidak mendukung tipe data VARCHAR.

• Jika tabel tujuan adalah DeltaTable, buka Advanced Configurations dan atur Visible After Sync ke Yes. Jika tidak, tugas akan gagal dalam skenario di mana konkurensi lebih besar dari 1.

• Menulis data ke tabel eksternal MaxCompute tidak didukung.

• Jika kolom tujuan tidak dipetakan dari kolom sumber, nilainya akan menjadi null setelah sinkronisasi, menggantikan nilai default yang ditentukan saat pembuatan tabel.

Tulis real-time

• Tugas sinkronisasi data real-time mendukung grup sumber daya arsitektur tanpa server.

• Tabel tujuan untuk sinkronisasi real-time harus memiliki primary key.

• Menulis data ke tabel eksternal MaxCompute tidak didukung.

• Saat menyinkronkan data secara real-time ke sumber data MaxCompute default, yang biasanya odps_first, Access Key (AK) temporary digunakan untuk sinkronisasi secara default. AK temporary ini secara otomatis kedaluwarsa setelah 7 hari, yang menyebabkan tugas gagal. Platform secara otomatis memulai ulang tugas ketika mendeteksi bahwa kegagalan disebabkan oleh AK temporary tersebut. Jika Anda telah mengonfigurasi peringatan pemantauan untuk tugas tersebut, Anda akan menerima pesan peringatan.

• Untuk tugas sinkronisasi real-time satu klik, data historis tersedia untuk kueri pada hari konfigurasi. Data inkremental tersedia setelah digabungkan pada hari berikutnya.

• Tugas sinkronisasi real-time satu klik ke MaxCompute membuat partisi penuh setiap hari. Untuk mencegah konsumsi penyimpanan berlebihan, tabel MaxCompute yang dibuat secara otomatis memiliki siklus hidup default 30 hari. Jika durasi ini tidak memenuhi kebutuhan bisnis Anda, Anda dapat mengklik nama tabel MaxCompute selama konfigurasi tugas untuk mengubah siklus hidupnya.

• Data Integration menggunakan saluran sinkronisasi data dari engine MaxCompute untuk unggah dan unduh data. Untuk informasi lebih lanjut tentang service level agreement (SLA) saluran ini, lihat Skenario dan alat unggah data. Anda harus mengevaluasi solusi sinkronisasi data Anda berdasarkan SLA saluran tersebut.

• Untuk sinkronisasi real-time satu klik ke MaxCompute dalam mode instans, grup sumber daya eksklusif untuk Data Integration harus memiliki spesifikasi minimum 8-core 16 GB.

• Anda hanya dapat menggunakan sumber data MaxCompute kustom yang berada di wilayah yang sama dengan ruang kerja saat ini. Untuk sumber data lintas wilayah, pengujian konektivitas mungkin berhasil, tetapi tugas sinkronisasi akan gagal selama fase pembuatan tabel di MaxCompute dengan error 'engine not found'.

• Ketika MaxCompute berfungsi sebagai tujuan untuk sinkronisasi seluruh database, tabel standar hanya mendukung mode log inkremental dari sinkronisasi real-time seluruh database dan sinkronisasi full-incremental real-time satu klik. Sebaliknya, Delta Table mendukung kedua jenis sinkronisasi real-time seluruh database dan sinkronisasi full-incremental real-time satu klik.

  Catatan

  Saat menggunakan sumber data MaxCompute kustom, proyek DataWorks masih harus dikaitkan dengan engine MaxCompute. Jika tidak, Anda tidak dapat membuat node SQL MaxCompute, yang pada gilirannya menyebabkan node penanda penyelesaian sinkronisasi penuh gagal.

Tipe data 1.0

Tipe data 2.0 dan tipe data kompatibel Hive

Pemetaan tipe data

Tabel berikut mencantumkan pemetaan tipe data untuk MaxCompute Reader.

Hubungkan ke MaxCompute dan aktifkan pengaturan proyek

• Masuk ke klien MaxCompute. Untuk informasi lebih lanjut, lihat Hubungkan menggunakan klien lokal (odpscmd).

• Aktifkan pengaturan tingkat proyek untuk MaxCompute. Pastikan Anda memiliki izin yang diperlukan. Anda dapat menggunakan akun yang memiliki role Project Owner untuk melakukan operasi ini. Untuk informasi lebih lanjut tentang izin MaxCompute, lihat Perencanaan role.

Aktifkan semantik ACID

Anda dapat menggunakan akun yang memiliki role Project Owner untuk menjalankan perintah berikut di klien guna mengaktifkan properti ACID. Untuk informasi lebih lanjut tentang semantik ACID di MaxCompute, lihat Semantik ACID.

setproject odps.sql.acid.table.enable=true;

(Opsional) Aktifkan tipe data 2.0

Untuk menggunakan tipe data TIMESTAMP, Anda harus mengaktifkan tipe data MaxCompute 2.0. Jalankan perintah berikut menggunakan akun dengan role Project Owner:

setproject odps.sql.type.system.odps2=true;

(Opsional) Berikan izin akun

Saat mengaitkan resource komputasi MaxCompute dengan ruang kerja, sumber data MaxCompute dibuat di DataWorks secara default. Anda dapat menggunakan sumber data ini untuk sinkronisasi data dalam ruang kerja saat ini. Untuk menggunakan sumber data ini dari ruang kerja yang berbeda, akun akses yang dikonfigurasi di ruang kerja lain harus memiliki izin yang diperlukan pada proyek MaxCompute asli. Untuk informasi tentang otorisasi cross-account, lihat Otorisasi cross-account (MaxCompute dan Hologres).

Sinkronisasi batch tabel tunggal

• Untuk petunjuknya, lihat Gunakan Antarmuka tanpa kode dan Gunakan editor kode.

• Untuk daftar lengkap parameter dan contoh kode untuk editor kode, lihat Lampiran: Kode dan parameter.

Sinkronisasi real-time tabel tunggal

Untuk petunjuknya, lihat Buat node sinkronisasi real-time untuk menyinkronkan data inkremental dari tabel tunggal dan Konfigurasi tugas sinkronisasi real-time di DataStudio.

Sinkronisasi seluruh database

Untuk petunjuknya, lihat tugas sinkronisasi batch seluruh database, Konfigurasi tugas sinkronisasi real-time seluruh database, dan sinkronisasi full-incremental real-time satu klik.

Konfigurasi tugas sinkronisasi batch menggunakan editor kode

Jika ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip berdasarkan persyaratan format skrip terpadu. Untuk informasi lebih lanjut, lihat Gunakan editor kode. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Contoh skrip Reader

{
    "type":"job",
    "version":"2.0",
    "steps":[
        {
            "stepType":"odps",// Nama plug-in.
            "parameter":{
                "partition":[],// Partisi tempat data dibaca.
                "isCompress":false,// Menentukan apakah data dikompresi.
                "datasource":"",// Sumber data.
                "column":[// Kolom dari tabel sumber.
                    "id"
                ],
                "where": "",// Konten klausa WHERE untuk penyaringan data.
                "enableWhere":false,// Menentukan apakah menggunakan klausa WHERE untuk penyaringan data.
                "table":""// Nama tabel.
            },
            "name":"Reader",
            "category":"reader"
        },
        { 
            "stepType":"stream",
            "parameter":{
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah catatan error.
        },
        "speed":{
            "throttle":true,// Jika throttle diatur ke false, parameter mbps tidak berlaku, dan kecepatan sinkronisasi data tidak dibatasi. Jika throttle diatur ke true, kecepatan sinkronisasi data dibatasi.
            "concurrent":1, // Jumlah thread konkuren.
            "mbps":"12"// Kecepatan transmisi maksimum. Satuan MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Jika perlu menentukan Tunnel Endpoint untuk MaxCompute, Anda dapat mengonfigurasi sumber data secara manual di editor kode. Ganti "datasource":"", pada contoh di atas dengan parameter spesifik untuk sumber data. Berikut adalah contohnya.

"accessId":"*******************",
"accessKey":"*******************",
"endpoint":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api",
"odpsServer":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api", 
"tunnelServer":"http://dt.eu-central-1.maxcompute.aliyun.com", 
"project":"*****", 

Parameter skrip Reader

Contoh skrip Writer

Kode berikut memberikan contoh skrip.

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"odps",// Nama plug-in.
            "parameter":{
                "partition":"",// Informasi partisi.
                "truncate":true,// Aturan pembersihan.
                "compress":false,// Menentukan apakah data dikompresi.
                "datasource":"odps_first",// Nama sumber data.
            "column": [// Nama kolom sumber.
                "id",
                "name",
                "age",
                "sex",
                "salary",
                "interest"
                ],
                "table":""// Nama tabel.
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah catatan error. Ini menentukan jumlah maksimum catatan dirty data yang dapat ditoleransi.
        },
        "speed":{
            "throttle":true,// Jika throttle diatur ke false, parameter mbps tidak berlaku, dan kecepatan sinkronisasi data tidak dibatasi. Jika throttle diatur ke true, kecepatan sinkronisasi data dibatasi.
            "concurrent":1, // Jumlah thread konkuren.
            "mbps":"12"// Kecepatan transmisi maksimum. Satuan MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Jika perlu menentukan Tunnel Endpoint MaxCompute, Anda dapat mengonfigurasi sumber data secara manual di editor kode. Ganti "datasource":"", pada contoh di atas dengan parameter spesifik untuk sumber data. Berikut adalah contohnya.

"accessId":"<yourAccessKeyId>",
 "accessKey":"<yourAccessKeySecret>",
 "endpoint":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api",
 "odpsServer":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api", 
"tunnelServer":"http://dt.eu-central-1.maxcompute.aliyun.com", 
"project":"**********", 

Parameter skrip Writer