DataWorks:Sumber data MaxCompute

Baca batch

• MaxCompute Reader mendukung pembacaan data dari tabel partisi dan tabel non-partisi, tetapi tidak mendukung pembacaan dari virtual view atau tabel eksternal.

• Saat melakukan pembacaan batch dari tabel partisi MaxCompute, Anda tidak dapat langsung mengonfigurasi pemetaan bidang untuk kolom kunci partisi. Untuk menyinkronkan nilai kunci partisi, tambahkan bidang kustom, masukkan nama partisi secara manual, lalu konfigurasi pemetaan bidang tersebut.

• Anda dapat menentukan nilai partisi dengan menggunakan parameter penjadwalan untuk mengaktifkan penggantian otomatis, sehingga data dari partisi yang sesuai disinkronkan berdasarkan waktu penjadwalan.

  Sebagai contoh, tabel partisi bernama t0 memiliki kolom id dan name. Kunci partisi level-1 adalah pt dan kunci partisi level-2 adalah ds. Untuk membaca data dari partisi dengan pt=<tanggal bisnis> dan ds=hangzhou, tentukan nilai partisi sebagai pt=${parameter penjadwalan} dan ds=hangzhou saat mengonfigurasi sumber. Kemudian, konfigurasikan pemetaan kolom untuk kolom id dan name.

• Anda dapat menulis kolom kunci partisi ke tabel tujuan dengan menambahkannya sebagai bidang kustom.

• MaxCompute Reader mendukung penyaringan data dengan menggunakan klausa WHERE.

Tulis batch

• MaxCompute Writer tidak mendukung tipe data VARCHAR jika data sumber berisi nilai null.

• Jika tabel tujuan adalah DeltaTable, buka Advanced Configuration dan atur Visible After Synchronization ke Yes. Jika tidak, tugas akan menghasilkan error jika konkurensi lebih besar dari 1.

• Sinkronisasi data dari sumber ke tabel eksternal MaxCompute tidak didukung.

• Jika suatu kolom di tabel tujuan tidak dipetakan ke kolom sumber, Data Integration akan mengatur nilainya menjadi null setelah sinkronisasi, meskipun nilai default telah ditentukan saat tabel dibuat.

Tulis real-time

• Tugas sinkronisasi real-time mendukung serverless resource groups.

• Tugas sinkronisasi real-time tidak mendukung sinkronisasi tabel tanpa primary key.

• Sinkronisasi data dari sumber ke tabel eksternal MaxCompute tidak didukung.

• Saat melakukan sinkronisasi real-time ke sumber data MaxCompute default (biasanya odps_first), pasangan AccessKey temporary digunakan secara default. Pasangan AccessKey temporary tersebut kedaluwarsa setelah 7 hari, sehingga menyebabkan tugas gagal. Platform secara otomatis me-restart tugas ketika mendeteksi bahwa kegagalan disebabkan oleh kedaluwarsa pasangan AccessKey temporary. Jika Anda telah mengonfigurasi aturan pemantauan untuk jenis peringatan ini, Anda akan menerima pemberitahuan peringatan.

• Untuk sinkronisasi real-time satu klik ke tugas MaxCompute, hanya data historis lengkap yang dapat dikueri pada hari konfigurasi. Data inkremental hanya dapat dikueri di MaxCompute setelah proses merge selesai pada hari berikutnya.

• Tugas sinkronisasi real-time satu klik ke MaxCompute menghasilkan partisi lengkap setiap hari. Untuk mencegah penggunaan penyimpanan berlebihan, tabel MaxCompute yang dibuat secara otomatis oleh tugas ini memiliki siklus hidup default selama 30 hari. Jika hal ini tidak sesuai dengan kebutuhan bisnis Anda, Anda dapat mengklik nama tabel MaxCompute yang sesuai saat mengonfigurasi tugas sinkronisasi untuk mengubah siklus hidupnya.

• Data Integration menggunakan saluran data sinkronisasi engine MaxCompute untuk mengunggah dan mengunduh data. Untuk detail SLA saluran data sinkronisasi, lihat MaxCompute Tunnel overview. Evaluasi pilihan teknologi sinkronisasi data Anda berdasarkan SLA saluran data sinkronisasi engine MaxCompute.

• Untuk sinkronisasi real-time satu klik ke MaxCompute dalam mode instans, grup sumber daya eksklusif untuk Data Integration harus memiliki spesifikasi minimum 8C16G.

• Hanya sumber data MaxCompute kustom di wilayah yang sama dengan ruang kerja saat ini yang didukung. Proyek MaxCompute lintas wilayah mungkin lolos uji konektivitas, tetapi selama eksekusi tugas, error yang menunjukkan bahwa engine tidak ada akan dilaporkan pada fase pembuatan tabel di MaxCompute.

• Saat MaxCompute digunakan sebagai tujuan untuk sinkronisasi basis data lengkap, jika tipe tabel adalah tabel reguler, hanya sinkronisasi real-time satu klik ke MaxCompute dan mode streaming inkremental untuk sinkronisasi real-time basis data lengkap yang didukung. Jika tipe tabel adalah Delta Table, baik sinkronisasi real-time basis data lengkap maupun sinkronisasi real-time satu klik ke MaxCompute didukung.

  Catatan

  Saat Anda menggunakan sumber data MaxCompute kustom, proyek DataWorks tetap harus dikaitkan dengan engine MaxCompute. Jika tidak, Anda tidak dapat membuat node SQL MaxCompute, sehingga menyebabkan kegagalan pembuatan node done-flag untuk sinkronisasi lengkap.

Kolom yang didukung oleh tipe data 1.0

Kolom yang didukung oleh tipe data 2.0 dan tipe data kompatibel Hive

Konversi tipe data

Tabel berikut menjelaskan konversi tipe data yang didukung oleh MaxCompute Reader.

Jika konversi data gagal atau data gagal ditulis ke sumber data tujuan, data tersebut dianggap sebagai dirty data. Anda dapat menggabungkan hal ini dengan ambang batas dirty data.

Koneksikan ke MaxCompute dan aktifkan pengaturan tingkat proyek

• Masuk ke klien MaxCompute. Untuk informasi lebih lanjut, lihat Klien MaxCompute.

• Aktifkan pengaturan tingkat proyek MaxCompute: Pastikan Anda memiliki izin yang diperlukan. Anda dapat menggunakan akun Project Owner untuk melakukan operasi terkait. Untuk informasi lebih lanjut tentang izin MaxCompute, lihat Izin MaxCompute.

Aktifkan properti ACID

Anda dapat menggunakan akun Project Owner untuk menjalankan perintah berikut pada klien guna mengaktifkan properti ACID. Untuk informasi lebih lanjut tentang semantik ACID di MaxCompute, lihat Semantik ACID.

setproject odps.sql.acid.table.enable=true;

(Opsional) Aktifkan tipe data 2.0

Jika Anda perlu menggunakan tipe TIMESTAMP dalam tipe data MaxCompute 2.0, Anda dapat menggunakan akun Project Owner untuk menjalankan perintah berikut pada klien guna mengaktifkan tipe data 2.0.

setproject odps.sql.type.system.odps2=true;

(Opsional) Berikan akses ke akun

Saat Anda mengaitkan sumber daya komputasi MaxCompute dengan ruang kerja, sumber data MaxCompute dibuat secara default di DataWorks. Anda dapat menggunakan sumber data ini untuk sinkronisasi data di ruang kerja saat ini. Jika Anda ingin menyinkronkan data dari sumber data MaxCompute ini di ruang kerja lain, pastikan akun akses yang ditentukan untuk sumber data di ruang kerja lain memiliki izin yang diperlukan untuk mengakses proyek MaxCompute. Untuk otorisasi lintas akun, lihat Otorisasi lintas akun.

Konfigurasi tugas sinkronisasi batch tabel tunggal

• Untuk prosedurnya, lihat Konfigurasi tugas sinkronisasi batch dalam mode wizard dan Konfigurasi tugas sinkronisasi batch dalam mode skrip.

• Untuk daftar lengkap parameter dan demo skrip untuk mode skrip, lihat Lampiran: Demo skrip dan deskripsi parameter.

Konfigurasi tugas sinkronisasi real-time tabel tunggal

Untuk prosedurnya, lihat Konfigurasi tugas sinkronisasi real-time tabel tunggal.

Konfigurasi tugas sinkronisasi basis data lengkap

Untuk prosedurnya, lihat Sinkronisasi data dari basis data lengkap dalam mode batch, Sinkronisasi data dari basis data lengkap dalam mode real-time, dan Sinkronisasi real-time satu klik ke MaxCompute.

Konfigurasi tugas sinkronisasi batch menggunakan editor kode

Jika Anda ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip berdasarkan persyaratan format skrip terpadu. Untuk informasi lebih lanjut, lihat Gunakan Editor Kode. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Demo skrip Reader

Hapus komentar dari kode berikut sebelum menjalankannya.

{
    "type":"job",
    "version":"2.0",
    "steps":[
        {
            "stepType":"odps",//Nama plug-in.
            "parameter":{
                "partition":[],//Partisi dari mana data dibaca.
                "isCompress":false,//Menentukan apakah data dikompresi.
                "datasource":"",//Sumber data.
                "column":[//Informasi kolom tabel sumber.
                    "id"
                ],
                "where": "",//Konten klausa WHERE spesifik saat penyaringan data menggunakan WHERE diaktifkan.
                "enableWhere":false,//Menentukan apakah penyaringan data menggunakan WHERE diaktifkan.
                "table":""//Nama tabel.
            },
            "name":"Reader",
            "category":"reader"
        },
        { 
            "stepType":"stream",
            "parameter":{
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//Jumlah error.
        },
        "speed":{
            "throttle":true,//Jika throttle diatur ke false, parameter mbps tidak berlaku dan pembatasan kecepatan dinonaktifkan. Jika throttle diatur ke true, pembatasan kecepatan diaktifkan.
            "concurrent":1, //Konkurensi.
            "mbps":"12"//Laju pembatasan. 1 mbps = 1 MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Jika Anda ingin menentukan Tunnel Endpoint untuk MaxCompute, Anda dapat mengonfigurasi sumber data secara manual dalam mode skrip. Ganti "datasource":"", pada contoh di atas dengan parameter spesifik sumber data. Contoh:

"accessId":"*******************",
"accessKey":"*******************",
"endpoint":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api",
"odpsServer":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api", 
"tunnelServer":"http://dt.eu-central-1.maxcompute.aliyun.com", 
"project":"*****", 

Parameter skrip Reader

Demo skrip Writer

Berikut adalah contoh konfigurasi skrip.

{
    "type":"job",
    "version":"2.0",//Nomor versi.
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"odps",//Nama plug-in.
            "parameter":{
                "partition":"",//Informasi partisi.
                "truncate":true,//Aturan pembersihan.
                "isCompress":false,//Menentukan apakah data dikompresi.
                "datasource":"odps_first",//Nama sumber data.
            "column": [//Nama kolom sumber.
                "id",
                "name",
                "age",
                "sex",
                "salary",
                "interest"
                ],
                "table":""//Nama tabel.
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//Jumlah error, yang menentukan jumlah maksimum catatan dirty data yang dapat ditoleransi.
        },
        "speed":{
            "throttle":true,//Jika throttle diatur ke false, parameter mbps tidak berlaku dan pembatasan kecepatan dinonaktifkan. Jika throttle diatur ke true, pembatasan kecepatan diaktifkan.
            "concurrent":1, //Konkurensi.
            "mbps":"12"//Laju pembatasan. 1 mbps = 1 MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Jika Anda ingin menentukan Tunnel Endpoint untuk MaxCompute, Anda dapat mengonfigurasi sumber data secara manual dalam mode skrip. Ganti "datasource":"", pada contoh di atas dengan parameter spesifik sumber data. Contoh:

"accessId":"<yourAccessKeyId>",
 "accessKey":"<yourAccessKeySecret>",
 "endpoint":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api",
 "odpsServer":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api", 
"tunnelServer":"http://dt.eu-central-1.maxcompute.aliyun.com", 
"project":"**********", 

Parameter skrip Writer