Di MaxCompute, Anda dapat menulis data tambahan ke tabel delta dalam mode mendekati waktu nyata dan menulis data penuh ke tabel delta sekaligus. Topik ini menjelaskan desain arsitektur untuk skenario penulisan tambahan mendekati waktu nyata dengan konkurensi tinggi.
Dalam skenario pemrosesan data bisnis aktual, berbagai sumber data terlibat, seperti database, sistem log, atau sistem antrian pesan. Untuk membantu Anda menulis data ke tabel delta, MaxCompute menyediakan Plugin konektor Flink open source. Anda dapat menggunakan plugin ini bersama dengan Data Integration dari DataWorks dan alat impor data lainnya untuk memenuhi persyaratan latensi rendah dan akurasi data tinggi dalam skenario konkurensi tinggi, toleransi kesalahan, dan pengiriman transaksi.
Gambar di atas mengilustrasikan pemrosesan data bisnis.
Alat impor data terintegrasi dengan klien SDK yang disediakan oleh layanan Tunnel MaxCompute untuk mendukung penulisan data level-menit dengan konkurensi tinggi ke server Tunnel. Kemudian, server Tunnel memulai beberapa node pekerja untuk menulis data secara paralel ke file data setiap bucket.
Anda dapat mengonfigurasi parameter write.bucket.num untuk menentukan konkurensi penulisan. Konkurensi tinggi menunjukkan kecepatan penulisan yang lebih tinggi. Untuk informasi lebih lanjut tentang manfaat yang diberikan oleh bucket, lihat Format Data Tabel.
Antarmuka penulisan data yang disediakan oleh Tunnel SDK mendukung operasi UPSERT dan DELETE.
Pemanggilan antarmuka commit mewakili komit atomik dari data yang ditulis sebelum commit.
Jika pemanggilan berhasil, data yang ditulis dapat di-query dan memenuhi persyaratan isolasi snapshot baca/tulis.
Jika pemanggilan gagal, Anda dapat mencoba menulis ulang data. Jika kegagalan tidak disebabkan oleh kesalahan yang tidak dapat dipulihkan, seperti kerusakan data, percobaan ulang mungkin berhasil dan Anda tidak perlu menulis ulang data. Sebaliknya, Anda harus menulis ulang dan mengirim ulang data.