E-MapReduce:Delta Lake

Solusi data lake khas menyimpan berbagai jenis data pada sistem penyimpanan data besar seperti Alibaba Cloud Object Storage Service (OSS) atau Hadoop Distributed File System (HDFS) on-premises, serta terhubung ke mesin analitik seperti Spark atau Presto untuk mengurai data. Namun, pendekatan ini memiliki beberapa permasalahan:

• Impor yang gagal menghasilkan data kotor yang sulit dibersihkan, dan pekerjaan yang gagal sulit dipulihkan.

• Tidak tersedia proses ekstrak, transformasi, dan muat (ETL), sehingga pengawasan kualitas data tidak memadai.

• Tidak ada dukungan transaksi untuk mengisolasi operasi baca dan tulis, sehingga mencegah operasi baca/tulis streaming dan batch berjalan secara independen.

Solusi Delta Lake bekerja sebagai berikut:

• Menambahkan lapisan manajemen data di atas lapisan penyimpanan data besar, mirip dengan manajemen metadata dalam database. Metadata disimpan bersama data dan terlihat oleh pengguna, seperti yang ditunjukkan dalam Data warehouse dan data lake.

• Delta Lake menghadirkan atomicity, consistency, isolation, dan durability (ACID) melalui manajemen metadata, yang menyelesaikan masalah data kotor akibat impor gagal dan kurangnya isolasi baca/tulis selama ingesti data.

• Metadata menyimpan kolom tabel sumber, dan Delta Lake memvalidasi data selama impor untuk memastikan kualitas data.

• Dukungan transaksi memungkinkan operasi baca/tulis batch dan streaming berjalan secara terisolasi.

Tabel berikut membandingkan Data Warehouse, Data Lake, dan Delta Lake.

Delta Lake cocok untuk manajemen data lake berbasis cloud dan mendukung skenario berikut:

• Kueri real-time: Data mengalir dari sumber hulu ke Delta Lake secara real-time dan langsung tersedia untuk dikueri. Misalnya, dalam skenario Change Data Capture (CDC), Anda dapat menggunakan Spark Streaming untuk mengonsumsi binlog secara real-time. Fitur merge Delta Lake memperbarui data hulu ke dalam data lake, dan Anda kemudian dapat mengkuerinya dengan Hive, Spark, atau Presto. Karena ACID didukung, ingesti data dan kueri diisolasi, sehingga mencegah dirty read.

• Hapus atau perbarui untuk General Data Protection Regulation (GDPR): Solusi data lake khas tidak mendukung penghapusan atau pembaruan. Untuk memodifikasi data dalam solusi tersebut, Anda harus menghapus data mentah dan menulis ulang ke penyimpanan. Delta Lake mendukung penghapusan dan pembaruan data secara langsung.

• Sinkronisasi data real-time dengan CDC: Anda dapat menggunakan fitur merge Delta Lake untuk menjalankan pekerjaan streaming yang menggabungkan data hulu ke dalam data lake secara real-time.

• Kontrol kualitas data: Anda dapat menggunakan validasi skema Delta Lake untuk menyaring data anomali selama impor atau memprosesnya lebih lanjut.

• Evolusi skema: Skema data tidak tetap. Delta Lake memungkinkan Anda memodifikasi skema data melalui API.

• Pembelajaran mesin real-time: Dalam skenario pembelajaran mesin, sebagian besar upaya difokuskan pada pemrosesan data—pembersihan, transformasi, dan ekstraksi fitur—yang biasanya memerlukan penanganan data historis dan real-time secara terpisah. Delta Lake menyederhanakan hal ini dengan menyatukan seluruh pipeline pemrosesan data menjadi satu aliran real-time yang andal. Operasi seperti pembersihan data, transformasi, dan rekayasa fitur menjadi aksi aliran, sehingga menghilangkan kebutuhan untuk memproses data historis dan real-time secara terpisah.