Data Lake VS Data Warehouse

Seiring dengan munculnya konsep data lake dalam beberapa tahun terakhir, industri terus berdebat tentang perbandingan antara data warehouse dan data lake. Sebagian orang mengatakan bahwa data lake adalah platform big data generasi berikutnya. Penyedia cloud utama juga mengajukan solusi data lake mereka sendiri. Beberapa produk cloud data warehouse juga menambahkan fitur tautan dengan data lake. Namun, apa sebenarnya perbedaan antara data warehouse dan data lake?

Dalam artikel sebelumnya, kami telah memperkenalkan apa itu data lake, arsitektur dasar data lake, dan kerangka kerja data lake berbasis cloud. Artikel ini akan menganalisis perbedaan antara data lake dan data warehouse, serta memperkenalkan arah baru integrasi dan evolusi keduanya — integrasi lake dan warehouse.

1. Apa itu data warehouse

Konsep data warehouse berasal dari bidang database, terutama menangani skenario kueri dan analisis kompleks yang berorientasi data. Seiring perkembangan teknologi big data, sejumlah besar teknologi database, seperti bahasa SQL, query optimizer, dll., telah dipinjam untuk membentuk data warehouse big data, yang telah menjadi arus utama karena kemampuan analitiknya yang kuat. Dalam beberapa tahun terakhir, kombinasi data warehouse dan teknologi cloud-native telah menghasilkan cloud data warehouse, yang memecahkan masalah pasokan sumber daya bagi perusahaan untuk men-deploy data warehouse. Sebagai kemampuan platform tingkat tinggi (tingkat perusahaan) dari big data, cloud data warehouse semakin menarik perhatian karena kemampuannya yang siap pakai, ekspansi tak terbatas, serta operasi dan pemeliharaan yang sederhana.

Data warehouse adalah koleksi strategis yang menyediakan dukungan untuk semua jenis data bagi proses pengambilan keputusan di semua tingkat perusahaan. Ini adalah penyimpanan data tunggal yang dibuat untuk tujuan pelaporan analitis dan dukungan keputusan. Memberikan panduan tentang peningkatan proses bisnis, pemantauan waktu, biaya, kualitas, dan kontrol untuk bisnis yang membutuhkan business intelligence.

Esensi dari data warehouse terdiri dari tiga bagian berikut:
(1) Sistem penyimpanan bawaan, data disediakan secara abstrak (misalnya menggunakan Table atau View), dan sistem file tidak diekspos.
(2) Data perlu dibersihkan dan ditransformasi, biasanya menggunakan metode ETL/ELT
(3) Penekanan pada pemodelan dan manajemen data untuk pengambilan keputusan business intelligence

Dilihat dari kriteria di atas, baik data warehouse tradisional (seperti Teradata) maupun sistem cloud data warehouse yang muncul (AWS Redshift, Google BigQuery, Alibaba Cloud MaxCompute) mewujudkan esensi desain data warehouse, dan tidak ada satupun yang mengekspos sistem file ke dunia luar. Ini adalah antarmuka layanan yang menyediakan data masuk dan keluar. Ada beberapa keuntungan dari desain ini:

(1) Mesin memahami data secara mendalam, dan penyimpanan serta komputasi dapat dioptimalkan secara mendalam
(2) Manajemen siklus hidup data, sistem lineage yang sempurna
(3) Manajemen dan tata kelola data fine-grained
(4) Kemampuan manajemen metadata yang sempurna, mudah untuk membangun pusat data tingkat perusahaan

Karena itu, pada awal pembangunan platform big data Feitian Alibaba, diadopsi arsitektur data warehouse, yaitu platform big data MaxCompute. MaxCompute (sebelumnya ODPS) bukan hanya platform big data untuk ekonomi Alibaba, tetapi juga layanan komputasi big data online di Alibaba Cloud yang aman, andal, berperforma tinggi, berbiaya rendah, dan dapat diskalakan secara elastis dari GB hingga EB sesuai permintaan (Gambar 6. Ini adalah arsitektur produk MaxCompute. Untuk detailnya, silakan klik alamat situs web resmi Alibaba Cloud MaxCompute). Sebagai cloud data warehouse tingkat perusahaan dalam model SaaS, MaxCompute banyak digunakan dalam ekonomi Alibaba dan ribuan pelanggan di Alibaba Cloud, termasuk Internet, keuangan baru, ritel baru, dan pemerintah digital.

Berkat arsitektur data warehouse MaxCompute, manajemen puncak Alibaba telah secara bertahap membangun kemampuan manajemen seperti "sistem keamanan data", "kualitas data", "tata kelola data", dan "pelabelan data", dan akhirnya membentuk middle office big data Alibaba. Dapat dikatakan bahwa, sebagai pendukung awal konsep data middle platform, data middle platform Alibaba mendapat manfaat dari arsitektur data warehouse.

2. Tren evolusi dari database, data warehouse ke data lake

Data dalam database memiliki persyaratan penyelarasan, database berorientasi aplikasi, dan setiap aplikasi mungkin memerlukan database. Jika sebuah perusahaan memiliki puluhan aplikasi, akan ada puluhan database. Bagaimana cara menghubungkan dan menganalisis puluhan database? Tidak ada caranya.

Kemudian berkembang dari database ke data warehouse, dan data warehouse tidak berorientasi pada aplikasi tertentu. Namun, ia terhubung ke database. Jika Anda perlu menjadwalkan beberapa tugas batch ETL setiap hari, menggabungkan berbagai aplikasi dan data, serta melakukan analisis koneksi menurut beberapa model paradigma untuk memperoleh pandangan data keseluruhan untuk periode waktu tertentu. Premisnya adalah banyak database perlu memasok data ke data warehouse.

Dengan peningkatan volume data dan perubahan jenis data, banyak data tidak terstruktur, seperti video, audio, dan dokumen, menempati proporsi yang semakin besar dari total data. Data warehouse asli menjadi sulit didukung, sehingga semakin banyak perusahaan berharap untuk menjaga data asli dalam keadaan awal yang sebenarnya. Didorong oleh permintaan ini, gagasan data lake mulai terbentuk, yang dapat menyimpan data dalam keadaan aslinya sehingga perusahaan dapat melakukan lebih banyak analisis dari berbagai dimensi. Data dapat dengan mudah masuk ke data lake, dan pengguna juga dapat menunda pengumpulan data, pembersihan data, dan pemrosesan normalisasi, yang dapat ditunda hingga kebutuhan bisnis muncul. Dalam data warehouse tradisional, karena persyaratan paradigma model, bisnis tidak dapat diubah secara sembarangan, dan perubahan melibatkan berbagai perubahan pada data dasar. Secara relatif, data lake lebih fleksibel dan dapat beradaptasi dengan perubahan pada aplikasi data lapisan atas lebih cepat.

3. Data Lake vs Data Warehouse

Data lake menyimpan data dalam format aslinya, sehingga setiap data—baik terstruktur maupun tidak terstruktur—dapat disimpan dalam bentuk paling mendasar. Hal ini memastikan data dapat digunakan tanpa kehilangan detail apa pun. Semua data real-time dan batch diagregasi ke dalam data lake, kemudian data yang relevan diambil dari lake untuk machine learning atau analisis data.

Desain yang mengutamakan data lake memberikan fleksibilitas maksimal bagi data yang masuk dengan membuka akses ke penyimpanan file dasar. Data yang masuk ke data lake dapat berupa data terstruktur, semi-terstruktur, atau bahkan log mentah yang sepenuhnya tidak terstruktur. Selain itu, penyimpanan terbuka juga memberikan fleksibilitas lebih bagi mesin di lapisan atas. Berbagai mesin dapat membaca dan menulis data di data lake sesuai skenarionya, selama mengikuti konvensi kompatibilitas yang cukup longgar. Namun, akses langsung ke sistem file menyulitkan penerapan banyak fungsi tingkat tinggi, seperti manajemen izin fine-grained (lebih halus daripada granularitas file), manajemen file terpusat, serta peningkatan antarmuka baca-tulis yang juga sangat sulit (karena setiap akses harus diselesaikan saat mesin file ditingkatkan).

Desain yang mengutamakan data warehouse lebih berfokus pada persyaratan pertumbuhan tingkat enterprise, seperti efisiensi penggunaan data, manajemen data skala besar, serta keamanan dan kepatuhan. Data masuk ke data warehouse melalui antarmuka layanan yang terstandarisasi namun terbuka. Data biasanya memiliki skema yang telah ditentukan sebelumnya, dan pengguna mengakses file dalam sistem penyimpanan terdistribusi melalui antarmuka layanan data atau mesin komputasi. Desain yang mengutamakan data warehouse memperoleh performa lebih tinggi (baik untuk penyimpanan maupun komputasi), sistem keamanan closed-loop, serta kemampuan tata kelola data dengan cara mengabstraksikan antarmuka akses data, manajemen otoritas, dan data itu sendiri. Kemampuan-kemampuan ini krusial untuk penggunaan big data jangka panjang di enterprise, yang kami sebut sebagai pertumbuhan.

4. Integrasi lake dan warehouse

Integrasi lake dan warehouse berarti dua sistem data warehouse dan data lake terhubung sehingga data dan komputasi dapat mengalir bebas di antara lake dan warehouse, untuk membangun ekosistem teknologi big data yang lengkap dan organik.

Solusi Terintegrasi Lake dan Warehouse Alibaba Cloud:

Berdasarkan arsitektur data warehouse asli, Alibaba Cloud MaxCompute mengintegrasikan data lake open-source dan data lake berbasis cloud, dan akhirnya mewujudkan arsitektur keseluruhan integrasi lake dan warehouse. Dalam arsitektur ini, meskipun beberapa sistem penyimpanan dasar hidup berdampingan, melalui lapisan akses penyimpanan terunifikasi dan manajemen metadata terunifikasi, antarmuka enkapsulasi terintegrasi disediakan untuk mesin tingkat atas, dan pengguna dapat melakukan kueri bersama pada tabel di data warehouse dan data lake. Arsitektur keseluruhan juga memiliki kemampuan keamanan, manajemen, dan tata kelola data yang terunifikasi.

Berdasarkan teknologi integrasi lake dan warehouse MaxCompute, DataWorks dapat lebih lanjut mengenkapsulasi dua sistem lake dan warehouse, menyembunyikan informasi kluster heterogen dari lake dan warehouse, dan membangun middle-end big data terintegrasi, sehingga sekumpulan data dan sekumpulan tugas dapat dijadwalkan dan dikelola secara mulus di antara lake dan warehouse. Perusahaan dapat menggunakan kemampuan middle-office data terintegrasi dari lake dan warehouse untuk mengoptimalkan struktur manajemen data dan sepenuhnya mengintegrasikan keunggulan masing-masing dari data lake dan data warehouse. Gunakan data lake sebagai penyimpanan data mentah terpusat untuk memanfaatkan fleksibilitas dan keterbukaan data lake. Melalui integrasi teknologi lake dan warehouse, data dan tugas berfrekuensi tinggi yang berorientasi produksi dikirimkan secara mulus ke data warehouse untuk mendapatkan performa dan biaya yang lebih baik, serta serangkaian tata kelola dan optimisasi data berorientasi produksi di masa depan. Temukan keseimbangan terbaik antara efisiensi dan efektivitas.

Secara umum, integrasi MaxCompute, lake, dan warehouse menyediakan solusi platform data yang lebih fleksibel, efisien, dan ekonomis bagi perusahaan. Solusi ini cocok untuk perusahaan yang membangun platform big data baru, dan bagi perusahaan dengan platform big data yang ada untuk meningkatkan arsitekturnya. Investasi yang ada dapat dilindungi dan pengembalian aset dapat direalisasikan.