Apa Itu Data Lake | Arsitektur Dasar Data Lake

Konsep data lake saat ini sangat populer. Banyak orang membahas cara membangun data lake, apakah Alibaba Cloud memiliki solusi data lake yang matang, apakah solusi data lake Alibaba Cloud benar-benar telah diimplementasikan, dan bagaimana memahami data lake serta data. Apa perbedaan antara data lake dan platform big data, dll., seri artikel ini akan menganalisis data lake.

Artikel ini mencakup hal-hal berikut:
1. Apa itu data lake
2. Arsitektur dasar data lake
3. Kerangka kerja data lake berbasis cloud

Artikel berikutnya akan memperkenalkan perbedaan antara data lake dan data warehouse.

Pertama. Apa itu data lake

Sebelum merencanakan pembangunan data lake, sangat penting untuk memahami apa itu data lake, memperjelas komponen dasar proyek data lake, dan kemudian merancang arsitektur dasar data lake.

Data lake adalah kumpulan penyimpanan terpadu yang dapat terhubung ke berbagai metode input data. Anda dapat menyimpan data terstruktur, semi-terstruktur, dan tidak terstruktur dalam skala apa pun. Data lake dapat terhubung dengan mulus ke berbagai platform komputasi dan analisis, memproses dan menganalisis data secara langsung, memecah silo, dan mendapatkan wawasan tentang nilai bisnis. Pada saat yang sama, data lake menyediakan kemampuan untuk konversi antara lapisan hot dan cold, mencakup seluruh siklus hidup data.

Ada banyak definisi data lake, tetapi pada dasarnya berkisar pada karakteristik berikut:
(1) Data lake perlu menyediakan kapasitas penyimpanan data yang memadai, yang menyimpan semua data dalam perusahaan/organisasi.
(2) Data lake dapat menyimpan sejumlah besar data dari segala jenis, termasuk data terstruktur, semi-terstruktur, dan tidak terstruktur.
(3) Data dalam data lake adalah data asli, yang merupakan salinan lengkap dari data bisnis. Data dalam data lake mempertahankan cara mereka berada di sistem bisnis.
(4) Data lake perlu memiliki kemampuan manajemen data yang sempurna (metadata sempurna), yang dapat mengelola berbagai elemen terkait data, termasuk sumber data, format data, informasi koneksi, skema data, dan manajemen izin.
(5) Data lake perlu memiliki kemampuan analisis yang beragam, termasuk namun tidak terbatas pada pemrosesan batch, komputasi stream, analisis interaktif, dan machine learning; pada saat yang sama, juga perlu menyediakan kemampuan penjadwalan dan manajemen tugas tertentu.
(6) Data lake perlu memiliki kemampuan manajemen siklus hidup data yang lengkap. Tidak hanya perlu menyimpan data asli, tetapi juga dapat menyimpan hasil antara dari berbagai analisis dan pemrosesan, serta mencatat sepenuhnya proses analisis dan pemrosesan data. Hal ini membantu pengguna melacak proses pembuatan setiap bagian data secara lengkap dan terperinci.
(7) Data lake perlu memiliki kemampuan akuisisi data dan rilis data yang sempurna. Data lake perlu dapat mendukung berbagai sumber data dan memperoleh data penuh/inkremental dari sumber data terkait; lalu menstandarisasi penyimpanan. Data lake dapat mendorong hasil analisis dan pemrosesan data ke mesin penyimpanan yang sesuai untuk memenuhi persyaratan akses aplikasi yang berbeda.
(8) Dukungan untuk big data, termasuk penyimpanan skala ultra-besar dan kemampuan pemrosesan data skala besar yang skalabel.

Oleh karena itu, data lake harus menjadi infrastruktur yang berkembang dan skalabel untuk penyimpanan, pemrosesan, dan analisis big data; berorientasi pada data, untuk mencapai akuisisi penuh dan penyimpanan penuh dari sumber apa pun, kecepatan apa pun, skala apa pun, dan jenis data apa pun, pemrosesan multi-mode, dan manajemen siklus hidup penuh; dan melalui interaksi dan integrasi dengan berbagai sumber data heterogen eksternal, mendukung berbagai aplikasi tingkat perusahaan.

Kedua. Arsitektur dasar data lake

Data lake memiliki arsitektur datar karena data mungkin tidak terstruktur, semi-terstruktur, atau terstruktur dan dikumpulkan dari berbagai sumber dalam suatu organisasi, sedangkan data warehouse menyimpan data dalam file atau folder. Data lake dapat di-host on-premises atau di cloud.

Karena karakteristik arsitekturnya, data lake dapat diskalakan secara masif hingga eksabita. Ini penting karena ketika Anda membuat data lake, Anda sering tidak tahu berapa banyak data yang perlu disimpan. Sistem penyimpanan data tradisional tidak dapat diskalakan dengan cara ini.

Arsitektur ini dapat sangat memudahkan ilmuwan data karena mereka dapat menambang dan menjelajahi data perusahaan, serta berbagi dan menyilangkan referensi data (termasuk data heterogen dari domain berbeda) untuk mengajukan pertanyaan dan menemukan analisis baru. Mereka juga dapat menganalisis data dalam data lake menggunakan analitik big data dan machine learning.

Meskipun data tidak memiliki pola tetap sebelum disimpan di data lake, dengan tata kelola data, Anda masih dapat menghindari rawa data secara efektif. Data harus ditandai sebagai metadata saat disimpan di data lake untuk memastikan akses berikutnya.

Ketiga. Kerangka kerja data lake berbasis cloud

Pilar utama data lake meliputi penyimpanan data yang skalabel dan tahan lama, mekanisme untuk mengumpulkan dan mengatur data, serta alat untuk memproses dan menganalisis data serta berbagi temuan. Oleh karena itu, kami berfokus pada teknologi kunci yang harus disertakan dalam setiap data lake modern untuk mendukung semua jenis data yang dimaksud oleh big data.

Cloud memiliki sumber daya yang tidak terbatas. Layanan berbasis cloud sangat cocok untuk data lake karena menyediakan sumber daya yang tidak terbatas, yang berarti infrastruktur cloud dapat menyediakan sumber daya hampir tak terbatas sesuai permintaan dalam hitungan menit atau detik tanpa kekhawatiran. Organisasi hanya membayar untuk apa yang mereka gunakan, memungkinkan pengguna dan workload dengan ukuran apa pun didukung secara dinamis tanpa mengorbankan performa.

Hemat biaya dan fokus pada teknologi cloud untuk data. Layanan berbasis cloud menyediakan solusi berbasis cloud bagi organisasi mana pun yang menghindari perangkat keras, perangkat lunak, dan infrastruktur lain yang mahal, investasi awal, serta biaya pemeliharaan, pembaruan, dan pengamanan sistem on-premises.

Teknologi cloud dilengkapi dengan titik integrasi alami. Diperkirakan hingga 80% data yang ingin Anda analisis berasal dari data aplikasi bisnis, penyimpanan data operasional, data clickstream, platform media sosial, perangkat IoT, dan data streaming real-time. Mengintegrasikan data ini ke dalam cloud jauh lebih mudah dan lebih murah daripada membangun pusat data on-premises.

Dibangun menggunakan NoSQL. Ini menggambarkan teknologi yang dapat menyimpan dan menganalisis data dalam bentuk terbaru, seperti yang dihasilkan dari komputer dan media sosial, untuk memperkaya dan memperluas analisis data organisasi. Sudah diketahui bahwa data warehouse tradisional tidak dapat menampung jenis data ini dengan baik. Akibatnya, sistem yang lebih baru telah muncul dalam beberapa tahun terakhir untuk menangani bentuk data semi-terstruktur dan tidak terstruktur ini, seperti JSON, Avro, dan XML.

Mendukung keterampilan dan keahlian yang ada. Data Lake mendukung fungsionalitas yang diperlukan untuk menyimpan dan memproses semua jenis data secara efisien, manajemen data, transformasi data, integrasi, visualisasi, business intelligence, dan alat analitik yang dapat berkomunikasi dengan mudah dengan data warehouse SQL. Peran standar SQL yang sudah mapan juga berarti bahwa banyak orang memiliki keterampilan SQL. Hal ini memungkinkan bahasa pemrograman lain untuk mengekstrak dan menganalisis data.

Keunggulan inheren cloud dalam hal biaya, skala, performa, kemudahan penggunaan, dan keamanan harus diakui dengan jelas karena dampaknya terhadap rencana dan hasil data lake secara keseluruhan.

Jika Anda ingin mengetahui lebih lanjut tentang bagaimana cloud dan data lake berdampingan, silakan hadiri "2022 Alibaba Cloud Global Online Data Lake Summit" untuk mempelajari tren terbaru!