MaxCompute menyediakan arsitektur open lakehouse tingkat enterprise yang menawarkan manajemen metadata terpadu, penyimpanan terbuka, beragam pilihan komputasi, keamanan kuat, serta efisiensi biaya.
Pelanggan sasaran
Data warehouse berisi proporsi tinggi data terstruktur, namun memerlukan keterbukaan data lake untuk mendukung akses dari berbagai tim dan engine.
Pengguna yang membutuhkan fitur tingkat enterprise—seperti izin level baris dan level kolom serta penyamaran data—dan memiliki persyaratan ketat terkait disaster recovery, backup, keamanan, serta kepatuhan (compliance).
Ikhtisar fitur
Metadata terpadu
MaxCompute menyediakan solusi katalog data dan tata kelola data terpadu untuk objek data seperti tabel, view, snapshot, dan model. Solusi ini memungkinkan kontrol akses detail halus dan auditing. Cukup definisikan kebijakan keamanan sekali, dan kebijakan tersebut berlaku secara global.
Anda dapat mengelola kredensial akses untuk Layanan Alibaba Cloud menggunakan koneksi. MaxCompute secara otomatis mendeteksi file data terstruktur maupun tidak terstruktur di penyimpanan data eksternal, seperti OSS, lalu mendaftarkannya sebagai tabel eksternal. Mengakses data melalui tabel menyederhanakan proses analitik data. Statistik yang di-cache untuk tabel data lake meningkatkan performa komputasi.
Penyimpanan terbuka
Open storage memungkinkan Anda menyimpan data satu kali dan menggunakannya di berbagai engine komputasi. Anda dapat menggunakan Storage API untuk membuat data dalam tabel yang dikelola MaxCompute tersedia bagi engine komputasi pihak ketiga.
MaxCompute terintegrasi dengan ekosistem komputasi seperti Spark, Flink, Flink CDC, StarRocks, DBT, Presto, Trino, PAI, dan PyTorch.
Storage API menyediakan metode pembacaan data yang efisien, latensi rendah, dan aman. Data ditransfer dalam format Arrow. API ini mendukung optimasi performa seperti predicate pushdown, partisi, dan column pruning. API ini juga mendukung fitur keamanan seperti izin level baris dan level kolom serta penyamaran data, sehingga menyeimbangkan efisiensi kolaborasi lintas tim dengan persyaratan kepatuhan.
Komputasi terbuka
Mesin SQL dan MaxFrame buatan sendiri dari MaxCompute memberikan pengalaman komputasi terpadu di berbagai sumber data dalam ekosistem lakehouse. Mesin-mesin tersebut memungkinkan akses transparan ke berbagai sistem penyimpanan eksternal melalui tabel eksternal dan proyek eksternal. Anda dapat secara fleksibel menggunakan data dari tabel internal maupun eksternal dalam tugas ekstrak, transformasi, dan muat (ETL), analitik data, serta pembelajaran mesin.
Tutorial
MaxLake memungkinkan Anda mengingest data ke dalam lake dan warehouse serta melakukan orkestrasi analitik multi-skenario. Sebagai contoh, Anda dapat menggunakan data Internet of Vehicles (IoV) untuk menganalisis jarak tempuh dan kecepatan berdasarkan data lokasi GPS yang dikirimkan kendaraan. Anda kemudian dapat menggunakan berbagai engine untuk skenario seperti pelaporan kueri real-time, kolaborasi lintas tim dengan berbagi data yang telah disamarkan, serta pelatihan AI. Pendekatan ini memungkinkan Anda menciptakan berbagai bentuk nilai dari satu salinan data. Untuk informasi selengkapnya, lihat Transformasi data dan orkestrasi multi-skenario untuk analitik data lake di MaxCompute.