MaxCompute menyediakan arsitektur lakehouse terbuka tingkat enterprise yang menawarkan manajemen metadata terpadu, penyimpanan terbuka, beragam opsi komputasi, keamanan kuat, serta efisiensi biaya.
Pelanggan sasaran
-
Data warehouse berisi proporsi tinggi data terstruktur, tetapi memerlukan keterbukaan data lake untuk mendukung akses lintas tim dan engine.
-
Pengguna yang membutuhkan fitur tingkat enterprise—seperti izin tingkat baris dan kolom serta penyamaran data—dan memiliki persyaratan ketat terkait disaster recovery, backup, keamanan, serta kepatuhan (compliance).
Ikhtisar fitur
Metadata terpadu
MaxCompute menyediakan katalog data dan solusi tata kelola data terpadu untuk objek data seperti tabel, view, snapshot, dan model, yang memungkinkan kontrol akses detail halus serta audit. Cukup definisikan kebijakan keamanan sekali, dan kebijakan tersebut akan berlaku secara global.
Anda dapat mengelola kredensial akses untuk Layanan Alibaba Cloud melalui koneksi. MaxCompute secara otomatis mendeteksi file data terstruktur dan tidak terstruktur di penyimpanan data eksternal, seperti OSS, lalu mendaftarkannya sebagai tabel eksternal. Akses data melalui tabel menyederhanakan proses analitik data, sedangkan statistik yang di-cache untuk tabel data lake meningkatkan performa komputasi.
Penyimpanan terbuka
Open storage memungkinkan Anda menyimpan data satu kali dan menggunakannya di berbagai engine komputasi. Anda dapat menggunakan Storage API untuk membuat data dalam tabel yang dikelola MaxCompute tersedia bagi engine komputasi pihak ketiga.
MaxCompute terintegrasi dengan ekosistem komputasi seperti Spark, Flink, Flink CDC, StarRocks, DBT, Presto, Trino, PAI, dan PyTorch.
Storage API menyediakan metode membaca data yang efisien, berlatensi rendah, dan aman. Data ditransfer dalam format Arrow serta mendukung optimasi performa seperti predicate pushdown, partisi, dan column pruning. API ini juga mendukung fitur keamanan seperti izin tingkat baris dan kolom serta penyamaran data, sehingga menyeimbangkan efisiensi kolaborasi lintas tim dengan persyaratan kepatuhan.
Komputasi terbuka
Engine SQL dan MaxFrame buatan sendiri dari MaxCompute memberikan pengalaman komputasi terpadu di berbagai sumber data dalam ekosistem lakehouse. Engine ini memungkinkan akses transparan ke berbagai sistem penyimpanan eksternal melalui tabel eksternal dan proyek eksternal. Anda dapat secara fleksibel menggunakan data dari tabel internal maupun eksternal dalam tugas ekstrak, transformasi, dan muat (ETL), analitik data, serta pembelajaran mesin.
Tutorial
MaxLake memungkinkan Anda mengingest data ke dalam lake dan warehouse serta melakukan orkestrasi analitik multi-skenario. Sebagai contoh, Anda dapat menggunakan data Internet of Vehicles (IoV) untuk menganalisis jarak tempuh dan kecepatan berdasarkan data lokasi GPS yang dilaporkan oleh kendaraan. Anda kemudian dapat memanfaatkan berbagai engine untuk skenario seperti pelaporan kueri real-time, kolaborasi lintas tim dengan berbagi data yang telah disamarkan, dan pelatihan AI. Pendekatan ini memungkinkan Anda menciptakan berbagai bentuk nilai dari satu salinan data. Untuk informasi selengkapnya, lihat Transformasi data dan orkestrasi multi-skenario untuk analitik data lake di MaxCompute.