Tutorial
Tautan dokumen | Pendahuluan |
Transformasi data dan orkestrasi multi-skenario pada data lake menggunakan MaxCompute | Gunakan MaxLake untuk mengonsumsi data ke dalam data lake dan gudang data serta mengaktifkan analitik multi-skenario. Tutorial ini menggunakan data Internet of Vehicles (IoV) untuk menunjukkan cara menganalisis jarak tempuh dan kecepatan berdasarkan informasi GPS kendaraan. Selain itu, tutorial ini menjelaskan cara mengoordinasikan beberapa engine guna mendukung kueri laporan real-time, kolaborasi lintas tim, berbagi data yang telah didesensitisasi, serta pelatihan AI. Pendekatan ini memungkinkan Anda memperoleh berbagai nilai dari satu salinan data. |
Konfigurasikan Data Lake Formation (DLF) untuk mengekstrak metadata dari Object Storage Service (OSS). Kemudian, gunakan skema eksternal MaxCompute untuk menjalankan kueri federated pada data lake. Solusi ini menyederhanakan analisis dan pemrosesan data sekaligus memastikan keandalan dan keamanan data. | |
Membaca data Paimon dari data lake menggunakan DLF 1.0 dan OSS | Gunakan Flink untuk membuat katalog Paimon DLF. Baca data Change Data Capture (CDC) MySQL dan tulis ke OSS. Lalu, sinkronkan metadata tersebut ke DLF. Terakhir, gunakan skema eksternal MaxCompute untuk menjalankan kueri federated pada data lake. |
Membaca data Parquet dari data lake menggunakan kueri tanpa skema | Tutorial ini menggunakan kluster Spark serverless E-MapReduce sebagai contoh, menunjukkan cara menggunakan kueri tanpa skema di MaxCompute untuk membaca file Parquet yang dihasilkan oleh Spark SQL. Setelah komputasi selesai, Anda dapat menggunakan perintah UNLOAD untuk menulis hasilnya kembali ke OSS. |
Tutorial ini menggunakan Hive pada E-MapReduce sebagai contoh, menunjukkan cara membuat skema eksternal di MaxCompute dan melakukan kueri terhadap data tabel Hive di Hadoop. | |
Membuat pemetaan metadata dan sinkronisasi data untuk Hologres | Tutorial ini menunjukkan cara menggunakan MaxCompute untuk membuat pemetaan metadata dan sinkronisasi data untuk Hologres. |
Membaca dan menulis data Paimon pada data lake menggunakan proyek eksternal dan FileSystem Catalog | Gunakan Flink untuk membuat katalog Paimon dan menghasilkan data. Kemudian, gunakan MaxCompute untuk membuat proyek eksternal berdasarkan FileSystem Catalog guna membaca langsung data tabel Paimon. |
Gunakan Flink untuk membuat katalog Paimon DLF. Baca data bisnis CDC MySQL dan tulis ke DLF. Lalu, gunakan proyek eksternal MaxCompute untuk menjalankan kueri federated dan analisis pada data lake serta menulis hasilnya kembali ke DLF. Topik ini menggunakan versi baru DLF, yang berbeda dari DLF 1.0 sebelumnya. |