Spark on MaxCompute adalah layanan komputasi yang disediakan oleh MaxCompute dan kompatibel dengan Spark sumber terbuka. Layanan ini menawarkan kerangka kerja Spark berbasis sistem sumber daya komputasi terpadu dan izin dataset, memungkinkan Anda menggunakan metode pengembangan pilihan untuk mengirimkan dan menjalankan pekerjaan Spark. Spark on MaxCompute dapat memenuhi berbagai kebutuhan pemrosesan dan analitik data.
Batasan
Anda dapat menggunakan Spark on MaxCompute untuk melakukan operasi berikut:
Melakukan komputasi offline menggunakan komponen Spark seperti GraphX, MLlib, Resilient Distributed Dataset (RDD), Spark SQL, dan PySpark.
Membaca data dari dan menulis data ke tabel MaxCompute.
Mengacu file di MaxCompute.
Membaca data dari dan menulis data ke layanan yang diterapkan di virtual private cloud (VPC), seperti ApsaraDB RDS, ApsaraDB for Redis, ApsaraDB for HBase, dan layanan yang diterapkan pada instance Elastic Compute Service (ECS).
Membaca dan menulis data penyimpanan tidak terstruktur Object Storage Service (OSS).
Anda tidak dapat menggunakan Spark on MaxCompute untuk melakukan operasi berikut:
Menjalankan pekerjaan interaktif atau komputasi seperti Spark-Shell, Spark-SQL-Shell, PySpark-Shell, dan pekerjaan Spark Streaming.
Akses tabel eksternal MaxCompute, fungsi bawaan, dan fungsi yang ditentukan pengguna (UDF).
Menggunakan checkpoint.
Manfaat
Mendukung versi asli Spark yang berbeda.
MaxCompute mendukung Spark komunitas asli dan sepenuhnya kompatibel dengan API semua versi Spark asli. Versi Spark yang berbeda dapat berjalan di MaxCompute secara bersamaan. Spark on MaxCompute menyediakan antarmuka web Spark asli.
Berjalan berdasarkan sumber daya komputasi terpusat.
Sama seperti pekerjaan MaxCompute SQL dan pekerjaan MapReduce, Spark on MaxCompute berjalan berdasarkan sumber daya komputasi terpusat yang dibeli untuk proyek MaxCompute.
Mendukung manajemen data dan izin terpusat.
Spark on MaxCompute mematuhi izin yang dikonfigurasikan untuk proyek MaxCompute, memungkinkan Anda untuk menanyakan data tanpa perlu memodifikasi izin pada proyek MaxCompute Anda.
Memberikan pengalaman pengguna yang sama dengan Spark sumber terbuka.
Spark on MaxCompute memberikan pengalaman pengguna yang sama dengan Spark sumber terbuka, termasuk UI aplikasi sumber terbuka dan interaksi online. Spark on MaxCompute mendukung UI asli, sumber terbuka, dan real-time yang dapat digunakan untuk men-debug aplikasi sumber terbuka. Spark on MaxCompute juga memungkinkan Anda untuk menanyakan log historis. Untuk beberapa aplikasi sumber terbuka, Spark on MaxCompute dapat menjalankan interaksi real-time di backend, menerapkan pengalaman interaktif.
Arsitektur
Spark on MaxCompute adalah solusi Alibaba Cloud yang memungkinkan Spark asli berjalan di MaxCompute.
Bagian kiri gambar di atas menunjukkan arsitektur Spark asli. Bagian kanan menunjukkan arsitektur Spark on MaxCompute, yang berjalan di platform Cupid yang dikembangkan oleh Alibaba Cloud. Platform Cupid sepenuhnya kompatibel dengan kerangka kerja komputasi yang didukung oleh YARN sumber terbuka.