MaxCompute Spark adalah layanan komputasi Spark yang kompatibel dengan open-source yang disediakan oleh MaxCompute. Layanan ini menyediakan framework komputasi Spark di atas sistem sumber daya komputasi terpadu dan sistem izin set data, memungkinkan Anda mengirimkan dan menjalankan pekerjaan Spark menggunakan metode pengembangan yang sudah dikenal untuk memenuhi berbagai kebutuhan pemrosesan dan analisis data.
Fitur Utama
Mendukung pekerjaan Spark multi-versi native
Apache Spark native berjalan di MaxCompute. Layanan ini sepenuhnya kompatibel dengan API Spark dan mendukung beberapa versi Spark.
Sumber daya komputasi terpadu
MaxCompute Spark berjalan pada sumber daya komputasi terpadu yang diaktifkan untuk Proyek MaxCompute, serupa dengan MaxCompute SQL, MapReduce, dan jenis task lainnya.
Pengelolaan data dan izin terpadu
Layanan ini mengikuti sistem izin Proyek MaxCompute, sehingga Anda dapat melakukan kueri data secara aman dalam batas izin yang telah ditetapkan.
Pengalaman pengguna yang sama seperti sistem open-source
Layanan ini menyediakan antarmuka Spark UI real-time native open-source serta kemampuan untuk mengambil log historis.
Fitur yang Didukung
MaxCompute Spark mendukung fitur-fitur berikut:
Komputasi offline: GraphX, MLlib, RDD, Spark SQL, PySpark, dan sebagainya.
Membaca dari dan menulis ke tabel MaxCompute.
Merujuk resource file di MaxCompute.
Mengakses layanan yang dideploy di lingkungan VPC Alibaba Cloud.
Mengakses penyimpanan tidak terstruktur di OSS Alibaba Cloud.
Membaca tabel eksternal OSS MaxCompute.
DataWorks Notebook.
Batasan
MaxCompute Spark saat ini tidak mendukung skenario berikut:
Tidak mendukung shell interaktif, seperti Spark-Shell, Spark-SQL-Shell, atau PySpark-Shell.
Anda tidak dapat mengakses fungsi bawaan MaxCompute atau user-defined function (UDF).
Akses ke tabel eksternal di MaxCompute terbatas hanya pada tabel eksternal OSS.