Apache Spark adalah sistem pemrosesan terdistribusi sumber terbuka yang digunakan untuk memproses beban kerja data besar. Apache Spark mendukung SQL dan memungkinkan Anda menulis DataFrames dalam berbagai bahasa pemrograman, menjadikannya fleksibel dan mudah digunakan. Mesin Spark menyediakan kemampuan seperti SQL, pemrosesan batch, pemrosesan aliran, pembelajaran mesin, dan komputasi graf.
AnalyticDB for MySQL Serverless Spark adalah layanan analisis dan komputasi data besar yang dikembangkan oleh tim AnalyticDB for MySQL berdasarkan Apache Spark. Setelah membuat kluster AnalyticDB for MySQL, Anda dapat mengonfigurasi pengaturan sederhana untuk mengirimkan pekerjaan Spark tanpa perlu penyebaran kluster Spark. Gambar berikut menunjukkan arsitektur AnalyticDB for MySQL Serverless Spark.
Serverless Spark merupakan integrasi mendalam dari Spark, Serverless, dan teknologi cloud-native. Dibandingkan dengan Apache Spark, Serverless Spark memiliki keunggulan sebagai berikut:
Kemudahan Penggunaan
Serverless Spark menyediakan API sederhana, skrip, dan operasi konsol untuk membantu Anda melakukan pengembangan data besar seperti menggunakan Apache Spark tanpa perlu mengonfigurasi komponen tingkat bawah.
Tanpa O&M
AnalyticDB for MySQL Serverless Spark mengelola pekerjaan Spark tanpa memerlukan konfigurasi server, konfigurasi Hadoop, atau penskalaan sumber daya.
Skalabilitas Tingkat Pekerjaan
Serverless Spark memungkinkan Anda membeli sumber daya untuk proses driver dan executor setiap pekerjaan. Anda dapat menarik sumber daya dalam hitungan detik untuk merespons kebutuhan sumber daya dengan cepat.
Pengurangan Biaya
Anda dapat menambah sumber daya sesuai permintaan untuk menjalankan pekerjaan Spark tanpa perlu mempertahankan sumber daya cadangan. Anda hanya dikenakan biaya untuk sumber daya yang diskalakan. Jika tidak ada sumber daya yang digunakan, tidak ada biaya yang dihasilkan.
Peningkatan Performa
Tim AnalyticDB for MySQL melakukan penyesuaian dan optimalisasi mendalam pada mesin Spark serta mengintegrasikan Apache Spark dengan gudang data AnalyticDB for MySQL. Dalam skenario tipikal, performa akses data Object Storage Service (OSS) hingga lima kali lebih cepat dibandingkan Apache Spark, dan performa koneksi hingga enam kali lebih cepat dibandingkan koneksi Java Database Connectivity (JDBC). Selain itu, solusi zero-ETL disediakan di atas AnalyticDB for MySQL dan Apache Spark.