Topik ini menjelaskan cara mengembangkan proyek demo pada Spark di MaxCompute menggunakan Java atau Scala.
Unduh proyek demo
Spark di MaxCompute menyediakan template proyek demo. Disarankan untuk mengunduh dan menyalin template tersebut guna mengembangkan aplikasi Anda.
Jalankan perintah berikut untuk mengunduh template proyek demo:
# Unduh dan kompilasi template Spark 1.x.
git clone https://github.com/aliyun/MaxCompute-Spark.git
cd spark-1.x
mvn clean package
# Unduh dan kompilasi template Spark 2.x.
git clone https://github.com/aliyun/MaxCompute-Spark.git
cd spark-2.x
mvn clean packagePenting Pada proyek demo, parameter scope untuk dependensi Spark disetel ke provided. Jangan ubah parameter ini karena pekerjaan yang dikirimkan mungkin tidak akan berjalan secara normal.
Contoh Spark 1.x
Contoh Spark 2.x
Berikut adalah contoh proyek demo Spark 2.x:
- Contoh WordCount (Scala)
- Contoh membaca data dari atau menulis data ke tabel MaxCompute (Scala)
- Contoh GraphX PageRank (Scala)
- Contoh MLlib KMeans-ON-OSS (Scala)
- Contoh OSS UnstructuredData (Scala)
- Contoh SparkPi (Scala)
- Contoh Spark Streaming LogHub (Scala)
- Contoh menggunakan Spark Streaming LogHub untuk menulis data ke MaxCompute (Scala)
- Contoh Spark Streaming DataHub (Scala)
- Contoh menggunakan Spark Streaming DataHub untuk menulis data ke MaxCompute (Scala)
- Contoh Spark Streaming Kafka (Scala)
- Contoh Spark StructuredStreaming DataHub (Scala)
- Contoh Spark StructuredStreaming Kafka (Scala)
- Contoh Spark StructuredStreaming LogHub (Scala)
- Contoh menggunakan PySpark untuk membaca data dari atau menulis data ke tabel MaxCompute (Python)
- Contoh menggunakan PySpark untuk menulis data ke OSS (Python)
- Contoh Spark SQL (Java)
- Contoh membaca data dari MaxCompute dan menulis data ke HBase
- Contoh membaca data dari dan menulis data ke objek OSS
- Contoh membaca data dari MaxCompute dan menulis data ke OSS