MaxCompute：Kembangkan Tugas MaxCompute Spark

Batasan

Jika terjadi kesalahan saat mengirimkan node ODPS Spark yang menggunakan versi Spark 3.X, atau ajukan tiket untuk menghubungi dukungan teknis guna memperbarui versi grup sumber daya eksklusif untuk penjadwalan yang digunakan untuk menjalankan node tersebut.

Persiapan

Node ODPS Spark memungkinkan Anda menggunakan Java, Scala, atau Python untuk mengembangkan dan menjalankan tugas Spark offline pada MaxCompute. Operasi dan parameter yang diperlukan bervariasi berdasarkan bahasa pemrograman yang digunakan. Anda dapat memilih bahasa pemrograman sesuai dengan kebutuhan bisnis Anda.

Java/Scala

Sebelum menjalankan kode Java atau Scala dalam node ODPS Spark, Anda harus menyelesaikan pengembangan kode untuk tugas Spark on MaxCompute di mesin lokal Anda dan mengunggah kode tersebut ke DataWorks sebagai sumber daya MaxCompute. Langkah-langkah yang perlu dilakukan adalah sebagai berikut:

1. Siapkan lingkungan pengembangan.

   Siapkan lingkungan pengembangan berdasarkan sistem operasi yang digunakan. Untuk informasi lebih lanjut, lihat Siapkan Lingkungan Pengembangan Linux atau Siapkan Lingkungan Pengembangan Windows.

2. Kembangkan kode Java atau Scala.

   Sebelum menjalankan kode Java atau Scala dalam node ODPS Spark, selesaikan pengembangan kode untuk tugas Spark on MaxCompute di mesin lokal Anda atau di lingkungan pengembangan yang telah disiapkan. Kami merekomendasikan penggunaan template proyek contoh yang disediakan oleh Spark on MaxCompute.

3. Kemas kode yang dikembangkan dan unggah ke DataWorks.

   Setelah kode selesai dikembangkan, kemas kode tersebut dan unggah paket ke DataWorks sebagai sumber daya MaxCompute. Untuk informasi lebih lanjut, lihat Buat dan Gunakan Sumber Daya MaxCompute.

Bahasa Pemrograman: Python (Gunakan lingkungan Python default)

Bahasa Pemrograman: Python (Gunakan lingkungan Python kustom)

Jika lingkungan Python default tidak memenuhi kebutuhan bisnis Anda, Anda dapat menyiapkan lingkungan Python kustom untuk menjalankan tugas Spark on MaxCompute dengan langkah-langkah berikut:

1. Siapkan lingkungan Python di mesin lokal Anda.

   Lihat Versi Python PySpark dan Dependensi yang Didukung untuk mengonfigurasi lingkungan Python sesuai kebutuhan bisnis Anda.

2. Kemas kode untuk lingkungan Python dan unggah paket tersebut ke DataWorks.

   Kemas kode untuk lingkungan Python dalam format ZIP dan unggah paket tersebut ke DataWorks sebagai sumber daya MaxCompute. Dengan cara ini, Anda dapat menjalankan tugas Spark on MaxCompute dalam lingkungan tersebut. Untuk informasi lebih lanjut, lihat Buat dan Gunakan Sumber Daya MaxCompute.

Deskripsi Parameter

Anda dapat menjalankan tugas Spark offline pada MaxCompute dalam mode kluster di DataWorks. Dalam mode ini, Anda harus menentukan metode Main sebagai titik masuk aplikasi kustom. Tugas Spark berakhir ketika Main memasuki status Success atau Fail. Anda harus menambahkan item konfigurasi dalam file spark-defaults.conf ke konfigurasi node ODPS Spark. Sebagai contoh, tambahkan item konfigurasi seperti jumlah executors, ukuran memori, dan spark.hadoop.odps.runtime.end.point.

Contoh pengeditan kode sederhana

Bagian ini memberikan contoh sederhana untuk menunjukkan cara menggunakan node ODPS Spark dalam mengembangkan tugas Spark on MaxCompute. Dalam contoh ini, tugas Spark on MaxCompute dikembangkan untuk menentukan apakah string dapat dikonversi menjadi digit.

1. Buat sumber daya.

   1. Di halaman DataStudio konsol DataWorks, buat sumber daya Python bernama spark_is_number.py. Untuk informasi lebih lanjut, lihat Buat dan Gunakan Sumber Daya MaxCompute. Contoh kode:

      # -*- coding: utf-8 -*-
      import sys
      from pyspark.sql import SparkSession
      
      try:
          # for python 2
          reload(sys)
          sys.setdefaultencoding('utf8')
      except:
          # python 3 not needed
          pass
      
      if __name__ == '__main__':
          spark = SparkSession.builder\
              .appName("spark sql")\
              .config("spark.sql.broadcastTimeout", 20 * 60)\
              .config("spark.sql.crossJoin.enabled", True)\
              .config("odps.exec.dynamic.partition.mode", "nonstrict")\
              .config("spark.sql.catalogImplementation", "odps")\
              .getOrCreate()
      
      def is_number(s):
          try:
              float(s)
              return True
          except ValueError:
              pass
      
          try:
              import unicodedata
              unicodedata.numeric(s)
              return True
          except (TypeError, ValueError):
              pass
      
          return False
      
      print(is_number('foo'))
      print(is_number('1'))
      print(is_number('1.3'))
      print(is_number('-1.37'))
      print(is_number('1e3'))

   2. Simpan dan kirimkan sumber daya.

2. Di node ODPS Spark yang dibuat, konfigurasikan parameter dan properti penjadwalan untuk tugas Spark on MaxCompute dengan merujuk pada bagian Deskripsi Parameter dalam topik ini, lalu simpan dan kirimkan node tersebut.

   Parameter	Deskripsi
   Versi Spark	Pilih Spark2.x.
   Bahasa	Pilih Python.
   Sumber Daya Python Utama	Sumber daya Python spark_is_number.py yang Anda buat.

3. Pergi ke Operation Center di lingkungan pengembangan untuk mengisi ulang data untuk node ODPS Spark. Untuk informasi lebih lanjut, lihat Isi Ulang Data dan Lihat Instance Pengisian Ulang Data (Versi Baru).

   Catatan

   DataWorks tidak menyediakan titik masuk untuk menjalankan node ODPS Spark di DataStudio. Anda harus menjalankan node ODPS Spark di Operation Center dalam lingkungan pengembangan.

4. Lihat hasilnya.

   Setelah instance pengisian ulang data berhasil dijalankan, klik tracking URL di log yang dihasilkan untuk melihat hasilnya. Informasi berikut dikembalikan:

   False
   True
   True
   True
   True

Contoh pengeditan kode tingkat lanjut

Untuk informasi lebih lanjut tentang pengembangan tugas Spark on MaxCompute dalam skenario lainnya, lihat topik-topik berikut:

• Contoh Spark 1.x untuk Java atau Scala

• Contoh Spark 2.x untuk Java atau Scala

• Kembangkan Aplikasi Spark on MaxCompute Menggunakan PySpark

• Akses Instance dalam VPC dari Spark on MaxCompute

• Akses OSS dari Spark on MaxCompute