DataWorks:Kembangkan tugas MaxCompute Spark

Batasan

Jika muncul error saat Anda melakukan commit node ODPS Spark yang menggunakan versi Spark 3.X, belilah kelompok sumber daya serverless. Untuk informasi selengkapnya, lihat Buat dan gunakan kelompok sumber daya serverless.

Persiapan

Anda dapat menggunakan node MaxCompute Spark untuk menjalankan tugas offline Spark on MaxCompute dalam Java/Scala atau Python. Langkah pengembangan dan proses konfigurasi berbeda untuk setiap bahasa. Pilih bahasa berdasarkan kebutuhan bisnis Anda.

Penjelasan parameter

DataWorks menjalankan tugas offline Spark on MaxCompute dalam mode kluster. Dalam mode ini, Anda harus menentukan titik masuk aplikasi kustom Anda dalam metode main. Tugas Spark berakhir ketika metode main selesai dieksekusi, dengan status Success atau Fail. Selain itu, Anda harus menambahkan konfigurasi dari file spark-defaults.conf satu per satu ke item konfigurasi node MaxCompute Spark. Contohnya mencakup jumlah instans executor, ukuran memori, dan konfigurasi spark.hadoop.odps.runtime.end.point.

Contoh pengeditan kode sederhana

Bagian ini memberikan contoh sederhana tentang cara menggunakan node ODPS Spark untuk mengembangkan tugas Spark on MaxCompute. Dalam contoh ini, tugas Spark on MaxCompute dikembangkan untuk menentukan apakah sebuah string dapat dikonversi menjadi angka.

1. Buat resource.

   1. Di halaman DataStudio, buat resource Python baru dan beri nama spark_is_number.py. Untuk informasi selengkapnya, lihat Buat dan gunakan resource MaxCompute. Gunakan kode berikut:

      # -*- coding: utf-8 -*-
      import sys
      from pyspark.sql import SparkSession
      try:
          # for python 2
          reload(sys)
          sys.setdefaultencoding('utf8')
      except:
          # python 3 not needed
          pass
      if __name__ == '__main__':
          spark = SparkSession.builder\
              .appName("spark sql")\
              .config("spark.sql.broadcastTimeout", 20 * 60)\
              .config("spark.sql.crossJoin.enabled", True)\
              .config("odps.exec.dynamic.partition.mode", "nonstrict")\
              .config("spark.sql.catalogImplementation", "odps")\
              .getOrCreate()
      def is_number(s):
          try:
              float(s)
              return True
          except ValueError:
              pass
          try:
              import unicodedata
              unicodedata.numeric(s)
              return True
          except (TypeError, ValueError):
              pass
          return False
      print(is_number('foo'))
      print(is_number('1'))
      print(is_number('1.3'))
      print(is_number('-1.37'))
      print(is_number('1e3'))

   2. Simpan dan commit resource tersebut.

2. Pada node ODPS Spark yang telah dibuat, konfigurasikan parameter dan properti penjadwalan untuk tugas MaxCompute Spark dengan merujuk pada bagian Penjelasan parameter dalam topik ini, lalu simpan dan commit node tersebut.

   Parameter	Deskripsi
   Spark Version	Pilih Spark2.x.
   Language	Pilih Python.
   Main Python Resource	Resource Python spark_is_number.py yang telah Anda buat.

3. Buka Operation Center di lingkungan pengembangan untuk melakukan pengisian ulang data pada node ODPS Spark. Untuk informasi selengkapnya, lihat Pengisian ulang data dan tampilkan instans pengisian ulang data (versi baru).

   Catatan

   DataWorks tidak menyediakan titik masuk untuk menjalankan node ODPS Spark di DataStudio. Anda harus menjalankan node ODPS Spark di Operation Center di lingkungan pengembangan.

4. Lihat hasilnya.

   Setelah instans pengisian ulang data berhasil dijalankan, klik tracking URL di log eksekusi yang dihasilkan untuk melihat hasilnya. Informasi berikut dikembalikan:

   False
   True
   True
   True
   True

Contoh pengeditan kode tingkat lanjut

Untuk informasi lebih lanjut tentang pengembangan tugas Spark on MaxCompute dalam skenario lainnya, lihat topik-topik berikut:

• Contoh Spark 1.x untuk Java atau Scala

• Contoh Spark 2.x untuk Java atau Scala

• Kembangkan aplikasi Spark on MaxCompute menggunakan PySpark

• Akses instans di VPC dari Spark on MaxCompute

• Akses OSS dari Spark on MaxCompute