DataWorks：Kembangkan Pekerjaan ODPS Spark

Batasan

Jika pengiriman gagal untuk Node ODPS Spark yang menggunakan Spark 3.x, Anda harus membeli dan menggunakan Serverless Resource Group. Untuk informasi lebih lanjut, lihat Use serverless resource groups.

Prasyarat

Node ODPS Spark mendukung eksekusi Offline Jobs Spark on MaxCompute menggunakan Java/Scala atau Python. Proses pengembangan dan opsi konfigurasi berbeda-beda tergantung bahasa pemrograman.

Parameter

DataWorks menjalankan Offline Jobs Spark on MaxCompute dalam Cluster Mode. Dalam mode ini, Anda harus menentukan titik masuk program kustom, main. Job Spark akan dihentikan ketika metode main selesai, mengembalikan status Success atau Fail. Selain itu, konfigurasi dari file spark-defaults.conf harus ditambahkan satu per satu ke bagian Configuration Item pada Node ODPS Spark. Contohnya termasuk jumlah instans executor, Memory, dan konfigurasi spark.hadoop.odps.runtime.end.point.

Contoh sederhana

Bagian ini menunjukkan cara menggunakan Node ODPS Spark dengan contoh sederhana: memeriksa apakah suatu string bersifat numerik.

1. Buat resource.

   1. Di halaman Data Development, buat Resource Python baru dan beri nama spark_is_number.py. Untuk informasi lebih lanjut, lihat Create and use MaxCompute resources.

      # -*- coding: utf-8 -*-
      import sys
      from pyspark.sql import SparkSession
      
      try:
          # for python 2
          reload(sys)
          sys.setdefaultencoding('utf8')
      except:
          # python 3 not needed
          pass
      
      if __name__ == '__main__':
          spark = SparkSession.builder\
              .appName("spark sql")\
              .config("spark.sql.broadcastTimeout", 20 * 60)\
              .config("spark.sql.crossJoin.enabled", True)\
              .config("odps.exec.dynamic.partition.mode", "nonstrict")\
              .config("spark.sql.catalogImplementation", "odps")\
              .getOrCreate()
      
      def is_number(s):
          try:
              float(s)
              return True
          except ValueError:
              pass
      
          try:
              import unicodedata
              unicodedata.numeric(s)
              return True
          except (TypeError, ValueError):
              pass
      
          return False
      
      print(is_number('foo'))
      print(is_number('1'))
      print(is_number('1.3'))
      print(is_number('-1.37'))
      print(is_number('1e3'))

   2. Simpan dan lakukan commit Resource.

2. Pada Node ODPS Spark yang telah Anda buat, konfigurasikan Parameter node dan Parameter penjadwalan seperti yang dijelaskan di Parameters, lalu simpan dan lakukan commit Node.

   Parameter	Deskripsi
   Spark version	Spark 2.x
   Language	Python
   Select main Python resource	Dari daftar drop-down, pilih Resource Python yang telah Anda buat: spark_is_number.py.

3. Buka Operation Center untuk lingkungan pengembangan dan jalankan Job Data Backfill. Untuk petunjuk detail, lihat Data backfill instance O&M.

   Catatan

   Karena Node ODPS Spark di Data Development tidak dapat dijalankan secara langsung, Anda harus mengeksekusi Job tersebut dari Operation Center di lingkungan pengembangan.

4. Lihat hasilnya.

   Setelah Instance Data Backfill berhasil dijalankan, buka tracking URL-nya di Run Log untuk melihat hasilnya:

   False
   True
   True
   True
   True

Contoh lanjutan

Untuk contoh lain pengembangan Job Spark on MaxCompute untuk berbagai kasus penggunaan, lihat topik-topik berikut:

• Java/Scala example: Spark 1.x

• Java/Scala example: Spark 2.x

• Python example: PySpark development

• Use case: Access a VPC instance from Spark

• Use case: Access OSS from Spark