DataWorks：Node MaxCompute Spark

Izin

(Opsional, untuk Pengguna RAM) Pengguna RAM yang mengembangkan tugas harus menjadi anggota ruang kerja dengan peran Developer atau Workspace Administrator. Peran Workspace Administrator memiliki izin yang luas, jadi tetapkan dengan hati-hati. Untuk informasi selengkapnya tentang cara menambahkan anggota, lihat Add members to a workspace and assign roles to them.

Batasan

Jika Anda memilih Spark 3.x untuk node MaxCompute Spark dan pengiriman pekerjaan gagal, Anda harus membeli dan menggunakan kelompok sumber daya Serverless. Untuk informasi selengkapnya, lihat Purchase and use a Serverless resource group.

Prasyarat

Node MaxCompute Spark mendukung eksekusi pekerjaan batch Spark on MaxCompute yang ditulis dalam Java/Scala dan Python. Langkah pengembangan dan antarmuka konfigurasi berbeda untuk setiap bahasa. Pilih bahasa yang paling sesuai dengan kebutuhan bisnis Anda.

Properti Konfigurasi

DataWorks menjalankan pekerjaan batch Spark on MaxCompute dalam mode kluster. Dalam mode ini, Anda harus menentukan titik masuk program, yaitu kelas main. Pekerjaan Spark berakhir ketika metode main selesai dengan status Success atau Fail. Selain itu, Anda harus menambahkan setiap konfigurasi dari file spark-defaults.conf ke Properti Konfigurasi node MaxCompute Spark. Contohnya termasuk jumlah instans executor, ukuran memori, dan properti spark.hadoop.odps.runtime.end.point.

Langkah-langkah

1. Buat resource.

   1. Pada halaman Data Development, temukan Resource Management di panel navigasi kiri. Klik Create dan pilih MaxCompute Spark Python untuk membuat resource. Beri nama resource tersebut spark_is_number.py. Untuk informasi selengkapnya, lihat Create and use a MaxCompute resource. Contoh:

      # -*- coding: utf-8 -*-
      import sys
      from pyspark.sql import SparkSession
      
      try:
          # Untuk Python 2
          reload(sys)
          sys.setdefaultencoding('utf8')
      except:
          # Tidak diperlukan untuk Python 3
          pass
      
      if __name__ == '__main__':
          spark = SparkSession.builder\
              .appName("spark sql")\
              .config("spark.sql.broadcastTimeout", 20 * 60)\
              .config("spark.sql.crossJoin.enabled", True)\
              .config("odps.exec.dynamic.partition.mode", "nonstrict")\
              .config("spark.sql.catalogImplementation", "odps")\
              .getOrCreate()
      
      def is_number(s):
          try:
              float(s)
              return True
          except ValueError:
              pass
      
          try:
              import unicodedata
              unicodedata.numeric(s)
              return True
          except (TypeError, ValueError):
              pass
      
          return False
      
      print(is_number('foo'))
      print(is_number('1'))
      print(is_number('1.3'))
      print(is_number('-1.37'))
      print(is_number('1e3'))

   2. Simpan resource tersebut.

2. Pada node MaxCompute Spark yang telah Anda buat, konfigurasikan node dan parameter penjadwalannya. Untuk informasi selengkapnya, lihat Configure a MaxCompute Spark node.

3. Jika Anda perlu menjalankan node secara berkala, konfigurasikan properti penjadwalannya sesuai kebutuhan bisnis Anda. Untuk informasi selengkapnya, lihat Configure scheduling properties.

4. Setelah mengonfigurasi node, deploy node tersebut. Untuk informasi selengkapnya, lihat Deploy tasks.

5. Setelah tugas dideploy, Anda dapat melihat status eksekusi tugas berkala di Operation and Maintenance Center. Untuk informasi selengkapnya, lihat View and manage auto-triggered tasks.

   Catatan

   • Anda tidak dapat menjalankan node MaxCompute Spark secara langsung dari editor node di halaman Data Development. Anda harus menjalankan tugas dari Operation and Maintenance Center.

   • Setelah Backfill Instance berhasil dijalankan, Anda dapat melihat hasilnya dengan membuka URL pelacakan dari Run Log.

Topik Terkait

• Untuk informasi selengkapnya tentang skenario pengembangan umum untuk tugas Spark on MaxCompute, lihat topik-topik berikut:

  • Java/Scala example: Spark 1.x

  • Java/Scala example: Spark 2.x

  • Python example: PySpark development

  • Use case: Access a VPC instance from Spark

  • Use case: Access OSS from Spark

• FAQ Spark: Pelajari isu umum saat menjalankan pekerjaan Spark untuk membantu Anda memecahkan masalah exception lebih cepat. Untuk informasi selengkapnya, lihat FAQ about Spark.

• Diagnosis pekerjaan Spark: MaxCompute menyediakan tool Logview dan Spark web UI untuk pekerjaan Spark. Anda dapat memeriksa log pekerjaan untuk memverifikasi pengiriman dan eksekusi pekerjaan yang benar. Untuk informasi selengkapnya, lihat Diagnose Spark jobs.