DataWorks:Node MaxCompute Spark

Persyaratan izin

Untuk mengembangkan pekerjaan, Pengguna RAM harus ditambahkan ke ruang kerja yang sesuai dan diberikan peran Development atau Workspace Administrator. Peran Workspace Administrator mencakup izin yang luas dan harus diberikan dengan hati-hati. Untuk informasi lebih lanjut tentang cara menambahkan anggota ke ruang kerja, lihat Tambahkan anggota ruang kerja.

Batasan

Jika Anda mengalami error saat mengirimkan node MaxCompute Spark yang menggunakan Spark 3.x, Anda harus membeli dan menggunakan kelompok sumber daya arsitektur tanpa server. Untuk informasi lebih lanjut, lihat Gunakan kelompok sumber daya arsitektur tanpa server.

Sebelum memulai

Node MaxCompute Spark mendukung eksekusi pekerjaan offline Spark on MaxCompute menggunakan Java/Scala dan Python. Langkah pengembangan dan antarmuka konfigurasi berbeda untuk setiap bahasa. Pilih bahasa berdasarkan kebutuhan bisnis Anda.

Parameter

DataWorks menjalankan pekerjaan offline Spark on MaxCompute dalam mode Kluster. Dalam mode ini, Anda harus menentukan titik masuk program kustom main. Pekerjaan Spark yang sesuai akan berakhir ketika fungsi main selesai dengan status Success atau Fail. Selain itu, konfigurasi dalam file spark-defaults.conf harus ditambahkan satu per satu ke item konfigurasi node MaxCompute Spark, seperti jumlah executor, ukuran memori, dan konfigurasi spark.hadoop.odps.runtime.end.point.

Prosedur

1. Buat sumber daya.

   1. Temukan Resource Management di bilah navigasi kiri halaman Data Studio dan klik Create. Buat resource Python bertipe MaxCompute Spark dan beri nama spark_is_number.py. Untuk informasi lebih lanjut, lihat Resource Management. Kodenya sebagai berikut:

      # -*- coding: utf-8 -*-
      import sys
      from pyspark.sql import SparkSession
      try:
          # for python 2
          reload(sys)
          sys.setdefaultencoding('utf8')
      except:
          # python 3 not needed
          pass
      if __name__ == '__main__':
          spark = SparkSession.builder\
              .appName("spark sql")\
              .config("spark.sql.broadcastTimeout", 20 * 60)\
              .config("spark.sql.crossJoin.enabled", True)\
              .config("odps.exec.dynamic.partition.mode", "nonstrict")\
              .config("spark.sql.catalogImplementation", "odps")\
              .getOrCreate()
      def is_number(s):
          try:
              float(s)
              return True
          except ValueError:
              pass
          try:
              import unicodedata
              unicodedata.numeric(s)
              return True
          except (TypeError, ValueError):
              pass
          return False
      print(is_number('foo'))
      print(is_number('1'))
      print(is_number('1.3'))
      print(is_number('-1.37'))
      print(is_number('1e3'))

   2. Simpan resource.

2. Pada node MaxCompute Spark yang telah dibuat, konfigurasikan parameter node dan parameter penjadwalan. Untuk informasi lebih lanjut, lihat Parameter.

3. Untuk menjalankan pekerjaan sesuai jadwal, konfigurasikan properti penjadwalannya sesuai kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Konfigurasi penjadwalan node.

4. Setelah mengonfigurasi pekerjaan node, deploy node tersebut. Untuk informasi lebih lanjut, lihat Deploy node/alur kerja.

5. Setelah pekerjaan dideploy, Anda dapat membuka Pusat Operasi untuk melihat status eksekusi pekerjaan periodik. Untuk informasi lebih lanjut, lihat Memulai Pusat Operasi.

   Catatan

   • Node MaxCompute Spark tidak memiliki titik masuk eksekusi di Data Studio. Anda harus menjalankan pekerjaan Spark di Pusat Operasi dalam lingkungan pengembangan.

   • Setelah instans pengisian ulang data berhasil dijalankan, buka URL pelacakan di log eksekusi instans untuk melihat hasilnya.

Referensi

• Untuk informasi lebih lanjut tentang pengembangan pekerjaan Spark on MaxCompute untuk kasus penggunaan lainnya, lihat topik-topik berikut:

  • Contoh Java/Scala: Spark 1.x

  • Contoh Java/Scala: Spark 2.x

  • Contoh Python: Pengembangan PySpark

  • Kasus penggunaan: Akses instans VPC dari Spark

  • Kasus penggunaan: Akses OSS dari Spark

• FAQ Spark: Temukan solusi untuk masalah umum eksekusi Spark guna mempercepat troubleshooting. Untuk informasi lebih lanjut, lihat FAQ Spark.

• Diagnosis pekerjaan Spark: MaxCompute menyediakan tool Logview dan Spark web UI. Gunakan log pekerjaan untuk memverifikasi bahwa pekerjaan telah dikirimkan dan berjalan dengan benar. Untuk informasi lebih lanjut, lihat Diagnosis pekerjaan Spark.