MaxCompute:Kembangkan tugas ODPS Spark

Java atau Scala

Lengkapi langkah-langkah berikut di mesin lokal Anda sebelum mengonfigurasi node:

1. Siapkan lingkungan pengembangan. Siapkan lingkungan pengembangan sesuai sistem operasi Anda:

   • Linux: Siapkan lingkungan pengembangan Linux

   • Windows: Siapkan lingkungan pengembangan Windows

2. Kembangkan kode Anda. Tulis kode aplikasi Spark on MaxCompute Anda. Mulailah dari templat proyek contoh untuk mendapatkan struktur proyek yang telah dikonfigurasi dengan dependensi Spark dan MaxCompute yang tepat.

3. Paket dan unggah file JAR. Paket kode Anda sebagai file JAR dan unggah ke DataWorks sebagai resource MaxCompute. Untuk detailnya, lihat Buat dan gunakan resource MaxCompute.

Python (lingkungan default)

Tulis kode PySpark Anda langsung di DataWorks sebagai resource Python, lalu lakukan commit. Tidak diperlukan penyiapan lokal. Untuk contoh dan instruksi, lihat Buat dan gunakan resource MaxCompute dan Kembangkan aplikasi Spark on MaxCompute menggunakan PySpark.

Jika lingkungan Python default tidak menyertakan paket pihak ketiga yang dibutuhkan oleh tugas Anda, siapkan lingkungan Python kustom (lihat di bawah), atau gunakan node PyODPS 2 atau node PyODPS 3, yang mendukung kumpulan library Python yang lebih luas.

Python (lingkungan kustom)

Jika lingkungan Python default tidak memenuhi kebutuhan Anda:

1. Siapkan lingkungan Python kustom di mesin lokal Anda. Rujuk ke Versi Python PySpark dan dependensi yang didukung untuk mengonfigurasi lingkungan berdasarkan kebutuhan dependensi Anda.

2. Paket dan unggah lingkungan tersebut. Paket lingkungan Python sebagai file ZIP dan unggah ke DataWorks sebagai resource MaxCompute. Untuk detailnya, lihat Buat dan gunakan resource MaxCompute.

Langkah 1: Buat dan commit resource Python

1. Di Konsol DataWorks, buka DataStudio dan buat resource Python bernama spark_is_number.py. Untuk detail cara membuat resource, lihat Buat dan gunakan resource MaxCompute. Tempel kode berikut ke dalam resource:

   # -*- coding: utf-8 -*-
   import sys
   from pyspark.sql import SparkSession
   
   try:
       # Hanya untuk Python 2
       reload(sys)
       sys.setdefaultencoding('utf8')
   except:
       # Python 3 tidak memerlukan ini
       pass
   
   if __name__ == '__main__':
       spark = SparkSession.builder\
           .appName("spark sql")\
           .config("spark.sql.broadcastTimeout", 20 * 60)\
           .config("spark.sql.crossJoin.enabled", True)\
           .config("odps.exec.dynamic.partition.mode", "nonstrict")\
           .config("spark.sql.catalogImplementation", "odps")\
           .getOrCreate()
   
   def is_number(s):
       try:
           float(s)
           return True
       except ValueError:
           pass
   
       try:
           import unicodedata
           unicodedata.numeric(s)
           return True
       except (TypeError, ValueError):
           pass
   
       return False
   
   print(is_number('foo'))
   print(is_number('1'))
   print(is_number('1.3'))
   print(is_number('-1.37'))
   print(is_number('1e3'))

2. Simpan dan commit resource tersebut.

Langkah 2: Konfigurasi node ODPS Spark

Di node ODPS Spark, atur parameter berikut:

Simpan dan commit node tersebut.

Langkah 3: Jalankan node di Operation Center

Node ODPS Spark tidak dapat dijalankan dari DataStudio. Buka Operation Center di lingkungan pengembangan untuk menjalankan node tersebut.

Di Operation Center, picu pengisian ulang data untuk node ODPS Spark. Untuk detailnya, lihat Pengisian ulang data dan tampilkan instans pengisian ulang data (versi baru).

Langkah 4: Lihat hasilnya

Setelah instans pengisian ulang selesai dengan sukses, klik tracking URL di log eksekusi untuk melihat output:

False
True
True
True
True