AnalyticDB:Kembangkan aplikasi Spark dengan PySpark

Instalasi real-time

1. Siapkan kode aplikasi Anda

   Tulis skrip Python, misalnya, job.py, dan unggah ke path OSS, seperti oss://your-bucket/scripts/job.py.

   # Skrip contoh ini mencetak semua dependensi di lingkungan Python saat ini.
   # Cetak semua modul di lingkungan Python
   import pkgutil
   if __name__ == "__main__":
       for module_info in pkgutil.iter_modules():
           print(module_info.name)

2. Konfigurasikan parameter job

   ## Contoh job
   {
       "file": "oss://your-bucket/scripts/job.py",  // Path ke file kode Anda
       "name": "Demo Env Real-time",
       "conf": {
           "spark.adb.version": "3.5",
           "spark.driver.resourceSpec": "medium",
           "spark.executor.instances": 1,
           "spark.executor.resourceSpec": "medium",
           // --- Mulai konfigurasi inti ---
           // 1. Tentukan versi Python
           "spark.kubernetes.driverEnv.PYTHON_BIN": "python3.11",
           "spark.executorEnv.PYTHON_BIN": "python3.11",
           // 2. Tentukan dependensi yang akan diinstal (untuk Driver dan Executor)
           "spark.kubernetes.driverEnv.PYTHON_MODULES": "chinesecalendar>=1.10.0,pandas>=1.5.3,lunar_python",
           "spark.executorEnv.PYTHON_MODULES": "chinesecalendar>=1.10.0,pandas>=1.5.3,lunar_python"
           // --- Akhir konfigurasi inti ---
       }
   }

   Penting

   Spark terdiri dari Driver (node kontrol) dan Executors (node eksekusi). Untuk memastikan lingkungan yang konsisten, Anda harus mengonfigurasi variabel lingkungan yang sama untuk keduanya.

   Parameter	Deskripsi	Wajib	Default	Catatan
   spark.kubernetes.driverEnv.PYTHON_MODULES	Daftar paket Python yang akan diinstal.	Ya	Tidak ada	Pisahkan beberapa dependensi Python dengan koma (,). Format dependensi Python harus sepenuhnya mematuhi persyaratan komunitas PyPI. Dependensi Python tanpa batasan versi harus ditempatkan di akhir daftar. Contoh: chinesecalendar>=1.10.0,dynaconf>=3.2.10,pandas>=1.5.3,lunar_python
   spark.executorEnv.PYTHON_MODULES
   spark.kubernetes.driverEnv.PYTHON_BIN	Versi Python yang digunakan untuk job.	Tidak	python3.11	Nilai yang valid: python3.11 python3.9
   spark.executorEnv.PYTHON_BIN
   spark.kubernetes.driverEnv.INDEX_URL	URL repositori PyPI.	Tidak	http://mirrors.cloud.aliyuncs.com/pypi/simple/	Nilai default adalah URL mirror yang di-host di dalam Alibaba Cloud, yang dapat diakses melalui jaringan internal. Jika Anda menentukan alamat yang hanya dapat diakses melalui jaringan publik, seperti mirror PyPI dari Universitas Tsinghua, Anda harus mengaktifkan akses jaringan publik. Untuk informasi selengkapnya, lihat Konfigurasikan akses jaringan publik untuk aplikasi Spark.
   spark.executorEnv.INDEX_URL
   spark.kubernetes.driverEnv.TRUSTED_HOST	Domain repositori PyPI yang akan ditambahkan sebagai host tepercaya.	Tidak	mirrors.cloud.aliyuncs.com	Python memverifikasi sertifikat SSL repositori PyPI selama instalasi. Jika sertifikat repositori bukan berasal dari otoritas sertifikat (CA) tepercaya, gunakan parameter ini untuk menandai domain repositori sebagai host tepercaya. Penting Gunakan parameter ini dengan hati-hati. Pastikan sumber PyPI yang dikonfigurasi dapat dipercaya, karena serangan dependency confusion merupakan ancaman umum.
   spark.executorEnv.TRUSTED_HOST

3. Jalankan job contoh. Anda dapat melihat log untuk memastikan bahwa lingkungan Python berisi dependensi yang dideklarasikan beserta dependensi transitifnya.

   xxlimited_35
   zlib
   numpy
   pandas
   _distutils_hack
   _virtualenv
   chinese_calendar
   dateutil
   lunar_python
   pip
   pkg_resources
   pytz
   setuptools
   six
   tzdata
   wheel
   >>>>>>>> stderr:
   25/12/25 17:01:56 INFO ShutdownHookManager: Shutdown hook called

Cloud build

Solusi ini menggunakan job khusus untuk mengemas dependensi ke dalam arsip terkompresi, yang kemudian diunggah ke OSS untuk digunakan kembali pada job berikutnya.

1. Rencanakan jalur OSS

   Tentukan path OSS untuk menyimpan lingkungan yang telah dikemas, misalnya, oss://your-bucket/envs/my_custom_env.

2. Kirim job pengemasan

   Penting

   • Jangan ubah path skrip pengemasan bawaan: local:///opt/tools/build_venv.py.

   • Di args, tentukan dependensi yang akan diinstal.

   ## Contoh job
   {
       // 1. Tentukan semua dependensi yang akan dikemas.
       "args": [
           "chinesecalendar>=1.10.0",
           "pandas>=1.5.3",
           "pyarrow>=19.0.1",
           "lunar_python"
       ],
       // 2. Panggil skrip pengemasan bawaan (jangan ubah).
       "file": "local:///opt/tools/build_venv.py",
       "name": "Build VirtualEnv Job",
       "conf": {
           "spark.driver.resourceSpec": "medium",
           "spark.executor.instances": 1,
           "spark.executor.resourceSpec": "medium",
           // 3. Tentukan versi Python.
           "spark.kubernetes.driverEnv.PYTHON_BIN": "python3.11",
           // 4. Tentukan path OSS untuk mengunggah lingkungan yang dikemas (sesuaikan jika perlu).
           "spark.kubernetes.driverEnv.VENV_OSS_PATH": "oss://your-bucket/envs/my_custom_env",
           // 5. Tentukan direktori sementara untuk proses build.
           "spark.kubernetes.driverEnv.VENV_DIR": "/tmp/build_test"
       }
   }

   Parameter	Deskripsi	Wajib	Default	Catatan
   spark.kubernetes.driverEnv.VENV_OSS_PATH	Path penyimpanan paket lingkungan.	Ya	Tidak ada	Contoh: oss://your-bucket/envs/my_custom_env.
   spark.kubernetes.driverEnv.VENV_DIR	Direktori build sementara.	Tidak	/tmp/venv	Jika paket lingkungan besar, pasang data disk dan ubah path ini menjadi /user_data_dir.
   spark.kubernetes.driverEnv.PYTHON_BIN	Versi Python yang digunakan untuk job.	Tidak	python3.11	Nilai yang valid: python3.11 python3.9
   spark.kubernetes.driverEnv.INDEX_URL	URL repositori PyPI.	Tidak	http://mirrors.cloud.aliyuncs.com/pypi/simple/	Nilai default adalah URL mirror yang di-host di dalam Alibaba Cloud, yang dapat diakses melalui jaringan internal. Jika Anda menentukan alamat yang hanya dapat diakses melalui jaringan publik, seperti mirror PyPI dari Universitas Tsinghua, Anda harus mengaktifkan akses jaringan publik. Untuk informasi selengkapnya, lihat Konfigurasikan akses jaringan publik untuk aplikasi Spark.
   spark.kubernetes.driverEnv.TRUSTED_HOST	Domain repositori PyPI yang akan ditambahkan sebagai host tepercaya.	Tidak	mirrors.cloud.aliyuncs.com	Python memverifikasi sertifikat SSL repositori PyPI selama instalasi. Jika sertifikat repositori bukan berasal dari otoritas sertifikat (CA) tepercaya, gunakan parameter ini untuk menandai domain repositori sebagai host tepercaya. Penting Gunakan parameter ini dengan hati-hati. Pastikan sumber PyPI yang dikonfigurasi dapat dipercaya, karena serangan dependency confusion merupakan ancaman umum.

3. Jalankan job

   Log menampilkan detail unggahan arsip dan daftar lengkap paket beserta versinya yang diinstal di lingkungan virtual.

   ------------------ --------------
   chinesecalendar    1.11.0
   lunar_python       1.4.8
   numpy              1.26.0
   pandas             2.3.3
   pip                24.2
   pyarrow            22.0.0
   python-dateutil    2.9.0.post0
   pytz               2025.2
   setuptools         75.1.0
   six                1.17.0
   tzdata             2025.3
   wheel              0.44.0
   Mengunggah arsip ke oss://xxx/envs/my_custom_env/venv_20251225174458.tar.gz
   + ossutil cp /tmp/venv_20251225174458.tar.gz xxx
   xxx
   xxx
   xxx
   xxx
   xxx
   xxx
   xxx
   xxx
   xxx
   Berhasil: Total jumlah: 1, ukuran: 115.655.687. OK jumlah: 1(mengunggah 1 file).
   0,788886(d) berlalu
   Unggahan selesai: oss://xxx/envs/my_custom_env/venv_20251225174458.tar.gz

4. Gunakan paket lingkungan

   Untuk job PySpark berikutnya, Anda dapat mereferensikan arsip di oss://your-bucket/envs/my_custom_env.

   Untuk menggunakan lingkungan yang telah dikemas, atur parameter archives dalam konfigurasi job Anda.

   Peringatan

   Konfigurasi ini hanya didukung di Spark 3.5 dan versi lebih baru.

   ## Contoh penggunaan
   {
    "name": "Spark Python",
    "file": "oss://testBucketName/example.py",
    "archives": ["oss://your-bucket/envs/my_custom_env/venv_*****.tar.gz#PY3"],
    "args": [
    "oss://testBucketName/staff.csv"
    ],
    "conf": {
    "spark.driver.resourceSpec": "small",
    "spark.executor.instances": 2,
    "spark.executor.resourceSpec": "small",
    "spark.pyspark.python": "./PY3/venv/bin/python3"
    }
   }