AnalyticDB:Kembangkan aplikasi Spark dengan PySpark

Real-time installation

1. Siapkan kode aplikasi Anda

   Tulis skrip Python, misalnya, job.py, dan unggah ke path OSS, seperti oss://your-bucket/scripts/job.py.

   # Skrip contoh ini mencetak semua dependensi di lingkungan Python saat ini.
   # Cetak semua modul di lingkungan Python
   import pkgutil
   if __name__ == "__main__":
       for module_info in pkgutil.iter_modules():
           print(module_info.name)

2. Konfigurasikan parameter pekerjaan

   ## Contoh pekerjaan
   {
       "file": "oss://your-bucket/scripts/job.py",  // Path ke file kode Anda
       "name": "Real-time Env Demo",
       "conf": {
           "spark.adb.version": "3.5",
           "spark.driver.resourceSpec": "medium",
           "spark.executor.instances": 1,
           "spark.executor.resourceSpec": "medium",
           // --- Mulai konfigurasi inti ---
           // 1. Tentukan versi Python
           "spark.kubernetes.driverEnv.PYTHON_BIN": "python3.11",
           "spark.executorEnv.PYTHON_BIN": "python3.11",
           // 2. Tentukan dependensi yang akan diinstal (untuk Driver dan Executor)
           "spark.kubernetes.driverEnv.PYTHON_MODULES": "chinesecalendar>=1.10.0,pandas>=1.5.3,lunar_python",
           "spark.executorEnv.PYTHON_MODULES": "chinesecalendar>=1.10.0,pandas>=1.5.3,lunar_python"
           // --- Akhir konfigurasi inti ---
       }
   }

   Penting

   Spark terdiri dari Driver (node kontrol) dan Executors (node eksekusi). Untuk memastikan lingkungan yang konsisten, Anda harus mengonfigurasi variabel lingkungan yang sama untuk keduanya.

   Parameter	Deskripsi	Wajib	Bawaan	Catatan
   spark.kubernetes.driverEnv.PYTHON_MODULES	Daftar paket Python yang akan diinstal.	Ya	Tidak ada	Pisahkan beberapa dependensi Python dengan koma (,). Format dependensi Python harus sepenuhnya mematuhi persyaratan komunitas PyPI. Dependensi Python tanpa batasan versi harus ditempatkan di akhir daftar. Contoh: chinesecalendar>=1.10.0,dynaconf>=3.2.10,pandas>=1.5.3,lunar_python
   spark.executorEnv.PYTHON_MODULES
   spark.kubernetes.driverEnv.PYTHON_BIN	Versi Python yang digunakan untuk pekerjaan.	Tidak	python3.11	Nilai yang valid: python3.11 python3.9
   spark.executorEnv.PYTHON_BIN
   spark.kubernetes.driverEnv.INDEX_URL	URL repositori PyPI.	Tidak	http://mirrors.cloud.aliyuncs.com/pypi/simple/	Nilai bawaan adalah URL mirror yang di-host di dalam Alibaba Cloud, yang dapat diakses melalui jaringan internal. Jika Anda menentukan alamat yang hanya dapat diakses melalui jaringan publik, seperti mirror PyPI dari Universitas Tsinghua, Anda harus mengaktifkan akses jaringan publik. Untuk informasi selengkapnya, lihat Configure public network access for a Spark application.
   spark.executorEnv.INDEX_URL
   spark.kubernetes.driverEnv.TRUSTED_HOST	Domain repositori PyPI yang akan ditambahkan sebagai host tepercaya.	Tidak	mirrors.cloud.aliyuncs.com	Python memverifikasi sertifikat SSL repositori PyPI selama instalasi. Jika sertifikat repositori bukan dari otoritas sertifikat (CA) tepercaya, gunakan parameter ini untuk menandai domain repositori sebagai host tepercaya. Penting Gunakan parameter ini dengan hati-hati. Pastikan sumber PyPI yang dikonfigurasi dapat dipercaya, karena serangan dependency confusion merupakan ancaman umum.
   spark.executorEnv.TRUSTED_HOST

3. Jalankan pekerjaan contoh. Anda dapat melihat log untuk memastikan lingkungan Python berisi dependensi yang dideklarasikan beserta dependensi transitifnya.

   xxlimited_35
   zlib
   numpy
   pandas
   _distutils_hack
   _virtualenv
   chinese_calendar
   dateutil
   lunar_python
   pip
   pkg_resources
   pytz
   setuptools
   six
   tzdata
   wheel
   >>>>>>>> stderr:
   25/12/25 17:01:56 INFO ShutdownHookManager: Shutdown hook called

Cloud build

Solusi ini menggunakan pekerjaan khusus untuk mengemas dependensi ke dalam arsip terkompresi, yang kemudian diunggah ke OSS untuk digunakan kembali pada pekerjaan berikutnya.

1. Rencanakan jalur OSS

   Tentukan path OSS untuk menyimpan lingkungan yang telah dikemas, misalnya, oss://your-bucket/envs/my_custom_env.

2. Kirim pekerjaan pengemasan

   Penting

   • Jangan mengubah path skrip pengemasan bawaan: local:///opt/tools/build_venv.py.

   • Di args, tentukan dependensi yang akan diinstal.

   ## Contoh pekerjaan
   {
       // 1. Tentukan semua dependensi yang akan dikemas.
       "args": [
           "chinesecalendar>=1.10.0",
           "pandas>=1.5.3",
           "pyarrow>=19.0.1",
           "lunar_python"
       ],
       // 2. Panggil skrip pengemasan bawaan (jangan ubah).
       "file": "local:///opt/tools/build_venv.py",
       "name": "Build VirtualEnv Job",
       "conf": {
           "spark.driver.resourceSpec": "medium",
           "spark.executor.instances": 1,
           "spark.executor.resourceSpec": "medium",
           // 3. Tentukan versi Python.
           "spark.kubernetes.driverEnv.PYTHON_BIN": "python3.11",
           // 4. Tentukan path OSS untuk mengunggah lingkungan yang dikemas (sesuaikan jika perlu).
           "spark.kubernetes.driverEnv.VENV_OSS_PATH": "oss://your-bucket/envs/my_custom_env",
           // 5. Tentukan direktori sementara untuk proses build.
           "spark.kubernetes.driverEnv.VENV_DIR": "/tmp/build_test"
       }
   }

   Parameter	Deskripsi	Wajib	Bawaan	Catatan
   spark.kubernetes.driverEnv.VENV_OSS_PATH	Path penyimpanan untuk paket lingkungan.	Ya	Tidak ada	Contoh: oss://your-bucket/envs/my_custom_env.
   spark.kubernetes.driverEnv.VENV_DIR	Direktori build sementara.	Tidak	/tmp/venv	Jika paket lingkungan besar, pasang disk data dan ubah path ini menjadi /user_data_dir.
   spark.kubernetes.driverEnv.PYTHON_BIN	Versi Python yang digunakan untuk pekerjaan.	Tidak	python3.11	Nilai yang valid: python3.11 python3.9
   spark.kubernetes.driverEnv.INDEX_URL	URL repositori PyPI.	Tidak	http://mirrors.cloud.aliyuncs.com/pypi/simple/	Nilai bawaan adalah URL mirror yang di-host di dalam Alibaba Cloud, yang dapat diakses melalui jaringan internal. Jika Anda menentukan alamat yang hanya dapat diakses melalui jaringan publik, seperti mirror PyPI dari Universitas Tsinghua, Anda harus mengaktifkan akses jaringan publik. Untuk informasi selengkapnya, lihat Configure public network access for a Spark application.
   spark.kubernetes.driverEnv.TRUSTED_HOST	Domain repositori PyPI yang akan ditambahkan sebagai host tepercaya.	Tidak	mirrors.cloud.aliyuncs.com	Python memverifikasi sertifikat SSL repositori PyPI selama instalasi. Jika sertifikat repositori bukan dari otoritas sertifikat (CA) tepercaya, gunakan parameter ini untuk menandai domain repositori sebagai host tepercaya. Penting Gunakan parameter ini dengan hati-hati. Pastikan sumber PyPI yang dikonfigurasi dapat dipercaya, karena serangan dependency confusion merupakan ancaman umum.

3. Jalankan pekerjaan

   Log menampilkan detail unggahan arsip dan daftar lengkap paket beserta versinya yang diinstal di lingkungan virtual.

   ------------------ --------------
   chinesecalendar    1.11.0
   lunar_python       1.4.8
   numpy              1.26.0
   pandas             2.3.3
   pip                24.2
   pyarrow            22.0.0
   python-dateutil    2.9.0.post0
   pytz               2025.2
   setuptools         75.1.0
   six                1.17.0
   tzdata             2025.3
   wheel              0.44.0
   Uploading archive to oss://xxx/envs/my_custom_env/venv_20251225174458.tar.gz
   + ossutil cp /tmp/venv_20251225174458.tar.gz xxx
   xxx
   xxx
   xxx
   xxx
   xxx
   xxx
   xxx
   xxx
   xxx
   Succeed: Total num: 1, size: 115,655,687. OK num: 1(upload 1 files).
   0.788886(s) elapsed
   Upload completed: oss://xxx/envs/my_custom_env/venv_20251225174458.tar.gz

4. Gunakan paket lingkungan

   Untuk pekerjaan PySpark berikutnya, Anda dapat mereferensikan arsip di oss://your-bucket/envs/my_custom_env.

   Untuk menggunakan lingkungan yang telah dikemas, atur parameter pyFiles dalam konfigurasi pekerjaan Anda.

   ## Contoh penggunaan
   {
    "name": "Spark Python",
    "file": "oss://testBucketName/example.py",
    "pyFiles": ["oss://your-bucket/envs/my_custom_env/venv_*****.tar.gz"],
    "args": [
    "oss://testBucketName/staff.csv"
    ],
    "conf": {
    "spark.driver.resourceSpec": "small",
    "spark.executor.instances": 2,
    "spark.executor.resourceSpec": "small"
    }
   }