DataWorks:Custom images

Catatan penggunaan

• Batasan versi:

  • Semua edisi mendukung pembuatan dan penggunaan custom image.

  • Hanya Edisi Profesional ke atas yang mendukung pembuatan image.

• Batasan kelompok sumber daya: Fitur ini hanya mendukung serverless resource groups.

  Untuk kelompok sumber daya lama, gunakan O&M Assistant untuk menginstal dependensi eksternal.

• Batasan izin: Anda memerlukan kebijakan AliyunDataWorksFullAccess atau ModifyResourceGroup.

  Untuk detail otorisasi, lihat Kelola akses tingkat produk dan konsol dengan kebijakan RAM.

Kuota dan batasan

• Jumlah image: Batas custom image bervariasi berdasarkan edisi DataWorks.

  • Edisi Dasar dan Standar: 10.

  • Edisi Profesional: 50.

  • Edisi Perusahaan: 100.

• Konkurensi build: Anda dapat membangun hingga dua image secara bersamaan per wilayah.

• Persyaratan Gambar ACR:

  • Edisi instans: Hanya instans Alibaba Cloud ACR Edisi Perusahaan yang didukung.

  • Arsitektur instans: Hanya arsitektur AMD64 yang didukung.

  • Ukuran image: Satu image tidak boleh melebihi 5 GB.

  • Konfigurasi zona waktu: Instal paket tzdata untuk mencegah pengecualian kontainer akibat ketidakkonsistenan zona waktu.

• Pembuatan image: Hanya custom image berbasis DataWorks official images yang mendukung build persistensi. Image yang mereferensikan image Alibaba Cloud ACR tidak mendukung fitur ini; image tersebut ditarik dan dideploy setiap kali tugas dijalankan.

• Tipe node dan metode yang didukung:

  Tipe node	Official image build	ACR image build
  PyODPS2	Supported	Unsupported
  PyODPS3	Supported	Unsupported
  EMR Spark	Supported	Unsupported
  EMR Spark SQL	Supported	Unsupported
  EMR SHELL	Supported	Unsupported
  Shell	Supported	Supported
  Python	Supported	Supported
  Notebook	Unsupported	Supported
  CDH	Supported	Unsupported
  Assignment Node	Supported	Unsupported

Prosedur

Penagihan

Pembuatan image dikenai biaya komputasi berdasarkan jumlah CU × durasi build. Sistem mengalokasikan 0,5 CU secara default. Untuk detail penagihan, lihat Standar penagihan serverless resource group.

Praktik terbaik untuk produksi

Ikuti rekomendasi berikut untuk custom image yang stabil dan efisien di produksi:

• Persistent image: Kami menyarankan membangun persistent image untuk image yang telah dipublikasikan dan stabil. Hal ini menghindari instalasi ulang dependensi setiap kali tugas dijalankan, mempersingkat waktu startup, mengurangi biaya komputasi, dan meningkatkan stabilitas.

• Konsistensi lingkungan: Pastikan konsistensi pengikatan VPC dan konfigurasi jaringan untuk serverless resource group yang digunakan dalam pengujian, pembuatan, dan penjadwalan produksi, terutama saat mengakses repository ACR privat atau Internet.

• Penguncian versi: Saat menginstal dependensi melalui Script, kami sangat menyarankan untuk secara eksplisit menentukan nomor versi (misalnya, pip install pandas==1.5.3) guna menghindari perubahan perilaku tak terduga akibat pembaruan library upstream.

• Rencana rollback: Jika tugas produksi gagal setelah pembaruan image, Anda dapat melakukan rollback ke versi sebelumnya melalui riwayat publikasi tugas atau mengarahkan ulang image ke versi lama yang stabil dalam konfigurasi penjadwalan.

Kasus penggunaan

Contoh ini menunjukkan cara menggunakan custom image untuk segmentasi kata dalam node PyODPS. Anda akan memproses data di tabel MaxCompute dan menyimpan hasilnya untuk node downstream. Anda dapat menginstal paket alat segmentasi jieba secara pra-instal dalam custom image, lalu menggunakan image ini dalam tugas PyODPS untuk memproses data dan menyimpan hasilnya ke tabel baru, sehingga terintegrasi mulus ke dalam alur penjadwalan downstream.

1. Buat data uji.

   1. Buat ruang kerja DataWorks dan ikat sumber daya komputasi MaxCompute. Untuk detailnya, lihat Buat ruang kerja dan Manajemen sumber daya komputasi.

   2. Di DataStudio, buat node ODPS (DataStudio lama) atau node MaxCompute SQL (Data Studio baru), buat tabel uji, dan tambahkan data uji.

      Catatan

      Contoh berikut menggunakan parameter penjadwalan. Atur nama parameter menjadi bday dan nilai parameter menjadi $[yyyymmdd] di panel Scheduling di sebelah kanan.

      Buat tabel uji

      -- Create test table
         CREATE TABLE IF NOT EXISTS custom_img_test_tb
         (
             c_customer_id BIGINT NOT NULL,
             c_customer_text STRING NOT NULL,
             PRIMARY KEY (c_customer_id)
         )
         COMMENT 'Test table for custom image demo'
         PARTITIONED BY (ds STRING COMMENT 'Partition')
         LIFECYCLE 90;
      
         -- Insert test data
         INSERT INTO custom_img_test_tb PARTITION (ds='${bday}') (c_customer_id, c_customer_text) VALUES
         (1, 'The sky is getting dark and it looks like it will snow. Would you like a cup of wine?'),
         (2, 'The moon sets, crows caw, and frost fills the sky. I lie awake, facing the river maples and fishing lights.'),
         (3, 'Mountains and rivers seem to block the way. But among shady willows and bright flowers, another village appears.'),
         (4, 'I sleep in spring, unaware of the dawn. Everywhere I hear the birds sing.'),
         (5, 'Thoughts on a quiet night. Moonlight shines before my bed. I mistake it for frost on the ground.'),
         (6, 'The bright moon rises over the sea. We share this moment, though we are far apart.'),
         (7, 'The swallows that once graced the halls of nobles now fly into the homes of common people.'),
         (8, 'A line of egrets flies up to the blue sky. My window frames the ancient snow on the Western Hills.'),
         (9, 'When life is good, enjoy it to the fullest. Do not let the golden goblet face the moon empty.'),
         (10, 'Heaven gave me talent, so it must be used. A thousand pieces of gold, once spent, can be earned again.');

   3. Simpan dan deploy.

2. Buat custom image.

   Lihat 1. Buat custom image. Parameter utama sebagai berikut:

   • Image Name/ID: Pilih dataworks_pyodps_task_pod, yaitu gambar resmi node DataWorks PyODPS.

   • Supported Task Type: Mendukung PyODPS2 dan PyODPS 3.

   • Packages: Pilih Python3 dan jieba.

3. Publikasikan custom image dan modifikasi ruang kerja pemilik. Untuk detailnya, lihat Publikasikan custom image dan Modifikasi ruang kerja pemilik.

4. Gunakan custom image dalam tugas penjadwalan.

   1. Di DataStudio, buat node PyODPS3 dan konfigurasikan konten berikut:

      Gunakan gambar kustom

      import jieba
      from odps import ODPS
      from odps.models import TableSchema as Schema, Column, Partition
      
      # Read table data
      table = o.get_table('custom_img_test_tb')
      partition_spec = f"ds={args['bday']}"
      with table.open_reader(partition=partition_spec) as reader:
          records = [record for record in reader]
      
      # Perform word segmentation on the extracted text
      participles = [' | '.join(jieba.cut(record['c_customer_text'])) for record in records]
      
      # Create target table
      if not o.exist_table("participle_tb"):
          schema = Schema(columns=[Column(name='word_segment', type='string', comment='Segmentation Result')], partitions=[Column(name='ds', type='string', comment='Partition Field')])
          o.create_table("participle_tb", schema)
      
      # Write segmentation results to the target table
      # Define output partition and table
      output_partition = f"ds={args['bday']}"
      output_table = o.get_table("participle_tb")
      
      # Create partition if it does not exist
      if not output_table.exist_partition(output_partition):
          output_table.create_partition(output_partition)
      
      # Write segmentation results to table
      record = output_table.new_record()
      with output_table.open_writer(partition=output_partition, create_partition=True) as writer:
          for participle in participles:
              record['word_segment'] = participle
              writer.write(record)

   2. Atur parameter utama berikut di konfigurasi penjadwalan di sebelah kanan:

      • Scheduling Parameter: Nama parameter bday, nilai parameter $[yyyymmdd].

      • Resource Group: Pilih serverless resource group, yang harus sama dengan kelompok sumber daya pengujian yang dipilih saat publishing the image.

      • Image: Pilih custom image yang telah dipublikasikan dan terikat ke ruang kerja saat ini.

   3. Debugging node.

      • Jika menggunakan DataStudio lama, klik Run with Parameters () di bilah alat atas, konfigurasikan Resource Group Name, CUs for Running, Image, dan Custom Parameters, lalu klik Run.

      • Jika menggunakan DataStudio baru, konfigurasikan Compute Resource, Resource Group, Compute CUs, Image, dan Script Parameters di panel Run Configuration di sebelah kanan, lalu klik Run di bilah alat atas.

   4. (Opsional) Buat kueri sementara (DataStudio lama) atau buat file SQL di direktori pribadi Anda (Data Studio baru), lalu gunakan SQL berikut untuk memeriksa apakah data telah dihasilkan di tabel output.

      -- Replace <Partition Date> with the specific date.
      SELECT * FROM participle_tb WHERE ds=<Partition Date>;

   5. Deploy node PyODPS ke lingkungan produksi.

      Catatan

      Modifikasi image di DataStudio tidak disinkronkan ke lingkungan produksi. Anda harus mempublikasikan tugas agar perubahan berlaku di produksi. Untuk detailnya, lihat Publikasikan tugas (DataStudio Lama) atau Publikasi Node/Workflow (DataStudio Baru).

5. Bangun custom image menjadi persistent image. Untuk detailnya, lihat 5. Bangun persistent image.

FAQ

P: Kesalahan tugas Python: "urllib3 v2.0 hanya mendukung OpenSSL 1.1.1+."

J: urllib3 v2.0 hanya mendukung OpenSSL 1.1.1+. Anda dapat menurunkan spesifikasi urllib3 agar kompatibel dengan OpenSSL. Misalnya, tetapkan versi urllib3 saat menginstal paket pihak ketiga: /home/tops/bin/pip3 install urllib3==1.26.16.

Referensi

• DataWorks official images

• Gunakan serverless resource groups

• Kembangkan tugas berdasarkan kluster Hadoop yang dikelola sendiri

• Pengembangan MaxCompute PyODPS

Perintah instalasi

Jika Anda menggunakan metode Script untuk mengonfigurasi perintah instalasi custom image, rujuk perintah berikut:

• Jika bergantung pada node PyODPS 2, jalankan perintah berikut.

  pip install <package_name> -i https://pypi.tuna.tsinghua.edu.cn/simple

  pip install <package_name>

  Catatan

  Setelah menjalankan perintah, jika diminta untuk memperbarui versi PIP, jalankan pip install --upgrade pip.

• Jika bergantung pada node PyODPS 3, jalankan perintah berikut.

  /home/tops/bin/pip3 install <package_name> -i https://pypi.tuna.tsinghua.edu.cn/simple

  /home/tops/bin/pip3 install <package_name>

  Catatan

  • Setelah menjalankan perintah, jika diminta untuk memperbarui versi PIP, jalankan /home/tops/bin/pip3 install --upgrade pip.

  • Jika muncul error /home/admin/usertools/tools/cmd-0.sh: line 3: /home/tops/bin/python3: No such file or directory, silakan submit a ticket untuk meminta aktivasi izin.

  Rujuk mirror publik Python berikut dan ganti sesuai kebutuhan.

  Organisasi	Alamat mirror
  Alibaba Cloud (Aliyun)	https://mirrors.aliyun.com/pypi/simple/ Penting Mengambil paket Python dari Alibaba Cloud tidak memerlukan kemampuan akses Internet.
  Universitas Tsinghua (Tsinghua)	https://pypi.tuna.tsinghua.edu.cn/simple
  University of Science and Technology of China (USTC)	https://pypi.mirrors.ustc.edu.cn/simple/