DataWorks:Gambar kustom

Batasan

• Batasan Edisi:

  • Semua edisi mendukung pembuatan dan penggunaan gambar kustom.

  • Hanya Edisi Profesional atau yang lebih tinggi yang mendukung pembuatan gambar.

• Batasan kelompok sumber daya: Fitur gambar kustom hanya mendukung serverless resource groups.

  Untuk kelompok sumber daya lama, gunakan Cloud Assistant untuk menginstal dependensi eksternal.

• Batasan izin: Anda memerlukan izin AliyunDataWorksFullAccess atau ModifyResourceGroup.

  Untuk detail otorisasi, lihat Kebijakan RAM untuk izin layanan dan konsol.

Kuota dan batasan

• Jumlah gambar: Jumlah gambar kustom yang dapat Anda buat bergantung pada edisi DataWorks Anda.

  • Edisi Dasar dan Edisi Standar: 10

  • Edisi Profesional: 50

  • Edisi Perusahaan: 100

• Konkurensi build: Anda dapat membangun hingga dua gambar secara konkuren di setiap wilayah.

• Persyaratan gambar ACR:

  • Edisi instans: Hanya instans Alibaba Cloud Container Registry (ACR) Edisi Perusahaan yang didukung.

  • Arsitektur instans: Hanya arsitektur AMD64 yang didukung.

  • Ukuran gambar: Satu gambar tidak boleh melebihi 5 GB.

  • Konfigurasi zona waktu: Anda harus menginstal paket zona waktu tzdata untuk mencegah kegagalan kontainer akibat ketidaksesuaian zona waktu dengan DataWorks.

• Pembuatan gambar: Build persisten hanya tersedia untuk gambar kustom yang dibuat berdasarkan gambar resmi DataWorks. Gambar kustom yang mereferensikan gambar ACR tidak mendukung build persisten dan harus ditarik ulang serta diterapkan setiap kali tugas dijalankan.

• Jenis node dan metode build yang didukung:

  Jenis node	Build dari gambar resmi	Build dari gambar ACR
  PyODPS2	Didukung	Tidak didukung
  PyODPS3	Didukung	Tidak didukung
  EMR Spark	Didukung	Tidak didukung
  EMR Spark SQL	Didukung	Tidak didukung
  EMR SHELL	Didukung	Tidak didukung
  Shell	Didukung	Didukung
  Python	Didukung	Didukung
  Notebook	Tidak didukung	Didukung
  CDH	Didukung	Tidak didukung
  Assignment Node	Didukung	Tidak didukung

Prosedur

Penagihan

Pembuatan gambar menimbulkan biaya komputasi yang dihitung sebagai Jumlah CU × Durasi build. Sistem mengalokasikan 0,5 CU secara default. Untuk informasi lebih lanjut tentang penagihan, lihat Standar penagihan untuk kelompok sumber daya Serverless.

Penggunaan produksi

Untuk memastikan gambar kustom Anda stabil, efisien, dan hemat biaya di lingkungan produksi, ikuti rekomendasi berikut.

• Gambar persisten: Bangun konfigurasi stabil Anda menjadi gambar persisten. Hal ini menghindari penginstalan ulang dependensi untuk setiap eksekusi tugas, sehingga mengurangi waktu startup, menurunkan biaya komputasi, dan meningkatkan stabilitas.

• Konsistensi lingkungan: Pastikan konfigurasi VPC dan jaringan konsisten di seluruh kelompok sumber daya serverless yang digunakan untuk pengujian, pembuatan, dan penjadwalan produksi, terutama saat mengakses repositori ACR privat atau jaringan publik.

• Penguncian versi: Saat menginstal dependensi menggunakan metode Skrip, kami sangat menyarankan untuk menentukan nomor versi eksplisit (misalnya, pip install pandas==1.5.3). Praktik ini mencegah perilaku tak terduga akibat pembaruan perpustakaan hulu.

• Rencana rollback: Jika tugas produksi gagal setelah pembaruan gambar, lakukan rollback ke versi sebelumnya menggunakan riwayat penerapan tugas, atau atur gambar ke versi lama yang stabil di pengaturan penjadwalan.

Kasus penggunaan

Tutorial ini menunjukkan cara menggunakan gambar kustom dengan node PyODPS untuk melakukan segmentasi kata bahasa Tionghoa. Misalkan Anda perlu melakukan segmentasi teks bahasa Tionghoa dari kolom di tabel MaxCompute dan menyimpan hasilnya di tabel lain untuk tugas hilir. Anda dapat menginstal toolkit segmentasi kata jieba terlebih dahulu dalam gambar kustom, lalu menggunakan tugas PyODPS dengan gambar ini untuk memproses teks tersebut. Hasilnya disimpan di tabel baru dan terintegrasi mulus ke dalam alur kerja penjadwalan hilir Anda.

1. Buat data uji.

   1. Buat ruang kerja DataWorks dan asosiasikan dengan sumber daya komputasi MaxCompute. Untuk detailnya, lihat Buat ruang kerja dan Kelola sumber daya komputasi.

   2. Di Data Studio, buat node ODPS (di Data Studio lama) atau node SQL MaxCompute (di Data Studio baru) untuk membuat dan mengisi tabel uji.

      Catatan

      Contoh berikut menggunakan parameter penjadwalan. Di Scheduling Settings di sisi kanan, atur nama parameter menjadi bday dan nilainya menjadi $[yyyymmdd].

      Buat tabel uji.

      -- Buat tabel uji.
      CREATE TABLE IF NOT EXISTS custom_img_test_tb
      (
          c_customer_id BIGINT NOT NULL,
          c_customer_text STRING NOT NULL,
          PRIMARY KEY (c_customer_id)
      )
      COMMENT 'KOMENTAR TABEL'
      PARTITIONED BY (ds STRING COMMENT 'partisi')
      LIFECYCLE 90;
      -- Masukkan data uji ke tabel.
      INSERT INTO custom_img_test_tb PARTITION (ds='${bday}') (c_customer_id, c_customer_text) VALUES
      (1, 'Saat salju malam tiba, maukah kau tinggal minum?'),
      (2, 'Bulan tenggelam, gagak bersuara, embun beku memenuhi langit; mapel sungai dan api nelayan mengeluh tanpa tidur.'),
      (3, 'Di mana gunung dan sungai tampak berakhir, desa muncul di antara pohon willow dan bunga.'),
      (4, 'Dalam tidur musim semi, tak sadar fajar tiba, suara burung memenuhi udara di sekitar.'),
      (5, 'Pikiran malam sunyi: cahaya bulan terang di depan tempat tidurku, seperti embun beku di tanah.'),
      (6, 'Bulan terang terbit di atas laut; dari pantai terjauh, kita berbagi momen ini.'),
      (7, 'Burung layang-layang klan Wang dan Xie bangsawan zaman dulu kini terbang ke rumah rakyat biasa.'),
      (8, 'Barisan bangau putih naik ke langit biru; jendela membingkai salju kuno Pegunungan Barat.'),
      (9, 'Hidup ini untuk kesenangan, jadi nikmatilah sepenuhnya; jangan biarkan piala emasmu kosong di bawah bulan.'),
      (10, 'Langit memberiku bakat, jadi harus digunakan; seribu keping emas, setelah dihabiskan, akan kembali lagi.');

   3. Simpan dan terapkan node.

2. Buat gambar kustom.

   Untuk detailnya, lihat Buat gambar kustom. Konfigurasikan parameter utama sebagai berikut:

   • Nama/ID Gambar: Pilih dataworks_pyodps_task_pod, gambar resmi DataWorks untuk node PyODPS.

   • Jenis Tugas yang Didukung: Pilih PyODPS2 dan PyODPS 3.

   • Paket Instalasi: Pilih Python3 dan jieba.

3. Publikasikan gambar kustom dan asosiasikan dengan ruang kerja Anda. Untuk detailnya, lihat Publikasikan gambar kustom dan Ubah asosiasi ruang kerja gambar.

4. Gunakan gambar kustom dalam tugas terjadwal.

   1. Di Data Studio, buat node PyODPS 3 dan tambahkan kode berikut:

      Gunakan gambar kustom.

      import jieba
      from odps import ODPS
      from odps.models import TableSchema as Schema, Column, Partition
      # Baca data dari tabel.
      table = o.get_table('custom_img_test_tb')
      partition_spec = f"ds={args['bday']}"
      with table.open_reader(partition=partition_spec) as reader:
          records = [record for record in reader]
      # Segmentasi teks yang diekstraksi.
      participles = [' | '.join(jieba.cut(record['c_customer_text'])) for record in records]
      # Buat tabel tujuan.
      if not o.exist_table("participle_tb"):
          schema = Schema(columns=[Column(name='word_segment', type='string', comment='Hasil segmentasi kata')], partitions=[Column(name='ds', type='string', comment='Bidang partisi')])
          o.create_table("participle_tb", schema)
      # Tulis hasil segmentasi ke tabel tujuan.
      # Definisikan partisi output dan tabel.
      output_partition = f"ds={args['bday']}"
      output_table = o.get_table("participle_tb")
      # Jika partisi belum ada, buatlah.
      if not output_table.exist_partition(output_partition):
          output_table.create_partition(output_partition)
      # Tulis hasil segmentasi ke tabel.
      record = output_table.new_record()
      with output_table.open_writer(partition=output_partition, create_partition=True) as writer:
          for participle in participles:
              record['word_segment'] = participle
              writer.write(record)

   2. Di pengaturan penjadwalan di sisi kanan, konfigurasikan parameter utama berikut:

      • Parameter Penjadwalan: Atur nama parameter menjadi bday dan nilainya menjadi $[yyyymmdd].

      • Kelompok Sumber Daya untuk Penjadwalan: Pilih kelompok sumber daya serverless yang sama dengan yang Anda tentukan untuk Publish Image selama Test Resource Group.

      • Gambar: Pilih gambar kustom yang telah dipublikasikan dan diasosiasikan dengan ruang kerja saat ini.

   3. Debug node.

      • Jika Anda menggunakan Data Studio lama, klik Run with Parameters () di bilah alat node. Konfigurasikan Resource Group Name, CUs for Node Running, Image, dan Custom Parameters, lalu klik Run.

      • Jika Anda menggunakan Data Studio baru, di panel Run Configuration di sisi kanan, konfigurasikan Computing Resources, Resource Group, Calculate CU, Image, dan Script Parameters. Lalu, klik Run di bilah alat node.

   4. (Opsional) Buat kueri ad hoc (di Data Studio lama) atau file SQL di direktori pribadi Anda (di Data Studio baru), lalu jalankan pernyataan SQL berikut untuk memeriksa data di tabel output.

      -- Ganti <tanggal_partisi> dengan tanggal partisi aktual.
      SELECT * FROM participle_tb WHERE ds=<tanggal_partisi>;

      Jika kueri mengembalikan data, hasilnya mencakup kolom word_segment (hasil segmentasi, dengan kata-kata dipisahkan oleh garis vertikal |) dan kolom ds (tanggal partisi).

   5. Terapkan node PyODPS ke lingkungan produksi.

      Catatan

      Perubahan gambar yang dilakukan di Data Studio tidak disinkronkan secara otomatis ke lingkungan produksi. Anda harus menerapkan tugas agar perubahan berlaku. Untuk detailnya, lihat Terapkan tugas (Data Studio lama) atau Terapkan node/alur kerja (Data Studio baru).

5. Bangun gambar persisten dari gambar kustom. Untuk detailnya, lihat Bangun gambar persisten.

FAQ

T: Tugas Python melaporkan error "urllib3 v2.0 hanya mendukung OpenSSL 1.1.1+".

J: Paket urllib3 v2.0 memerlukan OpenSSL 1.1.1 atau yang lebih baru. Untuk mengatasinya, turunkan urllib3 ke versi yang kompatibel. Contohnya: /home/tops/bin/pip3 install urllib3==1.26.16.

Dokumentasi terkait

• Gambar publik DataWorks

• Gunakan kelompok sumber daya serverless

• Kembangkan tugas di kluster Hadoop yang dikelola sendiri

• Kembangkan dengan MaxCompute PyODPS

Lampiran: Perintah instalasi

Untuk menginstal paket dalam gambar kustom menggunakan metode script, gunakan perintah berikut.

• Untuk node PyODPS 2, jalankan perintah berikut.

  pip install <nama-paket> -i  https://pypi.tuna.tsinghua.edu.cn/simple

  pip install <nama-paket>

  Catatan

  Jika diminta untuk memperbarui PIP, jalankan perintah berikut: pip install --upgrade pip.

• Untuk node PyODPS 3, jalankan perintah berikut.

  /home/tops/bin/pip3 install <nama-paket> -i https://pypi.tuna.tsinghua.edu.cn/simple

  /home/tops/bin/pip3 install <nama-paket>

  Catatan

  • Jika diminta untuk memperbarui PIP, jalankan perintah berikut: /home/tops/bin/pip3 install --upgrade pip.

  • Jika terjadi error /home/admin/usertools/tools/cmd-0.sh: line 3: /home/tops/bin/python3: No such file or directory, ajukan tiket untuk meminta izin yang diperlukan.

  Tabel berikut mencantumkan sumber mirror Python publik.

  Organisasi	URL mirror
  Alibaba Cloud	https://mirrors.aliyun.com/pypi/simple/ Penting Anda dapat memperoleh paket Python dari Alibaba Cloud tanpa mengaktifkan akses internet.
  Universitas Tsinghua	https://pypi.tuna.tsinghua.edu.cn/simple
  Universitas Sains dan Teknologi Tiongkok (USTC)	https://pypi.mirrors.ustc.edu.cn/simple/