MaxCompute:Catatan rilis

Deskripsi

Mulai dari SDK MaxFrame 2.6, perilaku DataFrameGroupBy.mf.apply_chunk berubah. Pembaruan ini menyederhanakan parameter index dan menyatukan perilaku di seluruh mesin DPE dan MaxCompute SQL. Perilaku baru dikendalikan oleh parameter prepend_index_group_keys, yang secara default bernilai False demi kompatibilitas mundur, tetapi akan berubah menjadi True pada rilis mendatang.

• Sebelum SDK MaxFrame 2.6

  MaxFrame DataFrameGroupBy.mf.apply_chunk mengharuskan Anda menentukan bentuk Index lengkap dari output DataFrame dalam parameter index. Contohnya:

  def process(df):
      df = df.copy()
      df["total"] += 1
      return df
  
  # Pada SDK 2.5 dan sebelumnya, Anda harus menentukan semua bidang output. Di sini, year adalah kunci grup yang ditentukan dalam groupby.
  expect_index = pd.MultiIndex.from_tuples([(0, 0)], names=["year", None])
  
  md_result_df = md_df.groupby(["year"]).mf.apply_chunk(
      process,
      batch_rows=10,
      dtypes=result_dtypes,
      index=expect_index,
      output_type="dataframe",
      skip_infer=True
  )

  Selain itu, karena masalah implementasi, kolom yang diterima oleh fungsi pengguna di mesin DPE MaxFrame mencakup kunci grup, sedangkan di mesin MaxCompute SQL tidak.

• MaxFrame SDK 2.6 dan yang lebih baru

  Contoh di atas ditulis ulang sebagai berikut:

  def process(df):
      df = df.copy()
      df["total"] += 1
      return df
  
  md_result_df = md_df.groupby(["year"]).mf.apply_chunk(
      process,
      batch_rows=10,
      dtypes=result_dtypes,
      skip_infer=True,
      prepend_index_group_keys=True,
  )

  Mengatur prepend_index_group_keys ke True mengaktifkan perilaku baru. Dengan perilaku ini, DataFrame input yang diteruskan ke fungsi pengguna di kedua mesin DPE dan MaxCompute SQL tidak lagi mencakup kunci grup secara default. Selain itu, parameter index yang diteruskan ke apply_chunk kini hanya merepresentasikan tipe index dari output fungsi pengguna, bukan Index dari objek output apply_chunk. Hubungan dengan Index akhir bergantung pada parameter fungsi groupby, seperti yang ditunjukkan di bawah ini:

  Parameter	group_keys=True (default)	group_keys=False
  as_index=True (default)	Menambahkan kolom grup input sebagai Index sebelum Index pengguna	Tidak menambahkan kolom apa pun sebagai Index
  as_index=False	Menambahkan Group ID sebagai Index sebelum Index pengguna (hanya DPE)

Panduan migrasi:

Tambahkan prepend_index_group_keys=True ke pemanggilan groupby.mf.apply_chunk Anda dan lakukan perubahan berikut:

1. Jika Anda menentukan parameter index, hapus kunci grup darinya. Misalnya, ubah pd.MultiIndex.from_tuples([(0, 0)], names=["year", None]) menjadi pd.Index([0]). Jika fungsi pengguna Anda tidak mengubah tipe Index, Anda dapat menghapus parameter index sepenuhnya.

2. Jika Anda menggunakan groupby.mf.apply_chunk di mesin DPE MaxFrame, periksa fungsi pengguna Anda. Jika fungsi tersebut mereferensikan kolom grup atau tidak memfilter kolom grup dari output, sertakan secara eksplisit kolom grup setelah groupby untuk mencegah kolom tersebut dikecualikan dari input fungsi pengguna. Misalnya, ubah df.groupby("col").mf.apply_chunk(func) menjadi df.groupby("col")[list(df.dtypes.index)].mf.apply_chunk(func).

Deskripsi

MaxFrame Coding Skill dirilis secara resmi, memberdayakan agen AI untuk mengembangkan pekerjaan MaxFrame secara cerdas. Paket keterampilan ini mendukung manajemen sesi MaxFrame, rekomendasi operator, pembuatan kode, dan debugging interaktif, membantu pengembang membangun pipeline pemrosesan data skala besar di MaxFrame secara efisien.

Agen AI dapat secara otomatis mengatur pekerjaan end-to-end mulai dari pembacaan data, pemrosesan data, hingga penulisan hasil. Dikombinasikan dengan mekanisme eksekusi tertunda dan pembersihan sumber daya MaxFrame, Coding Skill menjamin stabilitas pekerjaan dan optimalisasi performa. Dengan mendeskripsikan kebutuhan dalam bahasa alami, Anda dapat menghasilkan kode yang dapat dijalankan, sehingga secara signifikan menurunkan hambatan pemrosesan data terdistribusi untuk pengalaman pengembangan Data + AI yang mulus.

Untuk informasi lebih lanjut, lihat MaxFrame Coding Skill.

Deskripsi

• Menambahkan dukungan untuk model komersial Alibaba Cloud Model Studio (qwen3-max dan text-embedding-v4).

• Memperkenalkan penagihan berbasis token (pay-as-you-go), yang semakin mengurangi biaya dan hambatan inferensi model offline skala besar.

Tidak perlu mengelola penerapan atau maintenance model. Cukup panggil sumber daya model Studio Model melalui antarmuka Fungsi AI untuk melakukan inferensi batch pada data skala besar. Dikombinasikan dengan kemampuan pemrosesan data terdistribusi MaxFrame, hal ini memungkinkan pengembangan Data+AI end-to-end.

Untuk informasi lebih lanjut, lihat Fungsi AI MaxFrame.

Deskripsi

Untuk memenuhi kebutuhan pemrosesan data multimodal yang terus berkembang, MaxFrame memperkenalkan modul operator pemrosesan data multimodal baru. Rilis ini menambahkan operator pemrosesan gambar bawaan yang mendukung pemrosesan terdistribusi data gambar skala besar.

• image.decode untuk decoding data gambar;

• image.width, image.height, image.size, image.mode, dan image.format untuk mengekstraksi properti gambar;

• Decoding gambar end-to-end, ekstraksi properti, penyaringan ukuran, penskalaan, pemotongan, dan konversi format.

Tidak perlu menyiapkan layanan pemrosesan gambar terpisah. Anda dapat membersihkan dan mempraproses data gambar secara efisien langsung dalam DataFrame MaxFrame.

Deskripsi

MaxFrame memperkenalkan Mode Debug Lokal. Sebelumnya, debugging fungsi seperti apply() dan apply_chunk() memerlukan pengiriman kode ke kluster remote, dan setiap perubahan kode memerlukan pengiriman ulang.

Dengan Mode Debug Lokal:

• Fungsi UDF MaxFrame dapat dieksekusi langsung di lingkungan Python lokal.

• Debugging breakpoint IDE didukung, dan mode ini bekerja sepenuhnya offline.

• Kode yang sama berjalan mulus baik di lingkungan debug lokal maupun produksi kluster tanpa modifikasi.

Untuk informasi lebih lanjut, lihat Mode debug lokal MaxFrame.

Deskripsi

MaxFrame kini mendukung custom image di DPE (Distributed Python Engine), memungkinkan Anda menggunakan dependensi dan lingkungan runtime tertentu.

Tentukan nama image melalui opsi konfigurasi, misalnya: {"odps.session.image": "maxframe_image_v1"}, untuk memuat lingkungan runtime dengan dependensi yang telah dipra-instal di lingkungan komputasi terdistribusi MaxFrame. Hal ini menghilangkan kebutuhan untuk menginstal dependensi pada setiap eksekusi tugas, sehingga secara signifikan meningkatkan efisiensi dan fleksibilitas pengembangan.

Untuk informasi lebih lanjut, lihat Custom image.

Deskripsi

MaxFrame menyempurnakan fitur mount data OSS dengan dukungan untuk mounting beberapa bucket OSS dan mengonfigurasi awalan path. Dekorator @with_fs_mount kini memungkinkan Anda untuk memount beberapa bucket OSS atau awalan path berbeda dari bucket yang sama secara simultan, memberikan adaptasi fleksibel terhadap struktur organisasi data yang kompleks. Selain itu, parameter baru cache_memory_limit memungkinkan Anda mengonfigurasi batas cache memori untuk titik mount, sehingga secara efektif mengontrol penggunaan sumber daya dan meningkatkan performa serta stabilitas saat membaca file skala besar.

Untuk informasi lebih lanjut, lihat Fitur mount OSS (Pratinjau Undangan).

Deskripsi

Mesin DPE MaxFrame menambahkan konfigurasi daftar putih akses jaringan untuk mengontrol izin akses jaringan selama eksekusi UDF MaxFrame.

Opsi konfigurasi:

• substep.public_network_whitelist: Daftar putih akses jaringan publik. Mengizinkan akses ke layanan jaringan publik eksternal seperti API dan layanan model.

• substep.internal_network_whitelist: Daftar putih akses jaringan internal. Mengizinkan akses ke layanan jaringan internal Alibaba Cloud seperti titik akhir internal OSS.

Untuk informasi lebih lanjut, lihat Panduan konfigurasi flag MaxFrame.