MaxCompute:Praktik terbaik

Deskripsi fitur

• apply menerapkan fungsi kustom pada baris atau kolom DataFrame MaxFrame. Fitur ini mendukung operasi vektorisasi pada seluruh baris atau kolom.

• apply_chunk adalah API tingkat rendah yang disediakan oleh MaxFrame. Fitur ini menerapkan fungsi kustom secara paralel pada setiap chunk data DataFrame MaxFrame, cocok untuk skenario lanjutan yang memerlukan operasi langsung pada shard fisik DataFrame terdistribusi dan sering digunakan untuk optimasi performa atau logika komputasi kustom.

Contoh use case

• Gunakan apply untuk menstandarkan bidang, seperti penyembunyian nomor telepon.

• Gunakan apply_chunk untuk memproses jutaan path gambar secara paralel dan mengekstrak metadata.

Tutorial

Praktik terbaik penggunaan operator apply_chunk MaxFrame

Deskripsi fitur

Pemrosesan data kompleks dan pipeline pekerjaan sering kali memerlukan resource CPU atau GPU pada node komputasi berbeda. MaxFrame mendukung penjadwalan dan komputasi hibrid resource CU dan GU. Dalam UDF MaxFrame, Anda dapat meminta resource Kuota GU menggunakan tag resource untuk tugas komputasi kinerja tinggi (HPC).

Contoh kasus penggunaan

• Ekstraksi dan encoding frame gambar atau video

• Pemrosesan data kompleks

Tutorial

• Sebelum menggunakan resource komputasi AI MaxCompute, Anda harus membeli Kuota GU MaxCompute. Untuk informasi lebih lanjut, lihat Membeli dan menggunakan resource komputasi AI MaxCompute.

• Menggunakan resource GU MaxFrame

Deskripsi fitur

MaxFrame AI Function adalah solusi end-to-end di platform Alibaba Cloud MaxCompute untuk skenario inferensi LLM offline. Fitur intinya meliputi:

• Integrasi mulus antara pemrosesan data dan kemampuan AI

  • Mendukung interaksi langsung dengan LLM, seperti Qwen3-4B, melalui DataFrame MaxFrame.

  • Menyediakan API generate dan task untuk menyeimbangkan fleksibilitas dan kemudahan penggunaan.

• Penjadwalan resource GPU (GU)

  • Anda dapat meminta resource GPU menggunakan gu_quota_name untuk mengakomodasi model dengan ukuran berbeda. Misalnya, model 4B memerlukan 2 GU.

• Pemanggilan LLM terkelola

  • Pustaka model bawaan, seperti Qwen3-4B-Instruct-2507-FP8, dengan dukungan tuning parameter, seperti temperature dan max_tokens.

  • Mendukung penjadwalan konkuren skala besar untuk mengoptimalkan performa inferensi batch.

Contoh use case

• Tanya Jawab Pengetahuan

  • Deskripsi skenario: Menjawab pertanyaan di bidang seperti ilmu alam, sejarah, dan teknologi. Mendukung banyak bahasa dan penalaran kompleks.

  • Aplikasi khas:

    • Komputasi ilmiah: "Berapa jarak rata-rata antara Bumi dan Matahari?"

    • Peristiwa sejarah: "Pada tahun berapa Perang Revolusi Amerika dimulai?"

    • Prinsip teknis: "Apa mekanisme inti dari model Transformer?"

• Terjemahan Teks

  • Deskripsi skenario: Menerjemahkan teks antar bahasa. Mendukung terjemahan Tionghoa-Inggris dan menangani terminologi di bidang profesional.

  • Aplikasi khas:

    • Tionghoa ke Inggris: "Bagaimana cara meredakan sakit kepala?" → "How to relieve a headache?"

    • Terjemahan teks hukum/medis: "Pasien perlu minum satu tablet aspirin setiap hari."

• Ekstraksi Data Terstruktur

  • Deskripsi skenario: Mengekstrak entitas kunci, properti, atau hubungan dari teks tidak terstruktur.

  • Aplikasi khas:

    • Ekstraksi entitas:

      • Input: "iPhone 15 Pro adalah ponsel flagship terbaru yang dirilis oleh Apple."

      • Output: {"product": "iPhone 15 Pro", "brand": "Apple", "type": "flagship phone"}

    • Penguraian CV:

      • Input: "Zhang San, memiliki 5 tahun pengalaman pengembangan Java, terampil dalam framework Spring Boot."

      • Output: {"name": "Zhang San", "skills": ["Java", "Spring Boot"], "experience": 5}

Tutorial

• Praktik terbaik pengembangan dengan AI Function on GU

Deskripsi fitur

Dalam skenario analitik data, Anda sering perlu menggunakan pekerjaan MaxFrame dengan penyimpanan objek persisten, seperti OSS. Contohnya:

• Memuat data mentah dari OSS untuk pembersihan atau pemrosesan.

• Menulis hasil antara ke OSS untuk dikonsumsi oleh tugas downstream.

• Berbagi resource statis seperti file model yang telah dilatih dan file konfigurasi.

Metode baca-tulis tradisional, seperti pd.read_csv("oss://..."), tidak efisien di lingkungan terdistribusi karena batasan performa SDK dan overhead jaringan. Pemasangan tingkat sistem file (FS Mount) memungkinkan Anda mengakses file OSS di MaxCompute seolah-olah merupakan file disk lokal, sehingga sangat meningkatkan efisiensi pengembangan.

Contoh use case

• Memasang direktori bucket OSS oss://maxframe-datasets/images/ ke path MaxCompute lokal /data/imgs untuk pemrosesan selanjutnya.

Tutorial

• Praktik terbaik pemasangan dan penggunaan OSS