MaxCompute:Fungsi AI MaxFrame

Terjemahan bahasa

Skenario: Perusahaan multinasional perlu menerjemahkan 100.000 kontrak berbahasa Inggris ke dalam bahasa Tiongkok dan menganotasi klausa-klausa penting.

import os
import maxframe.dataframe as md
from maxframe import new_session
from maxframe.config import options
from maxframe.udf import with_running_options
from odps import ODPS

options.dag.settings = {
    "engine_order": ["DPE", "MCSQL"]
}

o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='your-default-project',
    endpoint='your-end-point',
)

# Inisialisasi sesi MaxFrame.
session = new_session(o)

# Cetak URL Logview untuk pekerjaan.
print(session.get_logview_address())

# 1. Gunakan sumber daya komputasi kuota GU.
options.session.gu_quota_name = "mf_gu_quota"

# 2. Gunakan model Qwen3-1.7B.
from maxframe.learn.contrib.llm.models.managed import ManagedTextLLM

llm = ManagedTextLLM(name="Qwen3-1.7B")

# 3. Siapkan data. Anda dapat melewati langkah ini jika sudah memiliki data.
# o.execute_sql("""
#   CREATE TABLE IF NOT EXISTS raw_contracts (
#       en STRING
#   );
#   """)
# 
# o.execute_sql("""
#   INSERT INTO raw_contracts VALUES
#   ('This agreement is governed by the laws of the State of California.'),
#   ('The tenant shall pay rent on the first day of each month.'),
#   ('Either party may terminate this contract with 30 days written notice.'),
#   ('All intellectual property rights shall remain with the original owner.'),
#   ('The warranty period for this product is twelve months from the date of purchase.');
#   """)

df = md.read_odps_table("raw_contracts")

# 4. Tentukan templat prompt.
messages = [
    {
        "role": "system",
        "content": "Anda adalah ahli terjemahan dokumen yang dapat menerjemahkan teks bahasa Inggris ke bahasa Tiongkok dengan lancar.",
    },
    {
        "role": "user",
        "content": "Terjemahkan teks bahasa Inggris berikut ke dalam bahasa Tiongkok. Keluarkan hanya teks terjemahan, tanpa konten lain.\n\n Contoh:\nInput: Hi\nOutput: 你好。\n\n Teks yang akan diterjemahkan:\n\n{en}",
    },
]

# 5. Panggil antarmuka `generate`, tentukan prompt, dan referensikan kolom data yang sesuai.
result_df = llm.generate(
    df,
    prompt_template=messages,
    params={
        "temperature": 0.7,
        "top_p": 0.8,
    },
).execute()

# 6. Tulis hasil ke tabel MaxCompute.
result_df.to_odps_table("raw_contracts_result")

Ekstraksi kata kunci

Skenario: Kasus penggunaan ini menunjukkan bagaimana fungsi AI MaxFrame memproses data tidak terstruktur. Sebagian besar data tidak terstruktur terdiri dari teks dan gambar, yang menimbulkan tantangan signifikan bagi analitik data besar. Contoh berikut menunjukkan cara menggunakan fungsi AI untuk menyederhanakan proses ini.

Kode berikut menunjukkan cara menggunakan fungsi AI untuk mengekstraksi pengalaman kerja kandidat dari resume. Contoh ini menggunakan teks resume yang dihasilkan secara acak sebagai input. Untuk praktik pengembangan dan demo terperinci, lihat Praktik Pengembangan Fungsi AI pada GU.

import maxframe.dataframe as md
from maxframe import new_session
from maxframe.config import options
from maxframe.udf import with_running_options
from odps import ODPS

options.dag.settings = {
    "engine_order": ["DPE", "MCSQL"]
}

o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='your-default-project',
    endpoint='your-end-point',
)

# Inisialisasi sesi MaxFrame.
session = new_session(o)

# Cetak URL Logview untuk pekerjaan.
print(session.get_logview_address())

# 1. Gunakan sumber daya komputasi kuota GU.
options.session.gu_quota_name = "mf_gu_quota"

# 2. Gunakan model Qwen3-4B.
from maxframe.learn.contrib.llm.models.managed import ManagedTextLLM

llm = ManagedTextLLM(name="Qwen3-4B-Instruct-2507-FP8")

df = md.read_odps_table("traditional_chinese_medicine", index_col="index")

# Tentukan empat partisi konkuren.
parallel_partitions = 4
df = df.mf.rebalance(num_partitions=parallel_partitions)

# 3. Gunakan antarmuka tugas `extract` yang telah ditentukan.
result_df = llm.extract(
    df["text"],
    description="Harap ekstrak data terstruktur dari catatan medis berikut secara berurutan. Kembalikan output akhir dalam format JSON ketat sesuai skema.",
    schema=MedicalRecord,
    examples=[(example_input, example_output)],
)
result_df.execute()

Vektorisasi teks: text-embedding-v4

Skenario: Gunakan model komersial Model Studio text-embedding-v4 untuk melakukan tugas vektorisasi. Penagihan didasarkan pada konsumsi token, sehingga menghilangkan kebutuhan untuk mengelola sumber daya komputasi dasar. Skenario ini cocok untuk analisis teks kompleks dan tugas inferensi berkualitas tinggi yang memerlukan model besar atau model bahasa besar komersial dari Model Studio.

import os
import maxframe.dataframe as md
from maxframe import new_session
from maxframe.config import options
from maxframe.udf import with_running_options
from odps import ODPS

options.dag.settings = {
    "engine_order": ["DPE", "MCSQL"]
}

o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='your-default-project',
    endpoint='your-end-point',
)

# Inisialisasi sesi MaxFrame.
session = new_session(o)

# Cetak URL Logview pekerjaan.
print(session.get_logview_address())

# 1. Buat instance model text-embedding-v4 (menggunakan Inference Quota).
# Muat model text-embedding-v4 dari kumpulan model publik.
from maxframe.learn.utils import read_odps_model

llm = read_odps_model("text-embedding-v4", project="bigdata_public_modelset")

# 2. Baca data.
df = md.read_odps_table("user_feedback_table")

# 3. Lakukan vektorisasi.
result_df = llm.embed(
    df["query"],
    running_options={"max_tokens": 1024, "verbose": True},
    simple=True,
).execute()

# 4. Tulis hasil ke tabel MaxCompute.
result_df.to_odps_table("feedback_analysis_result")

Pemahaman gambar: qwen3.6-plus

Skenario: Skenario ini cocok untuk inferensi berkualitas tinggi dan analisis teks kompleks atau tugas pemrosesan data multimodal yang memerlukan model besar atau model bahasa besar komersial dari Model Studio. Sumber daya dikonsumsi sesuai permintaan, membantu Anda mengendalikan biaya.

import os

import pandas as pd
import maxframe.dataframe as md
from maxframe import new_session
from maxframe.config import options
from maxframe.learn.contrib.llm import ImageContentType
from maxframe.learn.utils import read_odps_model
from odps import ODPS

# Konfigurasikan mesin eksekusi: DPE terlebih dahulu.
options.dag.settings = {
    "engine_order": ["DPE", "MCSQL"],
}

# 1. Buat koneksi ODPS.
o = ODPS(
    os.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"),
    os.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"),
    project="<your-project-name>",
    endpoint="<your-endpoint>",  # Contoh: https://service.cn-shanghai.maxcompute.aliyun.com/api
)

# 2. Konfigurasikan mesin dan buat sesi.
# Inferensi model VL Model Studio berjalan pada mesin DPE dan ditagih berdasarkan konsumsi token.
# Tidak diperlukan penyediaan sumber daya CU/GU.

# Buat sesi MaxFrame.
session = new_session(o)
print(f"ID Sesi: {session.session_id}")
print(f"Logview: {session.get_logview_address()}")

## 3. Muat model VL Model Studio.
# Muat model pemahaman multimodal yang telah terdaftar sebelumnya dari kumpulan model publik MaxCompute.
image_llm = read_odps_model(
    "qwen3.6-plus", project="bigdata_public_modelset", odps_entry=o
)

## 4. Siapkan data gambar OSS.
# Gunakan format `oss:////` dan berikan kredensial akses OSS melalui `storage_options`.
# Konfigurasi OSS.
OSS_ENDPOINT = "oss-cn-shanghai-internal.aliyuncs.com"  # Ganti dengan Endpoint OSS Anda.
OSS_BUCKET = "your-bucket"                              # Ganti dengan nama Bucket Anda.
OSS_PREFIX = "images"                                   # Ganti dengan awalan path gambar.

storage_options = {
    "access_key_id": os.getenv("OSS_ACCESS_KEY_ID"),
    "access_key_secret": os.getenv("OSS_ACCESS_KEY_SECRET"),
}

# Susun daftar URL gambar.
image_urls = [
    f"oss://{OSS_ENDPOINT}/{OSS_BUCKET}/{OSS_PREFIX}/image{i}.jpg"
    for i in range(1, 9)
]

df = md.DataFrame({"image_url": image_urls})
df.execute()

## 5. Panggil model VL untuk pemahaman gambar.
# Gunakan antarmuka `generate()` untuk mengirimkan prompt teks dan gambar OSS ke model.

cp = image_llm.content_part

result_df = image_llm.generate(
    df,
    messages=[
        {
            "role": "user",
            "content": [
                cp.text("Jelaskan gambar ini dalam satu kalimat."),
                cp.image(
                    data=df.image_url,
                    type=ImageContentType.IMAGE_URL,
                    storage_options=storage_options,
                ),
            ],
        }
    ],
    simple_output=True,
    params={"max_tokens": 128},
)

## 6. Jalankan inferensi dan lihat hasilnya.
# MaxFrame menggunakan eksekusi lazy. Panggil `.execute()` untuk memicu komputasi aktual.
result = result_df.execute()
print(result)

## 7. Bersihkan sumber daya.
session.destroy()
print("Sesi dihapus.")