MaxCompute:MaxFrame AI 関数

言語翻訳

シナリオ：多国籍企業が 100,000 件の英語の契約書を中国語に翻訳し、主要な条項に注釈を付ける必要があるケース。

import os
import maxframe.dataframe as md
from maxframe import new_session
from maxframe.config import options
from maxframe.udf import with_running_options
from odps import ODPS

options.dag.settings = {
    "engine_order": ["DPE", "MCSQL"]
}

o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='your-default-project',
    endpoint='your-end-point',
)

# MaxFrame セッションを初期化します。
session = new_session(o)

# ジョブの Logview URL を出力します。
print(session.get_logview_address())

# 1. GU クォータのコンピューティングリソースを使用します。
options.session.gu_quota_name = "mf_gu_quota"

# 2. Qwen3-1.7B モデルを使用します。
from maxframe.learn.contrib.llm.models.managed import ManagedTextLLM

llm = ManagedTextLLM(name="Qwen3-1.7B")

# 3. データを準備します。すでにデータがある場合は、この手順をスキップできます。
# o.execute_sql("""
#   CREATE TABLE IF NOT EXISTS raw_contracts (
#       en STRING
#   );
#   """)
# 
# o.execute_sql("""
#   INSERT INTO raw_contracts VALUES
#   ('This agreement is governed by the laws of the State of California.'),
#   ('The tenant shall pay rent on the first day of each month.'),
#   ('Either party may terminate this contract with 30 days written notice.'),
#   ('All intellectual property rights shall remain with the original owner.'),
#   ('The warranty period for this product is twelve months from the date of purchase.');
#   """)

df = md.read_odps_table("raw_contracts")

# 4. プロンプトテンプレートを定義します。
messages = [
    {
        "role": "system",
        "content": "あなたはドキュメント翻訳の専門家で、英語のテキストを流暢に中国語に翻訳できます。",
    },
    {
        "role": "user",
        "content": "次の英語のテキストを中国語に翻訳してください。翻訳されたテキストのみを出力し、他のコンテンツは含めないでください。\n\n 例：\n入力： Hi\n出力： 你好。\n\n 翻訳するテキスト：\n\n{en}",
    },
]

# 5. `generate` インターフェースを呼び出し、プロンプトを定義し、対応するデータ列を参照します。
result_df = llm.generate(
    df,
    prompt_template=messages,
    params={
        "temperature": 0.7,
        "top_p": 0.8,
    },
).execute()

# 6. 結果を MaxCompute テーブルに書き込みます。
result_df.to_odps_table("raw_contracts_result")

キーワード抽出

シナリオ：このユースケースでは、MaxFrame AI 関数が非構造化データをどのように処理するかを説明します。非構造化データの大部分はテキストと画像で構成されており、ビッグデータ分析において大きな課題となっています。次の例は、AI 関数を使用してこのプロセスを簡素化する方法を示しています。

次のコードは、AI 関数を使用して履歴書から候補者の職務経歴を抽出する方法を示しています。この例では、ランダムに生成された履歴書のテキストを入力として使用します。詳細な開発プラクティスとデモについては、「GU での AI 関数の開発プラクティス」をご参照ください。

import maxframe.dataframe as md
from maxframe import new_session
from maxframe.config import options
from maxframe.udf import with_running_options
from odps import ODPS

options.dag.settings = {
    "engine_order": ["DPE", "MCSQL"]
}

o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='your-default-project',
    endpoint='your-end-point',
)

# MaxFrame セッションを初期化します。
session = new_session(o)

# ジョブの Logview URL を出力します。
print(session.get_logview_address())

# 1. GU クォータのコンピューティングリソースを使用します。
options.session.gu_quota_name = "mf_gu_quota"

# 2. Qwen3-4B モデルを使用します。
from maxframe.learn.contrib.llm.models.managed import ManagedTextLLM

llm = ManagedTextLLM(name="Qwen3-4B")

df = md.read_odps_table("traditional_chinese_medicine", index_col="index")

# 4 つの同時実行パーティションを指定します。
parallel_partitions = 4
df = df.mf.rebalance(num_partitions=parallel_partitions)

# 3. 事前設定された `extract` タスクインターフェースを使用します。
result_df = llm.extract(
    df["text"],
    description="以下のカルテから構造化データを順番に抽出してください。スキーマに従って、最終的な出力を厳密な JSON 形式で返してください。",
    schema=MedicalRecord,
    examples=[(example_input, example_output)],
)
result_df.execute()

テキストベクトル化：text-embedding-v4

シナリオ: Model Studio の商用モデル text-embedding-v4 を使用してベクトル化タスクを実行します。 課金はトークン消費量に基づくため、基盤となるコンピューティングリソースを管理する必要はありません。 このシナリオは、Model Studio の大規模モデルまたは商用大規模言語モデルを必要とする、複雑なテキスト分析および高品質な推論タスクに適しています。

import os
import maxframe.dataframe as md
from maxframe import new_session
from maxframe.config import options
from maxframe.udf import with_running_options
from odps import ODPS

options.dag.settings = {
    "engine_order": ["DPE", "MCSQL"]
}

o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='your-default-project',
    endpoint='your-end-point',
)

# MaxFrame セッションを初期化します。
session = new_session(o)

# ジョブの Logview URL を出力します。
print(session.get_logview_address())

# 1. text-embedding-v4 モデルインスタンスを作成します (Inference Quota を使用)。
# パブリックモデルセットから text-embedding-v4 モデルをロードします。
from maxframe.learn.utils import read_odps_model

llm = read_odps_model("text-embedding-v4", project="bigdata_public_modelset")

# 2. データを読み取ります。
df = md.read_odps_table("user_feedback_table")

# 3. ベクトル化を実行します。
result_df = llm.embed(
    df["query"],
    running_options={"max_tokens": 1024, "verbose": True},
    simple=True,
).execute()

# 4. 結果を MaxCompute テーブルに書き込みます。
result_df.to_odps_table("feedback_analysis_result")

画像理解：qwen3.6-plus

シナリオ：このシナリオは、大規模モデルや Model Studio の商用大規模言語モデルを必要とする、高品質な推論や複雑なテキスト分析、またはマルチモーダルデータ処理タスクに適しています。リソースはオンデマンドで消費されるため、コスト管理に役立ちます。

import os

import pandas as pd
import maxframe.dataframe as md
from maxframe import new_session
from maxframe.config import options
from maxframe.learn.contrib.llm import ImageContentType
from maxframe.learn.utils import read_odps_model
from odps import ODPS

# 実行エンジンを設定します：DPE を優先します。
options.dag.settings = {
    "engine_order": ["DPE", "MCSQL"],
}

# 1. ODPS 接続を作成します。
o = ODPS(
    os.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"),
    os.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"),
    project="<お使いのプロジェクト名>",
    endpoint="<お使いのエンドポイント>",  # 例： https://service.cn-shanghai.maxcompute.aliyun.com/api
)

# 2. エンジンを設定し、セッションを作成します。
# Model Studio VL モデルの推論は DPE エンジンで実行され、トークン消費量によって課金されます。
# CU/GU リソースのプロビジョニングは不要です。

# MaxFrame セッションを作成します。
session = new_session(o)
print(f"セッション ID： {session.session_id}")
print(f"Logview： {session.get_logview_address()}")

## 3. Model Studio VL モデルをロードします。
# MaxCompute パブリックモデルセットから事前登録されたマルチモーダル理解モデルをロードします。
image_llm = read_odps_model(
    "qwen3.6-plus", project="bigdata_public_modelset", odps_entry=o
)

## 4. OSS 画像データを準備します。
# `oss:////` 形式を使用し、`storage_options` を介して OSS アクセス資格情報を渡します。
# OSS 設定。
OSS_ENDPOINT = "oss-cn-shanghai-internal.aliyuncs.com"  # お使いの OSS エンドポイントに置き換えてください。
OSS_BUCKET = "your-bucket"                              # お使いのバケット名に置き換えてください。
OSS_PREFIX = "images"                                   # 画像パスのプレフィックスに置き換えてください。

storage_options = {
    "access_key_id": os.getenv("OSS_ACCESS_KEY_ID"),
    "access_key_secret": os.getenv("OSS_ACCESS_KEY_SECRET"),
}

# 画像 URL のリストを構築します。
image_urls = [
    f"oss://{OSS_ENDPOINT}/{OSS_BUCKET}/{OSS_PREFIX}/image{i}.jpg"
    for i in range(1, 9)
]

df = md.DataFrame({"image_url": image_urls})
df.execute()

## 5. VL モデルを呼び出して画像理解を実行します。
# `generate()` インターフェースを使用して、テキストプロンプトと OSS 画像をモデルに渡します。

cp = image_llm.content_part

result_df = image_llm.generate(
    df,
    messages=[
        {
            "role": "user",
            "content": [
                cp.text("この画像を 1 文で説明してください。"),
                cp.image(
                    data=df.image_url,
                    type=ImageContentType.IMAGE_URL,
                    storage_options=storage_options,
                ),
            ],
        }
    ],
    simple_output=True,
    params={"max_tokens": 128},
)

## 6. 推論を実行し、結果を表示します。
# MaxFrame は遅延実行を採用しています。`.execute()` を呼び出して実際の計算をトリガーします。
result = result_df.execute()
print(result)

## 7. リソースをクリーンアップします。
session.destroy()
print("セッションが破棄されました。")