MaxCompute:MaxFrame AI 機能

言語翻訳

シナリオ：ある多国籍企業が、100,000 件の英語の契約書を日本語に翻訳し、主要な条項に注釈を付ける必要があります。

import os
import maxframe.dataframe as md
from maxframe import new_session
from maxframe.config import options
from maxframe.udf import with_running_options
from odps import ODPS

options.dag.settings = {
    "engine_order": ["DPE", "MCSQL"]
}

o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='your-default-project',
    endpoint='your-end-point',
)

# MaxFrame セッションを初期化
session = new_session(o)

# ジョブの Logview URL を出力
print(session.get_logview_address())

# 1. GU クォータのコンピューティングリソースを使用
options.session.gu_quota_name = "mf_gu_quota"

# 2. Qwen3-1.7B モデルを使用
from maxframe.learn.contrib.llm.models.managed import ManagedTextLLM

llm = ManagedTextLLM(name="Qwen3-1.7B")

# 3. データを準備します。データが既にある場合は、この手順をスキップできます。
# o.execute_sql("""
#   CREATE TABLE IF NOT EXISTS raw_contracts (
#       en STRING
#   );
#   """)
# 
# o.execute_sql("""
#   INSERT INTO raw_contracts VALUES
#   ('This agreement is governed by the laws of the State of California.'),
#   ('The tenant shall pay rent on the first day of each month.'),
#   ('Either party may terminate this contract with 30 days written notice.'),
#   ('All intellectual property rights shall remain with the original owner.'),
#   ('The warranty period for this product is twelve months from the date of purchase.');
#   """)

df = md.read_odps_table("raw_contracts")

# 4. プロンプトテンプレートを定義
messages = [
    {
        "role": "system",
        "content": "あなたは、ユーザーの英語のテキストを流暢な日本語に翻訳できる文書翻訳の専門家です。",
    },
    {
        "role": "user",
        "content": "以下の英語のテキストを日本語に翻訳してください。翻訳されたテキストのみを出力し、他のコンテンツは含めないでください。\n\n 例:\nInput: Hi\nOutput: こんにちは。\n\n 翻訳するテキスト:\n\n{en}",
    },
]

# 5. `generate` インターフェースを呼び出し、プロンプトを定義し、対応するデータ列を参照
result_df = llm.generate(
    df,
    prompt_template=messages,
    params={
        "temperature": 0.7,
        "top_p": 0.8,
    },
).execute()

# 6. 結果を MaxCompute テーブルに書き込む
result_df.to_odps_table("raw_contracts_result")

キーワード抽出

シナリオ：このユースケースでは、MaxFrame AI 機能が非構造化データをどのように処理するかを示します。非構造化データの大部分はテキストと画像で構成されており、ビッグデータ分析において大きな課題となっています。以下の例は、AI 機能を使用してこのプロセスを簡素化する方法を示しています。

次のコードは、AI 機能を使用して履歴書から候補者の職務経歴を抽出する方法を示しています。この例では、入力データとしてランダムに生成された履歴書テキストを使用しています。詳細なベストプラクティスとデモについては、「AI Function on GU Development Practices」をご参照ください。

import maxframe.dataframe as md
from maxframe import new_session
from maxframe.config import options
from maxframe.udf import with_running_options
from odps import ODPS

options.dag.settings = {
    "engine_order": ["DPE", "MCSQL"]
}

o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='your-default-project',
    endpoint='your-end-point',
)

# MaxFrame セッションを初期化
session = new_session(o)

# ジョブの Logview URL を出力
print(session.get_logview_address())

# 1. GU クォータのコンピューティングリソースを使用
options.session.gu_quota_name = "mf_gu_quota"

# 2. Qwen3 4B モデルを使用
from maxframe.learn.contrib.llm.models.managed import ManagedTextLLM

llm = ManagedTextLLM(name="Qwen3-4B-Instruct-2507-FP8")

df = md.read_odps_table("traditional_chinese_medicine", index_col="index")

# 4つの並列パーティションを指定
parallel_partitions = 4
df = df.mf.rebalance(num_partitions=parallel_partitions)

# 3. 事前設定された `extract` タスクインターフェースを使用
result_df = llm.extract(
    df["text"],
    description="以下の医療記録から構造化データを順番に抽出してください。スキーマに従って、最終的な出力を厳密な JSON 形式で返してください。",
    schema=MedicalRecord,
    examples=[(example_input, example_output)],
)
result_df.execute()

テキストのベクトル化：text-embedding-v4

シナリオの説明: Model Studio (Bailian) の商用モデル text-embedding-v4 を使用して、ベクトル化タスクを実行します。 課金はトークンの消費量に基づいており、基盤となるコンピューティングリソースを管理する必要がなくなります。 このシナリオは、Model Studio (Bailian) の大規模モデルや商用大規模言語モデル (LLM) を必要とする、複雑なテキスト分析や高品質な推論タスクに適しています。

import os
import maxframe.dataframe as md
from maxframe import new_session
from maxframe.config import options
from maxframe.udf import with_running_options
from odps import ODPS

options.dag.settings = {
    "engine_order": ["DPE", "MCSQL"]
}

o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='your-default-project',
    endpoint='your-end-point',
)

# MaxFrame セッションを初期化
session = new_session(o)

# ジョブの Logview URL を出力
print(session.get_logview_address())

# 1. トークンクォータのコンピューティングリソースを使用
options.session.inference_quota_name = "mf_token_quota"

# 2. text-embedding-v4 モデルインスタンスを作成 (トークンクォータを使用)
# Model Studio (Bailian) のパブリックモデルセットから text-embedding-v4 モデルをロード
from maxframe.learn.utils import read_odps_model

llm = read_odps_model("text-embedding-v4", project="bigdata_public_modelset")

# 3. データを読み込む
df = md.read_odps_table("user_feedback_table")

# 4. ベクトル化を実行
result_df = llm.embed(
    df["query"],
    running_options={"max_tokens": 1024, "verbose": True},
    simple=True,
).execute()

# 5. 結果を MaxCompute テーブルに書き込む
result_df.to_odps_table("feedback_analysis_result")

VL マルチモーダル画像理解：Qwen3.6-Plus

シナリオの説明：このシナリオは、大規模モデルや Model Studio (Bailian) の商用 LLM を必要とする高品質な推論や複雑なテキスト分析、マルチモーダルデータ処理タスクに適しています。リソースはオンデマンドで消費されるため、コストを管理しやすくなります。

import os

import pandas as pd
import maxframe.dataframe as md
from maxframe import new_session
from maxframe.config import options
from maxframe.learn.contrib.llm import ImageContentType
from maxframe.learn.utils import read_odps_model
from odps import ODPS

# 実行エンジンを設定：DPE を優先
options.dag.settings = {
 "engine_order": ["DPE", "MCSQL"],
}

# トークンクォータのコンピューティングリソースを使用 (Model Studio 商用モデル)
options.session.inference_quota_name = "<your-token-quota-name>"

# 1. ODPS 接続を作成
o = ODPS(
 os.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"),
 os.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"),
 project="<your-project-name>",
 endpoint="<your-endpoint>", # 例：https://service.cn-shanghai.maxcompute.aliyun.com/api
)

# 2. エンジンを設定し、セッションを作成
# Model Studio VL モデルの推論は DPE エンジンで実行され、トークン消費量に応じて課金されます。CU/GU リソースのプロビジョニングは不要です。
session = new_session(o)
print(f"Session ID: {session.session_id}")
print(f"Logview: {session.get_logview_address()}")

## 3. Model Studio VL モデルをロード
# MaxCompute パブリックモデルセットから事前登録されたマルチモーダル理解モデルをロード
image_llm = read_odps_model(
 "qwen3.6-plus", project="bigdata_public_modelset", odps_entry=o
)

## 4. OSS 画像データを準備
# `oss://<endpoint>/<bucket>/<path>` 形式を使用し、`storage_options` を介して OSS アクセス認証情報を渡します。
# OSS 設定
OSS_ENDPOINT = "oss-cn-shanghai-internal.aliyuncs.com" # ご自身の OSS エンドポイントに置き換えてください
OSS_BUCKET = "your-bucket" # ご自身のバケット名に置き換えてください
OSS_PREFIX = "images" # 画像パスのプレフィックスに置き換えてください

storage_options = {
 "access_key_id": os.getenv("OSS_ACCESS_KEY_ID"),
 "access_key_secret": os.getenv("OSS_ACCESS_KEY_SECRET"),
}

# 画像 URL リストを作成
image_urls = [
 f"oss://{OSS_ENDPOINT}/{OSS_BUCKET}/{OSS_PREFIX}/image{i}.jpg"
 for i in range(1, 9)
]

df = md.DataFrame({"image_url": image_urls})
df.execute()

## 5. VL モデルを呼び出して画像理解を実行
# `generate()` インターフェースを使用して、テキストプロンプトと OSS 画像をモデルに渡します。
cp = image_llm.content_part

result_df = image_llm.generate(
 df,
 messages=[
 {
 "role": "user",
 "content": [
 cp.text("この画像を 1 文で説明してください"),
 cp.image(
 data=df.image_url,
 type=ImageContentType.IMAGE_URL,
 storage_options=storage_options,
 ),
 ],
 }
 ],
 simple_output=True,
 params={"max_tokens": 128},
)

## 6. 推論を実行し、結果を表示
# MaxFrame は遅延実行を使用します。`.execute()` を呼び出して実際の計算をトリガーします。
result = result_df.execute()
print(result)

## 7. リソースをクリーンアップ
session.destroy()
print("Session destroyed")