Alibaba Cloud Model Studio:埋め込み

マルチモーダル埋め込み

このモデルは、ユーザー入力に基づいて連続ベクトルを生成します。入力はテキスト・画像・動画のいずれかです。これは、動画分類・画像分類・画像-テキスト取得・テキスト/画像から画像への検索・テキスト/画像から動画への検索などのタスクに適しています。

このインターフェイスでは、単一のテキストセグメント・単一の画像・単一の動画ファイルのアップロードがサポートされています。また、異なるタイプの組み合わせ（テキスト + 画像など）も可能です。一部のモデルでは、同じタイプの複数入力（複数の画像など）もサポートされています。詳細については、特定のモデルの制限事項をご確認ください。

入力制限：

埋め込みディメンションの切り替え

text-embedding-v4、text-embedding-v3、tongyi-embedding-vision-plus、tongyi-embedding-vision-flash、および qwen3-vl-embedding は、カスタム埋め込みディメンションをサポートしています。ディメンションを高くすると、より豊かなセマンティック情報を保持できますが、ストレージおよび計算コストも増加します。

• 一般的なシナリオ (推奨): 1024 ディメンションは、パフォーマンスとコストの最適なバランスを提供し、ほとんどのセマンティック取得タスクに適しています。

• 高精度シナリオ: 高精度が求められるドメインでは、1536 または 2048 ディメンションを選択してください。これにより精度が一定程度向上しますが、ストレージおよび計算オーバーヘッドが大幅に増加します。

• リソース制約シナリオ: コストに敏感なシナリオでは、768 またはそれ以下のディメンションを選択してください。これによりリソース消費を大幅に削減できますが、セマンティック情報が一部失われます。

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # 以下はシンガポールリージョンの URL です。中国 (北京) リージョンのモデルを使用する場合は、URL を https://dashscope.aliyuncs.com/compatible-mode/v1 に置き換えてください。
    base_url="https://dashscope-intl.aliyuncs.com/compatible-mode/v1",
)

resp = client.embeddings.create(
    model="text-embedding-v4",
    input=["I like it and will buy from here again"],
    # 埋め込みディメンションを 256 に設定します。
    dimensions=256
)
print(f"埋め込みディメンション: {len(resp.data[0].embedding)}")

import dashscope

# 中国 (北京) リージョンのモデルを使用する場合は、base_url を https://dashscope.aliyuncs.com/api/v1 に置き換えてください。
dashscope.base_http_api_url = 'https://dashscope-intl.aliyuncs.com/api/v1'

resp = dashscope.TextEmbedding.call(
    model="text-embedding-v4",
    input=["I like it and will buy from here again"],
    # 埋め込みディメンションを 256 に設定します。
    dimension=256
)

print(f"埋め込みディメンション: {len(resp.output['embeddings'][0]['embedding'])}")

クエリテキストとドキュメントテキストの区別 (text_type)

このパラメーターは、現在 DashScope SDK および API のみで有効化できます。

検索関連タスクで最良の結果を得るには、異なるタイプのコンテンツを目的に応じて埋め込み処理し、それぞれの役割を最大限に活用します。text_type パラメーターはこの目的のために設計されています。

• text_type: 'query': ユーザーが入力するクエリテキスト に使用します。モデルは「タイトルのような」ベクトルを生成し、これはより方向性が強く、「質問」や「検索」に最適化されています。

• text_type: 'document' (デフォルト): データベースに格納されるドキュメントテキスト に使用します。モデルは「本文のような」ベクトルを生成し、これはより包括的な情報を含み、取得されることに最適化されています。

短いテキストと長いテキストをマッチングさせる場合、query と document を区別してください。クラスタリングや分類など、すべてのテキストが同じ役割を持つタスクでは、このパラメーターを設定する必要はありません。

命令によるパフォーマンス向上 (instruct)

このパラメーターは、現在 DashScope SDK および API のみで有効化できます。

明確な英語の命令を提供することで、text-embedding-v4 が特定の取得シナリオ向けにベクトル品質を最適化し、精度を効果的に向上させます。この機能を使用する際は、text_type パラメーターを query に設定してください。

# シナリオ: 検索エンジン向けのドキュメントベクトルを構築する際、命令を追加して取得向けのベクトル品質を最適化できます。
resp = dashscope.TextEmbedding.call(
    model="text-embedding-v4",
    input="Research papers on machine learning",
    text_type="query",
    instruct="Given a research paper query, retrieve relevant research paper"
)

密ベクトルと疎ベクトル

このパラメーターは、現在 DashScope SDK および API のみで有効化できます。

text-embedding-v4 および text-embedding-v3 は、異なる取得戦略のニーズを満たすために、3 種類のベクトル出力をサポートしています。

セマンティック検索

クエリとドキュメント間のベクトル類似度を計算することで、正確なセマンティックマッチングを実現します。

import dashscope
import numpy as np
from dashscope import TextEmbedding

# 中国 (北京) リージョンのモデルを使用する場合は、base_url を https://dashscope.aliyuncs.com/api/v1 に置き換えてください。
dashscope.base_http_api_url = 'https://dashscope-intl.aliyuncs.com/api/v1'

def cosine_similarity(a, b):
    """余弦類似度を計算します"""
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

def semantic_search(query, documents, top_k=5):
    """セマンティック検索を実行します"""
    # クエリベクトルを生成します
    query_resp = TextEmbedding.call(
        model="text-embedding-v4",
        input=query,
        dimension=1024
    )
    query_embedding = query_resp.output['embeddings'][0]['embedding']

    # ドキュメントベクトルを生成します
    doc_resp = TextEmbedding.call(
        model="text-embedding-v4",
        input=documents,
        dimension=1024
    )

    # 類似度を計算します
    similarities = []
    for i, doc_emb in enumerate(doc_resp.output['embeddings']):
        similarity = cosine_similarity(query_embedding, doc_emb['embedding'])
        similarities.append((i, similarity))

    # 並べ替えて top_k の結果を返します
    similarities.sort(key=lambda x: x[1], reverse=True)
    return [(documents[i], sim) for i, sim in similarities[:top_k]]

# 使用例
documents = [
    "人工知能はコンピュータサイエンスの一分野です",
    "機械学習は人工知能を実現するための重要な手法です",
    "ディープラーニングは機械学習のサブフィールドです"
]
query = "AI とは何ですか?"
results = semantic_search(query, documents, top_k=2)
for doc, sim in results:
    print(f"類似度: {sim:.3f}, ドキュメント: {doc}")

レコメンデーションシステム

ユーザーの過去の行動から得られたベクトルを分析し、興味を把握して類似アイテムをレコメンデーションします。

import dashscope
import numpy as np
from dashscope import TextEmbedding

# 中国 (北京) リージョンのモデルを使用する場合は、base_url を https://dashscope.aliyuncs.com/api/v1 に置き換えてください。
dashscope.base_http_api_url = 'https://dashscope-intl.aliyuncs.com/api/v1'

def cosine_similarity(a, b):
    """余弦類似度を計算します"""
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))
def build_recommendation_system(user_history, all_items, top_k=10):
    """レコメンデーションシステムを構築します"""
    # ユーザー履歴のベクトルを生成します
    history_resp = TextEmbedding.call(
        model="text-embedding-v4",
        input=user_history,
        dimension=1024
    )

    # ユーザープリファレンスベクトルを計算します (平均値を使用)
    user_embedding = np.mean([
        emb['embedding'] for emb in history_resp.output['embeddings']
    ], axis=0)

    # すべてのアイテムのベクトルを生成します
    items_resp = TextEmbedding.call(
        model="text-embedding-v4",
        input=all_items,
        dimension=1024
    )

    # レコメンデーションスコアを計算します
    recommendations = []
    for i, item_emb in enumerate(items_resp.output['embeddings']):
        score = cosine_similarity(user_embedding, item_emb['embedding'])
        recommendations.append((all_items[i], score))

    # 並べ替えてレコメンデーション結果を返します
    recommendations.sort(key=lambda x: x[1], reverse=True)
    return recommendations[:top_k]

# 使用例
user_history = ["SF", "アクション", "サスペンス"]
all_movies = ["未来都市", "宇宙冒険", "古代戦争", "恋愛物語", "スーパーヒーロー"]
recommendations = build_recommendation_system(user_history, all_movies)
for movie, score in recommendations:
    print(f"レコメンデーションスコア: {score:.3f}, 映画: {movie}")

テキストクラスタリング

テキスト間の距離を分析することで、類似テキストを自動的にグループ化します。

# scikit-learn が必要です: pip install scikit-learn
import dashscope
import numpy as np
from sklearn.cluster import KMeans

# 中国 (北京) リージョンのモデルを使用する場合は、base_url を https://dashscope.aliyuncs.com/api/v1 に置き換えてください。
dashscope.base_http_api_url = 'https://dashscope-intl.aliyuncs.com/api/v1'

def cluster_texts(texts, n_clusters=2):
    """テキストセットをクラスタリングします"""
    # 1. すべてのテキストのベクトルを取得します
    resp = dashscope.TextEmbedding.call(
        model="text-embedding-v4",
        input=texts,
        dimension=1024
    )
    embeddings = np.array([item['embedding'] for item in resp.output['embeddings']])

    # 2. KMeans アルゴリズムを使用してクラスタリングします
    kmeans = KMeans(n_clusters=n_clusters, random_state=0, n_init='auto').fit(embeddings)

    # 3. 結果を整理して返します
    clusters = {i: [] for i in range(n_clusters)}
    for i, label in enumerate(kmeans.labels_):
        clusters[label].append(texts[i])
    return clusters


# 使用例
documents_to_cluster = [
    "携帯電話会社 A が新製品を発表",
    "検索エンジン会社 B が新システムをローンチ",
    "ワールドカップ決勝: アルゼンチン vs フランス",
    "中国がオリンピックで新たな金メダルを獲得",
    "企業が最新 AI チップを発表",
    "欧州選手権の試合レポート"
]
clusters = cluster_texts(documents_to_cluster, n_clusters=2)
for cluster_id, docs in clusters.items():
    print(f"--- クラスター {cluster_id} ---")
    for doc in docs:
        print(f"- {doc}")

テキスト分類

事前にラベル付けされた例がなくても、入力テキストと事前定義されたラベル間のベクトル類似度を計算することで、新しいカテゴリを認識・分類します。

import dashscope
import numpy as np

# 中国 (北京) リージョンのモデルを使用する場合は、base_url を https://dashscope.aliyuncs.com/api/v1 に置き換えてください。
dashscope.base_http_api_url = 'https://dashscope-intl.aliyuncs.com/api/v1'

def cosine_similarity(a, b):
    """余弦類似度を計算します"""
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))


def classify_text_zero_shot(text, labels):
    """ゼロショットテキスト分類を実行します"""
    # 1. 入力テキストおよびすべてのラベルのベクトルを取得します
    resp = dashscope.TextEmbedding.call(
        model="text-embedding-v4",
        input=[text] + labels,
        dimension=1024
    )
    embeddings = resp.output['embeddings']
    text_embedding = embeddings[0]['embedding']
    label_embeddings = [emb['embedding'] for emb in embeddings[1:]]

    # 2. 各ラベルとの類似度を計算します
    scores = [cosine_similarity(text_embedding, label_emb) for label_emb in label_embeddings]

    # 3. 最も類似度の高いラベルを返します
    best_match_index = np.argmax(scores)
    return labels[best_match_index], scores[best_match_index]


# 使用例
text_to_classify = "このドレスの生地は快適で、デザインも素敵です"
possible_labels = ["デジタルプロダクト", "アパレル & アクセサリー", "フード & ドリンク", "ホーム & リビング"]

label, score = classify_text_zero_shot(text_to_classify, possible_labels)
print(f"入力テキスト: '{text_to_classify}'")
print(f"最も一致するカテゴリ: '{label}' (類似度: {score:.3f})")

異常検知

テキストベクトルと通常サンプルベクトルの中心との類似度を計算することで、通常パターンから大きく逸脱する異常データを識別します。

例示コードのしきい値はデモンストレーション目的のみのものです。実際のビジネスシナリオでは、データ内容および分布に応じて具体的な類似度値が異なるため、固定されたしきい値はありません。ご自身のデータセットに基づいてこの値を調整してください。

import dashscope
import numpy as np


def cosine_similarity(a, b):
    """余弦類似度を計算します"""
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))


def detect_anomaly(new_comment, normal_comments, threshold=0.6):
    # 1. すべての通常コメントおよび新しいコメントをベクトル化します
    all_texts = normal_comments + [new_comment]
    resp = dashscope.TextEmbedding.call(
        model="text-embedding-v4",
        input=all_texts,
        dimension=1024
    )
    embeddings = [item['embedding'] for item in resp.output['embeddings']]

    # 2. 通常コメントの中心ベクトル (平均値) を計算します
    normal_embeddings = np.array(embeddings[:-1])
    normal_center_vector = np.mean(normal_embeddings, axis=0)

    # 3. 新しいコメントと中心ベクトルの類似度を計算します
    new_comment_embedding = np.array(embeddings[-1])
    similarity = cosine_similarity(new_comment_embedding, normal_center_vector)

    # 4. 異常かどうかを判定します
    is_anomaly = similarity < threshold
    return is_anomaly, similarity


# 使用例
normal_user_comments = [
    "今日の会議は生産的でした",
    "プロジェクトは順調に進んでいます",
    "新バージョンは来週リリース予定です",
    "ユーザーからのフィードバックは良好です"
]

test_comments = {
    "通常のコメント": "この機能は期待通りに動作します",
    "異常 - 意味のない文字化け": "asdfghjkl zxcvbnm"
}

print("--- 異常検知の例 ---")
for desc, comment in test_comments.items():
    is_anomaly, score = detect_anomaly(comment, normal_user_comments)
    result = "はい" if is_anomaly else "いいえ"
    print(f"コメント: '{comment}'")
    print(f"異常: {result} (通常サンプルとの類似度: {score:.3f})\n")