Platform For AI:マルチモーダルデータの管理と使用

3.1.1 PAI の有効化と権限の付与

1. ルートアカウントを使用して Platform for AI (PAI) を有効化し、ワークスペースを作成します。PAI コンソールにログオンし、左上隅でリージョンを選択してから、製品を承認して有効化します。

2. アカウントを承認します。ルートアカウントを使用する場合は、この手順をスキップできます。RAM ユーザーを使用する場合は、ワークスペース管理者ロールが必要です。アカウント承認の詳細については、ワークスペースの作成と管理の「メンバーロールの設定」セクションをご参照ください。

3.1.2 Model Studio の API キーの取得

Model Studio を有効化して API キーを作成するには、API キーの取得をご参照ください。

3.1.3 ベクトルデータベースの作成

ベクトルデータベースインスタンスの作成

マルチモーダルデータセット管理は、現在、次の Alibaba Cloud ベクトルデータベースをサポートしています。

• Elasticsearch (Vector Search Edition、バージョン 8.17.0 以降)

• OpenSearch (Vector Search Edition)

• Milvus (バージョン 2.4 以降)

• Hologres (バージョン 4.0.9 以降)

• Lindorm (Vector Engine Edition)

各ベクトルデータベースのインスタンスを作成するには、それぞれのクラウド製品のドキュメントをご参照ください。

ネットワークとホワイトリストの設定

• パブリックネットワークアクセス

  ベクトルデータベースインスタンスにパブリックエンドポイントがある場合は、次の IP アドレスをインスタンスのパブリックネットワークアクセスホワイトリストに追加します。これにより、マルチモーダルデータ管理サービスがパブリックネットワーク経由でインスタンスにアクセスできるようになります。Elasticsearch のホワイトリストを設定するには、パブリックまたはプライベートネットワークアクセスの IP アドレスホワイトリストの管理をご参照ください。

  リージョン	IP アドレス
  China (Hangzhou)	47.110.230.142, 47.98.189.92
  China (Shanghai)	47.117.86.159, 106.14.192.90
  China (Shenzhen)	47.106.88.217, 39.108.12.110
  China (Ulanqab)	8.130.24.177, 8.130.82.15
  China (Beijing)	39.107.234.20, 182.92.58.94

• プライベートネットワークアクセス

  このオプションを申請するには、チケットを送信してください。

ベクトルインデックステーブルの作成 (オプション)

システムが自動的にインデックステーブルを作成します。カスタムのインデックステーブルを作成する必要がない場合は、この手順をスキップできます。

一部のベクトルデータベースでは、ベクトルインデックステーブルはコレクションまたはインデックスとも呼ばれます。

インデックステーブルのスキーマは、次の定義と一致する必要があります。

{
    "id":"text",                    // プライマリキー ID。OpenSearch では必須。他のデータベースではデフォルトで存在し、定義する必要はありません。
    "index_set_id": "keyword",      // インデックスセット ID。インデックス作成をサポートしている必要があります。
    "file_meta_id": "text",         // ファイルメタデータ ID。   
    "dataset_id": "text",           // データセット ID。
    "dataset_version": "text",      // データセットバージョン。
    "uri": "text",                  // OSS ファイルの URI。
    "file_vector": {                // ベクトルフィールド。
        "type": "float",            // ベクトルタイプ: float。
        "dims": 1536,               // ベクトル次元 (カスタマイズ可能)。
        "similarity": "DotProduct"  // ベクトル距離アルゴリズム: コサインまたはドット積。
    }
}

このセクションでは、Elasticsearch でセマンティックインデックステーブルを作成する Python の例を示します。他のベクトルデータベースについては、それぞれの製品ドキュメントをご参照ください。

from elasticsearch import Elasticsearch

# 1. Alibaba Cloud Elasticsearch インスタンスに接続します。
# 注意:
# (1) Python 3.9 以降が必要です: python3 -V
# (2) Elasticsearch クライアントはバージョン 8.x である必要があります: pip show elasticsearch
# (3) VPC エンドポイントを使用する場合、呼び出し元は Elasticsearch インスタンスの VPC と通信できる VPC 内にある必要があります。それ以外の場合は、パブリックエンドポイントを使用し、呼び出し元のパブリック IP アドレスを Elasticsearch ホワイトリストに追加してください。
# デフォルトのユーザー名は elastic です。
es_client = Elasticsearch(
    hosts=["http://es-cn-l4p***5z.elasticsearch.aliyuncs.com:9200"],
    basic_auth=("{userName}", "{password}"),
)

# 2. インデックス名と構造を定義します。デフォルトでは HNSW インデックスアルゴリズムを使用します。
index_name = "dataset_embed_test"
index_mapping = {
    "settings": {
        "number_of_shards": 1,          # シャード数
        "number_of_replicas": 1         # レプリカ数
    },
    "mappings": {
        "properties": {
            "index_set_id": {
                "type": "keyword"
            },
            "uri": {
                "type": "text"
            },
            "file_meta_id": {
                "type": "text"
            },
            "dataset_id": {
                "type": "text"
            },
            "dataset_version": {
                "type": "text"  
            },
            "file_vector": {
                "type": "dense_vector",  # file_vector を密ベクトル型として定義
                "dims": 1536,            # ベクトル次元: 1536
                "similarity": "dot_product"  # 類似度計算方法: ドット積
            }
        }
    }
}

# 3. インデックスを作成します。
if not es_client.indices.exists(index=index_name):
    es_client.indices.create(index=index_name, body=index_mapping)
    print(f"Index {index_name} created successfully!")
else:
    print(f"Index {index_name} already exists. It will not be created again.")

# 4. 作成したインデックステーブルのスキーマを表示します (オプション)。
# indexes = es_client.indices.get(index=index_name)
# print(indexes)

3.3.1 インテリジェントタギング接続の作成

1. PAI ワークスペースに移動し、左側のナビゲーションペインで AI 資産管理 > 接続 > モデルサービス > 接続の新規作成 を選択して、接続の作成ページを開きます。

2. Model Studio 大規模言語モデル (LLM) サービス接続 を選択し、Model Studio の [API キー] を設定します。

3. 接続が作成されると、Alibaba Cloud Model Studio Service がリストに表示されます。

3.3.2 セマンティックインデックス作成接続の作成

1. Model Studio セマンティックインデックスモデルサービスを使用する予定の場合は、この手順をスキップできます。左側のナビゲーションペインで、[モデルギャラリー] をクリックし、GME マルチモーダル検索モデルを見つけてデプロイし、EAS サービスを取得します。デプロイには約 5 分かかります。デプロイは、ステータスが 実行中 に変わると完了です。

   重要

   インデックスモデルが不要になったら、サービスを停止して削除し、追加料金が発生しないようにしてください。

   GME-2B 検索モデル (2B パラメーター) または GME-7B 検索モデルを選択し、対応する[デプロイ] ボタンをクリックしてデプロイを開始できます。

2. PAI ワークスペースに移動し、左側のナビゲーションペインで AI 資産管理 > 接続 > モデルサービス > 接続の新規作成 を選択して [接続の作成] ページを開きます。

3. Model Studio セマンティックインデックス作成モデルまたはカスタムデプロイされた EAS セマンティックインデックス作成モデルのどちらを選択したかに基づいて、モデル接続情報を設定します。

   Model Studio セマンティックインデックス作成モデルを使用

   • 接続タイプ: 汎用マルチモーダル埋め込みモデルサービス接続 を選択します。

   • [サービスプロバイダー]：[サードパーティモデルサービス] を選択します。

   • [モデル名]: tongyi-embedding-vision-plus

   • [base_url]：https://dashscope.aliyuncs.com/api/v1/services/embeddings/multimodal-embedding/multimodal-embedding

   • [API キー]：API キーを取得して入力します。

   カスタムデプロイされた EAS セマンティックインデックス作成モデルを使用

   • [接続タイプ]: 汎用マルチモーダル埋め込みモデルサービス接続 を選択します。

   • [サービスプロバイダー]: PAI-EAS モデルサービス を選択します。

   • [EAS サービス]: デプロイしたばかりの GME マルチモーダル検索モデルを選択します。サービスプロバイダーが自身のアカウントにない場合は、[サードパーティモデルサービス] を選択します。

   [EAS サービスの選択] ダイアログボックスで、ステータスが [実行中] である対象のモデルサービスを選択します。

4. 接続が作成されると、モデル接続サービスがリストに表示されます。

3.3.3 ベクトルデータベース接続の作成

1. 左側のナビゲーションペインで、AI 資産管理 > 接続 > データベース > 接続の新規作成 を選択して、[接続の作成] ページを開きます。

2. マルチモーダル検索サービスは、Milvus、Lindorm、OpenSearch、Elasticsearch、Hologres などのベクトルデータベースをサポートしています。このセクションでは Elasticsearch を例として、データベース接続の作成方法について説明します。検索分析サービス - Elasticsearch を選択し、uri、password などのパラメーターを設定します。詳細については、「データベース接続を作成する」をご参照ください。

   各ベクトルデータベースの接続形式は次のとおりです。

   Milvus

   uri: http://xxx.milvus.aliyuncs.com:19530
   database: {your_database}
   token: root:{password}

   OpenSearch

   uri: http://xxxx.ha.aliyuncs.com
   username: {username}
   password: {password}

   Hologres

   host: xxxx.hologres.aliyuncs.com
   port: {port}
   database: {your_database}
   access_key_id: {your_access_key_id}
   access_key_secret: {your_access_key_secret}

   Elasticsearch

   uri: http://xxxx.elasticsearch.aliyuncs.com:9200
   username: {username}
   password: {password}

   Lindorm

   uri: xxxx.lindorm.aliyuncs.com:{port}
   username: {username}
   password: {password}

3. 接続が作成されると、リストにベクトルデータベース接続が表示されます。

3.4.1 インテリジェントタグ定義の作成

左側のナビゲーションウィンドウで、AI 資産管理 > データセット > DataQ スマートタグサービス の 定義 > DataQ スマートタグサービス定義の新規作成 を選択してタグ設定ページを開きます。以下に設定例を示します。

• [ガイドプロンプト]：あなたは、高速道路と一般道の両方で豊富な経験を持つベテランドライバーです。

• [タグの定義]：

  自動運転のサンプルタグ定義

  {
      "反射テープ": "通常は黄色、または黄色と黒の交互で、角や他の永続的な突出した障害物に貼り付けられ、ドライバーに避けるよう警告します。これらは帯状であり、交通コーンや駐車ロック、水入りバリアではありません。",
      "駐車ロック": "駐車スペースロックとも呼ばれ、駐車スペースが占有されるのを防ぐために上げることができます。駐車ロックが存在する場合は、上がった状態か下がった状態かを指定する必要があります。上がったフレームがある場合は上がった状態、それ以外は下がった状態です。",
      "点灯した工事車両": "対象は、左右に矢印型のライトが 2 つ点灯している車両です。それ以外の場合は、点灯した工事車両とは見なしません。",
      "横転した車両": "地面に横転している車両。",
      "倒れた水入りバリア": "水入りバリアは、道路表面を分割したり、遮断を形成したりするために使用するプラスチック製シェル障害物で、通常は赤いプラスチック壁の形をしています。道路交通設備でよく使用し、高速道路、都市道路、高架橋の交差点でよく見かけます。交通コーンよりもかなり大きく、シート状の構造をしています。水入りバリアは通常直立しています。地面に横たわっている場合は、明確に示す必要があります。",
      "倒れた交通コーン": "円錐形交通標識またはパイロンとも呼ばれ、一般的にロードコーンまたはセーフティコーンと呼ばれ、円錐形の一時的な道路標識です。棒状またはシート状の障害物は、円錐形ではないため交通コーンではありません。交通コーンは車が倒す可能性があります。画像に交通コーンが存在し、倒れているかどうかを判断する必要がある場合は、コーンの底部(コーンの底面)が地面に接触しているかどうかを観察してください。接触している場合は倒れていません。それ以外の場合は倒れています。",
      "充電スペース": "充電ガン、充電パイル設備が見える壁際の駐車スペース、または新エネルギー車スペースとしてマークされている場合、充電スペースです。このタグは、駐車場(屋内または屋外)内のスペースにのみ適用されます。駐車ロックは充電とは関係ありません。",
      "速度低減帯": "通常は黄色と黒、または黄色だけで、道路を横切る狭い隆起した帯で、道路の端に垂直で、車両の速度を落とすために使用されます。駐車スペース内には見られません。",
      "減速車線": "車線の両側、実線の内側に魚の骨のパターンで描かれた破線。両側に存在する必要があり、減速車線と見なします。",
      "ランプ": "このタグは、高速道路の明確な大きなカーブが見える場合にのみ使用してください。ランプは通常、高速道路の本線の右側にあり、料金所への出入りに使用されます。",
      "地面の影": "地面に明確な影があります。",
      "曇り": "このタグは、空が見え、明確な雲が含まれている場合にのみ使用してください。",
      "まぶしい車": "前方の車のライトがまぶしさを引き起こしています(光が単一の点から光の線に変わります)、通常は夜間または雨の日に発生します。",
      "左折、右折、Uターン矢印": "道路表面に描かれた乳白色の矢印マーキング(一部は黄色)であり、右カーブを示す高速道路標識の緑と白の矢印ではありません。これらの矢印の存在を判断する場合、道路車線の中央にある明確な矢印マーキングのみがターゲットです。路側のものはターゲットではありません。地面に矢印がある場合、方向は次のように決定されます。右折矢印は基部から先端まで時計回りに回転します。左折矢印は基部から先端まで反時計回りに回転します。U字型の矢印はUターン矢印です。",
      "横断歩道": "このタグは、道路表面(駐車場を含む)および交差点の横断歩道に適用されます。歩行者が横断するために道路の端に平行に繰り返し間隔で配置された白い線である必要があります。高速道路、高速道路のランプ、またはトンネル内には見られません。",
      "露出オーバー": "日中、直射日光によってレンズが露出オーバーになります(日中のみ発生する可能性があります)。",
      "自動車": "視野内に他の自動車があります。",
      "合流または分流": "高速道路で複数の車線が 1 つに合流する場所、または 1 つの車線が複数の車線に分かれる場所。",
      "交差点": "交差点内に車線がない交差点(交差点自体内に線がないことを指します。交差点外の線は関係ありません)。",
      "駐車禁止標識": "「駐車禁止」という言葉または円の中に「P」があり、斜線が引かれた記号が描かれた、吊り下げられているか地面に立っている標識。",
      "車線": "道路上の車線で、ぼやけた車線に特に注意してください。",
      "道路上の落石またはタイヤ": "交通に影響を与える道路上の障害物。",
      "トンネル": "トンネルへの進入と退出の区別に注意してください。",
      "雨の日の濡れた地面": "雨のために地面が滑りやすくなっています。",
      "非自動車": "自転車、電動自転車、車椅子、一輪車、ショッピングカートなどの非自動車オブジェクトを含み、路側、駐車スペースに駐車されているか、道路上を移動している可能性があります。"
    }

3.4.2 オフラインインテリジェントタギングジョブの作成

1. データセット をクリックし、データセット名をクリックして、データセットタスク タブをクリックします。

2. 「ジョブ」ページで、タスクを作成 > スマートタギング をクリックし、タスクパラメーターを設定します。

   • [データセットバージョン]：v1 など、ラベル付けするバージョンを選択します。

   • [スマートタギングモデル接続]: 作成した Model Studio モデル接続を選択します。

   • [インテリジェントタギングモデル]：対応モデルには Qwen-VL-Max および Qwen-VL-Plus が含まれます。

   • [最大同時実行数]: この値は、EAS モデルサービスの仕様によって決まります。1 つの GPU の場合、推奨される最大同時実行数は 5 です。

   • [DataQ スマートタグサービス の 定義]：作成したばかりのスマートタグ定義を選択します。

   • [タグ付けパターン]: 増分 と フル モードをサポートしています。

3. インテリジェントタギングジョブが作成されると、ジョブリストに表示されます。[操作] 列のリンクをクリックして、ログを表示したり、ジョブを停止したりできます。

   説明

   インテリジェントタギングジョブを初めて開始すると、システムがメタデータを構築します。このプロセスには時間がかかる場合があります。

3.9.1 ファイルとしてエクスポート

1. ファイルにエクスポート をクリックします。設定ページで、エクスポート内容と出力先 OSS ディレクトリを設定し、OK をクリックします。

   エクスポート設定ページで、[エクスポート内容] には [テキスト]、[画像]、[音声]、[動画]、および [人間によるラベル] を選択できます。[エクスポートタイプ] で [エクスポートファイル] を選択し、[エクスポートパス] を宛先の OSS ディレクトリに設定します。

2. エクスポートの進捗状況を表示するには、左側のナビゲーションペインでAI 資産管理 > タスク > データセットタスクを選択します。

3. エクスポートした結果を使用します。エクスポートが完了したら、エクスポートした結果ファイルと元のデータセットを、DLC や DSW インスタンスなどの適切なトレーニング環境にマウントできます。その後、コードを記述してエクスポートした結果ファイルのインデックスを読み取り、元のデータセットからターゲットファイルをロードして、モデルトレーニングや分析を行うことができます。

3.9.2 論理データセットバージョンへのエクスポート

Premium データセットの検索結果を、別の論理データセットのバージョンにインポートできます。その後、データセット SDK を使用して、その論理データセットバージョンのデータを使用できます。

1. 論理データセットへのエクスポート をクリックしてターゲット論理データセットを選択し、OK をクリックします。

   「エクスポート」ダイアログボックスで、[ターゲットデータセット] と [ベースデータセットバージョン] を選択し、[インポート範囲] (すべてのファイルまたは選択したファイル) を設定します。[インポートモード] では、[マージして上書き] を選択し、インポートするタグタイプ ([スマートタグ] または [手動ラベル]) を選択できます。

   選択可能な論理データセットがない場合は、次のセクションの説明に従って作成します。

   論理データセットの作成

   論理データセットを作成します。左側のナビゲーションペインで、AI 資産管理 > データセット > データセットの新規作成 を選択し、次の主要なパラメーターを設定します。その他のパラメーターは必要に応じて設定します。

   • [タイプ]:  論理型 を選択します。

   • [メタデータ OSS パス]: エクスポート用の OSS パスを選択します。

   • [メタデータインポート方式]：後でインポート を選択します。

   OK をクリックしてデータセットを作成します。

2. 論理データセットを使用します。インポートジョブが完了すると、ターゲット論理データセットにエクスポートしたメタデータが含まれます。SDK を使用してデータをロードして使用できます。SDK の使用方法については、データセット詳細ページをご参照ください。

   from pai_datasets.load import load_dataset
   
   dataset = load_dataset(dataset_id="xxx",
       dataset_version="v1",
       region="cn-hangzhou",
       cache_dir=CACHE_DIR,
       keep_in_memory=True)

   SDK をインストールするには、次のコマンドを実行します。

   pip install https://pai-sdk.oss-cn-shanghai.aliyuncs.com/dataset/pai_dataset_sdk-1.0.0-py3-none-any.whl