モデルのカスタマイズにより、ビジネスデータを使用してテキスト埋め込みモデルのパフォーマンスを向上させることができます。また、提供された埋め込みデータを使用して、カスタムの埋め込み次元削減モデルをトレーニングすることもできます。一般的なビジネスシナリオでは、まず埋め込みモデルを使用してテキストまたはクエリをベクトル化します。次に、埋め込み次元削減モデルを使用して埋め込み次元を削減します。
バックグラウンド情報
インテリジェント検索および検索拡張生成 (RAG) シナリオでは、埋め込みモデルのパフォーマンスがビジネス成果にとって重大です。しかし、特定のドメインにおける汎用モデルの有効性は、そのトレーニングデータのカバー率によって制限されることがよくあります。取得パフォーマンスを向上させるために、ビジネスデータで汎用モデルをファインチューニングできます。一方、埋め込みモデルの次元は増加しています。これにより、大規模なデータベクトル化のためのストレージとコンピューティングコストが大幅に増加します。このため、AI Search Open Platform は埋め込み次元削減サービスを提供します。このサービスは、カスタムモデルを使用して高次元ベクトルを低次元ベクトルに変換します。これにより、ベクトル化のパフォーマンスを大幅に低下させることなくコストを節約できます。
埋め込み次元削減サービスのカスタマイズ
AI Search Open Platform コンソールで、[モデルサービス] > [モデルのカスタマイズ] を選択し、[作成] をクリックします。
RAM アカウントを使用してモデルの作成、構成の変更、モデル詳細の表示、またはその他の操作を行う場合は、事前に RAM アカウントに必要なモデルサービスの操作権限を付与する必要があります。
[モデルのカスタマイズ] ページで、次のパラメーターを構成できます。
パラメーター
説明
モデル名
埋め込み次元削減サービスを呼び出すときに使用するモデルの名前。
モデルタイプ
トレーニングするモデルのタイプ。[ベクトル次元削減 (embedding-dim-reduction)] を選択します。
ベースモデル
ops-embedding-dim-reduction-001 など、トレーニングに使用されるベースモデル。
データソース
maxCompute または oss
MaxCompute
パラメーター
説明
データソース
MaxCompute
リージョン
MaxCompute プロジェクトが配置されているリージョン。
プロジェクト名
MaxCompute のプロジェクトの名前。
AccessKey ID
MaxCompute への読み取りおよび書き込み権限を持つ Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ID。
AccessKey 管理ページに移動して AccessKey ID を取得できます。
シークレット
AccessKey ID に対応する AccessKey シークレット。
テーブル名
MaxCompute でトレーニングデータを格納するテーブルの名前。
テーブルパーティション
テーブルのパーティション情報。
トレーニングフィールド
最初に、MaxCompute テーブルスキーマの読み取りと書き込みに使用される RAM ユーザーに GetTableFields の付与 (MaxCompute テーブルスキーマを取得するため) 権限を付与する必要があります。これにより、プライマリキーフィールドと String 型の埋め込みフィールドを選択できます。埋め込みフィールドの次元は 1024 から 4096 である必要があります。
OSS
パラメーター
説明
データソース
OSS
リージョン
OSS バケットが配置されているリージョン。
OSS バケット
OSS バケットの名前。
Doc データ
トレーニングに使用される OSS のデータ。
OSS エンドポイント
上記の設定を完了すると生成されます。
[OK] をクリックします。表示されるダイアログボックスで、[作成してトレーニング] をクリックします。モデルは前処理され、前処理が完了するとトレーニングが開始されます。
[作成の確認] をクリックすると、モデルは [トレーニング待ち] のステータスでモデルカスタマイズリストに追加され、後でトレーニングできます。
モデルリストでは、[アクティブ] ステータスのモデルはトレーニングが完了しており、呼び出すことができます。[体験] をクリックして、ファインチューニングされた埋め込みモデルをテストします。
テキスト埋め込みサービスのカスタマイズ
AI Search Open Platform コンソールで、[モデルサービス] > [モデルのカスタマイズ] を選択し、[作成] をクリックします。
RAM ユーザーを使用してモデルの作成、構成の変更、モデル詳細の表示などの操作を行う場合は、事前に RAM ユーザーにモデルサービスに必要な権限を付与する必要があります。
[モデルのカスタマイズ] ページで、次のパラメーターを構成します。
パラメーター
説明
モデル名
カスタマイズを提供します。
モデルタイプ
トレーニングするモデルのタイプ。[テキスト埋め込み] (text-embedding) を選択します。
ベースモデル
ops-text-embedding-001 など、トレーニングに使用される基盤モデル。
次元削減
このオプションを有効にすると、埋め込み次元削減トレーニングが同時に実行されます。
削減用ベースモデル
次元削減に使用されるモデル。このパラメーターは、埋め込み次元削減を有効にした場合にのみ使用できます。
データソース
maxCompute または oss
MaxCompute
パラメーター
説明
データソース
MaxCompute。
リージョン
MaxCompute プロジェクトが配置されているリージョン。
プロジェクト名
MaxCompute のプロジェクトの名前。
AccessKey ID
MaxCompute への読み取りおよび書き込み権限を持つ Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ID。
AccessKey 管理ページに移動して AccessKey ID を取得できます。
シークレット
AccessKey ID に対応する AccessKey シークレット。
テーブル名
MaxCompute でトレーニングデータを格納するテーブルの名前。
テーブルパーティション
テーブルのパーティション情報。
トレーニングフィールド
MaxCompute テーブルスキーマの読み取りと書き込みに使用される RAM ユーザーに GetTableFields 権限を付与 (MaxCompute テーブルスキーマを取得するため) する必要があります。これにより、プライマリキーフィールドと String 型のテキストデータを選択できます。
query-doc ペア
詳細については、「コンソールのサンプルデータ」をご参照ください。
OSS
パラメーター
説明
データソース
OSS
リージョン
OSS バケットが配置されているリージョン。
OSS bucket
OSS バケットの名前。
Doc data
トレーニングに使用される OSS のデータ。
query-doc ペア
詳細については、「コンソールのサンプルデータ」をご参照ください。
OSS エンドポイント
上記の設定を完了すると、システムによって生成されます。
[OK] をクリックします。表示されるダイアログボックスで、[作成してトレーニング] をクリックします。モデルは前処理を開始し、前処理が完了するとトレーニングが開始されます。
[作成の確認] をクリックすると、モデルは [トレーニング待ち] ステータスでモデルカスタマイズリストに表示されます。後でトレーニングを開始できます。
モデルリストでは、[アクティブ] ステータスのモデルはトレーニングが完了しており、デプロイできます。
サービス呼び出し
モデルサービスが要件を満たしている場合、API を使用してサービスを呼び出すことができます。詳細については、「埋め込み次元削減サービス API」および「カスタムデプロイメントサービス API」をご参照ください。