MaxCompute:内積とコサイン距離

前提条件

• Proxima CE パッケージがインストールされ、入力テーブルとして doc テーブルと query テーブルが作成されていること。詳細については、「Proxima CE パッケージをインストールする」をご参照ください。

• 入力テーブルにデータをインポートする。

シナリオ

ベクトルの内積を計算するには、MipsSquaredEuclidean または NormalizeConverter を使用できます。

MipsSquaredEuclidean

元のベクトルを正規化できない場合は、MipsSquaredEuclidean を使用して元のベクトルの次元を変換できます。元のベクトルの次元が変換された後、ベクトル間のユークリッド距離はベクトルの内積と同じになります。

MipsSquaredEuclidean を使用する場合は、-distance_method パラメーターを MipsSquaredEuclidean に設定する必要があります。-measure_params パラメーターを構成して、関連パラメーターを指定することもできます。各パラメーターは単一行の JSON 文字列です。パラメーターの二重引用符 (") はエスケープする必要はありません。各パラメーターの構成ではスペースは使用できません。例：

{"proxima.mips_euclidean.measure.injection_type":0}

パラメーターの詳細については、「IndexMeasure パラメーター」をご参照ください。

サンプルコマンド

--@resource_reference{"proxima-ce-aliyun-1.0.2.jar"}  -- アップロードした Proxima CE の JAR パッケージを参照します。 DataWorks コンソールの DataStudio ページに移動します。 DataStudio ページの左側のナビゲーションウィンドウで、[スケジュールワークフロー] をクリックします。表示されるページの左側で、[ビジネスフロー] > [MaxCompute] > [リソース] を選択します。アップロードした Proxima CE の JAR パッケージを右クリックし、ショートカットメニューから [リソースパスの挿入] を選択して、データをアノテーションとして表示します。
jar -resources proxima-ce-aliyun-1.0.2.jar  -- アップロードした Proxima CE の JAR パッケージ。
-classpath proxima-ce-aliyun-1.0.2.jar com.alibaba.proxima2.ce.ProximaCERunner  -- クラスパスは、main 関数のエントリクラスを指定します。
-doc_table doc_table_xx  -- 入力 doc テーブル。
-doc_table_partition 20221111  -- 入力 doc テーブルのパーティション。
-query_table query_table_xx  -- 入力 query テーブル。
-query_table_partition 20221111  -- 入力 query テーブルのパーティション。
-output_table output_table_xx  -- 出力テーブル。
-output_table_partition 20221111  -- 出力テーブルのパーティション。
-data_type float  -- ベクトルのデータ型。
-dimension 8 -- ベクトルの次元数。
-external_volume_name xxx_volume_name -- ユーザーが提供する OSS 上のボリュームは、事前に基礎となる OSS ディレクトリが作成されている必要があります。そうでない場合、操作は失敗します。
-owner_id 123456  -- ユーザーの ID。
-distance_method MipsSquaredEuclidean -- このパラメーターを設定する必要があります。
-measure_params {"proxima.mips_euclidean.measure.injection_type":0};  -- オプション。

NormalizeConverter

元のベクトルを正規化できる場合は、NormalizeConverter を使用して、入力 doc テーブルまたは query テーブルの元のベクトルに対して L2 正規化を実行できます。 L2 正規化が実行された後、内積とユークリッド距離には次の関係があります：。内積とユークリッド距離間の変換を実行できます。この場合、内積を距離計算に使用できます。 NormalizeConverter を使用して正規化を実行した後、ベクトル検索のビジネス要件に基づいて距離関連のパラメーターを構成して、インデックスを作成したり、検索タスクを実行したりできます。

NormalizeConverter を使用する場合は、-converter パラメーターを NormalizeConverter に設定し、-distance_method パラメーターを inner_product に設定する必要があります。デフォルトでは、L2 正規化が実行されます。ベクトル検索のビジネス要件に基づいて、他のパラメーターを構成できます。検索結果は、ベクトル正規化後の内積です。

サンプルコマンド

--@resource_reference{"proxima-ce-aliyun-1.0.2.jar"}  -- アップロードした Proxima CE の JAR パッケージを参照します。 DataWorks コンソールの DataStudio ページに移動します。 DataStudio ページの左側のナビゲーションウィンドウで、[スケジュールワークフロー] をクリックします。表示されるページの左側で、[ビジネスフロー] > [MaxCompute] > [リソース] を選択します。アップロードした Proxima CE の JAR パッケージを右クリックし、ショートカットメニューから [リソースパスの挿入] を選択して、データをアノテーションとして表示します。
jar -resources proxima-ce-aliyun-1.0.2.jar  -- アップロードした Proxima CE の JAR パッケージ。
-classpath proxima-ce-aliyun-1.0.2.jar com.alibaba.proxima2.ce.ProximaCERunner  -- クラスパスは、main 関数のエントリクラスを指定します。
-doc_table doc_table_xx  -- 入力 doc テーブル。
-doc_table_partition 20221111  -- 入力 doc テーブルのパーティション。
-query_table query_table_xx  -- 入力 query テーブル。
-query_table_partition 20221111  -- 入力 query テーブルのパーティション。
-output_table output_table_xx  -- 出力テーブル。
-output_table_partition 20221111  -- 出力テーブルのパーティション。
-data_type float  -- ベクトルのデータ型。
-dimension 8 -- ベクトルの次元数。
-external_volume_name xxx_volume_name -- ユーザーが提供する OSS 上のボリュームは、事前に基礎となる OSS ディレクトリが作成されている必要があります。そうでない場合、操作は失敗します。
-owner_id 123456  -- ユーザーの ID。
-converter NormalizeConverter  -- デフォルトの正規化コンバーター。
-distance_method inner_product;  -- このパラメーターを設定する必要があります。

コサイン距離