MaxCompute:Centauri のデータパフォーマンス

テスト構成

結論

Proxima CE のハッシュシャーディングは、全体として Centauri よりも約 20% 高速です。Centauri は top-200 で 98.061% の取得率を達成しています。

K-means は Proxima CE のクラスターシャーディングにのみ適用されます。自動チューニングは Centauri にのみ適用されます。

ビルドフェーズの結果

Centauri

Proxima CE のハッシュシャーディング

結果分析： Centauri では、1 つのノードが非常に高速でインデックスを構築し、残りの 3 つのノードはほぼ同じ時間がかかります。Proxima CE のハッシュシャーディングでは、2 つのノードが高速で構築し、他の 2 つは比較的低速で構築します。

シークフェーズの結果

Centauri

Proxima CE のハッシュシャーディング

結果分析：

• ノードごとのインデックスシーク時間は、Centauri と Proxima CE のハッシュシャーディングで同等です。

• Proxima CE のハッシュシャーディングでは、結果のマージに約 12 分長くかかります：

  • Proxima CE のハッシュシャーディング：最速ノードで 8 分、最遅ノードで 20 分

  • Centauri：最速ノードで 4 分、最遅ノードで 9 分

実行詳細

Centauri

Vector search  Data type:BINARY , Vector dimension:512 , Search method:graph , Measure:hamming , Building mode:build:seek
Information about the doc table Table name: doc_table_pailitao_binary , Partition:20210712 , Number of data records in the doc table:100000000 , Vector delimiter:~
Information about the query table Table name: doc_table_pailitao_binary , Partition:20210712 , Number of data records in the query table: 100000000 , Vector delimiter:~
Information about the output table Table name: output_table_pailitao_binary_centauri , Partition:20210712
Row and column information  Number of rows: 50 , Number of columns:4 , Number of data records in the doc table of each column for index building:25000000
Whether to clear volume indexes:false


Time required for each worker node (seconds):
worker:TmpDataTableJoinWorker , times:0
worker:TmpTableWorker , times:16
worker:CleanUpWorker , times:4
worker:AutotuningFastWorker , times:46
worker:RowColWorker , times:53
worker:SeekJobWorker , times:5914
worker:BuildJobWorker , times:12653
worker:AutotuningNormalWorker , times:1478
Total time required (minutes):336

Top recall rate User setting train:
top200:0.95

Top recall rate normal train:
top200:98.061%

Autotuning Fast Build Params:
proxima.general.builder.memory_quota=0
proxima.graph.common.max_doc_cnt=27500000
proxima.general.builder.thread_count=15
proxima.hnsw.builder.efconstruction=400
proxima.graph.common.neighbor_cnt=100

Autotuning Normal Search Params:
proxima.hnsw.searcher.ef=400

Sample commands:
jar -resources  centauri-1.1.5.jar,libcentauri-1.1.5.so   -classpath /data/jiliang.ljl/centauri_1.1.5/centauri-1.1.5.jar
com.alibaba.proxima.CentauriRunner
-proxima_version 1.1.5
-doc_table doc_table_pailitao_binary -doc_table_partition 20210712
-query_table doc_table_pailitao_binary -query_table_partition 20210712
-output_table output_table_pailitao_binary_centauri -output_table_partition 20210712
-data_type binary -dimension 512 -app_id 201220 -pk_type int64 -clean_build_volume false -distance_method hamming -binary_to_int true -row_num 50 -column_num 4;

Proxima CE のハッシュシャーディング

Vector search  Data type:1 , Vector dimension:512 , Search method:hnsw , Measure:Hamming , Building mode:build:build:seek
Information about the doc table Table name: doc_table_pailitao_binary2 , Partition:20210712 , Number of data records in the doc table:100000000 , Vector delimiter:~
Information about the query table Table name: doc_table_pailitao_binary2 , Partition:20210712 , Number of data records in the query table:100000000 , Vector delimiter:~
Information about the output table Table name: output_table_pailitao_binary_ce , Partition:20210712
Row and column information  Number of rows: 50 , Number of columns:4 , Number of data records in the doc table of each column for index building:25000000
Whether to clear volume indexes:false

Time required for each worker node (seconds):
SegmentationWorker:          2
TmpTableWorker:              1
KmeansGraphWorker:           0
BuildJobWorker:              9647
SeekJobWorker:               6431
TmpResultJoinWorker:         0
RecallWorker:                0
CleanUpWorker:               3
Total time required (minutes):268

Sample commands:
jar -resources proxima_ce_g.jar -classpath /data/jiliang.ljl/project/proxima2-java/proxima-ce/target/binary/proxima-ce-0.1-SNAPSHOT-jar-with-dependencies.jar  com.alibaba.proxima2.ce.ProximaCERunner
-doc_table doc_table_pailitao_binary2 -doc_table_partition 20210712
-query_table doc_table_pailitao_binary2 -query_table_partition 20210712
-output_table output_table_pailitao_binary_ce -output_table_partition 20210712
-data_type binary -dimension 512 -app_id 201220 -pk_type int64 -clean_build_volume false -distance_method Hamming -binary_to_int true -row_num 50 -column_num 4;

テスト構成

結論

Centauri との比較：

• Proxima CE のハッシュシャーディングは、全体として約 30% 高速です。

• Proxima CE のクラスターシャーディングは、全体で約 2 倍の改善を実現し、シークフェーズは約 7.5 倍高速です。

• INT8 量子化により、データパフォーマンスが約 10% 向上します。

ビルドフェーズの詳細

シークフェーズの詳細

テスト構成

結論

このデータ規模では、Proxima CE のクラスターシャーディングのみがすべてのフェーズを完了します。Centauri はシークフェーズでメモリ不足 (OOM) エラーにより失敗し、Proxima CE のハッシュシャーディングは出力が一時テーブルのサイズ制限を超えたため失敗します。