Tair (Redis® OSS-Compatible):TairSearch パフォーマンスホワイトペーパー

クライアント

データベース

両データベースは同一の ECS インスタンス上で実行され、6 vCPU および 4 I/O スレッドを使用します。

表 1. 自己管理型 Tair データベース

表 2. 自己管理型 Redis データベース

テストデータ

テストデータセットには、Wikimedia から取得した中国語および英語の Wikipedia 記事の概要が含まれます。ソースファイル：「Index of /zhwiki/latest/」および「Index of /enwiki/latest/」。

各ドキュメントには、id、title、url、abstract の 4 つのフィールドがあります。例：

{
    "id": "History_of_Pakistan",
    "title": "History of Pakistan",
    "url": "https://en.wikipedia.org/wiki/History_of_Pakistan",
    "abstract": "The history of Pakistan for the period preceding the country's independence in 1947..."
}

{
    "id": "Wikipedia：哲学",
    "title": "Wikipedia：哲学",
    "url": "https://zh.wikipedia.org/wiki/%E5%93%B2%E5%AD%A6",
    "abstract": "哲学（）は研究普遍的、基本問題の学科であり、存在、知識、価値、理智、心、言語などの領域を含む。哲学は他の学問と異なる点として、批判的な思考方法や体系的な手法、そして理性による論証を基礎とする独自の思考様式を持つ。"
}

テストツール

ご利用のオペレーティングシステムに対応する TairSearchBench バイナリをダウンロードしてください：

• Darwin: TairSearchBench.Darwin

• Linux： TairSearchBench.Linux

• Windows: TairSearchBench.Windows

./TairSearchBench.Linux --help を実行すると、利用可能なすべてのオプションを確認できます。

./TairSearchBench.linux の使用方法：
  -a 文字列
        接続先ネットワークのアドレス（IP:ポート）
        # インスタンスのエンドポイント。
  -c 整数
        ベンチマークの同時実行数（デフォルト：30）
        # 同時に実行可能なテストの数。デフォルト値：30。
  -d 符号なし整数
        ベンチマークの実行時間（秒単位、デフォルト：30）
        # テストの持続時間。指定時間が経過するとテストは終了します。デフォルト値：30（単位：秒）。
  -e 文字列
        実行するエンジンバックエンド［tairsearch/redisearch］
        # インスタンスで実行するエンジンとして、TairSearch または RediSearch を指定します。
  -f 文字列
        データ取り込み元の入力ファイル（Wikipedia 概要）
        # 実行データファイルのパス。
  -h 文字列
        使用方法を表示（デフォルト："help"）
        # このツールの使用方法を表示します。
  -j 文字列
        書き込む大規模 JSON ファイルを指定
        # 書き込む JSON ファイルのパスを指定します。
  -n 符号なし整数
        ベンチマーク実行回数（デフォルト：100000）
        # テストで実行する操作の総数。デフォルト値：100000。
  -o 整数
        ドキュメントの上書き（同じドキュメント ID のドキュメントを上書きします）
        # 元のドキュメントを上書きするかどうかを指定します。有効な値：1（true）、0（false）。デフォルト値：0。
  -p 文字列
        Redis への接続パスワード
        # インスタンスのパスワード。
  -q 文字列
        ベンチマーク用の検索クエリ文字列
        # テスト実行に使用するクエリ文。
  -s 符号なし整数
        TairSearch の圧縮しきい値（デフォルト：10000000000）
        # TairSearch の圧縮しきい値を指定します。ドキュメントサイズがこのしきい値を超える場合、ドキュメントは圧縮されます。（単位：バイト）デフォルト値：10000000000（10 KB）。
  -t 文字列
        ベンチマークのタイプを指定［write/search/readwrite］
        # テストタイプを write、search、readwrite のいずれかに設定します。
  -z 文字列
        クエリで使用するアナライザを指定（デフォルト："standard"）
        # クエリで使用するアナライザを指定します。デフォルト値：standard。

テスト実行前に、クライアントに 20 vCPU を割り当ててください。サンプルコマンド：taskset -c 10-30 ./TairSearchBench.linux。

英語データの書き込み

コマンド

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t write -e tairsearch -f ./enwiki-latest-abstract.xml -c 20 -n 1000000 -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t write -e redisearch -f ./enwiki-latest-abstract.xml -c 20 -n 1000000 -a 127.0.0.1:6379

結果

中国語データの書き込み

コマンド

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t write -e tairsearch -f ./zhwiki-latest-abstract.xml -c 20 -n 1000000 -a 127.0.0.1:6379 -z jieba

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t write -e redisearch -f ./zhwiki-latest-abstract.xml -c 20 -n 1000000 -a 127.0.0.1:6379 -z chinese

結果

本テストでは、TairSearch が RediSearch よりも多くのメモリを使用しています。これは、jieba アナライザが RediSearch で使用される中国語アナライザよりも細かいトークンを生成するためです。

英語データの上書き

コマンド

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t write -e tairsearch -f ./enwiki-latest-abstract.xml -c 20 -n 1000000 -o 1 -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t write -e redisearch -f ./enwiki-latest-abstract.xml -c 20 -n 1000000 -o 1 -a 127.0.0.1:6379

結果

上書き操作を実行すると、RediSearch は元のドキュメントを後続の削除対象としてマークします。これにより、追加のメモリ使用量が発生します。一方、TairSearch は元のドキュメントをリアルタイムで削除します。

中国語データの上書き

コマンド

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t write -e tairsearch -f ./zhwiki-latest-abstract.xml -c 20 -n 1000000 -o 1 -a 127.0.0.1:6379 -z jieba

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t write -e redisearch -f ./zhwiki-latest-abstract.xml -c 20 -n 1000000 -o 1 -a 127.0.0.1:6379

結果

上書き操作を実行すると、RediSearch は元のドキュメントを後続の削除対象としてマークします。これにより、追加のメモリ使用量が発生します。一方、TairSearch は元のドキュメントをリアルタイムで削除します。

完全一致検索 — 英語

コマンド

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"term":{"abstract":"hello"}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:hello" -a 127.0.0.1:6379

結果

完全一致検索 — 中国語

コマンド

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"term":{"abstract":"你好"}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:你好" -a 127.0.0.1:6379

結果

部分一致検索 — 英語

コマンド

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"match":{"abstract":{"operator":"and","query":"chinese history"}}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:chinese history" -a 127.0.0.1:6379

結果

マッチクエリ — 中国語

コマンド

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 100000 -q '{"query":{"match":{"abstract":{"operator":"and","query":"中国的历史"}}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 100000 -q "@abstract:中国的历史" -a 127.0.0.1:6379  -analyzer jieba

結果

ブール検索 — 英語

コマンド

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 100000 -q '{"query":{"bool":{"must":[{"term":{"abstract":"war"}},{"term":{"abstract":"japanese"}},{"range":{"abstract_len":{"gt":500}}}],"must_not":{"term":{"abstract":"America"}},"should":[{"term":{"abstract":"chinese"}},{"term":{"abstract":"china"}}]}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 100000 -q "@abstract:(war japanese -America (chinese|china)) @abstract_len:[500 +inf]"  -a 127.0.0.1:6379

結果

ブール検索 — 中国語

コマンド

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 100000 -q '{"query":{"bool":{"must":[{"term":{"abstract":"战争"}},{"term":{"abstract":"日本"}},{"range":{"abstract_len":{"gt":500}}}],"must_not":{"term":{"abstract":"美国"}},"should":[{"term":{"abstract":"中国"}},{"term":{"abstract":"亚洲"}}]}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:(日本 -美国 (中国|亚洲)) @abstract_len:[500 +inf]"  -a 127.0.0.1:6379 -analyzer jieba

結果

範囲検索 — 英語

コマンド

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"range":{"abstract_len":{"lte":420, "gte":400}}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract_len:[400,420]" -a 127.0.0.1:6379

結果

プレフィックス検索 — 英語

コマンド

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"prefix":{"abstract":"happiness"}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:happiness*" -a 127.0.0.1:6379

結果

プレフィックス検索 — 中国語

コマンド

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"prefix":{"abstract":"开心"}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:开心*" -a 127.0.0.1:6379 -z chinese

結果

混合: 書き込み + 完全一致検索

コマンド

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t readwrite -e tairsearch -f ./enwiki-latest-abstract.xml -c 20 -d 60 -q '{"query":{"term":{"abstract":"hello"}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t readwrite -e redisearch -f ./enwiki-latest-abstract.xml -c 20 -d 60 -q "@abstract:hello" -a 127.0.0.1:6379

結果

混合ワークロード：書き込み ＋ ブール検索

コマンド

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t readwrite -e tairsearch -f ./enwiki-latest-abstract.xml -c 20 -d 60 -q '{"query":{"bool":{"must":[{"term":{"abstract":"war"}},{"term":{"abstract":"japanese"}},{"range":{"abstract_len":{"gt":500}}}],"must_not":{"term":{"abstract":"America"}},"should":[{"term":{"abstract":"chinese"}},{"term":{"abstract":"china"}}]}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t readwrite -e redisearch -f ./enwiki-latest-abstract.xml -c 20 -d 60 -q "@abstract:(war japanese -America (chinese|china)) @abstract_len:[500 +inf]" -a 127.0.0.1:6379

結果