Tair (Redis® OSS-Compatible):Dokumen putih kinerja TairSearch

Klien

Database

Kedua database berjalan pada instans ECS yang sama dan menggunakan 6 vCPU serta 4 thread I/O.

Tabel 1. Database Tair yang dikelola sendiri

Tabel 2. Database Redis yang dikelola sendiri

Data uji

Set data uji berisi ringkasan artikel Wikipedia dalam bahasa Tiongkok dan Inggris dari Wikimedia. File sumber: Index of /zhwiki/latest/ dan Index of /enwiki/latest/.

Setiap dokumen berisi empat bidang: id, title, url, dan abstract. Contoh:

{
    "id": "History_of_Pakistan",
    "title": "History of Pakistan",
    "url": "https://en.wikipedia.org/wiki/History_of_Pakistan",
    "abstract": "The history of Pakistan for the period preceding the country's independence in 1947..."
}

{
    "id": "Wikipedia：哲学",
    "title": "Wikipedia：哲学",
    "url": "https://zh.wikipedia.org/wiki/%E5%93%B2%E5%AD%A6",
    "abstract": "哲学（）是研究普遍的、基本问题的学科，包括存在、知识、价值、理智、心灵、语言等领域。哲学与其他学科不同之处在於哲学有独特之思考方式，例如批判的方式、通常是系统化的方法，并以理性论证为基础。"
}

Tool pengujian

Unduh biner TairSearchBench untuk sistem operasi Anda:

• Darwin: TairSearchBench.Darwin

• Linux: TairSearchBench.Linux

• Windows: TairSearchBench.Windows

Jalankan ./TairSearchBench.Linux --help untuk melihat semua opsi yang tersedia.

Usage of ./TairSearchBench.linux:
  -a string
        The address(ip:port) of network to connect
        # Titik akhir instans.
  -c int
        Benchmark concurrency (default 30)
        # Jumlah pengujian yang dapat dijalankan secara konkuren. Nilai default: 30.
  -d uint
        Specify the number of seconds for the benchmark (default 30)
        # Durasi pengujian. Ketika durasi berakhir, pengujian dihentikan. Nilai default: 30. Satuan: detik.
  -e string
        The engine backend to run [tairsearch/redisearch]
        # Tentukan TairSearch atau RediSearch sebagai engine yang dijalankan oleh instans.
  -f string
        Input file to ingest data from (wikipedia abstracts)
        # Jalur file data eksekusi.
  -h string
        Print usage (default "help")
        # Menampilkan penggunaan tool.
  -j string
        Specify the big json file to write
        # Tentukan jalur file JSON yang akan ditulis.
  -n uint
        Specify the number of times to benchmark (default 100000)
        # Total jumlah operasi yang dilakukan untuk satu pengujian. Nilai default: 100000.
  -o int
        Overwrite the doc (We will write the document with the same document id)
        # Tentukan apakah akan menimpa dokumen asli. Nilai valid: 1 (true) dan 0 (false). Nilai default: 0.
  -p string
        The password of redis to connect
        # Password instans.
  -q string
        Search query string to benchmark
        # Pernyataan kueri yang digunakan untuk menjalankan pengujian.
  -s uint
        Specify the compress threshold for tairsearch (default 10000000000)
        # Tentukan ambang batas kompresi untuk TairSearch. Jika ukuran dokumen melebihi ambang batas, dokumen tersebut dikompresi. Satuan: byte. Nilai default: 10000000000 (10 KB).
  -t string
        Specify the type of benchmark [write/search/readwrite]
        # Atur jenis pengujian menjadi write, search, atau readwrite.
  -z string
        Specify the analyzer to use for query (default "standard")
        # Tentukan alat analisis untuk kueri. Nilai default: standard.

Alokasikan 20 vCPU ke klien sebelum menjalankan pengujian. Contoh perintah: taskset -c 10-30 ./TairSearchBench.Linux.

Menulis data dalam bahasa Inggris

Perintah

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t write -e tairsearch -f ./enwiki-latest-abstract.xml -c 20 -n 1000000 -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t write -e redisearch -f ./enwiki-latest-abstract.xml -c 20 -n 1000000 -a 127.0.0.1:6379

Hasil

Menulis data dalam bahasa Tiongkok

Perintah

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t write -e tairsearch -f ./zhwiki-latest-abstract.xml -c 20 -n 1000000 -a 127.0.0.1:6379 -z jieba

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t write -e redisearch -f ./zhwiki-latest-abstract.xml -c 20 -n 1000000 -a 127.0.0.1:6379 -z chinese

Hasil

TairSearch menggunakan lebih banyak memori daripada RediSearch dalam pengujian ini karena alat analisis jieba menghasilkan token yang lebih detail halus dibandingkan alat analisis Chinese yang digunakan oleh RediSearch.

Menimpa data dalam bahasa Inggris

Perintah

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t write -e tairsearch -f ./enwiki-latest-abstract.xml -c 20 -n 1000000 -o 1 -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t write -e redisearch -f ./enwiki-latest-abstract.xml -c 20 -n 1000000 -o 1 -a 127.0.0.1:6379

Hasil

Saat melakukan operasi penimpaan, RediSearch menandai dokumen asli untuk dihapus nanti. Hal ini menyebabkan penggunaan memori tambahan. Sebaliknya, TairSearch menghapus dokumen asli secara real time.

Menimpa data dalam bahasa Tiongkok

Perintah

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t write -e tairsearch -f ./zhwiki-latest-abstract.xml -c 20 -n 1000000 -o 1 -a 127.0.0.1:6379 -z jieba

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t write -e redisearch -f ./zhwiki-latest-abstract.xml -c 20 -n 1000000 -o 1 -a 127.0.0.1:6379

Hasil

Saat melakukan operasi penimpaan, RediSearch menandai dokumen asli untuk dihapus nanti. Hal ini menyebabkan penggunaan memori tambahan. Sebaliknya, TairSearch menghapus dokumen asli secara real time.

Kueri tepat — Bahasa Inggris

Perintah

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"term":{"abstract":"hello"}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:hello" -a 127.0.0.1:6379

Hasil

Kueri tepat — Bahasa Tiongkok

Perintah

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"term":{"abstract":"你好"}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:你好" -a 127.0.0.1:6379

Hasil

Kueri match — Bahasa Inggris

Perintah

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"match":{"abstract":{"operator":"and","query":"chinese history"}}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:chinese history" -a 127.0.0.1:6379

Hasil

Kueri match — Bahasa Tiongkok

Perintah

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 100000 -q '{"query":{"match":{"abstract":{"operator":"and","query":"中国的历史"}}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 100000 -q "@abstract:中国的历史" -a 127.0.0.1:6379  -analyzer jieba

Hasil

Kueri bool — Bahasa Inggris

Perintah

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 100000 -q '{"query":{"bool":{"must":[{"term":{"abstract":"war"}},{"term":{"abstract":"japanese"}},{"range":{"abstract_len":{"gt":500}}}],"must_not":{"term":{"abstract":"America"}},"should":[{"term":{"abstract":"chinese"}},{"term":{"abstract":"china"}}]}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 100000 -q "@abstract:(war japanese -America (chinese|china)) @abstract_len:[500 +inf]"  -a 127.0.0.1:6379

Hasil

Kueri bool — Bahasa Tiongkok

Perintah

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 100000 -q '{"query":{"bool":{"must":[{"term":{"abstract":"战争"}},{"term":{"abstract":"日本"}},{"range":{"abstract_len":{"gt":500}}}],"must_not":{"term":{"abstract":"美国"}},"should":[{"term":{"abstract":"中国"}},{"term":{"abstract":"亚洲"}}]}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:(日本 -美国 (中国|亚洲)) @abstract_len:[500 +inf]"  -a 127.0.0.1:6379 -analyzer jieba

Hasil

Kueri range — Bahasa Inggris

Perintah

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"range":{"abstract_len":{"lte":420, "gte":400}}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract_len:[400,420]" -a 127.0.0.1:6379

Hasil

Kueri prefix — Bahasa Inggris

Perintah

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"prefix":{"abstract":"happiness"}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:happiness*" -a 127.0.0.1:6379

Hasil

Kueri prefix — Bahasa Tiongkok

Perintah

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"prefix":{"abstract":"开心"}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:开心*" -a 127.0.0.1:6379 -z chinese

Hasil

Campuran: write + kueri tepat

Perintah

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t readwrite -e tairsearch -f ./enwiki-latest-abstract.xml -c 20 -d 60 -q '{"query":{"term":{"abstract":"hello"}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t readwrite -e redisearch -f ./enwiki-latest-abstract.xml -c 20 -d 60 -q "@abstract:hello" -a 127.0.0.1:6379

Hasil

Campuran: write + kueri bool

Perintah

• TairSearch

    taskset -c 10-30 ./TairSearchBench.linux -t readwrite -e tairsearch -f ./enwiki-latest-abstract.xml -c 20 -d 60 -q '{"query":{"bool":{"must":[{"term":{"abstract":"war"}},{"term":{"abstract":"japanese"}},{"range":{"abstract_len":{"gt":500}}}],"must_not":{"term":{"abstract":"America"}},"should":[{"term":{"abstract":"chinese"}},{"term":{"abstract":"china"}}]}}}' -a 127.0.0.1:6379

• RediSearch

    taskset -c 10-30 ./TairSearchBench.linux -t readwrite -e redisearch -f ./enwiki-latest-abstract.xml -c 20 -d 60 -q "@abstract:(war japanese -America (chinese|china)) @abstract_len:[500 +inf]" -a 127.0.0.1:6379

Hasil