Elasticsearch:aliyun-codec プラグインの使用

注意事項

• 使用する前にプラグインをインストールしてください。詳細については、「組み込みプラグインのインストールまたはアンインストール」をご参照ください。

• aliyun-codec プラグインは、Elasticsearch 7.10.0 インスタンスでのみサポートされています。

• インデックス圧縮機能にはカーネルバージョン 1.5.0 以降が、source_reuse_doc_values 機能にはカーネルバージョン 1.6.0 以降が必要です。現在のカーネルバージョンがこれらの要件を満たしていない場合は、まず カーネルをアップグレード する必要があります。

パフォーマンスの参考

以下のパフォーマンスデータは、特定のテスト環境で記録されたものであり、参考用です。

テスト環境：サイズ 1.2 TB、22 シャードの単一インデックス。行指向、列指向、転置の圧縮を有効にしており、すべて zstd 圧縮アルゴリズムを使用しています。データセットは、Alibaba Cloud Elasticsearch の本番ログです。

インデックス圧縮：インデックス圧縮がないクラスターと比較して：

• 書き込みスループット：変更なし。

• インデックス全体のサイズ：40% 削減。

• I/O 集中型のクエリシナリオでのレイテンシー：50% 削減。

source_reuse_doc_values ：この機能を有効にしていないクラスターと比較して：

• 書き込みスループット：変更なし。

• インデックス全体のサイズ：最大 40% 削減。削減率は、インデックス内で source_reuse_doc_values 機能が有効なフィールドの割合によって異なります。

• I/O 集中型のクエリシナリオでのレイテンシー：機能が有効なフィールドの割合やノードのディスクタイプなどの要因によって異なります。

インデックス圧縮機能の使用

index.codec 設定は静的です。この設定を変更する前にインデックスを閉じ、変更後に再度開く必要があります。

たとえば、test という名前のインデックスの圧縮を有効にするには、次のコマンドを実行します。

POST test/_close

PUT test/_settings
{
  "index.codec" : "ali"
}

POST test/_open

この設定により、Elasticsearch はデフォルトで zstd アルゴリズムを使用して、インデックスの行指向 (source)、列指向 (doc values)、および転置 (ポスティング) ファイルを圧縮します。

特定のファイルタイプに圧縮アルゴリズムを指定することもできます。次の例では、転置ファイルの圧縮を無効にし、行指向ファイルと列指向ファイルには zstd アルゴリズムを使用します。ファイルタイプの圧縮を無効にするには、対応するパラメーターを "" に設定します。

POST test/_close

PUT test/_settings
{
  "index.codec":"ali",
  "index.doc_value.compression.default":"zstd",
  "index.postings.compression":"",
  "index.source.compression":"zstd"
}

POST test/_open

次の表に、インデックス設定パラメーターを示します。

source_reuse_doc_values 機能の使用

Elasticsearch は、_source、転置インデックス、および doc_values にデータの複数のコピーを格納します。source_reuse_doc_values 機能は、doc_values に既に存在するデータを _source から削除することで、インデックスサイズを削減します。

PUT test
{
  "settings": {
    "index": {
      "ali_codec_service": {
        "source_reuse_doc_values": {
          "enabled": true
        }
      }
    }
  }
}

PUT _cluster/settings
{
  "persistent": {
       "apack.ali_codec_service.source_reuse_doc_values.max_fields": 100
  }
}

PUT _cluster/settings
{
  "persistent": {
       "apack.ali_codec_service.source_reuse_doc_values.strict_max_fields": true
  }
}

PUT test/_settings
{
  "index": {
    "ali_codec_service": {
      "source_reuse_doc_values": {
        "fetch_slice": 2
      }
    }
  }
}

apack.doc_values_fetch:
size: 8
queue_size: 1000