Elasticsearch:aliyun-codec プラグインの使用

注意事項

• 使用する前にプラグインをインストールする必要があります。詳細については、「組み込みプラグインのインストールまたはアンインストール」をご参照ください。

• `aliyun-codec` プラグインは、Elasticsearch 7.10.0 のインスタンスでのみサポートされています。

• インデックス圧縮機能にはカーネルバージョン 1.5.0 以降が、source_reuse_doc_values 機能にはカーネルバージョン 1.6.0 以降が必要です。現在のカーネルバージョンがこれらの要件を満たしていない場合は、まずカーネルをアップグレードする必要があります。

パフォーマンスリファレンス

以下の `aliyun-codec` プラグインのパフォーマンスデータは、特定のテスト環境で記録されたものであり、参考用です。

テスト環境：サイズが 1.2 TB、シャード数が 22 の単一インデックス。行指向、列指向、転置圧縮が有効になっており、すべて zstd 圧縮アルゴリズムを使用しています。データセットは Alibaba Cloud Elasticsearch の本番ログで構成されています。

インデックス圧縮：インデックス圧縮を使用しないクラスターとの比較：

• 書き込みスループット：変更なし。

• 全体的なインデックスサイズ：40% 削減。

• I/O 負荷の高いクエリシナリオでのレイテンシー：50% 削減。

source_reuse_doc_values：この機能を有効にしていないクラスターとの比較：

• 書き込みスループット：変更なし。

• 全体的なインデックスサイズ：最大 40% 削減。削減率は、インデックス内で `source_reuse_doc_values` 機能が有効になっているフィールドの割合によって異なります。

• I/O 負荷の高いクエリシナリオでのレイテンシー：機能が有効になっているフィールドの割合やノードのディスクタイプなどの要因によって異なります。

インデックス圧縮機能の使用

`index.codec` 設定は静的です。この設定を変更する前にインデックスを閉じ、変更後に再度開く必要があります。

test という名前のインデックスを作成したと仮定します。次のコマンドを実行して、インデックスの圧縮を有効にします：

POST test/_close

PUT test/_settings
{
  "index.codec" : "ali"
}

POST test/_open

この構成を適用すると、Elasticsearch はデフォルトで zstd アルゴリズムを使用して、このインデックスの行指向 (ソース)、列指向 (doc values)、および転置 (ポスティング) ファイルを圧縮します。

特定のファイルタイプに圧縮アルゴリズムを指定することもできます。次の例では、転置ファイルの圧縮を無効にし、行指向ファイルと列指向ファイルに zstd アルゴリズムを使用します。ファイルタイプの圧縮を無効にするには、対応するパラメーターを "" に設定します。

POST test/_close

PUT test/_settings
{
  "index.codec":"ali",
  "index.doc_value.compression.default":"zstd",
  "index.postings.compression":"",
  "index.source.compression":"zstd"
}

POST test/_open

次の表に、インデックス構成パラメーターを示します。

source_reuse_doc_values 機能の使用

Elasticsearch のストレージレイヤーは、_source、転置インデックス、および doc_values にデータの複数のコピーを保存します。`source_reuse_doc_values` 機能は、doc_values にすでに存在するデータを _source から削除することで、全体的なインデックスサイズを削減します。

PUT test
{
  "settings": {
    "index": {
      "ali_codec_service": {
        "source_reuse_doc_values": {
          "enabled": true
        }
      }
    }
  }
}

PUT _cluster/settings
{
  "persistent": {
       "apack.ali_codec_service.source_reuse_doc_values.max_fields": 100
  }
}

PUT _cluster/settings
{
  "persistent": {
       "apack.ali_codec_service.source_reuse_doc_values.strict_max_fields": true
  }
}

PUT test/_settings
{
  "index": {
    "ali_codec_service": {
      "source_reuse_doc_values": {
        "fetch_slice": 2
      }
    }
  }
}

apack.doc_values_fetch:
size: 8
queue_size: 1000