Elasticsearch:CCR を使用したクラスター間のデータレプリケーション

ソリューションの比較

低い RPO と低レイテンシが求められるリモートディザスタリカバリのシナリオでは、CCR が最良の選択です。

• CCR は数秒でデータを同期するため、データ損失を最小限に抑えます。

• リーダー クラスターに障害が発生した場合、スナップショットの復元を待たずに、トラフィックをフォロワー クラスターにリダイレクトしてサービスを復旧できます。

• 初期のデプロイコストは高くなりますが、CCR はデータ損失によるビジネス上の損失を防ぐことで、長期的にはより費用対効果が高くなります。

アーキテクチャ

CCR はアクティブ/パッシブアーキテクチャを使用します。リーダー クラスターがすべての書き込み操作を受け取り、フォロワー クラスターは読み取り専用で、リーダー クラスターからデータをレプリケーションします。

• リーダー クラスター：すべての書き込み操作を処理するソースクラスター。

• フォロワー クラスター：読み取り専用で、CCR を使用してリーダー クラスターからデータを同期する送信先クラスター。

データレプリケーションのプロセス

CCR のデータレプリケーションプロセスは、2 つのフェーズで構成されます。

初期化

フォロワー クラスターは、リーダー クラスターに初期化リクエストを送信します。その後、リーダー クラスターは、スナップショットリストアの仕組みと同様に、リーダーインデックスからフォロワーインデックスにすべての Lucene セグメントファイルを転送します。

増分同期

フォロワーインデックスの各シャードは、定期的にリーダー クラスターにプルリクエストを送信し、最後の同期ポイント以降の最新の操作をフェッチします。デフォルトでは、これは 1 秒ごとに発生します。プロセスは次のとおりです。

1. プル開始点の特定：フォロワー クラスターは、ローカルで正常に適用された最新の操作を示すローカルの remote_checkpoint を維持します。このチェックポイントは、リーダー クラスターのトランザクションログ (translog) の global_checkpoint に対応します。

2. リーダーの translog から操作を読み取る：リーダー クラスターは、フォロワー クラスターから提供された from_seq_no を使用して、自身の translog 内の開始位置を見つけます。その後、後続のすべての操作 (インデックス、更新、削除) を読み取り、リストとして返します。

3. フォロワー クラスターで操作をリプレイする：フォロワー クラスターは、これらの操作をローカルで順番にリプレイし、自身の remote_checkpoint を更新します。バージョンの競合などが原因でリプレイが失敗した場合、同期は一時停止され、エラーがログに記録されます。

4. 継続的なポーリング：フォロワー クラスターは、固定の間隔で新しい操作を継続的にポーリングし、通常はサブ秒レベルのレイテンシを実現します。

translog の役割

トランザクションログ (translog) は、CCR における増分同期のデータソースです。Elasticsearch では、次の目的を果たします。

• データ損失の防止：デフォルトでは、Elasticsearch は 1 秒ごとにリフレッシュを実行し、インメモリバッファから検索可能な新しい Lucene セグメントを作成します。ただし、このセグメントはまだディスクにフラッシュされていません。translog はすべての書き込み操作を記録します。ノードがクラッシュした場合、ログをリプレイすることでデータを回復できます。

• レプリカの一貫性の確保：Elasticsearch は、まず操作を translog に書き込み、次にそれをレプリカシャードに転送します。プライマリシャードとレプリカシャードの両方が書き込みを確認した後にのみ、成功の応答を返します。

• CCR での増分同期のサポート：CCR は、Elasticsearch の内部 API を使用して translog を読み取り、指定されたシーケンス番号以降のすべての変更をフェッチします。これにより、ほぼリアルタイムのデータレプリケーションが可能になります。

translog はシャードごとに個別に保存されます。各シャードには、indices/{index_uuid}/{shard_id}/translog/ に独自の translog ディレクトリがあります。Translog ファイル (.tlog) はバイナリ形式で保存され、世代管理の仕組みを使用して管理されます。Elasticsearch は、フラッシュが発生するたび、またはファイルがサイズ制限 (デフォルトでは 512 MB) に達するたびに、新しい世代ファイルを作成します。