ビジネスの読み取りおよび書き込み要件に基づいて、インデックスサービスが有効になっている Alibaba Cloud Elasticsearch Kernel-enhanced Edition クラスタを使用できます。インデックスサービスのクラウドベースの書き込みホスティング機能を使用して、時系列ロギングシナリオに適した低コストで高パフォーマンスの Elasticsearch サービスを体験できます。このサービスは、従量課金方式とオンデマンド購入をサポートしています。このトピックでは、インデックスサービスのシナリオ、アーキテクチャ、利点、およびパフォーマンステスト結果について説明します。
読み書き分離アーキテクチャに基づいて、インデックスサービスが有効になっている Elasticsearch Kernel-enhanced Edition クラスタは、書き込み操作をインデックスサービスにオフロードするだけでなく、ハードウェアの選択、クラスタアーキテクチャ、カーネルパフォーマンスの面で包括的な最適化も提供します。インデックスサービスを使用すると、読み取りと書き込みの観点からビジネス要件を評価し、クラスタの書き込みパフォーマンスを向上させながら、実際の書き込み操作に対して料金を支払うことができます。書き込まれたデータの実際の量に基づいて課金されるため、クラスタのピーク書き込みスループットに基づいてリソースを予約する必要がなくなります。これにより、クラウドで Elasticsearch を使用する場合のリソースコストと O&M コストが大幅に削減されます。
インデックスサービスは、中国 (香港) リージョンでご利用いただけます。他のリージョンでの提供については、お待ちください。
シナリオ
インデックスサービスは、ログ検索と分析、メトリック監視と分析、インテリジェントな IoT ハードウェアデータ収集、監視、分析など、高い書き込みトランザクション/秒 (TPS)、書き込みトラフィックの大幅な変動、および低いクエリ/秒 (QPS) を持つ時系列データ分析シナリオに適しています。
インデックスサービスが有効になっている Kernel-enhanced Edition クラスタとユーザクラスタ間のデータ同期は、apack/cube/metadata/sync タスクに依存します。Indexing Service が有効になっている Kernel-enhanced Edition クラスターと、apack/cube/metadata/sync タスクに依存するユーザー クラスタ。 GET _cat/tasks?v
コマンドを実行して、タスク情報を取得できます。タスクを手動でクリアしないことをお勧めします。タスクがクリアされた場合は、できるだけ早く POST /_cube/meta/sync
コマンドを実行してタスクを復元してください。復元しないと、データの書き込みに影響します。 コマンドを実行して、タスク情報を取得できます。タスクを手動でクリアしないことをお勧めします。タスクがクリアされた場合は、できるだけ早く コマンドを実行してタスクを復元してください。そうしないと、データの書き込みに影響します。
アーキテクチャ
このアーキテクチャには、次の利点があります。
高パフォーマンス: インデックスサービスは、インデックス構築のためのプロフェッショナルグレードの書き込み最適化を提供します。インデックスの物理レプリケーション、コンピューティングとストレージの分離、高速バルクなどの Alibaba Cloud によって開発された機能を活用することで、インデックスサービスは書き込みパフォーマンスを大幅に向上させます。構成を変更することなく、プロフェッショナルグレードの書き込みパフォーマンスを体験できます。
低レイテンシ: インデックスサービスは、セグメントレベルでのリアルタイムのクラスタ間物理レプリケーションをサポートしており、書き込みトラフィックが飽和状態でも、ユーザクラスタと書き込みホスティングクラスタ間のデータレイテンシを数百ミリ秒の範囲に維持します。
高安定性: ジオディザスタリカバリの場合、インデックスサービスは異なるリージョンにまたがるマルチクラスタバックアップをサポートしています。クラスタで例外が発生した場合、クラスタのインデックスを別の機能しているクラスタに転送してホスティングできます。これにより、書き込み可用性がさらに向上します。
課金
インデックスサービスは、書き込みホスティングの料金を請求します。これには、書き込みトラフィックとホスティング用のストレージスペースの料金が含まれます。
Elasticsearch クラスタの書き込みホスティング料金は、クラスタの課金方法がサブスクリプションか従量課金かに関係なく、書き込まれたデータ量とホスティングに使用されるストレージスペースの量に基づいて課金されます。詳細については、「Elasticsearch の課金」をご参照ください。
インデックスサービスを使用すると、書き込みホスティング料金が発生します。インデックスサービスは、クラスタの書き込み操作の処理に使用されるリソースに関連するコストを削減します。
利点
低コスト: 書き込み操作の計算リソースのコストが平均 60% 削減されます。
柔軟なスケーリング: 書き込みリソースは、書き込みトラフィックの変動に対応するために、バックグラウンドでインデックスサービスによってプロビジョニングおよび管理されます。これにより、データ移行を必要とせずに Elasticsearch クラスタの書き込み機能を柔軟にスケーリングできるため、ロギングシナリオのピーク負荷に簡単に対応できます。
O&M 不要: Elasticsearch クラスタの書き込みリソースまたは書き込み負荷を管理する必要はありません。インデックスサービスはクラウド内のすべての書き込み操作を処理するため、クラスタの O&M コストが大幅に削減されます。
制限
クラウドベースのホスティング機能は、作成した Elasticsearch クラスタにサーバーレス書き込みサービスを提供します。ただし、この機能を使用する場合、データの書き込みとインデックス構成に特定の制限が課せられます。次の表に、制限事項を示します。
カテゴリ | 項目 | 制限 | 備考 |
クラスタ | 書き込みトラフィック | 最大書き込みスループットは 200 MB/秒に制限されています。 | 制限を超えた場合、HTTP ステータスコード 429 が返され、「Inflow Quota Exceed」というエラーメッセージが表示されます。 200 MB/秒を超える書き込みスループットが必要な場合は、チケットを送信してください。 |
書き込まれたドキュメントの数 | 書き込まれたドキュメントの最大数は 200,000 に制限されています。 | 制限を超えた場合、HTTP ステータスコード 429 が返され、「Write QPS Exceed」というエラーメッセージが表示されます。1 秒あたり 200,000 を超えるドキュメントを処理する必要がある場合は、チケットを送信してください。 | |
Put Mapping リクエストの数 | Put Mapping 操作のレート制限は 50 TPS です。 | 制限を超えた場合、HTTP ステータスコード 429 が返され、 説明 Put Mapping リクエストが頻繁に発生すると、大量の計算リソースが消費され、ホスティング サービスの安定性に大きな影響を与えます。 Put Mapping 操作の数を減らすために、データを書き込む前にインデックス テンプレートを事前に定義することをお勧めします。 | |
シャード | 書き込みトラフィック | プライマリキーがない場合の最大書き込みトラフィックは 10 MB/秒です。 プライマリキーがある場合の最大書き込みトラフィックは 5 MB/秒です。 | 制限を超えた場合、HTTP ステータスコード 429 が返され、 |
書き込まれたドキュメントの数 | 1 秒あたりに書き込むことができるドキュメントの最大数は 5,000 です。 | この制限は厳密に課せられるものではありません。制限に達した場合でも、システムはサービスを提供し続けますが、サービス品質は保証されません。 | |
シャードの数 | 単一インデックスに作成できるシャードの最大数 | 単一インデックスに最大 300 個のシャードを作成できます。 | なし。 |
構成 | index.refresh_interval | クラウドベースのホスティングクラスタでは、このパラメータは自動的に構成され、クライアント側のこのパラメータの構成は有効になりません。 | なし。 |
index.translog.durability | デフォルトでは、クラウドベースのホスティングクラスタでは index.translog.durability パラメータは async に設定されており、トランザクションログへの非同期書き込みが有効になっています。クライアント側のこのパラメータの構成は有効になりません。 | なし。 | |
refresh や merge などの書き込みパラメータ | デフォルトでは、refresh や merge などの書き込みパラメータは、クラウドベースのホスティングクラスタ用に構成されています。クライアント側のこれらのパラメータの構成は有効になりません。 | デフォルト構成:
| |
インデックス | ライフサイクル構成 | インデックスライフサイクル内で freeze パラメータを変更することはできません。 | なし。 |
縮小操作 | Indexing Service のコンテキストでは、ホスト型インデックスはインデックスライフサイクル管理(ILM)操作で指定された縮小操作と互換性がありません。インデックスがホストされていない場合にのみ、縮小操作を実行することをお勧めします。詳細については、「縮小」をご参照ください。 | なし。 | |
ホスティングがキャンセルされるまでの期間 | インデックスがホストされてから 3 日後に、インデックスのホスティングは自動的に無効になります。 | ビジネスデータのライフサイクル内で、ホスティングがキャンセルされるまでの期間を変更できます。 | |
Ingest ノード |
|
パフォーマンステスト
テスト環境
テスト結果
仕様
クラスタエディション
書き込み TPS
書き込みの可視性遅延
2 コア、8 GB メモリ (データノード 3 つ)
Standard Edition
24,883
5 秒
インデックスサービスが有効になっている Kernel-enhanced Edition
226,649
6 秒
4 コア、16 GB メモリ (データノード 3 つ)
Standard Edition
52,372
5 秒
インデックスサービスが有効になっている Kernel-enhanced Edition
419,574
6 秒
8 コア、32 GB メモリ (データノード 3 つ)
Standard Edition
110,277
5 秒
インデックスサービスが有効になっている Kernel-enhanced Edition
804,010
6 秒
テストの結論
インデックスサービスが有効になっている Kernel-enhanced Edition と Standard Edition のパフォーマンス比較結果:
2 コア 8 GB メモリの 3 つのノードの場合、パフォーマンスは 910% 向上します。
4 コア 16 GB メモリの 3 つのノードの場合、パフォーマンスは 801% 向上します。
8 コア 32 GB メモリの 3 つのノードの場合、パフォーマンスは 729% 向上します。