このトピックでは、Elasticsearch/OpenSearch から Simple Log Service へのデータインポートに関する制限事項について説明します。
収集の制限事項
制限事項 | 説明 |
単一データレコードのサイズ | 単一データレコードの最大サイズは 3 MB です。レコードがこの制限を超える場合、そのレコードは破棄されます。 [Data Processing Traffic] ダッシュボードの「書き込み失敗数」は、破棄されたレコードの数です。詳細については、「データインポート設定の表示」をご参照ください。 |
データレイテンシー | 増分自動インポートモードを使用する場合、Elasticsearch/OpenSearch に書き込まれた最新のデータは直ちに Simple Log Service にインポートされません。インポートは、[Maximum Latency (Seconds)] 設定項目の影響を受けます。 たとえば、[Maximum Latency (Seconds)] を 300 に設定した場合、Elasticsearch/OpenSearch の最新データは 300 秒後に Simple Log Service にインポートされます。 |
設定の制限事項
制限 | 説明 |
データインポート設定数 | 1 つのプロジェクトで作成できる、すべてのタイプのデータインポート設定の合計は 100 です。より高いクォータが必要な場合は、チケット を送信してください。 |
帯域幅の制限 | データインポートタスクが VPC ネットワーク経由で Alibaba Cloud Elasticsearch/OpenSearch クラスターからデータを読み取る場合、デフォルトの最大ネットワーク帯域幅は 128 MB/s です。より多くの帯域幅が必要な場合は、チケット を送信してください。 |
パフォーマンスの制限事項
制限事項 | 説明 |
同時タスク数 | データインポートタスクは、Scroll モードを使用して Elasticsearch/OpenSearch からデータを取得します。Elasticsearch/OpenSearch サーバーがサポートする Scroll リクエスト数には上限があります。デフォルトの上限は 500 です。Elasticsearch/OpenSearch クラスターで |
Elasticsearch/OpenSearch サーバーの能力 | Elasticsearch/OpenSearch クラスターが大規模で、マシンスペックが高いほど、全体的なスループットは向上します。 |
クエリの複雑さ | データインポートタスクに複雑な Elasticsearch/OpenSearch クエリが含まれる場合、サーバーがリクエストを実行するのに時間がかかることがあります。これにより、全体のデータ読み取り速度に影響する可能性があります。 |
Logstore のシャード数 | Simple Log Service の書き込みパフォーマンスは、宛先 Logstore のシャード数に依存します。1 つのシャードは 5 MB/s の書き込みスループットをサポートします。データ量が多い場合は、宛先 Logstore のシャード数を増やしてください。詳細については、「シャードの管理」をご参照ください。 |
ネットワーク | VPC 環境の Alibaba Cloud Elasticsearch/OpenSearch クラスター、または ECS インスタンス上のセルフマネージド Elasticsearch/OpenSearch クラスターを使用する場合、VPC ネットワーク経由でデータを読み取れます。これにより、インターネットトラフィックを節約でき、100 MB/s を超える高速な伝送速度が得られます。 インターネット経でデータをインポートする場合、ネットワークパフォーマンスと帯域幅は保証されません。これにより、インポートレイテンシーが発生しやすくなります。 |
Elasticsearch/OpenSearch サーバーへの影響
制限 | 説明 |
過剰な検索セッション | データインポートタスクは、Scroll モードを使用して Elasticsearch/OpenSearch からデータを読み取ります。このタスクは、インポートするインデックスの各シャードに対して Scroll リクエストを作成します。Elasticsearch/OpenSearch サーバーは各 Scroll リクエストのセッション情報を保持するため、サーバーのメモリリソースを消費します。 |
高負荷 | 多数のインデックスまたは大規模なデータセットをインポートすると、Elasticsearch/OpenSearch サーバー全体の負荷が高くなる可能性があります。場合によっては、Elasticsearch/OpenSearch サービス全体の可用性に影響することもあります。 Elasticsearch/OpenSearch クラスターの負荷が高い場合は、チケット を送信し、インポートタスクの最大トラフィックの調整を依頼できます。 |