データ変換の制限とクォータ - Simple Log Service - Alibaba Cloud ドキュメントセンター

Simple Log Service (SLS) のデータ変換に関する制限とクォータです。

ジョブ設定

制限事項	説明
ジョブ数	1 つのプロジェクト内で最大 100 個のデータ変換ジョブを作成できます。重要ジョブは停止中または完了後であってもクォータを消費します。クォータ使用量を削減するには、不要になった停止済みまたは完了済みのジョブを削除してください。詳細については、「データ変換ジョブの管理」をご参照ください。より高いクォータが必要な場合は、チケットを送信してください。
ソースデータ LogStore のコンシューマーグループ依存関係	各データ変換ジョブは、そのソース LogStore から 1 つのコンシューマーグループを使用します。ジョブ実行中は、そのジョブが依存しているコンシューマーグループを削除したり、チェックポイントをリセットしたりしないでください。そうしないと、ジョブが設定された開始時刻からデータ消費を再開し、重複出力が発生する可能性があります。重要処理効率を向上させるため、ジョブは定期的にシャードの消費進捗を依存先のコンシューマーグループインスタンスに更新します。そのため、このコンシューマーグループに対する GetCheckPoint API の結果は最新の処理進捗を反映しません。正確な進捗を確認するには、データ変換ダッシュボードのシャード消費レイテンシーモジュールをご確認ください。詳細については、「データ変換の仕組み」、「用語集」、および「コンシューマーグループ API」をご参照ください。
ソース LogStore のコンシューマーグループ数	1 つの LogStore に最大 30 個のコンシューマーグループを作成できます。したがって、1 つのソース LogStore は最大 30 個のデータ変換ジョブをサポートします。詳細については、「基本的なリソース制限」をご参照ください。この制限を超えると、ジョブは起動後に実行に失敗します。運用ログに具体的なエラーメッセージが表示されます。詳細については、「エラーログの確認方法」をご参照ください。重要 Simple Log Service は、停止済みまたは完了済みのジョブが使用していたコンシューマーグループを自動的に削除しません。未使用のコンシューマーグループ数を削減するには、不要になった停止済みまたは完了済みのジョブを削除してください。詳細については、「データ変換ジョブの管理」をご参照ください。
実行中のジョブの時間範囲の変更	実行中のジョブの時間範囲を変更すると、ジョブは新しい開始時刻から処理を開始し、新しい時間範囲内のすべてのデータを処理します。時間範囲を延長する場合：既存のジョブを維持し、延長期間をカバーする新しいジョブを作成します。時間範囲を短縮する場合：すでに送信先に書き込まれたデータは削除されません。重複データを防ぐ必要がある場合は、ジョブを変更する前に既存の送信先データを消去してください。
出力先の数	1 つのデータ変換ジョブで最大 20 個の静的出力先を設定できます。変換コード内で単一の静的出力先構成を使用し、プロジェクトおよび LogStore を動的に指定する場合、最大 200 個の出力先に書き込むことができます。この制限を超えると、追加の出力先に書き込まれたデータは破棄されます。

データ変換

制限事項	説明
クイックプレビュー	クイックプレビュー機能は、変換コードのデバッグに役立ちます。以下の制限があります。 RDS、OSS、SLS などの外部リソースへの接続はサポートされていません。ディメンションテーブルデータのテストにはカスタム入力を使用してください。 1 回のリクエストで処理できる生データおよびディメンションテーブルデータはそれぞれ最大 1 MB です。これらの制限を超えるリクエストはエラーを返します。 1 回のリクエストで返される処理結果は最大で最初の 100 件です。高度なプレビュー機能にはこのような制限はありません。
ランタイム同時実行数	データ変換ジョブは、そのソース LogStore の読み取り/書き込みシャード数を最大ランタイム同時実行数として使用します。詳細については、「データ変換の仕組み」をご参照ください。 LogStore シャードの制限については、「基本的なリソース制限」をご参照ください。シャード分割の方法については、「シャードの管理」をご参照ください。重要データ変換ジョブのランタイム同時実行数が不十分であっても、ソース LogStore の自動シャーディング機能はトリガーされません。ジョブのランタイム同時実行数を増やすには、ソース LogStore のシャードを手動で分割する必要があります。自動シャーディングの実行方法については、「シャードの管理」をご参照ください。ソース LogStore のシャードを分割しても、分割後に書き込まれたデータに対してのみ最大ランタイム同時実行数が増加します。分割前に書き込まれたデータについては、書き込み時のソース LogStore の読み取り/書き込みシャード数によって最大ランタイム同時実行数が決まります。
同時実行ユニットあたりのデータ負荷	同時実行ユニットあたりのデータ負荷は、ジョブが実行されるソース LogStore シャード内のストレージデータサイズに依存します。ソース LogStore のシャード間でデータが均等に分散されていない場合、一部の同時実行ユニットがホットスポットとなり、それらのシャードで処理遅延が発生します。ソースデータで KeyHash ルーティングを使用する場合は、キーをシャード間で均等に分散させて不均衡を軽減してください。
メモリ使用量	各同時実行ユニットのメモリ上限は 6 GB です。この上限を超えると、ジョブのパフォーマンスが低下し、処理遅延が発生します。この上限は通常、1 バッチでプルされる LogGroup 数が多すぎることで超過します。高度なパラメーター `system.process.batch_size` を調整してメモリ使用量を制御してください。重要高度なパラメーター `system.process.batch_size` のデフォルト値（および最大値）は 1000 です。1 以上 1000 以下の任意の正の整数に設定できます。
CPU 使用量	各同時実行ユニットの CPU 上限は 100% です。より高い CPU 要件を満たすには、同時実行数の上限を増やしてください。
ディメンションテーブルのデータ量	ディメンションテーブルは最大 200 万エントリ、および最大 2 GB のメモリ使用量をサポートします。これらの制限を超えるデータは、制限内に収まるように切り捨てられます。影響を受ける関数には、res_rds_mysql、res_log_LogStore_pull、および res_oss_file が含まれます。重要 1 つのジョブで複数のディメンションテーブルを使用する場合、それらはこの制限を共有します。ディメンションテーブルのデータは可能な限り小さく保ってください。

結果データの書き込み

制限事項

説明

送信先 LogStore への書き込み

警告

送信先ストアを現在のソースストア（同一ソース構成）に設定しないでください。そうしないと、ログがループして書き込まれ、追加のストレージおよびトラフィックコストが発生します。リソース消費およびそれに伴うコストについては、お客様ご自身で責任を負うものとします。

処理結果を送信先 LogStore に書き込む際は、LogStore の書き込み制限に従ってください。詳細については、「基本的なリソース制限」および「データの読み取りと書き込み」をご参照ください。

e_outputLogStoreut 関数を使用し、hash_key_field または hash_key パラメーターを KeyHash ルーティング とともに指定する場合は、キーをシャード間で均等に分散させて不均衡を軽減してください。

この制限はタスクログで識別できます。「エラーログの確認方法」をご参照ください。

重要

データ変換ジョブが送信先 LogStore の書き込み制限に達すると、データ整合性を確保するために無期限に再試行を行います。ただし、これによりジョブの進捗に影響が及び、現在のソースシャードで処理遅延が発生します。

クロスリージョン伝送

クロスリージョンデータ伝送にパブリックネットワークエンドポイントを使用する場合、予測不可能なネットワーク品質により、送信先 LogStore への結果書き込み時にネットワークエラーが発生することがあります。これにより、データ変換ジョブで処理遅延が発生します。Simple Log Service のエンドポイントについては、「サービスエンドポイント」をご参照ください。

ネットワーク安定性を向上させるには、送信先プロジェクトで転送アクセラレーションを有効化し、データ変換ジョブにその転送アクセラレーションエンドポイントを設定することを推奨します。詳細については、「転送アクセラレーションの管理」をご参照ください。