データ変換

このトピックでは、Log Serviceのデータ変換の制限について説明します。

ジョブ設定

項目	説明
ジョブの数	1つのプロジェクトで最大100個のデータ変換ジョブを作成できます。重要データ変換ジョブが停止または完了しても、ジョブは引き続きジョブクォータを消費します。停止または完了したデータ変換ジョブによってクォータが消費されないようにするには、ジョブを削除することを推奨します。あなたがもはや仕事を必要としないことを確認してください。詳細については、「データ変換ジョブの管理」をご参照ください。クォータを増やすには、チケットを起票してください。
ソースLogstore内のコンシューマグループの依存関係	データ変換ジョブの実行は、ソースLogstoreのコンシューマグループによって異なります。データ変換ジョブが実行されている場合は、ジョブが依存するコンシューマーグループの削除や消費チェックポイントのリセットを行わないでください。削除またはリセット操作を実行すると、指定した開始時刻からジョブが再度データを消費し、結果に重複データが存在します。重要シャード内のジョブのデータ消費の進行状況は、ジョブが依存するコンシューマーグループに定期的に更新されます。これにより、データ変換の効率が最適化されます。ただし、コンシューマグループに対するGetCheckPoint操作の結果は、最新のデータ変換の進行状況を示すものではありません。ジョブの正確なデータ変換の進行状況を取得するには、ジョブ用に作成されたダッシュボードのシャード消費遅延グラフに移動します。ダッシュボードの詳細については、「データ変換ダッシュボード」をご参照ください。詳細については、「データ変換の基本」、「用語」、および「エンドポイント」をご参照ください。
ソースLogstore内のコンシューマーグループの数	1つのLogstoreに最大30のコンシューマグループを作成できます。したがって、ソースLogstoreで最大30個のデータ変換ジョブを作成できます。詳細については、「基本リソース」をご参照ください。 30を超えるコンシューマーグループを作成した場合、ジョブの開始後、データ変換ジョブを期待どおりに実行できません。ジョブの実行ログにはエラー情報が記録されます。詳細については、「エラーログの表示」をご参照ください。重要データ変換ジョブが停止または完了した場合、Simple Log Serviceはジョブが依存するコンシューマーグループを自動的に削除しません。無効なコンシューマーグループを減らすために、停止または完了し、不要になったデータ変換ジョブを削除することを推奨します。詳細については、「データ変換ジョブの管理」をご参照ください。
仕事の時間範囲の変化	実行中のジョブの時間範囲を変更すると、ジョブは指定した開始時間から消費を開始し、新しい時間範囲で生成されたすべてのデータを変換します。より長い時間範囲内で生成されたデータをジョブで使用する場合は、既存のジョブの時間範囲を延長するのではなく、別のジョブを作成して時間範囲を拡張することをお勧めします。短い時間範囲で生成されたデータをジョブで消費したい場合は, データの重複を防ぐために, 保存先に書き込んだデータを削除してから, 既存のジョブの時間範囲を短くすることをお勧めします。格納先に書き込まれたデータは自動的に削除されません。
保存先の数	データ変換ジョブには、最大20の独立した静的ストレージ宛先を設定できます。データ変換コードでは、最大200個のプロジェクトと200のLogstoreを動的に指定できます。上記の制限値のいずれかを超えた場合は, 許可された格納先以外の別の格納先に書き込まれたデータは破棄されます。

項目	説明
クイックプレビュー	データ変換のクイックプレビュー機能は、データ変換コードのデバッグに使用されます。この機能には次の制限があります。 ApsaraDB RDS、Object Storage Service (OSS) 、Simple Log Serviceなどの外部リソースへの接続はサポートされていません。ディメンションテーブルのカスタムテストデータを指定できます。 1つのリクエストで、ソーステーブルまたはディメンションテーブルから最大1 MBのテストデータを取得できます。データのサイズが1 MBを超えると、エラーが返されます。 1回のリクエストで、最初の100までのログを返すことができます。詳細プレビュー機能にはこれらの制限はありません。
ランタイムの同時実行性	ソースLogstore内の読み書きシャードの数は、同時に実行できるデータ変換ジョブの最大数を指定します。詳細については、「データ変換の基本」をご参照ください。 Logstoreのシャードの制限の詳細については、「基本リソース」をご参照ください。 Logstoreのシャードを分割する方法の詳細については、「シャードの管理」をご参照ください。重要同時に実行できるデータ変換ジョブの数が要件を満たしていない場合、ソースLogstoreに対して自動シャーディングはトリガーされません。同時に実行できるデータ変換ジョブの数を増やすには、ソースLogstoreのシャードを手動で分割する必要があります。自動シャーディングの詳細については、「シャードの管理」をご参照ください。シャードが分割された後に書き込まれるデータの場合、同時に実行できるデータ変換ジョブの最大数は、分割後にソースLogstoreで使用できる読み書きシャードの数に等しくなります。シャードが分割される前に書き込まれるデータの場合、同時に実行できるデータ変換ジョブの最大数は、データの書き込み時にソースLogstoreで使用できる読み書きシャードの数に等しくなります。
同時ユニットのデータロード	データ変換ジョブの同時ユニットのデータロードは、ソースLogstoreのシャードからジョブによって消費されるデータの量によって異なります。ソースLogstoreのデータがシャード間で不均等に分散されている場合、データ変換ジョブの同時ユニットのデータ負荷が重くなる可能性があります。このタイプの同時ユニットは、ホット同時ユニットと見なされます。この場合、特定のシャード内のデータの変換が遅延します。データがKeyHashモードでソースLogstoreに書き込まれる場合、不均一なデータ分散を最小限に抑えるために、ハッシュキーとシャードを適切に割り当てることを推奨します。データ書き込みの詳細については、「エンドポイント」をご参照ください。
メモリ使用量	データ変換ジョブの同時ユニットのメモリ使用量のしきい値は6 GBです。メモリ使用量のしきい値を超えた場合、ジョブのパフォーマンスは制限され、変換レイテンシが存在します。多数のロググループが同時にプルされると、メモリ使用量のしきい値を超えます。 `system.process.batch_size`の詳細パラメーターを変更して、メモリ使用量のしきい値を調整できます。重要 `system.process.batch_size`の詳細パラメーターに許可される最大値は1000です。値を1,000以下の正の整数に変更できます。既定値は 1000 です。
CPU 使用率	データ変換ジョブの同時実行単位のCPU使用率のしきい値を100% します。 CPU使用率の要件が高い場合は、上記の説明に基づいて同時に実行できるデータ変換ジョブの数を増やすことができます。
ディメンションテーブルのデータ量	ディメンションテーブルで許可されるデータエントリの最大数は2百万であり、ディメンションテーブルのデータが占有できる最大メモリは2 GBです。上記の制限のいずれかを超えると、切り捨てが実行されます。この場合、許可されたデータエントリとデータのみを使用できます。関連する関数には、res_rds_mysql、res_log_logstore_pull、res_oss_fileがあります。詳細については、res_rds_mysql、res_log_logstore_pull、およびres_oss_fileをご参照ください。重要単一のデータ変換ジョブが複数のディメンションテーブルのデータを消費する場合、テーブルは全体として制限に準拠する必要があります。ディメンションテーブルのデータ量を最小限に抑えることを推奨します。

結果データの書き込み

項目

説明

宛先Logstoreへのデータ書き込み

変換結果が宛先Logstoreに書き込まれる場合、Logstoreの書き込み制限を超えることはできません。詳細については、「基本リソース」および「データの読み取りと書き込み」をご参照ください。

hash_key_fieldまたはhash_keyパラメーターを設定し、e_outputおよびe_coutput関数を呼び出して宛先Logstoreにデータを書き込むときにKeyHashモードを指定する場合は、不均一なデータ分散を最小限に抑えるために、ハッシュキーとシャードを適切に割り当てることを推奨します。

データ変換ジョブを記録するログに基づいて、書き込み制限エラーを見つけることができます。詳細については、「エラーログの表示」をご参照ください。

重要

データ変換ジョブの結果が宛先Logstoreに書き込まれたときに書き込み制限エラーが発生した場合、変換結果が完了していることを確認するために繰り返し再試行が実行されます。この場合、データ変換ジョブの進行状況が低下し、ソースシャード内のデータの変換が遅延します。

クロスリージョンデータ伝送

パブリックエンドポイントを使用してリージョン間でデータを転送すると、ネットワーク品質を確保できません。この場合、データ変換ジョブの結果が宛先Logstoreに書き込まれるときにネットワークエラーが発生する可能性があります。これにより、データ変換ジョブ全体の進行が遅れます。 Simple Log Serviceエンドポイントの詳細については、「エンドポイント」をご参照ください。

ネットワーク伝送の安定性を向上させるために、プロジェクトの転送アクセラレーション機能を有効にし、データ変換ジョブで転送アクセラレーションエンドポイントを指定することを推奨します。