Simple Log Service:安定性と制限事項

項目

説明

可用性

高可用性。

Simple Log Service の読み取りエラーが発生した場合、MaxCompute の転送タスクは自動的に 10 回以上再試行します。問題が解決しない場合、タスクはエラーを報告して再起動します。

項目

説明

同時実行性

このサービスは、Simple Log Service のシャードごとに転送インスタンスを作成し、迅速なスケーリングを可能にします。

ソースの Simple Log Service のシャードが分割されると、数秒以内に新しい転送インスタンスが作成され、データのエクスポートが高速化されます。

データ損失なし

データ転送タスクは、コンシューマーグループを使用して一貫性を保証します。タスクは、データの転送が成功した後にのみオフセットをコミットします。この at-least-once (1 回以上) の配信モデルにより、データ損失が発生しないことが保証されます。

スキーマの変更

転送プロセス中に MaxCompute テーブルに新しい列を追加した場合、タスクは新しい列を新しいパーティションにのみ書き込み、既存または現在のパーティションには書き込みません。

エラータイプ

失敗としてカウント

説明

パーティションエラー

はい

一般的な原因には、無効なパーティションや存在しないパーティションキー列などがあります。タスクは、このデータ行を MaxCompute に書き込みません。

無効なデータ列

いいえ

一般的な原因には、データ型の不一致や型変換の失敗などがあります。タスクはこの列のデータを MaxCompute に書き込みませんが、同じ行の他の列のデータは正常に書き込みます。

データ列が長すぎる

いいえ

一般的な原因は、データが string または varchar データ型の長さ制限を超えていることです。タスクは、MaxCompute に書き込む前にこの列のデータを切り捨てます。同じ行の他の列のデータは正常に書き込まれます。

項目

説明

監視とアラート

データ転送には、タスクのレイテンシーやトラフィックなどのメトリクスをリアルタイムで追跡するための包括的な監視機能が含まれています。ビジネス要件に基づいてカスタムアラートを設定し、転送インスタンスの不足やネットワーククォータ制限などの転送の問題を迅速に検出できます。詳細については、「MaxCompute データ転送タスク (新バージョン) のアラート設定」をご参照ください。

項目

説明

パーティションが多すぎる

多数のパーティションに書き込み中にタスクが再起動した場合、完了までに 5 分以上かかる書き込み操作でデータの重複が発生する可能性があります。

データ書き込みの失敗

権限付与またはネットワークエラーにより MaxCompute への書き込みに失敗した後にタスクが再起動した場合、部分的なデータの重複が発生する可能性があります。

制限事項

説明

リージョン内転送のネットワーク

リージョン内転送では、データ伝送に Alibaba Cloud の内部ネットワークを使用します。これにより、ネットワークの安定性と速度が向上します。

制限事項

説明

読み取りトラフィック

各プロジェクトとシャードには、最大読み取りトラフィック制限があります。詳細については、「データの読み取りと書き込み」をご参照ください。

この制限を超えた場合は、シャードを分割するか、プロジェクトの読み取りトラフィック制限の引き上げをリクエストする必要があります。制限を超えた場合、転送タスクは失敗し、10 回以上再試行します。問題が解決しない場合、タスクはエラーを報告して再起動します。

制限事項

説明

同時実行インスタンス

最大 64 の同時転送インスタンスがサポートされています。

Simple Log Service のシャード数が 64 を超える場合、サービスは複数のシャードを単一の転送インスタンスに統合します。サービスは、インスタンス間でシャードを均等に分散しようとします。

書き込みしきい値

• 単一の MaxCompute パーティションの最大書き込みスループットは 10 MB/s です。

• 単一の MaxCompute プロジェクトの最大書き込みスループットはリージョンによって異なります。たとえば、中国 (杭州) リージョンでの制限は 300 MB/s (1 MB/s × 300) です。数式は次のとおりです。

  • 1 MB/s：MaxCompute への単一スロットの書き込みスループット。詳細については、「MaxCompute トンネルサービスの制限」をご参照ください。

  • 300：中国 (杭州) リージョンの単一プロジェクトで利用可能なスロットの最大数。詳細については、「共有リソース」をご参照ください。

テーブルスキーマの変更

MaxCompute データ転送 (新バージョン) は、ストリーム書き込みに MaxCompute トンネルサービスを使用します。このプロセス中、MaxCompute トンネルサービスは、列の挿入、更新、削除、または列の順序の変更など、ターゲットテーブルでのスキーマ変更を禁止します。詳細については、「MaxCompute トンネルサービスの概要」をご参照ください。

この制限により、データ転送の新旧両方のバージョンを使用して、同じ MaxCompute テーブルに同時に書き込むことはできません。

サポートされていないテーブルタイプ

MaxCompute の外部テーブル、トランザクションテーブル、またはクラスター化テーブルへのデータ転送はサポートされていません。

テーブルスキーマの変更

ターゲットの MaxCompute テーブルにスキーマの変更を適用するには、転送タスクを 20 分間一時停止してから再起動します。

開始時刻

• [特定の時刻に開始]：データ転送は __receive_time__ に基づいています。開始時刻は、現在時刻より 24 時間以上前に設定することはできません。

• [特定の時間範囲]：データ転送は __receive_time__ に基づいています。開始時刻は現在時刻より 24 時間以上前に設定することはできず、終了時刻より前である必要があります。

制限事項

説明

書き込み権限

RAM ユーザーまたは RAM ロールを使用して書き込み権限を付与できます。これには、MaxCompute での個別の設定が必要です。

制限事項

説明

出荷タスクの一時停止

転送タスクは、最後に転送されたアイテムのログカーソルを記録します。タスクが再開されると、記録されたカーソルから続行されます。したがって、転送タスクを一時停止すると、次の動作が適用されます。

• データ保持期間内にタスクを一時停止した場合、再開時に最後に保存されたカーソルからタスクが再開されます。データは失われません。

• データ保持期間を超えてタスクを一時停止した場合、タスクは最後に保存されたカーソルの後にある、利用可能な最も古いデータポイントから再開されます。

制限事項

説明

MaxCompute プロジェクトで IP ホワイトリスト (クラシックネットワークの IP ホワイトリストなど) を有効にすると、転送タスクが失敗する可能性があります。

IP ホワイトリストが原因で発生した転送の失敗を解決するには、MaxCompute で次のコマンドを実行します。

1. setproject; select 1; を実行して、現在のホワイトリスト設定を照会します。

2. 既存のサービスホワイトリストに AliyunLogSLRService,AliyunLogDefaultService を追加します。完全なコマンドは次のとおりです。

   setproject odps.security.ip.whitelist.services=AliyunLogSLRService,AliyunLogDefaultService;

3. 設定後、再度 setproject; select 1; を実行して、ホワイトリストが更新されていることを確認します。

詳細については、「IP ホワイトリストによる転送の失敗の解決」をご参照ください。