MaxCompute 増分コンピューティングを使用すると、増分データに対して複雑な計算を実行し、データの変更を動的にキャッチできます。この機能は、増分データを格納およびアクセスする Delta テーブルの機能に依存しています。
背景情報
動的マテリアライズドビュー (Delta Live MV) は、増分コンピューティングのコアです。これにより、増分データに対して複雑な計算を実行できます。Delta Live MV は増分コンピューティング技術を使用し、ストリーム処理とバッチ処理の両方のシナリオで統合された SQL ロジックをサポートします。ソーステーブル (ベーステーブル) の増分変更を自動的にキャッチして、効率的で低コストの増分計算を継続的に実行します。これにより、ストリームとバッチのビジネストレースが統合されます。Delta Live MV の自動更新の周波数を調整して、ストリーム処理やバッチ処理などのさまざまなシナリオで、データ鮮度とコンピューティングコストの最適なバランスを実現できます。
すでに MaxCompute をオフラインのエンタープライズデータウェアハウスに使用している場合は、軽微な変更を加えることで、オフラインのバッチサービスをニアリアルタイムサービスに変換できます。これにより、MaxCompute システムをオフライン専用システムから、統合されたストリームバッチデータウェアハウスアーキテクチャに段階的にスペックアップできます。MaxCompute を初めて使用する場合は、Delta Live MV を直接使用して、統合されたエンタープライズデータウェアハウスを構築できます。このアーキテクチャは、リアルタイムサービスのニーズに応じて、増分データと完全データ、およびストリーム処理とバッチ処理を処理できます。
ストリームオブジェクトと定期タスクを組み合わせて、入力データの変更を動的にキャッチすることもできます。
コアシナリオ
動的マテリアライズドビュー (Delta Live MV) (招待プレビュー) を使用して、増分データと完全データのための自動化されたビジネスデータパイプラインを構築します。
ストリームオブジェクトと 定期タスク (招待プレビュー) の組み合わせを使用して、データ変更を動的にキャッチします。
使用上の注意
増分コンピューティングのためのストリームオブジェクト機能は、現在一般提供されています。動的マテリアライズドビュー (Delta Live MV) と定期タスク機能は招待プレビュー中です。招待プレビュー中の機能を試すには、チケットを送信してください。