MaxCompute の増分コンピューティングは、Delta テーブルのストレージ機能および読み取り/書き込み機能を活用して、増分データに対する複雑な計算を実行し、データ変更を動的にキャプチャします。
背景
増分コンピューティングの中核として、動的マテリアライズドビュー (Delta Live MV) は、増分データに対する複雑な計算を可能にします。動的マテリアライズドビューは増分コンピューティング技術を使用して、ストリーミングとバッチ処理の両方に対して統一された SQL ロジックをサポートします。ソーステーブルからの変更を自動的にキャプチャし、効率的かつ低コストな増分計算を継続的に実行することで、ストリーミングとバッチのデータパイプラインを統合します。動的マテリアライズドビュー (Delta Live MV) の自動更新頻度を調整することで、さまざまなシナリオにおいて、データの鮮度と計算コストの最適なバランスを実現できます。
すでにオフラインデータウェアハウスで MaxCompute を使用している場合は、最小限の変更で既存のバッチサービスをニアリアルタイムの運用に容易に変換できます。これにより、MaxCompute システムをバッチ専用プラットフォームから、ストリーム/バッチ統合データウェアハウスアーキテクチャに段階的にアップグレードできます。MaxCompute を新規に利用する場合は、最初から動的マテリアライズドビューを使用してください。これにより、ビジネスのリアルタイム要件に基づいて、増分データとフルデータ、およびストリーミングとバッチ処理の両方を扱う統合データウェアハウスアーキテクチャを構築できます。
また、ストリームと定期タスクを使用して、上流のデータ変更を動的にキャプチャすることもできます。
ユースケース
動的マテリアライズドビュー (Delta Live MV) を使用して、増分データとフルデータの両方に対応する自動化されたデータパイプラインを構築できます。
ストリームと定期タスク (招待制プレビュー) を使用して、データ変更を動的にキャプチャできます。
使用方法
ストリームおよび動的マテリアライズドビュー (Delta Live MV) 機能は、現在一般提供されています。定期タスク機能は招待制プレビューです。利用を希望する場合は、チケットを送信してください。