Hologres:ダイナミックテーブルの概要

リフレッシュモード

ダイナミックテーブルは現在、完全更新と増分更新の 2 つのリフレッシュモードをサポートしています。基盤となる技術的な仕組みは、設定されたリフレッシュモードによって異なります。

計算リソース

リフレッシュタスクを実行するための計算リソースは、現在のインスタンスまたは Serverless リソースから提供されます：

• Serverless リソース (デフォルト)：Hologres V3.1 以降では、新しいダイナミックテーブルはデフォルトで Serverless リソースを使用してリフレッシュを実行します。クエリが複雑で大量のデータを処理する場合、Serverless リソースを使用すると、リフレッシュタスクの安定性が向上し、インスタンス内の複数のタスク間のリソース競合を回避できます。また、単一のリフレッシュタスクの計算リソースを変更して、Serverless リソースの使用を最適化することもできます。

• 現在のインスタンスリソース：リフレッシュタスクは現在のインスタンスのリソースを使用し、インスタンス内の他のタスクと共有します。これにより、ピーク時にリソース競合が発生する可能性があります。

データストレージ

ダイナミックテーブルのデータストレージは標準テーブルと同じで、デフォルトではホットストレージモードを使用します。ストレージコストを削減するために、クエリ頻度の低いデータをコールドストレージに移動できます。

テーブルインデックス

クエリを実行する際、ダイナミックテーブルを直接クエリできます。これは集約結果を直接クエリすることに相当し、クエリパフォーマンスを大幅に向上させることができます。標準テーブルと同様に、ダイナミックテーブルもローストアや列ストア、Distribution Key、Clustering Key などのテーブルインデックスの設定をサポートしています。通常、DPI エンジンは、ダイナミックテーブルのクエリに基づいて適切なインデックスを推測します。さらなる最適化が必要な場合は、新しいインデックスを設定してクエリパフォーマンスをさらに向上させることができます。

ダイナミックテーブルと Hologres リアルタイムマテリアライズドビューの比較

Hologres は V1.3 でSQL 管理のマテリアライズドビューを導入しましたが、その機能は比較的限定的です。SQL 管理のマテリアライズドビューとダイナミックテーブルの違いは次のとおりです：

ダイナミックテーブルと非同期マテリアライズドビューの比較

市場の他のプロダクトも、OLAP プロダクトの非同期マテリアライズドビューや Snowflake のダイナミックテーブルなど、ダイナミックテーブルに類似した機能を提供しています。違いは次のとおりです：

Lambda アーキテクチャのアップグレード

ビジネスデータ処理のさまざまなタイムライン性要件を満たすために、Lambda アーキテクチャはさまざまなプロダクトコンポーネントを使用します。これにより、アーキテクチャの冗長性、データ定義の不整合、システムメンテナンスの困難さ、およびストレージの冗長性が発生します。Hologres ダイナミックテーブルは、バッチデータ変換とニアリアルタイム処理をサポートしています。OLAP クエリとキーバリュー (KV) ポイントクエリをサポートする Hologres の統合ストレージと統合データサービスと組み合わせることで、単一のプロダクト内で複数のアプリケーションシナリオをサポートできます。これにより、アーキテクチャが簡素化され、開発の複雑さ、学習曲線、およびストレージコストが削減されます。

ニアリアルタイムのデータ処理

ベーステーブルに大量のデータが含まれ、ビジネスのタイムライン性要件を満たすために複雑な ETL 処理が必要な場合、一般的な方法はデータウェアハウスの階層化です。リアルタイムデータウェアハウスの場合、マテリアライズドビューの使用や定期的なスケジューリングなど、階層化のための多くのソリューションが存在します。これらのソリューションはいくつかの問題を解決できますが、データのタイムライン性や開発の複雑さに関する問題も引き起こします。Hologres ダイナミックテーブルには、自動データ処理機能が組み込まれており、データウェアハウスの階層化を簡単に実装できます。

推奨される方法は次のとおりです：

ダイナミックテーブルを使用して、Hologres に DWD > DWS > ADS レイヤーを構築します：

• 各レイヤー間のデータ同期には増分更新モードを使用します。これにより、各レイヤーで処理されるデータが少なくなり、不要な繰り返し計算が削減され、同期速度が向上します。また、リフレッシュタスクを Serverless コンピューティングに送信して、リフレッシュのタイムライン性と安定性を向上させることもできます。

• 各レイヤーのデータをリフレッシュするには、1 回限りの完全更新を実行して、レイヤー間のデータ整合性を確保できます。また、リフレッシュタスクを Serverless コンピューティングに送信して、タイムライン性と安定性を向上させることもできます。

• 各レイヤーは Hologres に構築され、データウェアハウスの階層化が明確になります。各レイヤーは必要に応じてクエリでき、データの可視性と再利用性が確保されます。

Hologres ダイナミックテーブルソリューションは、データ変換とアプリケーションシナリオの両方を処理でき、データウェアハウスの開発および運用保守 (O&M) 効率を大幅に向上させます。

レイクハウスの高速化

ダイナミックテーブルのベーステーブルデータは、Hologres テーブル、MaxCompute などのデータウェアハウス、または OSS や Paimon などのデータレイクから取得できます。ベーステーブルデータに対して完全更新または増分更新を実行することで、タイムライン性要件が異なるさまざまなデータクエリおよび探索のニーズを満たすことができます。推奨される利用シーンは次のとおりです：

• 定期レポートのクエリ

  定期レポートなどの定期的な観測シナリオでは、データ量が少ないか、クエリが複雑でない場合は、完全更新または増分更新モードを使用できます。レイクハウスデータの集約および分析結果を定期的にダイナミックテーブルにリフレッシュします。その後、アプリケーション側はダイナミックテーブルを直接クエリして分析結果を取得し、レポートクエリを高速化できます。

• リアルタイムダッシュボード/レポート

  リアルタイムダッシュボードやレポートなどのシナリオでは、データのタイムライン性要件が高くなります。増分更新モードを使用することをお勧めします。Paimon またはリアルタイムデータからの集約および分析結果をダイナミックテーブルにリフレッシュします。これにより、リアルタイムデータの処理が高速化されます。アプリケーション側はダイナミックテーブルを直接クエリしてデータ分析結果を取得し、ニアリアルタイム分析を実現できます。

オフラインの定期的かつ反復的なスケジューリングの置き換え

一般的なオフライン処理シナリオでは、データ量が多く、計算サイクルが長くなります。計算のタイムライン性を向上させるための一般的なアプローチは、定期的なスケジューリングソリューションです：

DWD から DWS、ADS へと、過去数日間のデータが T+H ベースで処理されます。たとえば、30 分ごとにスケジューリングされます。データの正確性を確保するために、別のオフラインパイプラインも T+1 ベースで実行され、過去数日間のデータを処理します。これはデータのリフレッシュに相当し、大量の冗長な計算、リソースの無駄、およびデータの冗長性につながります。さらに、システムは各スケジュールされたタスクが完了することを保証できないため、後続のタスクがブロックされ、ビジネスの計算が遅延し、タイムライン性の保証を満たせなくなる可能性があります。

Hologres を使用すると、DWD から DWS、ADS までの各レイヤーで T+H 増分更新を使用できます。元のジョブは単一の増分コンピューティングジョブにマージできます。特定のデータクエリ範囲を気にする必要はなく、リフレッシュを管理するだけで済みます。SQL はよりシンプルになり、ダイナミックテーブルがスケジューリングを自動的に処理するため、外部のスケジューリングジョブを維持する必要がなくなります。毎回増分データのみが計算されます。これにより、冗長な計算が回避され、計算が高速化され、タスクのバックログが防止され、計算リソースの使用量が大幅に削減されます。