概要
LakeHouse Migration
LakeHouse Migration (LHM) は、異なるクラウドプラットフォームやオンプレミス環境間のデータプラットフォームのエンドツーエンド移行を統合管理し、簡素化するために設計された Alibaba Cloud 独自のワンストップソリューションです。LHM は、マルチエンジンクラスターの検出、メタデータの差分同期、大規模データレイク移行、構造化データレプリケーション、SQL とワークフローの自動変換、データ検証など、包括的な機能を提供します。直感的なダッシュボードで同期ジョブのモニタリングやプラットフォームのドリフト追跡をリアルタイムに行い、レイクハウス技術スタック全体の移行を視覚的に統合管理できます。
主なメリット
包括的なアセットカバレッジ
LHM は、HDFS、オブジェクトストレージ、メタデータ、各種コンピューティングエンジン、OLAP データベースなど、データレイクおよびデータウェアハウスの主要コンポーネントを包括的にカバーします。データスタック全体の同期と変換を通じて、移行に必要なすべての技術要素に対応します。
ワンストップ移行
移行のライフサイクル全体を自動化します。LHM はメタデータの差分変更を自動検出し、必要な同期ジョブと変換ジョブを生成します。この継続的な自動プロセスにより手動作業を大幅に削減でき、移行全体のステータスのモニタリングと双方向の整合性確保に集中できます。
エンドツーエンドの可視化
ソースとターゲットのプラットフォーム間の継続的な収束状況を表示するダッシュボードで、移行のエンドツーエンドの可視性を実現します。データアーキテクチャ、データパイプライン、主要メトリクス (ソースデータ量やジョブアクティビティなど) を視覚的に追跡し、レイクハウス移行全体の同期ステータスをリアルタイムでモニタリングできます。
きめ細かな制御
よりスマートに移行しましょう。パーティション、ファイル、スクリプトレベルまできめ細かな影響分析を活用し、コストのかかるフルリロードの代わりに、ターゲットを絞った差分同期を実行できます。このアプローチにより、リソース消費を大幅に削減し、レイクハウス移行全体を加速させます。
LHM で Alibaba Cloud への移行を加速
01
クラスター監査
- レイクハウス環境全体の詳細なアセスメントを実施します。ストレージやコンピューティングリソースからメタデータスキーマ、ランタイムインスタンスまでをカタログ化し、移行のためのデータドリブンな基盤を提供します。定期的なフルアセット差分比較とメタデータの増分変更のリアルタイムモニタリングにより、ソースクラスターの変更を正確に検知します。これにより、移行計画を常に最新の状態に保てます。
02
レイクハウス移行
- クラスター間でレイクハウスのメタデータ、データ、ストレージファイルの移行を実行します。移行プロセス全体を通じて、統合されたタスク管理、可観測性、レポート機能を提供します。
03
SQL 自動変換
- 10 種類以上の異種レイクハウスエンジンから Alibaba Cloud への SQL タスクの自動移行に対応しています。OLAP やデータウェアハウスの SQL を変換し、テーブルリネージとコンテキストを分析して、互換性と実行パフォーマンスを向上させる最適化戦略を生成します。
04
ジョブスケジューリング変換
- ソースのビッグデータプラットフォームから Alibaba Cloud のスケジューリングエンジンへのエンドツーエンド移行に対応しています。オープンソースやプロプライエタリエンジンのワークフロー、マルチタイプノード、リソースの変換を、柔軟なルール定義で実行できます。
05
双方向データ検証
- 双方向比較のための包括的かつ多層的なデータ検証を提供します。レコード件数、メトリクス、全行比較、カスタム SQL、null 率チェックなど、さまざまな検証方法を備え、詳細なビジュアルレポートによる深い分析をサポートします。
06
データリネージ分析
- ライフサイクル全体を通じてデータリネージとフローパスを可視化することで、根本原因の迅速な特定、品質異常のトレース、データのコンプライアンスと監査可能性を確保できます。
導入事例
Mekari
インドネシア最大手の SaaS プロバイダーである Mekari は、2015 年の設立以来、クラウドベースのビジネス管理ソリューションを提供し、35,000 社以上の企業と 100 万人以上のアプリケーションユーザーを支援しています。Alibaba Cloud との戦略的提携により、Mekari は大幅な運用改善を実現しました。ワークフロー統合によるサービスパフォーマンスの 50% 向上とユーザー体験の改善、Alibaba Cloud の柔軟な料金モデルによる効率的なコスト最適化で運用コストを 30% 削減、そしてローカルデータセンターの活用によりレイテンシを 60% 低減し、超高速なクエリ処理と飛躍的に向上したユーザー体験を実現しています。
ドキュメント
データソース管理
データソースは、さまざまなビッグデータストレージシステム、コンピューティングクラスター、スケジューリングエンジンへの接続を定義します。
SQL 変換
10 種類以上の異種データレイクおよびウェアハウスエンジンの SQL コードを Alibaba Cloud のネイティブ SQL に自動変換し、分析基盤をモダナイズします。テーブルリネージとコンテキストを分析して最適化の推奨事項を生成し、互換性とクエリパフォーマンスを向上させます。
データ検証
Data Integration、プラットフォーム移行、ジョブリファクタリングの検証、並行稼働、カットオーバー前の準備確認など、幅広いシナリオに最適です。
ワークフロー移行
オープンソースやその他のクラウドスケジューリングエンジンから DataWorks へ、ワークフローをシームレスに移行できます。
