本文介紹一站式湖倉巨量資料遷移平台(Lakehouse Migration)調度遷移工具的基礎能力
功能概述
一站式湖倉巨量資料遷移平台(Lakehouse Migration,LHM)提供了將開源調度引擎作業、他雲調度引擎作業快速遷移至DataWorks的能力。
調度遷移由源端作業匯出、異構作業轉換、DataWorks作業匯入三步執行,中間結果透出,遷移全程可控。
靈活可配置的轉換配置,對DataWorks+MaxCompute/EMR/Hologres多種計算引擎進行適配。
遷移工具輕量部署,僅要求JDK17運行環境和網路連通。
資料安全保障,遷移全程本地運行,中間結果不上傳。
調度遷移能力矩陣預覽
當前LHM工具已實現以下調度引擎任務到DataWorks的自動化遷移。