MaxComputeは、データレイクとデータウェアハウスを組み合わせたデータ管理プラットフォームを構築できるデータレイクハウスソリューションを提供します。 このソリューションは、データレイクの柔軟性と幅広いエコシステム互換性と、データウェアハウスのエンタープライズクラスの展開を統合します。 このトピックでは、MaxComputeと異種データプラットフォームを使用してデータレイクハウスソリューションを構築する方法について説明します。 データレイクハウスソリューションはパブリックプレビュー中です。
データ湖畔のソリューションを構築する
MaxComputeとデータレイクを使用して、データレイクハウスソリューションを構築できます。 MaxComputeは、データレイクハウスソリューションのデータウェアハウスとして機能します。 次のいずれかの方法を使用して、データレイクハウスソリューションを構築できます。
MaxCompute、DLF、およびOSSを使用してデータレイクを構築する: この方法を使用すると、データレイクのすべてのスキーマがdata lake Formation (DLF) に保存されます。 MaxComputeは、DLFのメタデータ管理機能を使用して、OSSの半構造化データを効率的に処理できます。 OSS半構造化データには、Delta Lake、Apache Hudi、AVRO、CSV、JSON、Parquet、およびORC形式のデータが含まれます。
MaxComputeとHadoopを使用してデータレイクハウスを構築する: データセンター、クラウド内の仮想マシン (VM) 、またはAlibaba cloud E-MapReduce (EMR) にデプロイされているHadoopクラスターを使用できます。 MaxComputeがHadoopクラスターがデプロイされている仮想プライベートクラウド (VPC) に接続されている場合、MaxComputeはHiveメタストアに直接アクセスし、メタデータをMaxComputeの外部プロジェクトにマッピングできます。
制限事項
レイクハウスソリューションは、中国 (杭州) 、中国 (上海) 、中国 (北京) 、中国 (張家口) 、中国 (深セン) 、中国 (香港) 、シンガポール、ドイツ (フランクフルト) の各地域でサポートされています。
MaxComputeは、DLFおよびOSSと同じリージョンにデプロイする必要があります。
関連ドキュメント
外部プロジェクトの作成後、外部プロジェクトのテーブルの所有者は、外部プロジェクトの作成に使用されるアカウントに属します。 他のユーザーに外部プロジェクトのテーブルに対する操作を実行する権限を付与する方法の詳細については、「他のユーザーに外部プロジェクトに対する権限を付与する」をご参照ください。
データレイクハウスソリューションを構築するときに、SQL文を使用して外部プロジェクトを管理できます。 詳細については、「SQL文を使用した外部プロジェクトの管理」をご参照ください。