MaxCompute:オープンレイクハウスアーキテクチャの概要

統合メタデータ

MaxCompute は、テーブル、ビュー、スナップショット、モデルなどのデータオブジェクトに対して、統合されたデータカタログとデータガバナンスのソリューションを提供します。このソリューションにより、きめ細かなアクセス制御と監査が可能になります。セキュリティポリシーを一度定義すれば、グローバルに適用されます。

接続を使用して Alibaba Cloud サービスのアクセス認証情報を管理できます。MaxCompute は、OSS などの外部データストレージにある構造化データおよび非構造化データファイルを自動的に検出し、外部テーブルとして登録します。テーブルを介してデータにアクセスすることで、データ分析プロセスが簡素化されます。データレイクテーブルのキャッシュされた統計情報は、コンピューティングパフォーマンスを向上させます。

オープンストレージ

オープンストレージを使用すると、データを一度保存するだけで、複数のコンピューティングエンジンで利用できます。ストレージ API を使用して、MaxCompute が管理するテーブルのデータをサードパーティのコンピューティングエンジンに利用可能にすることができます。

MaxCompute は、Spark、Flink、Flink CDC、StarRocks、DBT、Presto、Trino、PAI、PyTorch などのコンピューティングエコシステムと統合されています。

ストレージ API は、データを読み取るための効率的で低レイテンシーかつ安全な方法を提供します。データは Arrow フォーマットで転送されます。この API は、述語プッシュダウン、パーティショニング、列プルーニングなどのパフォーマンス最適化をサポートします。また、行レベルおよび列レベルの権限やデータマスキングなどのセキュリティ機能もサポートします。この機能は、チーム間のコラボレーション効率とコンプライアンス要件のバランスを取ります。

オープンコンピューティング

MaxCompute 独自開発の SQL エンジンと MaxFrame エンジンは、レイクハウスエコシステム内の多様なデータソースにわたって統一されたコンピューティング体験を提供します。これらのエンジンは、外部テーブルと外部プロジェクトを通じて、さまざまな外部ストレージシステムへの透過的アクセスを可能にします。内部テーブルと外部テーブルの両方のデータを、ETL (extract, transform, and load)、データ分析、機械学習タスクで柔軟に利用できます。