MaxCompute は、エンタープライズグレードのオープンレイクハウスアーキテクチャを提供します。 統合メタデータ管理、オープンストレージ、多様なコンピューティングオプション、堅牢なセキュリティ、コスト効率を特徴としています。
対象となるお客様
データウェアハウスは、高い割合で構造化データを含んでいますが、複数のチームやエンジンからのアクセスをサポートするためには、データレイクのオープンさも求められます。
行レベルおよび列レベルの権限やデータマスキングなどのエンタープライズグレードの機能を必要とし、ディザスタリカバリ、バックアップ、セキュリティ、コンプライアンスに対する厳しい要件があるお客様。
機能概要
統合メタデータ
MaxCompute は、テーブル、ビュー、スナップショット、モデルなどのデータオブジェクトに対して、統合されたデータカタログとデータガバナンスのソリューションを提供します。 このソリューションにより、詳細なアクセスの制御と監査が可能になります。 セキュリティポリシーを一度定義すれば、グローバルに適用されます。
接続を使用して Alibaba Cloud サービスのアクセス認証情報を管理できます。 MaxCompute は、OSS などの外部データストレージにある構造化データファイルと非構造化データファイルを自動的に検出し、外部テーブルとして登録します。 テーブルを介してデータにアクセスすることで、データ分析プロセスが簡素化されます。 データレイクテーブルのキャッシュされた統計情報により、コンピュートパフォーマンスが向上します。
オープンストレージ
オープンストレージにより、データを一度保存すれば、複数のコンピュートエンジンで利用できます。 Storage API を使用して、MaxCompute が管理するテーブル内のデータをサードパーティのコンピュートエンジンで利用可能にすることができます。
MaxCompute は、Spark、Flink、Flink CDC、StarRocks、DBT、Presto、Trino、PAI、PyTorch などのコンピューティングエコシステムと統合されています。
Storage API は、効率的で低レイテンシーかつ安全なデータ読み取り方法を提供します。 データは Arrow フォーマットで転送されます。 この API は、述語プッシュダウン、パーティショニング、列プルーニングなどのパフォーマンス最適化をサポートします。 また、行レベルおよび列レベルの権限やデータマスキングなどのセキュリティ機能もサポートします。 この機能により、チーム間のコラボレーション効率とコンプライアンス要件が両立されます。
オープンコンピューティング
MaxCompute 独自開発の SQL エンジンと MaxFrame エンジンは、レイクハウスエコシステム内の多様なデータソースにまたがる統一されたコンピューティング体験を提供します。これらは、外部テーブルと外部プロジェクトを介して、さまざまな外部ストレージシステムへの透明なアクセスを可能にします。抽出、変換、書き出し (ETL)、データ分析、機械学習タスクにおいて、内部テーブルと外部テーブルの両方のデータを柔軟に使用できます。
チュートリアル
MaxLake を使用すると、データレイクやデータウェアハウスにデータを取り込み、マルチシナリオ分析をオーケストレーションできます。 たとえば、車両のインターネット (IoV) のデータを使用して、車両から報告される GPS 位置データから走行距離と速度を分析できます。 その後、リアルタイムクエリレポート、マスキングされたデータ共有によるチーム間のコラボレーション、AI トレーニングなどのシナリオで複数のエンジンを使用できます。 このアプローチにより、単一のデータコピーから複数の価値を生み出すことができます。 詳細については、「MaxCompute でのデータレイク分析のためのデータ変換とマルチシナリオオーケストレーション」をご参照ください。