データレイク - Alibaba Cloud

データレイク on Alibaba Cloud

データレイクとは、大量の構造化データ、半構造化データ、非構造化データを保存、処理、保護するための、一元化されたリポジトリです。あらゆるサイズ・タイプのデータをリアルタイムで保存、管理、分析します。

お問い合わせ

概要
ハイライト
アーキテクチャ
セキュリティとコンプライアンス
リソース

概要

概要
ハイライト
アーキテクチャ
セキュリティとコンプライアンス
リソース

Alibaba Cloud Data Lake

Alibaba Cloud Data Lake を使用すると、膨大な量の構造化、半構造化、非構造化ストリーミングデータを保存、管理、分析できるため、データのサイロ化を解消してビジネス上の知見を得ることができます。あらゆるサイズと形式のデータをそのまま保存し、データのライフサイクル全体に対してルールを設定して、ビジネス要件の変化に応じてホットデータとコールドデータを柔軟に保存し、データレイクをさまざまなコンピューティングおよび AI エンジン (MaxCompute、Hologres、DataBricks、Platform for AIなど) とシームレスに統合して、バッチ処理とストリーム処理を統合できます。

無制限のストレージ

無制限のスケーラビリティを備えた統合データストレージにより、オンプレミスとクラウドデータを低コスト、かつ O&M 不要で統合できます。

一元管理

さまざまなデータストレージ形式と高い互換性を備えた、一元化されたメタデータサービスにより、統合されたデータガバナンスとさまざまなコンピューティングエンジンをサポートしています。

クラウドネイティブ

データレイクにデータをストリーミングし、コンテナー化されたコンピューティングで非常に高い柔軟性とニアリアルタイムデータ分析を実現します。

Alibaba Cloud Data Lake でパワーアップ

フルマネージド型のデータレイク

複数のデータ分析シナリオを備えたフルマネージド型のサーバーレスアーキテクチャで、O&M ワークロードの負担を軽減し、容易なデータ開発と管理を実現します。

バッチとストリームの統合処理

リアルタイムデータ処理とオフライン (バッチ) 処理を 1 つのプログラミングモデルで統一し、複雑なコードの操作を正確性、整合性、高性能に置き換えます。

ワンストップのデータ管理

99.9999999999% の耐久性を備え、業界をリードする SLA に裏打ちされたデータレイク内のあらゆるタイプとサイズのデータに対してデータ統合、開発、カタログ化、セキュリティおよびサービス管理を実行できます。

柔軟なデータ処理リソース

コンピューティングとストレージのリソースが分離され、複数のオープンソースのコンピューティングエンジンをサポートする Flink on Alibaba Cloud E-MapReduce の処理要件に合わせて、コンピューティングノードを動的に作成およびスケールイン/スケールアウトします。

Data Lake on Alibaba Cloud の詳細を見る

お問い合わせ

仕組み

Alibaba Cloud Data Lake は、統合的に階層化されたアーキテクチャに基づいています。各レイヤーには、データを統合、保存、処理するためのさまざまなプロダクトとツールが用意されています。

データレイクストレージレイヤー：スケーラブルで安全なストレージにすべてのタイプの生データを取り込み、さまざまなアクセス要件に対応するホットデータとコールドデータを対応するストレージクラスに保存します。

データレイク形成レイヤー：エンタープライズレベルのアクセス許可制御により、データライフサイクル全体でさまざまなデータソースからメタデータを一元化することにより、バッチおよびストリームデータ処理をサポートするクラウドネイティブデータレイクを構築します。

データレイクコンピューティングレイヤー：さまざまなコンピューティングエンジンと AI プラットフォームにシームレスに接続してユーザークエリを実行し、高度なデータ分析を実行してマネージドデータからビジネスの知見を導き出すことができます。

データ開発とガバナンスレイヤー：データコンピューティングエンジンに基づいた、効率的で、安全性と信頼性の高いデータ開発とガバナンスサービスです。

Object Storage Service

E-MapReduce

MaxCompute

Hologres

Platform for AI

DataWorks

4 層の Alibaba Cloud Data Lake アーキテクチャ

データレイクストレージ

Alibaba Cloud Object Storage Service (OSS) は、業界トップクラスのスケーラビリティ、耐久性、パフォーマンスを備えています。データレイクのスケーラブルで安全、かつ費用対効果の高いストレージ基盤として、あらゆる量のデータを 99.9999999999% の耐久性で保存および保護できます。 IoT デバイス、オンプレミス、クラウド環境からデータレイクにデータを簡単に取り込み、データアクセスの要件とコストに基づいて、ホットデータとコールドデータを異なるストレージクラスに保存するようにデータライフサイクルルールを設定できます。また、JindoFS を活用してホットデータをキャッシュし、データ分析フレームワーク (Apache Spark、Apache Hive、Presto、TensorFlowなど) の HDSF インターフェース経由のデータアクセスを高速化することもできます。

詳細を見る >

Data Lake Formation

Data Lake Formation (DLF) は、クラウドネイティブデータレイクを簡単に構築できる、クラウドネイティブデータレイクフレームワークの重要なコンポーネントです。 DLF は、さまざまなコンピューティングエンジンとシームレスに統合できます。データレイクのメタデータを一元管理し、エンタープライズクラスの権限を制御できます。コンピューティングとストレージを分離するアーキテクチャを備えているため、コストを抑えながらオンデマンドでリソースを計画し、データの処理効率を向上できます。さまざまなタイプのデータコンピューティングおよび分析プラットフォームに接続してビジネスの価値を把握し、JindoFS を使用して、優れたパフォーマンスでデータレイク分析を高速化できます。

詳細を見る >

データレイクコンピューティング

Alibaba Cloud では、さまざまなデータ処理ニーズを満たすための、多様なデータコンピューティングエンジンを用意しています。 Elastic MapReduce (EMR) では、Hadoop および Spark エコシステムコンポーネント (Apache Hive、Apache Kafka、Flink、Druid、TensorFlow など) を使用して、Object storage Service (OSS) 、Log Service (SLS) 、Relational Database Service (RDS) などのさまざまな Alibaba Cloud データストレージサービスに保存されているデータを分析および処理できます。 MaxCompute は、さまざまなデータレイク形式 (Delta lakeやHudiなど) をサポートしています。さまざまなデータソースに接続し、大量のデータセットに対して効果的なクエリを実行できます。 Hologres は Data Lake Formation とシームレスに接続し、リアルタイムでメタデータとデータを読み取り、高い同時実行性と低い遅延で PB 級のデータを分析します。 Platform for AI をこれらのデータエンジンに接続することで、データマイニングと分析を実行してインテリジェントなビジネスサービスをサポートできます。

データ開発とガバナンス

DataWorks は、ビッグデータコンピューティングエンジン (MaxCompute、E-MapReduce (EMR) 、Hologresなど) に基づいて、プロフェッショナルで効率的、かつ安全で信頼性の高いビッグデータ開発およびガバナンスサービスのためのターンキープラットフォームです。 DataWorks では、Alibaba データミッドエンドとデータガバナンスのベストプラクティスが統合され、さまざまなタイプの大規模タスク (データ統合、機械学習、MaxCompute SQL など) のスケジュール、実行、モニタリングを支援し、毎日数百 PB のデータを高い安定性で処理できます。ドラッグアンドドロップでデータのワークフローをカスタマイズし、データ開発に関する情報を視覚化できます。