データレイク対データウェアハウス

近年、データレイクの概念が注目されるにつれ、業界ではデータウェアハウスとデータレイクの比較や議論が活発に行われています。データレイクを次世代ビッグデータプラットフォームと位置づける声もあり、主要クラウドベンダーも独自のデータレイクソリューションを提案しています。クラウドデータウェアハウス製品の中には、データレイクとの連携機能を追加するものも出てきました。では、データウェアハウスとデータレイクの本質的な違いとは何でしょうか。

前回の記事では、データレイクの定義、基本アーキテクチャ、クラウドベースのデータレイクフレームワークについて解説しました。本記事では、データレイクとデータウェアハウスの違いを分析し、両者の統合と進化の新しい方向性である湖倉一体について紹介します。

1. データウェアハウスとは

データウェアハウスの概念はデータベース分野に起源を持ち、主に複雑なデータ指向のクエリと分析のシナリオに対応するものです。ビッグデータ技術の発展に伴い、SQL 言語やクエリオプテマイザーなど、多数のデータベース技術が取り入れられ、ビッグデータウェアハウスが形成され、その強力な分析能力から主流となりました。近年、データウェアハウスとクラウドネイティブ技術の組み合わせによりクラウドデータウェアハウスが生まれ、企業がデータウェアハウスをデプロイする際のリソース供給の問題を解決しています。ビッグデータの高レベル（エンタープライズレベル）プラットフォーム機能として、クラウドデータウェアハウスはすぐに使える状態、無制限の拡張性、シンプルな運用管理能力により、ますます注目を集めています。

データウェアハウスは、企業のあらゆるレベルの意思決定プロセスに対して、あらゆるタイプのデータによるサポートを提供する戦略的コレクションです。分析レポートと意思決定支援を目的として作成された単一のデータストアです。ビジネスインテリジェンスを必要とする企業に対し、ビジネスプロセス改善のガイダンスを提供し、時間、コスト、品質、コントロールをモニタリングします。

データウェアハウスの本質は、以下の 3 つの部分から構成されます：
(1) 組み込みストレージシステム：データは抽象的な方法（Table や View など）で提供され、ファイルシステムは公開されない
(2) データはクレンジングと変換が必要で、通常 ETL/ELT 方式を使用
(3) ビジネスインテリジェンス意思決定のためのモデリングとデータ管理を重視

上記の基準から、従来のデータウェアハウス（Teradata など）も、新興のクラウドデータウェアハウスシステム（AWS Redshift、Google BigQuery、Alibaba Cloud MaxCompute）も、いずれもデータウェアハウスの設計本質を体現しており、ファイルシステムを外部に公開することなく、データの読み書きを処理するサービスインターフェイスを提供しています。この設計にはいくつかの利点があります：

(1) エンジンがデータを深く理解し、ストレージと計算を深く最適化できる
(2) データライフサイクル管理と完全な系統管理
(3) 粒度の細かいデータ管理とガバナンス
(4) 充実したメタデータ管理機能により、企業レベルのデータセンターを容易に構築可能

このため、Alibaba の Feitian ビッグデータプラットフォームの構築当初から、データウェアハウスアーキテクチャ、すなわち MaxCompute ビッグデータプラットフォームを採用しました。MaxCompute（旧 ODPS）は、Alibaba 経済圏のビッグデータプラットフォームであるだけでなく、Alibaba Cloud 上のオンラインビッグデータコンピューティングサービスであり、安全、信頼性、高性能、低コストで、GB から EB までオンデマンドでスケーラブルに拡張できます（図 6 は MaxCompute のプロダクトアーキテクチャです。詳しくは Alibaba Cloud MaxCompute 公式サイトのアドレスをクリックしてください）。SaaS モデルのエンタープライズレベルクラウドデータウェアハウスとして、MaxCompute は Alibaba 経済圏や Alibaba Cloud のインターネット、新金融、新リテール、デジタルガバメントなど、数多くのお客様に広く利用されています。

MaxCompute のデータウェアハウスアーキテクチャのおかげで、Alibaba の経営陣は「データセキュリティシステム」「データ品質」「データガバナンス」「データラベリング」といった管理機能を段階的に構築し、最終的に Alibaba のビッグデータミドルオフィスが形成されました。データミドルプラットフォーム概念の最初の提唱者として、Alibaba のデータミドルプラットフォームはデータウェアハウスアーキテクチャの恩恵を受けていると言えます。

2. データベース、データウェアハウスからデータレイクへの進化トレンド

データベースのデータには整合性要件があり、データベースはアプリケーション指向で、各アプリケーションに 1 つのデータベースが必要になる場合があります。企業に数十のアプリケーションがあれば、数十のデータベースが存在することになります。では、数十ものデータベースをどのように連携・分析するのでしょうか。それは不可能です。

そこで、データベースからデータウェアハウスへ発展しました。データウェアハウスは特定のアプリケーション向けではなく、データベースと連携します。毎日 ETL バッチタスクをスケジュールし、異なるアプリケーションとデータを集約し、パラダイムモデルに従って連携分析を行い、一定期間の全体的なデータビューを取得します。この前提として、多数のデータベースがデータウェアハウスにデータを供給する必要があります。

データ量の増加とデータタイプの変化に伴い、ビデオ、オーディオ、ドキュメントなどの非構造化データが全体のデータの中で占める割合が増加しています。従来のデータウェアハウスでは対応が困難になったため、ますます多くの企業がデータを元の初期状態のまま保持したいと考えるようになりました。このニーズに後押しされ、データレイクの構想が形になり始めました。データを元の状態で保存することで、企業は多次元的な分析を行うことができます。データは容易にデータレイクに取り込め、データ収集、データクレンジング、正規化処理を、ビジネス上の必要性が生じるまで遅延させることができます。従来のデータウェアハウスでは、モデルパラダイムの要件により、ビジネスを簡単に変更できず、変更には基盤データのあらゆる変更が伴います。それに対して、データレイクはより柔軟で、上層データアプリケーションの変化に迅速に適応できます。

3. データレイク対データウェアハウス

データレイクは元のデータ形式で保存され、あらゆるデータを最原始の形態で保持することを目的としています。構造化データでも非構造化データでも、あらゆるデータを詳細を失うことなく利用できるようにし、リアルタイムデータとバッチデータのすべてをデータレイクに集約した後、レイクから関連データを抽出して機械学習やデータ分析に活用します。

データレイク優先の設計は、基盤となるファイルストレージを開放することで、データ取り込み時の最大限の柔軟性を実現します。データレイクに取り込まれるデータは、構造化データ、半構造化データ、さらには完全に非構造化された生ログであっても構いません。さらに、オープンなストレージは上層エンジンにも柔軟性をもたらします。さまざまなエンジンが、それぞれのシナリオに応じてデータレイクに保存されたデータを自由に読み書きでき、比較的緩い互換性規約に準拠するだけで済みます。しかし一方で、ファイルシステムへの直接アクセスにより、多くの高レベル機能の実装が難しくなります。たとえば、粒度の細かい（ファイル粒度よりも細かい）権限管理、統一されたファイル管理、読み書きインターフェイスのアップグレードなども非常に困難です（アクセスごとに、ファイルを読み書きするエンジンのアップグレードを完了させる必要があります）。

データウェアハウス優先の設計は、データ使用効率、大規模データ管理、セキュリティとコンプライアンスといった企業レベルの成長要件をより重視しています。データは統一されたオープンなサービスインターフェイスを通じてデータウェアハウスに取り込まれ、通常は事前定義されたスキーマを持ち、ユーザーはデータサービスインターフェイスまたは計算エンジンを通じて分散ストレージシステム内のファイルにアクセスします。データウェアハウス優先の設計は、データアクセスインターフェイス、権限管理、データ自体を抽象化することで、より高いパフォーマンス（ストレージと計算の両方）、閉ループのセキュリティシステム、データガバナンス機能を実現します。これらの機能は企業の長期的なビッグデータ活用にとって不可欠であり、私たちはこれを成長と呼んでいます。

4. 湖倉一体

湖倉一体とは、データウェアハウスとデータレイクの 2 つのシステムを連携させ、データとコンピューティングがレイクとウェアハウス間を自由に流通できるようにすることで、完全で有機的なビッグデータ技術エコシステムを構築することを意味します。

Alibaba Cloud 湖倉一体ソリューション：

Alibaba Cloud MaxCompute は、従来のデータウェアハウスアーキテクチャを基盤に、オープンソースデータレイクとクラウドベースのデータレイクを統合し、湖倉一体の全体アーキテクチャを実現しています。このアーキテクチャでは、複数の基盤ストレージシステムが共存していますが、統一されたストレージアクセス層と統一されたメタデータ管理を通じて、上層エンジンに統合カプセル化インターフェイスを提供し、ユーザーはデータウェアハウスとデータレイクのテーブルを連携クエリできます。全体アーキテクチャは、統一されたデータセキュリティ、管理、ガバナンス機能も備えています。

MaxCompute の湖倉一体技術を基盤に、DataWorks はレイクとウェアハウスの 2 つのシステムをさらにカプセル化し、レイクとウェアハウスの異種クラスター情報を隠蔽して、統合ビッグデータミドルエンドを構築します。これにより、レイクとウェアハウス間で 1 セットのデータと 1 セットのタスクによるシームレスなスケジューリングと管理を実現します。企業は湖倉一体の統合データミドルオフィス機能を活用してデータ管理構造を最適化し、データレイクとデータウェアハウスそれぞれの利点を完全に融合させることができます。データレイクを一元的な生データストレージとして活用し、データレイクの柔軟性とオープン性を活かします。湖倉一体技術を通じて、本番指向の高頻度データとタスクをデータウェアハウスにシームレスにディスパッチし、より優れたパフォーマンスとコスト効率、そして今後の本番向けデータガバナンスと最適化を実現します。効率と効果の最適なバランスを見出します。

総じて、MaxCompute を中心とした湖倉一体の統合は、企業により柔軟で効率的かつ経済的なデータプラットフォームソリューションを提供します。新規ビッグデータプラットフォームを構築する企業にも、既存ビッグデータプラットフォームのアーキテクチャをアップグレードする企業にも適用でき、既存の投資を保護しつつ、資産のリターンを実現できます。