データレイクとは | データレイクの基本アーキテクチャ

現在、データレイクの概念が非常に注目されています。データレイクの構築方法、Alibaba Cloud に成熟したデータレイクソリューションがあるか、Alibaba Cloud のデータレイクソリューションが実際に導入されているか、データレイクとビッグデータプラットフォームの違いは何かといった議論が活発に行われています。本シリーズではデータレイクを解説します。

本記事の内容は以下の通りです。
1. データレイクとは
2. データレイクの基本アーキテクチャ
3. クラウドベースのデータレイクフレームワーク

次の記事では、データレイクとデータウェアハウスの違いを紹介します。

1. データレイクとは

データレイクの構築を計画する前に、データレイクとは何かを理解し、データレイクプロジェクトの基本構成要素を明確にした上で、データレイクの基本アーキテクチャを設計することが非常に重要です。

データレイクは、複数のデータ入力方法に接続できる統合ストレージプールです。あらゆる規模の構造化データ、半構造化データ、非構造化データを保存できます。データレイクはさまざまなコンピューティング・分析プラットフォームとシームレスに連携し、データを直接処理・分析してデータサイロを解消し、ビジネス価値へのインサイトを得ることができます。同時に、ホットレイヤーとコールドレイヤー間のデータ変換機能を提供し、データのライフサイクル全体をカバーします。

データレイクの定義は多数ありますが、基本的には以下の特性を中心に展開されます。
(1) データレイクには、企業/組織内のすべてのデータを保存する十分なデータストレージ容量が必要です。
(2) データレイクは、構造化データ、半構造化データ、非構造化データを含む、あらゆるタイプの大量データを保存できます。
(3) データレイク内のデータは元のデータであり、ビジネスデータの完全なコピーです。データレイク内のデータは、業務システムにあった元の状態を保持します。
(4) データレイクには、完全なデータ管理機能（充実したメタデータ）が必要です。データソース、データフォーマット、接続情報、データスキーマ、権限管理を含む、データ関連の各種要素を管理できなければなりません。
(5) データレイクには、バッチ処理、ストリーム処理、インタラクティブ分析、機械学習を含む（ただしこれに限定されない）多様な分析機能が必要です。同時に、タスクスケジューリングと管理機能も提供する必要があります。
(6) データレイクには、完全なデータライフサイクル管理機能が必要です。元のデータだけでなく、さまざまな分析・処理の中間結果も保存でき、データの分析・処理過程を完全に記録し、ユーザーがあらゆるデータの生成過程を完全かつ詳細に追跡できるようにする必要があります。
(7) データレイクには、完全なデータ取得とデータリリース機能が必要です。複数のデータソースをサポートし、関連データソースからフルデータ/増分データを取得し、標準化して保存する必要があります。データレイクは、データ分析・処理の結果を適切なストレージエンジンにプッシュし、異なるアプリケーションのアクセス要件を満たすことができます。
(8) ビッグデータサポート。超大規模ストレージとスケーラブルな大規模データ処理能力を含みます。

したがって、データレイクはビッグデータのストレージ、処理、分析のための、進化し続けるスケーラブルなインフラストラクチャであるべきです。データ指向で、あらゆるソース、あらゆる速度、あらゆる規模、あらゆるタイプのデータを完全に取り込み、マルチモード処理と完全なライフサイクル管理を実現し、さまざまな外部の異種データソースとの連携を通じて、多様なエンタープライズアプリケーションをサポートします。

2. データレイクの基本アーキテクチャ

データレイクはフラットアーキテクチャを採用しています。データは構造化、半構造化、非構造化を問わず、組織内のさまざまなソースから収集されるのに対し、データウェアハウスはファイルやフォルダにデータを保存します。データレイクはオンプレミスまたはクラウドでホストできます。

アーキテクチャの特性により、データレイクはエクサバイト規模まで大規模に拡張できます。これは重要な点です。データレイクを構築する際、どの程度のデータ容量が必要になるか分からないことが多いためです。従来のデータストレージシステムでは、このような拡張はできません。

このアーキテクチャは、データサイエンティストにとって大きな利点となります。企業データを探索・発掘し、異なるドメインの異種データを含めてデータを共有・クロスリファレンスし、問いを立てて新しい分析を発見できます。ビッグデータ分析や機械学習を活用してデータレイク内のデータを分析することも可能です。

データはデータレイクに保存される前に固定されたパターンを持たないかもしれませんが、データガバナンスによりデータスワンプを効果的に回避できます。データはデータレイクに保存する際にメタデータとしてマークし、後続のアクセスを確保する必要があります。

3. クラウドベースのデータレイクフレームワーク

データレイクの基盤には、スケーラブルで耐久性のあるデータストレージ、データを収集・整理するメカニズム、データを処理・分析し、その知見を共有するツールが含まれます。そのため、ビッグデータが意味するあらゆるタイプのデータをサポートするため、最新のデータレイクに含めるべき主要技術に注目します。

クラウドには無限のリソースがあります。クラウドベースのサービスは、オンデマンドで数分または数秒以内にほぼ無限のリソースを提供できるため、データレイクに特に適しています。組織は使った分だけお支払いで、あらゆる規模のユーザーとワークロードをパフォーマンスを損なうことなく動的にサポートできます。

コストを節約し、データのためのクラウド技術に集中できます。クラウドベースのサービスは、高価なハードウェア、ソフトウェア、その他のインフラへの前払い投資を回避し、オンプレミスシステムの維持、更新、セキュリティ保護のコストも削減するソリューションを提供します。

クラウド技術には自然な統合ポイントが備わっています。分析したいデータの最大 80% は、ビジネスアプリケーションデータ、運用データストア、クリックストリームデータ、ソーシャルメディアプラットフォーム、IoT デバイス、リアルタイムストリーミングデータに由来すると推定されています。このデータをクラウドに統合する方が、オンプレミスデータセンターを構築するよりもはるかに簡単で低コストです。

NoSQL を活用した組み込み。コンピュータやソーシャルメディアから生成されるデータを新しい形式で保存・分析し、組織のデータ分析を充実・拡大できる技術を説明します。従来のデータウェアハウスでは JSON、Avro、XML といった半構造化データや非構造化データを十分に処理できませんでしたが、近年これに対応する新しいシステムが登場しています。

既存のスキルと専門知識をサポート。Data Lake は、あらゆるタイプのデータを効率的に保存・処理する機能、データ管理、データ変換、統合、可視化、ビジネスインテリジェンス、標準 SQL データウェアハウスと簡単に連携できる分析ツールをサポートします。標準 SQL の確固たる地位は、多くの人々が既に SQL スキルを有していることも意味します。さらに他のプログラミング言語によるデータの抽出と分析も可能です。

クラウドが持つコスト、スケール、パフォーマンス、使いやすさ、セキュリティにおける本質的な利点は、データレイクの全体的な計画と成果に直接影響するため、明確に認識されるべきです。

クラウドとデータレイクの共存について詳しく知りたい方は、「2022 Alibaba Cloud グローバルオンラインデータレイクサミット」に参加して、最新のトレンドを学びましょう。