Cloud-lake symbiosis, the next generation of the data lake is coming?

はじめに：アプリケーション志向でデータの価値を提示する、Alibaba Cloud のデータレイクにおける革新的な実践。迅速なデータインサイトとデータ出力の反復をサポートします。

データレイクは新しい概念ではありません。最近、ますます多くの人々に言及されるようになり、新たな注目の的として大きな話題を集めています。
今年の Yunqi カンファレンスでは、クラウドネイティブデータレイクシステムが正式にオンラインリリースされ、企業から注目を集めました。2020 年という特殊な時期でなければ、10 月 23 日に開催されたオフラインの「データレイクサミットフォーラム」の規模は数倍大きかったと推測されます。
会場では、企業ユーザーが率直に課題を語り、最新のビッグデータ技術革新とその背後にあるアーキテクチャの進化が、自社のコア競争力とアジリティの向上にどのような変化をもたらすのかに大きな期待を寄せていました。
このとき、Alibaba Cloud がリリースした業界初のクラウドネイティブなエンタープライズ向けデータレイクソリューションが、新たな選択肢となりました。このソリューションは今年の独身の日で大規模に活用され、アリババ経済圏と数百万のお客様のクラウドへの完全移行をサポートしています。


データの価値の二極化

2020 年、データ量は爆発的に増え続け、デジタルトランスフォーメーションが再び業界の注目分野となりました。クラウドコンピューティング、ビッグデータ、AI を基盤とする「新インフラ」がもたらす社会的効果を、私たちは実感しています。
データにはさらなる深い価値のマイニングが必要です。Chen Qikun の視点では、データの価値は二極化の特徴を示しています。一つはタイムリーな発見とリアルタイム分析によるビジネス開発の迅速な推進、もう一つは法則性の分析と統合的な価値の抽出によるビジネス開発への参考提供です。
従来のコンピューティングとストレージが結合したアーキテクチャでは、リソース使用率が非常に低くなります。データは継続的に蓄積・増加しますが、コンピューティングパワーの需要にはピークと谷があるかもしれません。より多くのデータを保存するために、より多くのコンピューティングリソースを購入する必要があり、拡張時には両方を一緒に拡張しなければならないため、安定性の最適化が難しく、2 つのリソースを独立して拡張できず、コストも最適化されません。
従来のアーキテクチャでは、元のデータは HDFS システムに一元保存され、エンジンは主に Hadoop と Spark です。オープンソースソフトウェア自体の制限により、従来の技術はデータサイズ、ストレージコスト、クエリパフォーマンス、エラスティックコンピューティング、アーキテクチャのアップグレードなど、エンタープライズユーザーのニーズを満たすことができません。


次世代データレイクの再定義

データレイクの概念は長い間存在してきましたが、最近特に注目されている重要な理由はアプリケーション要件の進化にあります。エンタープライズビジネスの発展に伴い、データストレージコストの削減、データ資産管理の精緻化、メタデータの共有、リアルタイムのデータ更新頻度の向上、より強力なデータアクセスツールへのニーズが高まる中、Alibaba Cloud はクラウドネイティブなエンタープライズ向けデータレイクソリューションを正式にリリースしました。

データレイク統合ストレージは、HDFS をクラウドオブジェクトストレージ OSS に置き換え、データ規模の拡大、ストレージコストの削減、コンピューティングとストレージの分離アーキテクチャを実現します。
Data Lake Formation (DLF) サービスは、統合メタデータと統合権限管理を提供し、複数のエンジンへのアクセスをサポートします。
Spark on EMR などコンピューティングエンジンのクラウドネイティブ化により、エラスティックコンピューティングリソースをより有効に活用できます。
DataWorks は、クラウド上のデータ開発・ガバナンスプラットフォームとして、データレイクのメタデータガバナンス、データ統合、データ開発などの課題を解決します。
1.jpg

Chen Qikun の視点では、Alibaba Cloud のクラウドネイティブデータレイクソリューションは次世代データレイクシステムを再定義し、よりエンタープライズ向けの特徴を備えています。
まず、モバイルインターネットや IoT サービスのコア本番環境を支える必要があります。企業にとって、新しいインターネットアプリケーションの本番環境はエンタープライズグレードの本番環境でなければなりません。モバイルアプリケーションやソーシャルメディアアプリケーションが生成する PB レベルのデータを分析エンジンに移動してリアルタイム分析することは不可能であり、ビッグデータ分析は本番環境で実行される必要があります。
次に、エクサバイトレベルのデータを収容するデータレイクが必要です。Alibaba Cloud Object Storage Service (OSS) をビッグデータストレージとして使用すれば、大規模ファイルの瞬時リネームやキャッシュアクセラレーションなども問題ありません。
同時に、ビジネスと強く結びついたデータのリアルタイム分析を実現するには、エラスティックなコンピューティングパワーとエラスティックパフォーマンス SLA の保証が必要です。Alibaba Cloud OSS はデータレイクの統合ストレージレイヤーであり、分離されたストレージとコンピューティングのアーキテクチャにより、さまざまなコンピューティングエンジンを選択しつつ、あらゆる規模のデータを保存できるため、OSS を基盤としたデータレイク構築に最適です。
さらに、このフォーラムでは Alibaba Cloud から OSS アクセラレータもリリースされました。従来のクラスタベースのセルフビルドキャッシュとは異なり、OSS アクセラレータはエラスティックにスケーラブルです。1 TB あたり 200 MBps のスループットを提供し、線形に拡張でき、いつでも有効化できます。同時に、OSS のインテリジェントメタデータアーキテクチャに基づき、OSS アクセラレータは従来のキャッシュソリューションにはない一貫性を提供します。OSS 上のファイルが更新されると、アクセラレータは自動的にそれを識別し、エンジンが最新のデータを読み取ることを保証します。
また、安全なストレージと統合管理で、ビジネスセキュリティとデータセキュリティを確保する必要があります。Alibaba Cloud のフルリンク暗号化、クラウド上の多層保護、組み込みの防御機能により、クラウド上のデータセキュリティを確保できます。さらに、グローバルにデプロイされたクラスタ、エンドツーエンドの CRC、積極的なトラブルシューティングのためのハードウェア機能により、インターネットアプリケーションの本番環境でのビジネスセキュリティを保証します。


管理し、活用し、使いこなす

データがどこにあるか、分析がどこで行われるか、データをどのように保存・分析し、データから法則と価値を抽出するか。Alibaba Group 副社長兼 Alibaba Cloud インテリジェントコンピューティングプラットフォーム事業部長の Jia Yangqing は、管理し、活用し、使いこなすことが Alibaba Cloud データレイクシステムのコアであり、これは現場のお客様の実際のニーズから生まれたものだと考えています。

3.jpg

データ管理とは、OSS を通じてデータレイクを構築することです。メタデータを管理することで、データの所在を把握できます。将来の大量データに対応するデータレイクシナリオにおいて、オブジェクトストレージ OSS は大規模で効率的かつ安全なデータレイク構築に最適です。
データ活用には、従来のオープンソースエンジンであれ、Alibaba Cloud が自社アプリケーションを通じて構築した水平コンピューティングエンジンであれ、さまざまなコンピューティングエンジンが必要です。これらはビジネスアプリケーションや各種コンピューティング・分析プラットフォームに接続し、ユーザーがデータをより簡単に利用できるようにします。
データレイクの連携は、主にメタデータとストレージエンジンの 2 つの側面に表れます。メタデータはすべてのユーザーが共有し、統合メタデータアクセスインターフェイスを提供します。各エンジンはカスタマイズされたメタデータアクセスクライアントを使用してメタデータにアクセスします。メタデータサービスは各ユーザーにテナント分離の保証と認証サービスを提供します。
Alibaba Cloud データレイク OSS とデータウェアハウス MaxCompute は、企業が求めるレイクハウス統合ソリューションを迅速に実現し、データレイクとデータウェアハウス間のシームレスなフロー、統合されたインテリジェント管理とスケジューリングを実現し、データストレージとコンピューティングの差異を橋渡しします。プラットフォームレベルでは、サービス能力が大幅に向上し、質の高いデータを真に活用できます。


クラウドネイティブへの完全進化

Alibaba Group 副社長兼 Alibaba Cloud インテリジェントデータベースプロダクト事業部長の Li Feifei は、従来の自社構築データ分析システム、従来のビッグデータプラットフォーム、従来のデータウェアハウス、従来の分析データベースという観点から、究極の柔軟性、低コスト、サービスという 3 つのキーワードで定義されるクラウドネイティブデータベース時代へ移行していると捉えています。
具体的には、サーバーレス、ストレージとコンピューティングの分離、リソースプーリング、コンテナ化デプロイなどの技術を統合し、クラウドネイティブなデータサービスを提供することで、お客様にとっての導入のハードルと学習コストを低減します。

4.jpg

従来のビッグデータソリューションとは異なり、サーバーレス技術はワンクリックレイク構築、管理、レイク構築、コンピューティングと分析の統合サービスを提供します。DLA を使用して OSS と連携し、オープンストレージサービスとオープン分析・コンピューティングサービスを提供します。ワンクリックレイク構築の手法で複数のデータソースにアクセスし、元のデータを自動的に発見・管理し、OSS で低コスト、高性能、強固なセキュリティを備えたクラウドネイティブなストレージ機能を提供し、データレイク管理とキャッシュアクセラレーションでコミュニティの機能を活用します。キャッシュアクセラレーションの機能により、Spark と Crystal エンジンを統合してインタラクティブなクエリと複雑な ETL 計算・分析を提供します。
サーバーレス方式でコンピューティングリソースを呼び出すことで、企業は DLA の使用時に複数の異種データの自動管理と自動発見を真に実現し、必要量に応じてリソースを割り当て、コストを可能な限り削減できます。

5.jpg

現在、IT システムはコストセンターからイノベーションセンターへと変化しました。クラウドとデータレイクの共生は、次世代データレイク 2.0 のアーキテクチャです。有名な英語学習プラットフォーム Liulishuo は 2016 年に効率的な AI 英語教師を立ち上げました。Liulishuo が独自開発した APP のカスタマイズセクションでは、人工知能コースの形式で提供されています。AI ディープラーニングに基づくアダプティブコースシステムは、ユーザーに体系的な英語学習ソリューションを提供します。2020 年 6 月 30 日時点で、記録された文の数は累計約 504 億に達し、ユーザーの音声練習時間は累計 37 億分に達しました。
このような大規模な音声データの課題に直面し、Liulishuo は Alibaba Cloud 上で OSS を基盤としたアーキテクチャを設計し、シンプルで効率的なデータストレージソリューションを確保しました。Alibaba Cloud のデータレイクアーキテクチャに基づき、効率的にデータレイクシステムを構築し、データ反復全体をサポートしています。
Alibaba Cloud データレイクソリューションに基づき、有名な国内ソーシャルゲーム企業はログサービス SLS を通じてグローバルデータをリアルタイムで収集・処理し、OSS に統合ストレージとして配信しました。OSS の大規模なエラスティック容量を活用してホット/コールド階層化を行い、OSS を EMR と DLA に接続し、ストレージとコンピューティングの分離によるビッグデータアーキテクチャを構築し、数千万のデイリーアクティブプレイヤー向けのインテリジェントレコメンデーションリンクのリアルタイム分析、リアルタイムチャネル統計、精緻な運営を実現し、企業のユーザーリテンション率を 30% 向上させました。
現在、数千の企業が Alibaba Cloud 上でクラウドデータレイクを構築しています。データレイクはビッグデータのストレージ、処理、分析のための進化的でスケーラブルなインフラであるべきです。あらゆる速度、あらゆる規模、あらゆるタイプのデータの完全取得、完全ストレージ、マルチモード処理、ライフサイクル全体の管理、およびさまざまな外部の異種データソースとのインタラクティブな統合を通じて、多様なエンタープライズレベルのアプリケーションをサポートします。
将来を見据えて、クラウドネイティブ企業であれば、ビッグデータ分析の配当を享受できます。より多くの企業にとって、クラウド移行にはさまざまな段階があり、クラウド上のデータレイクとクラウド外のデータを接続する必要があります。ハイブリッドクラウドストレージや関連プロダクトを通じて、お客様のオンプレミスデータとパブリッククラウドのデータを接続し、クラウドで一元管理し、統一された階層化を行い、クラウド上のさまざまなコンピューティングエンジンに接続します。データドリブン時代において、Alibaba Cloud はお客様の迅速な反復と協調的イノベーションを支援します。