2022 Cloud Habitat Integration Big Data Intelligence Summit

今年のメイン技術フォーラムでは、人工知能分野におけるアルゴリズムの継続的な進化についてお話ししました。同時に、これらのインテリジェントアプリケーションが、逆にビッグデータの需要の爆発的な成長を牽引しています。本日のフォーラムでは、データの視点から、データとインテリジェンスの間に生まれるイノベーションのヒントを探っていきたいと思います。

ビッグデータという概念自体は決して新しいものではありません。1990 年代のリレーショナルデータベースの黎明期から、データ量とアプリケーションの増加に伴い、業界はビッグデータに関する方法論を体系的に考え始めました。その代表的なものが、データ分野でよく知られる 3 つの V、すなわち Volume（データ量）、Velocity（速度）、Variety（多様性）です。これらの方法論に基づき、ストレージ、コンピューティング、スケジューリング、サービスといった観点から優れたビッグデータシステムを構築する取り組みが進められてきました。

メインフォーラムでは、AI における「不可能な三角形」、つまり使いやすさ、スケール、効率性について触れましたが、この 3 つの課題はビッグデータの分野にも同様に存在しています。ビッグデータに置き換えて考えると、以下のような特徴が見えてきます。

まず、生産ツールの使いやすさです。データ自体は非常に「重厚」な存在であり、ビジネスと密接に関連するプラットフォームでもあるため、これまでは安全性と安定性に注目が集まりがちでした。それは間違いではありませんが、現在ではますます多くの意思決定にデータを活用する必要があります。では、どのようにしてより柔軟で使いやすいプラットフォームを構築し、データを利用する際に誰もが SQL を 1 行書くだけで済むようにするのか、あるいは SQL を書かずにビジネスの視点からデータのルールを把握できるようにするのか。これは使いやすさに関する課題です。

次に、大規模な生産性です。現在、さまざまなデータプラットフォームやデータウェアハウスが次々と登場しています。しかし、データアイランドやデータ効率の問題をどのように解決し、ビジネスの大規模な展開を確保しながらデータプラットフォームの複雑さとコストを大幅に削減するかは、非常に現実的なニーズです。Alibaba Cloud のビッグデータプラットフォームは、現在毎日 10 EB のコンピューティングをサポートしています。多くのお客様がスケールに関する課題に直面していると考えられます。

最後に、データの多様な活用が生産性の課題をもたらしています。企業にとって、データプラットフォームは常に計算処理を行っているように見えます。たとえば ETL、ストリームコンピューティング、OLAP などです。しかし問題は、これらの計算結果を実際に誰が確認しているのかということです。誰も確認しなければ無駄が生じるかもしれません。また、フルテーブルスキャンのように大量のリソースを使いながら実際には少量のデータしか処理していないタスクがないか、これはガバナンスの問題です。多くのアプリケーションに品質管理が必要なように、データにもガバナンスが必要です。生産効率は技術的な効率だけでなく、組織全体のガバナンスの効率も含んでいます。

では、Alibaba としてどのような取り組みを行ってきたのでしょうか。

Alibaba のビッグデータプラットフォームも、シンプルなオープンソース技術と単一技術から出発しました。当初は Hadoop クラスターと自社開発の ODPS を構築し、クラウドを通じてプラットフォーム効率を向上させました。企業内のデータを一元化することで、異なる事業部門間のデータの壁を解消し、ゼロから 1 へデータシステムを構築しました。

すべてのデータタスクを統合管理することで、極めて低いコストで継続的なビジネス成長を実現しています。この過程で多くのパフォーマンス課題にも直面しました。これらの課題は 2 つの側面から生じています。一方で、システムが大規模になると、SQL の実行速度向上、ストレージの最適化、ストレージとコンピューティングのレベル向上など、多くの内部改善が必要になります。

他方で、オフラインコンピューティングとリアルタイムコンピューティングといった多様なコンピューティングニーズがあります。前者はリソース利用率を追求し、後者は OLAP の効率を追求します。本日のゲストスピーカーは、より統合された設計を通じて、ニーズの多様化とコストの矛盾を技術的にどのように解決できるかについてお話しします。

最後は参入障壁を下げることです。データ開発とガバナンスは複雑な作業です。この点こそ、Alibaba Cloud が多くの海外データサービスプロバイダーと異なる点であり、優れた取り組みを行ってきました。たとえば 1 年前に知った Snowflake とは大きく異なり、Alibaba Cloud は完全な上位層の開発、運用保守、モデリング、ガバナンスシステムを提供しています。開発者の視点では、開発からシステムの運用保守までを一望でき、企業ガバナンスの視点では、各部門とビジネスのデータ管理とガバナンスの効率を把握できるため、データ開発をよりグローバルな視点で進めることができます。

ここまで比較的抽象的なお話をしましたが、具体的に現在どのようなプロダクト機能を提供しているのでしょうか。

まず、現在はオープンソースが大きなトレンドです。従来の Hadoop や Hive、現在の Spark やデータレイクアーキテクチャなど、どのような技術を使用していても、クラウド上でオープンソースと完全に整合する体験を提供し、さらにオープンソースソフトウェアを単に導入するだけでは得られない機能も備えています。端的に言えば、エンタープライズレベルの安定性、柔軟性、メンテナンスフリーです。現在、EMR、Flink、Elasticsearch などすべてのプロダクトでサーバーレス機能とマネージド基盤を提供し、インフラ管理の煩雑な作業から解放します。同時に、オープンソース分野でも多くの革新的な取り組みを行っています。たとえば最近 Apache Foundation に寄付した Celeborn プロジェクトは、データレイク上でのデータシャッフル時の多くのエンジンのパフォーマンスを大幅に向上させています。

次に、オフラインとスケールに特化した MaxCompute と、リアルタイムデータ分析とサービスに特化した Hologres で構成される統合型自社開発ビッグデータプラットフォーム ODPS を提供しています。現在、データプラットフォームの大きなトレンドは「自動運転」であり、ユーザーはデータがオフラインかリアルタイムテーブルか、エンジンと基盤ストレージがどのように接続されているかを意識する必要がありません。統一されたストレージ、統一されたメタデータ、統一された調整メカニズムで課題を解決します。同時に、湖倉統合を通じて、オープンソースデータレイクと自社開発データウェアハウスのシームレスな連携を実現しています。

さらに、多様なデータエンジンを基盤として、データ開発とガバナンスのためのプラットフォーム DataWorks を全面的にアップグレードしました。現在、DataWorks は複数の基盤エンジンをサポートし、業界の専門家がデータモデリングとガバナンスを活用して独自のデータミドルプラットフォームを迅速に構築できるように支援します。同時に、データミドルプラットフォーム上でデータヘルス分類などの一連の効率課題を発見し、ガバナンスを実施できます。さらに今年は、DataWorks の各エディションに対応する OpenAPI 機能を提供し、セカンダリ開発を容易にします。

現在明確なトレンドとして、従来のデータ分析と計算が依然として主流である一方で、AI 分野のデータアプリケーションが増加しています。たとえばディープラーニング、コンピュータービジョン、音声認識、Natural Language Processing (NLP) などでは非構造化データが頻繁に使用されます。同時に、インテリジェント検索やユーザーレコメンデーションなどのシナリオもデータと密接に連携しています。

本日、データレイクとデータウェアハウスを基盤として構築された AI プラットフォーム Platform for AI (PAI) は、ビッグデータと AI の統合に対応できます。たとえばメインフォーラムでリリースされたモデルオープンソースプラットフォーム ModelScope、自動運転分野のハイパフォーマンスコンピューティングソリューション、インテリジェントレコメンデーションとユーザーグロースのソリューションはいずれも PAI 上に構築されています。

最後に、これまでご紹介した各プロダクトの体系を 1 枚の全体像としてご覧いただけます。