The integration of big data and artificial intelligence is an inevitable trend

Flink オープンソースコミュニティ「より良い方向へ」

一人のオープンソース技術愛好者の視点から、賈陽晴は Flink の 2020 年の発展を「より良い方向へ」と定義しました。これは主に以下の 3 つの側面に表れています。

技術。2020 年、Flink は 2 つの新たな技術的突破を達成しました。第一に、Flink のストリームバッチ統合技術が Alibaba の独身の日コアデータビジネスシナリオで大規模に実用化されました。第二に、Flink のリアルタイムコンピューティングのピーク値が初めて 1 秒あたり 40 億レコードを突破しました。前年と比較して、クラスター規模を拡大することなく、コンピューティングパフォーマンスは 2 倍に向上しています。

アプリケーション。Flink はもはや高度な技術ではなく、オープンソースストリーム処理のデファクトスタンダードとなり、身近な存在となっています。たとえば、中国情報通信研究院は Flink を技術設計図としてストリーム処理標準を策定し、Alibaba Cloud をはじめとするクラウドコンピューティング企業は Flink をストリーム処理の基盤エンジンとして採用しています。

コミュニティ。Flink オープンソースコミュニティは急速に成長し、Apache で最も活発なメーリングリストのトップに達しました。Flink プロジェクトは、GitHub で最も貢献数の多い Apache プロジェクトの一つです。昨年、Flink Forward Asia の参加者は 2,000 人に達し、Flink Geek Challenge には 4,000 人以上の開発者が参加しました。オープンソース技術に情熱を注ぎ、果敢に挑戦する精神を持つ開発者がますます増えています。

オープンソースがクラウドをより標準的にする
賈陽晴は、オープンソースがクラウドをより標準的にすると考えています。クラウドコンピューティングはますます標準化されており、これは自身の発展に非常に有益です。クラウド上の開発技術体系がますます一貫したものになってきており、多くのクラウドコンピューティング開発者にとって、この体系を習得した後にアプリケーションをクラウドの一部として統合することが容易になっています。

オープンソースは、Alibaba Cloud が独自の技術体系から脱却し、ユーザーの既存の利用習慣を十分に尊重した上で、標準的でオープンかつ公開された技術体系を形成するのに役立っています。単一の企業が標準を設定することは非常に困難です。

Alibaba Cloud にとってオープンソースはどのような意味を持つのでしょうか。賈陽晴は以下の 3 点を挙げました。

組織的な取り組みとしては、Alibaba Group が昨年オープンソース技術委員会を設立し、グループレベルで Alibaba のオープンソース技術戦略の実施を統一的に推進しています。

参画の観点からは、Alibaba Group は創業当初からオープンソース技術を幅広く活用して独自の技術体系を構築してきました。Alibaba Cloud コンピューティングプラットフォーム事業部のビッグデータプロダクトを例に挙げると、リアルタイムコンピューティング Flink は Hadoop/K8S エコシステムの技術を活用し、機械学習 PAI も TensorFlow などのオープンソースディープラーニングフレームワークを採用しています。

貢献の観点からは、Alibaba Group はオープンソースコミュニティに継続的に貢献しています。Flink 技術コミュニティを例にとると、昨年だけでも Alibaba Cloud は Apache Flink コミュニティに数百万行のコードを貢献しました。現在、グループ全体で 1,000 以上のオープンソースプロジェクトを有し、ビッグデータ、AI、クラウドネイティブ、データベース、ミドルウェア、ハードウェアなどの分野をカバーしています。世界中で 70 万以上の開発者が GitHub でアリババのプロジェクトにスターを付け、数多くの熱心なファンがプロジェクトに貢献しています。

「融合」を受け入れることがビッグデータ進化の新方向
賈陽晴は、クラウドの 3 大発展トレンドとして、IT インフラのクラウド化、コア技術のインターネット化、アプリケーションのデジタル化とインテリジェンス化を挙げています。これこそがクラウドのコアバリューです。

企業が IT をクラウドに移行し、ビジネスをインターネット化した後、アプリケーションは必然的にプロセス駆動型からデータ駆動型へ変化し、デジタル化とインテリジェンス化を実現します。クラウドコンピューティングと基盤 IaaS 技術はインフラの成熟度、安定性、価格を競っており、上位の PaaS 技術はデータ能力とインテリジェンス能力を競っています。

現在、データベースや IoT を含む広範なビッグデータは、まだ基礎的な利用段階にあり、より高度なビッグデータと AI の能力を統合する必要があります。

したがって、「融合」を受け入れることがビッグデータ進化の新たな方向性であり、ビッグデータと人工知能の融合はビッグデータ発展の必然的な方向であり、人工知能こそがビッグデータビジネスの究極の帰着点です。

AI があってこそ、ビッグデータは真のビジネス価値を発揮できます。Alibaba Cloud のビッグデータがコア競争力を持つ理由は、ビッグデータが AI 能力と組み合わされたビッグデータ、すなわちインテリジェントなアップグレードを施したビッグデータだからです。たとえば Flink と Alink の統合により、Flink はストリームバッチ統合処理能力を提供するだけでなく、オープンソースの Alink 機械学習アルゴリズムライブラリを活用して、Flink のビッグデータと人工知能の融合を実現できます。

今後、社会経済はインターネットとさらに融合し、企業や組織のビジネスも完全にインターネットビジネスへ移行していきます。企業が IT インフラだけでは不十分であり、アプリケーションもプロセス駆動からデータインテリジェンス駆動へ移行する必要があります。Alibaba Cloud コンピューティングプラットフォーム事業部は、フルスタックのビッグデータ技術力を提供し、世界トップクラスの AI 技術を提供することで、デジタル化とインテリジェンス化を実現します。