The original intention and persistence of open-source code setters in the cloud native era

Alibaba Cloud はこのほど、Celeborn プロジェクト (旧 EMR Remote Shuffle Service プロジェクト) を Apache インキュベーターに寄付しました。これは Alibaba Cloud で誕生した初の Apache インキュベーションプロジェクトでもあります。Alibaba Cloud のオープンソースビッグデータプラットフォームである EMR は、Hadoop、Spark、Flink、Kafka などの業界主要オープンソースビッグデータコンポーネントを Alibaba Cloud 上で実行でき、非常に低い導入障壁で簡単に利用できるオープンソースビッグデータサービス群を提供します。

クラウドネイティブアーキテクチャとその理念も強化・推進されています。たとえば、ストレージとコンピューティングの分離はクラウド独自のアーキテクチャ特性です。この技術的背景のもと、Hive、Spark、Flink などにデータシャッフルのニーズがあることがわかりました。そこで、Alibaba Cloud はリモートシャッフルサービスを提供し、一組のデータシャッフルでさまざまなビッグデータコンピューティングエンジンをサポートしています。

これこそクラウドがもたらす変革です。クラウドとオープンソースの組み合わせは化学反応を生み出します。Remote Shuffle Service プロジェクトの誕生後、NetEase などを中心とする多くの企業が共同構築に参加し、2021 年 12 月にプロジェクトがオープンソース化されました。より多くの企業に共同構築へ参加してもらい、プロジェクトの影響力を高めるため、Apache Foundation への寄付を決定しました。インキュベータープロジェクトからスタートし、将来的には Apache トッププロジェクトになることを目指しています。

クラウドはエラスティックリソースを提供し、ユーザーは大きな自由度を持ってビジネスを実行し、コンピューティング能力を最大限に発揮できます。デジタルビジネス、データ分析、データベース、AI、SaaS、PaaS などの業務をクラウド上で簡単に実行できます。しかし、オープンソースソフトウェアの実行には大量の環境構築、ハードウェア、パラメーター設定が必要であり、一定の導入障壁があります。

クラウドの登場はオープンソースの台頭を後押ししました。クラウド上ではリソースをより簡単に入手できるからです。クラウドの弾力性はオンデマンドでの利用と購入のニーズに応え、オープンソースソフトウェアも簡単にデプロイできます。クラウドはオープンソースソフトウェアの運用基盤となります。たとえば、EMR を使えば 3 分以内に 100 ノードのクラスターを作成でき、Hadoop、Spark、Flink、Kafka などの主要オープンソースコンポーネントを利用でき、運用保守、デプロイ、管理、モニタリング、利用、開発といった一連の工程を簡単に実現できます。

クラウドはオープンソースソフトウェアの運用をより普遍的なものにし、クラウドとオープンソースの関係はデジタル経済全体の発展とデジタルトランスフォーメーションを推進しています。さらに、クラウドは PAI DSW による一貫したノートブック開発環境を提供します。クラウドはオープンソースに良好なビジネスモデルをもたらし、より多くの人々に利益をもたらします。同時に、オープンソースを通じて独自のビジネスモデルを構築し、より多くのリソースを得てオープンソースコミュニティに還元し、正の循環を形成します。つまり、クラウド上でオープンソースソフトウェアを実行し、オープンソースソフトウェアの商用サービスを提供することで、クラウドとオープンソースの双方がより良く機能し、オープンソースの発展も促進されます。

Alibaba はオープンソースに対して多大な貢献を行ってきました。3,000 以上のオープンソースプロジェクト、30,000 人以上の外部コントリビューターを擁し、100 以上のオープンソースコミュニティと連携して、業界のオープンソースプロジェクトとオープンソース文化の発展を共同で推進しています。

(上記の数字はすべてクラウド生まれ・クラウド育ちのオープンソースプロジェクトです)

Alibaba Lingjie AI オープンソースファミリーはオープンソースのスタイルを採用し、オーディオ・ビデオ、自動運転、検索とレコメンデーション、OCR 文字認識、金融クオンツ、スマートシティーのインテリジェント交通スケジューリングなど、さまざまな業界や分野で多くの実装を達成しています。

コアエンジニアリングプラットフォームである PAI 機械学習プラットフォームもオープンソース技術を積極的に取り入れ、業界主流の TensorFlow、PyTouch などの国際標準、および PaddlePaddle、MindSpot、OneFlow などの国内主流 AI フレームワークと完全に互換です。同時に、Deep シリーズ、Blade シリーズのコンパイル最適化、AI アルゴリズム最適化、アルゴリズムフレームワーク最適化、AI エンジン最適化、AI コンパイル最適化など、多くの最適化を実現しており、これらの最適化の多くも完全にオープンソース化されています。Alibaba の AI リンクは、基盤プラットフォームから上位アプリケーションまで、すべてオープンソース技術スタックに基づいて構築されており、全プロセスでオープンソース文化を実践しています。

Flink はリアルタイムコンピューティングの標準となっています。国内のさまざまなインターネット企業、金融企業、伝統産業企業がリアルタイムストリームコンピューティング分析に Flink を幅広く使用しており、多くの海外企業もリアルタイム分析に Apache Flink を使用しています。

2015 年、タオバオは大きなデータ課題に直面していました。ユーザーはショッピング体験に対して、商品や価格のリアルタイム更新、パーソナライズされたソートモデルやレコメンデーションモデルのリアルタイム更新など、新たな要求を次々と提示していました。特に独身の日のセール当日は運用戦略が非常に速く変化するため、ユーザーフィードバックと市場の変化に基づいてリアルタイムスケジューリングを行い、リアルタイム取引量を計算し、運用戦略を調整する必要がありました。そこで、Alibaba は独自のリアルタイムビッグデータエンジンを必要としました。総合的な検討の結果、オープンソースコミュニティに参画し、オープンソースの理念で次世代リアルタイムビッグデータコンピューティングプラットフォームを構築することを決定しました。そして、新興の Apache Flink を今後数年間のコア技術の礎として選択しました。

2017 年、オープンソースへの取り組みをさらに強化し、Alibaba 内の JStorm、Blink、Galaxy をオープンソースプロジェクトに統合し、Flink をリアルタイムコンピューティングの将来のコアエンジンとして採用しました。それ以来、Alibaba はすべてのリアルタイムビッグデータ分析とストリーミングビッグデータ分析を Flink 中心に構築しています。2017 年にはグループ全体のリアルタイムコンピューティングを段階的に統一し、Flink コミュニティへの投資を増やし、2018 年には蓄積したすべての機能をクラウド上にデプロイして、Flink ベースのビッグデータサービスを提供しました。

2016 年からコミュニティ構築への投資を開始しました。2017 年と 2018 年には、ヨーロッパとアメリカの Flink コミュニティカンファレンスに参加し、中国での Flink コミュニティの成長を継続的に推進しました。2019 年、Alibaba は Flink の背後にある商業企業を完全買収し、コミュニティ開発を全面的に支援しました。2020 年から 2021 年にかけて 2 年間の継続的な投資を経て、中国で約 100 回のオンラインおよびオフラインの Flink MeetUp と Flink Forward カンファレンスを開催し、多大な人的資源、物資、エネルギーを投じました。Alibaba は商業化やリターンを考慮せず、Flink を Apache コミュニティで最高のプロジェクトの一つにすることを堅く推進してきました。さらに重要なのは、これらの年の成果はオープンソース愛好家とオープンソース文化の実践者の推進なくしては成し得なかったということです。

現在、Flink コミュニティには世界中で 1,500 人以上の開発者がおり、3 年間で倍増しました。GitHub のスター数は 20,000 に近く、3 年間で 3 倍に増加し、コミュニティ内でトップクラスの位置にあります。

Alibaba の継続的な投資により、Flink の主要指標はコミュニティでトップ 1 またはトップ 2 の位置に達しました。オープンソースへの堅実な投資は、中国チームが国際プロジェクトで活躍できることを証明しており、非常に誇らしいことです。

継続的な進化と技術革新を通じて、Flink コミュニティは Java API から SQL API へと発展し、開発をよりシンプルに、導入障壁をより低くし、より多くの人々が利用できるようになりました。その後、CDC が導入され、データの統合がより良くなりました。Flink ML をリリースし、機械学習との連携を強化しました。ストリーミングバッチデータを保存するテーブルストアを導入し、次世代ストリーミングデータウェアハウスアーキテクチャの構築にも取り組んでいます。

Alibaba は技術革新を惜しみなくコミュニティに公開し、より多くの開発者に利益をもたらし、より多くの開発者を惹きつけてコミュニティの発展を推進することを期待しています。

Lingjie システムは AI のオープンソースの代表、Flink はビッグデータのオープンソースの代表、そして SREWorks プロジェクトは 10 年以上にわたって蓄積されたビッグデータと AI の運用保守能力の集大成であり、これもオープンソース化されています。SREWorks はワンストップの運用保守サービススイートの管理を提供します。デリバリー、運用保守、管理、モニタリング、運用、データアセットなどの機能を SREWorks オープンソースプロジェクトを通じて実現できます。

多くのオープンソースプロジェクトの背後には、オープンソースに大きな情熱を持つ従業員と開発者のグループがいます。私たちには無限の情熱があります。機械学習チーム、ビッグデータチーム、欧米チームなど、国際的なクロスチーム交流を含む定期的なオープンソース技術共有を行っています。コミュニティミートアップや、さまざまな企業との交流もあります。これはオープンソースプロジェクトの完全な実施を保証するものでもあります。

現在、チームは 10 以上の Apache トップオープンソースプロジェクトに参加・貢献し、50 人以上のトップオープンソースコミッターと PMC を育成し、150 万行のオープンソースコードを貢献しました。チームメンバーは蓄積した業務経験と技術をオープンソースコミュニティに真に貢献し、より多くの企業に提供しています。より多くの方々にオープンソースコミュニティの構築に参加していただけることを願っています。