分散 Argo ワークフロー用の Kubernetes クラスター (ワークフロークラスターまたは Serverless Argo Workflows) は、サーバーレスアーキテクチャにデプロイされます。このクラスタータイプは、Alibaba Cloud Container Compute Service (ACS) または Elastic Container Instance (ECI) を使用して Argo ワークフローを実行します。オープンソースの Workflow Engine のパフォーマンスを最適化し、クラスター構成を調整して、大規模なワークフローの効率的で弾力的で費用対効果の高いスケジューリングを実現します。さらに、BestEffort インスタンスまたはプリエンプティブル Elastic Container Instance を活用してコストを最適化します。このトピックでは、ワークフロークラスターのコンソール、利点、アーキテクチャ、およびネットワーク設計について説明します。
コンソール
シナリオ
Argo Workflows は、強力なクラウドネイティブのワークフローエンジンであり、Cloud Native Computing Foundation (CNCF) の graduated プロジェクトです。卒業は、プロジェクトがユーザー採用、セキュリティ、および広範な使用において最高の成熟度レベルに達していることを示します。その主なユースケースには、バッチデータ処理、機械学習パイプライン、インフラストラクチャの自動化、CI/CD パイプラインなどがあります。自動運転、科学計算、金融クオンツ、デジタルメディアなどの業界で広く実装されています。
Argo Workflows は、次の主な特徴により、バッチタスクのオーケストレーションの分野で際立っています。
クラウドネイティブ: Kubernetes 専用に設計されており、各タスクは Pod であるため、Kubernetes で最も人気のあるワークフローエンジンとなっています。
軽量でスケーラブル: VM のオーバーヘッドがなく軽量です。弾力的にスケーラブルで、何千ものタスクを並行して起動できます。
強力なオーケストレーション機能: 通常のジョブ、Spark ジョブ、Ray ジョブ、Tensor ジョブなど、さまざまなタイプのタスクをオーケストレーションできます。
Serverless Argo Workflows の利点
ワークフロークラスターは、オープンソースの Argo Workflows に基づいて開発されており、オープンソースのワークフローの標準に準拠しています。既存の Container Service for Kubernetes (ACK) クラスターまたは Kubernetes クラスターで Argo ワークフローを実行している場合、ワークフローを変更することなく、クラスターをワークフロークラスターにシームレスにスペックアップできます。
ワークフロークラスターを使用すると、ワークフローのオーケストレーションを簡単に管理し、各ワークフローステップをコンテナーで実行できます。これにより、高効率の CI/CD パイプラインが構築され、機械学習やデータ処理ジョブなどの計算集約型のジョブのために多くのコンテナーを迅速に起動できます。
ワークフロークラスターは、オープンソースの Argo Workflows に基づいて開発されています。Argo ワークフローを実行する Kubernetes クラスターを、ワークフローを変更することなくワークフロークラスターにシームレスにスペックアップできます。
ワークフロークラスターはすぐに使用でき、運用オーバーヘッドがゼロで、バージョンのスペックアップを気にすることなくワークフロー開発に集中できます。
ワークフロークラスターは、極めて高い弾力性と自動スケーリング機能を提供します。リソースは使用後に解放され、計算コストを最小限に抑えます。
ワークフロークラスターは、高いスケジューリング信頼性とマルチゾーンの負荷分散をサポートします。
ワークフロークラスターは、パフォーマンス、効率、安定性、および可観測性が最適化されたコントロールプレーンを使用します。
ワークフロークラスターは、ラージオブジェクトのアップロード、アーティファクトのガベージコレクション (GC)、データストリーミングなどの強化された OSS 管理機能をサポートします。
コミュニティからの技術サポートを利用して、チームがワークフローを最適化し、パフォーマンスを効果的に向上させ、コストを削減するのを支援できます。
アーキテクチャ
ワークフロークラスターは、オープンソースの Argo Workflows をホストする Kubernetes クラスター上に構築されたサーバーレスワークフローエンジンです。
ネットワーク設計
ワークフロークラスターは、次のリージョンで利用できます: 中国 (北京)、中国 (杭州)、中国 (上海)、中国 (深圳)、中国 (張家口)、中国 (河源)、中国 (広州)、中国 (香港)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、日本 (東京)、ドイツ (フランクフルト)、英国 (ロンドン)、タイ (バンコク)。他のリージョンでワークフロークラスターを使用するには、DingTalk グループ 35688562 に参加して、プロダクト技術専門家から技術サポートを受けてください。
VPC を作成するか、既存の VPC を選択します。
vSwitch を作成するか、既存の vSwitch を選択します。
使用する vSwitch の CIDR ブロックが、Argo ワークフローに十分な IP アドレスを提供できることを確認してください。Argo ワークフローは多くの Pod を作成する場合があり、それぞれが vSwitch からの IP アドレスを必要とします。
選択したリージョンの各ゾーンに vSwitch を作成します。ワークフローエンジンを作成するときは、入力パラメーターで複数の vSwitch ID を指定します。作成後、ワークフローエンジンは、ワークフローを実行するための十分な在庫があるゾーンに ACS Pod または Elastic Container Instance を自動的に作成します。選択したリージョンのすべてのゾーンで ACS Pod または Elastic Container Instance の在庫がない場合、Elastic Container Instance を作成できないため、ワークフローを実行できません。