Alibaba Cloud Container Service (ACS) および Elastic Container Instance (ECI) 上で、Argo ワークフローをサーバーレスで実行します。本サービスは、オープンソースエンジンと Kubernetes パラメーターを最適化し、大規模な弾力的なスケジューリングを効率的に実現します。また、BestEffort とプリエンプティブルインスタンスによるコスト最適化をサポートします。このトピックでは、ワークフロークラスターと主なメリットを紹介します。
コンソール
ユースケース
Argo Workflows は Cloud Native Computing Foundation (CNCF) の卒業プロジェクトです。これは CNCF の成熟度で最上位のティアにあたり、幅広い採用、セキュリティ、エコシステムの広がりを示します。また、Kubernetes 向けで最も人気のあるワークフローエンジンであり、自動運転、科学技術計算、クオンツファイナンス、デジタルメディアなどで利用されています。
ワークフロークラスターは、次の用途に最適です：
-
バッチデータ処理 — コンピューティングリソースを事前に割り当てることなく、数千の並列タスクを起動
-
機械学習パイプライン — 学習、評価、デプロイを Pod ワークフローとしてオーケストレーション
-
インフラストラクチャ自動化 — 複数ステップのプロビジョニングとティアダウンジョブを確実に連携
-
CI/CD パイプライン — 必要に応じてスケールアウトし、完了後にリソースを解放する高スループットなパイプラインを構築
Argo Workflows はバッチタスクオーケストレーションに優れています：
-
クラウドネイティブ — Kubernetes 向けに設計され、各タスクは Pod として実行
-
軽量かつスケーラブル — VM オーバーヘッドがなく、弾力的なスケーリングにより数千のタスクを並列で起動
-
強力なオーケストレーション — 単一のワークフローで、通常のジョブ、Spark ジョブ、Ray ジョブ、Tensor ジョブをサポート
ワークフロークラスターを使用する理由
ワークフロークラスターは オープンソースの Argo Workflows をベースにしており、API 互換性を完全に備えています。ACK または任意の Kubernetes クラスターは、変更なしで移行できます。
互換性に加えて、ワークフロークラスターは大規模運用における運用負荷を解消します：
-
インフラストラクチャ管理が不要 — クラスターはすぐに利用でき、自動バージョンアップグレードに対応しています。
-
自動リソース解放を伴う弾力的なスケーリング — 実行中にリソースをスケールアウトし、完了後に解放します。実際のコンピュート時間に対してのみ課金されます。
-
マルチゾーンの信頼性 — エンジンはアベイラビリティーゾーン間で Pod をスケジューリングし、ゾーン障害が発生してもワークフローの実行を継続します。
-
最適化されたコントロールプレーン — 大規模環境でのパフォーマンス、効率、安定性、可観測性に向けてチューニングされており、高負荷時でも一貫したスケジューリングを保証します。
-
強化された OSS アーティファクト管理 — 大容量アーティファクトをアップロードし、ステップ間でデータをストリーミングし、バケットポリシー管理を手動で行うことなく、アーティファクトのガベージコレクション (GC) の自動化を設定できます。
-
コミュニティ技術サポート — パイプラインのパフォーマンスとコストを最適化するための専門的なガイダンスを提供します。
アーキテクチャ
ワークフロークラスターは、Kubernetes 上に構築され、オープンソースの Argo Workflows を採用したサーバーレスのワークフローエンジンです。
ネットワーク設計
ワークフロークラスターは、次のリージョンで利用できます：中国 (北京)、中国 (杭州)、中国 (上海)、中国 (深圳)、中国 (張家口)、中国 (河源)、中国 (広州)、中国 (香港)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、日本 (東京)、ドイツ (フランクフルト)、英国 (ロンドン)、タイ (バンコク)。その他のリージョンについては、DingTalk グループ 35688562 に参加して専門サポートを受けてください。
ワークフローエンジンを作成する前に、Virtual Private Cloud (VPC) と vSwitch の設定を計画してください：
-
VPC を作成するか、既存の VPC を選択してください。
-
次のガイドラインに従って、vSwitch を作成するか、既存の vSwitch を選択してください：
-
vSwitch の CIDR ブロックに十分な IP アドレスがあることを確認してください。Argo ワークフローは多数の Pod を作成する場合があり、各 Pod には IP アドレスが必要です。
-
各アベイラビリティーゾーンに vSwitch を作成し、ワークフローエンジンの作成時にすべての vSwitch ID を指定してください。エンジンは、在庫があるゾーンで Pod または ECI をスケジューリングします。すべてのゾーンで在庫がない場合、ワークフローを実行できません。
-