Alibaba Cloud は、クラウドネイティブワークフローエンジンである Argo Workflows と互換性のあるコンポーネントを提供し、バッチデータ処理、機械学習パイプライン、インフラストラクチャ自動化、CI/CD ワークロードのバッチタスクオーケストレーションを簡素化します。
オープンソースのArgoワークフロー
Argo Workflowsは、Kubernetesで複雑なワークフローを定義、管理、およびスケジュールするために設計された強力なクラウドネイティブのワークフローエンジンです。 ワークフローには、依存関係を持つ複数のタスクを含めることができます。 この柔軟性により、タスク構成が簡素化されます。
シナリオ
Argoワークフローはさまざまなシナリオをサポートし、、自動運転、科学コンピューティング、金融定量分析、デジタルメディアなどの業界で広く使用されています。
バッチデータ処理: 大規模な高精度マップ処理、財務定量的バックテストシミュレーション、並列オーディオおよびビデオ処理、アニメーションレンダリング。
科学コンピューティング: 複雑な科学計算シミュレーション、製薬研究とトレーニング、遺伝子シーケンシング、突然変異アライメント検出、エネルギー探査。
シミュレーションとモデリング: 自律走行アルゴリズムシミュレーション、分子動力学シミュレーション、天文データシミュレーション、財務モデリング。
機械学習パイプライン: 機械学習データの前処理、分散トレーニング、大規模なモデルパラメーターの調整、モデルの評価と展開。
インフラストラクチャの自動化: クラウドリソースの自動管理、リソースのバックアップと復元、ノードプールの移行、クラスターの移行とアップグレード。
CI/CD: 並列CIパイプライン、マルチステージビルドとテスト、クラウド間のアプリケーション展開、承認ワークフローの統合。
利点
クラウドネイティブ: Kubernetes用に特別に設計された各タスクは、軽量で柔軟な性質のコンテナを完全に使用するポッドです。
軽量化とスケーラビリティ: 従来のVMと比較して、Argoワークフローは軽量であり、追加のオーバーヘッドや制限はありません。 Kubernetesが提供する堅牢なスケジューリング機能により、数千のタスクを並行して起動できるため、処理効率が向上します。
柔軟なオーケストレーション機能: 有向非巡回グラフ (DAG) とステップの柔軟な組み合わせにより、さまざまな複雑さを伴うワークフローのカスタマイズがサポートされます。 強力な再試行およびキャッシュメカニズムにより、ワークフロー実行の成功率が向上します。
豊富なエコシステム: Spark、Ray、TensorFlowジョブなど、さまざまな種類のタスクのオーケストレーションがサポートされています。 イベントドリブン機能と組み合わせることで、完全に自動化されたタスク処理プラットフォームを構築できます。
Argo Workflows の使用
ACK Argo Workflows は、コミュニティ版と互換性があり、さらに機能が強化されています。既存の Argo ワークフローを修正なしで移行できます。コミュニティ版と比較した利点：
伸縮自在なオートスケーリングによるコンピューティングコストの最適化。
マルチゾーン負荷分散と信頼性の高いスケジューリングによる高可用性。
スケーラビリティ、パフォーマンス、効率、安定性、およびオブザーバビリティが向上した、強化されたコントロールプレーン。
大容量ファイルのアップロード、アーティファクトガベージコレクション (GC)、ストリーミングをサポートする、強化された OSS ストレージ管理。
コンテナサービスのスペシャリストによる専門的なサポートで、ワークフローの最適化、パフォーマンスの向上、コストの削減を実現。
ACK Argo Workflows は、2 つのデプロイ方法をサポートしています：
Serverless Argo Workflows： フルマネージドの高性能なワークフローを実現するために、専用のワークフロークラスターを作成します。Serverless Argo Workflows。
ACK 上の Argo Workflows コンポーネント：既存の ACK クラスターがある場合、Argo Workflows コンポーネントをインストールして、クラスターリソースでワークフローをオーケストレーションします。このトピックでは、このデプロイ方法について説明します。
コンポーネントをインストールした後、Alibaba Cloud Argo CLI または Argo コンソールを使用してワークフローを送信および管理します。
次の表は、ロール別のワークフローの概要です。
プロセス | 説明 |
1. 準備 |
|
2. 環境のセットアップ |
詳細については、「バッチタスクオーケストレーションの有効化」をご参照ください。 |
3. ワークフローの管理 | (データエンジニア) Argo CLI または Argo コンソールを使用して、オーケストレーションタスクを送信および管理します。 |
(クラスター管理者)
|
課金
バッチタスクオーケストレーションは無料です。ACK コンピューティングパワーやその他のクラウド製品などの基盤となるリソースにのみ課金されます。Argo サーバーは、料金が発生する従量課金の SLB インスタンスを自動的に作成します。詳細については、「SLB の課金概要」をご参照ください。
お問い合わせ
ご質問やご提案がございましたら、DingTalk グループ (ID: 35688562) にご参加ください。