Batch Compute は、大規模な同時バッチ処理を実行するためのクラウドサービスです。リソースの管理、タスクのスケジューリング、データの読み込み、使用量に応じた課金を自動的に行います。
Batch Compute は、科学計算、遺伝データ分析、コンピューターグラフィックスのレンダリング、メディアのトランスコード、金融データ分析などのシナリオで広く使用されています。
強み
-
大規模なバッチ処理
数万に及ぶコアでタスク処理を高速化します。
-
使いやすさ
リソース管理とジョブのスケジューリングは自動で行われ、わずかなコマンドまたは API 呼び出しでタスクを送信できます。
-
分散キャッシング技術
独自の分散キャッシング技術により、大規模な共有データに高速にアクセスできます。
-
豊富なアプリケーションシナリオ
メディアのレンダリングや遺伝データ分析などのアプリケーションシナリオで、エンドツーエンドのソリューションを提供します。
特徴
-
柔軟なリソース管理とタスクスケジューリング
Batch Compute は、タスクの要件に応じて VM インスタンスを動的に作成およびリリースするため、1 回のコマンド実行または API 呼び出しにより数千のインスタンスを起動できます。リザーブドクラスターでは、優先度に基づくタスクのスケジューリングにより、タスク管理の要件を柔軟に満たすことができます。
-
有向非巡回グラフを使用してワークフローを構成
Batch Compute では、タスクごとに依存関係を指定して複雑なワークフローを構築できます。また、使いやすい設定ファイルでワークフローを構築できる CLI も用意されています。
-
分散データキャッシュを使用した I/O 高速化
Batch Compute では、独自の分散キャッシュ技術により共有データへのアクセスを高速化できます。多数のインスタンスが、OSS または NAS に保存された共通データに同時にアクセスするようなタスクのパフォーマンスが大幅に向上します。
-
ファイルシステムインターフェースでオブジェクトストレージにアクセス
Batch Compute では、OSS のパスを VM インスタンスのローカルパスにマウントできます。追加のプログラミングを必要とすることなく、プログラムから OSS のデータを標準ファイルとして操作できます。
-
スポットインスタンスでコンピューティングコストを削減
Batch Compute では、スポットインスタンスを活用してコンピューティングコストを削減できます。タスクの終了前にスポットインスタンスがリリースされた場合でも、タスクは自動的に再実行されるため、管理の手間が増えることはありません。
-
柔軟にカスタマイズ可能なコンピューティング環境
Batch Compute では、Docker または VM イメージでプログラムをデプロイできるため、コンピューティング環境を自在にカスタマイズできます。
適用シナリオ
コンピューターグラフィックスのレンダリング
レンダリングのパフォーマンスを向上
Batch Compute では、効率の高いリソース管理およびタスクスケジューリングサービスにより、数万のコアを効率的に管理できます。また、独自の分散キャッシュ技術により、数千のノードから同時にデータを読み込み際のパフォーマンスが高速化されます。
特徴
分散キャッシュ
OSS または NAS に対し、分散キャッシュを簡単に有効化できます。
使いやすさ
Batch Compute には、クラスターレベルとジョブレベルの API が用意されています。独自のタスクスケジューラーのデプロイ、またはバッチ処理にデフォルトで設定されたスケジュールを選択できます。Web ベースのレンダリングソリューションも使用できるため、クラウドベースのレンダリングを容易に実行できます。
コスト削減
レンダリングタスクで使用されたコンピューティングおよびストレージリソースに対してのみ課金されます。タスクのスケジューリングおよび分散キャッシュに対する追加料金は発生しないため、従来のレンダリング管理ソフトウエアで発生していたライセンス料金を節約できます。
遺伝データの分析
大規模サンプルの分析
Batch Compute では、有向非巡回グラフモードによる複雑なワークフローの構築をサポートしています。分散キャッシュおよび OSS マウント機能により、クラウド上に大規模サンプル分析プラットフォームを構築できます。
特徴
ワークフロー管理
Batch Compute では、タスクごとに依存関係を指定してワークフローを構築できます。実行順序は保証されます。また、並列処理機能によりワークフローを高速化できます。
複数のデータソースをサポート
Batch Compute は、OSS と NAS の両方をサポートしています。OSS をマウントして、既存ソフトウエアに変更を加えることなく、ファイルシステムインターフェースでオブジェクトストレージにアクセスできます。
使いやすさ
Batch Compute には、使いやすく強力な CLI が用意されています。設定ファイルを編集してワークフローを構築し、最小限のプログラミングでタスクを送信して管理できます。
