E-MapReduce:ジョブの送信

送信メソッド

利点と欠点

シナリオ

クラスター Gateway ノードを介してジョブを送信する (推奨)

利点:

• ネットワークの隔離: マスターノードを公開せずにジャンプサーバーを介してクラスターにアクセスします。

• 弾性スケーリング: クラスターの負荷に基づいて Gateway インスタンスのリソースを動的に調整します。

• 便利な操作: 追加のクライアント環境構成は不要です。プリインストール済みのコマンドラインインターフェイス (spark-submit など) を直接使用してジョブを送信できます。

欠点:

• コストの増加: Gateway ノードの ECS インスタンスに追加のコストがかかります。

• エンタープライズ本番環境のジョブ送信。

• クロス VPC およびハイブリッドクラウドアーキテクチャ。

Alibaba Cloud DataWorks を介してジョブを送信する (推奨)

利点:

• 自動化された O&M: タスクオーケストレーションとモニタリングアラートの可視化。

• エンタープライズレベルの機能: タスクの血縁分析とコスト最適化をサポートします。

• 優れた互換性: 他の Alibaba Cloud プロダクトとの統一された統合をサポートします。

欠点:

• 学習曲線: DataWorks の開発標準に精通している必要があります。

• コストの増加: DataWorks の使用には追加料金がかかります。

• 定期的な ETL タスク管理。

• 複雑な依存関係管理を必要とする DAG ワークフロー。

クラスターのマスターノードを介してジョブを送信する

利点:

• 便利な操作: 追加のクライアント環境構成は不要です。プリインストール済みのコマンドラインインターフェイス (spark-submit など) を直接使用してジョブを送信できます。

• 最低コスト: 追加のリソース費用はかかりません。

欠点:

• セキュリティリスク: マスターノードは通常、高い権限を持っています。誤った操作は、HDFS メタデータの誤った削除など、クラスターのクラッシュを引き起こす可能性があります。

• 限定的な拡張性: 水平スケーリング機能のない単一ポイントの送信ボトルネック。

• リソースの競合: 大規模なジョブを頻繁に送信すると、マスターノードの計算リソース (CPU やメモリなど) が消費され、クラスター管理サービス (ZooKeeper や HMaster など) の正常な操作に影響を与える可能性があります。

• 開発環境およびテスト環境での迅速な検証。

• 一時的なタスクの迅速なデバッグ。