Data Management:Airflow 環境のセットアップと管理

課金

料金は、[ワークフロースペック] (消費された CU 数) に基づいています。単位価格は、リソースの構成 ページに表示されます。

前提条件

開始する前に、以下を確認してください。

• 事前準備 で説明されているインスタンスリソースの準備が完了していること。Airflow インスタンスは、そのステップで構成された VPC、vSwitch、セキュリティグループ、および OSS バケットに依存します。

• ご利用のワークスペースと同じリージョンに Object Storage Service (OSS) バケットがあり、Airflow データ用にストレージパスが作成されていること。

• DAG コードを保持する Git リポジトリ (GitHub、Apsara Devops Codeup、またはプライベート GitLab インスタンス) があること。

ステップ 1: Airflow インスタンスの作成

1. DMS コンソール V5.0 にログインします。

2. [ワークスペース] ページに移動します。左上隅で、 アイコンをクリックし、次に [すべての機能] > [Data+AI] > [ワークスペース] を選択します。

   簡易コンソールを使用していない場合は、トップメニューバーから [Data+AI] > [Workspace] を選択します。

   

3. 対象ワークスペースの名前をクリックして開くか、新しいワークスペースを作成 します。

4. 左側のナビゲーションウィンドウで、[] > [Airflow インスタンス] を選択し、[インスタンスの作成] をクリックします。

5. インスタンスを構成します。次の表に主要パラメーターを示します。

   パラメーター	説明
   ワークフロー仕様	ワークフローの規模と複雑さに基づいてスペックを選択します。現在のニーズを満たす最小サイズから開始してください。これは後で変更できます。容量比較については、「Airflow スペック」をご参照ください。
   ワーカーノード拡張	Airflow は、タスク負荷に基づいてワーカーノードの数を自動的に調整します。ノード数は 1 から 10 の間でスケーリングします。
   [VPC ID]	変更不要です。デフォルトでワークスペースと同じ VPC になります。
   [vSwitch]	対象 vSwitch を選択します。
   [Security Group]	ワークフローネットワークアクセスを制御するセキュリティグループを選択します。
   OSS バケット	ワークスペースと同じリージョンにある OSS バケットを選択します。
   OSS パス	事前準備中に作成したストレージパスを入力します。

6. 「[送信]」をクリックします。インスタンスは、ステータスが「[実行中]」に変更されたときに利用可能になります。

ステップ 2: 連結アカウントの追加

連結アカウントは、DMS を Git サービスプロバイダーに接続します。連結アカウントは個人用であり、同じワークスペース内の他のユーザーは、ご利用のアカウントに関連付けられたリソースを表示できません。

1. ワークスペースの右上隅で、プロフィール画像をクリックし、 アイコンをクリックして連結アカウントを作成します。

   

2. 「[新規サービスプロバイダーアカウント]」ダイアログボックスで、アカウントの[タイプ]を選択します。DMS では、GitHub、Apsara Devops Codeup、およびPrivate GitLab の 3 種類のアカウントタイプがサポートされています。

   

3. [作成方法] を選択し、必要な認証情報を入力します。

   • ユーザー名とパスワード: お使いの [ユーザー名] および [パスワード] を入力します。

   • ユーザートークン: Git プロバイダーによって生成された[アクセストークン]を入力します。

4. [OK] をクリックします。

ステップ 3: コードリポジトリの作成

1. ワークスペースの左側のナビゲーションウィンドウで、 アイコンをクリックして、[EXPLORER] パネルを開きます。

2. [CODE（コードリポジトリ）] エリアで、 アイコンをクリックし、[既存の Git リポジトリを追加] を選択します。

   

3. [プロジェクト名] を入力し、[Git プロバイダー] および [Git リポジトリ URL] を選択してから、[OK] をクリックします。Alibaba Cloud サービスを使用する場合は、[Git プロバイダー] を [CodeUp] に設定します。DMS では、デフォルトで CodeUp 連結アカウントが選択されます。リポジトリが追加されると、その名前がリポジトリリストに表示されます。

   

ステップ 4: コードの開発とデプロイ

1. リポジトリ名の右側にあるブランチ名 (デフォルトは master) をクリックします。ここから、ブランチの切り替え、新しいブランチの作成、コードの編集、および変更の保存を行うことができます。

   保存は git push の実行と同等です。

2. 環境とパラメーターの構成を確認します。リポジトリ名にカーソルを合わせ、 アイコンをクリックして環境設定を開きます。

3. コードをデプロイします。リポジトリ名にマウスカーソルを合わせ、 ボタンをクリックし、確認ダイアログで [OK] をクリックします。

   

ステップ 5: 公開されたタスクの表示

1. 左ナビゲーションペインで、 アイコンをクリックします。

2. 対象リポジトリの下にある Airflow インスタンスをクリックして、公開されたタスクを表示します。

   

3. Directed Acyclic Graph (DAG) 名をクリックして、その実行結果を表示します。

   

Airflow スペック

PostgreSQL と Redis はどちらも、すべてのスペック層で高可用性 (HA) インスタンスとして実行されます。

現在の DAG 数と並列処理のニーズを満たす最小スペックから開始してください。ワークロードが増加するにつれて、いつでもスペックを変更できます。

PostgreSQL と Redis はどちらも高可用性 (HA) インスタンスです。