Data Management:Airflow 環境の設定と管理

前提条件

「事前準備」の説明に従って、必要なインスタンスリソースを準備します。

課金

Airflow インスタンスの料金は、[ワークフロー仕様] (CU 数) に基づいて計算されます。単価は [リソースの設定] ページに表示されます。

ステップ 1：Airflow インスタンスの作成

1. DMS 5.0 にログインします。

2. [ワークスペース] ページに移動します。

   DMS には、ワークスペースページにアクセスするための 2 つの方法があります。どちらの方法でも選択できます。

   方法 1

   コンソールの左上隅にある アイコンをクリックし、[すべての機能] > [Data+AI] > [workspace] を選択します。

   説明

   簡易コンソールを使用していない場合は、上部のメニューバーから [Data+AI] > [workspace] を選択します。

   方法 2

   重要

   この方法はベータテスト中であり、一部のユーザーのみが利用できます。

   左側のナビゲーションウィンドウで、データファクトリーの アイコンをクリックし、[workspace] をクリックします。

   説明

   簡易コンソールを使用していない場合は、上部のメニューバーから[Data Factory] > [ワークスペース]を選択します。

3. 対象のワークスペース名をクリックするか、新しいワークスペースを作成してワークスペースページを開きます。

4. ワークスペースの左側のナビゲーションウィンドウで、 > [Airflow インスタンス] を選択し、[インスタンスの作成] をクリックします。

5. インスタンスパラメーターを設定します。

   次の表に、主要なパラメーターを示します。

   パラメーター	説明
   ワークフローの仕様	ご利用のワークフローのスケールと複雑さに基づいて仕様を選択します。詳細については、「付録：Airflow の仕様」をご参照ください。
   ワーカーノードの拡張	Airflow は、タスクの負荷に基づいてワーカーノードの数を自動的にスケーリングします。ワーカーノードの数は 1 から 10 の範囲で変動します。
   VPC ID	変更は不要です。デフォルトでは、ワークスペースの VPC と同じです。
   VSwitch	対象の VSwitch を選択します。
   セキュリティグループ	ワークフローをコントロールするセキュリティグループを選択します。
   OSS バケット	ワークスペースと同じリージョンにある OSS バケットを選択します。
   OSS パス	「事前準備」で作成したデータストレージパスを入力します。

6. [OK] をクリックします。

   インスタンスのステータスが [実行中] に変わると、デプロイは成功です。

ステップ 2：連結アカウントの追加

1. ワークスペースの右上隅にあるプロフィール画像をクリックし、 アイコンをクリックして新しい連結アカウントを追加します。

   このアイコンは、ドロップダウンパネル内の [連結アカウント] の横にある [+] 記号です。

2. [新規サービスプロバイダーアカウント] ダイアログボックスで、アカウントの [タイプ] を選択します。

   DMS は現在、[GitHub]、[Alibaba Cloud Codeup]、[プライベート GitLab] の 3 つのアカウントタイプをサポートしています。

3. [作成方法] を選択し、[ユーザー名]、[パスワード]、または [アクセストークン] を入力します。

   [作成方法] では、ユーザー名とパスワード、またはアクセストークンを使用してアカウントをインポートできます。

   。

4. [OK] をクリックします。

ステップ 3：コードリポジトリの作成

1. ワークスペースの左側のナビゲーションウィンドウで、 アイコンをクリックして [エクスプローラー] ページに移動します。

2. CODE (コードリポジトリ) セクションで、 アイコンをクリックし、[既存の Git リポジトリの追加] を選択します。

3. [プロジェクト名] を入力し、対応する [Git プロバイダー] と [Git リポジトリ URL] を選択して、[OK] をクリックします。

   Alibaba Cloud サービスをご利用の場合は、[Git プロバイダー] に [Codeup] を選択することをお勧めします。DMS はデフォルトで Codeup 連結アカウントを使用します。

   リポジトリ名がリポジトリリストに表示されると、リポジトリの作成は成功です。

ステップ 4：コードの開発

1. 対象のコードリポジトリ名の右側にある、master などの現在のブランチ名をクリックします。その後、ブランチの切り替え、新しいブランチの作成、コードの編集、変更の保存ができます。

   説明

   保存操作は、git push コマンドの実行と同じです。

2. 環境設定を確認します。

   リポジトリ名にカーソルを合わせ、 アイコンをクリックして、環境とパラメーターの設定を確認します。

3. リポジトリ名にカーソルを合わせ、 ボタンをクリックします。

4. 表示されるダイアログボックスで [OK] をクリックして、コードをデプロイします。

   ダイアログボックスには、デプロイに最大 10 分かかること、および現在のブランチでコミットされていない変更は自動的にコミットおよびプッシュされることが記載されています。

ステップ 5：Airflow で公開されたタスクの表示

1. ワークスペースの左側のナビゲーションウィンドウで、 アイコンをクリックします。

2. 対象のリポジトリの下にある Airflow インスタンスをクリックして、公開されたタスクを表示します。

   DAG 名をクリックすると、その実行結果を表示できます。

   Airflow の DAG ページには、hello_world_dag2 などの公開された DAG が一覧表示されます。リストには、所有者、実行 (成功と失敗)、スケジュール (例：@daily)、最終実行、次回実行などのフィールドが含まれます。

付録：Airflow の仕様