Data Management:Airflow 環境の設定と管理

前提条件

「準備」で説明されているように、必要なインスタンスリソースが準備されていることを確認してください。

課金

Airflow インスタンスの料金は、その [ワークフロー仕様] (使用される CU 数) に基づいています。単価は [リソースの構成] ページに表示されます。

ステップ 1: Airflow インスタンスの作成

1. DMS コンソール V5.0 にログインします。

2. [ワークスペース] ページに移動します。

   ワークスペースページには 2 つの方法で移動できます。

   方法 1

   コンソールの左上隅にある アイコンをクリックし、すべての機能 > Data+AI > ワークスペース を選択します。

   説明

   簡易コンソールを使用していない場合は、トップメニューバーから Data+AI > ワークスペース を選択します。

   

   方法 2

   重要

   この方法はベータテスト中であり、一部のユーザーのみが利用できます。

   ページの左側にある Data Factory の アイコンをクリックし、[ワークスペース] をクリックします。

   説明

   簡易コンソールを使用していない場合は、トップメニューバーから Data Factory > ワークスペース を選択します。

3. ターゲットワークスペースの名前をクリックして開くか、新しいワークスペースを作成します。

4. ワークスペースの左側のナビゲーションウィンドウで、 > Airflow インスタンス を選択し、[インスタンスの作成] をクリックします。

5. インスタンスを構成します。

   次の表に、いくつかの重要なパラメーターを示します。

   構成項目	説明
   ワークフロー仕様	ワークフローの規模と複雑さに応じて仕様を選択します。詳細については、「Airflow の仕様」をご参照ください。
   ワーカーノードのスケーリング	Airflow はタスクの負荷に基づいてノード数を自動的に調整します。ワーカーノードの数は 1 から 10 の範囲で指定できます。
   VPC ID	変更は必要ありません。デフォルトでは、これはワークスペースの VPC と同じです。
   VSwitch	ターゲット vSwitch を選択します。
   セキュリティグループ	ワークフローを制御するセキュリティグループを選択します。
   OSS バケット	ワークスペースと同じリージョンにある Object Storage Service (OSS) バケットを選択します。
   OSS パス	準備中に作成したデータストレージのパスを入力します。

6. [OK] をクリックします。

   インスタンスのステータスが [実行中] に変わると、リソースがデプロイされます。

ステップ 2: リンクされたアカウントの追加

1. ワークスペースの右上隅で、プロフィール画像をクリックし、 アイコンをクリックしてリンクされたアカウントを作成します。

   

2. [サービスプロバイダーアカウントの作成] ダイアログボックスで、アカウントの [タイプ] を選択します。

   DMS は現在、GitHub、Apsara DevOps Codeup、セルフホスト GitLab の 3 つのアカウントタイプをサポートしています。

   

3. [作成方法] を選択し、[ユーザー名]、[パスワード]、または [アクセストークン] を入力します。

   [作成方法] では、ユーザー名とパスワードまたはユーザートークンを使用してアカウントをインポートできます。

   。

4. [OK] をクリックします。

ステップ 3: コードリポジトリの作成

1. ワークスペースページの左側のナビゲーションウィンドウで、 アイコンをクリックして [リソースマネージャー] ページに移動します。

2. CODE (コードリポジトリ) エリアで、 アイコンをクリックし、[既存の Git リポジトリの追加] を選択します。

   

3. [プロジェクト名] を入力し、対応する [Git サービスプロバイダー] と [Git リポジトリ URL] を選択して、[OK] をクリックします。

   Alibaba Cloud サービスを使用する場合は、[Git サービスプロバイダー] を [CodeUp] に設定します。DMS はデフォルトで CodeUp のリンクされたアカウントを選択します。

   

   リポジトリが作成されると、その名前がリポジトリリストに表示されます。

ステップ 4: コードの開発

1. ターゲットコードリポジトリ名の右側にあるブランチ名 (デフォルトでは 'master') をクリックします。その後、ブランチの切り替え、新しいブランチの作成、コードの編集、またはコードの保存ができます。

   説明

   保存操作は 'git push' コマンドと同等です。

2. 環境を確認します。

   リポジトリ名の上にマウスポインターを置き、 アイコンをクリックして、環境とパラメーターの構成を確認します。

3. リポジトリ名の上にマウスポインターを置き、 ボタンをクリックします。

4. 表示されるダイアログボックスで、[OK] をクリックしてコードをデプロイします。

   

ステップ 5: Airflow スペースで公開されたタスクを表示する

1. ワークスペースページの左側のナビゲーションウィンドウで、 アイコンをクリックします。

2. ターゲットリポジトリの下にある Airflow インスタンスをクリックして、公開されたタスクを表示します。

   

   有向非巡回グラフ (DAG) 名をクリックして、実行結果を表示できます。

   

付録: Airflow の仕様