Airflow は、ビッグデータ開発シナリオでワークフローをオーケストレーションおよびスケジューリングするためのオープンソースツールです。ジョブ開発、有向非巡回グラフ (DAG) スケジューリング、およびワークフローのバッチ処理のモニタリングをサポートしています。Airflow では、Python コードを使用してワークフローを定義できます。その Python プラグインにより、ほとんどの外部テクノロジーやシステムと柔軟に統合できます。
シナリオ
SQL スクリプトの実行やデータクレンジングなど、DMS でのデータ開発タスクのオーケストレーション。
AnalyticDB for MySQL の Spark をスケジューリングして、バッチ処理タスクを実行。
DTS でのデータ統合タスクのスケジューリング。
サポートされているリージョンとゾーン
リージョン | ゾーン | ||
名前 | ID | 名前 | ID |
中国 (杭州) | cn-hangzhou | ゾーン B | cn-hangzhou-b |
ゾーン E | cn-hangzhou-e | ||
ゾーン F | cn-hangzhou-f | ||
ゾーン G | cn-hangzhou-g | ||
ゾーン H (推奨) | cn-hangzhou-h | ||
ゾーン I (推奨) | cn-hangzhou-i | ||
ゾーン J (推奨) | cn-hangzhou-j | ||
ゾーン K | cn-hangzhou-k | ||
中国 (上海) | cn-shanghai | ゾーン A | cn-shanghai-a |
ゾーン B | cn-shanghai-b | ||
ゾーン C | cn-shanghai-c | ||
ゾーン D | cn-shanghai-d | ||
ゾーン E | cn-shanghai-e | ||
ゾーン F | cn-shanghai-f | ||
ゾーン G | cn-shanghai-g | ||
ゾーン K | cn-shanghai-k | ||
ゾーン L (推奨) | cn-shanghai-l | ||
ゾーン M (推奨) | cn-shanghai-m | ||
ゾーン N (推奨) | cn-shanghai-n | ||
中国 (北京) | cn-beijing | ゾーン C | cn-beijing-c |
ゾーン D | cn-beijing-d | ||
ゾーン E | cn-beijing-e | ||
ゾーン F | cn-beijing-f | ||
ゾーン G | cn-beijing-g | ||
ゾーン H (推奨) | cn-beijing-h | ||
ゾーン I (推奨) | cn-beijing-i | ||
ゾーン J (推奨) | cn-beijing-j | ||
ゾーン K | cn-beijing-k | ||
ゾーン L | cn-beijing-l | ||
中国 (深圳) | cn-shenzhen | ゾーン A | cn-shenzhen-a |
ゾーン B | cn-shenzhen-b | ||
ゾーン C | cn-shenzhen-c | ||
ゾーン D (推奨) | cn-shenzhen-d | ||
ゾーン E (推奨) | cn-shenzhen-e | ||
ゾーン F (推奨) | cn-shenzhen-f | ||
シンガポール | ap-southeast-1 | ゾーン A | ap-southeast-1a |
ゾーン B | ap-southeast-1b | ||
ゾーン C | ap-southeast-1c | ||
インドネシア (ジャカルタ) | ap-southeast-5 | ゾーン A | ap-southeast-5a |
ゾーン B | ap-southeast-5b | ||
ゾーン C | ap-southeast-5c | ||
課金
Airflow インスタンスの料金は、その [ワークフロー仕様] (使用される CU 数) に基づいています。単価は [リソースの設定] ページに表示されます。
ソリューション概要
OSS リソースを準備し、Airflow のインターネットアクセスを有効にします。
リンクされた Git アカウントは、コードリポジトリで操作を実行するための専用アカウントです。これらの操作は、Alibaba Cloud アカウントや RAM ユーザーなど、同じワークスペース内の他のユーザーには表示されません。
Git または別のバージョン管理システムでコードリポジトリを作成し、Airflow DAG ファイルを保存および管理します。
コードリポジトリでコードを編集して公開します。
Airflow ワークスペースで DAG スケジューリングを表示し、ワークフローのバッチ処理をモニターします。