DataWorks は、タスク開発用に複数の MaxCompute ノードタイプと柔軟なスケジューリング設定を提供します。このトピックでは、MaxCompute ノードの作成方法と管理方法について説明します。
前提条件
お使いのアカウントが [開発者] または [ストレージ管理者] ロールでワークスペースに追加されている必要があります。[ストレージ管理者] ロールには広範な権限があるため、付与には注意が必要です。詳細については、「ワークスペースメンバーの追加」をご参照ください。
MaxCompute ノードの作成
DataStudioページに移動します。
DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、 を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[DataStudioに移動] をクリックします。
-
ワークスペースに MaxCompute コンピューティングリソースをバインドし、ワークフローを作成します。
Data Studio では、ワークフローはコンピュートエンジンごとに開発を整理します。ノードを作成する前に、ワークフローを作成してください。
-
次の例では、ODPS SQL ノードを使用します。
-
ワークフローを右クリックし、 の順に選択します。または、上部メニューで Create をクリックし、画面の指示に従ってください。
重要オプションが利用できない場合は、左側のナビゲーションペインで データソース をクリックして、MaxCompute コンピューティングリソースがバインドされていることを確認してください。リソースをバインドし、ページを更新してから MaxCompute ノードを作成してください。
-
ダイアログボックスで、ノード名を入力し、確認 をクリックします。ノードエディターが開き、タスクの開発と設定を行えます。
-
MaxCompute タスクの開発
次の表では、サポートされている MaxCompute ノードタイプについて説明します。
-
MaxCompute タスクを実行すると、コスト見積もりが表示されます。この料金は MaxCompute から請求され、実際の金額は請求書に記載されます。詳細については、「MaxCompute の課金項目と方法」をご参照ください。
-
コスト見積もりエラーは、通常、テーブルが存在しないか、必要な権限がないことを示します。このエラーは無視して、ノードの実行時に対応できます。
|
タイプ |
シナリオ |
ガイド |
|
ODPS SQL |
MaxCompute SQL タスクを開発します。 |
|
|
[SQL スクリプトテンプレートノード] |
MaxCompute SQL タスクを開発します。 複数の SQL 手順が類似のロジックを共有しているが、同一または互換性のある構造を持つ異なるテーブルを参照している場合、共通のロジックを SQL スクリプトテンプレートに抽象化し、入出力テーブルをパラメーター化して再利用できます。 |
|
|
[PyODPS 3] |
MaxCompute PyODPS タスクを開発します。PyODPS 3 ノードは Python 3 に基づいています。 |
|
|
[PyODPS 2] |
MaxCompute PyODPS タスクを開発します。PyODPS 2 ノードは Python 2 に基づいています。 |
|
|
ODPS Spark |
MaxCompute Spark タスクを開発します。 |
|
|
[ODPS スクリプト] |
MaxCompute SQL スクリプトタスクを開発します。 |
|
|
ODPS MR |
MaxCompute MapReduce タスクを開発します。 |
テーブル、リソース、および関数の作成
タスク開発に加えて、DataWorks はテーブル、リソース、および関数の管理に対応しています。
-
MaxCompute テーブル機能:DataWorks GUI を使用して、テーブルの作成、表示、管理を行います。詳細については、「MaxCompute テーブルの作成と使用」および「テーブル管理」をご参照ください。
-
MaxCompute の関数とリソースの機能:
-
MaxCompute の組み込み関数は DataWorks で直接利用できます。詳細については、「組み込み関数の使用」をご参照ください。
-
UDF を MaxCompute リソースとして作成し、関数として登録してタスクで直接使用できます。詳細については、「MaxCompute リソースの作成と使用」および「ユーザー定義関数の作成と使用」をご参照ください。
-
ローカルのリソースパッケージをアップロードするか、DataWorks で直接リソースを作成できます。
サポートされているリソースタイプには、テキストファイル、Python コード、圧縮パッケージ (.zip、.tgz、.tar.gz、.tar、および .jar) が含まれます。UDF と MapReduce ジョブは、実行中にこれらのリソースを読み取ることができます。詳細については、「MaxCompute リソースの作成と使用」をご参照ください。
-
次のステップ
ノードを開発した後、必要に応じて次の操作を実行してください。
-
スケジューリング設定:定期的に実行されるタスクに対して、再実行設定や依存関係などの定期的なスケジューリングプロパティを設定します。詳細については、「タスクスケジューリング設定の概要」をご参照ください。
-
タスクのデバッグ:ノードコードをテストおよび実行して、そのロジックを検証します。詳細については、「タスクのデバッグプロセス」をご参照ください。
-
タスクのデプロイ:ノードをデプロイして、スケジューリング設定に基づいて定期的に実行します。詳細については、「タスクのデプロイ」をご参照ください。