DataWorks は、タスク開発向けに複数の MaxCompute ノードタイプと柔軟なスケジューリング設定を提供します。 このトピックでは、MaxCompute ノードを作成および管理する方法について説明します。
前提条件
アカウントは、Development または スペースマネージャー ロールでワークスペースに追加されている必要があります。スペースマネージャー ロールには広範な権限があるため、付与する際は注意が必要です。ワークスペースメンバーの追加。
MaxCompute ノードの作成
DataStudioページに移動します。
DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、 を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[DataStudioに移動] をクリックします。
-
MaxCompute コンピューティングリソースをワークスペースにバインドし、ワークフローを作成してください。
Data Studio では、ワークフローはコンピュートエンジン別に開発を整理します。 ノードを作成する前にワークフローを作成してください。
-
次の例では、ODPS SQL ノードを使用します。
-
ワークフローを右クリックし、 を選択します。 または、上部のメニューバーでCreateをクリックし、プロンプトに従います。
重要オプションが利用できない場合は、左側のナビゲーションペインで Computing Resource をクリックし、MaxCompute コンピューティングリソースがバインドされていることを確認します。MaxCompute ノードを作成する前に、リソースをバインドしてページを更新します。
-
ダイアログボックスでノード名を入力して OK をクリックすると、タスク開発および設定用のノードエディターが開きます。

-
MaxCompute タスクの開発
サポートされている MaxCompute ノードタイプを次の表に示します。
-
MaxCompute タスクを実行すると、コスト見積もりが表示されます。 MaxCompute はこのタスク実行に対して課金し、実際の金額は請求書に記載されます。 詳細については、「MaxCompute の課金項目と課金方法」をご参照ください。
-
コスト見積もりのエラーは、通常、テーブルが存在しないか、必要な権限がないことが原因です。 エラーを無視し、ノードの実行時に対応することができます。
|
タイプ |
シナリオ |
ガイド |
|
ODPS SQL |
MaxCompute SQL タスクを開発します。 |
|
|
[SQL Snippet] |
MaxCompute SQL タスクを開発します。 複数の SQL プロシージャが類似のロジックを共有しているが、同一または互換性のある構造を持つ異なるテーブルを参照している場合、共通のロジックを SQL スニペットとして抽象化し、入出力テーブルをパラメーター化して再利用できます。 |
|
|
[PyODPS 3] |
MaxCompute PyODPS タスクを開発します。 PyODPS 3 ノードは Python 3 に基づいています。 |
|
|
[PyODPS 2] |
MaxCompute PyODPS タスクを開発します。 PyODPS 2 ノードは Python 2 に基づいています。 |
|
|
ODPS Spark |
MaxCompute Spark タスクを開発します。 |
|
|
[ODPS Script] |
MaxCompute SQL スクリプトタスクを開発します。 |
|
|
ODPS MR |
MaxCompute MapReduce タスクを開発します。 |
テーブル、リソース、関数の作成
タスク開発に加えて、DataWorks はテーブル、リソース、および関数もサポートしており、開発効率を向上させます。
-
MaxCompute テーブル機能:DataWorks の GUI を使用して、テーブルを作成、表示、管理します。 詳細については、「MaxCompute テーブルの作成と使用」および「テーブル管理」をご参照ください。
-
MaxCompute の関数とリソースの機能:
-
MaxCompute の組み込み関数は DataWorks で直接利用できます。 詳細については、「組み込み関数の使用」をご参照ください。
-
ユーザー定義関数 (UDF) を MaxCompute リソースとして作成し、関数として登録してタスクで直接使用できます。 詳細については、「MaxCompute リソースの作成と使用」および「ユーザー定義関数の作成と使用」をご参照ください。
-
ローカルのリソースパッケージをアップロードするか、DataWorks で直接リソースを作成できます。
サポートされているリソースタイプには、テキストファイル、Python コード、圧縮パッケージ (.zip、.tgz、.tar.gz、.tar、.jar) が含まれます。 UDF と MapReduce ジョブは、実行中にこれらのリソースを読み取ることができます。 詳細については、「MaxCompute リソースの作成と使用」をご参照ください。
-
次のステップ
開発後、次の手順に進んでください。
-
スケジューリング設定:定期的に実行されるタスクに対して、再実行設定や依存関係などのスケジューリングプロパティを設定します。 詳細については、「タスクのスケジューリング設定の概要」をご参照ください。
-
タスクデバッグ:ノードコードをテストおよび実行して、そのロジックを検証します。 詳細については、「タスクデバッグプロセス」をご参照ください。
-
タスクデプロイメント:ノードをデプロイして、スケジューリング設定に基づいて定期的に実行します。 詳細については、「タスクのデプロイ」をご参照ください。