DataWorks:Shell ノード

ノードの開発

1. DataWorks コンソールにログインします。ターゲットリージョンに切り替えた後、[データ開発と О&М > データ開発] アイコンをクリックし、ドロップダウンリストからターゲットワークスペースを選択して、[DataStudio へ] をクリックします。

2. DataStudio ページで、Shell ノードを作成します。

3. スクリプトエディターに、標準の Shell コードを入力します。対話型構文はサポートされていません。

   echo "Hello DataWorks!"

4. コードを記述した後、右側のパネルで [タスクの実行] をクリックします。デバッグ用のリソースグループを選択し、その他必要な実行パラメーターを指定します。次に、 [実行] ボタンをクリックしてデバッグ実行を開始します。

5. スクリプトがデバッグに合格したら、右側のパネルで [プロパティ] をクリックします。スケジューリング周期、依存関係、パラメーターなど、本番環境のスケジューリング設定を行い、ノードがスケジュールに従って自動的に実行されるようにします。

6. スケジューリング設定が完了したら、次に進む前にノードを [保存] する必要があります。

ノードのデプロイと管理

1. スケジューリング設定が完了したら、Shell ノードを本番環境に送信してデプロイできます。デプロイプロセスの詳細については、「ノードとワークフローのデプロイ」をご参照ください。

2. デプロイ後、タスクはスケジュールどおりに定期的に実行されます。デプロイされたタスクを表示するには、左上隅の アイコンをクリックします。表示されるナビゲーションウィンドウで、[すべてのプロダクト > データスタジオとオペレーション > オペレーションセンター] に移動してオペレーションセンターを開きます。次に、左側のナビゲーションウィンドウで、[タスク操作 > 周期タスク操作 > 周期タスク] を選択します。機能の詳細については、「オペレーションセンター入門」をご参照ください。

リソースの参照

1. DataWorks では、リソース管理機能を使用して Shell ノード用のリソースをアップロードできます。詳細については、「リソース管理」をご参照ください。

   説明

   ノードがリソースを参照する前に、リソースを公開する必要があります。本番タスクがリソースを使用する場合、そのリソースも本番環境にデプロイする必要があります。

2. 既存の Shell ノードを開き、スクリプトエディターを開きます。

3. 左側のナビゲーションウィンドウで、 アイコンをクリックしてリソースメニューを開きます。参照したいリソースを見つけて右クリックし、[リソースの参照] を選択します。これにより、Shell スクリプトにリソースへの参照が追加されます。

   

   説明

   • リソースを参照すると、スクリプトの先頭に ##@resource_reference{resource_name} のような宣言コメントが自動的に挿入されます。

   • この必須の識別子により、DataWorks はリソースの依存関係を認識し、実行時に対応するリソースを自動的に実行環境にマウントします。このコメントは変更または削除しないでください。

スケジューリングパラメーターの使用

スケジューリングパラメーターは、位置パラメーターとして Shell ノードに挿入されます。カスタム変数名はサポートされていません。DataWorks は、[プロパティ > パラメーター] タブで設定したパラメーター値を、$1、$2、$3 などの位置パラメーターとして Shell スクリプトに順番に渡します。パラメーターが 9 つを超える場合は、正しく解析されるように、${10} や ${11} のように中括弧を使用する必要があります。パラメーター値はスペースで区切る必要があり、その順序はスクリプトで参照される位置と完全に一致する必要があります。

例：

• パラメーター $1 には現在の日付が割り当てられます： $[yyyymmdd]。

• パラメーター $2 には固定文字列 Hello DataWorks が割り当てられます。

ossutil を使用した OSS へのアクセス

DataWorks の Shell ノードは、Alibaba Cloud OSS のコマンドラインツールである ossutil をネイティブにサポートしており、バケット管理、ファイルのアップロードとダウンロード、バッチ操作などのタスクを実行できます。ossutil のアクセス認証情報は、設定ファイルまたはコマンドラインパラメーターを使用して設定し、OSS にアクセスできます。

• コマンドラインパラメーターを使用して ossutil で OSS にアクセスする方法については、「コマンドラインパラメーターを使用した OSS へのアクセス」をご参照ください。

• 設定ファイルを使用して ossutil で OSS にアクセスする方法については、「設定ファイルを使用した OSS へのアクセス」をご参照ください。

DataStudio の新しいバージョンでは、Shell ノードは RAM ロールの関連付けもサポートしています。これにより、ノードは Alibaba Cloud Security Token Service (STS) を使用して、ロールの一時的なセキュリティ認証情報を動的に取得できます。これらの認証情報は ossutil で使用できます。この方法により、ターゲットのクラウドリソースへの安全なアクセスが提供され、スクリプトに長期的な AccessKey をハードコーディングする必要がなくなります。詳細については、「ノードに関連付けられたロールの設定」をご参照ください。

データセットを使用した OSS または NAS へのアクセス

DataWorks では、OSS または NAS 用のデータセットを作成できます。その後、Shell ノードでこのデータセットを使用して、タスク実行中に OSS または NAS ストレージからの読み取りと書き込みができます。

関連付けられたロールでのノードの実行

特定の RAM ロールを関連付けて、ノードタスクを実行できます。これにより、詳細な権限コントロールとセキュリティの強化が可能になります。