専用スケジューリングリソースグループで実行されるタスクがサードパーティパッケージに依存する場合、リソースグループの運用保守アシスタントを使用して必要なパッケージをインストールする必要があります。これにより、タスクが正常に実行されるようになります。DataWorks は、さまざまな組み込みサードパーティパッケージのワンクリックインストールをサポートしています。組み込みパッケージがビジネスニーズを満たさない場合は、シェルコマンドを使用して他のサードパーティパッケージをインストールすることもできます。
適用範囲
リソースグループの制限:この機能は、専用スケジューリングリソースグループにのみ適用されます。Data Integration 専用リソースグループやサーバーレスリソースグループなど、他のタイプのリソースグループはサポートされていません。
権限:AliyunDataWorksFullAccess または ModifyResourceGroup の RAM ポリシーが必要です。
権限の付与方法の詳細については、「製品およびコンソールのアクセス制御:RAM ポリシー」をご参照ください。
注意事項
サードパーティパッケージを専用スケジューリングリソースグループにインストールすると、そのリソースグループで実行されるすべてのタスクに適用されます。バージョン競合や互換性の問題は、すべてのタスクに影響を与える可能性があります。インストールする前に、パッケージを慎重に選択し、テストすることを推奨します。
割り当てと制限
コマンド管理:作成したインストールコマンドは変更できません。新しいコマンドの作成または既存のコマンドの削除のみ可能です。
適用可能なタスクタイプ:この方法でインストールされた Python サードパーティパッケージは、このリソースグループで実行される PyODPS 2 や PyODPS 3 ノードなどの Python タスクノードにのみ適用されます。
MaxCompute Python ユーザー定義関数 (UDF) でサードパーティパッケージを使用するには、「UDF の例:Python ユーザー定義関数 (UDF) でサードパーティパッケージを使用する」をご参照ください。
コマンドのサポート:手動入力方式では、
pipコマンドはサポートされていません。
運用保守アシスタントへのアクセス
DataWorks コンソールにログインします。対象のリージョンで、左側のナビゲーションウィンドウの リソースグループ をクリックして、リソースグループリストを開きます。
Exclusive Resource Group タブで、データスケジューリング に使用されているリソースグループを見つけ、Resource Group の横にある
アイコンをクリックし、O&M アシスタント を選択して対応するページに移動します。
サードパーティパッケージのインストール
インストールコマンドの作成
運用保守アシスタントページで、Createコマンド をクリックし、インストール方法を選択します。
クイックインストール
この方法を使用して、DataWorks に組み込まれている一般的なサードパーティパッケージをインストールします。
次の表に、主要なパラメーターを示します。
パラメーター
説明
コマンド名
コマンドのカスタム名。
コマンドタイプ
クイックインストール環境 を選択します。
DataWorks は、選択したパッケージに基づいてシェルインストールコマンドを自動的に生成します。
組み込みサードパーティパッケージ
インストールするパッケージとバージョンを選択します。
DataWorks は、一般的な Python 2、Python 3、および Yum パッケージを多数サポートしています。例:
Aliyun-python-sdk-core:Alibaba Cloud Python SDK のコアライブラリ。API 呼び出しや認証など、Alibaba Cloud サービスと連携するための基本的な機能を提供します。
NumPy:科学計算とデータ分析の基本的なライブラリ。パフォーマンス専有型の多次元配列と数値計算機能を提供します。
Pandas:構造化データの処理と分析のために、パフォーマンス専有型で使いやすいデータ構造とデータ分析ツールを提供します。
完全なリストについては、ユーザーインターフェースをご参照ください。
生成されたシェル
DataWorks は、選択内容に基づいてインストールコマンドを自動的に生成します。
たとえば、aliyun-python-sdk-core を選択すると、システムは次のコマンドを生成します:
pip install aliyun-python-sdk-coreタイムアウト
コマンドの最大実行時間 (秒)。この期間を超えると、コマンドは終了します。
手動入力
組み込みパッケージがニーズを満たさない場合は、コマンドを使用してサードパーティパッケージをインストールできます。
パラメーター
説明
コマンド名
コマンドのカスタム名。
コマンドタイプ
Manually enter を選択します。
コマンドコンテンツ
実行したいコマンドを入力します。例:
yum install -y git。重要手動入力方式では、pip コマンドを使用してサードパーティパッケージをインストールすることはできません。
手動で入力したコマンドの成功は保証されません。事前にスクリプトを検証することを推奨します。
サードパーティパッケージをインストールした後、DataStudio ノードでパッケージを参照するには絶対パスを使用する必要があります。
インストールディレクトリ
コマンドがアクセスできるディレクトリパスを指定します。複数のパスはセミコロン (;) で区切ります。DataWorks は、指定されたディレクトリをホワイトリストに追加して、そのアクセシビリティを確保します。
パッケージは /home/ ディレクトリまたは /home/ 以外のディレクトリにインストールできます。/home/ ディレクトリにパッケージをインストールする場合、/home/admin/usertools/tools/ パスに保存する必要があります。
ディレクトリを指定しない場合、デフォルトパス /home/admin/usertools/tools/ が使用されます。
タイムアウト
コマンドの最大実行時間 (秒)。タイムアウト期間を超えると、コマンドは終了します。
Confirm をクリックして、コマンドの構成を完了します。
インストールコマンドの実行
運用保守アシスタントページで、作成したコマンドを見つけ、Operation 列の 実行コマンド をクリックします。システムはコマンドの実行レコードを自動的に生成します。
実行結果の表示
コマンド実行レコードで、[実行ステータス] や [コマンド内容] などの基本情報を表示します。対応するレコードの Operation 列にある 結果の表示 をクリックして、ログを分析し、失敗の原因を特定して問題をトラブルシューティングします。パッケージが正常にインストールされた後、現在のリソースグループのスケジューリングタスクで使用できます。
環境構成の表示
運用保守アシスタントページの左上隅にある 環境構成の詳細を表示 をクリックして、インストールされているサードパーティパッケージ、そのバージョン、ステータスなど、リソースグループの全体的な環境構成を表示します。
タスクでのサードパーティパッケージの使用
DataStudio (新バージョン)
Data Studio への移動: DataWorks ワークスペースページに移動します。上部のナビゲーションバーで、対象のリージョンを選択します。対象のワークスペースを見つけ、Operation 列で を選択します。
リソースグループの構成:DataStudio で、サードパーティパッケージをテストするタスクノードを見つけます。右側のペインで、Scheduling Settings をクリックします。
Resource Group:専用スケジューリングリソースグループを選択します。
対象のリソースグループが表示されない場合は、リソースグループが現在のワークスペースにバインドされているかどうかを確認してください。リソースグループページに移動し、対象のリソースグループを見つけて、Operation 列の ホームスペースの変更 をクリックします。
ノードのデバッグ:右側の Run Configuration ペインで、Computing Resources、Resource Group、および Script Parameters を構成します。次に、上部のツールバーで Run をクリックします。
ノードの公開:上部のツールバーで Publish をクリックして、ノードを本番環境にデプロイします。
データ開発 (旧バージョン)
データ開発への移動:DataWorks コンソールにログインします。対象のリージョンに切り替えた後、左側のナビゲーションペインで を選択します。ドロップダウンリストから目的のワークスペースを選択し、データ分析 をクリックします。
リソースグループの構成:データ開発で、サードパーティパッケージをテストするタスクノードを見つけます。右側のペインで、Scheduling Settings をクリックします。
Resource Group for Scheduling:専用スケジューリングリソースグループを選択します。
対象のリソースグループが表示されない場合は、リソースグループが現在のワークスペースにバインドされているかどうかを確認してください。リソースグループページに移動し、対象のリソースグループを見つけて、Operation 列の ホームスペースの変更 をクリックします。
ノードのデバッグ:上部のツールバーで、Run with Parameters (
) をクリックします。リソースグループ名 を構成し、Run をクリックします。ノードの公開:上部のツールバーで、[保存] と [送信] をクリックして、ノードを本番環境にデプロイします。
関連ドキュメント
サードパーティパッケージがインストールされると、専用スケジューリングリソースグループで実行されるタスクでそのパッケージを使用できます。詳細については、次のトピックをご参照ください: