O&M Assistant を使用して、専用スケジューリングリソースグループで実行されるタスクにサードパーティパッケージをインストールします。一般的なパッケージにはワンクリックインストールを、カスタムパッケージには Shell コマンドを使用します。
注意事項
リソースグループ: 専用スケジューリングリソースグループのみ。
必要な権限: 次のポリシーのいずれかが必要です: AliyunDataWorksFullAccess または ModifyResourceGroup。
詳細については、「プロダクトとコンソールアクセスの制御: RAM ポリシー」をご参照ください。
専用スケジューリングリソースグループにインストールされたパッケージは、そのグループで実行されているすべてのタスクに影響します。バージョン競合や互換性の問題がすべてのタスクに影響を与える可能性があるため、インストールする前にパッケージを慎重に選択し、テストしてください。
クォータと制限
コマンド管理: 既存のインストールコマンドは変更できません。新しいコマンドを作成するか、既存のコマンドを削除してください。
適用可能なノードタイプ: O&M Assistant を介してインストールされた Python パッケージは、リソースグループで実行されている Python ノード (PyODPS 2 や PyODPS 3 など) でのみ機能します。
MaxCompute Python UDF の詳細については、「UDF の例: Python UDF でサードパーティパッケージを使用する」をご参照ください。
コマンドサポート: カスタムコマンドは
pipコマンドをサポートしていません。
O&M Assistant へのアクセス
DataWorks コンソールにログインします。 上部ナビゲーションバーで、目的のリージョンを選択します。 左側のナビゲーションウィンドウで、[リソースグループ] をクリックしてリソースグループページに移動します。
[排他的リソースグループ] タブで、[データスケジューリング] のリソースグループを検索し、[リソースグループ] の横にある
アイコンをクリックして、[O&M アシスタント] を選択します。
サードパーティパッケージのインストール
インストールコマンドの作成
O&M Assistant ページで、[コマンドの作成] をクリックし、インストール方法を選択します。
クイックインストール
この方法は、DataWorks にプリセットされている一般的なパッケージに使用します。
パラメーター:
パラメーター
説明
コマンド名
コマンドのカスタム識別子です。
コマンドタイプ
[クイックインストール] を選択します。
DataWorks は Shell インストールコマンドを自動的に生成します。
インストールするパッケージ
インストールするパッケージとバージョンを選択します。DataWorks は、Python 2、Python 3、および Yum 用の一般的なパッケージをサポートしています。これには以下が含まれます。
Aliyun-python-sdk-core: Alibaba Cloud Python SDK のコアライブラリ
NumPy: 高性能多次元配列と数値計算
Pandas: 構造化データ用のデータ構造と分析ツール。
完全なリストについては、インターフェイスをご参照ください。
生成されたシェルスクリプト
DataWorks はインストールコマンドを自動生成します。
例: aliyun-python-sdk-core を選択すると、
pip install aliyun-python-sdk-coreが生成されます。タイムアウト
最大実行時間 (秒)。設定時間を超過すると、コマンドはタイムアウトして停止します。
手動インストール
組み込みパッケージがニーズを満たさない場合は、カスタム Shell コマンドを使用します。
パラメーター
説明
コマンド名
コマンドのカスタム識別子です。
コマンドの種類
[手動インストール] を選択します。
コマンドの内容
実行するコマンドを入力します。例:
yum install -y git。重要カスタムコマンドでは、
pipコマンドを使用できません。本番環境で実行する前に、コマンドをテストしてください。
絶対パスを使用してパッケージを参照してください。
インストールディレクトリ
コマンドがアクセスできるディレクトリパス。複数のパスはセミコロン (
;) で区切ります。DataWorks は、これらのパスをアクセス用のホワイトリストに追加します。/home/または/home/以外のディレクトリにインストールします。/home/へのインストールの場合、/home/admin/usertools/tools/を使用します。デフォルト:
/home/admin/usertools/tools/。
タイムアウト
最大実行時間 (秒)。コマンドは、タイムアウトすると停止します。
[OK] をクリックしてコマンド構成を保存します。
インストールコマンドの実行
O&M アシスタントページでコマンドを見つけ、[アクション] 列の [コマンドの実行] をクリックします。システムはコマンド実行レコードを生成します。
実行結果の表示
コマンドレコードで、[実行ステータス] と [コマンド内容] を確認します。コマンドが失敗した場合は、[アクション] 列の [結果の表示] をクリックしてログを分析します。正常にインストールされると、現在のリソースグループで実行されているタスクでパッケージが利用可能になります。
環境構成の表示
O&M アシスタントページで、左上隅の[詳細環境構成の表示]をクリックすると、現在のリソースグループのインストール済みパッケージ、バージョン、およびステータスを確認できます。
インストール済みパッケージの使用
Data Studio の新しいバージョン:
Data Studio に移動: DataWorks ワークスペースページに移動し、目的のリージョンに切り替えてワークスペースを見つけ、をクリックします。
リソースグループの設定: タスクノードで、右側のペインにある [スケジューリング] をクリックします。
リソースグループ: [スケジューリング用排他リソースグループ] を選択します。
対象のリソースグループが表示されない場合は、「リソースグループページ」に移動し、[ワークスペースの関連付け] をクリックします。
ノードのデバッグ: Run Configuration ペインで、[コンピューティングリソース]、[リソースグループ]、および[スクリプトパラメーター] を設定し、ツールバーの [実行時間] をクリックします。
ノードを公開する: ツールバーの [Publish] をクリックして、本番環境にデプロイします。
DataStudio のレガシーバージョン:
DataStudio への移動: DataWorks コンソールにログインし、お使いのリージョンに切り替え、をクリックし、ワークスペースを選択して、[データ開発に移動]をクリックします。
リソースグループの設定: タスクノードで、右ペインの[プロパティ]をクリックします。
[リソースグループ]: [スケジューリング専用リソースグループ] を選択します。
対象のリソースグループが表示されない場合は、リソースグループ ページに移動し、[ワークスペースの関連付け] をクリックします。
ノードのデバッグ: [パラメーター付き実行] (
), [リソース グループ名] を設定し、[実行] をクリックします。ノードを公開する: [保存] および [送信] をクリックして、本番環境にデプロイします。
参考文献
インストール済みパッケージの使用に関する詳細な例: