O&Mアシスタントを使用して、専用スケジューリングリソースグループで実行されているタスク用のサードパーティパッケージをインストールします。一般的なパッケージにはワンクリックインストールを使用し、カスタムパッケージには Shell コマンドを使用します。
使用上の注意
リソースグループ: 専用スケジューリングリソースグループのみ。
必要な権限: 次のいずれかのポリシーが必要です: AliyunDataWorksFullAccess または ModifyResourceGroup。
詳細については、「製品およびコンソールのアクセス制御: RAM ポリシー」をご参照ください。
専用スケジューリングリソースグループにインストールされたパッケージは、そのグループで実行されているすべてのタスクに影響します。バージョンの競合や互換性の問題は、すべてのタスクに影響を与える可能性があります。インストールする前に、パッケージを慎重に選択してテストしてください。
クォータと制限
コマンド管理: 既存のインストールコマンドは変更できません。新しいコマンドを作成するか、既存のコマンドを削除してください。
適用可能なノードタイプ: O&Mアシスタントを介してインストールされた Python パッケージは、リソースグループで実行されている Python ノード (PyODPS 2 や PyODPS 3 など) でのみ機能します。
MaxCompute Python UDF の詳細については、「例: Python UDF でサードパーティパッケージを参照する」をご参照ください。
コマンドサポート: カスタムコマンドは
pipコマンドをサポートしていません。
O&Mアシスタントへのアクセス
DataWorks コンソールにログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[リソースグループ] をクリックして [リソースグループ] ページに移動します。
[排他的リソースグループ] タブで、[Data Scheduling] のリソースグループを見つけ、[リソースグループ] の横にある
アイコンをクリックし、[O&M Assistant] を選択します。
サードパーティパッケージのインストール
インストールコマンドの作成
O&Mアシスタントページで、[コマンドの作成] をクリックし、インストール方法を選択します。
クイックインストール
DataWorks にプリセットされている一般的なパッケージには、この方法を使用します。
パラメーター:
パラメーター
説明
コマンド名
コマンドのカスタム識別子。
コマンドタイプ
[クイックインストール] を選択します。
DataWorks は Shell インストールコマンドを自動的に生成します。
インストールするパッケージ
インストールするパッケージとバージョンを選択します。DataWorks は、Python 2、Python 3、および Yum の一般的なパッケージをサポートしています。これには以下が含まれます:
Aliyun-python-sdk-core: Alibaba Cloud Python SDK のコアライブラリ
NumPy: 高性能な多次元配列と数値計算
Pandas: 構造化データのためのデータ構造と分析ツール。
完全なリストについては、インターフェイスをご参照ください。
生成された Shell スクリプト
DataWorks はインストールコマンドを自動生成します。
例: aliyun-python-sdk-core を選択すると、
pip install aliyun-python-sdk-coreが生成されます。タイムアウト
最大実行時間 (秒)。コマンドはタイムアウトすると停止します。
手動インストール
組み込みパッケージがニーズを満たさない場合は、カスタム Shell コマンドを使用します。
パラメーター
説明
コマンド名
コマンドのカスタム識別子。
コマンドタイプ
[手動インストール] を選択します。
コマンドの内容
実行するコマンドを入力します。例:
yum install -y git。重要カスタムコマンドでは
pipコマンドを使用できません。本番環境で実行する前にコマンドをテストしてください。
絶対パスを使用してパッケージを参照してください。
インストールディレクトリ
コマンドがアクセスできるディレクトリパス。複数のパスはセミコロン (
;) で区切ります。DataWorks はこれらをアクセス用のホワイトリストに追加します。/home/または/home/以外のディレクトリにインストールします。/home/へのインストールの場合は、/home/admin/usertools/tools/を使用します。デフォルト:
/home/admin/usertools/tools/。
タイムアウト
最大実行時間 (秒)。コマンドはタイムアウトすると停止します。
[OK] をクリックしてコマンド構成を保存します。
インストールコマンドの実行
O&Mアシスタントページで、コマンドを見つけ、[アクション] 列の [コマンドの実行] をクリックします。システムはコマンド実行レコードを生成します。
実行結果の表示
コマンドレコードで、[実行ステータス] と [コマンドの内容] を表示します。[アクション] 列の [結果の表示] をクリックして、コマンドが失敗した場合にログを分析します。インストールが成功すると、パッケージは現在のリソースグループで実行されているタスクで利用可能になります。
環境構成の表示
O&Mアシスタントページで、左上隅の [詳細な環境構成の表示] をクリックして、現在のリソースグループにインストールされているパッケージ、バージョン、およびステータスを確認します。
インストール済みパッケージの使用
新しいバージョンの Data Studio:
Data Studio に移動: DataWorks ワークスペースページに移動し、ターゲットリージョンに切り替え、ワークスペースを見つけて、 をクリックします。
リソースグループの構成: タスクノードで、右側のペインの [スケジューリング] をクリックします。
リソースグループ: [専用スケジューリングリソースグループ] を選択します。
ターゲットリソースグループが表示されない場合は、[リソースグループ] ページに移動し、[ワークスペースの関連付け] をクリックします。
ノードのデバッグ: [デバッグ構成] ペインで、[コンピューティングリソース]、[リソースグループ]、および [スクリプトパラメーター] を構成し、ツールバーの [実行時間] をクリックします。
ノードの公開: ツールバーの [公開] をクリックして本番環境にデプロイします。
従来のバージョンの DataStudio:
DataStudio に移動: DataWorks コンソールにログインし、リージョンを切り替え、 をクリックし、ワークスペースを選択して、[データ開発へ] をクリックします。
リソースグループの構成: タスクノードで、右側のペインの [プロパティ] をクリックします。
リソースグループ: [専用スケジューリングリソースグループ] を選択します。
ターゲットリソースグループが表示されない場合は、[リソースグループ] ページに移動し、[ワークスペースの関連付け] をクリックします。
ノードのデバッグ: [パラメーター付きで実行] (
) をクリックし、[リソースグループ名] を構成してから、[実行] をクリックします。ノードの公開: [保存] と [送信] をクリックして本番環境にデプロイします。
参照
インストールされたパッケージの使用に関する詳細な例については、以下をご参照ください: