DataWorks:PyODPS ノードでサードパーティパッケージを使用する

基本概念

1. ノードタイプ： PyODPS 2 と PyODPS 3

   • PyODPS 2： Python 2.7 環境に基づいています。

   • PyODPS 3： Python 3.7+ 環境に基づいています。

   • 推奨事項： Python 2 の公式サポートは終了しているため、PyODPS 3 の使用を強く推奨します。このトピックでは、PyODPS 3 を主な例として使用します。

2. リソースグループタイプ： サーバーレスリソースグループ と 専用スケジューリングリソースグループ

   • サーバーレスリソースグループ (推奨)： このリソースグループは弾力的でメンテナンス不要です。カスタムイメージを使用してサードパーティパッケージを管理できます。

   • 専用スケジューリングリソースグループ (非推奨)： これはレガシーソリューションです。ECS サーバーを購入して維持する必要があり、リソースを弾力的にスケールできません。O&M アシスタントを使用して依存関係をインストールすることには 多くの制限 があり、環境を破損する可能性があります。

リソースグループタイプの確認

DataWorks コンソールで、ワークスペースの **[ワークスペースの詳細]** ページに移動します。**[リソースグループ]** ページで、**ワークスペース** に関連付けられているリソースグループタイプを確認します。

• タイプが汎用の場合、サーバーレスリソースグループを使用しています。

• タイプが データスケジューリング の場合、スケジューリング用の専用リソースグループを使用しています。

ステップ1： pendulum ライブラリを含むカスタムイメージの作成

カスタムイメージは、サーバーレスリソースグループの実行環境を定義します。

1. DataWorks コンソールにログインし、左側のナビゲーションペインで[イメージ管理]をクリックします。

2. カスタムイメージ タブに移動します。

3. 左上隅の[イメージの作成]をクリックします。「作成」ページで、以下の主要なパラメーターを設定します。

   パラメータ	説明
   [イメージ名]	カスタムイメージの名前を入力します。たとえば、pyodps3_with_pendulum と入力します。
   参照タイプ	[DataWorks 公式イメージ] を選択します。
   イメージ名/ID	ドロップダウンリストから、DataWorks 公式イメージ dataworks_pyodps_task_pod を選択します。
   サポートされるタスクタイプ	[PyODPS 3] タスクタイプを選択します。
   インストールパッケージ	[Python3] を選択し、ドロップダウンリストからシステム提供の pendulum パッケージを選択します。 組み込まれていないオープンソースパッケージをインストールする場合は、スクリプトモードを使用して手動でインストールできます。設定方法の詳細については、「カスタムイメージを作成するためのパラメータ」をご参照ください。 重要 パブリックインターネットからオープンソースパッケージをインストールするには、サーバーレスリソースグループに関連付けられている VPC に パブリックネットワークアクセスが必要です。

4. 確認 をクリックしてカスタムイメージを作成します。

5. [カスタムイメージ] ページで、イメージをテストし、その後デプロイします。イメージは、デプロイする前にテストに合格する必要があります。

6. 対象のイメージの操作列で、 > [所有ワークスペースの変更]をクリックして、カスタムイメージに所有ワークスペースを関連付けます。

   イメージが正常にデプロイされると、その [デプロイステータス] が [デプロイ済み] に変わり、[操作] 列に [無効化] ボタンが表示されます。[操作] ドロップダウンメニューには、[変更]、[ビルド]、[バージョンを表示]、[イメージを削除] などのオプションも含まれます。

ステップ2： PyODPS 3 ノードの作成と設定

1. 左側のナビゲーションバーで [データ開発と運用保守] > データ開発 をクリックし、ドロップダウンリストから対象の ワークスペース を選択して、データ開発へ をクリックします。

2. 既存の ビジネスフロー で、pyodps3_pendulum_test という名前の PyODPS 3 ノードを作成します。

3. pyodps3_pendulum_test ノードのコードエディターで、次の Python 3 コードを入力します。

   # pendulum パッケージはカスタムイメージにインストールされているため、直接インポートできます。
   import pendulum
   print("サードパーティパッケージ pendulum のテストを開始しています...")
   try:
       # pendulum を使用して、「Asia/Shanghai」タイムゾーンの現在時刻を取得します。
       shanghai_time = pendulum.now('Asia/Shanghai')
       # フォーマットされた時刻とタイムゾーン情報を出力します。
       print(f"'pendulum' パッケージを正常にインポートしました。")
       print(f"上海の現在時刻: {shanghai_time.to_datetime_string()}")
       print(f"対応するタイムゾーン: {shanghai_time.timezone_name}")
       print("\nテストに合格しました! PyODPS ノードはサードパーティパッケージを正常に呼び出しました。")
   except Exception as e:
       print(f"テストに失敗しました。エラーが発生しました: {e}")

ステップ3： テストと結果の確認

1. ツールバーの アイコンをクリックしてコードを実行し、パラメーター ダイアログボックスで、作成したイメージ pyodps3_with_pendulum を選択します。

   重要

   対象イメージが見つからない場合は、イメージが現在のワークスペースに関連付けられていることを確認してください。詳細については、「ステップ1: カスタムイメージの作成」のステップ6をご参照ください。

2. ページ下部の [実行ログ] を確認します。次の出力は、pendulum パッケージが正常に呼び出されたことを示しています。

   サードパーティパッケージ pendulum のテストを開始しています...
   'pendulum' パッケージを正常にインポートしました。
   上海の現在時刻: 2025-09-27 15:45:00
   対応するタイムゾーン: Asia/Shanghai
   テストに合格しました! PyODPS ノードはサードパーティパッケージを正常に呼び出しました。

ステップ4： PyODPS 3 ノードのデプロイ

テストが完了したら、右側のペインで スケジューリング設定 > リソースプロパティ に移動し、サーバーレスリソースグループを選択して、イメージを、作成した pyodps3_with_pendulum カスタムイメージに設定します。その後、ノードを運用センターにデプロイできます。