DataWorks:PyODPS ノードでのサードパーティパッケージの使用

基本概念

1. ノードタイプ：PyODPS 2 vs. PyODPS 3

   • PyODPS 2：Python 2.7 環境に基づいています。

   • PyODPS 3：Python 3.7+ 環境に基づいています。

   • 推奨事項：Python 2 の公式サポートは終了しているため、PyODPS 3 の使用を強く推奨します。このトピックでは、主に PyODPS 3 を例として使用します。

2. リソースグループタイプ：サーバーレスリソースグループ vs. 専用スケジューリングリソースグループ

   • サーバーレスリソースグループ (推奨)：このリソースグループは伸縮自在でメンテナンスフリーです。カスタムイメージ を使用してサードパーティパッケージを管理できます。

   • 専用スケジューリングリソースグループ (非推奨)：これはレガシーソリューションです。ECS サーバーを購入して維持する必要があり、リソースは伸縮自在にスケールできません。運用保守アシスタント を使用して依存関係をインストールするには多くの制限があり、環境を破損させる可能性があります。

リソースグループタイプの特定

DataWorks コンソールで、ご利用のワークスペースの [ワークスペース詳細] ページに移動します。[リソースグループ] ページで、ワークスペースに関連付けられているリソースグループタイプを確認します。

• タイプが 一般目的 の場合、サーバーレスリソースグループを使用しています。

• タイプが データスケジューリング の場合、専用スケジューリングリソースグループを使用しています。

ステップ 1: pendulum ライブラリを含むカスタムイメージの作成

カスタムイメージは、サーバーレスリソースグループの実行環境を定義します。

1. DataWorks コンソールにログインし、左側のナビゲーションウィンドウで [イメージ管理] をクリックします。

2. Custom Image タブに移動します。

3. 左上隅の [イメージの作成] をクリックします。作成ページで、以下の主要なパラメーターを設定します。

   パラメーター	説明
   Image Name	カスタムイメージの名前を入力します。例：pyodps3_with_pendulum
   参照タイプ	[DataWorks 公式イメージ] を選択します。
   イメージ名/ID	ドロップダウンリストから、DataWorks 公式イメージ dataworks_pyodps_task_pod を選択します。
   サポートされるタスクタイプ	PyODPS 3 タスクタイプを選択します。
   インストールパッケージ	Python3 を選択し、ドロップダウンリストからシステム提供の pendulum パッケージを選択します。 組み込まれていないオープンソースパッケージをインストールするには、スクリプトモードを使用して手動でインストールできます。設定方法の詳細については、「カスタムイメージ作成のパラメーター」をご参照ください。 重要 パブリックインターネットからオープンソースパッケージをインストールするには、サーバーレスリソースグループに関連付けられている VPC がパブリックネットワークアクセスを持っている必要があります。

4. OK をクリックしてカスタムイメージを作成します。

5. [カスタムイメージ] ページで、イメージをテストしてからデプロイします。イメージは、デプロイする前にテストに合格する必要があります。

6. 対象イメージの 操作 列で、 > [所属ワークスペースの変更] をクリックして、所属するワークスペースをカスタムイメージに関連付けます。

   イメージが正常にデプロイされると、その [デプロイステータス] が [デプロイ済み] に変わり、[アクション] 列に [無効化] ボタンが表示されます。アクションのドロップダウンメニューには、[変更]、[ビルド]、[バージョンの表示]、[イメージの削除] などのオプションも含まれます。

ステップ 2: PyODPS 3 ノードの作成と設定

1. 左側のナビゲーションバーで [データ開発と運用保守] > Data Studio をクリックし、ドロップダウンリストから対象のワークスペースを選択し、Go to DataStudio をクリックします。

2. 既存のビジネスフローで、pyodps3_pendulum_test という名前の PyODPS 3 ノードを作成します。

3. pyodps_pendulum_test ノードのコードエディタに、次の Python 3 コードを入力します。

   # pendulum パッケージはカスタムイメージにインストールされているため、直接インポートできます。
   import pendulum
   print("サードパーティパッケージ pendulum のテストを開始します...")
   try:
       # pendulum を使用して "Asia/Shanghai" タイムゾーンの現在時刻を取得します。
       shanghai_time = pendulum.now('Asia/Shanghai')
       # フォーマットされた時刻とタイムゾーン情報を出力します。
       print(f"'pendulum' パッケージのインポートに成功しました。")
       print(f"現在の上海時刻は: {shanghai_time.to_datetime_string()}")
       print(f"対応するタイムゾーンは: {shanghai_time.timezone_name}")
       print("\nテストに合格しました！PyODPS ノードはサードパーティパッケージを正常に呼び出しました。")
   except Exception as e:
       print(f"テストに失敗しました。エラーが発生しました: {e}")

ステップ 3: テストと結果の検証

1. ツールバーの アイコンをクリックしてコードを実行し、Parameter ダイアログボックスで、作成したイメージ pyodps3_with_pendulum を選択します。

   重要

   対象のイメージが見つからない場合は、イメージが現在のワークスペースに関連付けられていることを確認してください。詳細については、「ステップ 1: カスタムイメージの作成」のステップ 6 をご参照ください。

2. ページ下部の実行ログを表示します。次の出力は、pendulum パッケージが正常に呼び出されたことを示しています。

   サードパーティパッケージ pendulum のテストを開始します...
   'pendulum' パッケージのインポートに成功しました。
   現在の上海時刻は: 2025-09-27 15:45:00
   対応するタイムゾーンは: Asia/Shanghai
   テストに合格しました！PyODPS ノードはサードパーティパッケージを正常に呼び出しました。

ステップ 4: PyODPS 3 ノードのデプロイ

テストが完了したら、右側のペインで Scheduling > Resource Group に移動します。ご利用のサーバーレスリソースグループを選択し、イメージを作成したカスタムイメージ pyodps3_with_pendulum に設定します。その後、ノードをオペレーションセンターにデプロイできます。