Platform For AI:Python スクリプト

コンポーネントの場所

[Python スクリプト] コンポーネントは、Machine Learning Designer コンポーネントリストの [UserDefinedScript] フォルダーにあります。

前提条件

• DLC の権限が付与されている必要があります。詳細については、「Cloud service dependencies and authorizations: DLC」をご参照ください。

• Python スクリプトコンポーネントはDLC コンピューティングリソース上で実行されます。 ワークスペースにDLC コンピューティングリソースを関連付けてください。 ワークスペースの管理。

• Python スクリプトコンポーネントはコードを OSS に保存します。OSS のバケットを作成してください。詳細については、「Create a bucket」をご参照ください。

  重要

  OSS バケットは、Machine Learning Designer および DLC と同じリージョンにある必要があります。

• RAM ユーザーは、ワークスペースで [アルゴリズム開発] ロールを持つ必要があります。詳細については、「Manage workspace members」をご参照ください。MaxCompute をデータソースとして使用する場合は、さらに MaxCompute Developer ロールも付与してください。

コンポーネントの設定

• 入力ポート

  Python スクリプトコンポーネントには 4 つの入力ポートがあります。これらを OSS パスまたは MaxCompute テーブルのデータに接続します。

  • OSS パス入力

    上流コンポーネントの OSS パスからの入力は、スクリプトが実行されるノードにマウントされます。システムは、マウントされたファイルパスを引数として渡します。たとえば、--input1 /ml/input/data/input1 は 1 番目の入力ポートのパスを指定します。スクリプト内では、/ml/input/data/input1 にマウントされたファイルをローカルファイルとして読み取ります。

  • MaxCompute テーブル入力

    MaxCompute テーブル入力はマウントされません。システムは、テーブル情報を URI 引数として渡します。たとえば、python main.py --input1 odps://some-project-name/tables/table は 1 番目の入力ポートの MaxCompute テーブルを示します。コードテンプレートの parse_odps_url 関数を使用して、ProjectName、TableName、Partition などのメタデータを解析できます。詳細については、「使用例」をご参照ください。

• 出力ポート

  Python スクリプトコンポーネントには 4 つの出力ポートがあります。OSS Output Port 1 と OSS Output Port 2 は OSS パスに出力します。Table Output Port 1 と Table Output Port 2 は MaxCompute テーブルに出力します。

  • OSS パス出力

    [Code Config] タブの Job output path に設定した OSS パスは、/ml/output/ にマウントされます。OSS Output Port 1 と OSS Output Port 2 は、それぞれ /ml/output/output1 と /ml/output/output2 に対応します。スクリプト内でこれらのディレクトリにファイルを書き込むと、下流コンポーネントに渡せます。

  • MaxCompute テーブル出力

    ワークスペースに MaxCompute プロジェクトがある場合、システムは一時テーブル URI をスクリプトに渡します。例： python main.py --output3 odps://<some-project-name>/tables/<output-table-name>。PyODPS を使用してこのテーブルを作成し、データを書き込んだ後、接続を介して下流コンポーネントに渡すことができます。

• パラメータ

  [Code Config]

  パラメータ		説明
  Job output path		ジョブ出力の OSS パスです。 設定した OSS ディレクトリは、ジョブコンテナ内の /ml/output/ にマウントされます。/ml/output/ に書き込まれたデータは、対応する OSS ディレクトリに永続化されます。 出力ポート OSS Output-1 と OSS Output-2 は、/ml/output/ 配下のサブパス output1 と output2 に対応します。OSS 出力ポートを下流コンポーネントに接続すると、下流コンポーネントは対応するサブパスからデータを受け取ります。
  Code source (いずれか 1 つを選択)	Literal code	Python code：コードの保存先となる OSS パスです。エディタに入力したコードはこのパスに保存されます。デフォルトのファイル名は main.py です。 重要 初回に [Save] をクリックする前に、指定した OSS パスに同名ファイルが存在しないことを確認してください。存在する場合、既存ファイルが上書きされます。 Python code editor：エディタにはデフォルトでサンプルコードが用意されています。詳細については、「使用例」をご参照ください。エディタに直接コードを記述します。
  	Specify Git configuration	Git repository address：Git リポジトリのアドレスです。 Code branch：コードブランチです。デフォルト値は master です。 Code commit：コミット ID です。ブランチより優先されます。指定した場合、ブランチ設定は無視されます。 Git username：プライベートリポジトリにアクセスする必要がある場合に必須です。 Git access token：プライベートコードリポジトリにアクセスするために必須です。詳細については、「Appendix: Obtain a GitHub account token」をご参照ください。
  	Select code source	Select code source repositories：作成済みのコード設定を選択します。詳細については、「Code configurations」をご参照ください。 Code branch：コードブランチです。デフォルト値は master です。 Code commit：コミット ID です。ブランチより優先されます。指定した場合、ブランチ設定は無視されます。
  	Select OSS path	OSS Code Path フィールドで、コードのアップロード先パスを選択します。
  Command		python main.py など、実行するコマンドです。 説明 システムは、スクリプト名とポート接続に基づいて実行コマンドを生成します。手動で設定する必要はありません。
  Advanced option		Third-party dependencies：Python の requirements.txt 形式でサードパーティライブラリを指定します。システムはノードの実行前にこれらのライブラリをインストールします。 cycler==0.10.0 # via matplotlib kiwisolver==1.2.0 # via matplotlib matplotlib==3.2.1 numpy==1.18.5 pandas==1.0.4 pyparsing==2.4.7 # via matplotlib python-dateutil==2.8.1 # via matplotlib, pandas pytz==2020.1 # via pandas scipy==1.4.1 # via seaborn Enable container monitoring：フォールトトレランス監視パラメータ用の設定テキストボックスを表示します。

  [Run Config]

  パラメータ	説明
  [リソースグループを選択]	パブリック DLC リソースグループを選択します： パブリックリソースグループの場合は、InstanceType を設定します。CPU または GPU インスタンスを選択します。デフォルト：ecs.c6.large。 デフォルトでは、現在のワークスペースのデフォルト DLC クラウドネイティブリソースグループが使用されます。
  [VPC 設定]	既存の Virtual Private Cloud (VPC) を選択します。
  [セキュリティグループ]	既存のセキュリティグループを選択します。
  Advanced option	このオプションを選択した場合、次のパラメータを設定します： Instance count：インスタンス数です。デフォルト値は 1 です。 Job image URI：ジョブイメージの URI です。デフォルトイメージは XGBoost 1.6.0 を使用します。ディープラーニングフレームワークが必要な場合は、イメージを変更してください。 Job type：分散実行向けにコードを実装している場合にのみ変更してください。サポートされる値： XGBoost/LightGBM Job TensorFlow Job PyTorch Job MPI Job

使用例

デフォルトのサンプルコード

import os
import argparse
import json
"""
Python Script コンポーネントのサンプルコード
"""
# 現在のワークスペースにおけるデフォルトの MaxCompute 実行環境。MaxCompute のプロジェクト名とエンドポイントが含まれます。
# この環境は、現在のワークスペースに MaxCompute プロジェクトが存在する場合にのみ挿入されます。
# 例: {"endpoint": "http://service.cn.maxcompute.aliyun-inc.com/api", "odpsProject": "lq_test_mc_project"}.
ENV_JOB_MAX_COMPUTE_EXECUTION = "JOB_MAX_COMPUTE_EXECUTION"


def init_odps():
    from odps import ODPS
    # 現在のワークスペースにおけるデフォルトの MaxCompute プロジェクト情報。
    mc_execution = json.loads(os.environ[ENV_JOB_MAX_COMPUTE_EXECUTION])
    o = ODPS(
        access_id="<YourAccessKeyId>",
        secret_access_key="<YourAccessKeySecret>",
        # プロジェクトが存在するリージョンに基づいてエンドポイントを選択します。例: http://service.cn-shanghai.maxcompute.aliyun-inc.com/api.
        endpoint=mc_execution["endpoint"],
        project=mc_execution["odpsProject"],
    )
    return o


def parse_odps_url(table_uri):
    from urllib import parse
    parsed = parse.urlparse(table_uri)
    project_name = parsed.hostname
    # Path is like /tables/table_name/partition1/partition2...
    path_parts = parsed.path.strip('/').split('/')
    if len(path_parts) >= 2 and path_parts[0] == 'tables':
        table_name = path_parts[1]
        if len(path_parts) > 2:
            partition = '/'.join(path_parts[2:])
        else:
            partition = None
    else:
        # Fallback for unexpected format
        table_name = None
        partition = None
    return project_name, table_name, partition


def parse_args():
    parser = argparse.ArgumentParser(description="PythonV2 component script example.")
    parser.add_argument("--input1", type=str, default=None, help="Component input port 1.")
    parser.add_argument("--input2", type=str, default=None, help="Component input port 2.")
    parser.add_argument("--input3", type=str, default=None, help="Component input port 3.")
    parser.add_argument("--input4", type=str, default=None, help="Component input port 4.")
    parser.add_argument("--output1", type=str, default=None, help="Output OSS port 1.")
    parser.add_argument("--output2", type=str, default=None, help="Output OSS port 2.")
    parser.add_argument("--output3", type=str, default=None, help="Output MaxComputeTable 1.")
    parser.add_argument("--output4", type=str, default=None, help="Output MaxComputeTable 2.")
    args, _ = parser.parse_known_args()
    return args


def write_table_example(args):
    # 例: PAI提供のパブリックテーブルから、Table Output Port 1 (--output3) で指定された一時テーブルにデータをコピーするSQL文を実行します。
    output_table_uri = args.output3
    o = init_odps()
    project_name, table_name, partition = parse_odps_url(output_table_uri)
    o.run_sql(f"create table {project_name}.{table_name} as select * from pai_online_project.heart_disease_prediction;")


def write_output1(args):
    # 例: データ結果をマウントされた OSS パス (OSS Output Port 1 のサブディレクトリ) に書き込みます。結果は接続を介して下流コンポーネントに渡せます。
    output_path = args.output1
    os.makedirs(output_path, exist_ok=True)
    p = os.path.join(output_path, "result.text")
    with open(p, "w") as f:
        f.write("TestAccuracy=0.88")


if __name__ == "__main__":
    args = parse_args()
    print("Input1={}".format(args.input1))
    print("Output1={}".format(args.output1))
    # write_table_example(args)
    # write_output1(args)

例 1：他のコンポーネントとの連携

例 2：DLC ジョブのオーケストレーション

例 3：グローバル変数の受け渡し

1. グローバル変数を設定します。

   Machine Learning Designer パイプラインページで、キャンバスの空白領域をクリックし、右側のペインの [グローバル変数] タブで変数を設定します。

   例：変数名 arg1 に値 test1、変数名 arg2 に値 1234 を追加します。${variable_name} を使用して変数を参照します。変数名は 1～20 文字で、先頭は英字である必要があります。オフラインスケジューリングでグローバル変数を使用する場合は、オフラインスケジューリング設定でも同じ変数名を設定してください。

2. グローバル変数は、次のいずれかの方法で Python スクリプトコンポーネントに渡すことができます。

   • Python スクリプトコンポーネントノードをクリックします。[Code Config] タブで Advanced option を選択し、Command フィールドでグローバル変数を入力パラメータとして設定します。たとえば、python main.py --arg1 ${arg1} --arg2 ${arg2} と入力すると、コマンドライン引数としてグローバル変数をスクリプトに渡せます。

   • argparse を使用して引数を解析するように Python コードを修正します。

     次のコードでは、手順 1 で設定したグローバル変数を例として使用しています。実際のグローバル変数に合わせてコードを更新してください。[Code Config] タブのコード編集領域でコードを置き換えます。

     import os
     
     import argparse
     import json
     
     """
     Python Script コンポーネントのサンプルコード
     """
     
     ENV_JOB_MAX_COMPUTE_EXECUTION = "JOB_MAX_COMPUTE_EXECUTION"
     
     
     def init_odps():
     
         from odps import ODPS
     
         mc_execution = json.loads(os.environ[ENV_JOB_MAX_COMPUTE_EXECUTION])
     
         o = ODPS(
             access_id="<YourAccessKeyId>",
             secret_access_key="<YourAccessKeySecret>",
             endpoint=mc_execution["endpoint"],
             project=mc_execution["odpsProject"],
         )
         return o
     
     
     def parse_odps_url(table_uri):
         from urllib import parse
         parsed = parse.urlparse(table_uri)
         project_name = parsed.hostname
         # Path is like /tables/table_name/partition1/partition2...
         path_parts = parsed.path.strip('/').split('/')
         if len(path_parts) >= 2 and path_parts[0] == 'tables':
             table_name = path_parts[1]
             if len(path_parts) > 2:
                 partition = '/'.join(path_parts[2:])
             else:
                 partition = None
         else:
             # Fallback for unexpected format
             table_name = None
             partition = None
         return project_name, table_name, partition
     
     
     def parse_args():
         parser = argparse.ArgumentParser(description="PythonV2 component script example.")
     
         parser.add_argument("--input1", type=str, default=None, help="Component input port 1.")
         parser.add_argument("--input2", type=str, default=None, help="Component input port 2.")
         parser.add_argument("--input3", type=str, default=None, help="Component input port 3.")
         parser.add_argument("--input4", type=str, default=None, help="Component input port 4.")
     
         parser.add_argument("--output1", type=str, default=None, help="Output OSS port 1.")
         parser.add_argument("--output2", type=str, default=None, help="Output OSS port 2.")
         parser.add_argument("--output3", type=str, default=None, help="Output MaxComputeTable 1.")
         parser.add_argument("--output4", type=str, default=None, help="Output MaxComputeTable 2.")
         # 設定したグローバル変数に基づいてコードを追加します。
         parser.add_argument("--arg1", type=str, default=None, help="Argument 1.")
         parser.add_argument("--arg2", type=int, default=None, help="Argument 2.")
         args, _ = parser.parse_known_args()
         return args
     
     
     def write_table_example(args):
     
         output_table_uri = args.output3
     
         o = init_odps()
         project_name, table_name, partition = parse_odps_url(output_table_uri)
         o.run_sql(f"create table {project_name}.{table_name} as select * from pai_online_project.heart_disease_prediction;")
     
     
     def write_output1(args):
         output_path = args.output1
     
         os.makedirs(output_path, exist_ok=True)
         p = os.path.join(output_path, "result.text")
         with open(p, "w") as f:
             f.write("TestAccuracy=0.88")
     
     
     if __name__ == "__main__":
         args = parse_args()
     
         print("Input1={}".format(args.input1))
         print("Output1={}".format(args.output1))
         # 設定したグローバル変数に基づいてコードを追加します。
         print("Argument1={}".format(args.arg1))
         print("Argument2={}".format(args.arg2))
         # write_table_example(args)
         # write_output1(args)