Platform For AI:Python スクリプト

コンポーネントの場所

[Python Script] コンポーネントは、Machine Learning Designer コンポーネントリストの [UserDefinedScript] フォルダーにあります。

前提条件

• DLC の権限が付与されていること。 詳細については、「クラウドサービスの依存関係と権限：DLC」をご参照ください。

• Python スクリプトコンポーネントは、DLC コンピューティングリソースで実行されます。 DLC コンピューティングリソースをワークスペースに関連付けます。 ワークスペースの管理。

• Python スクリプトコンポーネントはコードを OSS に保存します。 OSS バケットを作成する必要があります。 詳細については、「バケットの作成」をご参照ください。

  重要

  OSS バケットは、Machine Learning Designer および DLC と同じリージョンにある必要があります。

• RAM ユーザーは、ワークスペースで アルゴリズム開発 ロールを持っている必要があります。 詳細については、「ワークスペースメンバーの管理」をご参照ください。 MaxCompute をデータソースとして使用するには、[MaxCompute Developer] ロールも付与する必要があります。

コンポーネントの設定

• 入力ポート

  Python スクリプトコンポーネントには 4 つの入力ポートがあります。 これらを OSS パスまたは MaxCompute テーブルからのデータに接続します。

  • OSS パス入力

    上流コンポーネントの OSS パスからの入力は、スクリプトが実行されるノードにマウントされます。 システムはマウントされたファイルパスを引数として渡します。 たとえば、--input1 /ml/input/data/input1 は最初の入力ポートのパスを指定します。 スクリプト内でローカルファイルとして /ml/input/data/input1 からマウントされたファイルを読み取ります。

  • MaxCompute テーブル入力

    MaxCompute テーブル入力はマウントされません。 システムはテーブル情報を URI 引数として渡します。 たとえば、python main.py --input1 odps://some-project-name/tables/table は、最初の入力ポートの MaxCompute テーブルを示します。 コードテンプレートの parse_odps_url 関数を使用して、ProjectName、TableName、Partition などのメタデータを解析します。 詳細については、「使用例」をご参照ください。

• 出力ポート

  Python スクリプトコンponentには 4 つの出力ポートがあります。 [OSS Output Port 1] と [OSS Output Port 2] は OSS パスに出力します。 [Table Output Port 1] と [Table Output Port 2] は MaxCompute テーブルに出力します。

  • OSS パス出力

    [Code Config] タブの [Job output path] に設定された OSS パスは、/ml/output/ にマウントされます。 [OSS Output Port 1] と [OSS Output Port 2] は、/ml/output/output1 と /ml/output/output2 に対応します。 スクリプトでこれらのディレクトリにファイルを書き込み、下流コンポーネントに渡します。

  • MaxCompute テーブル出力

    ワークスペースに MaxCompute プロジェクトがある場合、システムは一時テーブルの URI をスクリプトに渡します。例： python main.py --output3 odps://<some-project-name>/tables/<output-table-name>。 PyODPS を使用してこのテーブルを作成してデータを書き込み、接続を介して下流コンポーネントに渡します。

• パラメーター

  [Code Config]

  パラメーター		説明
  [Job output path]		ジョブ出力用の OSS パス。 設定された OSS ディレクトリは、ジョブコンテナ内の /ml/output/ にマウントされます。 /ml/output/ に書き込まれたデータは、対応する OSS ディレクトリに永続化されます。 出力ポートの [OSS Output-1] と [OSS Output-2] は、/ml/output/ 配下のサブパス output1 と output2 に対応します。 OSS 出力ポートが下流コンポーネントに接続されると、下流コンポーネントは対応するサブパスからデータを受信します。
  [Code source] (いずれかを選択)	[Literal code]	[Python code]：コードが保存される OSS パス。 エディターで記述されたコードはこのパスに保存されます。 デフォルトのファイル名は main.py です。 重要 初めて [Save] をクリックする前に、指定した OSS パスに同じ名前のファイルが含まれていないことを確認してください。 そうしない場合、既存のファイルは上書きされます。 Python コードエディター：エディターはデフォルトでサンプルコードを提供します。 詳細については、「使用例」をご参照ください。 エディターで直接コードを記述してください。
  	[Specify Git configuration]	[Git repository address]：Git リポジトリのアドレス。 [Code branch]：コードブランチ。 デフォルト値は [master] です。 [Code commit]：コミット ID。 ブランチよりも優先されます。 指定した場合、ブランチ設定は無視されます。 [Git username]：プライベートリポジトリにアクセスする必要がある場合に必須です。 [Git access token]：プライベートコードリポジトリにアクセスするために必要です。 詳細については、「付録：GitHub アカウントトークンの取得」をご参照ください。
  	[Select code source]	[Select code source repositories]：作成されたコード設定を選択します。 詳細については、「コード設定」をご参照ください。 [Code branch]：コードブランチ。 デフォルト値は [master] です。 [Code commit]：コミット ID。 ブランチよりも優先されます。 指定した場合、ブランチ設定は無視されます。
  	[Select OSS path]	[OSS Code Path] フィールドで、コードがアップロードされているパスを選択してください。
  [Command]		実行するコマンド。例：python main.py。 説明 システムはスクリプト名とポート接続に基づいて実行コマンドを生成します。 手動での設定は不要です。
  [Advanced option]		[Third-party dependencies]：Python の requirements.txt 形式でサードパーティの依存関係を指定してください。 システムはノードが実行される前にこれらのライブラリをインストールします。 cycler==0.10.0 # matplotlib 経由 kiwisolver==1.2.0 # matplotlib 経由 matplotlib==3.2.1 numpy==1.18.5 pandas==1.0.4 pyparsing==2.4.7 # matplotlib 経由 python-dateutil==2.8.1 # matplotlib、pandas 経由 pytz==2020.1 # pandas 経由 scipy==1.4.1 # seaborn 経由 [Enable container monitoring]：フォールトトレランス監視パラメーターの設定テキストボックスを表示します。

  [Run Config]

  パラメーター	説明
  リソースグループを選択	パブリック DLC リソースグループを選択してください。 パブリックリソースグループの場合、[InstanceType] を設定してください。 [CPU] または [GPU] インスタンスを選択してください。 デフォルト：ecs.c6.large。 デフォルトでは、現在のワークスペースのデフォルトの DLC クラウドネイティブリソースグループが使用されます。
  VPC 設定	既存の Virtual Private Cloud (VPC) を選択してください。
  セキュリティグループ	既存のセキュリティグループを選択してください。
  [Advanced option]	このオプションを選択した場合は、次のパラメーターを設定してください。 [Instance count]：インスタンス数。 デフォルト値は 1 です。 [Job image URI]：ジョブイメージの URI。 デフォルトのイメージは XGBoost 1.6.0 を使用します。 ディープラーニングフレームワークが必要な場合は、イメージを変更してください。 [Job type]：コードが分散実行用に実装されている場合にのみ変更してください。 サポートされている値： XGBoost/LightGBM Job TensorFlow Job PyTorch Job MPI Job

使用例

デフォルトのサンプルコード

import os
import argparse
import json
"""
Python スクリプトコンポーネントのサンプルコード
"""
# 現在のワークスペースのデフォルトの MaxCompute 実行環境。MaxCompute プロジェクト名とエンドポイントを含みます。
# この環境は、現在のワークスペースに MaxCompute プロジェクトが存在する場合にのみ挿入されます。
# 例：{"endpoint": "http://service.cn.maxcompute.aliyun-inc.com/api", "odpsProject": "lq_test_mc_project"}
ENV_JOB_MAX_COMPUTE_EXECUTION = "JOB_MAX_COMPUTE_EXECUTION"


def init_odps():
    from odps import ODPS
    # 現在のワークスペースのデフォルトの MaxCompute プロジェクトに関する情報。
    mc_execution = json.loads(os.environ[ENV_JOB_MAX_COMPUTE_EXECUTION])
    o = ODPS(
        access_id="<YourAccessKeyId>",
        secret_access_key="<YourAccessKeySecret>",
        # プロジェクトが配置されているリージョンに基づいてエンドポイントを選択します。例：http://service.cn-shanghai.maxcompute.aliyun-inc.com/api
        endpoint=mc_execution["endpoint"],
        project=mc_execution["odpsProject"],
    )
    return o


def parse_odps_url(table_uri):
    from urllib import parse
    parsed = parse.urlparse(table_uri)
    project_name = parsed.hostname
    r = parsed.path.split("/", 2)
    table_name = r[2]
    if len(r) > 3:
        partition = r[3]
    else:
        partition = None
    return project_name, table_name, partition


def parse_args():
    parser = argparse.ArgumentParser(description="PythonV2 コンポーネントスクリプトの例。")
    parser.add_argument("--input1", type=str, default=None, help="コンポーネント入力ポート 1。")
    parser.add_argument("--input2", type=str, default=None, help="コンポーネント入力ポート 2。")
    parser.add_argument("--input3", type=str, default=None, help="コンポーネント入力ポート 3。")
    parser.add_argument("--input4", type=str, default=None, help="コンポーネント入力ポート 4。")
    parser.add_argument("--output1", type=str, default=None, help="OSS 出力ポート 1。")
    parser.add_argument("--output2", type=str, default=None, help="OSS 出力ポート 2。")
    parser.add_argument("--output3", type=str, default=None, help="MaxComputeTable 出力 1。")
    parser.add_argument("--output4", type=str, default=None, help="MaxComputeTable 出力 2。")
    args, _ = parser.parse_known_args()
    return args


def write_table_example(args):
    # 例：PAI が提供するパブリックテーブルから、テーブル出力ポート 1 (--output3) に指定された一時テーブルにデータをコピーする SQL 文を実行します。
    output_table_uri = args.output3
    o = init_odps()
    project_name, table_name, partition = parse_odps_url(output_table_uri)
    o.run_sql(f"create table {project_name}.{table_name} as select * from pai_online_project.heart_disease_prediction;")


def write_output1(args):
    # 例：マウントされた OSS パス (OSS 出力ポート 1 のサブディレクトリ) にデータ結果を書き込み、結果は接続を介して下流コンポーネントに渡すことができます。
    output_path = args.output1
    os.makedirs(output_path, exist_ok=True)
    p = os.path.join(output_path, "result.text")
    with open(p, "w") as f:
        f.write("TestAccuracy=0.88")


if __name__ == "__main__":
    args = parse_args()
    print("Input1={}".format(args.input1))
    print("Output1={}".format(args.output1))
    # write_table_example(args)
    # write_output1(args)

例 1：他のコンポーネントとの連携

例 2：DLC ジョブのオーケストレーション

例 3：グローバル変数の受け渡し

1. グローバル変数を設定してください。

   Machine Learning Designer パイプラインページで、キャンバスの空白領域をクリックし、右側のペインにある[グローバル変数]タブで変数を設定します。

   例えば、変数名 arg1 に値 test1 を、変数名 arg2 に値 1234 を追加します。変数は ${variable_name} を使用して参照します。変数名は 1～20 文字で、文字で始まる必要があります。グローバル変数をオフラインスケジューリングで使用する場合、オフラインスケジューリングの設定にも同じ変数名を設定してください。

2. 2 つの方法のいずれかで、グローバル変数を Python スクリプトコンポーネントに渡すことができます。

   • Python スクリプトコンポーネントノードをクリックし、[Code Config] タブで [Advanced option] を選択した後、[Command] フィールドでグローバル変数を入力パラメーターとして設定してください。 たとえば、python main.py --arg1 ${arg1} --arg2 ${arg2} と入力すると、コマンドライン引数を通じてグローバル変数がスクリプトに渡されます。

   • Python コードを変更し、argparse を使用して引数を解析してください。

     次のコードは、手順 1 で設定したグローバル変数を例として使用しています。 実際のグローバル変数に基づいてコードを更新してください。 [Code Config] タブのコード編集領域のコードを置き換えてください。

     import os
     
     import argparse
     import json
     
     """
     Python スクリプトコンポーネントのサンプルコード
     """
     
     ENV_JOB_MAX_COMPUTE_EXECUTION = "JOB_MAX_COMPUTE_EXECUTION"
     
     
     def init_odps():
     
         from odps import ODPS
     
         mc_execution = json.loads(os.environ[ENV_JOB_MAX_COMPUTE_EXECUTION])
     
         o = ODPS(
             access_id="<YourAccessKeyId>",
             secret_access_key="<YourAccessKeySecret>",
             endpoint=mc_execution["endpoint"],
             project=mc_execution["odpsProject"],
         )
         return o
     
     
     def parse_odps_url(table_uri):
         from urllib import parse
     
         parsed = parse.urlparse(table_uri)
         project_name = parsed.hostname
         r = parsed.path.split("/", 2)
         table_name = r[2]
         if len(r) > 3:
             partition = r[3]
         else:
             partition = None
         return project_name, table_name, partition
     
     
     def parse_args():
         parser = argparse.ArgumentParser(description="PythonV2 コンポーネントスクリプトの例。")
     
         parser.add_argument("--input1", type=str, default=None, help="コンポーネント入力ポート 1。")
         parser.add_argument("--input2", type=str, default=None, help="コンポーネント入力ポート 2。")
         parser.add_argument("--input3", type=str, default=None, help="コンポーネント入力ポート 3。")
         parser.add_argument("--input4", type=str, default=None, help="コンポーネント入力ポート 4。")
     
         parser.add_argument("--output1", type=str, default=None, help="OSS 出力ポート 1。")
         parser.add_argument("--output2", type=str, default=None, help="OSS 出力ポート 2。")
         parser.add_argument("--output3", type=str, default=None, help="MaxComputeTable 出力 1。")
         parser.add_argument("--output4", type=str, default=None, help="MaxComputeTable 出力 2。")
         # 設定されたグローバル変数に基づいてコードを追加します。
         parser.add_argument("--arg1", type=str, default=None, help="引数 1。")
         parser.add_argument("--arg2", type=int, default=None, help="引数 2。")
         args, _ = parser.parse_known_args()
         return args
     
     
     def write_table_example(args):
     
         output_table_uri = args.output3
     
         o = init_odps()
         project_name, table_name, partition = parse_odps_url(output_table_uri)
         o.run_sql(f"create table {project_name}.{table_name} as select * from pai_online_project.heart_disease_prediction;")
     
     
     def write_output1(args):
         output_path = args.output1
     
         os.makedirs(output_path, exist_ok=True)
         p = os.path.join(output_path, "result.text")
         with open(p, "w") as f:
             f.write("TestAccuracy=0.88")
     
     
     if __name__ == "__main__":
         args = parse_args()
     
         print("Input1={}".format(args.input1))
         print("Output1={}".format(args.output1))
         # 設定されたグローバル変数に基づいてコードを追加します。
         print("Argument1={}".format(args.arg1))
         print("Argument2={}".format(args.arg2))
         # write_table_example(args)
         # write_output1(args)