Platform For AI:Python を使用したカスタムプロセッサの開発

背景情報

Python を使用してカスタムプロセッサを開発するには、次のステップを実行します:

1. ステップ 1: Python 環境の作成

   Elastic Algorithm Service (EAS) SDK for Python は、複数の機械学習フレームワークをサポートし、Pandas などのさまざまなデータ分析および操作フレームワークと統合できます。このトピックでは、カスタムプロセッサを開発するためのオンプレミス Python 環境を作成およびアップロードする 2 つの方法について説明します。

2. ステップ 2: 予測ロジックの追加

   EAS SDK for Python は、パフォーマンス専有型のリモートプロシージャコール (RPC) フレームワークを採用しており、EAS クラスター間の相互作用を容易にする API を含んでいます。モデルを EAS にデプロイするには、予測ロジックでいくつかの関数を実装するだけで済みます。

3. ステップ 3: オンプレミステストの実行

   オンプレミステストを実行して予測ロジックを検証し、デプロイ後にサービスが期待どおりに動作することを確認します。

4. ステップ 4: Python コードと環境のパッケージ化

   Python コードと環境を必要なフォーマットでパッケージ化します。

5. ステップ 5: パッケージとモデルファイルのアップロード

   パッケージとモデルファイルを OSS にアップロードします。

6. ステップ 6: モデルサービスのデプロイとテスト

   カスタムプロセッサを使用してモデルサービスをデプロイします。

前提条件

モデルファイルが準備されています。

ステップ 1: Python 環境の作成

pyenv などのパッケージ管理ツールを使用して Python 環境を作成できます。EAS が提供する EASCMD クライアントは、EAS SDK for Python の初期化プロセスをカプセル化します。ツールをダウンロードした後、コマンドを実行するだけで Python 環境を初期化し、関連するファイルテンプレートを生成できます。このクライアントは Linux オペレーティングシステムに適しています。コマンド例:

# EASCMD をインストールし、EAS SDK for Python を初期化します。
$ wget https://eas-data.oss-cn-shanghai.aliyuncs.com/tools/eascmd/v2/eascmd64
# EASCMD をインストールした後、AccessKey ペアを設定してアクセス権限を変更します。
$ chmod +x eascmd64
$ ./eascmd64 config -i <access_id> -k <access_key>

# 環境を初期化します。
$ ./eascmd64 pysdk init ./pysdk_demo

コマンド出力に使用したい Python のバージョンを入力します。デフォルトのバージョンは 3.6 です。バージョンを選択すると、./pysdk_demo ディレクトリ内に次のディレクトリとファイルが自動的に作成されます: ENV という名前のディレクトリ (Python 環境変数を格納)、app.py ファイル (予測ロジックのテンプレートを含む)、および app.json ファイル (サービスデプロイメントのテンプレートを含む)。

ステップ 2: 予測ロジックの追加

# -*- coding: utf-8 -*-
import allspark


class MyProcessor(allspark.BaseProcessor):
    """ MyProcessor は一例です
        このようにメッセージを送信して予測できます
        curl -v http://127.0.0.1:8080/api/predict/service_name -d '2 105'
    """
    def initialize(self):
        """ モジュールをロードし、サービスの開始時に一度実行されます
             この関数でサービスの初期化とモデルのロードを行います。
        """
        self.module = {'w0': 100, 'w1': 2}
        # model_dir = self.get_model_path().decode()
        # load_model 関数を定義します。model.pt モデルファイルをロードしたい場合、関数を torch.load(model_dir + "/model.pt") として実装できます。
        # self.model = load_model(model_dir)

    def pre_process(self, data):
        """ データ形式の前処理
        """
        x, y = data.split(b' ')
        return int(x), int(y)

    def post_process(self, data):
        """ 処理後の処理
        """
        return bytes(data, encoding='utf8')

    def process(self, data):
        """ リクエストデータを処理します
        """
        x, y = self.pre_process(data)
        w0 = self.module['w0']
        w1 = self.module['w1']
        y1 = w1 * x + w0
        if y1 >= y:
            return self.post_process("True"), 200
        else:
            return self.post_process("False"), 400


if __name__ == '__main__':
    # allspark.default_properties().put('rpc.keepalive', '10000')
    # タイムアウト時間を 10 秒に設定します。デフォルトでは、時間は 5 秒です。
    # パラメーター worker_threads は処理の同時実行性を示します
    runner = MyProcessor(worker_threads=10)
    runner.run()

model_dir = self.get_model_path().decode()
                                    self.model = load_model(model_dir)

ステップ 3: オンプレミステストの実行

1. ターミナルウィンドウを開き、app.py ファイルを含むディレクトリで次のコマンドを実行して Python プロジェクトを起動します:

   ./ENV/bin/python app.py

   次の出力は、プロジェクトが起動したことを示します:

   [INFO] waiting for service initialization to complete...
   [INFO] service initialization complete
   [INFO] create service
   [INFO] rpc binds to predefined port 8080
   [INFO] install builtin handler call to /api/builtin/call
   [INFO] install builtin handler eastool to /api/builtin/eastool
   [INFO] install builtin handler monitor to /api/builtin/monitor
   [INFO] install builtin handler ping to /api/builtin/ping
   [INFO] install builtin handler prop to /api/builtin/prop
   [INFO] install builtin handler realtime_metrics to /api/builtin/realtime_metrics
   [INFO] install builtin handler tell to /api/builtin/tell
   [INFO] install builtin handler term to /api/builtin/term
   [INFO] Service start successfully

2. 新しいターミナルウィンドウを開き、次のコマンドを実行して 2 つのリクエストを送信します。

   このトピックの「ステップ 2: 予測ロジックの追加」セクションのサンプルコードに基づいて応答を確認します。

   curl http://127.0.0.1:8080/test -d '10 20'

ステップ 4: Python コードと環境のパッケージ化

EASCMD クライアントは、Python コードを迅速にパッケージ化するためのコマンドを提供します。EASCMD クライアントを使用してカスタムプロセッサを開発しない場合は、手動で完全な環境をパッケージ化できます。次のいずれかの方法を使用して、Python コードと環境をパッケージ化できます:

ステップ 5: パッケージとモデルファイルのアップロード

Python コードと環境をパッケージ化した後、パッケージ (.zip または .tar.gz 形式) とモデルファイルを OSS にアップロードします。サービスをデプロイするときにファイルをマウントできます。OSS にファイルをアップロードする方法の詳細については、「ossutil コマンドリファレンス」をご参照ください。

ステップ 6: モデルサービスのデプロイとテスト

PAI コンソールまたは EASCMD クライアントを使用してモデルサービスをデプロイできます。

1. サービスをデプロイします。

   PAI コンソールの使用

   1. PAI コンソールにログインします。リージョンとワークスペースを選択し、[Elastic Algorithm Service (EAS)] をクリックします。

   2. [サービスのデプロイ] をクリックし、[カスタムモデルのデプロイ] セクションで [カスタムデプロイ] を選択します。

   3. 次の主要なパラメーターを設定します。その他のパラメーターの詳細については、「カスタムデプロイメント」をご参照ください。

      パラメーター	説明
      デプロイ方法	[プロセッサベースのデプロイメント] を選択します。
      モデル設定	[タイプ] に [OSS] を選択し、モデルファイルが格納されている OSS パスを指定します。
      プロセッサタイプ	[カスタムプロセッサ] を選択します。
      プロセッサ言語	[python] を選択します。
      プロセッサパッケージ	[タイプ] に [OSS] を選択し、パッケージファイルが格納されている OSS パスを指定します。
      プロセッサメインファイル	値を ./app.py に設定します。

   4. (オプション) [サービス設定の編集] セクションで data_image パラメーターを追加します。値は、ファイルをパッケージ化したときに指定したイメージパスに設定します。

      説明

      data_image パラメーターは、「ステップ 4: Python コードと環境のパッケージ化」でイメージを使用して開発環境をアップロードした場合にのみ設定します。

   5. [デプロイ] をクリックします。

   EASCMD の使用

   次のセクションでは、Linux オペレーティングシステムを例として使用します。

   1. EASCMD クライアントをダウンロードし、身分認証を実行します。詳細については、「EASCMD クライアントをダウンロードして身分認証を完了する」をご参照ください。

   2. EASCMD クライアントが格納されているディレクトリに app.json という名前の JSON ファイルを作成します。プロセッサが手動または EASCMD クライアントを使用してパッケージ化されている場合のサンプルファイル:

      {
        "name": "pysdk_demo",
        "processor_entry": "./app.py",
        "processor_type": "python",
        "processor_path": "oss://examplebucket/exampledirectory/pysdk_demo.tar.gz",
        "model_path": "oss://examplebucket/exampledirectory/model",
        "cloud": {
              "computing": {
                  "instance_type": "ecs.c7.large"
              }
        },
        "metadata": {
          "instance": 1,
          }
      }

   3. ターミナルウィンドウを開き、JSON ファイルが格納されているディレクトリで次のコマンドを実行してサービスをデプロイします:

      $ ./eascmd64 create app.json

      次の出力は、サービスがデプロイされたことを示します:

      [RequestId]: 1202D427-8187-4BCB-8D32-D7096E95B5CA
      +-------------------+-------------------------------------------------------------------+
      | Intranet Endpoint | http://182848887922****.vpc.cn-beijing.pai-eas.aliyuncs.com/api/predict/pysdk_demo |
      |             Token | ZTBhZTY3ZjgwMmMyMTQ5OTgyMTQ5YmM0NjdiMmNiNmJkY2M5ODI0****          |
      +-------------------+-------------------------------------------------------------------+
      [OK] Waiting task server to be ready
      [OK] Fetching processor from [oss://eas-model-beijing/195557026392****/pysdk_demo.tar.gz]
      [OK] Building image [registry-vpc.cn-beijing.aliyuncs.com/eas/pysdk_demo_cn-beijing:v0.0.1-20190806082810]
      [OK] Pushing image [registry-vpc.cn-beijing.aliyuncs.com/eas/pysdk_demo_cn-beijing:v0.0.1-20190806082810]
      [OK] Waiting [Total: 1, Pending: 1, Running: 0]
      [OK] Service is running

2. サービスをテストします。

   1. PAI コンソールにログインします。リージョンとワークスペースを選択し、[Elastic Algorithm Service (EAS)] をクリックします。

   2. テストするサービスを見つけ、[サービスタイプ] 列の [呼び出し方法] をクリックして、パブリックエンドポイントと [トークン] を取得します。

   3. ターミナルウィンドウで次のコマンドを実行してサービスを呼び出します:

      $ curl <service_url> -H 'Authorization: <token>' -d '10 20'

      次のパラメーターを変更します:

      • <service_url> をステップ b で取得したパブリックエンドポイントに置き換えます。例: http://182848887922****.vpc.cn-beijing.pai-eas.aliyuncs.com/api/predict/pysdk_demo。

      • <token> をステップ b で取得したトークンに置き換えます。例: ZTBhZTY3ZjgwMmMyMTQ5OTgyMTQ5YmM0NjdiMmNiNmJkY2M5ODI0****。

      • -d オプションは、サービスの入力パラメーターを指定します。

リファレンス

• カスタムプロセッサの開発時に発生する可能性のある問題の解決方法の詳細については、「カスタムプロセッサに関するよくある質問」をご参照ください。

• Java を使用してカスタムプロセッサを開発する方法の詳細については、「Java を使用したカスタムプロセッサの開発」をご参照ください。