Platform For AI:NLB を使用したサービスの呼び出し

前提条件

• NLB インスタンスを作成します。 詳細については、「NLB インスタンスの作成と管理」をご参照ください。

• VPC、vSwitch、およびセキュリティグループを作成して、VPC 専用接続を有効にします。 セキュリティグループがこのサービス専用であり、vSwitch に十分な利用可能な IP があることを確認してください。 詳細については、「VPC の作成と管理」および「セキュリティグループの管理」をご参照ください。

課金

NLB の使用には料金が発生します。 詳細については、「NLB の課金ルール」をご参照ください。

仕組み

• 指定された VPC と vSwitch に NLB インスタンスを作成します。 ネットワーク環境が VPC 専用接続の構成と一致していることを確認してください。

• サービスのデプロイまたは更新中に、VPC 専用接続を有効にし、NLB インスタンスをリスナーポートに関連付けます。 EAS は、vSwitch 配下の Elastic Network Interface (ENI) を EAS Pod にアタッチし、TCP リスナーを NLB インスタンスに追加します。これにより、NLB ドメイン:リスナーポート を使用して EAS サービスにアクセスできるようになります。

NLB インスタンスの関連付け

サービスをデプロイまたは更新する際に、JSON 構成ファイルに次のパラメーターを含めます。 EAS サービスのデプロイまたは更新については、「カスタム推論サービスのデプロイ」および「コマンドを実行して EASCMD クライアントを使用する」をご参照ください。

"cloud": {
        "networking": {
            "vpc_id": "vpc-bp15jr4ggze4rvow39****",
            "vswitch_id": "vsw-bp11dobkizy0jjsgn****",
            "security_group_id": "sg-bp1dz9lad9s0615r****"
        }
    },
"networking": {
        "nlb": [
            {
               "id": "nlb-5q4sp7u6oorkha****",
                "listener_port": 9090
            }
        ]
    }

ネットワーク接続の確認

サービスのデプロイが成功したら、NLB ドメイン名:リスナーポート のネットワーク接続を確認します。

1. NLB コンソールで NLB ドメイン名を表示します。 インスタンスの [ドメイン名] 列を確認します。

2. telnet ドメイン名 リスナーポート を使用して接続性をテストします。 サービスデプロイ時に指定した listener_port と、前のステップで取得したドメイン名を使用します。

   • インターネット NLB の場合は、ローカルターミナルでコマンドを実行します。

   • イントラネット NLB の場合は、VPC 内のターミナルでコマンドを実行します。

   サンプル結果：

NLB ドメイン名とポートを使用して EAS サービスにアクセスします。 サンプルコマンド：

# サンプルコマンド
curl http://<NLB domain>:<listener port>/api/predict/<service_name> -H 'Authorization:<service_token>' -d '[{"What is the capital city of Zhejiang?"}]'
# サンプル結果
{"response":"The capital city of Zhejiang is Hangzhou.","history":[["[{\"What is the capital city of Zhejiang?\"}]","The capital city of Zhejiang is Hangzhou."]]}

パラメーターの説明：

• サービスアクセスアドレスは http://<NLB ドメイン名>:<リスナーポート>/api/predict/<サービス名> です。 これを表示するには：

  1. Elastic Algorithm Service (EAS) ページで、目的のサービス名をクリックします。

  2. [基本情報] セクションで [エンドポイント情報を表示] をクリックします。

  3. エンドポイント内の共有ゲートウェイドメインアドレスを <NLB ドメイン名>:<リスナーポート> に置き換えます。

     • NLB ドメイン名： 先ほど確認したドメイン名。

     • リスナーポート： サービスデプロイ時に指定した listener_port を使用します。

• サービストークン： 手順 a と b に従って表示します。