OpenSearch:Penerapan layanan

Anda dapat menerapkan model dari AI Search Open Platform, ModelScope, dan model kustom untuk menyediakan layanan inferensi dengan konkurensi lebih tinggi dan latensi lebih rendah.

Menerapkan layanan

1. Di Konsol AI Search Open Platform, pilih Model Service > Service Deployment, lalu klik Deploy Service.

   Jika Anda menggunakan akun RAM untuk membuat, memodifikasi, atau melihat detail layanan, Anda perlu memberikan izin operasi terkait kepada akun RAM untuk Model Service-Service Deployment terlebih dahulu.

2. Di halaman Deploy Service, konfigurasikan nama layanan, wilayah penyebaran, dan informasi lainnya.

   

   • Wilayah penyebaran yang saat ini didukung adalah Jerman (Frankfurt).

   • Tipe Sumber Daya: Jenis untuk penerapan model.

   • Perkiraan Harga: Biaya penerapan model.

3. Klik Deploy, dan sistem mulai menerapkan layanan. Deskripsi status layanan:

   • Deploying: Sistem sedang menerapkan layanan, layanan sementara tidak tersedia. Di daftar layanan, klik Manage untuk melihat detail layanan atau klik Delete untuk menghapus tugas.

   • Normal: Menunjukkan penerapan berhasil. Di daftar layanan, Anda dapat klik Manage untuk melihat detail layanan. Di halaman detail layanan, Anda dapat menggunakan Change Configuration untuk memodifikasi konfigurasi sumber daya layanan. Di daftar layanan, Anda dapat klik Delete untuk menghapus layanan.

   • Deployment Failed: Lihat detail penerapan, terapkan ulang, atau hapus tugas penerapan.

Lihat informasi pemanggilan layanan

Masuk ke Konsol AI Search Open Platform, pilih Model Service > Service Deployment, dan klik Manage di daftar layanan.

• ID Layanan: Parameter ini diperlukan saat memanggil layanan melalui SDK.

• API publik dan privat: Anda dapat memilih untuk memanggil layanan model melalui alamat publik atau privat.

• Token: Kredensial untuk pemanggilan layanan. Dibagi menjadi Token jaringan publik dan Token jaringan privat. Saat memanggil layanan melalui alamat publik atau privat, Anda perlu mengisi Token yang sesuai.

• API-KEY: Digunakan untuk otentikasi identitas saat memanggil layanan melalui API-KEY.

  

Uji layanan

Saat menguji layanan model menggunakan perintah curl, Anda perlu menyediakan informasi API-KEY dan Token.

Jalankan kode berikut untuk memanggil model vektorisasi teks guna menyematkan konten input "Ilmu pengetahuan dan teknologi adalah kekuatan produktif utama" dan "dokumentasi produk opensearch":

curl -X POST \
     -H "Content-Type: application/json" \
     -H "Authorization: Bearer Your-API-KEY" \
     -H "Token: NjU0ZDkzYjUwZTQ1NDI1OGRiN2ExMmFmNjQxMDYyN2M5*******==" \
     "http://default-0fm.platform-cn-hangzhou.opensearch.aliyuncs.com/v3/openapi/deployments/******_1zj19x_1yc/predict" \
     -d '{
           "input": [
             "Ilmu pengetahuan dan teknologi adalah kekuatan produktif utama",
             "dokumentasi produk opensearch"
           ],
           "input_type": "query",
           "dimension" : 567 # Hanya efektif saat menerapkan model kustom dengan pengurangan dimensional vektor diaktifkan, dan dimensi tidak boleh lebih besar dari dimensi model dasar
         }'

Hasil tanggapan yang benar:

{
  "embeddings": [
    {
      "index": 0,
      "embedding": [
        -0.028656005859375,
        0.0218963623046875,
        -0.04168701171875,
        -0.0440673828125,
        0.02142333984375,
        0.012345678901234568,
        ...
        0.0009876543210987654
      ]
    }
  ]
}

import json

from alibabacloud_tea_openapi.models import Config
from alibabacloud_searchplat20240529.client import Client
from alibabacloud_searchplat20240529.models import GetPredictionRequest
from alibabacloud_searchplat20240529.models import GetPredictionHeaders
from alibabacloud_tea_util import models as util_models

if __name__ == '__main__':
    config = Config(bearer_token="API-KEY",
                    # konfigurasi endpoint untuk entri permintaan terpadu, hapus http:// atau https://
                    endpoint="default-xxx.platform-cn-shanghai.opensearch.aliyuncs.com",
                    # protokol mendukung HTTPS dan HTTP
                    protocol="http")
    client = Client(config=config)

    # --------------- Parameter body permintaan ---------------
    request = GetPredictionRequest().from_map({"body":{"input_type": "document", "input": ["search", "test"]}})

    headers = GetPredictionHeaders(token="xxxxxxxxYjIyNjNjMjc2MTU1MTQ3MmI0ZmQ3OGQ0ZjJlMxxxxxxxx==")

    runtime = util_models.RuntimeOptions()

    # deploymentId: ID penerapan
    response = client.get_prediction_with_options("ID Layanan dari layanan yang diterapkan" ,request, headers, runtime)
    print(response)