Alibaba Cloud Model Studio:Akses API Model Studio melalui jaringan pribadi dengan menggunakan titik akhir

Cara kerja

Setelah Anda membuat titik akhir antarmuka di VPC, PrivateLink akan membuat koneksi titik akhir pribadi antara VPC Anda dan Model Studio. Koneksi ini bersifat satu arah: memungkinkan sumber daya di VPC Anda mengakses Model Studio, tetapi Model Studio tidak dapat menggunakan koneksi ini untuk mengakses sumber daya di VPC Anda.

Ketika sumber daya komputasi di VPC Anda mengakses titik akhir tersebut, lalu lintas akan diarahkan ke layanan Model Studio melalui PrivateLink tanpa melewati internet publik.

Untuk mengakses layanan secara pribadi dari VPC di wilayah berbeda, lihat Akses pribadi lintas wilayah.

Model Studio tersedia di wilayah berikut:

• Cloud publik: Singapura dan Tiongkok (Beijing).

  Akses jaringan pribadi saat ini tidak didukung di wilayah AS (Virginia).

Mengakses API melalui titik akhir

# Ganti nama domain asli dengan nama domain layanan titik akhir yang diperoleh pada langkah sebelumnya.
curl -X POST http://ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com/compatible-mode/v1/chat/completions \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H "Content-Type: application/json" \
-d '{
    "model": "qwen-flash",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user", 
            "content": "Who are you?"
        }
    ]
}'

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # Ganti nama domain asli dengan nama domain layanan titik akhir yang diperoleh pada langkah sebelumnya.
    base_url="http://ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com/compatible-mode/v1",
)
completion = client.chat.completions.create(
    model="qwen-flash",
    messages=[
        {'role': 'system', 'content': 'You are a helpful assistant.'},
        {'role': 'user', 'content': 'Who are you?'}],
)
print(completion.model_dump_json())

import os
from http import HTTPStatus
# Kami menyarankan Anda menggunakan DashScope SDK v1.14.0 atau versi lebih baru.
import dashscope
from dashscope import Generation

# Ganti nama domain asli dengan nama domain layanan titik akhir yang diperoleh pada langkah sebelumnya.
dashscope.base_http_api_url = "http://ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com/api/v1"
dashscope.api_key = os.getenv("DASHSCOPE_API_KEY")
messages = [{
    'role': 'user', 'content': 'Who are you?'
}]
response = Generation.call(
    model="qwen-flash",
    messages=messages,
    result_format='message'
)
if response.status_code == HTTPStatus.OK:
    print(response)
else:
    print('Request id: %s, Status code: %s, error code: %s, error message: %s' % (
        response.request_id, response.status_code,
        response.code, response.message
    ))

// Kami menyarankan Anda menggunakan DashScope SDK v2.12.0 atau versi lebih baru.
import java.util.Arrays;

import com.alibaba.dashscope.aigc.generation.Generation;
import com.alibaba.dashscope.aigc.generation.GenerationParam;
import com.alibaba.dashscope.aigc.generation.GenerationResult;
import com.alibaba.dashscope.common.Message;
import com.alibaba.dashscope.common.Role;
import com.alibaba.dashscope.exception.ApiException;
import com.alibaba.dashscope.exception.InputRequiredException;
import com.alibaba.dashscope.exception.NoApiKeyException;
import com.alibaba.dashscope.protocol.Protocol;
import com.alibaba.dashscope.utils.JsonUtils;

public class Main {
    public static GenerationResult callWithMessage() throws ApiException, NoApiKeyException, InputRequiredException {
        // Ganti nama domain asli dengan nama domain layanan titik akhir yang diperoleh pada langkah sebelumnya.
        Generation gen = new Generation(Protocol.HTTP.getValue(), "http://ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com/api/v1");
        Message systemMsg = Message.builder()
                .role(Role.SYSTEM.getValue())
                .content("You are a helpful assistant.")
                .build();
        Message userMsg = Message.builder()
                .role(Role.USER.getValue())
                .content("Who are you?")
                .build();
        GenerationParam param = GenerationParam.builder()
                .apiKey(System.getenv("DASHSCOPE_API_KEY"))
                .model("qwen-flash")
                .messages(Arrays.asList(systemMsg, userMsg))
                .resultFormat(GenerationParam.ResultFormat.MESSAGE)
                .build();
        return gen.call(param);
    }
    public static void main(String[] args) {
        try {
            GenerationResult result = callWithMessage();
            System.out.println(JsonUtils.toJson(result));
        } catch (ApiException | NoApiKeyException | InputRequiredException e) {
            // Cetak pesan kesalahan.
            System.err.println("An error occurred while calling the generation service: " + e.getMessage());
        }
    }
}

Akses pribadi lintas wilayah

Model Studio dideploy di Singapura dan Tiongkok (Beijing). Untuk mengakses API Model Studio melalui jaringan pribadi dari VPC di wilayah lain, pilih salah satu metode berikut berdasarkan cakupan koneksi Anda:

• Lintas wilayah di dalam Tiongkok daratan atau di luar Tiongkok daratan (misalnya, VPC di Jepang (Tokyo) mengakses Model Studio di Singapura): Gunakan Metode 1: Aktifkan titik akhir lintas wilayah (disarankan).

• Lintas batas antar wilayah (antara Tiongkok daratan dan wilayah lain, misalnya, VPC di Singapura mengakses Model Studio di Tiongkok (Beijing)): Gunakan Metode 2: Koneksi VPC lintas wilayah melalui CEN.

Metode 1: Aktifkan titik akhir lintas wilayah (disarankan)

Untuk prosedur lengkapnya, lihat Akses layanan lintas wilayah melalui titik akhir antarmuka. Konfigurasi utama untuk skenario Model Studio:

• Region: Pilih wilayah VPC sumber Anda.

• Type: Pilih Alibaba Cloud Service.

• Service Region: Pilih kotak centang Enable cross-region endpoint dan pilih Singapura atau Tiongkok (Beijing).

• Endpoint Service: Pilih com.aliyuncs.dashscope dari daftar layanan yang tersedia.

• Konfigurasi lintas wilayah: Biaya lalu lintas lintas wilayah diselesaikan dan ditagih oleh CDT. Bandwidth default tergantung pada cakupan koneksi: 1.000 Mbit/s untuk koneksi antar wilayah di Tiongkok daratan dan 100 Mbit/s untuk koneksi antar wilayah di luar Tiongkok daratan.

Konfigurasikan parameter sisanya seperti pada akses dalam satu wilayah. Setelah membuat titik akhir, tambahkan aturan masuk di security group terkait untuk mengizinkan lalu lintas dari VPC sumber pada port 80 dan 443.

Metode 1 tidak mendukung koneksi antara Tiongkok daratan dan wilayah lain. Untuk akses lintas batas, gunakan Metode 2.

Setelah konfigurasi selesai, ketika Anda mengakses nama domain layanan default titik akhir dari VPC sumber, PrivateLink akan mengarahkan lalu lintas langsung ke wilayah layanan Model Studio, sehingga memungkinkan akses pribadi lintas wilayah.

Metode 2: Koneksi VPC lintas wilayah melalui Cloud Enterprise Network (CEN) — untuk skenario lintas batas

Gunakan metode ini untuk akses lintas wilayah lintas batas antara Tiongkok daratan dan wilayah lain. Titik akhir harus berada di wilayah yang sama dengan layanan Model Studio, dan CEN menghubungkan VPC sumber ke VPC titik akhir lintas wilayah:

1. Selesaikan konfigurasi yang dijelaskan di Mengakses API melalui titik akhir.

2. Gunakan Cloud Enterprise Network (CEN) untuk mengonfigurasi koneksi VPC lintas wilayah. Perhatikan hal berikut:

   • Pilih VPC dengan blok CIDR berbeda untuk menghindari kegagalan koneksi akibat konflik jaringan.

   • Untuk membuat koneksi VPC lintas wilayah antara Tiongkok daratan dan wilayah lain menggunakan CEN, akun Anda harus menyelesaikan verifikasi identitas perusahaan.

3. Di security group yang terkait dengan titik akhir, tambahkan aturan masuk untuk mengizinkan lalu lintas dari VPC sumber pada port 80 dan 443.

Setelah konfigurasi selesai, ketika Anda mengakses nama domain layanan default titik akhir dari VPC sumber, Transit Router akan mengarahkan lalu lintas ke titik akhir di wilayah layanan Model Studio. Hal ini memungkinkan akses pribadi lintas wilayah ke API Model Studio.

Secara default, nama domain layanan default titik akhir dapat diakses dari VPC yang saling terhubung di wilayah lain. Namun, nama domain layanan kustom hanya berlaku di dalam VPC titik akhir. Untuk mengakses API Model Studio dari VPC sumber menggunakan nama domain kustom melalui jaringan pribadi, lihat Panduan cepat dengan Private DNS. Anda dapat membuat nama domain pribadi yang sama dengan nama domain layanan kustom dan meresolusikannya ke nama domain layanan default titik akhir dengan membuat rekaman CNAME.

1. Tambahkan nama domain otoritatif pribadi yang sama dengan nama domain layanan kustom, seperti vpc-ap-southeast-1.dashscope.aliyuncs.com, dan atur cakupannya ke VPC sumber.

2. Tambahkan rekaman DNS: atur Tipe Catatan ke CNAME, Host ke @, dan Nilai Catatan ke nama domain layanan default titik akhir tujuan, seperti <u>ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com</u>.

   Catatan: Saat mengonfigurasi Private DNS, jangan gunakan garis bawah (_) pada catatan host atau nama domain lengkap. Jika tidak, pemanggilan API dapat gagal. Kami menyarankan agar nama domain hanya berisi huruf, angka, dan tanda hubung (-). Misalnya, gunakan test-for-dns.dashscope.aliyuncs.com alih-alih test_for_dns.dashscope.aliyuncs.com.

Setelah konfigurasi selesai, Anda dapat mengakses API Model Studio dari VPC sumber menggunakan nama domain layanan kustom. Jika Anda menggunakan nama domain pribadi yang berbeda dari nama domain layanan kustom untuk konfigurasi, lihat Konfigurasi Private DNS.

Penagihan

Penggunaan PrivateLink dan Private DNS (Private Hosted Zone) menimbulkan biaya tambahan. Skenario lintas batas menimbulkan biaya tambahan CEN lintas wilayah. Lihat dokumentasi penagihan berikut untuk memperkirakan biaya Anda:

• Penagihan untuk PrivateLink

• Penagihan untuk CEN (hanya untuk skenario lintas batas)

• Penagihan untuk Private DNS

FAQ

1. Mengapa Instance ECS saya tidak dapat mengakses API Model Studio melalui jaringan pribadi?

   Periksa hal-hal berikut:

   1. Pastikan bahwa sumber daya berada di VPC yang sama.

      Jika Instance ECS dan titik akhir berada di VPC berbeda, Anda tidak dapat mengakses API Model Studio melalui jaringan pribadi. Dalam kasus ini, Anda harus terlebih dahulu mengonfigurasi konektivitas VPC.

   2. Periksa security group yang terkait dengan titik akhir. Pastikan aturan masuk mengizinkan lalu lintas dari blok CIDR Instance ECS sumber pada port 80 (HTTP) atau 443 (HTTPS).

   3. Pastikan nama domain layanan titik akhir.

      Ketika Anda mengakses platform Model Studio melalui jaringan pribadi menggunakan nama domain layanan default, hanya HTTP yang didukung.

2. Dapatkah titik akhir diakses dari internet publik?

   Tidak. PrivateLink hanya membuat koneksi pribadi dalam jaringan internal Alibaba Cloud. Titik akhir tidak dapat diakses dari internet publik, dan Anda tidak dapat mengaitkan alamat IP elastis dengan ENI titik akhir.

3. Saat saya menggunakan Private DNS, mengapa saya menerima kesalahan saat memanggil model menggunakan nama domain kustom saya?

   Masalah ini biasanya terjadi ketika catatan host atau nama domain lengkap untuk resolusi domain pribadi mengandung karakter yang tidak valid, seperti garis bawah (_). Nama domain harus hanya terdiri dari huruf, angka, dan tanda hubung (-).

   Konfigurasikan rekaman DNS dengan mengikuti langkah-langkah berikut:

   1. Domain Otoritatif: Di Private DNS, tambahkan rekaman DNS untuk domain otoritatif dashscope.aliyuncs.com.

   2. Catatan Host: Pilih CNAME untuk tipe catatan dan masukkan awalan domain kustom Anda, seperti test-for-dns-right. Catatan: Catatan host tidak boleh mengandung garis bawah (_).

      Contoh yang benar	Contoh yang salah

   3. Nilai Catatan: Masukkan nama domain layanan default titik akhir Model Studio. Contoh: <u>ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com</u>.

   Setelah konfigurasi selesai, Anda dapat memanggil model di https://test-for-dns-right.dashscope.aliyuncs.com/api/v1 (titik akhir untuk mode kompatibel OpenAI adalah https://test-for-dns-right.dashscope.aliyuncs.com/compatible-mode/v1/chat/completions).

   Menggunakan nama domain yang mengandung garis bawah, seperti https://test_for_dns_wrong.dashscope.aliyuncs.com/api/v1, akan menyebabkan pemanggilan API gagal.