Alibaba Cloud Model Studio：Mengakses API model atau aplikasi melalui jaringan pribadi menggunakan endpoint

Cara kerjanya

Setelah Anda membuat endpoint interface di VPC, PrivateLink membangun koneksi pribadi searah antara VPC Anda dan Alibaba Cloud Model Studio. Koneksi ini hanya mengizinkan sumber daya di VPC Anda untuk mengakses Model Studio. Model Studio tidak dapat mengakses sumber daya di VPC Anda.

Ketika sumber daya komputasi di VPC mengakses endpoint, lalu lintas diteruskan ke layanan Model Studio melalui PrivateLink tanpa melewati internet.

Endpoint harus berada di wilayah yang sama dengan layanan Model Studio. Untuk menggunakan VPC di wilayah lain, lihat Akses pribadi lintas wilayah.

Wilayah layanan Model Studio:

• Awan publik: Singapura dan Tiongkok (Beijing).

Mengakses API melalui PrivateLink endpoint

# Ganti nama domain asli dengan nama domain yang Anda dapatkan di langkah sebelumnya.
curl -X POST http://ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com/compatible-mode/v1/chat/completions \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H "Content-Type: application/json" \
-d '{
    "model": "qwen-flash",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user", 
            "content": "Who are you?"
        }
    ]
}'

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # Ganti nama domain asli dengan nama domain yang Anda dapatkan di langkah sebelumnya.
    base_url="http://ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com/compatible-mode/v1",
)
completion = client.chat.completions.create(
    model="qwen-flash",
    messages=[
        {'role': 'system', 'content': 'You are a helpful assistant.'},
        {'role': 'user', 'content': 'Who are you?'}],
)
print(completion.model_dump_json())

import os
from http import HTTPStatus
# Kami merekomendasikan Anda menggunakan DashScope SDK V1.14.0 atau lebih baru.
import dashscope
from dashscope import Generation

# Ganti nama domain asli dengan nama domain yang Anda dapatkan di langkah sebelumnya.
dashscope.base_http_api_url = "http://ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com/api/v1"
dashscope.api_key = os.getenv("DASHSCOPE_API_KEY")
messages = [{
    'role': 'user', 'content': 'Who are you?'
}]
response = Generation.call(
    model="qwen-flash",
    messages=messages,
    result_format='message'
)
if response.status_code == HTTPStatus.OK:
    print(response)
else:
    print('Request id: %s, Status code: %s, error code: %s, error message: %s' % (
        response.request_id, response.status_code,
        response.code, response.message
    ))

// Kami merekomendasikan Anda menggunakan DashScope SDK V2.12.0 atau lebih baru.
import java.util.Arrays;

import com.alibaba.dashscope.aigc.generation.Generation;
import com.alibaba.dashscope.aigc.generation.GenerationParam;
import com.alibaba.dashscope.aigc.generation.GenerationResult;
import com.alibaba.dashscope.common.Message;
import com.alibaba.dashscope.common.Role;
import com.alibaba.dashscope.exception.ApiException;
import com.alibaba.dashscope.exception.InputRequiredException;
import com.alibaba.dashscope.exception.NoApiKeyException;
import com.alibaba.dashscope.protocol.Protocol;
import com.alibaba.dashscope.utils.JsonUtils;

public class Main {
    public static GenerationResult callWithMessage() throws ApiException, NoApiKeyException, InputRequiredException {
        // Ganti nama domain asli dengan nama domain yang Anda dapatkan di langkah sebelumnya.
        Generation gen = new Generation(Protocol.HTTP.getValue(), "http://ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com/api/v1");
        Message systemMsg = Message.builder()
                .role(Role.SYSTEM.getValue())
                .content("You are a helpful assistant.")
                .build();
        Message userMsg = Message.builder()
                .role(Role.USER.getValue())
                .content("Who are you?")
                .build();
        GenerationParam param = GenerationParam.builder()
                .apiKey(System.getenv("DASHSCOPE_API_KEY"))
                .model("qwen-flash")
                .messages(Arrays.asList(systemMsg, userMsg))
                .resultFormat(GenerationParam.ResultFormat.MESSAGE)
                .build();
        return gen.call(param);
    }
    public static void main(String[] args) {
        try {
            GenerationResult result = callWithMessage();
            System.out.println(JsonUtils.toJson(result));
        } catch (ApiException | NoApiKeyException | InputRequiredException e) {
            // Cetak pesan kesalahan.
            System.err.println("An error occurred while calling the generation service: " + e.getMessage());
        }
    }
}

Akses pribadi lintas wilayah

Pada langkah-langkah sebelumnya, Anda telah mengakses Model Studio dari endpoint di wilayah yang sama. Namun, jika VPC Anda berada di wilayah lain, selesaikan langkah-langkah berikut:

1. Ikuti bagian sebelumnya untuk membuat endpoint PrivateLink.

2. Gunakan Cloud Enterprise Network (CEN) untuk menghubungkan VPC di wilayah yang berbeda. Perhatikan hal-hal berikut:

   • Pilih VPC dengan blok CIDR yang tidak tumpang tindih untuk mencegah kegagalan akibat konflik blok CIDR.

   • Untuk menghubungkan VPC antara Daratan Tiongkok dan wilayah luar negeri, akun Anda harus lolos verifikasi identitas perusahaan.

3. Dalam grup keamanan yang terkait dengan endpoint PrivateLink, tambahkan aturan masuk untuk mengizinkan lalu lintas dari VPC peminta pada Port 80 dan 443.

Setelah konfigurasi selesai, ketika Anda mengakses nama domain layanan default dari endpoint VPC peminta, Router transit (TR) akan merutekan lalu lintas ke endpoint di wilayah layanan Model Studio.

Secara default, nama domain default dapat diakses langsung dari VPC yang saling terhubung di berbagai wilayah. Namun, nama domain layanan kustom hanya valid dalam VPC di wilayah yang sama. Untuk menggunakan nama domain kustom, buat zona otoritatif yang sama dengan nama domain kustom, lalu arahkan ke nama domain default menggunakan rekaman CNAME:

1. Tambahkan zona otoritatif yang sama dengan nama domain kustom, seperti vpc-ap-southeast-1.dashscope.aliyuncs.com. Untuk bagian Cakupan Efektif, pilih VPC peminta.

2. Untuk menambahkan rekaman DNS, atur Jenis Rekaman ke CNAME, Nama Host ke @, dan Nilai Rekaman ke nama domain default. Sebagai contoh: <u>ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com</u>.

Setelah konfigurasi selesai, Anda dapat mengakses API Model Studio dari VPC peminta menggunakan nama domain kustom.

Penagihan

Menggunakan PrivateLink, CEN, dan Private Zone dapat menimbulkan biaya tambahan:

• Penagihan PrivateLink

• Penagihan CEN

• Penagihan Private Zone

FAQ

1. Mengapa instance ECS saya tidak dapat mengakses API Model Studio menggunakan PrivateLink?

   Ikuti langkah-langkah berikut untuk memecahkan masalah:

   1. Pastikan bahwa instance ECS dan titik akhir berada di dalam VPC yang sama.

      Jika instance ECS dan endpoint berada di VPC yang berbeda, hubungkan VPC-nya terlebih dahulu.

   2. Periksa grup keamanan yang terkait dengan endpoint. Pastikan aturan masuk telah ditambahkan untuk mengizinkan lalu lintas dari blok CIDR instance ECS sumber pada port 80 (HTTP) atau 443 (HTTPS).

   3. Periksa nama domain.

      Nama domain default hanya mendukung HTTP.

2. Apakah titik akhir dapat diakses dari internet?

   Tidak. PrivateLink hanya digunakan untuk membangun koneksi privat di dalam jaringan internal Alibaba Cloud. Endpoint tidak memiliki akses internet, dan ENI endpoint tidak dapat dikaitkan dengan elastic IP addresses (EIPs).