Alibaba Cloud Model Studio:Akses API model atau aplikasi Alibaba Cloud Model Studio melalui jaringan pribadi menggunakan titik akhir

Cara kerja

Setelah Anda membuat interface endpoint di dalam virtual private cloud (VPC), Alibaba Cloud PrivateLink akan membuat koneksi pribadi (endpoint connection) antara VPC Anda dan Alibaba Cloud Model Studio. Koneksi ini bersifat satu arah: hanya sumber daya di VPC Anda yang dapat mengakses Alibaba Cloud Model Studio, sedangkan Alibaba Cloud Model Studio tidak dapat mengakses sumber daya di VPC Anda melalui koneksi tersebut.

Ketika sumber daya komputasi di VPC mengakses titik akhir tersebut, lalu lintas akan diteruskan ke server Alibaba Cloud Model Studio melalui PrivateLink tanpa melewati jaringan publik.

Titik akhir harus berada di wilayah yang sama dengan layanan Alibaba Cloud Model Studio. Untuk mengakses layanan tersebut secara pribadi dari VPC di wilayah lain, lihat Akses pribadi cross-region ke API Alibaba Cloud Model Studio.

Wilayah:

• Public cloud: Singapura, China (Beijing).

  Akses jaringan pribadi saat ini belum didukung di wilayah US (Virginia).

Akses API Alibaba Cloud Model Studio menggunakan titik akhir

# Ganti nama domain asli dengan nama domain layanan titik akhir dari langkah sebelumnya.
curl -X POST http://ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com/compatible-mode/v1/chat/completions \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H "Content-Type: application/json" \
-d '{
    "model": "qwen-flash",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user", 
            "content": "Who are you?"
        }
    ]
}'

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # Ganti nama domain asli dengan nama domain layanan titik akhir dari langkah sebelumnya.
    base_url="http://ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com/compatible-mode/v1",
)
completion = client.chat.completions.create(
    model="qwen-flash",
    messages=[
        {'role': 'system', 'content': 'You are a helpful assistant.'},
        {'role': 'user', 'content': 'Who are you?'}],
)
print(completion.model_dump_json())

import os
from http import HTTPStatus
# Gunakan DashScope SDK v1.14.0 atau versi lebih baru.
import dashscope
from dashscope import Generation

# Ganti nama domain asli dengan nama domain layanan titik akhir dari langkah sebelumnya.
dashscope.base_http_api_url = "http://ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com/api/v1"
dashscope.api_key = os.getenv("DASHSCOPE_API_KEY")
messages = [{
    'role': 'user', 'content': 'Who are you?'
}]
response = Generation.call(
    model="qwen-flash",
    messages=messages,
    result_format='message'
)
if response.status_code == HTTPStatus.OK:
    print(response)
else:
    print('Request id: %s, Status code: %s, error code: %s, error message: %s' % (
        response.request_id, response.status_code,
        response.code, response.message
    ))

// Gunakan DashScope SDK v2.12.0 atau versi lebih baru.
import java.util.Arrays;

import com.alibaba.dashscope.aigc.generation.Generation;
import com.alibaba.dashscope.aigc.generation.GenerationParam;
import com.alibaba.dashscope.aigc.generation.GenerationResult;
import com.alibaba.dashscope.common.Message;
import com.alibaba.dashscope.common.Role;
import com.alibaba.dashscope.exception.ApiException;
import com.alibaba.dashscope.exception.InputRequiredException;
import com.alibaba.dashscope.exception.NoApiKeyException;
import com.alibaba.dashscope.protocol.Protocol;
import com.alibaba.dashscope.utils.JsonUtils;

public class Main {
    public static GenerationResult callWithMessage() throws ApiException, NoApiKeyException, InputRequiredException {
        // Ganti nama domain asli dengan nama domain layanan titik akhir dari langkah sebelumnya.
        Generation gen = new Generation(Protocol.HTTP.getValue(), "http://ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com/api/v1");
        Message systemMsg = Message.builder()
                .role(Role.SYSTEM.getValue())
                .content("You are a helpful assistant.")
                .build();
        Message userMsg = Message.builder()
                .role(Role.USER.getValue())
                .content("Who are you?")
                .build();
        GenerationParam param = GenerationParam.builder()
                .apiKey(System.getenv("DASHSCOPE_API_KEY"))
                .model("qwen-flash")
                .messages(Arrays.asList(systemMsg, userMsg))
                .resultFormat(GenerationParam.ResultFormat.MESSAGE)
                .build();
        return gen.call(param);
    }
    public static void main(String[] args) {
        try {
            GenerationResult result = callWithMessage();
            System.out.println(JsonUtils.toJson(result));
        } catch (ApiException | NoApiKeyException | InputRequiredException e) {
            // Cetak pesan kesalahan.
            System.err.println("An error occurred while calling the generation service: " + e.getMessage());
        }
    }
}

Akses pribadi cross-region ke API Alibaba Cloud Model Studio

Titik akhir harus berada di wilayah yang sama dengan layanan Alibaba Cloud Model Studio. Untuk mengakses layanan tersebut secara pribadi dari VPC di wilayah lain, lengkapi konfigurasi berikut:

1. Ikuti petunjuk di bagian sebelumnya untuk mengonfigurasi akses ke API Alibaba Cloud Model Studio menggunakan titik akhir.

2. Gunakan Cloud Enterprise Network (CEN) untuk mengonfigurasi koneksi VPC cross-region. Catatan:

   • Pilih VPC dengan blok CIDR yang tidak tumpang tindih di kedua ujung untuk menghindari konflik yang dapat menyebabkan kegagalan koneksi.

   • Untuk membuat koneksi VPC cross-region antara Tiongkok daratan dan wilayah lain menggunakan CEN, akun Anda harus menyelesaikan verifikasi identitas perusahaan.

3. Di grup keamanan yang terkait dengan titik akhir, tambahkan aturan masuk untuk mengizinkan lalu lintas pada port 80 dan 443 dari sumber daya di VPC peminta.

Setelah konfigurasi selesai, mengakses nama domain layanan default titik akhir dari VPC peminta akan mengarahkan lalu lintas melalui Transit Router (TR) ke titik akhir di wilayah tempat layanan Alibaba Cloud Model Studio ditempatkan, sehingga memungkinkan akses pribadi cross-region ke API.

Secara default, nama domain layanan default titik akhir dapat diakses langsung dari VPC cross-region yang saling terhubung. Namun, nama domain layanan kustom hanya berlaku di dalam VPC tempat titik akhir berada. Untuk mengakses API Alibaba Cloud Model Studio secara pribadi dari VPC peminta menggunakan nama domain kustom, lihat Penggunaan cepat resolusi nama domain pribadi. Buat nama domain pribadi yang sesuai dengan nama domain layanan kustom, lalu arahkan ke nama domain layanan default titik akhir menggunakan rekaman CNAME:

1. Tambahkan nama domain otoritatif pribadi yang sesuai dengan nama domain layanan kustom, seperti atau vpc-ap-southeast-1.dashscope.aliyuncs.com. Untuk pemilihan cakupan, pilih VPC peminta.

2. Tambahkan rekaman DNS: Atur tipe catatan menjadi CNAME, masukkan @ untuk host record, dan masukkan nama domain layanan default titik akhir sebagai nilai catatan, seperti atau <u>ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com</u>.

   Catatan: Saat mengonfigurasi resolusi nama domain pribadi, jangan gunakan garis bawah (_) di host record atau nama domain lengkap. Melakukannya dapat menyebabkan pemanggilan API gagal. Disarankan agar nama domain hanya berisi huruf, angka, dan tanda hubung (-), seperti test-for-dns.dashscope.aliyuncs.com, bukan test_for_dns.dashscope.aliyuncs.com.

Setelah konfigurasi selesai, Anda dapat mengakses API Alibaba Cloud Model Studio dari VPC peminta menggunakan nama domain layanan kustom. Jika Anda menggunakan nama domain pribadi yang berbeda dari nama domain layanan kustom, lihat Konfigurasi resolusi nama domain pribadi.

Penagihan

Biaya tambahan dikenakan untuk PrivateLink, Cloud Enterprise Network (CEN), dan Private Hosted Zone. Untuk memahami dan memperkirakan biaya, lihat dokumen penagihan berikut:

• Penagihan PrivateLink

• Penagihan Cloud Enterprise Network

• Penagihan untuk resolusi nama domain internal

FAQ

1. Mengapa Instance ECS saya tidak dapat mengakses API Alibaba Cloud Model Studio melalui koneksi pribadi?

   Lakukan pemecahan masalah sebagai berikut:

   1. Pastikan sumber daya berada di VPC yang sama.

      Jika VPC Instance ECS berbeda dengan VPC tempat titik akhir dikonfigurasi, Anda tidak dapat mengakses API secara pribadi. Anda harus terlebih dahulu mengonfigurasi Peering VPC.

   2. Periksa grup keamanan yang terkait dengan titik akhir. Pastikan aturan masuk telah ditambahkan untuk mengizinkan akses pada port 80 (HTTP) atau port 443 (HTTPS) dari blok CIDR Instance ECS peminta.

   3. Pastikan nama domain layanan titik akhir.

      Akses pribadi ke platform Alibaba Cloud Model Studio melalui nama domain layanan default hanya mendukung HTTP.

2. Apakah titik akhir dapat diakses dari jaringan publik?

   Tidak. PrivateLink hanya digunakan untuk membuat koneksi pribadi di dalam jaringan internal Alibaba Cloud. Titik akhir tidak dapat diakses dari jaringan publik, dan ENI titik akhir tidak dapat dikaitkan dengan elastic IP addresses (EIPs).

3. Saat menggunakan Private Hosted Zone, mengapa saya mengalami kesalahan saat memanggil model dengan nama domain kustom saya?

   Masalah ini biasanya terjadi karena host record (atau nama domain lengkap) yang Anda gunakan saat mengonfigurasi resolusi nama domain pribadi mengandung karakter yang tidak sesuai, seperti garis bawah (_). Disarankan agar nama domain hanya terdiri dari huruf, angka, dan tanda hubung (-).

   Anda dapat mengonfigurasi rekaman DNS sebagai berikut:

   1. Nama Domain Otoritatif: Di Private Hosted Zone, tambahkan rekaman DNS untuk nama domain otoritatif dashscope.aliyuncs.com.

   2. Host record: Pilih CNAME untuk tipe catatan, lalu masukkan awalan domain kustom Anda, seperti test-for-dns-right. Catatan: Jangan gunakan garis bawah (_) di host record.

      Contoh yang benar	Contoh yang salah

   3. Nilai Catatan: Masukkan nama domain layanan default titik akhir Model Studio. Contohnya: <u>ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com</u>.

   Setelah konfigurasi selesai, Anda dapat memanggil model menggunakan https://test-for-dns-right.dashscope.aliyuncs.com/api/v1 (atau https://test-for-dns-right.dashscope.aliyuncs.com/compatible-mode/v1/chat/completions untuk mode kompatibel OpenAI).

   Menggunakan nama domain dengan garis bawah, seperti https://test_for_dns_wrong.dashscope.aliyuncs.com/api/v1, akan menyebabkan kesalahan pemanggilan.