Alibaba Cloud Model Studio:Accéder aux API Model Studio via un réseau privé à l'aide d'un endpoint

Pour appeler les API Model Studio depuis un VPC sans exposer le trafic sur Internet public, créez un endpoint privé. Cette configuration confine toutes les communications au réseau interne d'Alibaba Cloud.

Fonctionnement

Une fois un interface endpoint créé dans un VPC, PrivateLink établit une connexion d'endpoint privé entre votre VPC et Model Studio. Cette connexion est unidirectionnelle : elle permet aux ressources de votre VPC d'accéder à Model Studio, mais Model Studio ne peut pas l'utiliser pour accéder aux ressources de votre VPC.

Lorsque des ressources de calcul de votre VPC accèdent à l'endpoint, PrivateLink achemine le trafic vers le service Model Studio en contournant Internet public.

Pour accéder au service de manière privée depuis un VPC situé dans une autre région, consultez la section Accès privé interrégional.

Model Studio est disponible dans les régions suivantes :

• Cloud public : Singapour et Chine (Pékin).

  L'accès par réseau privé n'est actuellement pas pris en charge dans la région États-Unis (Virginie).

Accéder aux API via un endpoint

Étape 1 : Créer un interface endpoint

Étape 2 : Obtenir le nom de domaine de l'endpoint

Cloud public

Une fois l'interface endpoint créé, récupérez son nom de domaine de service sur la page de détails de l'endpoint. Ce nom de domaine permet d'accéder aux API Model Studio de manière privée.

Le Default Domain Name prend uniquement en charge le protocole HTTP. L'utilisation du protocole HTTPS nécessite un Custom Domain Name.

Étape 3 : Vérifier la connexion

Remplacez le nom de domaine dans le paramètre base_url de votre requête API Model Studio par le nom de domaine de service de l'endpoint obtenu à l'étape précédente. Appelez ensuite l'API depuis le VPC correspondant.

# Replace the original domain name with the endpoint service domain name obtained in the previous step.
curl -X POST http://ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com/compatible-mode/v1/chat/completions \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H "Content-Type: application/json" \
-d '{
    "model": "qwen-flash",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "Who are you?"
        }
    ]
}'

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # Replace the original domain name with the endpoint service domain name obtained in the previous step.
    base_url="http://ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com/compatible-mode/v1",
)
completion = client.chat.completions.create(
    model="qwen-flash",
    messages=[
        {'role': 'system', 'content': 'You are a helpful assistant.'},
        {'role': 'user', 'content': 'Who are you?'}],
)
print(completion.model_dump_json())

import os
from http import HTTPStatus
# We recommend that you use DashScope SDK v1.14.0 or later.
import dashscope
from dashscope import Generation

# Replace the original domain name with the endpoint service domain name obtained in the previous step.
dashscope.base_http_api_url = "http://ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com/api/v1"
dashscope.api_key = os.getenv("DASHSCOPE_API_KEY")
messages = [{
    'role': 'user', 'content': 'Who are you?'
}]
response = Generation.call(
    model="qwen-flash",
    messages=messages,
    result_format='message'
)
if response.status_code == HTTPStatus.OK:
    print(response)
else:
    print('Request id: %s, Status code: %s, error code: %s, error message: %s' % (
        response.request_id, response.status_code,
        response.code, response.message
    ))

// We recommend that you use DashScope SDK v2.12.0 or later.
import java.util.Arrays;

import com.alibaba.dashscope.aigc.generation.Generation;
import com.alibaba.dashscope.aigc.generation.GenerationParam;
import com.alibaba.dashscope.aigc.generation.GenerationResult;
import com.alibaba.dashscope.common.Message;
import com.alibaba.dashscope.common.Role;
import com.alibaba.dashscope.exception.ApiException;
import com.alibaba.dashscope.exception.InputRequiredException;
import com.alibaba.dashscope.exception.NoApiKeyException;
import com.alibaba.dashscope.protocol.Protocol;
import com.alibaba.dashscope.utils.JsonUtils;

public class Main {
    public static GenerationResult callWithMessage() throws ApiException, NoApiKeyException, InputRequiredException {
        // Replace the original domain name with the endpoint service domain name obtained in the previous step.
        Generation gen = new Generation(Protocol.HTTP.getValue(), "http://ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com/api/v1");
        Message systemMsg = Message.builder()
                .role(Role.SYSTEM.getValue())
                .content("You are a helpful assistant.")
                .build();
        Message userMsg = Message.builder()
                .role(Role.USER.getValue())
                .content("Who are you?")
                .build();
        GenerationParam param = GenerationParam.builder()
                .apiKey(System.getenv("DASHSCOPE_API_KEY"))
                .model("qwen-flash")
                .messages(Arrays.asList(systemMsg, userMsg))
                .resultFormat(GenerationParam.ResultFormat.MESSAGE)
                .build();
        return gen.call(param);
    }
    public static void main(String[] args) {
        try {
            GenerationResult result = callWithMessage();
            System.out.println(JsonUtils.toJson(result));
        } catch (ApiException | NoApiKeyException | InputRequiredException e) {
            // Print the error message.
            System.err.println("An error occurred while calling the generation service: " + e.getMessage());
        }
    }
}

Accès privé interrégional

Model Studio est déployé dans les régions Singapour et Chine (Pékin). Pour accéder aux API Model Studio via un réseau privé depuis un VPC situé dans une autre région, choisissez l'une des méthodes suivantes selon la portée de votre connexion :

• Connexion interrégionale au sein de la Chine continentale ou hors de la Chine continentale (par exemple, un VPC au Japon (Tokyo) accédant à Model Studio à Singapour) : Utilisez la Méthode 1 : Activer un endpoint interrégional (recommandé).
• Connexion transfrontalière entre régions (entre la Chine continentale et d'autres régions, par exemple, un VPC à Singapour accédant à Model Studio en Chine (Pékin)) : Utilisez la Méthode 2 : Connexion VPC interrégionale via CEN.

Méthode 1 : Activer un endpoint interrégional (recommandé)

Pour la procédure complète, consultez la rubrique Accéder à un service interrégional via un interface endpoint. Voici les configurations clés pour le scénario Model Studio :

• Region : Sélectionnez la région de votre VPC source.
• Type : Sélectionnez Alibaba Cloud Service.
• Service Region : Cochez la case Enable cross-region endpoint et sélectionnez Singapore ou China (Beijing).
• Endpoint Service : Sélectionnez com.aliyuncs.dashscope dans la liste des services disponibles.
• Cross-region configuration : CDT règle et facture les frais de trafic interrégional. La bande passante par défaut dépend de la portée de la connexion : 1 000 Mbit/s pour les connexions entre régions de la Chine continentale et 100 Mbit/s pour les connexions entre régions hors de la Chine continentale.

Configurez les paramètres restants comme pour un accès intra-région. Après avoir créé l'endpoint, ajoutez une règle entrante dans le groupe de sécurité associé pour autoriser le trafic provenant du VPC source sur les ports 80 et 443.

La Méthode 1 ne prend pas en charge les connexions entre la Chine continentale et d'autres régions. Pour un accès transfrontalier, utilisez la Méthode 2.

Une fois la configuration terminée, lorsque vous accédez au nom de domaine de service par défaut de l'endpoint depuis le VPC source, PrivateLink achemine le trafic directement vers la région du service Model Studio, permettant ainsi un accès privé interrégional.

Méthode 2 : Connexion VPC interrégionale via Cloud Enterprise Network (CEN) — pour les scénarios transfrontaliers

Utilisez cette méthode pour un accès interrégional transfrontalier entre la Chine continentale et d'autres régions. L'endpoint doit se trouver dans la même région que le service Model Studio, et CEN connecte le VPC source au VPC de l'endpoint entre les régions :

1. Effectuez les configurations décrites dans la section Accéder aux API via un endpoint.

2. Utilisez Cloud Enterprise Network (CEN) pour configurer une connexion VPC interrégionale. Notez les points suivants :

   • Sélectionnez des VPC avec des blocs CIDR différents afin d'éviter les échecs de connexion dus à des conflits réseau.
   • Pour établir une connexion VPC interrégionale entre la Chine continentale et d'autres régions à l'aide de CEN, votre compte doit compléter la vérification d'identité d'entreprise.

3. Dans le groupe de sécurité associé à l'endpoint, ajoutez une règle entrante pour autoriser le trafic provenant du VPC source sur les ports 80 et 443.

Une fois la configuration terminée, lorsque vous accédez au nom de domaine de service par défaut de l'endpoint depuis le VPC source, un Transit Router achemine le trafic vers l'endpoint situé dans la région du service Model Studio. Cela permet un accès privé interrégional aux API Model Studio.

Par défaut, le nom de domaine de service par défaut d'un endpoint est accessible depuis un VPC interconnecté situé dans une autre région. Cependant, un nom de domaine de service personnalisé n'est valide que dans le VPC de l'endpoint. Pour accéder aux API Model Studio depuis le VPC source en utilisant un nom de domaine personnalisé via un réseau privé, consultez la rubrique Démarrage rapide avec Private DNS. Vous pouvez créer un nom de domaine privé identique au nom de domaine de service personnalisé et le résoudre vers le nom de domaine de service par défaut de l'endpoint en créant un enregistrement CNAME.

1. Ajoutez un nom de domaine autoritaire privé identique au nom de domaine de service personnalisé, tel que vpc-ap-southeast-1.dashscope.aliyuncs.com, et définissez sa portée sur le VPC source.

2. Ajoutez un enregistrement DNS : définissez Record Type sur CNAME, Host sur @, et Record Value sur le nom de domaine de service par défaut de l'endpoint cible, tel que ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com.

   Remarque : Lors de la configuration de Private DNS, n'utilisez pas de traits de soulignement (_) dans l'enregistrement d'hôte ou le nom de domaine complet. Sinon, les appels API risquent d'échouer. Nous recommandons que les noms de domaine ne contiennent que des lettres, des chiffres et des traits d'union (-). Par exemple, utilisez test-for-dns.dashscope.aliyuncs.com plutôt que test_for_dns.dashscope.aliyuncs.com.

Une fois la configuration terminée, vous pouvez accéder aux API Model Studio depuis le VPC source en utilisant le nom de domaine de service personnalisé. Si vous utilisez un nom de domaine privé différent de votre nom de domaine de service personnalisé pour la configuration, consultez la section Configurer Private DNS.

Facturation

L'utilisation de PrivateLink et de Private DNS (Private Hosted Zone) entraîne des coûts supplémentaires. Les scénarios transfrontaliers engendrent des frais interrégionaux CEN supplémentaires. Consultez la documentation de facturation suivante pour estimer vos coûts :

• Facturation de PrivateLink
• Facturation de CEN (scénarios transfrontaliers uniquement)
• Facturation de Private DNS

FAQ

1. Pourquoi mon instance ECS ne peut-elle pas accéder aux API Model Studio via un réseau privé ?

   Vérifiez les éléments suivants :

   1. Confirmez que les ressources se trouvent dans le même VPC.

      Si l'instance ECS et l'endpoint se trouvent dans des VPC différents, vous ne pouvez pas accéder aux API Model Studio via le réseau privé. Dans ce cas, configurez d'abord la connectivité VPC.

   2. Vérifiez le groupe de sécurité associé à l'endpoint. Confirmez qu'une règle entrante autorise le trafic provenant du bloc CIDR de l'instance ECS source sur le port 80 (HTTP) ou 443 (HTTPS).

   3. Confirmez le nom de domaine de service de l'endpoint.

      Lorsque vous accédez à la plateforme Model Studio via un réseau privé en utilisant le nom de domaine de service par défaut, seul le protocole HTTP est pris en charge.

2. Un endpoint est-il accessible depuis Internet public ?

   Non. PrivateLink établit uniquement des connexions privées au sein du réseau interne d'Alibaba Cloud. Les endpoints ne sont pas accessibles depuis Internet public, et vous ne pouvez pas associer d'adresse IP élastique à une ENI d'endpoint.

3. Lorsque j'utilisePrivate DNS, pourquoi une erreur se produit-elle lors de l'appel d'un modèle avec mon nom de domaine personnalisé ?

   Ce problème survient généralement lorsque l'enregistrement d'hôte ou le nom de domaine complet utilisé pour la résolution de domaine privé contient des caractères invalides, tels qu'un trait de soulignement (_). Le nom de domaine doit être composé uniquement de lettres, de chiffres et de traits d'union (-).

   Configurez l'enregistrement DNS en suivant ces étapes :

   1. Authoritative Domain : Dans Private DNS, ajoutez un enregistrement DNS pour le domaine autoritaire dashscope.aliyuncs.com.

   2. Host Record : Sélectionnez CNAME pour le type d'enregistrement et saisissez le préfixe de votre domaine personnalisé, tel que test-for-dns-right. Remarque : L'enregistrement d'hôte ne peut pas contenir de traits de soulignement (_).

      Exemple correct	Exemple incorrect

   3. Record Value : Saisissez le nom de domaine de service par défaut de l'endpoint Model Studio. Exemple : ep-***.dashscope.ap-southeast-1.privatelink.aliyuncs.com.

   Une fois la configuration terminée, vous pouvez appeler le modèle à l'adresse https://test-for-dns-right.dashscope.aliyuncs.com/api/v1 (l'endpoint pour le mode compatible OpenAI est https://test-for-dns-right.dashscope.aliyuncs.com/compatible-mode/v1/chat/completions).

   L'utilisation d'un nom de domaine contenant un trait de soulignement, tel que https://test_for_dns_wrong.dashscope.aliyuncs.com/api/v1 , entraînera l'échec de l'appel API.