FAQ for OSS Connector for AI/ML inference - Object Storage Service

Erreurs d'initialisation

Le programme se termine immédiatement et affiche failed to launch oss connector: xxx sur la sortie d'erreur standard (stderr). Voici les erreurs d'initialisation fréquentes :

Message d'erreur

Description

MODEL_DIR not set

La variable MODEL_DIR n'est pas définie.

OSS_PATH not set

La variable OSS_PATH n'est pas définie.

OSS_ENDPOINT not set

La variable OSS_ENDPOINT n'est pas définie.

OSS_AUTHORIZATION_FILE_PATH not accessible

Le chemin vers le fichier d'identifiants spécifié par OSS_AUTHORIZATION_FILE_PATH est inaccessible.

OSS_ACCESS_KEY_SECRET not set

La variable OSS_ACCESS_KEY_ID est définie, mais OSS_ACCESS_KEY_SECRET ne l'est pas.

failed to infer region from endpoint

La variable OSS_REGION n'est pas définie et ne peut pas être déduite à partir de OSS_ENDPOINT.

failed to parse config file

Impossible d'analyser le fichier de configuration JSON. Vérifiez le format du fichier.

failed to initialize log path

Impossible d'initialiser le fichier journal.

invalid uri

Le format de OSS_PATH est incorrect. Format attendu : oss://bucketname/path/.

failed to list objects

L'opération ListObjects a échoué. Vérifiez vos identifiants OSS ainsi que l'autorisation oss:ListObjects sur le chemin du bucket cible.

failed to download metadata

Échec du téléchargement des données vers le répertoire MODEL_DIR.

failed to acquire uds lock

Échec de l'acquisition du verrou de fichier UDS. Si plusieurs processus principaux du connecteur doivent s'exécuter simultanément, attribuez un CONNECTOR_UDS_PATH unique à chaque processus.

failed to initialize connector

Autre erreur d'initialisation.

Consultez le journal d'exécution du connecteur situé par défaut dans /var/log/oss-connector/connector.log pour plus de détails.

Erreurs de chargement des fichiers de modèle

huggingface_hub signale une erreur Repo id. Exemple :

raise HFValidationError(
huggingface_hub.errors.HFValidationError: Repo id must be in the form 'repo_name' or 'namespace/repo_name': '/var/model/qwen/Qwen3-32B/'. Use `repo_type` argument if needed.

safe_open signale une erreur incomplete metadata lors du chargement du fichier de modèle. Exemple :

[rank0]:     with safe_open(st_file, framework="pt") as f:
[rank0]:          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]: safetensors_rust.SafetensorError: Error while deserializing header: MetadataIncompleteBuffer

Causes possibles :

Erreur d'exécution du connecteur : Consultez le journal d'exécution du connecteur situé par défaut dans /var/log/oss-connector/connector.log pour identifier l'erreur spécifique.
Fonctionnalité du connecteur non activée : Le chargement des modèles depuis MODEL_DIR nécessite la définition des variables d'environnement LD_PRELOAD et ENABLE_CONNECTOR.
Conflit de chemin de montage : La modification des valeurs de OSS_PATH sous le même MODEL_DIR peut entraîner des conflits de cache. Effacez le contenu de MODEL_DIR avant de changer de modèle.

Exécution en tant qu'utilisateur non root

L'exécution du connecteur avec un utilisateur non root peut générer les erreurs suivantes :

ERROR|log_output_file:Fail to open log file /var/log/oss-connector/default.log
ERROR|log_output_file:Fail to open log file /var/log/oss-connector/connector.log.1845009
ERROR|new_log_output_file:Failed to open log file /var/log/oss-connector/audit.log
ERROR|bind:failed to bind to '/run/modelconnector.sock'  errno=13(Permission denied)
ERROR|operator():failed to bind to path /run/modelconnector.sock errno=13(Permission denied)
ERROR|init:failed to init uds server errno=13(Permission denied)
ERROR|init_library:failed to create connector

Un utilisateur non root ne dispose pas des permissions d'écriture sur les chemins par défaut des journaux, de la configuration et du socket UDS. Utilisez les variables CONNECTOR_CONFIG_PATH et CONNECTOR_UDS_PATH pour pointer vers un répertoire accessible en écriture, et configurez un chemin de journalisation modifiable dans le fichier de configuration.

Taille du fichier de modèle supérieure à la mémoire du nœud

Par défaut, le connecteur précharge l'intégralité du modèle en mémoire. Si la taille du modèle dépasse la mémoire disponible, le chargement peut échouer avec une erreur Segment Fault ou OOM Kill.

Solutions :

Limitez la taille du cache de préchargement à l'aide de la variable CONNECTOR_MAX_CACHE_ADVISE_GB ou du paramètre de configuration pretech.maxCacheAdviseGB. Cette approche peut réduire les performances de chargement.
Utilisez un nœud disposant d'une capacité mémoire plus importante.