Large language model data processing node - DataWorks - Centre de documentation Alibaba Cloud

Les nœuds de grand modèle de langage (LLM) vous permettent de traiter des données textuelles non structurées, telles que les avis des utilisateurs, les descriptions de produits et les journaux du service client, directement dans les pipelines DataWorks. Grâce à des instructions en langage naturel, vous pouvez effectuer la synthèse de texte, l'analyse des sentiments, la classification du contenu et l'extraction d'informations sans écrire d'algorithmes complexes, intégrant ainsi l'IA de manière transparente dans vos flux de travail ETL existants.

Prérequis

Déployez un service de modèle dans DataWorks. Pour plus d'informations, consultez la rubrique Déployer un modèle.

Important

Le choix des modèles et des spécifications des ressources affecte directement les performances et la vitesse de réponse du service de modèle. De plus, le service de modèle engendre des frais de groupe de ressources.

Configuration du nœud LLM

Configurez un nœud LLM avec les paramètres suivants.

Paramètre	Description
Service de modèle	Le service de modèle que vous avez déployé lors des prérequis.
Nom du modèle	Le modèle issu du service de modèle. Un modèle par défaut est présélectionné.
Invite système	Définit le comportement du modèle, y compris son rôle, ses capacités et ses règles. Utilisez le format ${param} pour faire référence aux paramètres.
Invite utilisateur	Une question ou une instruction spécifique destinée au modèle. DataWorks propose quatre modèles intégrés pour une sélection rapide. Utilisez le format ${param} pour faire référence aux paramètres. Par exemple, une invite peut être : Sélectionnez les éléments qui correspondent à `${catalog}`. Dans cette invite, `catalog` est un paramètre de nœud ou de pipeline.

Exemple

L'exemple suivant montre comment utiliser un nœud LLM dans un pipeline et transmettre des paramètres entre les nœuds.

Connectez-vous au service LLM de DataWorks et créez un service de modèle basé sur Qwen3-1,7B. Pour Groupe de ressources, sélectionnez le groupe de ressources lié à l'espace de travail actuel.
Accédez à Data Studio et créez un pipeline contenant les nœuds suivants.
Configurez le nœud d'affectation. Dans la barre d'outils en bas à droite, définissez la langue sur Shell, puis saisissez le code suivant.

Pour plus d'informations sur ce nœud, consultez la rubrique Nœud d'affectation .
```
echo 'DataWorks';
```
Configurez le nœud de grand modèle de langage.
1. Sélectionnez le service de modèle et le nom du modèle configurés précédemment.
2. Définissez l'invite utilisateur comme suit :
```
Write an introduction about ${title} with a word limit of ${length}.
```
3. Dans le panneau de configuration à droite, sélectionnez Run Configuration > Resource Group, puis remplacez le groupe de ressources par celui que vous avez sélectionné lors de la création du service de grand modèle.
4. Dans le panneau de configuration à droite, sous Scheduling configuration > Scheduling parameters , ajoutez le paramètre title avec la valeur output of the upstream node et le paramètre length avec une valeur fixe de 300.
  
  Pour lier la sortie d'un nœud en amont, cliquez sur l'icône située à droite du champ de saisie de la valeur.
Configurez le nœud MaxCompute SQL pour récupérer le résultat du grand modèle de langage.

Important
Vous devez associer le nœud MaxCompute SQL à une ressource MaxCompute. Si vous ne disposez pas de ressource, vous pouvez utiliser un nœud Shell pour afficher la sortie à la place.
1. Saisissez le code suivant :
```
select '${content}';
```
2. Dans le panneau de configuration à droite, sélectionnez Run Configuration > Resource Group, puis remplacez le groupe de ressources par celui que vous avez sélectionné lors de la création du service de grand modèle.
3. À droite, sous Scheduling Settings > Scheduling Parameters, ajoutez le paramètre content et définissez sa valeur sur output of the upstream node.
  
  Pour lier la sortie d'un nœud en amont, cliquez sur l'icône située à droite du champ de saisie de la valeur.
  
  Une fois la liaison établie, la valeur du paramètre s'affiche sous la forme The outputs parameter of the llmtest node is bound.
Revenez au pipeline, cliquez sur Run en haut, puis saisissez les paramètres d'exécution dans la fenêtre contextuelle.

Après une exécution réussie, le nœud MaxCompute SQL renvoie un résultat du grand modèle de langage similaire à ce qui suit :

DataWorks is an enterprise data development and management platform from Alibaba Cloud. It supports data collection, cleansing, integration, scheduling, and visualization for large-scale data processing.
It provides a visual interface, connects to various data sources, and features powerful task scheduling and data quality monitoring.
DataWorks handles both real-time and batch processing, helping enterprises manage data as assets and improve efficiency.
Its unified process helps build reliable data pipelines for data governance and intelligent analysis.