DataWorks:Usar modelos de linguagem grandes

1. Usar um nó de modelo de linguagem grande

O Data Development do DataWorks permite usar um nó de modelo de linguagem grande para processar dados. Nesse nó, configure e invoque um serviço de modelo de linguagem grande.

2. Nó Shell invocando modelo de linguagem grande

Este exemplo demonstra como invocar um modelo de linguagem grande a partir de um nó Shell para responder a uma pergunta específica.

1. Crie um nó Shell e adicione o seguinte comando de exemplo:

   Nota

   Substitua o endpoint do serviço de modelo que começa com http e o token que começa com DW pelos valores reais obtidos na seção Preparações.

   curl -X POST http://ms-xxx.cn-beijing.dataworks-model.aliyuncs.com/v1/completions -H "Authorization: DW-ms-xxx" -H "Content-Type: application/json" -d '{"prompt":"Differences and connections among AI, machine learning, and deep learning", "stream":"false", "max_tokens": 1024}' -v    

2. Após editar o nó, no painel Run Configuration à direita do editor de nós, selecione o grupo de recursos com a configuração de conectividade de rede concluída com o serviço de modelo.

3. Clique em Run para invocar o serviço de modelo implantado.

   Nota

   • Configuração de agendamento de nó: Se o nó precisar ser executado conforme um cronograma, selecione o grupo de recursos com a configuração de conectividade de rede concluída no painel Scheduling Settings à direita. Depois, configure as propriedades de agendamento em Scheduling Policy.

   • Publicação de nó: Para execute a tarefa em ambiente de produção, clique em ícone na interface para iniciar o fluxo de trabalho de publicação. O nó só será executado conforme o cronograma após a publicação no ambiente de produção.

3. Invocar um modelo de linguagem grande com um nó Python

Este exemplo ilustra como invocar um modelo de linguagem grande a partir de um nó Python para gerar um poema.

1. Este exemplo requer a biblioteca Python requests. Crie uma imagem personalizada baseada em uma Imagem do Alibaba Cloud para instale essa dependência. Use os seguintes parâmetros:

   Parâmetro de imagem personalizada	Descrição
   Nome/ID da imagem	Selecione uma imagem compatível com Python na lista de imagens do DataWorks.
   Tipo de tarefa suportado	Selecione Python.
   Pacotes de instalação	Python3: requests. Script: /home/tops/bin/pip3 install 'urllib3<2,0'.

2. Crie um nó Python e adicione o seguinte código de exemplo:

   Nota

   Substitua o endpoint do serviço de modelo que começa com http e o token que começa com DW pelos valores reais obtidos na seção Preparações.

   import requests
   import json
   import time
   import sys
   def stream_print_response():
       httpUrl = "http://ms-xxxx.cn-beijing.dataworks-model.aliyuncs.com"
       apikey = "DW-ms-xxxx"
       url = httpUrl + "/v1/completions"
       headers = {
           "Authorization": apikey,
           "Content-Type": "application/json"
       }
       data = {
           "prompt": "Write a poem about spring",
           "stream": True,
           "max_tokens": 512
       }
       try:
           response = requests.post(url, headers=headers, json=data, stream=True)
           response.raise_for_status()
           full_text = ""  # Accumulate full response to prevent loss
           buffer = ""     # Optional: handle incomplete JSON lines
           for line in response.iter_lines():
               if not line:
                   continue  # Skip empty lines
               line_str = line.decode('utf-8').strip()
               # print(f"[DEBUG] Received line: {line_str}")  # For debugging
               if line_str.startswith("data:"):
                   data_str = line_str[5:].strip()  # Remove "data: "
                   if data_str == "[DONE]":
                       print("\n[Streaming response ended]")
                       break
                   # Attempt to parse JSON
                   try:
                       parsed = json.loads(data_str)
                       choices = parsed.get("choices", [])
                       if choices:
                           delta_text = choices[0].get("text", "")
                           if delta_text:
                               # Accumulate into full text
                               full_text += delta_text
                               # Print characters one by one
                               for char in delta_text:
                                   print(char, end='', flush=True)
                                   sys.stdout.flush()
                                   time.sleep(0.03)  # Typewriter effect
                   except json.JSONDecodeError as e:
                       # print(f"[Warning] JSON parsing failed: {e}, raw: {data_str}")
                       continue
           print(f"\n\n[Full response length: {len(full_text)} characters]")
           print(f"[ Full content]:\n{full_text}")
       except requests.exceptions.RequestException as e:
           print(f" Request failed: {e}")
       except Exception as e:
           print(f" Other error: {e}")
   if __name__ == "__main__":
       stream_print_response()
   

3. Após editar o nó, no painel Run Configuration à direita, selecione o grupo de recursos com a configuração de conectividade de rede concluída e a Image personalizada da etapa 1 que inclui a biblioteca requests.

4. Clique em Run para invocar o serviço de modelo implantado.

   Nota

   • Configuração de agendamento de nó: Se o nó precisar ser executado conforme um cronograma, selecione o grupo de recursos com a configuração de conectividade de rede concluída e a Image personalizada da etapa 1 que inclui a biblioteca requests no painel Scheduling Settings. Depois, configure as propriedades de agendamento em Scheduling Policy.

   • Publicação de nó: Para execute a tarefa em ambiente de produção, clique em ícone na interface para iniciar o fluxo de trabalho de publicação. O nó só será executado conforme o cronograma após a publicação no ambiente de produção.

1. Nó LLM invoca serviço de modelo vetorial

O Data Development do DataWorks permite usar um nó de modelo grande para processar dados. Nesse nó, configure e invoque um serviço de modelo vetorial.

2. Nó Shell invoca modelo vetorial

Este exemplo demonstra como converter texto em vetores invocando um modelo vetorial a partir de um nó Shell.

1. Crie um nó Shell e adicione o seguinte comando de exemplo:

   Nota

   Substitua o endpoint do serviço de modelo que começa com http e o token que começa com DW pelos valores reais obtidos na seção Preparações.

   curl -X POST "http://ms-xxx.cn-beijing.dataworks-model.aliyuncs.com/v1/embeddings" \
     -H "Authorization: DW-ms-xxx" \
     -H "Content-Type: application/json" \
     -d '{
       "input": "This is a piece of text that needs to be converted into a vector",
       "model": "bge-m3"
         }'

2. Após editar o nó, no painel Run Configuration à direita, selecione o grupo de recursos com a configuração de conectividade de rede concluída com o serviço de modelo.

3. Clique em Run para invocar o serviço de modelo implantado.

   Nota

   • Configuração de agendamento de nó: Se o nó precisar ser executado conforme um cronograma, selecione o grupo de recursos com a configuração de conectividade de rede concluída no painel Scheduling Settings. Depois, configure as propriedades de agendamento em Scheduling Policy.

   • Publicação de nó: Para execute a tarefa em ambiente de produção, clique em ícone na interface para iniciar o fluxo de trabalho de publicação. O nó só será executado conforme o cronograma após a publicação no ambiente de produção.

3. Invocar um modelo vetorial a partir de um nó Python

Este exemplo ilustra como converter texto em vetores invocando um modelo vetorial a partir de um nó Python.

1. Este exemplo requer a biblioteca Python requests. Crie uma imagem personalizada baseada em uma Imagem do Alibaba Cloud para instale essa dependência. Use os seguintes parâmetros:

   Parâmetro de imagem personalizada	Descrição
   Nome/ID da imagem	Selecione uma imagem compatível com Python na lista de imagens do DataWorks.
   Tipo de tarefa suportado	Selecione Python.
   Pacotes de instalação	Python3: requests. Script: /home/tops/bin/pip3 install 'urllib3<2,0'.

2. Crie um nó Python e adicione o seguinte código de exemplo:

   Nota

   Substitua o endpoint do serviço de modelo que começa com http e o token que começa com DW pelos valores reais obtidos na seção Preparações.

   import requests
   import json
   import sys
   # Replace with your API endpoint and token
   api_url = "http://ms-xxx.cn-beijing.dataworks-model.aliyuncs.com" + "/v1/embeddings"
   token = "DW-ms-xxx"
   print("api_url:"+api_url)
   print("token:"+token)
   headers = {
       "Authorization": f"{token}",
       "Content-Type": "application/json"
   }
   payload = {
       "input": "Test text",
       "model": "bge-m3"
   }
   try:
       response = requests.post(api_url, headers=headers, data=json.dumps(payload))
       print("Response status code:", response.status_code)
       print("Response content:", response.text)  # View detailed error messages
   except Exception as e:
       print("Request error:", e)

3. Após editar o nó, no painel Run Configuration à direita, selecione o grupo de recursos com a configuração de conectividade de rede concluída e a Image personalizada da etapa 1 que inclui a biblioteca requests.

4. Clique em Run para invocar o serviço de modelo implantado.

   Nota

   • Configuração de agendamento de nó: Se o nó precisar ser executado conforme um cronograma, selecione o grupo de recursos com a configuração de conectividade de rede concluída no painel Scheduling Settings. Depois, configure as propriedades de agendamento em Scheduling Policy.

   • Publicação de nó: Para execute a tarefa em ambiente de produção, clique em ícone na interface para iniciar o fluxo de trabalho de publicação. O nó só será executado conforme o cronograma após a publicação no ambiente de produção.