DataWorks：Menggunakan model bahasa besar

1. Panggil model bahasa besar di node model bahasa besar

Versi baru Data Development di DataWorks memungkinkan Anda menggunakan node model bahasa besar untuk memproses data. Di node model bahasa besar, Anda dapat mengonfigurasi layanan model bahasa besar dan memanggil model tersebut.

2. Panggil model bahasa besar di node Shell

Contoh ini menunjukkan cara memanggil model bahasa besar di node Shell untuk menjawab pertanyaan tertentu.

1. Buat node Shell dan tambahkan perintah contoh berikut ke node:

   Catatan

   Ganti alamat pemanggilan layanan model bahasa besar yang dimulai dengan http dan token yang dimulai dengan DW dengan nilai aktual yang Anda peroleh di bagian Persiapan.

   curl -X POST http://ms-xxx.cn-beijing.dataworks-model.aliyuncs.com/v1/completions -H "Authorization: DW-ms-xxx" -H "Content-Type: application/json" -d '{"prompt":"What are the differences and connections between AI, machine learning, and deep learning?", "stream":"false", "max_tokens": 1024}' -v    

2. Setelah mengedit konten node, di bagian Debugging Configuration di sisi kanan editor node, pilih kelompok sumber daya yang telah menyelesaikan konfigurasi konektivitas jaringan ke layanan model.

3. Klik Run untuk memanggil layanan model yang telah dideploy dan menjalankan perintah.

   Catatan

   • Penjadwalan node: Jika ingin menjalankan node yang memanggil layanan model secara berkala, buka bagian Scheduling Configuration di sisi kanan. Pilih kelompok sumber daya tempat Anda telah menyelesaikan konfigurasi konektivitas jaringan dengan layanan model. Lalu, konfigurasikan properti penjadwalan di bagian Scheduling Policy.

   • Penerbitan node: Jika tugas harus dijalankan di lingkungan produksi, klik ikon untuk menerbitkan tugas. Node hanya akan berjalan secara berkala setelah diterbitkan ke lingkungan produksi.

3. Panggil model bahasa besar di node Python

Contoh ini menunjukkan cara memanggil model bahasa besar di node Python untuk mengikuti instruksi menulis puisi.

1. Contoh ini bergantung pada library Python requests. Gunakan parameter berikut untuk membuat gambar kustom berdasarkan gambar resmi DataWorks dan instal dependensinya.

   Parameter gambar kustom	Deskripsi konfigurasi
   Image Name/ID	Anda dapat memilih gambar yang sesuai untuk node Python dari daftar gambar DataWorks.
   Supported Task Type	Pilih Python.
   Package	Python 3: requests. Script: /home/tops/bin/pip3 install 'urllib3<2.0'.

2. Buat node Python dan tambahkan kode contoh berikut ke node:

   Catatan

   Ganti alamat pemanggilan layanan model bahasa besar yang dimulai dengan http dan token yang dimulai dengan DW dengan nilai aktual yang Anda peroleh di bagian Persiapan.

   import requests
   import json
   import time
   import sys
   
   def stream_print_response():
       httpUrl = "http://ms-xxxx.cn-beijing.dataworks-model.aliyuncs.com"
       apikey = "DW-ms-xxxx"
       url = httpUrl + "/v1/completions"
       headers = {
           "Authorization": apikey,
           "Content-Type": "application/json"
       }
       data = {
           "prompt": "Please write a poem about spring",
           "stream": True,
           "max_tokens": 512
       }
   
       try:
           response = requests.post(url, headers=headers, json=data, stream=True)
           response.raise_for_status()
   
           full_text = ""  # Accumulate the full response to prevent loss.
           buffer = ""     # Used to handle incomplete JSON lines (optional).
   
           for line in response.iter_lines():
               if not line:
                   continue  # Skip empty lines.
   
               line_str = line.decode('utf-8').strip()
               # print(f"[DEBUG] Received line: {line_str}")  # For debugging.
   
               if line_str.startswith("data:"):
                   data_str = line_str[5:].strip()  # Remove "data: ".
   
                   if data_str == "[DONE]":
                       print("\n[Stream response ended]")
                       break
   
                   # Try to parse JSON.
                   try:
                       parsed = json.loads(data_str)
                       choices = parsed.get("choices", [])
                       if choices:
                           delta_text = choices[0].get("text", "")
                           if delta_text:
                               # Accumulate to the full text.
                               full_text += delta_text
   
                               # Print the new characters one by one.
                               for char in delta_text:
                                   print(char, end='', flush=True)
                                   sys.stdout.flush()
                                   time.sleep(0.03)  # Typewriter effect.
   
                   except json.JSONDecodeError as e:
                       # print(f"[WARNING] JSON parsing failed: {e}, original text: {data_str}")
                       continue
   
           print(f"\n\n[Full response length: {len(full_text)} characters]")
           print(f"[ Full content]:\n{full_text}")
   
       except requests.exceptions.RequestException as e:
           print(f" Request failed: {e}")
       except Exception as e:
           print(f" Other error: {e}")
   
   if __name__ == "__main__":
       stream_print_response()
   

3. Setelah mengedit konten node, di bagian Debugging Configuration di sisi kanan editor node, pilih kelompok sumber daya yang telah menyelesaikan konfigurasi konektivitas jaringan dan Image kustom dari Langkah 1 yang telah menginstal library requests.

4. Klik Run untuk memanggil layanan model yang telah dideploy guna menjalankan perintah.

   Catatan

   • Penjadwalan node: Untuk menjalankan node yang memanggil layanan model secara berkala, buka bagian Scheduling Configuration di sisi kanan. Pilih kelompok sumber daya yang telah menyelesaikan konfigurasi konektivitas jaringan dan Image kustom dari Langkah 1 yang telah menginstal library requests. Lalu, konfigurasikan properti penjadwalan di bagian Scheduling Policy.

   • Penerbitan node: Jika tugas harus dijalankan di lingkungan produksi, klik ikon untuk menerbitkan tugas. Node hanya akan berjalan secara berkala setelah diterbitkan ke lingkungan produksi.

1. Panggil layanan model vektor di node model bahasa besar

Versi baru Data Development di DataWorks memungkinkan Anda menggunakan node model bahasa besar untuk memproses data. Di node model bahasa besar, Anda dapat mengonfigurasi layanan model bahasa besar dan memanggil model vektor.

2. Panggil model vektor di node Shell

Contoh ini menunjukkan cara memanggil model vektor di node Shell untuk mengonversi teks menjadi vektor.

1. Buat node Shell dan tambahkan perintah contoh berikut ke node:

   Catatan

   Ganti alamat pemanggilan layanan model bahasa besar yang dimulai dengan http dan token yang dimulai dengan DW dengan nilai aktual yang Anda peroleh di bagian Persiapan.

   curl -X POST "http://ms-xxx.cn-beijing.dataworks-model.aliyuncs.com/v1/embeddings" \
     -H "Authorization: DW-ms-xxx" \
     -H "Content-Type: application/json" \
     -d '{
       "input": "This is a piece of text that needs to be converted into a vector",
       "model": "bge-m3"
         }'

2. Setelah mengedit konten node, di bagian Debugging Configuration di sisi kanan editor node, pilih kelompok sumber daya tempat Anda telah menyelesaikan konfigurasi konektivitas jaringan untuk layanan model.

3. Klik Run untuk menjalankan perintah dan memanggil layanan model yang telah dideploy.

   Catatan

   • Penjadwalan node: Untuk menjalankan node yang memanggil layanan model secara berkala, buka bagian Scheduling Configuration di sisi kanan. Pilih kelompok sumber daya tempat Anda telah menyelesaikan konfigurasi konektivitas jaringan untuk layanan model. Lalu, konfigurasikan properti penjadwalan di bagian Scheduling Policy.

   • Penerbitan node: Jika tugas harus dijalankan di lingkungan produksi, klik ikon untuk menerbitkan tugas. Node hanya akan berjalan secara berkala setelah diterbitkan ke lingkungan produksi.

3. Panggil model vektor di node Python

Contoh ini menunjukkan cara memanggil model vektor di node Python untuk mengonversi teks menjadi vektor.

1. Contoh ini bergantung pada library Python requests. Gunakan parameter berikut untuk membuat gambar kustom berdasarkan gambar resmi DataWorks dan instal dependensinya.

   Parameter gambar kustom	Deskripsi konfigurasi
   Image Name/ID	Anda dapat memilih gambar yang sesuai untuk node Python dari daftar gambar DataWorks.
   Supported Task Type	Pilih Python.
   Package	Python 3: requests. Script: /home/tops/bin/pip3 install 'urllib3<2.0'.

2. Buat node Python dan tambahkan kode contoh berikut ke node:

   Catatan

   Ganti alamat pemanggilan layanan model bahasa besar yang dimulai dengan http dan token yang dimulai dengan DW dengan nilai aktual yang Anda peroleh di bagian Persiapan.

   import requests
   import json
   import sys
   
   # Replace with your API address and token.
   api_url = "http://ms-xxx.cn-beijing.dataworks-model.aliyuncs.com" + "/v1/embeddings"
   token = "DW-ms-xxx"
   
   print("api_url:"+api_url)
   print("token:"+token)
   
   headers = {
       "Authorization": f"{token}",
       "Content-Type": "application/json"
   }
   
   payload = {
       "input": "Test text",
       "model": "bge-m3"
   }
   
   try:
       response = requests.post(api_url, headers=headers, data=json.dumps(payload))
       print("Response status code:", response.status_code)
       print("Response content:", response.text)  # View detailed error messages.
   except Exception as e:
       print("Request exception:", e)

3. Setelah mengedit konten node, di bagian Debugging Configuration di sisi kanan editor node, pilih kelompok sumber daya tempat Anda telah menyelesaikan konfigurasi konektivitas jaringan dan Image kustom dari Langkah 1 yang telah menginstal library requests.

4. Klik Run untuk menjalankan perintah guna memanggil layanan model yang telah dideploy.

   Catatan

   • Penjadwalan node: Untuk menjalankan node yang memanggil layanan model secara berkala, buka bagian Scheduling Configuration di sisi kanan. Pilih kelompok sumber daya yang telah menyelesaikan konfigurasi konektivitas jaringan ke layanan model. Lalu, konfigurasikan properti penjadwalan di bagian Scheduling Policy.

   • Penerbitan node: Jika tugas harus dijalankan di lingkungan produksi, klik ikon untuk menerbitkan tugas. Node hanya akan berjalan secara berkala setelah diterbitkan ke lingkungan produksi.