DataWorks:Gunakan model bahasa besar

1. Gunakan node model bahasa besar

DataWorks Data Development mendukung penggunaan large language model node untuk memproses data. Di node ini, Anda dapat mengonfigurasi dan memanggil layanan model bahasa besar.

2. Node Shell memanggil model bahasa besar

Contoh ini menunjukkan cara memanggil model bahasa besar dari node Shell untuk menjawab pertanyaan tertentu.

1. Buat node Shell dan tambahkan perintah contoh berikut:

   Catatan

   Ganti titik akhir layanan model yang dimulai dengan http dan token yang dimulai dengan DW dengan nilai aktual yang Anda peroleh di bagian Persiapan.

   curl -X POST http://ms-xxx.cn-beijing.dataworks-model.aliyuncs.com/v1/completions -H "Authorization: DW-ms-xxx" -H "Content-Type: application/json" -d '{"prompt":"Differences and connections among AI, machine learning, and deep learning", "stream":"false", "max_tokens": 1024}' -v    

2. Setelah mengedit node, pada panel Run Configuration di sisi kanan editor node, pilih kelompok sumber daya yang telah menyelesaikan konfigurasi konektivitas jaringan dengan layanan model.

3. Klik Run untuk memanggil layanan model yang telah diterapkan.

   Catatan

   • Konfigurasi penjadwalan node: Jika node perlu dijalankan sesuai jadwal, pilih kelompok sumber daya yang telah menyelesaikan konfigurasi konektivitas jaringan di panel Scheduling Settings di sisi kanan. Lalu konfigurasikan properti penjadwalan di Scheduling Policy.

   • Penerbitan node: Untuk menjalankan tugas di lingkungan produksi, klik ikon di antarmuka untuk memulai alur kerja penerbitan. Node hanya akan dijalankan sesuai jadwal setelah diterbitkan ke lingkungan produksi.

3. Panggil model bahasa besar dengan node Python

Contoh ini menunjukkan cara memanggil model bahasa besar dari node Python untuk menghasilkan puisi.

1. Contoh ini memerlukan library Python requests. Buat custom image berbasis Alibaba Cloud Image untuk menginstal dependensi ini. Gunakan parameter berikut:

   Parameter custom image	Deskripsi
   Image name/ID	Pilih image yang kompatibel dengan Python dari DataWorks image list.
   Supported task type	Pilih Python.
   Installation packages	Python3: requests. Script: /home/tops/bin/pip3 install 'urllib3<2.0'.

2. Buat node Python dan tambahkan kode contoh berikut:

   Catatan

   Ganti titik akhir layanan model yang dimulai dengan http dan token yang dimulai dengan DW dengan nilai aktual yang Anda peroleh di bagian Persiapan.

   import requests
   import json
   import time
   import sys
   def stream_print_response():
       httpUrl = "http://ms-xxxx.cn-beijing.dataworks-model.aliyuncs.com"
       apikey = "DW-ms-xxxx"
       url = httpUrl + "/v1/completions"
       headers = {
           "Authorization": apikey,
           "Content-Type": "application/json"
       }
       data = {
           "prompt": "Write a poem about spring",
           "stream": True,
           "max_tokens": 512
       }
       try:
           response = requests.post(url, headers=headers, json=data, stream=True)
           response.raise_for_status()
           full_text = ""  # Accumulate full response to prevent loss
           buffer = ""     # Optional: handle incomplete JSON lines
           for line in response.iter_lines():
               if not line:
                   continue  # Skip empty lines
               line_str = line.decode('utf-8').strip()
               # print(f"[DEBUG] Received line: {line_str}")  # For debugging
               if line_str.startswith("data:"):
                   data_str = line_str[5:].strip()  # Remove "data: "
                   if data_str == "[DONE]":
                       print("\n[Streaming response ended]")
                       break
                   # Attempt to parse JSON
                   try:
                       parsed = json.loads(data_str)
                       choices = parsed.get("choices", [])
                       if choices:
                           delta_text = choices[0].get("text", "")
                           if delta_text:
                               # Accumulate into full text
                               full_text += delta_text
                               # Print characters one by one
                               for char in delta_text:
                                   print(char, end='', flush=True)
                                   sys.stdout.flush()
                                   time.sleep(0.03)  # Typewriter effect
                   except json.JSONDecodeError as e:
                       # print(f"[Warning] JSON parsing failed: {e}, raw: {data_str}")
                       continue
           print(f"\n\n[Full response length: {len(full_text)} characters]")
           print(f"[ Full content]:\n{full_text}")
       except requests.exceptions.RequestException as e:
           print(f" Request failed: {e}")
       except Exception as e:
           print(f" Other error: {e}")
   if __name__ == "__main__":
       stream_print_response()
   

3. Setelah mengedit node, pada panel Run Configuration di sisi kanan, pilih kelompok sumber daya yang telah menyelesaikan konfigurasi konektivitas jaringan dan Image kustom dari langkah 1 yang mencakup library requests.

4. Klik Run untuk memanggil layanan model yang telah diterapkan.

   Catatan

   • Konfigurasi penjadwalan node: Jika node perlu dijalankan sesuai jadwal, pilih kelompok sumber daya yang telah menyelesaikan konfigurasi konektivitas jaringan dan Image kustom dari langkah 1 yang mencakup library requests di panel Scheduling Settings. Lalu konfigurasikan properti penjadwalan di Scheduling Policy.

   • Penerbitan node: Untuk menjalankan tugas di lingkungan produksi, klik ikon di antarmuka untuk memulai alur kerja penerbitan. Node hanya akan dijalankan sesuai jadwal setelah diterbitkan ke lingkungan produksi.

1. Node LLM memanggil layanan model vektor

DataWorks Data Development mendukung penggunaan large model node untuk memproses data. Di node ini, Anda dapat mengonfigurasi dan memanggil layanan model vektor.

2. Node Shell memanggil model vektor

Contoh ini menunjukkan cara mengonversi teks menjadi vektor dengan memanggil model vektor dari node Shell.

1. Buat node Shell dan tambahkan perintah contoh berikut:

   Catatan

   Ganti titik akhir layanan model yang dimulai dengan http dan token yang dimulai dengan DW dengan nilai aktual yang Anda peroleh di bagian Persiapan.

   curl -X POST "http://ms-xxx.cn-beijing.dataworks-model.aliyuncs.com/v1/embeddings" \
     -H "Authorization: DW-ms-xxx" \
     -H "Content-Type: application/json" \
     -d '{
       "input": "This is a piece of text that needs to be converted into a vector",
       "model": "bge-m3"
         }'

2. Setelah mengedit node, pada panel Run Configuration di sisi kanan, pilih kelompok sumber daya yang telah menyelesaikan konfigurasi konektivitas jaringan dengan layanan model.

3. Klik Run untuk memanggil layanan model yang telah diterapkan.

   Catatan

   • Konfigurasi penjadwalan node: Jika node perlu dijalankan sesuai jadwal, pilih kelompok sumber daya yang telah menyelesaikan konfigurasi konektivitas jaringan di panel Scheduling Settings. Lalu konfigurasikan properti penjadwalan di Scheduling Policy.

   • Penerbitan node: Untuk menjalankan tugas di lingkungan produksi, klik ikon di antarmuka untuk memulai alur kerja penerbitan. Node hanya akan dijalankan sesuai jadwal setelah diterbitkan ke lingkungan produksi.

3. Panggil model vektor dari node Python

Contoh ini menunjukkan cara mengonversi teks menjadi vektor dengan memanggil model vektor dari node Python.

1. Contoh ini memerlukan library Python requests. Buat custom image berbasis Alibaba Cloud Image untuk menginstal dependensi ini. Gunakan parameter berikut:

   Parameter custom image	Deskripsi
   Image name/ID	Pilih image yang kompatibel dengan Python dari DataWorks image list.
   Supported task type	Pilih Python.
   Installation packages	Python3: requests. Script: /home/tops/bin/pip3 install 'urllib3<2.0'.

2. Buat node Python dan tambahkan kode contoh berikut:

   Catatan

   Ganti titik akhir layanan model yang dimulai dengan http dan token yang dimulai dengan DW dengan nilai aktual yang Anda peroleh di bagian Persiapan.

   import requests
   import json
   import sys
   # Replace with your API endpoint and token
   api_url = "http://ms-xxx.cn-beijing.dataworks-model.aliyuncs.com" + "/v1/embeddings"
   token = "DW-ms-xxx"
   print("api_url:"+api_url)
   print("token:"+token)
   headers = {
       "Authorization": f"{token}",
       "Content-Type": "application/json"
   }
   payload = {
       "input": "Test text",
       "model": "bge-m3"
   }
   try:
       response = requests.post(api_url, headers=headers, data=json.dumps(payload))
       print("Response status code:", response.status_code)
       print("Response content:", response.text)  # View detailed error messages
   except Exception as e:
       print("Request error:", e)

3. Setelah mengedit node, pada panel Run Configuration di sisi kanan, pilih kelompok sumber daya yang telah menyelesaikan konfigurasi konektivitas jaringan dan Image kustom dari langkah 1 yang mencakup library requests.

4. Klik Run untuk memanggil layanan model yang telah diterapkan.

   Catatan

   • Konfigurasi penjadwalan node: Jika node perlu dijalankan sesuai jadwal, pilih kelompok sumber daya yang telah menyelesaikan konfigurasi konektivitas jaringan di panel Scheduling Settings. Lalu konfigurasikan properti penjadwalan di Scheduling Policy.

   • Penerbitan node: Untuk menjalankan tugas di lingkungan produksi, klik ikon di antarmuka untuk memulai alur kerja penerbitan. Node hanya akan dijalankan sesuai jadwal setelah diterbitkan ke lingkungan produksi.