DataWorks:Menggunakan model bahasa besar

1. Panggil model bahasa besar di node model bahasa besar

Data Studio (versi baru) di DataWorks memungkinkan Anda menggunakan node model bahasa besar untuk memproses data. Di node model bahasa besar, Anda dapat mengonfigurasi layanan model bahasa besar dan memanggil model tersebut.

2. Panggil model bahasa besar di node Shell

Contoh ini menunjukkan cara memanggil model bahasa besar di node Shell untuk menjawab pertanyaan tertentu.

1. Buat node Shell dan tambahkan perintah contoh berikut ke dalam node:

   Catatan

   Ganti alamat pemanggilan layanan model bahasa besar yang dimulai dengan http dan token yang dimulai dengan DW dengan nilai aktual yang Anda peroleh di bagian Persiapan.

   curl -X POST http://ms-xxx.cn-beijing.dataworks-model.aliyuncs.com/v1/completions -H "Authorization: DW-ms-xxx" -H "Content-Type: application/json" -d '{"prompt":"What are the differences and connections between AI, machine learning, and deep learning?", "stream":"false", "max_tokens": 1024}' -v    

2. Setelah mengedit konten node, pada bagian Run Configuration di sisi kanan editor node, pilih kelompok sumber daya yang telah menyelesaikan konfigurasi konektivitas jaringan ke layanan model.

3. Klik Run untuk memanggil layanan model yang telah dideploy dan mengeksekusi perintah.

   Catatan

   • Node scheduling configuration: Jika Anda ingin menjalankan node yang memanggil layanan model secara berkala, buka bagian Scheduling di sebelah kanan. Pilih kelompok sumber daya yang telah menyelesaikan konfigurasi konektivitas jaringan dengan layanan model. Lalu, konfigurasikan properti penjadwalan di bagian Scheduling Policies.

   • Node publishing: Jika task harus dijalankan di lingkungan produksi, klik ikon untuk menerbitkan task tersebut. Node hanya akan berjalan secara berkala setelah diterbitkan ke lingkungan produksi.

3. Panggil model bahasa besar di node Python

Contoh ini menunjukkan cara memanggil model bahasa besar di node Python untuk menulis puisi sesuai instruksi.

1. Contoh ini bergantung pada library Python requests. Gunakan parameter berikut untuk membuat custom image berdasarkan image resmi DataWorks dan instal dependensinya.

   Parameter citra kustom	Deskripsi konfigurasi
   Image Name/ID	Anda dapat memilih image yang sesuai untuk node Python dari daftar image DataWorks.
   Supported Task Type	Pilih Python.
   Package	Python 3: requests. Script: /home/tops/bin/pip3 install 'urllib3<2.0'.

2. Buat node Python dan tambahkan kode contoh berikut ke dalam node:

   Catatan

   Ganti alamat pemanggilan layanan model bahasa besar yang dimulai dengan http dan token yang dimulai dengan DW dengan nilai aktual yang Anda peroleh di bagian Persiapan.

   import requests
   import json
   import time
   import sys
   
   def stream_print_response():
       httpUrl = "http://ms-xxxx.cn-beijing.dataworks-model.aliyuncs.com"
       apikey = "DW-ms-xxxx"
       url = httpUrl + "/v1/completions"
       headers = {
           "Authorization": apikey,
           "Content-Type": "application/json"
       }
       data = {
           "prompt": "Please write a poem about spring",
           "stream": True,
           "max_tokens": 512
       }
   
       try:
           response = requests.post(url, headers=headers, json=data, stream=True)
           response.raise_for_status()
   
           full_text = ""  # Akumulasikan respons lengkap untuk mencegah kehilangan data.
           buffer = ""     # Digunakan untuk menangani baris JSON yang tidak lengkap (opsional).
   
           for line in response.iter_lines():
               if not line:
                   continue  # Lewati baris kosong.
   
               line_str = line.decode('utf-8').strip()
               # print(f"[DEBUG] Received line: {line_str}")  # Untuk debugging.
   
               if line_str.startswith("data:"):
                   data_str = line_str[5:].strip()  # Hapus "data: ".
   
                   if data_str == "[DONE]":
                       print("\n[Stream response ended]")
                       break
   
                   # Coba uraikan JSON.
                   try:
                       parsed = json.loads(data_str)
                       choices = parsed.get("choices", [])
                       if choices:
                           delta_text = choices[0].get("text", "")
                           if delta_text:
                               # Akumulasikan ke teks lengkap.
                               full_text += delta_text
   
                               # Cetak karakter baru satu per satu.
                               for char in delta_text:
                                   print(char, end='', flush=True)
                                   sys.stdout.flush()
                                   time.sleep(0.03)  # Efek mesin ketik.
   
                   except json.JSONDecodeError as e:
                       # print(f"[WARNING] JSON parsing failed: {e}, original text: {data_str}")
                       continue
   
           print(f"\n\n[Full response length: {len(full_text)} characters]")
           print(f"[ Full content]:\n{full_text}")
   
       except requests.exceptions.RequestException as e:
           print(f" Request failed: {e}")
       except Exception as e:
           print(f" Other error: {e}")
   
   if __name__ == "__main__":
       stream_print_response()
   

3. Setelah mengedit konten node, pada bagian Run Configuration di sisi kanan editor node, pilih kelompok sumber daya yang telah menyelesaikan konfigurasi konektivitas jaringan dan Image kustom dari Langkah 1 yang telah menginstal library requests.

4. Klik Run untuk memanggil layanan model yang telah dideploy guna mengeksekusi perintah.

   Catatan

   • Node scheduling configuration: Untuk menjalankan node yang memanggil layanan model secara berkala, buka bagian Scheduling Configuration di sebelah kanan. Pilih kelompok sumber daya yang telah menyelesaikan konfigurasi konektivitas jaringan dan Image kustom dari Langkah 1 yang telah menginstal library requests. Lalu, konfigurasikan properti penjadwalan di bagian Scheduling Policy.

   • Node publishing: Jika task harus dijalankan di lingkungan produksi, klik ikon untuk menerbitkan task tersebut. Node hanya akan berjalan secara berkala setelah diterbitkan ke lingkungan produksi.

1. Panggil layanan model vektor di node model bahasa besar

Data Studio (versi baru) memungkinkan Anda menggunakan node model bahasa besar untuk memproses data. Di node model bahasa besar, Anda dapat mengonfigurasi layanan model bahasa besar dan memanggil model vektor.

2. Panggil model vektor di node Shell

Contoh ini menunjukkan cara memanggil model vektor di node Shell untuk mengonversi teks menjadi vektor.

1. Buat node Shell dan tambahkan perintah contoh berikut ke dalam node:

   Catatan

   Ganti alamat pemanggilan layanan model bahasa besar yang dimulai dengan http dan token yang dimulai dengan DW dengan nilai aktual yang Anda peroleh di bagian Persiapan.

   curl -X POST "http://ms-xxx.cn-beijing.dataworks-model.aliyuncs.com/v1/embeddings" \
     -H "Authorization: DW-ms-xxx" \
     -H "Content-Type: application/json" \
     -d '{
       "input": "This is a piece of text that needs to be converted into a vector",
       "model": "bge-m3"
         }'

2. Setelah mengedit konten node, pada bagian Run Configuration di sisi kanan editor node, pilih kelompok sumber daya tempat Anda telah menyelesaikan konfigurasi konektivitas jaringan untuk layanan model.

3. Klik Run untuk mengeksekusi perintah dan memanggil layanan model yang telah dideploy.

   Catatan

   • Konfigurasi penjadwalan node: Untuk menjalankan node yang memanggil layanan model secara berkala, buka bagian Scheduling di sebelah kanan. Pilih kelompok sumber daya tempat Anda telah menyelesaikan konfigurasi konektivitas jaringan untuk layanan model, lalu konfigurasikan properti penjadwalan dalam bagian Scheduling Policies.

   • Node publishing: Jika task harus dijalankan di lingkungan produksi, klik ikon untuk menerbitkan task tersebut. Node hanya akan berjalan secara berkala setelah diterbitkan ke lingkungan produksi.

3. Panggil model vektor di node Python

Contoh ini menunjukkan cara memanggil model vektor di node Python untuk mengonversi teks menjadi vektor.

1. Contoh ini bergantung pada library Python requests. Gunakan parameter berikut untuk membuat custom image berdasarkan image resmi DataWorks dan instal dependensinya.

   Parameter gambar kustom	Deskripsi konfigurasi
   Image Name/ID	Anda dapat memilih image yang sesuai untuk node Python dari daftar image DataWorks.
   Supported Task Type	Pilih Python.
   Package	Python 3: requests. Script: /home/tops/bin/pip3 install 'urllib3<2.0'.

2. Buat node Python dan tambahkan kode contoh berikut ke dalam node:

   Catatan

   Ganti alamat pemanggilan layanan model bahasa besar yang dimulai dengan http dan token yang dimulai dengan DW dengan nilai aktual yang Anda peroleh di bagian Persiapan.

   import requests
   import json
   import sys
   
   # Ganti dengan alamat API dan token Anda.
   api_url = "http://ms-xxx.cn-beijing.dataworks-model.aliyuncs.com" + "/v1/embeddings"
   token = "DW-ms-xxx"
   
   print("api_url:"+api_url)
   print("token:"+token)
   
   headers = {
       "Authorization": f"{token}",
       "Content-Type": "application/json"
   }
   
   payload = {
       "input": "Test text",
       "model": "bge-m3"
   }
   
   try:
       response = requests.post(api_url, headers=headers, data=json.dumps(payload))
       print("Response status code:", response.status_code)
       print("Response content:", response.text)  # Lihat pesan error detail.
   except Exception as e:
       print("Request exception:", e)

3. Setelah mengedit konten node, pada bagian Run Configuration di sisi kanan editor node, pilih kelompok sumber daya yang telah menyelesaikan konfigurasi konektivitas jaringan dan Image kustom dari Langkah 1 yang telah menginstal library requests.

4. Klik Run untuk mengeksekusi perintah guna memanggil layanan model yang telah dideploy.

   Catatan

   • Node scheduling configuration: Untuk menjalankan node yang memanggil layanan model secara berkala, buka bagian Scheduling Configurations di sebelah kanan. Pilih kelompok sumber daya yang telah menyelesaikan konfigurasi konektivitas jaringan ke layanan model. Lalu, konfigurasikan properti penjadwalan di bagian Scheduling Policies.

   • Node publishing: Jika task harus dijalankan di lingkungan produksi, klik ikon untuk menerbitkan task tersebut. Node hanya akan berjalan secara berkala setelah diterbitkan ke lingkungan produksi.