Platform For AI：Pelatihan pemahaman membaca mesin

Batasan

Komponen pelatihan pemahaman membaca mesin hanya dapat digunakan dengan sumber daya komputasi dari Deep Learning Containers (DLC).

Konfigurasikan komponen di Machine Learning Designer

• Port Masukan

  Port masukan (dari kiri ke kanan)	Tipe data	Komponen hulu yang direkomendasikan	Diperlukan
  Data pelatihan	OSS	Baca Data File	Ya
  Data validasi	OSS	Baca Data File	Ya

• Parameter Komponen

  Tab	Parameter	Deskripsi
  Fields Setting	Language	Bahasa file masukan. Nilai default: zh. Nilai valid: zh en
  	Input Schema	Skema data setiap kolom dalam file masukan. Pisahkan beberapa kolom dengan koma (,). Nilai default: qas_id:str:1,context_text:str:1,question_text:str:1,answer_text:str:1,start_position_character:str:1,title:str:1.
  	Question Column	Nama kolom yang berisi pertanyaan dalam file masukan. Nilai default: question_text.
  	Context Column	Nama kolom yang berisi teks dalam file masukan. Nilai default: context_text.
  	Answer Column	Nama kolom yang berisi jawaban dalam file masukan. Nilai default: answer_text.
  	Id Column	Nama kolom ID dalam file masukan. Nilai default: qas_id.
  	Start Position Column	Nama kolom yang berisi posisi awal rentang jawaban dalam file masukan. Jika jawaban untuk sebuah pertanyaan dapat ditemukan dalam teks, posisi awal rentang jawaban dicatat dalam kolom ini. Nilai default: start_position_character.
  	Model Save Path	Path Bucket Object Storage Service (OSS) yang menyimpan model MRC yang telah dilatih atau fine-tuned.
  Parameters Setting	Batch Size	Jumlah sampel yang ingin Anda proses sekaligus. Nilai harus bertipe INT. Nilai default: 4. Jika model dilatih pada beberapa pekerja dengan beberapa GPU, parameter ini menentukan jumlah sampel yang diproses oleh setiap GPU per batch.
  	Max Context Length	Panjang maksimum teks yang dapat ditangani. Nilai harus bertipe INT. Nilai default: 384.
  	Max Query Length	Panjang maksimum pertanyaan yang dapat ditangani. Nilai harus bertipe INT. Nilai default: 64.
  	Doc Stride	Panjang jendela geser untuk setiap potongan teks. Nilai harus bertipe INT. Nilai default: 128.
  	Num Epochs	Jumlah total epoch untuk pelatihan. Nilai harus bertipe INT. Nilai default: 3.
  	Learning Rate	Tingkat pembelajaran selama pelatihan model. Nilai harus bertipe FLOAT. Nilai default: 3.5e-5.
  	Save Checkpoint Steps	Jumlah langkah yang diambil sebelum sistem mengevaluasi model dan menyimpan model optimal. Nilai harus bertipe INT. Nilai default: 600.
  	Model selection	Nama atau path model pre-trained yang disediakan oleh sistem. Nilai default: hfl/macbert-base-zh. Nilai valid: User Defined hfl/macbert-base-zh hfl/macbert-large-zh bert-base-uncased bert-large-uncased
  	Custom Model Paths	Parameter ini tersedia hanya jika Anda mengatur parameter Model selection ke User Defined. Jika Anda ingin menggunakan model pre-trained atau fine-tuned kustom, tentukan parameter model dalam format {A: xxx, B: xxx}. Pisahkan kunci dan nilai dengan titik dua (:). Pisahkan beberapa parameter dengan koma (,).
  Tuning	GPU Machine Type	Tipe instans node yang dipercepat GPU yang ingin Anda gunakan. Nilai default adalah gn5-c8g1.2xlarge, yang menentukan bahwa node menggunakan 8 vCPU, 80 GB memori, dan satu GPU P100.
  	num_GPU_worker	Jumlah GPU untuk setiap pekerja. Nilai default: 1.

• Port Keluaran

  Port keluaran (dari kiri ke kanan)	Tipe data	Komponen hilir
  Path Penyimpanan Model	Sebuah path OSS. Path ini sama dengan path yang Anda tentukan untuk parameter Model Save Path pada tab Fields Setting. Model yang telah dilatih disimpan di path ini.	prediksi pemahaman membaca mesin

Contoh

Gambar berikut menunjukkan pipeline sampel yang menggunakan komponen pelatihan pemahaman membaca mesin.

Ikuti langkah-langkah berikut untuk mengonfigurasi komponen:

1. Siapkan set data pelatihan dan set data evaluasi, lalu unggah dataset ke bucket OSS. Untuk informasi lebih lanjut, lihat bagian "Upload an object" dalam topik Mulai Menggunakan Konsol OSS.

   Dataset dapat berupa format TSV atau TEXT dan mencakup kolom-kolom berikut:

   • Set Data Pelatihan

     Kolom ID, kolom teks, kolom pertanyaan, kolom jawaban, kolom posisi awal, dan kolom judul (opsional)

   • Set Data Evaluasi

     Kolom ID, kolom teks, kolom pertanyaan, kolom jawaban (opsional), kolom posisi awal (opsional), dan kolom judul (opsional)

   Pada contoh ini, file TSV digunakan untuk menunjukkan cara melatih model.

2. Gunakan komponen Read File Data - 1 dan Read File Data - 2 untuk membaca set data pelatihan dan set data evaluasi. Atur parameter OSS Data Path dari komponen Read File Data-1 ke path OSS dari set data pelatihan, dan atur parameter OSS Data Path dari komponen Read File Data-2 ke path OSS dari set data evaluasi.

3. Sambungkan komponen Read File Data-1 dan Read File Data-2 ke komponen machine reading comprehension training sebagai node hulu, lalu konfigurasikan komponen pelatihan pemahaman membaca mesin. Untuk informasi lebih lanjut, lihat bagian "Parameter Komponen" dari topik ini.

Referensi

• Komponen prediksi pemahaman membaca mesin memungkinkan Anda melakukan prediksi batch menggunakan model yang dilatih oleh komponen pelatihan pemahaman membaca mesin. Untuk informasi lebih lanjut, lihat Prediksi Pemahaman Membaca Mesin.

• Untuk informasi lebih lanjut tentang komponen Machine Learning Designer, lihat Ikhtisar Machine Learning Designer.

• Machine Learning Designer menyediakan berbagai komponen algoritma preset. Anda dapat memilih komponen sesuai dengan skenario bisnis aktual Anda. Untuk informasi lebih lanjut, lihat Ikhtisar Komponen Designer.