全部产品
Search
文档中心

Platform For AI:Ringkasan Teks

更新时间:Jul 02, 2025

Ringkasan teks adalah proses mengekstraksi informasi kunci dari teks yang panjang dan berulang. Sebagai contoh, judul berita merupakan hasil dari ringkasan teks. Anda dapat menggunakan komponen Pelatihan Ringkasan Teks dari Platform for AI (PAI) untuk melatih model yang menghasilkan judul berita, yang merangkum poin utama dari berita. Topik ini menjelaskan cara mengonfigurasi komponen Pelatihan Ringkasan Teks.

Batasan

Komponen Pelatihan Ringkasan Teks hanya dapat menggunakan sumber daya komputasi Deep Learning Containers (DLC).

Arsitektur Model

Model ini menggunakan arsitektur Transformer standar, termasuk penyandi dan decoder. Penyandi mengkodekan teks dan decoder mendekode teks. Selama pelatihan, inputnya adalah berita asli, dan outputnya adalah judul berita.

Catatan Penggunaan

Anda dapat menghubungkan port input komponen Pelatihan Ringkasan Teks ke Pemisahan Kalimat untuk membagi teks menjadi baris, di mana setiap baris hanya berisi satu kalimat.

Konfigurasikan komponen di Konsol PAI

Anda dapat mengonfigurasi parameter untuk komponen Pelatihan Ringkasan Teks di Machine Learning Designer.

  • Port Input

    Port Input (dari kiri ke kanan)

    Tipe Data

    Komponen hulu yang direkomendasikan

    Diperlukan

    Data pelatihan

    OSS

    Baca Data Berkas

    Ya

    Data validasi

    OSS

    Baca Data Berkas

    Ya

  • Parameter Komponen

    Tab

    Parameter

    Deskripsi

    Fields Setting

    Input Schema

    Kolom teks dari file input. Nilai default: target:str:1,source:str:1.

    TextColumn

    Nama kolom yang sesuai dengan teks asli dalam tabel input. Nilai default: source.

    SummaryColumn

    Nama kolom yang sesuai dengan ringkasan dalam tabel input. Nilai default: target.

    OSS Directory for Alink Model

    Direktori yang digunakan untuk menyimpan model ringkasan teks yang dihasilkan dalam Bucket Object Storage Service (OSS).

    Parameters Setting

    Pretrained Model

    Nama model pra-latih. Anda dapat memilih model pada tab Pengaturan Parameter. Nilai default: alibaba-pai/mt5-title-generation-zh.

    batchSize

    Jumlah sampel yang diproses per batch. Nilai harus bertipe INT. Nilai default: 16.

    Jika model dilatih pada beberapa server yang memiliki beberapa GPU, parameter ini menunjukkan jumlah sampel yang diproses oleh setiap GPU dalam satu batch.

    sequenceLength

    Panjang maksimum urutan yang dapat diproses oleh sistem. Nilai harus bertipe INT. Nilai valid: 1 hingga 512. Nilai default: 512.

    numEpochs

    Jumlah epoch untuk pelatihan model. Nilai harus bertipe INT. Nilai default: 3.

    LearningRate

    Tingkat pembelajaran selama pelatihan model. Nilai harus bertipe FLOAT. Nilai default: 3e-5.

    Save Checkpoint Steps

    Jumlah langkah yang dilakukan sebelum sistem mengevaluasi model dan menyimpan model optimal. Nilai default: 150.

    The model language

    Nilai valid:

    • zh: Mandarin

    • en: Inggris

    Whether to copy text from input while decoding

    Tentukan apakah menyalin teks dari tabel input ke tabel output. Nilai valid:

    • false (default): tidak

    • true: ya

    The Minimal Length of the Predicted Sequence

    Panjang minimal teks keluaran, yang bertipe INT. Nilai default: 12.

    The Maximal Length of the Predicted Sequence

    Panjang maksimal teks keluaran, yang bertipe INT. Nilai default: 32.

    The Minimal Non-Repeated N-gram Size

    Ukuran minimal frase n-gram non-ulang, yang bertipe INT. Nilai default: 2. Sebagai contoh, jika Anda mengatur parameter ini ke 1, teks keluaran tidak akan mencakup string seperti "天天".

    The Number of Beam Search Scope

    Ruang pencarian ketika beam search digunakan untuk memilih urutan kandidat terbaik, yang bertipe INT. Nilai default: 5. Nilai lebih besar menunjukkan waktu pencarian lebih lama.

    The Number of Returned Candidate Sequences

    Jumlah urutan kandidat teratas yang dikembalikan oleh model, yang bertipe INT. Nilai default: 5.

    Execution Tuning

    GPU Machine type

    Tipe instans akselerasi GPU dari sumber daya komputasi. Nilai default: gn5-c8g1.2xlarge.

  • Port Output

    Port Keluaran

    Tipe Data

    Komponen hilir yang direkomendasikan

    Diperlukan

    model keluaran

    Path OSS dari model keluaran. Nilai parameter ini sama dengan nilai parameter ModelSavePath yang Anda atur pada tab Fields Setting. Model keluaran dalam format SavedModel disimpan di path OSS ini.

    Gunakan komponen Prediksi Ringkasan Teks

    Tidak

Contoh

Gambar berikut menunjukkan alur kerja sampel di mana komponen Pelatihan Ringkasan Teks digunakan. 工作流Dalam contoh ini, komponen dikonfigurasi dan pipeline dijalankan dengan cara berikut:

  1. Siapkan set data pelatihan (cn_train.txt) dan set data evaluasi (cn_dev.txt) dan unggah ke Bucket OSS. Set data pelatihan dan validasi yang digunakan dalam contoh ini adalah file TXT yang dibatasi tab.

    Anda juga dapat mengunggah file CSV ke MaxCompute dengan menjalankan perintah Tunnel pada klien MaxCompute. Untuk informasi lebih lanjut tentang cara menginstal dan mengonfigurasi klien MaxCompute, lihat Klien MaxCompute (odpscmd). Untuk informasi lebih lanjut tentang perintah Tunnel, lihat Perintah Tunnel.

  2. Gunakan komponen Read File Data - 1 dan Read File Data - 2 untuk membaca set data pelatihan dan set data evaluasi. Atur parameter OSS Data Path dari komponen Read File Data ke path OSS tempat set data pelatihan dan set data evaluasi disimpan.

  3. Konfigurasikan set data pelatihan dan set data evaluasi sebagai file input dari komponen Text Summarization Training-1 dan atur parameter lainnya. Untuk informasi lebih lanjut, lihat bagian "Konfigurasikan komponen di Konsol PAI" dari topik ini.

  4. Klik image.png untuk menjalankan pipeline. Setelah Anda menjalankan pipeline, Anda dapat melihat keluaran di path OSS yang ditentukan dalam parameter ModelSavePath dari Text Summarization Training-1.

Referensi

  • Untuk informasi lebih lanjut tentang cara mengonfigurasi komponen Prediksi Ringkasan Teks, lihat Prediksi Ringkasan Teks.