Pengalaman Library Model ModelScope: Seri Model Bahasa Pra-pelatihan StructBERT Berbahasa Mandarin

Tag Terkait：1. Alibaba Cloud Meluncurkan Platform ModelScope dan Solusi Baru untuk Menurunkan Ambang Batas Realisasi Inovasi Bisnis
2. Pemodelan Data DataWorks - Paket Solusi Manajemen Model Data


Abstrak: StructBERT mengusulkan peningkatan dan optimasi berdasarkan BERT. Dengan memperkenalkan dua fungsi objektif baru di tingkat kalimat dan tingkat kata, urutan kalimat/kata diacak dan model mengembalikannya, yang memungkinkan mesin memahami tata bahasa manusia dengan lebih baik. Menguasai tata bahasa manusia dan memperdalam pemahaman tentang bahasa alami memungkinkan model mempelajari informasi struktur bahasa yang lebih kuat.

ModelScope

Platform ModelScope menyatukan model pra-pelatihan terkemuka di industri dan menyediakan berbagai jenis model berkualitas tinggi secara open source. Developer dapat mencoba dan mengunduhnya secara gratis di platform.

Pengantar StructBERT

StructBERT mengusulkan peningkatan dan optimasi berdasarkan BERT. Dengan memperkenalkan dua fungsi objektif baru di tingkat kalimat dan tingkat kata, urutan kalimat/kata diacak dan model mengembalikannya, sehingga mesin dapat memahami tata bahasa manusia dengan lebih baik, memperdalam pemahaman tentang bahasa alami, sehingga model dapat mempelajari informasi struktur bahasa yang lebih kuat.

Peningkatan stabil dibandingkan BERT pada dataset publik

Seri Mandarin StructBERT

ModelScope telah meng-open-source model StructBERT berbahasa Mandarin dengan berbagai ukuran, yang dirangkum dalam tabel berikut. Anda dapat menggunakan model dengan ukuran berbeda sesuai kebutuhan.

Anda dapat menentukan ID model dalam kode untuk dipanggil, atau menarik repositori model ke lokal untuk digunakan.

Fine-tune StructBERT di ModelScope

Anda dapat menggunakan data sendiri untuk melakukan fine-tune pelatihan berdasarkan StructBERT, dan menyesuaikan model pribadi Anda sendiri. Di ModelScope, fine-tune kustom dapat dilakukan hanya dengan sepuluh baris kode.

Persiapan lingkungan

• Jika Anda perlu menjalankan model secara lokal, Anda perlu menyiapkan instalasi lingkungan yang sesuai, termasuk: menginstal lingkungan python (python>=3.7), menginstal framework deep learning (pytorch atau tensorflow), dan menginstal Library ModelScope. Untuk detailnya, silakan lihat dokumentasi resmi: Instalasi Lingkungan.

Jika Anda merasa instalasi lokal lebih rumit, platform ModelScope juga menyediakan lingkungan runtime online, Anda dapat menjalankannya langsung di Notebook. ModelScope juga menyediakan sumber daya komputasi gratis. Untuk kuota spesifik, silakan lihat dokumen resmi: Deskripsi Kuota Gratis.

Konfigurasi pelatihan

• File konfigurasi dapat digunakan di ModelScope untuk mengatur proses seperti pra-pemrosesan data, pelatihan model, dan evaluasi model. Nama file konfigurasi seperti model di repositori model adalah configuration.json

• Dalam file konfigurasi, Anda dapat mengatur bidang relevan yang diperlukan untuk pelatihan, seperti framework runtime (pytorch/tensorflow), nama tugas (klasifikasi, kesamaan, dll.), proses pra-pemrosesan (preprocessor), dan optimizer pelatihan (optimizer); Untuk deskripsi bidang detail, silakan lihat Detail Konfigurasi

• Berikut adalah contoh file konfigurasi di mana kami menggunakan StructBERT untuk melatih model kesamaan kalimat

Sepuluh baris kode untuk memulai pelatihan

Dataset afqmc (Ant Financial Question Matching Corpus) berikut adalah contoh untuk mendemonstrasikan pelatihan model berdasarkan StructBERT.

Setelah menjalankan kode, Anda dapat dengan mudah mengamati progres pelatihan (seperti perubahan loss, penggunaan memori, durasi pelatihan, dll.) di log.

Untuk pengaturan fine-tune ModelScope lainnya, Anda dapat melihat dokumen: Praktik Terbaik untuk Fine-tune Klasifikasi Teks

Umpan balik pengalaman ModelScope

• Secara keseluruhan, ModelScope telah meng-open-source model berkualitas tinggi untuk banyak skenario penting, memungkinkan developer untuk mengembangkan dari titik awal yang lebih tinggi (seperti model pra-pelatihan seperti StructBERT) dikombinasikan dengan skenario mereka sendiri.

• Di sisi lain, ModelScope masih dalam tahap awal, dan beberapa pekerjaan masih perlu dibangun (seperti dataset nyata yang lebih banyak dan bermakna), dan diharapkan ModelScope akan menjadi semakin baik