ModelScope model kütüphanesinde Çince StructBERT serisi ön eğitimli dil modelini deneyimleyin

İlgili Etiketler：1. Alibaba Cloud, İş İnovasyonunu Hayata Geçirme Eşiğini Düşürmek için ModelScope Platformunu ve Yeni Çözümleri Tanıttı
2. DataWorks Veri Modelleme - Veri Modeli Yönetim Çözümleri Paketi


Özet: StructBERT, BERT temelinde iyileştirme ve optimizasyon önermektedir. Cümle ve kelime düzeyinde iki yeni amaç fonksiyonu sunarak cümle/kelime sırası bozulur ve model bunu geri yükler; bu sayede makinenin insan dilbilgisini daha iyi kavraması ve doğal dili daha derinlemesine anlaması sağlanır. Bu durum modelin daha güçlü dil yapısı bilgisi öğrenmesine olanak tanır.

ModelScope

ModelScope platformu, sektöre yön veren ön eğitim modellerini bir araya getirir ve açık kaynak olarak çeşitli yüksek kaliteli modeller sunar. Geliştiriciler bu modelleri platform üzerinde ücretsiz olarak deneyimleyebilir ve indirebilir.

StructBERT'ye Giriş

StructBERT, BERT temelinde iyileştirme ve optimizasyon önermektedir. Cümle ve kelime düzeyinde iki yeni amaç fonksiyonu sunarak cümle/kelime sırasını bozar ve model bunları geri yükler. Böylece makineler insan dilbilgisini daha iyi kavrarken doğal dil anlayışını derinleştirir ve model daha güçlü dil yapısı bilgisi öğrenebilir.

Herkese açık veri kümelerinde BERT'e kıyasla istikrarlı iyileştirme sağlar.

Çince serisi StructBERT

ModelScope, çeşitli boyutlardaki Çince StructBERT modellerini açık kaynak olarak sunmuştur; bu modeller aşağıdaki tabloda özetlenmiştir. İhtiyaca göre farklı boyutlardaki modeller kullanılabilir.

Kod içinde model kimliğini belirterek çağrı yapabilir veya modeli yerel kullanım için depodan çekebilirsiniz.

ModelScope'ta StructBERT İnce Ayarı

Kendi verilerinizi kullanarak StructBERT temelinde eğitim ince ayarı (finetune) gerçekleştirebilir ve kişiselleştirilmiş modelinizi oluşturabilirsiniz. ModelScope'ta özel ince ayar on satır kodla yapılabilir.

Ortam hazırlığı

• Modeli yerel olarak çalıştırmanız gerekiyorsa Python ortamı (python>=3.7), derin öğrenme çerçevesi (PyTorch veya TensorFlow) ve ModelScope Kütüphanesi kurulumu dahil ilgili ortamı hazırlamanız gerekir. Ayrıntılar için lütfen resmi belgeye bakın: Ortam Kurulumu.

Yerel kurulumu karmaşık bulursanız ModelScope platformu çevrimiçi bir çalışma zamanı ortamı da sunar; modeli doğrudan Notebook içinde çalıştırabilirsiniz. ModelScope ayrıca ücretsiz bilişim kaynakları sağlar. Belirli kota için lütfen resmi belgeye bakın: Ücretsiz Kota Açıklaması.

Eğitimi yapılandırma

• ModelScope'ta veri ön işleme, model eğitimi ve model değerlendirmesi gibi süreçleri ayarlamak için yapılandırma dosyaları kullanılabilir. Model deposundaki modeller gibi yapılandırma dosyalarının adları configuration.json şeklindedir.

• Yapılandırma dosyasında çalıştırma çerçevesi (PyTorch/TensorFlow), görev adı (sınıflandırma, benzerlik vb.), ön işleme süreci (ön işleyici) ve eğitim optimize edicisi (optimize edici) gibi eğitim için gerekli alanları ayarlayabilirsiniz. Alan açıklamaları için lütfen Yapılandırma Ayrıntıları belgesine bakın.

• Aşağıda StructBERT kullanarak cümle benzerliği modeli eğittiğimiz örnek bir yapılandırma dosyası yer almaktadır.

On satır kodla eğitime başlama

Aşağıdaki afqmc (Ant Finans Soru Eşleştirme Korpusu) veri kümesi, StructBERT tabanlı model eğitimini göstermek için örnek olarak kullanılmıştır.

Kodu çalıştırdıktan sonra günlükte eğitim ilerlemesini (kayıp değişimleri, bellek kullanımı, eğitim süresi vb.) kolayca izleyebilirsiniz.

ModelScope'un diğer ince ayar ayarları için şu belgeye başvurabilirsiniz: Metin Sınıflandırma İnce Ayarı İçin En İyi Uygulamalar.

ModelScope deneyim geri bildirimi

• Genel olarak ModelScope, birçok önemli senaryo için yüksek kaliteli modelleri açık kaynak olarak sunmuş ve geliştiricilerin kendi senaryolarıyla birlikte daha yüksek bir başlangıç noktasından (StructBERT gibi ön eğitimli modeller) geliştirme yapmasını sağlamıştır.

• Öte yandan ModelScope henüz gelişiminin başındadır ve bazı çalışmaların (daha fazla anlamlı gerçek veri kümesi gibi) oluşturulması gerekmektedir. ModelScope'un giderek daha iyi hale gelmesi beklenmektedir.