ModelScope模型庫體驗中文StructBERT系列預訓練語言模型
相關標籤：1.阿里雲推出ModelScope平台及新解決方案，降低業務創新落地門檻
2.DataWorks資料建模——一站式資料模型管理解決方案
摘要：StructBERT在BERT基礎上提出了改進和最佳化。通過在句子層級和詞層級引入兩個新的目標函數，打亂句子/詞語的順序並由模型恢複，使機器能夠更好地掌握人類文法、加深對自然語言的理解，從而使模型學習到更強的語言結構資訊。
ModelScope平台彙集了業界領先的預訓練模型，以開源方式提供各類高品質模型。開發人員可在平台上免費體驗和下載。
StructBERT在BERT基礎上提出了改進和最佳化。通過在句子層級和詞層級引入兩個新的目標函數，打亂句子/詞語的順序並由模型恢複，使機器能夠更好地掌握人類文法、加深對自然語言的理解，從而使模型學習到更強的語言結構資訊。
在公開資料集上相比BERT有穩定提升
ModelScope開源了多種規模的中文StructBERT模型，匯總如下表。可根據需要選用不同大小的模型。
可以在代碼中指定模型ID進行調用，也可以將模型倉庫拉取到本地使用。
可以用自己的資料在StructBERT基礎上進行訓練微調（finetune），定製個人化模型。在ModelScope中，十行代碼即可完成自訂微調。
• 如需在本地運行模型，需要準備相應的環境安裝，包括：安裝Python環境（python>=3.7）、安裝深度學習架構（PyTorch或TensorFlow）、安裝ModelScope Library。詳情請參閱官方文檔：環境安裝。
如果覺得本地安裝較為複雜，ModelScope平台還提供了線上運行環境，可以直接在Notebook中運行。ModelScope同時提供免費計算資源，具體配額請參閱官方文檔：免費額度說明。
• 在ModelScope中可以使用設定檔來設定資料預先處理、模型訓練、模型評估等流程。模型倉庫中的設定檔名稱為configuration.json
• 在設定檔中，可以設定訓練所需的相關欄位，如運行架構（PyTorch/TensorFlow）、任務名稱（分類、相似性等）、預先處理流程（前置處理器）、訓練最佳化器（最佳化器）；詳細欄位說明請參閱配置詳情
• 以下是一個設定檔樣本，使用StructBERT訓練句子相似性模型
以下以AFQMC（螞蟻金服問題匹配語料庫）資料集為例，示範基於StructBERT的模型訓練。
運行代碼後，可以在日誌中觀察訓練進度（如損失變化、記憶體使用量率、訓練耗時等）。
更多關於ModelScope的finetune設定，可參閱文檔：文本分類Finetune最佳實務
• 總體而言，ModelScope開源了許多重要情境的高品質模型，讓開發人員能夠從更高的起點出發（如StructBERT等預訓練模型），結合自己的情境進行開發。
• 另一方面，ModelScope仍處於起步階段，部分工作尚待完善（如提供更多有意義的真實資料集），期待ModelScope越來越好
2.DataWorks資料建模——一站式資料模型管理解決方案
摘要：StructBERT在BERT基礎上提出了改進和最佳化。通過在句子層級和詞層級引入兩個新的目標函數，打亂句子/詞語的順序並由模型恢複，使機器能夠更好地掌握人類文法、加深對自然語言的理解，從而使模型學習到更強的語言結構資訊。
ModelScope
ModelScope平台彙集了業界領先的預訓練模型，以開源方式提供各類高品質模型。開發人員可在平台上免費體驗和下載。
StructBERT簡介
StructBERT在BERT基礎上提出了改進和最佳化。通過在句子層級和詞層級引入兩個新的目標函數，打亂句子/詞語的順序並由模型恢複，使機器能夠更好地掌握人類文法、加深對自然語言的理解，從而使模型學習到更強的語言結構資訊。
在公開資料集上相比BERT有穩定提升
中文系列StructBERT
ModelScope開源了多種規模的中文StructBERT模型，匯總如下表。可根據需要選用不同大小的模型。
可以在代碼中指定模型ID進行調用，也可以將模型倉庫拉取到本地使用。
在ModelScope中微調StructBERT
可以用自己的資料在StructBERT基礎上進行訓練微調（finetune），定製個人化模型。在ModelScope中，十行代碼即可完成自訂微調。
環境準備
• 如需在本地運行模型，需要準備相應的環境安裝，包括：安裝Python環境（python>=3.7）、安裝深度學習架構（PyTorch或TensorFlow）、安裝ModelScope Library。詳情請參閱官方文檔：環境安裝。
如果覺得本地安裝較為複雜，ModelScope平台還提供了線上運行環境，可以直接在Notebook中運行。ModelScope同時提供免費計算資源，具體配額請參閱官方文檔：免費額度說明。
配置訓練
• 在ModelScope中可以使用設定檔來設定資料預先處理、模型訓練、模型評估等流程。模型倉庫中的設定檔名稱為configuration.json
• 在設定檔中，可以設定訓練所需的相關欄位，如運行架構（PyTorch/TensorFlow）、任務名稱（分類、相似性等）、預先處理流程（前置處理器）、訓練最佳化器（最佳化器）；詳細欄位說明請參閱配置詳情
• 以下是一個設定檔樣本，使用StructBERT訓練句子相似性模型
十行代碼即可開始訓練
以下以AFQMC（螞蟻金服問題匹配語料庫）資料集為例，示範基於StructBERT的模型訓練。
運行代碼後，可以在日誌中觀察訓練進度（如損失變化、記憶體使用量率、訓練耗時等）。
更多關於ModelScope的finetune設定，可參閱文檔：文本分類Finetune最佳實務
ModelScope使用體驗反饋
• 總體而言，ModelScope開源了許多重要情境的高品質模型，讓開發人員能夠從更高的起點出發（如StructBERT等預訓練模型），結合自己的情境進行開發。
• 另一方面，ModelScope仍處於起步階段，部分工作尚待完善（如提供更多有意義的真實資料集），期待ModelScope越來越好
