ModelScope模型库体验中文StructBERT系列预训练语言模型
相关标签：1.阿里云推出ModelScope平台及新解决方案，降低业务创新落地门槛
2.DataWorks数据建模——一站式数据模型管理解决方案
摘要：StructBERT在BERT基础上提出了改进和优化。通过在句子级别和词级别引入两个新的目标函数，打乱句子/词语的顺序并由模型恢复，使机器能够更好地掌握人类语法、加深对自然语言的理解，从而使模型学习到更强的语言结构信息。
ModelScope平台汇集了业界领先的预训练模型，以开源方式提供各类高质量模型。开发者可在平台上免费体验和下载。
StructBERT在BERT基础上提出了改进和优化。通过在句子级别和词级别引入两个新的目标函数，打乱句子/词语的顺序并由模型恢复，使机器能够更好地掌握人类语法、加深对自然语言的理解，从而使模型学习到更强的语言结构信息。
在公开数据集上相比BERT有稳定提升
ModelScope开源了多种规模的中文StructBERT模型，汇总如下表。可根据需要选用不同大小的模型。
可以在代码中指定模型ID进行调用，也可以将模型仓库拉取到本地使用。
可以用自己的数据在StructBERT基础上进行训练微调（finetune），定制个性化模型。在ModelScope中，十行代码即可完成自定义微调。
• 如需在本地运行模型，需要准备相应的环境安装，包括：安装Python环境（python>=3.7）、安装深度学习框架（PyTorch或TensorFlow）、安装ModelScope Library。详情请参阅官方文档：环境安装。
如果觉得本地安装较为复杂，ModelScope平台还提供了在线运行环境，可以直接在Notebook中运行。ModelScope同时提供免费计算资源，具体配额请参阅官方文档：免费额度说明。
• 在ModelScope中可以使用配置文件来设置数据预处理、模型训练、模型评估等流程。模型仓库中的配置文件名称为configuration.json
• 在配置文件中，可以设置训练所需的相关字段，如运行框架（PyTorch/TensorFlow）、任务名称（分类、相似度等）、预处理流程（预处理器）、训练优化器（优化器）；详细字段说明请参阅配置详情
• 以下是一个配置文件示例，使用StructBERT训练句子相似度模型
以下以AFQMC（蚂蚁金服问题匹配语料库）数据集为例，演示基于StructBERT的模型训练。
运行代码后，可以在日志中观察训练进度（如损失变化、内存使用率、训练耗时等）。
更多关于ModelScope的finetune设置，可参阅文档：文本分类Finetune最佳实践
• 总体而言，ModelScope开源了许多重要场景的高质量模型，让开发者能够从更高的起点出发（如StructBERT等预训练模型），结合自己的场景进行开发。
• 另一方面，ModelScope仍处于起步阶段，部分工作尚待完善（如提供更多有意义的真实数据集），期待ModelScope越来越好
2.DataWorks数据建模——一站式数据模型管理解决方案
摘要：StructBERT在BERT基础上提出了改进和优化。通过在句子级别和词级别引入两个新的目标函数，打乱句子/词语的顺序并由模型恢复，使机器能够更好地掌握人类语法、加深对自然语言的理解，从而使模型学习到更强的语言结构信息。
ModelScope
ModelScope平台汇集了业界领先的预训练模型，以开源方式提供各类高质量模型。开发者可在平台上免费体验和下载。
StructBERT简介
StructBERT在BERT基础上提出了改进和优化。通过在句子级别和词级别引入两个新的目标函数，打乱句子/词语的顺序并由模型恢复，使机器能够更好地掌握人类语法、加深对自然语言的理解，从而使模型学习到更强的语言结构信息。
在公开数据集上相比BERT有稳定提升
中文系列StructBERT
ModelScope开源了多种规模的中文StructBERT模型，汇总如下表。可根据需要选用不同大小的模型。
可以在代码中指定模型ID进行调用，也可以将模型仓库拉取到本地使用。
在ModelScope中微调StructBERT
可以用自己的数据在StructBERT基础上进行训练微调（finetune），定制个性化模型。在ModelScope中，十行代码即可完成自定义微调。
环境准备
• 如需在本地运行模型，需要准备相应的环境安装，包括：安装Python环境（python>=3.7）、安装深度学习框架（PyTorch或TensorFlow）、安装ModelScope Library。详情请参阅官方文档：环境安装。
如果觉得本地安装较为复杂，ModelScope平台还提供了在线运行环境，可以直接在Notebook中运行。ModelScope同时提供免费计算资源，具体配额请参阅官方文档：免费额度说明。
配置训练
• 在ModelScope中可以使用配置文件来设置数据预处理、模型训练、模型评估等流程。模型仓库中的配置文件名称为configuration.json
• 在配置文件中，可以设置训练所需的相关字段，如运行框架（PyTorch/TensorFlow）、任务名称（分类、相似度等）、预处理流程（预处理器）、训练优化器（优化器）；详细字段说明请参阅配置详情
• 以下是一个配置文件示例，使用StructBERT训练句子相似度模型
十行代码即可开始训练
以下以AFQMC（蚂蚁金服问题匹配语料库）数据集为例，演示基于StructBERT的模型训练。
运行代码后，可以在日志中观察训练进度（如损失变化、内存使用率、训练耗时等）。
更多关于ModelScope的finetune设置，可参阅文档：文本分类Finetune最佳实践
ModelScope使用体验反馈
• 总体而言，ModelScope开源了许多重要场景的高质量模型，让开发者能够从更高的起点出发（如StructBERT等预训练模型），结合自己的场景进行开发。
• 另一方面，ModelScope仍处于起步阶段，部分工作尚待完善（如提供更多有意义的真实数据集），期待ModelScope越来越好
