Experimente o modelo de linguagem pré-treinado da série StructBERT chinês na biblioteca de modelos do ModelScope

Tags relacionadasï¼1. Alibaba Cloud lança a plataforma ModelScope e novas soluções para reduzir a barreira para materializar a inovação nos negócios
2. DataWorks Data Modeling - Um pacote de soluções de gerenciamento de modelos de dados


Resumo: O StructBERT propõe melhorias e otimizações com base no BERT. Ao introduzir duas novas funções objetivas no nível da sentença e no nível da palavra, a ordem das sentenças/palavras é embaralhada e o modelo a restaura, o que permite à máquina dominar melhor a gramática humana e aprofundar a compreensão da linguagem natural, permitindo que o modelo aprenda informações de estrutura linguística mais robustas.

ModelScope

A plataforma ModelScope reúne modelos de pré-treinamento líderes do setor e fornece vários tipos de modelos de alta qualidade em código aberto. Os desenvolvedores podem experimentá-los e baixá-los gratuitamente na plataforma.

Introdução ao StructBERT

O StructBERT propõe melhorias e otimizações com base no BERT. Ao introduzir duas novas funções objetivas no nível da sentença e no nível da palavra, a ordem das sentenças/palavras é embaralhada e o modelo a restaura, para que as máquinas possam compreender melhor a gramática humana, aprofundando a compreensão da linguagem natural, permitindo que o modelo aprenda informações de estrutura linguística mais robustas.

Melhoria estável em relação ao BERT em conjuntos de dados públicos

Série StructBERT chinês

O ModelScope disponibilizou em código aberto modelos StructBERT chineses de vários tamanhos, resumidos na tabela a seguir. Podemos usar modelos de diferentes tamanhos conforme necessário.

Podemos especificar o ID do modelo no código para chamá-lo ou podemos baixar o repositório de modelos localmente para uso.

Ajuste fino do StructBERT no ModelScope

Podemos usar nossos próprios dados para realizar ajuste fino de treinamento com base no StructBERT e personalizar nosso próprio modelo. No ModelScope, o ajuste fino personalizado pode ser realizado em dez linhas de código.

Preparação do ambiente

⢠Se você precisar executar o modelo localmente, será necessário preparar a instalação do ambiente correspondente, incluindo: instalar o ambiente Python (python>=3.7), instalar o framework de deep learning (PyTorch ou TensorFlow) e instalar a biblioteca do ModelScope. Para mais detalhes, consulte a documentação oficial: Instalação do ambiente.

Se achar a instalação local muito complexa, a plataforma ModelScope também oferece um ambiente de execução online, onde você pode executar diretamente no Notebook. O ModelScope também fornece recursos de computação gratuitos. Para a cota específica, consulte o documento oficial: Descrição da cota gratuita.

Configurar treinamento

⢠Arquivos de configuração podem ser usados no ModelScope para definir processos como pré-processamento de dados, treinamento de modelo e avaliação de modelo. Os nomes dos arquivos de configuração dos modelos no repositório de modelos são configuration.json

⢠No arquivo de configuração, podemos definir os campos relevantes necessários para o treinamento, como framework de execução (PyTorch/TensorFlow), nome da tarefa (classificação, similaridade etc.), processo de pré-processamento (pré-processador) e otimizador de treinamento (otimizador); para descrições detalhadas dos campos, consulte Detalhes da configuração

⢠Aqui está um exemplo de arquivo de configuração em que usamos o StructBERT para treinar um modelo de similaridade de sentenças

Dez linhas de código para iniciar o treinamento

O conjunto de dados afqmc (Ant Financial Question Matching Corpus) a seguir é um exemplo para demonstrar o treinamento de modelo baseado no StructBERT.

Após executar o código, podemos observar facilmente o progresso do treinamento (como alterações de loss, uso de memória, duração do treinamento etc.) nos logs.

Para mais configurações de ajuste fino do ModelScope, consulte o documento: Melhores práticas para ajuste fino de classificação de texto

Feedback de experiência do ModelScope

⢠No geral, o ModelScope disponibilizou em código aberto modelos de alta qualidade para muitos cenários importantes, permitindo que os desenvolvedores partam de um ponto mais elevado (como modelos pré-treinados como o StructBERT) em combinação com seus próprios cenários.

⢠Por outro lado, o ModelScope ainda está em fase inicial, e alguns trabalhos ainda precisam ser construídos (como conjuntos de dados reais cada vez mais significativos), e espera-se que o ModelScope se torne cada vez melhor