ModelScope モデルライブラリで Chinese StructBERT シリーズ事前学習済み言語モデルを体験

関連タグ：1.Alibaba Cloud が ModelScope プラットフォームと新ソリューションをリリース、ビジネスイノベーションの実現ハードルを低減
2. DataWorks データモデリング - データモデル管理ソリューションのパッケージ


概要：StructBERT は BERT をベースに改良と最適化を提案するモデルです。文レベルと単語レベルで 2 つの新しい目的関数を導入し、文や単語の順序を意図的にシャッフルしてモデルがそれを復元することで、人間の文法をより深く理解し、自然言語への理解を深め、より強力な言語構造情報を学習できるようになります。

ModelScope

ModelScope プラットフォームは、業界をリードする事前学習済みモデルを集約し、さまざまな高品質なモデルをオープンソースで提供しています。開発者はプラットフォーム上で無料で体験およびダウンロードできます。

StructBERT の概要

StructBERT は BERT をベースに改良と最適化を提案するモデルです。文レベルと単語レベルで 2 つの新しい目的関数を導入し、文や単語の順序を意図的にシャッフルしてモデルがそれを復元することで、機械が人間の文法をより深く理解し、自然言語への理解を深め、より強力な言語構造情報を学習できるようにします。

公開データセットで BERT に対して安定した改善を実現

Chinese StructBERT シリーズ

ModelScope はさまざまなサイズの Chinese StructBERT モデルをオープンソースで公開しており、以下の表にまとめています。必要に応じて適切なサイズのモデルを使用できます。

コード内でモデル ID を指定して直接呼び出すほか、モデルリポジトリをローカルにダウンロードして使用することもできます。

ModelScope で StructBERT をファインチューニング

独自のデータを使って StructBERT のファインチューニングを行い、カスタマイズされたモデルを作成できます。ModelScope では、わずか 10 行のコードでカスタムチューニングを実現できます。

環境の準備

・ローカルでモデルを実行する場合は、対応する環境のインストールが必要です。Python 環境 (Python>=3.7) のインストール、深層学習フレームワーク (PyTorch または TensorFlow) のインストール、および ModelScope Library のインストールが含まれます。詳細については、公式ドキュメントの「環境インストール」を参照してください。

ローカルでのインストールが複雑だと感じる場合は、ModelScope プラットフォームがオンライン実行環境も提供しており、Notebook で直接実行できます。ModelScope では無料のコンピューティングリソースも提供されています。詳細なクォータについては、公式ドキュメントの「無料クォータの説明」を参照してください。

トレーニングの設定

・ModelScope では設定ファイルを使用して、データ前処理、モデルトレーニング、モデル評価などのプロセスを設定できます。モデルリポジトリ内の設定ファイル名は configuration.json です。

・設定ファイルでは、実行フレームワーク (PyTorch/TensorFlow)、タスク名 (分類、類似度など)、前処理プロセス (プリプロセッサ)、トレーニングオプティマイザー (オプティマイザー) などのトレーニングに必要なフィールドを設定できます。フィールドの詳細な説明については、「設定の詳細」を参照してください。

・ここでは StructBERT を使用して文類似度モデルをトレーニングする設定ファイルの例を示します。

10 行のコードでトレーニングを開始

以下の afqmc (Ant Financial Question Matching Corpus) データセットを例に、StructBERT ベースのモデルトレーニングを確認します。

コードを実行すると、ログでトレーニングの進捗 (損失の推移、メモリ使用量、トレーニング時間など) を簡単に確認できます。

ModelScope のファインチューニングの詳細設定については、ドキュメント「テキスト分類ファインチューニングのベストプラクティス」を参照できます。

ModelScope の体験フィードバック

・全体として、ModelScope は StructBERT などの事前学習済みモデルをはじめ、重要なシナリオ向けの高品質なモデルをオープンソースで提供しており、開発者は独自のシナリオと組み合わせて、より高い起点から開発を開始できます。

・一方で、ModelScope はまだ発展途上にあり、より実用的なデータセットの拡充など、今後の構築が期待される部分もあります。ModelScope がさらに発展していくことが期待されます。