What help does AutoML provide

概要

AI アプリケーションの実装には、アルゴリズムモデルのトレーニングが不可欠です。モデルトレーニングのプロセスは、対象分野に応じて異なるエンジン、ツール、リソースを必要とし、多くの場合、多大な時間と労力を要します。人工知能ラボには多くのプロダクトやアプリケーションがあり、その背後では多数のモデルトレーニングプロセスが稼働することで、オンラインプロダクトの継続的な反復を実現し、ユーザーによりスマートな体験を提供しています。データ生産からモデルトレーニング、デプロイメントに至るまで、AutoML の分野でさまざまな取り組みを行い、エンジニアリングの観点から AI アプリケーション全体の反復を加速してきました。

背景

現在、AI アプリケーションの実装には、一般的に以下の要素が含まれます。

前述の図から分かるように、完全な AI アプリケーション開発プロセスは非常に長く複雑で、多くの人的・物的リソースを必要とします。図中の点線は、自動化できると特定した部分を示しています。

現状

AutoML 業界の動向（グループ外）

上記の表は、従来の機械学習と AutoML の比較、および代表的な企業を示しています。

一文でまとめると、従来の機械学習は各ステップに専門家が関与する必要がありますが、AutoML は同じアプローチで複数の課題を解決することを目指しています。

ビジネスの状況

現在使用されているモデルはすべてアルゴリズムの専門家によって最適化されており、トレーニングパラメータは比較的安定していて、基本的に変更の必要はありません。そのため、モデルのパラメータ自動チューニングへのニーズは強くありません。真の課題は、ワークロードの大きさ、モデル効率の低さ、各段階での高いインタラクションコスト、そしてデータセキュリティの制約にあります。私たちが提唱する Auto AI コンセプトは、実際のビジネスシナリオに基づき、安全性と効率性を前提とした上で、自動化、プラットフォーム化、データ駆動のアプローチを通じて AI アプリケーションの実装を簡素化することを目指しています。

以下で詳しく説明します。

自動化：AutoAI のミッションは、フルマネージドで全プロセスを自動化する AI アプリケーションプラットフォームになることです。このサービスは、データのラベリングと準備、アルゴリズムの選択、アルゴリズムのトレーニング、デプロイメントに向けたチューニングと最適化、予測の実行、アクションの実施まで、機械学習ワークフロー全体をカバーします。パイプライン自動化の考え方により、モデルをより迅速に、少ない工数で、低コストで本番環境に投入できます。

プラットフォーム化：AutoAI は機械学習の全ワークフローをプラットフォーム型のプロダクトツールに統合し、研究者が AutoAI プラットフォーム内でモデルデータの整理、前処理プロセスの選択、モデル評価を行えるようにします。実際の業務では、AutoML がアルゴリズムエンジニアを完全に置き換えることは非常に困難です。そのため、研究者がより効率的にモデルをトレーニングし、リリースできるようにすることに注力しています。NLP アルゴリズムプラットフォーム、ASR アルゴリズムプラットフォーム、画像アルゴリズムプラットフォームなど、異なるアルゴリズムタイプはそれぞれ専門のプラットフォームで運用されます。

データ化：現在の AI 分野で見落とされがちなのが、データの追跡と統計です。これにより、AI アプリケーションの生産プロセス全体に多くの盲点が生じています。たとえば、データラベリングにどの程度の費用がかかっているか、手動でラベリングされたデータの利用率はどの程度か、このデータはモデルの品質向上にどの程度貢献しているか、手動ラベリングの精度はどの程度かといった点です。このようなデータを取得できれば、手動データアノテーションの品質改善にも役立ち、それがさらなるモデル品質の向上につながります。

私たちが目指す開発軌道は以下の通りです。

高品質で効率的なデータラベリング機能の確立。

アルゴリズム担当者向けに、前処理済みデータと特徴量データのカスタマイズ機能を提供。

さまざまなモデルを試して、アルゴリズム担当者が最適なモデルトレーニング設定を見つけられるよう支援。

モデルの反復段階では、自動化によりサイクルと品質を加速。

モデルに直感的な評価指標を付与。

モデルを容易にデプロイ可能。

回帰テストプラットフォームを導入し、デプロイ済みモデルの効果を可視化。

アーキテクチャ

アーキテクチャの観点から見ると、AI アプリケーションのライフサイクル全体のクローズドループを確立しました。

アークプロセスプラットフォームを通じて、従来は手動で連携する必要のあったプロセスを、自動化プラットフォームにより自動的にスケジューリングします。

以下、前述の図の各ステップについて説明します。

データ生産

ディープラーニングに代表される教師ありモデルトレーニングの発展により、大量で高品質なラベリングデータがモデルに大幅な改善をもたらすため、データ生産は AI アプリケーション全体の発展を促進する要素となります。人工知能ラボには強力なデータアノテーションプラットフォームがあります。

自動運転、画像、音声、テキストなど多様なアノテーションデータタイプに対応し、高精度なデータアノテーションの要件を満たします。

2D / 3D の画像と点群データの連携をサポートする高度な機能。

2D / 3D のトラッキンググループラベリング機能をサポートし、各グループのラベリング項目数に制限はありません。

カスタムテンプレートの設定をサポートし、カスタムラベリングのニーズに対応します。

タスクの配布、完全なタスク管理、タスクトラッキング機能をサポートします。

隔離トレーニング環境 - データセキュリティの守護者
現在、AutoAI は多様なトレーニング環境をサポートしています。

Alibaba の機械学習プラットフォームの TensorFlow トレーニング環境。

AILabs では、NLP アルゴリズムのトレーニングは基本的に Alibaba の機械学習プラットフォームの TensorFlow 上で実施されています。AutoAI はこの TensorFlow トレーニング環境をラップし、異なる環境でのアルゴリズムのバージョン管理機能を追加しています。

カスタム Docker 分散トレーニング

AILabs の音響トレーニングでは特定の音響モデルトレーニングフレームワークが必要ですが、現在、機械学習プラットフォームには対応するフレームワークが存在しません。AILabs のアルゴリズムエンジニアと機械学習プラットフォームのメンバーが連携して、カスタム音響トレーニングフレームワークを備えた Docker 環境を構築し、この Docker 環境を使用してモデルトレーニングとデータ処理を行っています。

PAI-speech は MR / MPI ベースのトレーニングエンジンです。

ユーザーは PAI-speech を使用して、カスタマイズされた PAI-speech Docker 上でデータ処理とモデルトレーニングを実行します。

生成されたモデルは、マウントされた OSS に保存されます。

AILabs ではデータセキュリティが重要な課題です。トレーニングデータを外部に公開することなく、アルゴリズムエンジニアの開発とデバッグをどのように効率化するか。より直接的なアプローチとして、隔離されたトレーニング環境を構築し、アルゴリズムユーザーがコンソール経由で操作できるようにしつつ、データエクスポートなどのリスクの高い操作を隔離します。こうして、隔離環境内ではユーザーの操作を制限せず、危険な操作のみを隔離することで、安全性と利便性の矛盾を解消しています。

ビジネスプラットフォーム

異なるアルゴリズムビジネスライン向けに複数のビジネスプラットフォームを立ち上げてきました。

データ生産プラットフォーム

前述の通り、優れたデータアノテーションプラットフォームを既に保有しています。データはどのようにラベリングプラットフォームに取り込まれ、ラベリング済みデータはどのように資産管理に還流するのでしょうか。各ビジネス部門ごとに、一般的に異なるビジネスニーズがあります。

データ生産の効率化は AI アプリケーションにおいて極めて重要な要素であり、データ生産の効率化はモデル反復のサイクルを促進します。

アークプロセスプラットフォームを通じたプロセス編排により、データをテン金データラベリングプラットフォームに簡単にインポートし、手動ラベリングを実施できます。

NLP アルゴリズムプラットフォーム

NLP テキストアルゴリズムのトレーニングに特化したプラットフォームです。

音響トレーニングプラットフォーム

デプロイとリリース

実際の生産環境では、デプロイ時のバージョン管理が非常に重要です。現在のデプロイとリリースのプロセスは以下の通りです。

このプロセスには多くの手動コミュニケーションコストが発生します。さらに解決困難な問題は、現在の評価データが古いことが多く、数ヶ月間更新されない場合もあることです。このような評価データでは、現在のオンラインデータの変化を正確に反映できないことは明らかです。

そこで、以下の改善モデルを提案します。

このプロセス全体において、最終承認者がオンラインかどうかを判断する以外、人間の介入は一切なく、最新のオンラインデータを使用してモデルの最新データへの適応性を反映します。

特徴

以上を踏まえて、AutoAI で何ができるかを見ていきましょう。

アクティブラーニング - モデル最適化の加速要因

アクティブラーニングは、人工知能ラボの NLP および ASR AI アプリケーションにおいて広く活用されています。アクティブラーニングには 2 つの大きなメリットがあります。

手動ラベリングのデータ量を削減できること。

従来のランダムサンプリングと手動ラベリングと比較して、アクティブラーニングを組み合わせることで、より迅速に良い結果を得られること。

ASR におけるアクティブラーニングの例を見てみましょう。

コンポーネントの説明：

ラベリング対象データセット：3 つのデータで構成されます。フルデータサンプリングルールに従って生成された元データラベル、自動ラベリングにおける信頼度の低い結果、モデル評価で検出されたバッドケースです。

特徴ファイルの抽出：ラベリング済みデータと生データはともに資産データであり、アルゴリズムが直接利用・開発することはできません。そのため、データ資産プラットフォーム（蔵金閣）からラベリング済みデータと生データを特徴ファイルに変換し、AutoAI のトレーニング用にエクスポートする必要があります。

AutoAI トレーニング：前述の PAI ベースの音響カスタムトレーニング環境です。

デュアル ASR エンジン：ラベリング済みデータでトレーニングされた、異なる 2 つのアルゴリズムによる音響モデルです。

選択戦略：2 つの ASR エンジンの結果が一致し、信頼度が閾値を超える場合は、トレーニングデータセットに組み入れます。

既存の 2 つの ASR モデルのアノテーション結果を照合し、結果が一致して信頼度の高い予測結果は直接トレーニングセットに追加します。

結果が不一致または信頼度が低い場合は、ラベリング対象データプールに移し、手動ラベリングを待ちます。

具体的な手順：

デュアル ASR モデルのオンライン予測手法によりトレーニングデータの自動ラベリングを試み、選択戦略に基づいて、未確認データは再度手動ラベリングに回します。デュアル ASR 検証を通過したデータは、手動ラベリングをスキップして直接次のトレーニング段階に進むことができ、人件費と計算時間を大幅に削減できます。

手動ラベリングデータと自動ラベリングデータを組み合わせてモデルトレーニングを行います。

モデル評価後のバッドケースはラベリング対象データプールに還流します。このバッドケースにより、新モデルで新たなバッドケースが発生したか、以前のバッドケースが修正されたかを確認できます。

パフォーマンスが目標に達したかを判断し、未達の場合は手順 1〜3 を繰り返します。

ワンクリックモデルトレーニング
AutoAI は現在、NLP で一般的に使用されるディープラーニングアルゴリズムを統合しており、最小限の作業と機械学習の専門知識で、ワンクリックでトレーニングを完了できます。複雑な設定は一切不要で、真のワンクリックモデルトレーニングを実現しています。アルゴリズムに必要なパラメータは既にトレーニングテンプレートにカプセル化されており、ビジネス要件に応じてトレーニングテンプレートを選択します。前述の NLP トレーニングプラットフォームのスクリーンショットをご参照ください。

モデル評価の詳細
詳細かつ完全なモデル評価の詳細は、モデルの学習適合度を正確に反映します。

誤検知の例はモデルのバッドケースを示し、アルゴリズム研究者がモデルの学習適合度をより正確に理解するのに役立ちます。

フルマネージドデプロイ
トレーニング済みモデルはワンクリックで予測サーバーにデプロイし、予測サービスを提供できます。グレースケールや A/B テストをサポートし、将来的には数千のエンドツーエンドモデルのディストリビューションにも対応予定です。

今後の計画

現在の段階で、AutoAI は人工知能ラボのモデルトレーニングの大部分を担っており、NLP、音響、画像など多様な領域をカバーしています。アルゴリズムエンジニアにより速く、より良いモデルトレーニングを提供することに加え、以下の方向性に重点的に取り組んでいく予定です。

まとめ

効率の向上

AutoAI の導入により、モデルのトレーニングサイクルを大幅に短縮し、複雑なビジネスのオンラインプロセスを簡素化し、モデルの反復回数を増やすことができました。

安全性

データセキュリティは人工知能ラボの最優先事項です。ユーザーのプライバシーデータの流出を防ぎ、アノテーション済み資産データを安全な環境で利用できるようにすることが重要です。AutoAI の全プロセスとクローズドトレーニング環境により、すべてのデータ転送はプラットフォーム内で完結します。ユーザーはプラットフォーム上で特徴ファイルやモデルデータを含むすべてのデータを操作でき、データがプラットフォームから外部に流出することはありません。