Dharma Academy summarizes the evolution of MRC

1：背景

人類文明の歴史を振り返ると、情報化は結縄記法から書面記録、そして現代のデジタル化とネットワーク化へと発展してきた。データは物質やエネルギーに次ぐ新たな戦略的資源となっている。主に非構造化ドキュメント、マニュアル、Web ページ、画像、音声、動画などが存在する。McKinsey は 2025 年までに経済に影響を与える 12 の主要な破壊的技術を発表し、その中で知識自動化は第 2 位にランクインしている（推定影響額 5.2 〜 6.7 兆ドル）。これには、ドキュメントやその他のコンテンツに基づく法的契約検索や特許発見などの主要なアプリケーションが含まれる。しかし、これらのデータを効果的に活用するには、質問応答 AI の構築などに通常、大量の手動マイニング、整理、専門家による校正が必要であり、専門的なナレッジベースや構造化データを形成する必要がある。このプロセスには多大な投資が必要で、スケーリングが困難であり、高頻度のシナリオにしか対応できない。したがって、効果的な非構造化テキスト処理方法を構築し、機械がコンテンツを自動的に理解して質問応答を提供できるようにすることは、情報知能化への重要な道となる。

シアオミは消費者とビジネスをつなぐ重要なポータルであり、インテリジェント Q&A の代表例である。私たち（シアオミおよび DAMO アカデミーの自然言語知能チーム）は 2017 年から機械読解（MRC）技術に取り組み、業界初の機械読解アプリケーションを実装した。その後 2 年間で、機械読解は自然言語理解の研究を牽引してきた。学術的なリーダーシップを維持しつつ、業界のさまざまな分野やシナリオに徐々に展開し、体系的な技術ソリューションとビジネス実践を蓄積してきた。これにより、機械読解技術は初期の単一モデルから、ビジネスライフサイクル全体をカバーするソリューションへと成長した。以下では、機械読解の応用実践、直面した課題、関連する技術ソリューション、およびソリューション設計について詳しく紹介する。

2：シアオミにおける機械読解の応用

2017 年に提案した SLQA モデル [1] は SQuAD データセット [2] で Rank 1 を達成し、EM 指標で初めて人間の性能を上回った。SLQA モデルを中国語のビジネスデータ読解に応用し、アリシアオミ、ディエンシアオミ、エンタープライズシアオミに、キャンペーンルールや税務法規などの非構造化記事を読んで回答する能力を付与した。

その後の取り組みで、マニュアル、小売、旅行、党建設、政府事務など複数のビジネス分野で機械読解技術を実装した。大規模ビジネス応用における機械読解が直面する課題、すなわち数百万規模でのマルチドキュメント、長文ドキュメント、多言語、マルチモーダル、マルチラウンドなどの問題に重点的に取り組み、ドメインデータ、アルゴリズム、モデル、ソリューションの蓄積を徐々に進め、シアオミの機械読解アルゴリズムプラットフォームを形成した。以下では、ニューリテール（消費者およびマーチャント）、エコノミー、Alibaba Cloud のビジネス観点から、関連するシナリオを詳しく紹介する。

2.1 アリシアオミおよびディエンシアオミのキャンペーン Q&A

アリシアオミは機械読解が最初に実装されたビジネスである。e コマース分野のインテリジェントサービスロボットとして、アリシアオミは各種 e コマースキャンペーンのルール解釈を頻繁にサポートする必要がある。特に独身の日には大量のキャンペーンが展開される。機械読解を活用することで、知識の分解とメンテナンスの作業を大幅に削減でき、ルールを適切に簡素化し整理するだけで、自然なオンラインルール解釈サービスを提供できるようになった。

その後、ディエンシアオミのビジネスにもシーンを拡大した。タオバオのマーチャントはさまざまなプロモーションを頻繁に更新しており、キャンペーン数が増えるにつれて更新頻度も上昇している。ショップのキャンペーンルールは通常記事形式で存在し、参加方法、優遇戦略、対象商品などの情報が記述されている。非構造化、高頻度の更新、幅広いコンテンツカバレッジという特徴は、まさに機械読解で解決するのに適している。そこで、ディエンシアオミのキャンペーンエリア向けに機械読解ソリューションを構築した。2018 年の導入以来、機械読解はキャンペーンエリアの主要な回答技術となり、2019 年の独身の日には数万人の有料マーチャントに対してキャンペーンルール解釈の Q&A をサポートした。

2.2 ディエンシアオミ商品詳細ページの Q&A

消費者に優れた体験を提供するため、ディエンシアオミに画像ベースのインテリジェント Q&A を導入した。画像分析と機械読解を組み合わせて画像の内容を理解し、ユーザーの質問に基づいて回答可能な画像を識別して自動的に切り出し、画像内の正確な回答位置をハイライト表示する。これにより、画像とテキストでユーザーのサービス体験を豊かにするとともに、マーチャントの Q&A 設定コストを削減した。現在、画像インテリジェント Q&A はアパレル・美容、家電・デジタル機器、お菓子、青果、マタニティ・ベビー用品など多くの業界をカバーしており、従来のテキスト回答と比較してマーチャントにより多くの売上をもたらしている。

2.3 Tmall フラグシップストア 2.0 の家電マニュアル Q&A

市場の各種電子デジタル製品は機能が増え続け、電子製品の操作がますます複雑になっている。ユーザーは各種デジタル製品を購入後、安全かつ確実に使用するために、製品マニュアルを長時間読む必要がある。家電業界の Tmall フラグシップストアでは、ディエンシアオミを通じて大型・小型家電、デジタル製品などの高トラフィックフラグシップストアに PDF マニュアル Q&A 機能を提供している。ハイアール公式ストア、レノボ公式ストア、グリー公式ストア、スーパー公式ストア、ファーウェイ公式ストアなど 20 以上の公式ストアをカバーする。マルチモーダル変換により、ユーザーのクエリに基づいてマニュアル内の回答記述を正確に特定し、各種アフターサービス問題をより迅速かつ正確に解決できるよう支援する。

2.4 フーマー商品詳細ページのプリセールス Q&A

シアオミの自社ビジネスに加え、機械読解の能力をエコノミーのビジネスにも展開している。フーマーアプリには多種多様な商品があり、特に海鮮や生鮮水産物は単価が比較的高い。顧客は閲覧時に注文を決定する前にできるだけ商品の詳細を知りたいと考えている。しかし、以前はフーマーの商品ページにプリセールス相談窓口がなかったため、顧客は商品に関する質問がある場合、受動的にカスタマーサポートのフィードバックを待つしかなかった。これは顧客満足度と取引のコンバージョン率に大きな影響を与えていた。そこで、フーマーアプリにシアオミのプリセールス機能を導入した。FAQ 知識をメンテナンスする人的リソースが不足している場合でも、シアオミは商品詳細ページの画像や商品百科事典の記事からユーザーの質問に応じて直接回答を見つけ出すことができ、満足度と解決率を向上させた。また、機械読解のロングテール問題への対応力により、カバレッジをさらに拡大できる。

2.5 フリギーショッピングガイドアシスタントの観光地 Q&A

見知らぬ場所に旅行する際は、事前に目的地を調べ、旅程を計画する必要がある。その際、多数の観光地を調べたり、インターネットで旅行記や攻略を読んだり、多くの質問が生じる。フリギーには豊富な観光地情報があるが、情報の不完全さとプリセールス相談窓口の不足により、顧客の検索効率は高くない。Qyer.com には大量の旅行ガイド記事が蓄積されているが、顧客は有用な情報を見つけるために大量の記事を読む必要がある。そこで、フリギーのショッピングガイドアシスタントプロジェクトに機械読解能力を導入し、既存の非構造化観光地紹介コンテンツからモデルが直接回答を見つけられるようにした。これにより、ユーザーは自動的に回答を見つけられるようになった。機械読解分野でのデータとモデルの蓄積により、ナレッジベースの手動メンテナンスなしで、フリギープロジェクトにおいてトレーニングデータゼロでのコールドスタートを実現した。

2.6 Lazada 多言語機械読解

Lazada は東南アジアの e コマース分野における Alibaba エコノミーの重要な構成要素である。グローバル化の深化に伴い、タオバオや Tmall の多くの e コマース体験が Lazada に適用されており、ますます充実する e コマースキャンペーンはその好例である。国内の e コマースキャンペーンと比較して、Lazada のキャンペーンはコンテンツ量が多いだけでなく、英語、インドネシア語、ベトナム語、タイ語など多様な言語が含まれる。e コマースキャンペーン Q&A の分野特性と東南アジアの多国籍・多言語特性を組み合わせ、多言語機械読解モデルを開発した。このモデルは FAQ の手動設定が不要な機械読解の利点を活かし、Lazada の多言語および言語混合状況に効果的に対応し、独身の日を含む多くのプロモーションをサポートしている。

2.7 AliOS 車載マニュアル Q&A

日常の移動手段として不可欠な自動車は、私たちが接する中で最も複雑な工業製品の一つと言える。新車購入後にまず行うべきことは、車両の機能レイアウトと一般的な操作に慣れることである。日常使用では車両の状態やメンテナンス項目を確認することが多く、これらはすべて車両マニュアルのサポートが欠かせない。しかし、300 〜 400 ページに及ぶマニュアルを読むのは不便で、内容は専門的で概念も多く、エンドユーザーには理解が難しかったり時間がかかったりする。B2B 側の自動車メーカーやディーラーも、大量の重複するアフターサービス業務に悩まされ、サービスコストが高くなっている。そこで、グループの AliOS チームと協力し、スマートカーエキスパート内のマニュアル Q&A 機能を共同で構築した。車載の大画面での音声＋画像のマルチモーダルインタラクションと連携し、質問への正確な回答とニーズの直接的な充足を実現している。現在は車両機能、トラブルシューティング、メンテナンス、使用テクニックなどのコンテンツをカバーしている。

2.8 浙江省の百万級政府法規記事の読解

グループやエコノミーのビジネスエコシステムに加え、ユンシアオミを活用して外部の政府や企業への支援にも継続的に投資している。浙江省の政府事務プロジェクトは浙江省政府のデジタルトランスフォーメーションにおける第一期の重点プロジェクトの一つである。主な目的は利便性の向上と市民への恩恵であり、市民の生活関連事項の問い合わせや各種政策法规の相談・解釈を支援することである。浙江省の政府サービスネットワークには事務および法規に関する記事が 200 万篇あり、異なる自治体では事務内容も異なる。機械読解を使用して事務および政策法规の Q&A に回答することで、事前の FAQ 設定なしに Web サイトの 100 万記事から回答を読み取り、最新の規制や手続きについて市民に迅速かつリアルタイムで詳細なフィードバックを提供でき、業務効率と市民満足度を大幅に向上させた。

2.9 党群服務センターの超長文記事の読解

杭州党群服務センターでは、第 5 世代シアオミロボット（IoT ハードウェアベースの物理ロボット）を使用して、来訪者の党歴、党規約、政策に関する質問に回答している。このオープンなシーンでの Q&A には、モデルがロングテールの質問に対して非常に優れたカバレッジと解決能力を持ち、回答の精度も非常に高い水準が求められる。しかし、党建設の記事は通常長い（最長 3 万字以上）上に多くの内容項目を含む。ナレッジベースの手動メンテナンスに依存すると、人件費が非常に高く、知識のカバレッジを確保するのが難しいだけでなく、ロングテール質問の多さがナレッジベースのメンテナンス難易度をさらに高める。そこで、このプロジェクトでは機械読解を使用して党歴、党規約、政策記事を読み取り回答し、少量のラベル付きデータだけでモデルをオンライン目標に到達させた。10 月 25 日の杭州党群服務センターの正式開設に伴い、本プロジェクトも同時に開始された。

3：ビジネスシーンにおける課題
学術的な機械読解は主に限られたシーン、限られたデータ、限られた記事から回答を見つけることに焦点を当てている（SQuAD [2]、CoQA [3] など）。前述のビジネスシーンと比較すると、依然として一連の課題に直面している：

データラベリングの困難さ：学術データセット（SQuAD、CoQA など）は限られたデータでのモデル実験であるが、実際のビジネスでは各ビジネスが着地プロセスで異なるトレーニングデータを必要とする。機械読解のトレーニングデータは、ラベラーが長いドキュメントからユーザーのクエリに回答できる部分をマークする必要がある。通常の分類タスクのラベリングと異なり、機械読解のラベリングは主観性が高く、異なるラベラーがラベリングするとモデル性能に大きな差が生じる可能性がある。

大規模マルチドキュメント：SQuAD と CoQA データセットはいずれも、与えられた記事から回答を見つけることを前提としているが、実際のシーンでは 1 記事という前提を満たすことは難しい。浙江省の政府事務シーンを例にすると、機械読解は約 100 万の記事から正しい回答を見つける必要がある。いかにしてこれほど大量の記事を読み取りつつ再現率を確保し、かつ十分な精度を維持するかが、ビジネスで頻繁に直面する課題である。

データの異質性：ビジネスプロセスでは、既存の記事にテーブルやハイパーリンクが含まれていたり、テキストにタイトル、サブタイトル、本文、コメントなど異なる重要度やフォント形式がある場合が多い。機械読解モデルで異なるデータソースや異なる形式のコンテンツを同時に処理する方法も、ビジネス実装過程で解決すべき問題である。

マルチモーダルなコンテンツソース：現在のスマートカスタマーサービスシーンでは、テキストのみの Q&A 形式ではユーザーの情報要求をすでに満たせていない。画像とテキストを兼ね備えたインタラクティブ形式が、将来のカスタマーサービスロボットの基本能力となるだろう。シアオミやフーマーなどのシーンでは各製品に詳細な画像説明があり、家電や自動車などのシーンでは製品の使い方を詳しく説明する PDF ドキュメントがある。したがって、この情報を活用できれば、モデルが画像や PDF ドキュメントから直接回答を見つけられるようになり、運用の難易度を大幅に下げ、ロボットのサービス能力を向上させられる。

マルチラウンド対話：現在のスマートカスタマーサービスシーンにおける大きな課題の一つがマルチラウンド対話の問題である。対話モデルは通常 1 問 1 答を前提に構築されるが、実際のカスタマーサービスシーンでは、アルゴリズムモデルが人間のように複数ラウンドの対話を記憶し処理できる能力が必要とされることが多い。CoQA や QuAC などのマルチラウンド機械読解データセットの公開に伴い、ビジネスにもマルチラウンド対話の能力を徐々に組み込み始めている。

実際のビジネスには他にも課題が存在する。たとえば、AE や Lazada などの国際ビジネスのクロス言語機械読解、新ビジネス開始時のデータが少ないまたはゼロでのモデルのコールドスタート、機械読解回答の拒否と制御性、FAQ と MRC の連携などである。

上記のビジネス課題を踏まえ、次に技術と製品化の観点から、MRC プラットフォーム構築の際に直面する以下の技術的課題にどのように向き合い解決するかを分析する：

アプリケーションの敷居と構築コストの削減方法

大量のテキストをどのように読み取るか

対話シーンのセマンティックロスの解決方法

精度と効率のトレードオフ

複数言語に迅速に対応する方法

データクローズドループを構築して迅速な反復をサポートする方法

その他

4：MRC プラットフォーム技術紹介
以下の図は、機械読解モデルの実装とビジネスシーンの課題に対処する過程で徐々に蓄積してきた、現在の機械読解プラットフォームの能力とシーンを示している。図中のチャネルとシーンについては前述で簡単に紹介した。以下では、マルチラウンド、マルチモーダル、多言語、マルチドキュメント、マルチタスクおよびマルチドメイン、ならびに言語モデルとドメインデータ蓄積の観点から MRC プラットフォーム技術を説明する。

4.1 コンテキストを組み合わせたマルチラウンド機械読解

初期の MRC モデルは単一ラウンドのクエリとドキュメントから回答を特定する能力のみを持っていたが、CoQA や QuAC などのマルチラウンド機械読解のオープンソースデータセットが公開されるにつれ、モデルへのマルチラウンド読解能力の導入を検討し始めた。MRC モデルにマルチラウンドの読解能力を追加するため、現在 4 つの方式を実装している：エンティティ継承ベースの方式、flow_ops ベースのエンドツーエンドモデル方式、query-rewrite ベースのマルチラウンド書き換え方式、および事前学習済み言語モデルベースの方式である。エンティティ継承ベースの方式はコンテキストの主体が欠落しているシーンに対応でき、すでにエンタープライズシアオミに実装されている。flow_ops ベースのエンドツーエンドモデル方式はコンテキスト内での読み取りを可能にし、現在ディエンシアオミのキャンペーンエリアに適用されており、機械読解の回答率を 12% 向上させた。query-rewrite ベースのマルチラウンド書き換え方式はコンテキスト情報を組み合わせてクエリ情報を補完し、ディエンシアオミの対話ログでのオフライン評価でも優れた性能を示している。現在はディエンシアオミのフロントエンドアルゴリズムチームにモデル能力をエクスポートしている。事前学習済み言語モデルベースの方式は、言語モデルの強力なセマンティック理解と表現能力を活用して記事、質問、コンテキストを同時に読み取り、現在 CoQA データセットで一定の成果を上げており、探索を続けている。

4.1.1 エンティティ継承ベースの方式：

一部のシーンでクエリにエンティティが欠落している問題に対し、最新の対話ラウンドのエンティティを直接継承できる。
エンティティ継承は一般的に記事のマルチラウンドリコールを解決するために使用され、ある程度のマルチラウンド読解能力を実現できる。

4.1.2 flow_ops ベースのエンドツーエンドモデル方式：

CoQA 上の非 BERT SOTA モデルである FlowQA [10] を参照し、flow_ops と単一ラウンド SLQA モデルを以下の図のように組み合わせた。元の単一ラウンド SLQA は情報不足で回答不能だったが、flow_ops を追加することで、モデルが自動的にコンテキストから欠落情報を探せるようになった。この方法により、シアオミのキャンペーンエリアでの機械読解回答率を 12% 向上させた。

4.1.3 query-rewrite ベースのソリューション：

SLQA+flow_ops を使用したエンドツーエンドのマルチラウンド読解方式はマルチラウンド読解能力をもたらすが、回答の制御性とモデルの汎用性に欠ける。
そこで、生成モデルを使用してマルチラウンドの問題を処理する実験を行った。モデルは現在のクエリと過去の複数ラウンドのクエリと回答を入力として受け取り（テスト時には回答が雑すぎたため過去のクエリのみを使用）、エンコーダーデコーダーモデルを通じてマルチラウンド情報を含む新しいクエリを生成する。ディエンシアオミの対話ログからマルチラウンド書き換えデータセットを構築し、複数ラウンド書き換えの効果を以下の表に示した。

4.1.4 事前学習済み言語モデルベースの方式：

a. 大量データで事前学習された言語モデルは SLQA よりも強力なセマンティック理解と表現能力を持ち、ラベル付きサンプルへの依存度がはるかに低く、事前学習済み言語モデルのダウンストリームタスクへの汎化能力もより高い。

b. そこで、言語モデルベースのマルチラウンド読解を実験し、言語モデルにおいて RoBERTa [11] を基本モデルとして選択した。過去の K ラウンドのクエリと回答を現在のラウンドのクエリと記事コンテンツと結合してモデルの入力とした。トレーニングフェーズでは、従来の MRC スパン抽出タスクに加え、データ内の根拠タギング補助タスク学習も導入した。

現在はマルチラウンド読解タスクである CoQA データセットで実験を行っている。CoQA は SQuAD と比較してマルチラウンド質問応答の「対話」特性を持ち、機械の回答形式もより自由度が高い。検証セットでの実験結果は以下の通りである。

4.2 画像とテキストを組み合わせたマルチモーダル機械読解の探索

近年、マルチモーダル方向の研究が盛んに行われている。マルチモーダルについて、現在の主流研究方向にはモーダル表現、モーダル変換、モードアライメント、モーダル融合、協調学習が含まれる。MRC とマルチモーダル技術の組み合わせの可能性も積極的に探っており、現在の主な探求方向はモード変換とモード融合である。

マルチモーダル領域 [12]

4.2.1 モード変換

モード変換では、主に OCR、画像タギング、画像キャプションなどのモーダル変換方法を使用して、異なるモーダルの情報をテキストモーダルに正規化し、MRC タスクの形式でトレーニングタスクを統一的に設計している。全体のアーキテクチャを維持しつつ、トレーニングデータの次元を豊富にしている。この部分の詳細については、ストア詳細ページの Q&A セクションで説明する予定である。興味のある方は今後の記事をご覧いただきたい。

4.2.2 モード融合

2019 年以降、マルチモーダル言語モデルに関する論文が次々と発表されている。主流のアイデアは BERT をコンピュータビジョンの関連タスクと統合して、ダウンストリームタスクの指標を向上させることである。マルチモーダル言語モデルのオフラインでの探索も進めており、バウンディングボックスなどの視覚情報を導入することで、MRC 言語モデルの表現能力を向上させている。現在のマルチモーダル言語モデルはまだ初期探索段階にあり、この方向の発展を引き続き注視していく。

4.3 多言語およびクロス言語機械読解

従来の多言語ソリューションでは通常、言語間の大きな差異に対応するため、各言語に対して個別にモデルをトレーニングする。グローバル化の急速な進展の中で、1 言語 1 モデルの方式では複雑かつ急速なビジネスの変化に対応することがますます困難になっている。機械読解モデルも同じ問題に直面しているため、できるだけ 1 つのモデルで複数の言語をサポートしたいと考えている。1 つのカスタマーサービスロボットで中国語、英語、ベトナム語、インドネシア語などの複数の言語を同時に処理でき、言語間で相互に促進し合い、高リソース言語が低リソース言語を牽引し、異なる言語間の共通セマンティック情報を発掘できる。

BERT 以前は、多言語単語ベクトルと Share-Encoder 方式を使用して多言語機械読解の問題を解決していた。重要なステップは以下の通りである。まず、Word2vec などの単語ベクトル手法を参考に、異なる言語の語彙を共通のセマンティック空間にマッピングし、並列コーパス、多言語辞書、教師なしコーパスを使用して多言語単語ベクトル（Cross-Lingual-Word-Embeddings）をトレーニングする。これにより、異なる言語の類似単語がセマンティック空間内で近づく。以下の図の左側に示す通りである。次に、並列コーパスを使用して汎用の文エンコーダー Share-Encoder を学習する。これは複数の言語の文に対して同時にセマンティック情報を表現できる。最後に、記事と質問に対する Share-Encoder のセマンティック情報を MRC Layer に入力して回答 Span を計算する。この方式により、Lazada シーンのインドネシア語と英語のキャンペーンルール Q&A の問題を効果的に解決した。

しかし、Share-Encoder ベースの多言語 MRC ソリューションは並列コーパスに依存するため、新しい言語への迅速な対応が難しく、一定の制限がある。BERT 言語モデルの登場により、Multi-BERT を多言語 MRC シーンに初めて導入して最新の試みを行った。BERT の特性、多言語 MRC、Lazada の e コマースキャンペーン Q&A を組み合わせ、2 段階の転移学習方式を採用した：1）ドメイン知識転移 2）多言語混合トレーニング戦略。具体的には、ドメイン知識転移は他分野の読解能力を e コマースドメインに転移し、同一ドメイン内の知識転移を通じて学術データセットとビジネスデータ間、およびビジネスデータ間のギャップを解決する。多言語混合トレーニングは、異なる言語のデータを同時に混合してトレーニングすることで、モデルが言語間の共通言語能力をよりよく学習でき、同時に高リソース言語を利用して低リソース言語の処理能力を強化できる。主なプロセスは以下の通りである。

上記の方式でトレーニングされた多言語機械読解モデルは、同一言語の記事と質問だけでなく、異なる言語の記事と質問も処理できる。たとえば、キャンペーン記事が中国語で質問が英語の場合や、記事がインドネシア語で質問が中国語のシーンなどである。現在、Lazada の e コマースキャンペーンルール解析シナリオで多言語機械読解が実装されており、1 つのモデルでインド、マレーシア、フィリピン、タイ、ベトナムなどの 5 カ国以上の言語をカバーし、MRC Q&A をサポートしている。

4.4 大規模およびマルチドキュメントの機械読解

マルチドキュメントの読み取りについては、Microsoft の MS MARCO [4] と Baidu の DuReader [5] を取り上げなければならない。MS MARCO は Microsoft が 2016 年にリリースした英語のマルチドキュメント読み取りデータセットで、100 万以上の Bing 検索記録と 880 万以上のドキュメントを含む。各質問は大量のドキュメントから正しい回答を特定する必要がある。DuReader は Baidu が 2018 年にリリースした中国語のマルチドキュメント読み取りデータセットで、30 万以上の Baidu 検索記録と 140 万以上のドキュメントを含む。各質問は与えられた 5 つのドキュメントから正しい回答を検索する必要がある。

私たちのマルチドキュメント機械読解モデルは、中国語 DuReader 2.0 データセット、英語 MS MARCO Q&A タスクおよびパッセージ検索タスク（フルランキングスタイルとリランキングスタイルの両方）で SOTA の結果を達成した。MS MARCO Q&A タスクの Rouge-L と BLEU-1 の両指標は人間レベルの性能に達している。

マルチドキュメントの読み取りを記事の粗いリコール、記事の再ランキング、回答抽出の 3 段階に分割した。記事の粗いリコールでは、Elasticsearch の BM25 を使用した（MARCO と DuReader のスキーマ提出時にはオープンソースの Anserini に切り替えた）。質問と記事の単語マッチング不一致の問題を解決するため、論文 [6] のクエリ生成スキーマを参考に改良を行った。pointer-generator ベースの要約生成モデルをトレーニングし、copy mechanism と attention over attention mechanism を導入してクエリ単語生成の精度をさらに向上させ、生成されたクエリを使用して元のドキュメントに対してドキュメント拡張を行い、リコールを効果的に改善した。

記事の再ランキング段階では、独自開発の事前学習済み言語モデル StructBERT [7] を使用し、文順序構造情報を考慮して、元の BERT [8] の NSP タスクを文予測に変更し、ゼロから事前学習言語モデルをトレーニングした。同時に、事前学習プロセスで認識拒否の弱教師あり信号をさらに導入し、最終的に事前学習済み StructBERT モデルを使用してソートタスクのラベルデータでランキングファインソートを行い、最終的なドキュメントランキング結果を生成した。

（1）パッセージベースのクエリ生成

（2）StructBERT ベースのリランキング

回答抽出段階では、2018 年に発表したマルチドキュメント機械読解論文 [9] の手法を使用して回答を抽出し、現在のカスケード型マルチドキュメント機械読解スキームを形成した。

4.5 マルチドメインおよびマルチタスクによるモデル能力の向上

ディープニューラルネットワークの強力なモデル容量に加え、高次元表現学習もその特徴の一つである。新しい分野で機械読解を適用する過程で、マルチフィールド転移のアイデアを参考に、MRC のマルチレベルネットワーク構造に基づく以下の転移学習フレームワークを提案した。このフレームワークは、Fully Share、Partial Share、Inter/Intra Domain Share を含む、異なるレベルと粒度でのモデルパラメータ共有をサポートする。トレーニングフェーズでドメイン間に比例的な交互入力を導入してサンプル不均衡の影響を軽減し、ドメイン共通性の特徴層と独立性制約の対立タスクを追加してモデルの収束をより安定させ、同時に動的 OOV 拡張を導入してドメイン間の語彙差異が大きすぎる問題を解決する。実際のアプリケーションでは、フィールド間の語彙レベルの差異（セマンティック差異）とドキュメント差異（形態的差異）に基づいて、異なる転移特徴を有機的に組み合わせる。たとえば、シアオミのイベント割引を中国移动のパッケージ割引に移行したり、ディエンシアオミの業界横断 Q&A 移行などがあり、ビジネスでは 50% のラベル付きデータを削減できる。

既存分野の大量の学習データを活用するだけでなく、新分野で他のタスクを導入して、データが少ない状況でも MRC が迅速に効果を向上させることも検討している。記事は数十本、質問は数千しかないケースでは、ディエンシアオミの大量の過去の Q&A コーパスに基づいて単語ベクトルモデルを事前トレーニングし、初期エンコーディング層の入力として使用した。同時に、機械読解モデルの異なるレベルに対して、オンラインレコメンデーションのクリックデータクレンジングを組み合わせて数千万の Q-Q マッチングデータを構築し、マーチャントが維持する知識データに基づいて百万レベルの Q-A セマンティックマッチングデータを構築し、これら 2 種類のデータをそれぞれ MRC コーディング層とインタラクション層のマルチタスク事前トレーニングに適用した。最後に、ラベル付きの機械読解データは全体のモデルのさらなるファインチューニングにのみ使用した。異なるタスクの共同学習により、モデルはビジネスデータで 10 以上の F1 向上を実現した。BERT ベースの言語モデルが登場した後、焦点を SLQA ベースからドメイン言語モデルの構築に移した。具体的な探索は後続のセクションを参照されたい。

4.6 言語モデルに基づく技術実践

2018 年、Google の研究者 J Devlin らは、大規模なラベルなしコーパスで Transformer 言語モデルを事前トレーニングし、その後下流タスクの小規模ラベル付きデータでファインチューニングする方法を提案した。この手法は自然言語推論データセット GLUE、SQuAD、CoQA などで既存の SOTA モデルを大幅に上回り、これ以降、自然言語処理の事前トレーニング時代を切り開いた。

BERT の構造 [8]

BERT ネットワーク概要

一般的な MLM と NSP タスクに加え、自然言語知能チームは BERT の MLM をベースにした語順復元と文関係予測という 2 つの新しい事前トレーニングタスクを追加し、以下の図に示す StructBERT 事前トレーニング言語モデルを提案した。これら 2 つの目標は言語モデルの事前トレーニング効果を大幅に向上させた。現在、StructBERT はビジネスで広く使用されている。

StructBERT の構造予測タスク [7]

4.6.1 ビジネスデータでの言語モデルのさらなる事前トレーニング

StructBERT は大量の百科事典データに基づく事前トレーニング言語モデルである。ビジネスシナリオによりよく対応するため、StructBERT を基盤にビジネス関連の事前トレーニングコーパスをさらに構築し、以下の図に示す Pre-trained LM ベースの MRC 一般技術スキームを形成した。

Pre-trained LM ベースの MRC 一般技術スキーム

4.6.1.1 データ構築

QA 知識ペア：ビジネスでは通常、大量の QA 知識ペアが手動でメンテナンスされており、これらのデータの品質も高い。QA 知識を使用して正負のサンプルペアを構築し、言語モデルで QA のマッチングを判別できるように学習させることで、ビジネスシナリオでのモデルの能力を強化し、下流のマッチングタスクの効果を向上させられる。
手動対話データ：手動対話データにはユーザーの質問と人間のカスタマーサービスからの回答が大量に含まれている。これらの複数ラウンドの質問応答によって生成されるコンテキスト情報は、単一ラウンドの質問応答よりも豊富で充実している。したがって、この豊富な情報を言語モデルにどのように統合するかも非常に重要な方向である。

4.6.1.2 タスク構造

MLM のみ：RoBERTa の実験で BERT の NSP 除去がより良い効果をもたらす可能性が示されたため、まず MLM を使用して事前トレーニングを試みたが、この方法はビジネスデータで顕著な改善をもたらさなかった。
SpanBERT：SpanBERT [13] 論文を参考に境界単語を使用して中間 n-gram を予測したが、ビジネスデータには効果がなかった。
QA マッチングタスク事前トレーニング：StructBERT では既に語順復元と文関係予測の事前トレーニングタスクを使用しており、モデルの効果を向上させている。ビジネスデータで事前トレーニングタスクを QA マッチングタスクに変更して実験したところ、テスト結果はこの方法が下流タスクに顕著な改善をもたらすことを示した。

4.6.1.3 ビジネス効果

マッチングタスクでは、ディエンシアオミデータを使用して検証を行った。異なるビジネスタスクタイプの混合トレーニングとモデル構造のファインチューニング後、現在のマッチングタスクに安定的な改善をもたらすことができる。たとえば、クエリとドキュメントのソートや QA マッチングタスク用にトレーニングされたモデルは、下流タスクで元の BERT と比較して AUC を 3% 向上させた。

4.6.2 モデルクリッピングと蒸留

モデルクリッピングと蒸留の主な目的は 2 つある：

a. モデルパラメータを削減し、モデルサイズを小さくする（メモリ最適化）
b. モデルのトレーニングと予測速度を高速化する（速度最適化）

実際のビジネスシーンでは、モデルの予測速度の向上により注力しており、QPS とモデル遅延を最適化している。
モデルクリッピングの方法には多くの選択肢があり、生徒モデルの構造複雑度を教師モデルより低くするやり方である。通常の方法としては、少ない層数（PKD-BERT など）、小さい隠れ層サイズ（tinyBERT [14] など）、パラメータ共有（ALBERT [15] など）がある。ALBERT はパラメータ数を大幅に削減できるが、同一の層数条件下では速度向上をもたらさない。

BERT ベースのモデル蒸留の考え方は、おおよそ以下のようにまとめられる：

a. Teacher BERT から CNN や RNN などの小規模モデルに蒸留する。この場合は通常のソフトラベルを使用した蒸留トレーニングを行う。ディエンシアオミのクエリとドキュメントのソート問題で BERT を CNN ネットワークに蒸留したところ、AUC の損失は 4.2% であった。

b. Teacher BERT からさらに小規模な生徒 BERT モデルに蒸留する。この場合、生徒 BERT の各層を教師 BERT とアラインメントでき、まず教師 BERT のパラメータで生徒 BERT を初期化してから蒸留トレーニングを行う。ディエンシアオミのクエリと回答拒否の問題で BERT を 3 層 BERT に蒸留したところ、AUC の損失は 1% であった。

4.7 ドメインデータとモデルの蓄積

前述の通り、ビジネスアプリケーションにおける機械読解の課題の一つはデータラベリングの困難さである。したがって、データラベリングの量を削減し、ビジネス展開を加速するため、一方では大規模な教師なしコーパスを使用して言語モデルの事前トレーニングを行い、他方ではグループ内外の複数のビジネスでの蓄積に基づいて、小売、百科事典、規制、政府事務、旅行などの複数の分野でデータとドメインモデルを蓄積してきた。以下の図に示す通りである。新しいビジネスはドメインモデルをベースに、少量のデータでインクリメンタルトレーニングを行うだけで、迅速にオンライン要件を満たすことができる。

5：技術から製品化へ
初期段階では、機械読解をプラットフォーム能力として出力し、各ビジネスに対して人的リソースを投入し、ビジネス、プロダクト、エンジニアリングのメンバーと協力して、各ビジネスの開発、トレーニング、テスト、オンライン化タスクを完了していた。しかし、接続サービスの数が増加し続け、カスタマイズ要件が深化するにつれて、以前のサービス接続アプローチを引き続き使用すると、人的コストと接続サイクルが許容できないものとなる。接続効率を向上させ、接続コストを削減するため、一部の能力を機械読解プラットフォームに蓄積した。現在、機械読解プラットフォームは前述の一連のドメイン能力を蓄積しており、引き続き機械読解のミドルプラットフォーム構築に投資し、ドメインモデル選択、データラベリング、モデルトレーニング、モデルオンライン化までの完全なセルフサービス能力を構築し、自動復帰システムに基づいてオンラインデータを継続的に反復最適化している。

5.1 新規サービスの接続

ドメイン蓄積のセクションで既に述べた通り、ミドルプラットフォームの構築とより多くのビジネス蓄積に伴い、新規サービス接続のラベリングコストも継続的に低下しており、新規サービス接続プロセスも過去のゼロからのデータラベリングから、適切なドメインモデルを優先的に選択する方向へシフトした。モデルのオンライン化サイクルも過去の数週間から現在は数日に短縮された。

5.2 自動復帰と反復

データラベリングと人的投入のコストを考慮すると、既に確立されたデータからモデルへのクローズドループを手動更新ではなく自動反復できれば、コスト削減と効率向上をある程度実現できる。この目的に基づいて、アルゴリズム自動反復のコンセプトを提案した。

まず、アクティブラーニング戦略や顧客フィードバックなどの方法を通じて、オンラインのリアルデータを還元・蓄積する。その後、モデルを自動トレーニングし、ラベリングの人的リソースがない場合は教師なしデータを使用して蒸留によりオンラインモデルの効果を向上させ、人的リソースがある場合は教師ありモデルトレーニングを行う。トレーニング完了後、テストセットでモデル効果を評価し、担当者にメールで効果を確認してもらう。オンライン要件を満たすことが確認されたモデルについては、モデルデプロイと更新を自動的に完了できる。全体プロセスの簡略なブロック図は以下の通りである。

30.png

6：発展の歩み
31.png

2017 年 学術研究から産業への着地：この期間に学術タスクの事前研究と蓄積を完了し、アリシアオミのキャンペーン Q&A とエンタープライズシアオミの税務法規解釈において産業への最初のステップを踏み出した。主な課題は、モデルの異なるレベルをどのように設計して記事から効果的に回答を抽出しつつ、オンラインサービスの適時性要件を考慮するかであり、最終的に SLQA の基本モデルを蓄積し、今後の人間能力の突破に向けた基盤を築いた。この期間、MRC の応用は単一分野のターゲット最適化に限られ、ビジネス展開のコストは比較的高かった。

2018 年 単一シーンからマルチフィールド実践へ：機械読解の技術的価値を初期的に検証した後、この段階ではより多くの分野とより大規模なビジネスシーンでの実装に注力した。シアオミのキャンペーンエリア、Lazada のキャンペーン Q&A（英語およびインドネシア語）、浙江省の政府事務相談、車載マニュアル Q&A などを含む。ビジネスを迅速に実装すると同時に、クロス言語転移、クロスドメイン転移、クロスタスク転移などの学習方法を探索して接続コストをさらに削減した。同時に、より複雑で多様なビジネスニーズに対応するため、単一モデルから統合検索、ソート、抽出、拒否などのフルリンク Q&A サービスに拡張し、異なる能力の柔軟な組み合わせをサポートし、精度、再現率、スループット、応答時間、モデルの制御性において顕著な向上を実現した。

2019 年 Q&A からフルリンクプロダクト構築へ：機械読解がますます多くのビジネスに実装されるにつれ、アルゴリズムライフサイクル全体を取り巻く技術の製品化とプラットフォーム化を実現し始めた。蓄積された既存フィールドの転移と汎用言語モデルのサポートを組み合わせ、シーン検証、ビジネス評価、アノテーション最適化、オンライン接続、復帰反復などの複数のリンクをカバーし、ベストプラクティスを通じてビジネス側の統合と最適化能力を支援している。技術面では、機械読解の革新的なブレークスルーに継続的に投資し、対話を組み合わせたマルチラウンド読解や画像を組み合わせたマルチモーダル読解において初期的な探索を行った。

7：技術的成果

2017 年 7 月、アリシアオミのキャンペーン Q&A を支援するため初めて導入。
2018 年 1 月、スタンフォード評価 SQuAD v1.1 で初めて人間の性能を上回る（EM：82.44 vs. 82.3）。
2018 年 2 月、TriviaQA 評価で第 1 位を獲得。
2018 年 9 月、SQuAD v2.0 評価で第 1 位を獲得。
2018 年 10 月、Baidu DuReader Q&A 評価で第 1 位を獲得。
2018 年 11 月、モデル性能を突破（キャンペーンルールの Q&A 時間が 10 ms 未満）し、ダウングレードなしで大型プロモーションのピークをサポート。
2018 年 12 月、Microsoft MARCO Q&A タスク評価で第 1 位を獲得。
2019 年 6 月、Microsoft MARCO パッセージ検索タスクと Q&A タスクの両方で記録を更新。
2019 年 11 月、マルチモーダル読解およびシアオミ商業版の 7 大業界向けフルスケールオープンストア Q&A を実施し、マーチャントの独身の日サービスをサポート。
機械読解関連論文が ACL 2018、AAAI 2019、EMNLP 2019、CIKM 2019、AAAI 2020 に採択。

8：まとめと展望

3 年間の蓄積を経て、機械読解技術をシアオミのさまざまなビジネスシーンに実装し、キャンペーンルール、規制、製品百科事典、マニュアルなどのさまざまなコンテンツ形式をカバーしてきた。転移学習、マルチタスク学習、大規模事前学習の力を借りてモデルの効果をさらに向上させ、対話シーンと組み合わせて多言語、マルチラウンド、マルチモーダルの質問応答でもある程度の成果を上げている。現在、機械読解は完全なソリューションセットを形成し、シアオマーチャントや外部顧客の記事分解と知識割り当てのコストを削減し、ユーザーの情報獲得コストを下げており、シアオミの不可欠な能力となっている。今後はビジネスをさらに深化させ、ビジネス能力をニューリテール、エコノミー、クラウドエコシステムに輸出してアプリケーション規模を拡大し続け、軽量な運用と反復サポートを構築するとともに、商業アプリケーションとの深い統合を進めていく。

技術面では、機械読解は wiki のような客観的知識の質問応答を解決する面で比較的良い成果を上げているが、複雑な問題に対してはまだ比較的初期段階にある。マルチモーダルシーンでは、図形や表などの構造化情報をどのように理解するかがまだ発展段階にある。学界の思路と産業界の実際のシーンを組み合わせることで、計り知れない価値が生まれる。この分野の研究に継続的に投資し、実際のビジネスに応用して、アルゴリズム、モデル、データを蓄積していく。将来的には、より多くの実際のドメインシーンで、ユーザーが機械読解技術によってもたらされるより便利なインテリジェントサービスを体験できるようになるだろう。機械読解の「理解と思考」という究極の目標に対しては、まだ長征の始まりに過ぎない。自然言語のより深い帰納、要約、推論は、将来の機械読解の不可欠な要素となるはずである。