Sentiment Analysis Technology: Let Intelligent Customer Service Understand Human Emotions Better

はじめに

人間とコンピュータの対話は、自然言語処理分野において常に重要な研究テーマの一つです。近年、人間とコンピュータのインタラクション技術の進歩に伴い、対話システムは実用的なアプリケーションへと徐々に移行しています。その中でも、インテリジェント顧客サービスシステムは多くの中堅企業や大企業から広く注目されています。インテリジェント顧客サービスシステムは、従来の顧客サービスモデルが大量の人的リソースを必要とする課題を解決することを目的としています。人的リソースを節約すると同時に、人的カスタマーサービスが特殊な問題や特別なユーザーに対してより質の高いサービスを提供できるようにし、「スマート顧客サービス + 人的カスタマーサービス」によるサービス効率とサービス品質の全体的な向上を実現します。近年、多くの中堅企業や大企業が独自のインテリジェント顧客サービスシステムを構築しており、富士通の FRAP、JD.com の JIMI、アリババの AliMe などが挙げられます。

インテリジェント顧客サービスシステムの構築には、業界データの背景に依拠し、大量の知識処理や自然言語理解などの関連技術に基づく必要があります。第一世代のインテリジェント顧客サービスシステムは、主にビジネスコンテンツを処理し、高頻度のビジネス問題に対応します。このプロセスでは、ビジネス専門家が正確に高頻度ビジネス問題の回答を整理する必要があります。主な技術ポイントは、ユーザーの問題と知識ポイントの間の精密なテキストマッチング能力にあります。新世代のインテリジェント顧客サービスシステムは、サービス範囲を汎ビジネスシナリオとして定義しています。コアとなる高頻度ビジネス問題の解決に加えて、インテリジェントなショッピングガイド機能、障害予測機能、インテリジェント音声チャット機能、ライフアシスタント機能、生活・エンターテインメントインタラクションなどの要件も同様に重視され、カバーされています。その中でも、感情能力は人間らしい能力の重要な体現として、インテリジェント顧客サービスシステムのさまざまなディメンションで実用的に適用されており、システムの人間らしい能力の向上に重要な役割を果たしています。

一：インテリジェント顧客サービスシステムにおける感情分析技術アーキテクチャ

図 1 は、代表的な人間とコンピュータを組み合わせたインテリジェント顧客サービスモードを示しています。ユーザーは対話を通じてロボットまたは人的カスタマーサービスからサービスを受けることができ、ロボットサービスを受けている間に、指示またはロボットによる自動認識によって人的カスタマーサービスへ切り替えることができます。上記の完全な顧客サービスモデルにおいて、感情分析技術は複数のディメンションの機能に実用的に適用されています。

二：ユーザー感情検出

1 ユーザー感情検出モデルの概要
ユーザー感情検出は、多くの感情関連アプリケーションの基礎であり核心です。本稿では、単語の意味特徴、複数のフレーズの意味特徴、および文レベルの意味特徴を統合した感情分類モデルを提案し、インテリジェント顧客サービスシステムのユーザー対話に含まれる「不安」「怒り」「感謝」などの感情を識別します。異なるレベルの意味特徴抽出技術については、関連研究で多く言及されています。私たちは異なるレベルの意味特徴を組み合わせることで、最終的な感情認識の効果を効果的に向上させます。図 2 は感情分類モデルのアーキテクチャ図を示しています。

2 文レベルの意味特徴抽出
Shen ら [3] は SWEM モデルを提案しました。このモデルは単語埋め込みベクトルにシンプルなプーリング戦略を適用して文レベルの意味特徴抽出を実現し、この特徴に基づいて訓練された分類モデルおよびテキストマッチングモデルは、従来の畳み込みニューラルネットワークモデルや循環ニューラルネットワークモデルの実験結果とほぼ同等の結果を達成できます。

私たちのモデルでは、SWEM モデルの特徴抽出能力を活用してユーザー質問の文レベル意味特徴を取得し、ユーザー質問の感情分類モデルで使用します。

3 複数フレーズの意味特徴抽出
従来の CNN モデルは、n-gram フレーズの意味特徴抽出に多くの場合使用されます。ここで n は畳み込みウィンドウサイズを表す変数です。本稿では、経験に基づいて n を 2、3、4 に設定し、各ウィンドウサイズに対して 16 個の畳み込みカーネルを設定して、元の単語埋め込みマトリックスから豊富な n-gram フレーズの意味情報を抽出します。

4 単語レベルの意味特徴抽出
LEAM モデル [1] を活用して単語レベルの意味特徴を抽出します。LEAM モデルは単語とカテゴリラベルを同じ次元の意味空間に同時に埋め込み、この表現に基づいてテキスト分類タスクを実装します。LEAM はカテゴリラベルの表現を利用して単語とラベルの間の意味的相互作用を高め、単語レベルの意味情報のより深い考慮を実現します。図 3(2) にカテゴリラベルと単語の間の意味的相互作用の図を示し、LEAM モデルと従来のモデルの比較を示します。

最後に、異なるレベルの意味特徴を統合した後、モデル全体の最終層に入力し、ロジスティック回帰モデルによって最終的な分類訓練を行います。

表 1 は、私たちが提案する統合モデルと単一レベル特徴のみを考慮した 3 つの比較モデルのオンライン実評価効果の比較結果を示しています。

三：ユーザー感情慰撫

1 ユーザー感情慰撫の全体フレームワークの概要
本稿で提案するユーザー感情慰撫フレームワークは、オフライン部分とオンライン部分で構成されており、図 4 に示します。

オフライン部分

まず、ユーザーの感情を識別する必要があります。ここでは、慰撫が必要な 7 つの一般的な感情を選択して識別します。それは恐怖、侮辱、失望、委屈、不安、怒り、感謝です。

次に、ユーザー質問に含まれるトピックを識別します。ここでは、専門のビジネス専門家が「サービス品質への苦情」や「物流が遅すぎる」といったユーザーが表現する 35 の一般的なトピックをまとめました。トピック認識モデルには、感情認識と同じ分類モデル設計を使用します。

知識構築は、ユーザーの表現内容がより具体的な場面を対象として、頻繁に発生し慰撫が必要なユーザーの問題を整理します。これらの具体的なユーザー質問を上記のトピック次元に統合して一括処理しない理由は、トピック次元の処理が比較的粗いためです。これらの高頻度でより焦点が絞られた問題に対して、より的を絞った慰撫と回答で対応し、より良い応答性能を達成したいと考えています。

感情次元、「感情 + テーマ」次元、および高頻度ユーザー質問次元について、ビジネス専門家が異なる粒度の慰撫応答手法を整理しました。特に、高頻度ユーザー質問次元では、各「質問 - 回答」のペアを一つの知識と呼びます。

オンライン部分

知識ベースの慰撫は、具体的な感情表現内容を持つユーザーを慰撫することを目的としています。ここではテキストマッチングモデルを使用して、ユーザー質問と整理した知識内の質問のマッチ度を評価します。整理した知識の中に現在のユーザー入力質問と非常に類似した意味の質問がある場合、対応する回答を直接ユーザーに返します。

感情とトピックに基づく感情応答は、ユーザーの表現内容に含まれる感情情報とトピック情報の両方を考慮して、適切な感情応答をユーザーに与えることを指します。知識ベースの慰撫と比較して、この方法の回答はより汎化されたものになります。
感情カテゴリに基づく感情応答は、ユーザーの表現内容の感情要因のみを考慮してユーザーに応答します。この応答方法は上記 2 つの応答方法の補完およびカバレッジであり、回答内容はより汎用的になります。

表 2 は、慰撫が必要な感情の分類モデルの効果比較を示しており、各感情カテゴリの個別効果と最終的な全体効果を含んでいます。表 3 はトピックの分類モデルの性能比較を示しています。表 4 は、いくつかの負の感情に対して感情慰撫を追加した後のユーザー満足度向上効果を示しています。表 5 は、感謝の感情に対して感情慰撫を追加した後のユーザー満足度向上効果を示しています。

四：感情生成チャット

1 感情生成チャットモデル
図 6 は、インテリジェント顧客サービスシステムにおける感情生成チャットのモデル図を示しています。図中、ソース RNN はエンコーダーとして機能し、ソース系列 s を中間意味ベクトル C にマッピングします。一方、ターゲット RNN はデコーダーとして機能し、C を意味に基づいて、設定した感情表現 E およびトピック表現 T に従ってデコードし、ターゲット系列 y を取得します。ここでの s と y は、図中の単語系列から構成される「今日は気分が良い」と「とても嬉しい。」という 2 つの文に対応します。

通常、デコーダーがエンコーダーからの情報を保持できるように、エンコーダーの最終状態を初期状態としてデコーダーに渡します。同時に、エンコーダーとデコーダーは異なる RNN ネットワークを使用して、質問と応答の異なる表現パターンを捉えることがよくあります。具体的な計算式は以下の通りです。

Seq2Seq ベースの対話生成モデルは良好な結果を達成していますが、実用的なアプリケーションでは安全だが意味のない応答を生成しやすい傾向があります。その理由は、このモデルのデコーダーがエンコーダーの最後の状態出力 C のみを受け取るためです。このメカニズムは長期依存関係の処理に効果的ではなく、新しい単語が継続的に生成されるにつれて、デコーダーの状態記憶がソース系列情報を徐々に弱め、さらには失うためです。この問題を緩和する効果的な方法は、アテンションメカニズム [2] を導入することです。

アテンションメカニズムを導入した Seq2Seq フレームワークでは、最終デコーダーの出力層が以下の入力に基づいて単語の確率を予測します。

訓練プロセスの目的関数と予測プロセスの探索戦略は従来の RNN と一致しているため、ここでは繰り返しません。

2 感情生成チャットモデルの結果
モデルの訓練完了後、実際のユーザー質問でテストを行い、ビジネス専門家が結果を検証しました。最終的な回答の合格率は約 72% です。また、応答テキストの平均長は 8.8 文字で、言語チャットシーンにおける応答長の要件に非常に適合しています。表 6 は、本稿の AET (Attention-based emotional & topical Seq2Seq model) モデルと従来の Seq2Seq モデルの効果比較を示しています。比較は主に内容の合格率と応答長の 2 つの側面に焦点を当てています。感情情報を追加することで、回答内容は従来の Seq2Seq モデルよりも豊かになり、ユーザー調査分析に基づく最適なロボットチャット応答長「5〜20 文字」に該当する内容の割合も大幅に増加し、最終的に全体的な応答合格率が大幅に向上しました。

図 7 は、Ali 感情生成チャットモデルの Space での応用例を示しています。図中の 2 つの回答は感情生成モデルによって生成されたもので、ユーザーがロボットを「馬鹿すぎる」と罵倒する入力に対して、私たちのモデルは対応する適切なトピックと感情の設定に基づいて異なる回答を生成でき、回答の多様性を高めています。図中の 2 つの回答は「委屈」と「抱歉」という 2 つの感情から生成されています。

五：顧客サービス品質検査

1 顧客サービス品質問題の定義
本稿で述べる顧客サービス品質検査は、人的カスタマーサービスと顧客の対話中に発生しうる問題のあるサービス内容を検出し、カスタマーサービス人員のサービスプロセスに存在する問題をよりよく発見し、カスタマーサービス人員の改善を支援して顧客サービス品質を向上させ、最終的に顧客満足度を高めることを目的としています。作成者の知る限り、顧客サービスシステムにおける顧客サービス品質検査のための人工知能関連アルゴリズムモデルの公開実装は存在しません。

人間と機械の対話とは異なり、人的カスタマーサービスと顧客の対話は一問一答形式ではなく、顧客とカスタマーサービスがそれぞれ複数の文を連続して入力できます。私たちの目標は、各カスタマーサービスの発言に「ネガティブ」または「態度が悪い」という 2 種類のサービス品質問題が含まれているかを検出することです。

2 顧客サービス品質検査モデル
顧客サービスの発言のサービス品質を検出するには、ユーザーの質問とカスタマーサービスの発言を含むコンテキストを考慮する必要があります。考慮する特徴には、テキストの長さ、発言者の役割、およびテキストの内容が含まれます。特にテキスト内容については、SWEM モデルを使用して検査対象の現在のカスタマーサービス発言の特徴を抽出するだけでなく、コンテキストの各ターンの発言に対して感情検出を行い、ユーザー感情カテゴリとカスタマーサービス感情カテゴリをモデル特徴として見つけます。ここで使用する感情認識モデルは第 2 章で説明したものと同じため、ここでは繰り返しません。さらに、コンテキスト内容に基づいてテキストシーケンスの意味特徴を抽出するために、2 つの構造（図 8 のモデル 1 と図 9 のモデル 2）を検討します。

モデル 1 は、現在のカスタマーサービス発言とそのコンテキストを GRU または LSTM でエンコードした後、エンコード結果について、順方向と逆方向の GRU または LSTM を使用してそれぞれ検査対象の現在のカスタマーサービス発言の上文と下文のエンコード結果を再度シリアル化エンコードします。このようにして得られる 2 つのシリアル化エンコード結果はどちらも現在の発言で終わるため、現在の発言の意味情報をよりよく反映できます。モデル構造を図 8 に示します。

また、モデル 2 は現在のカスタマーサービス発言とそのコンテキストのエンコード結果を取得し、前後の順序で全体的な順方向 GRU または LSTM エンコードを行って最終的な意味特徴とします。モデル構造の一部を図 9 に示します。モデル 2 と比較して、モデル 1 は検査対象の現在の発言の意味情報を強調するのに対し、モデル 2 はコンテキスト全体のシリアル化意味情報をより反映します。

3 顧客サービス品質検査の実験結果

2 つのコンテキスト意味情報抽出モデルの効果を比較します。比較結果を表 7 に示します。結果はモデル 1 の効果がモデル 2 より優れていることを示しており、検査対象の現在の発言の意味情報により大きな重みを与える必要があることがわかります。コンテキストの意味情報は補助的な認識役割を果たせます。さらに、上記の GRU と LSTM の方法は実際のモデル訓練プロセスで大きな差はありませんが、GRU の方が LSTM より高速なため、すべてのモデル実験で GRU を使用しています。

また、モデルレベルの指標分析とは異なり、モデルの実際のシステムレベルでの指標についても対応する分析を行いました。品質検査効率と再現率の 2 つのディメンションを含みます。これらの 2 つの指標は、モデルの結果と以前の純粋な人手による品質検査の結果を比較することで得られます。表 8 に示すように、品質検査効率と品質検査の再現率の両方が大幅に向上しています。人手の品質検査の再現率が比較的低い理由は、すべての顧客サービス記録を手動で検査することが不可能なためです。

六：セッション満足度推定

1 セッション満足度
現在、インテリジェント顧客サービスシステムのパフォーマンス評価指標の中で最も重要な指標の一つがユーザーのセッション満足度です。作成者の知る限り、インテリジェント顧客サービスシステムにおけるユーザーのセッション満足度の自動推定に関する研究成果は存在しません。

インテリジェント顧客サービスシステムのセッション満足度推定シナリオに対して、セッション満足度分析モデルを提案します。このモデルは現在のユーザー満足度をインテリジェント顧客サービスに対してよりよく反映できます。異なるユーザー間で評価基準に差があるため、大量の会話内容、会話の回答ソース、会話の感情情報が完全に同じであっても、感情的カテゴリが一致しない状況が生じる可能性があります。そこで、2 つのモデル訓練方法を採用しました。一つは感情カテゴリ（満足、普通、不満）の分類モデルを訓練する方法で、もう一つは会話感情分布の回帰モデルを訓練する方法です。2 つの方法の効果を比較しました。

2. 会話満足度の特徴選択
会話満足度モデルは多次元の情報を考慮します。意味情報（ユーザーの発言）、感情情報（感情検出モデルから取得）、および回答ソース情報（現在の発言に返答する回答のソース）です。

意味情報は、ユーザーとインテリジェント顧客サービス間のコミュニケーション中に表現された内容情報です。ユーザーの言葉から現在の満足度をよりよく反映できます。モデルで使用する意味情報は会話内の複数ターンの発言情報を指します。モデル処理プロセスで毎回同じターンの発言を処理できるように、実験では会話の最後の 4 文のみを使用します。この方法を選んだ理由は、セッションデータ分析を通じて、セッション終了時のユーザーの意味情報が全体的なセッション満足度とより関連性が高いことがわかったためです。たとえば、セッション終了時に感謝を表現するフレーズはユーザーが全体的に満足していることを示し、批判を表現するフレーズはサービスへの不満を示す可能性が高いです。

感情情報は一般的にユーザー満足度に大きな参考役割を果たします。ユーザーが怒りや侮辱などの極端な感情を経験した場合、不満をフィードバックする確率は極めて高くなります。ここでの感情情報は意味情報の言葉と 1 対 1 で対応しており、選択されたターンの言葉に対して感情認識を実行して対応する感情カテゴリ情報を取得します。

回答ソース情報は、ユーザーがどのような問題に遭遇しているかをよく反映できます。異なる回答ソースは異なるビジネスシナリオを表すため、異なるシナリオでの問題によるユーザー満足度の違いはかなり顕著です。たとえば、苦情や権利保護は相談よりもユーザーの不満を引き起こしやすいです。

3 セッション満足度モデル
本稿では、意味情報特徴、感情情報特徴、および回答ソース情報特徴を組み合わせた会話満足度予測モデルを提案します。このモデルは会話内の意味情報を十分に考慮し、データ圧縮を使用して感情情報と回答ソース情報を十分に表現します。モデル構造を図 10 に示します。

意味特徴抽出：意味情報抽出方法は階層型 GRU/LSTM を使用します。第 1 層で各文の文表現を取得し（図 10 の第 1 層 GRU/LSTM 部分）、第 2 層で第 1 層の文表現の結果に基づいて複数ターンのユーザー発言の高次表現を取得します。


（図 10 の第 2 層 GRU/LSTM 部分）ここで、ユーザー発言のシーケンス情報が十分に活用されます。さらに、最後の文の SWEM 文特徴も取得して、最後の文の意味特徴の影響を強化します。

感情特徴抽出：取得した感情特徴は one-hot 型であり、one-hot には明らかな欠点（データが疎で、感情間の直接的な関係を表現できない）があるため、感情埋め込みを学習して感情特徴をよりよく表現します。

回答ソース特徴抽出：初期の回答ソース特徴も one-hot 特徴ですが、50 以上の回答ソースがあるためデータが非常に疎であり、特徴圧縮が必要です。ここでは埋め込み学習方法を使用して回答ソース特徴を表現します。

モデル予測層：満足度カテゴリ予測と満足度分布予測をそれぞれ試みました。前者は分類モデルに属し、後者は回帰モデルに属します。

4 会話満足度予測の実験結果

実験結果を図 11 に示します。実験結果から、分類モデルの満足度予測効果は悪く、平均は実際のユーザーフィードバックよりも 4 パーセントポイント以上高い結果となっています。表 9 に示すように、回帰モデルの平均値と実際のユーザーフィードバック結果の差はわずか 0.007 で、分散は 3 分の 1 に減少しており、回帰モデルの有効性が証明されています。

七 まとめ

本稿では、現在のインテリジェント顧客サービスシステムにおける感情分析能力の実用的な応用シナリオと、対応するモデルの紹介および効果の提示をまとめました。感情分析能力は既にインテリジェント顧客サービスシステムの人間と機械の対話プロセスの各方面に浸透していますが、まだ良い試みの始まりに過ぎず、インテリジェント顧客サービスシステムの人間らしい能力を構築するプロセスでさらに大きな役割を果たす必要があります。

自然言語知能の最先端技術と応用にはどのようなものがあるのか。自然言語技術を産業やシナリオと密接に組み合わせて、より大きな価値を生み出すにはどうすればよいか。DAMO Academy の言語技術ラボの責任者であり、ACM の優秀な科学者であり、アリババのシニアリサーチャーである Si Luo が、自然言語研究開発の現状と動向、および DAMO Academy が自然言語知能で行った探求と成果を紹介します。