2024年 秋期 応用情報技術者試験 問11
チャットボット導入における開発計画の監査
W社は、中堅の家電メーカーである。顧客サービス部では、製品の特徴や使用方法に関する顧客からの問合せなどに回答するコールセンターを運用しており、Web上で顧客からの問合せに対し、定型文で自動的に回答するチャットボット（以下、現行CBという）で作業効率を向上させてきた。
問合せ内容をより的確に解釈するなど、回答の品質向上のために、顧客サービス部長がシステムオーナーとなり、現行CBのベンダーが提供する、ディープラーニングを利用していない機械学習方式のチャットボット（以下、新CBという）を導入するプロジェクトを立ち上げることになった。
企画プロセスの完了を受けて、W社監査部のシステム監査チームは、新CBの開発計画の適切性について監査を実施することになった。そのために実施した予備調査の結果、次のことを把握した。
【予備調査の結果】
(1) 現行CBの概要と課題
① W社では、季節性のある製品を多く取り扱えているので、顧客から寄せられる問合せ数は、季節性のある製品では季節によって偏りがある。
② 現行CBでは、顧客が入力した曖昧な言葉に対応できず、FAQに回答が存在するにもかかわらず、問合せを解釈できずに回答が表示されないことや、誤った回答を表示することがある。顧客が現行CBの回答では不十分と感じた場合には、顧客からの要望で、コールセンターのオペレーターが代わって問合せ対応を実施している。
③ 導入効果をモニタリングするために、顧客の入力テキスト、現行CBが表示した回答、現行CBの回答に対して"役立った"かどうかの結果などを、CB回答履歴として保存している。これらの情報を分析し、顧客から"役立った"という評価を得た割合（以下、回答満足率という）を効果測定の指標の一つにしている。
④ 新製品については、発売に合わせて新規にFAQを知識ベースに登録している。今回のプロジェクト期間中にも、発売が予定されている新製品が複数ある。
⑤ 現行CBを導入した際には、受入テストを顧客サービス部員が参加せずに開発担当者だけが実施したことから、新製品に関する問合せに対して適切に回答できないなど、本番移行後に混乱を招く問題点があった。
(2) プロジェクトの概要
これまで、企画プロセスにおいて新CB導入の目的の明確化、システム化計画の立案、及びPoC（Proof of Concept：概念実証）を実施しており、PoCの結果は品質向上の効果を見込めるものであった。現在、開発計画書案を顧客サービス部とシステム部が共同で作成したところである。関係する役員、及び財務部、顧客サービス部、システム部の各部長で構成するプロジェクト運営委員会で開発計画書案を承認する予定である。
今後の開発プロセスにおいて要件定義、追加の機械学習を含む設計、実装、テスト、受入テスト、及び本番移行を予定している。新CBの機能構成を図1に示す。
<div style="text-align: center; margin: 20px 0;">↓</div>
<div style="border: 1px solid black; padding: 15px; margin: 10px; display: inline-block;">
<div>学習機能</div>
</div>
<div style="text-align: center; margin: 20px 0;">↓</div>
<div style="border: 1px solid black; padding: 15px; margin: 10px; display: inline-block;">
<div>類義語DB</div>
</div>
<div style="text-align: center; margin: 20px 0;">↓</div>
<div style="border: 1px solid black; padding: 15px; margin: 10px; display: inline-block;">
<div>回答機能</div>
</div>
<div style="float: right; margin-top: -60px;">
<div style="border: 1px solid black; padding: 10px; margin: 5px;">知識ベース</div>
<div style="margin: 10px 0;">問合せ ●</div>
<div style="margin: 10px 0;">回答</div>
<div style="margin: 10px 0;">顧客</div>
</div>
</div>
(3) 新CBの機能概要と機械学習
① 回答機能には、現行CBよりも改良した知識ベースを備えており、新CBにおいても新製品の発売に合わせてFAQを知識ベースに登録する。新CBでは、類似する言葉を整理して、言葉の関連度合いを格納している用語データベース（以下、類義語DBという）が備わっている。回答機能では、顧客の入力テキストを自然言語処理し、類義語DBと突き合わせることで、顧客の曖昧な言葉遣いに対してある程度問合せ対応可能であり、回答満足率の向上が期待できる。
② 新CBの類義語DBは、ベンダーからの納入時には一般的な語句だけに対応している。W社製品に関する語句などを類義語DBに反映するには、二つの方法がある。一つ目は、手作業入力データを基に学習機能に備わる手作業入力機能によって、類義語DBを整備する方法である。二つ目は、現行CBのCB回答履歴から抽出した文章を自然言語処理によって品詞別に分解し、AIモデルによって機械学習することで類義語DBを整備する方法である。
PoCでは、機械学習によって類義語DBを整備する際のサーバ処理に想定以上の時間を要していた。
③ PoCにおける機械学習による類義語DBの整備では、現行CBのCB回答履歴から6か月分を学習用データ及びテスト用データとして、ランダムに抽出した。また、回答満足率を指標にして、効果の目標レベルを定め、新CBの有効性を判断している。
④ 新CBでは、設計において、追加の機械学習によって類義語DBの精度を高め、回答満足率を上げる想定である。設計後においても、本番運用向けの類義語DBの学習では、再学習を実施する。
【監査手続の作成】
予備調査の結果を踏まえて、システム監査チームが作成した監査手続（抜粋）を表1に示す。
| 項番 | 想定されるリスク | 監査手続 |
|---|---|---|
| 1 | 追加の機械学習後のテスト結果では効果があったにもかかわらず、本番運用において効果が認められない。 | 開発計画書案を閲覧し、追加の機械学習におけるa用データとテスト用データを別に準備していることを確認し、評価する計画になっているかどうか確認する。 |
| 2 | 類義語DBの整備が不十分であったことによって、新製品に関する質問に対して、新CBが適切に回答をしない。 | 開発計画書案を閲覧し、発売前の新製品に関して適切に回答するために、b機能による類義語DBの整備を実施する計画を策定しているかどうか確認する。 |
| 3 | 受入テスト結果では当初予定の導入効果が評価されたにもかかわらず、本番運用時の評価では効果が期待される。 | 開発計画書案を閲覧し、本番移行の可否判断で使用する適切な評価項目とその項目に設定した具体的な効果のcが定められているかどうか確認する。 |
| 4 | テストにおいて不具合を発見した際に原因箇所の特定に時間を要したり、同じ不具合が本番運用で発生したりする。 | 開発計画書案を閲覧し、次を実施する計画になっているかどうか確認する。 ・テストの手順が策定され、手順にのっとりテストを実施する。 ・テスト結果と不具合の対応状況を文書化して保管するとともに、プロジェクト関係者によるdを適切に実施する。 |
【監査部長の指示】
監査部長は、監査手続をレビューして、次のとおりシステム監査チームに指示した。
(1) 表1項番1について、設計における追加の機械学習では、類義語DBの整備がスケジュールどおり完了しないおそれがある。機械学習を実行するサーバに対する非機能要件の一つであるeが、PoCを実施した際の実績データから導いた要件になっているか確認すること。
(2) 表1項番2について、新製品だけでなく、現行のfに関する問合せへの回答について、学習用データが不十分で、適切に回答できないおそれがある。設計における追加の機械学習では、製品を網羅する観点から学習用データを準備する計画になっているか確認すること。
(3) 表1項番3について、新CBの有効性を確保するために、gに先立って、プロジェクト運営委員会が、当初予定の導入効果が得られる見込みを評価する計画になっているか確認すること。
(4) 追加する監査手続として、現行CB導入時における問題点を踏まえて、今後の開発プロセスにおいて顧客サービス部によるhが適切に実施される計画になっているか確認すること。