株式会社miiboは8月21日、生成AIの嘘や間違いを効果的に検知する「AI分析機能」の有料ユーザー向け一般開放を発表した。
この機能は、生成AIの主要な課題である「ハルシネーション」や誤回答を素早く検知することにより、開発したAIの高速な改善を可能にする。
miiboの「AI分析機能」とは
miiboの「AI分析機能」とは、AIを活用したmiiboのRAGシステムを包括的に評価するための分析機能で、幅広いユースケースに対応可能。
今回のリリースでは、AIによる回答結果に対して「信頼度」「解決予測」の2種類の評価基準を設け、それらを「G-EVAL」と呼ばれるLLM-as-a-judgeのフレームワークに当てはめて評価することを可能にした機能の提供を開始する。
- 信頼度（4段階評価）
与えた前提データ(RAG)の内容と齟齬のある回答をしていないかを判定する。
この判定により、ハルシネーションのリスクがないか検知できる。 - 解決予測（5段階評価）
AIに話しかけたユーザーの抱える課題を本当に解決する回答ができているかを判定する。
ユーザー満足度の高いAIになっているかを確認できる。
本機能は、生成AIの誤回答を100％検知可能なものではない。
改善が必要な回答をいち早く検知し改善に繋げるための機能になる。
miiboの「AI分析機能」のメリット
miiboの「AI分析機能」導入により、ユーザーは以下のメリットがある。
- 品質向上とリスク低減
・AIの応答精度の向上のための改善がスピーディに
・誤情報提供によるリスク削減 - 大幅なコスト削減
・誤回答チェックの時間を大幅に削減
・人的リソースの効率的な再配置が可能に - 顧客満足度の向上
・解決予測度の高い応答を増やすことで開発したAIの満足度を向上 - ビジネスの拡大と新規機会の創出
・AIの信頼性向上により、新規事業領域への安心した展開が可能に - PoC → 本運用への意思決定の基準が明確になる
・開発したAIの本運用へコンバートする際の基準として活用
＜リンク＞
