株式会社miibo、生成AIの嘘や間違いを検知する「AI分析機能(β)」を提供開始

株式会社miiboは8月21日、生成AIの嘘や間違いを効果的に検知する「AI分析機能」の有料ユーザー向け一般開放を発表した。

この機能は、生成AIの主要な課題である「ハルシネーション」や誤回答を素早く検知することにより、開発したAIの高速な改善を可能にする。

miiboの「AI分析機能」とは

miiboの「AI分析機能」とは、AIを活用したmiiboのRAGシステムを包括的に評価するための分析機能で、幅広いユースケースに対応可能。

今回のリリースでは、AIによる回答結果に対して「信頼度」「解決予測」の2種類の評価基準を設け、それらを「G-EVAL」と呼ばれるLLM-as-a-judgeのフレームワークに当てはめて評価することを可能にした機能の提供を開始する。

信頼度（4段階評価）
与えた前提データ(RAG)の内容と齟齬のある回答をしていないかを判定する。
この判定により、ハルシネーションのリスクがないか検知できる。
解決予測（5段階評価）
AIに話しかけたユーザーの抱える課題を本当に解決する回答ができているかを判定する。
ユーザー満足度の高いAIになっているかを確認できる。

本機能は、生成AIの誤回答を100％検知可能なものではない。
改善が必要な回答をいち早く検知し改善に繋げるための機能になる。

miiboの「AI分析機能」導入により、ユーザーは以下のメリットがある。

＜リンク＞