この知恵で考えられること
- どの程度まで間違ってよいかだけではない。 - どういう間違い方なら許容できるか。こちらの方が重要になる。
AIの評価をするとき、最初に精度指標を決めたくなる。
正解率、誤差率、MAE、再現率、±10%以内、みたいなやつ。
そのあたりの指標設計は大きく進みを悪くする可能性がある。
目指すべき状態
「正確なAI」ではなく、「許容できる間違い方をするAI」を考える
実運用するAIに、常に100%正しいことを要求するのは難しい。
人間も間違えるし、入力データ自体に揺れがあることも多い。
だから本当に決めたいのは、
- どの程度まで間違ってよいかだけではない。
- **どういう間違い方なら許容できるか。**こちらの方が重要になる。
つまりこれは単なる評価の話ではなく、AIにどんな失敗の仕方をさせるかという設計でもある。
たとえば。
LPガスの残量を予測するAI
最近扱った案件では、顧客宅に設置されたLPガスの残量を予測し、いつ配送すべきかを決めるシステムを評価していた。
- 仮に本当の残量が30%だったとする。
- AIが40%と予測した場合と、20%と予測した場合。
- どちらも誤差は10ポイントである。
- 数値だけを見れば同じ誤差だ。
- でも、業務上起きることは逆になる。
実際より多く残っていると予測した場合
- AIは「まだガスがある」と判断する。
- すると配送日は後ろにずれる。
- ずれが大きければ、ガス切れにつながる。
- 暖房や給湯、調理に使われるものなので、これはかなり避けたい失敗になる。
実際より少なく残っていると予測した場合
- AIは「もうガスが少ない」と判断する。
- すると本来より早く配送する。
- ガスは切れない。
- ただし、まだ残っているボンベを交換するので、配送効率は悪くなる。
- こちらも問題ではあるが、先ほどとは問題の種類が違う。
つまり、
同じ10%の誤差でも、一方は供給リスクで、もう一方は生産性の損失になる。
これを一つの「誤差」として扱うと、評価がおかしくなる。
.
.
.
考え方
その評価基準は業務上の品質を表せているか
たとえば評価基準を、
全件、実測値との誤差が±10%以内であること
とする。
一見かなり厳密に見える。
しかし、この基準には大きく2つ問題がある。
- 一つは、先ほどのように誤差の方向を区別していないこと。
- もう一つは、業務への影響の大きさを区別していないこと。
仮に
- 1000件中990件がほぼ正確だったとしても、残り10件でガス切れにつながる予測をしていたら、そのAIをそのまま使っていいかは別の話になる。
- 逆に、1000件中200件で少し早めの配送になっていたとしても、ガス切れは一件もなく、配送コストも許容範囲なら、実運用可能と判断する余地はある。
平均精度は、こうした違いを潰してしまう。
なので、AIの評価では、
どのくらい外れたか
だけでなく、
どちら側に外れたか
その外れによって何が起きたか
を見る必要がある。
.
.
.
対応の基本
「AIの精度」を「業務上の失敗」に翻訳する作業
やっていることは難しくない。
まず、AIの出力が間違ったときに起きることを列挙する。
次に、それぞれの失敗が業務に与える影響を分ける。
今回なら、
| AIの外れ方 | 起きること | 業務上の損失 |
|---|---|---|
| 残量を多く予測 | 配送が遅れる | ガス切れ・顧客影響 |
| 残量を少なく予測 | 配送が早まる | 配送効率の低下 |
となる。
ここまで来れば、評価基準も変わる。
「誤差±10%以内」ではなく、
- ガス切れにつながる危険側の外れは、極めて少なくする
- 早すぎる配送は、一定割合以下に抑える
- それ以外は、分布として観察する
というように、失敗の種類ごとに違う基準を置ける。
重要なのは、AIの評価指標をそのまま使うのではなく、一度、業務の言葉へ戻すことだと思う。
この構造は、予測AIに限らない。かなり多くのAIシステムで起きる。
在庫予測
- 需要を多く見積もると、在庫が余る。
- 需要を少なく見積もると、欠品する。
- どちらも予測誤差だが、在庫コストと販売機会の損失では意味が違う。
- 商品によっては、欠品の方がはるかに重いこともある。
問い合わせの自動判定
- 対応不要な問い合わせを「対応必要」と判定すると、人間の確認作業が増える。
- 逆に、本当に対応すべき問い合わせを「対応不要」と判定すると、顧客対応そのものを見逃す。
- 同じ誤分類でも、無駄作業と対応漏れでは性質が違う。
営業リードの判定
- 見込みの薄い顧客を営業対象にすると、営業工数を消費する。
- 見込みの高い顧客を対象外にすると、売上機会を失う。
- ここでも、余計に対応することと取りこぼすことでは、損失の形が違う。
審査・承認
- 本来通すべきものを止める。
- 本来止めるべきものを通す。
- 機械学習上はFalse Positive / False Negativeとして表現できるが、業務上重要なのは名前ではない。
- それぞれ何が起きるかである。
.
.
.
だから、評価設計は業務側から始める
AI開発側だけで評価基準を考えると、どうしてもモデルの出力から考えやすい。
予測値の誤差、正解率、再現率、F1。
それ自体は必要だけれど、実際に運用する側が見ているものとは少し違う。
だから最初に聞くとよいのは、
AIが間違えたとき、起きてはいけないことは何ですか？
この2つは、本当に同じ重さですか？
などを確認する。
ここまで整理した後で、ようやく評価指標を選ぶ。
順番が逆になると、測定はできても判断に使えない指標になりやすい。
.
.
.
AI評価の最初の仕事は、メトリクスを選ぶことではない
評価設計を始めるとき、精度指標の候補を並べるところから始めなくていい。
先に、これだけ書いてみる。
AIが実際より大きく判断したら、何が起きるか。
AIが実際より小さく判断したら、何が起きるか。
取りこぼしたら、何が起きるか。
余計に拾ったら、何が起きるか。
そして、それぞれについて、
その失敗による損失は同じか？
を考える。
同じでなければ、評価基準も同じにしない。
AIの精度を業務で評価するというのは、単に数字を測ることではない。