論文には出てこないAI導入論

はじめに

日々進歩しているAI
AI関連の論文では様々な指標の数値によって既存処理との比較を行われることが多いです。
しかし、その指標では実際の現場では太刀打ちできない場合が多くあります。

たとえAIのAccuracyが99.9%だったとしても 現場では誤検知が出まくることだってあります。
見つけたいものの実際の出現率が低い場合は特に注意が必要です。

医療などの業種によっては未検知を0にしなければならない場合もありますし、 誤検知を限りなく0にしなければならない場合もあります。

事例

最近あった事件として、小田急線で刃物を振り回して斬りつけた事件がありました。
カメラが車内にあったとして、これを早期に検知するための刃物検知を開発しようとします。

犯行は成城学園前駅 - 祖師ヶ谷大蔵駅間とのことなので、
刃物を所持していた時間は約1分とします。NAVITIME.
また、カメラは10FPSで刃物検知の処理も10FPSとします。

1年間運用しているとして、犯行時間の割合＝刃物が映った割合は
60秒 x 10FPS / 365日 x 24時間 x 60分 x 60秒 x 10FPS
= 600 / 315360000
= 0.000001902587519 ≒ 0.00019%
ということになります。

未検知はあってはならないので、
この刃物検知の未検知率は0%でなければなりません。
そのため、誤検知をいかに減らせるかが大事になります。

誤検知: 0.1%の場合

あなたは未検知0%、誤検知 0.1%というAIを聞いてどのように感じるでしょうか？
かなり精度高いように思いませんか？
この場合のAccuracyは99.9%と驚くほど高い数値です。
この数値は画像認識系において、このようなAIモデルは存在しないレベルです。
では精度高いので導入して運用してみましょう！
するとどうなるか、
1年間で合計約526分間誤検知することになります。 こう聞くと微妙な感じですね。。。
今回1年間運用想定で、1年間の運用中に必ず刃物が映る想定なので実際はもっと誤検知が多くなるでしょう。

最後に

今回は実現場にAIを導入する際の難しさについて紹介しました。
AIを導入、開発する前に見つけたいものの出現確率がどれほどのものかを理解しておくことで、 運用開始後に想定より誤検知が多いと言った齟齬がなくなるかと思います。
これからAIを導入しようと考えている方、AIを導入したんだけど思っていた精度にならなかった方、 AIを導入する側の方それぞれに参考になれば幸いです。