横浜国立大学理工学部建築都市環境系学科卒
一級鉄筋技能士
システム運用とは、サーバーやネットワークがトラブルで停止しないようにシステムを管理する仕事です。
通常のシステムの場合、一度構築したシステムは変更しない限り正常に作動します。
しかし、AIの運用では入力するデータが日々変化し、その変化するデータを基に学習を行いますので、指標を設けてAIの精度を評価する必要があります。
この記事では、データドリフトとメトリック管理について詳しく解説します。
目次
AIの運用とは？
まずはAIの運用方法について基本を確認していきます。
データ収集→前処理→モデリング→学習→デプロイ(実装)→モニタリング(運用)
AIシステムの運用手順は、データ収集→前処理→モデリング→学習→デプロイ(実装)→モニタリング(運用)になります。
この手順のうち、特に重要なのはデータ収集の部分です。
鉄筋カウントの例でいえば、撮像対象が鉄筋の断面だけであることが理想的ですが、実際に現場に導入する際はどうしても鉄筋の断面以外のものがカメラの中に映り込んでしまいます。
例えば、屋根の無い工場の場合は空がカメラに映り込みます。
晴れている日に撮像した写真と曇りの日に撮像した写真では鉄筋の断面の明るさが異なります。
また、工場であれば鉄筋以外の資材も背景に映り込んでしまう事もあるでしょう。
通常のシステムであれば、システムが正常に処理できるデータを入力し、システムが処理できないデータは処理前のエラーとして表示されます。
しかし、AIシステムのように、特に物体検知AIのように画像をデータとして取り扱う場合は、撮像内容が変化したり、取り扱うカメラの精度によっても変化した画像も学習対象のデータとして収集します。
収集するデータが変化するとAIの精度が低下する
収集するデータが変化すればAIの学習内容も変化するので精度が低下する可能性があります。
通常のシステムとAIシステムの大きな違いは、入力するデータが変化すればシステムが動かなくなることです。
AIシステムは通常のシステムと異なる
収集するデータそのものが変化してもAIシステムは学習する
データが変化するとAIの精度が低下して機能しなくなる
データドリフト
AIシステムでは収集するデータが変化するとAIの精度が低下することがわかりました。
次に、データが変化することについて詳細に見ていきましょう。
物体検知の場合、カメラの劣化による画質の変化や撮像環境の変化によってデータが変化する
同じようにカメラを設置していても映り込むものが変化したり、作業者が位置をずらしてしまったり、光の加減で明るさが異なったりします。
撮像対象の背景を統一するにはそれなりに機材が必要でコストもかかりますが、我々中小企業は開発費用を低コストに抑えなければなりません。
その為、99.99%の精度を持つAIを開発目標とするのではなく、80%程度の精度のAIを開発し、AI以外の様々な作業ルールを工夫して運用していくことが必須になります。
データが変化する要因はたくさんある
撮像する人、撮像背景、撮影機器などきめ細かにルールを決めなければ高精度を維持することはできない
中小企業の場合は低コストでいかにAIを運用するかがポイント
メトリック管理
では具体的にAIをどのように管理すれば良いのでしょうか？
AIを管理するにはAIの精度を更新するか否かの判断指標を設定することが必要になります。
この判断指標はメトリクスやメトリックと呼ばれています。
詳しく見ていきましょう。
メトリックは指標、KPIは重要指標
数あるメトリック(指標)のうち、重要指標であると認識されるものをKPI（Key Performance Indicator）ということがあります。
単なる言い方の違いですので、特に気にする必要はありません。
物体検知AIではmAPを管理・運用しよう！
メトリックは経過日数に比例して低下していく為、閾値以下になったら更新するようにします。
物体検知AIの例でいえば、mAPは数あるメトリックのうちの1つであり、KPIとなる重要な指標になります。