肉質判定AIの精度を継続的にモニタリングするダッシュボードを開発
常に高品質のAIをエンドユーザーに届けられるように
当社、LeapWellはAIの受託開発を行っており、お客様の課題解決と業界理解に力を入れ、社会価値を生み出すプロジェクトを推進しています。今回、株式会社MIJ labo様と肉質判定AIの継続的なモニタリングをするプロジェクトに取り組みました。
自社サービスにAIを導入したものの精度を監視していない方や、AIの精度に不安がある方は是非本記事をご覧ください。
プロジェクト概要
自社サービスの「肉質判定AI」が本番環境で想定通りの精度が出ているか計測できておらず、モデルを安心して運用できない課題を抱えておりました。AIモデルははじめは精度が良かったが段々と精度が下がっていくことや、エンドユーザーによって精度の高低に差がある場合があるため、常に本番環境での精度をモニタリングすることは問題の早期発見に役立ちます。
弊社は「肉質判定AIの精度を継続的にモニタリングし、高品質のAIを常にお客様に使ってもらうこと」を目的とした1.5ヶ月間のプロジェクトを発足しました。
弊社が開発したダッシュボードにより本番環境での精度を定量的にモニタリングができるようになり、問題の早期発見や長期的な精度やエンドユーザーごとの精度の違いの理解が可能になりました。
図上: 精度の遷移図、図下: 精度が低い画像のリスト
成功理由（実際のプロセス）
お客様のデータベースからデータウェアハウスへデータを転送し、自動的に加工するパイプラインを構築することで、ダッシュボードに必要なデータを整備しました。
週に2回お客様と打ち合わせをさせていただき、ダッシュボードに出す情報をすり合わせながら進めました。
すり合わせながら進めることで、はじめに合意した要件を柔軟に調整しながら、お客様にとって意思決定がしやすいダッシュボードを開発することができました。
プロジェクトでは、以下のような難易度の高い課題に取り組みました。
- データウェアハウスの構築により、本番データベースへの負荷をかけないようにした
- ダッシュボードの構築により長期的なトレンドを確認できるようにした
- 精度が悪化した際にはSlackにて通知する
お客様の声
当社は伴走型の開発を理念とし、お客様の課題に真摯に取り組む姿勢を持ち続けています。今回のプロジェクトでも、畜産業界について十分に理解し、お客様と密接に連携して課題解決に取り組みました。その結果、お客様から以下のような反響をいただくことができました。
- ダッシュボードのアウトプットについて柔軟に調整してくれて助かった
- 最終的に弊社に頼らずに社内業務として回せるように仕組み化までできた
- 課題感を自ら提案し、解決策を相談した上で実装までしてくれた
今後の展望
引き続き弊社と株式会社MIJ labo様と連携を深め、畜産業界全体の課題解決を目指します。
LeapWellはお客様課題に全力で向き合い、課題解決に向けて伴奏していきます。今回のプロジェクトでは、株式会社MIJ labo様と共に肉質判定AIの継続的なモニタリングにより高品質のAIを常にエンドユーザーに届けることによって、お客様と業界の課題解決に貢献できました。これからも、お客様のニーズに合わせた技術開発を行い、業界課題の解決に取り組んで参ります。
