概要
学生の英語プレゼンテーションをAIで評価するシステムを開発しました。Azure MLベースの推論システムを設計・デプロイ・運用し、月間約3万人の学生のプレゼンテーション評価に活用されました。
アーキテクチャ
プレゼン態度評価デモ
MediaPipeのランドマークを入力として、発表者の視線・姿勢・動きを分析し、プレゼンテーション態度を評価します。
視線方向追跡
ハンドジェスチャー認識
主要成果
- [MLOps] Azure ML EndpointとBlob Storageベースの推論パイプラインを設計・デプロイ・運用し、月間約3万人の学生の評価に活用
- [LLM Agent] 海外向け評価の検討において、学生・評価者エージェントで学年と習熟度に応じた合成英作文を生成・評価
- [Audio] 非ネイティブ児童の音声でNVIDIA Parakeet STTをファインチューニングし、WERを9.6%から4.4%に削減
- [Vision] MediaPipeベースの視線・姿勢評価モデルが検証データで精度98.32%、F1 98.77%を記録し、CPU推論に対応
- [Vision] 開発時のGPUコスト削減に量子化画像生成モデルを使用し、児童向けサービスにAWS画像安全性判定と初期の人手確認を導入
- [Search] BM25とベクトル検索を組み合わせ、同一品質基準の内部ログ評価でLLM呼び出しを最大約20%削減
技術スタック
- Cloud: Azure ML, Blob Storage, AWS Image Moderation
- Frameworks: PyTorch, HuggingFace, LangGraph
- Models: Quantized Diffusion, NVIDIA Parakeet, MediaPipe
- Serving: FastAPI, ONNX
- Search: Hybrid Search (BM25 + Vector)