evaluation

AI エージェントの evals 入門 — unit test では測れない品質を数値で担保する

2026年2月10日

AI エージェントの品質は unit test では担保できません。非決定な出力を評価する評価の 3 層構造、LLM による自動採点の使いどころと落とし穴、統計的妥当性に必要なサンプル数、本番モニタリングとの連携を具体例でまとめます。最小構成の実装例も載せました。