evals

ホーム/タグ一覧/evals

2件の記事

AI eval ツール 10 選 — Promptfoo / Autoevals / Evalite / Langfuse / DeepEval / Ragas / Inspect AI / OpenAI Evals / lm-eval-harness / Phoenix を使い分ける

AI eval ツール 10 選 — Promptfoo / Autoevals / Evalite / Langfuse / DeepEval / Ragas / Inspect AI / OpenAI Evals / lm-eval-harness / Phoenix を使い分ける

2026年4月5日

AI eval ツールは 2025-2026 年に乱立したが、どれを選ぶべきか判断軸が整理されていない。本稿は代表 10 本 (Promptfoo / DeepEval / LangSmith / Phoenix / Braintrust / Inspect AI / OpenAI Evals / Weave / Ragas / Langfuse) を OSS/商用、CLI/SDK/UI、観測/評価の軸で分類し、プロジェクトの段階ごとに最初に手に取るべき 1 本を提案する。各ツールの詳細記事へのリンク付き。

tech-blogAI evaluationツール比較
AI エージェントの evals 入門 — unit test では測れない品質を数値で担保する

AI エージェントの evals 入門 — unit test では測れない品質を数値で担保する

2026年2月10日

AI エージェントの品質は unit test では担保できません。非決定な出力を評価する評価の 3 層構造、LLM による自動採点の使いどころと落とし穴、統計的妥当性に必要なサンプル数、本番モニタリングとの連携を具体例でまとめます。最小構成の実装例も載せました。

tech-blogevaluationevals