LLM 評価ツールを自分のサービスで使うには — EC の問い合わせ・法務チェック・社内規程 Q&A で考える
2026年11月6日
LLM 評価ツールの比較は多くありますが、自分のサービスにどう当てるかで選ぶと見え方が変わります。EC の問い合わせ対応、社内の法務チェック、社内規程の問い合わせという 3 つの例で、何を機械で判定でき、何に人の判断が要るか、正解データをどう作るか、どのツールから始めるかを整理しました。Promptfoo と Langfuse の 2026 年の買収の動きと、自作するならどこに価値があるかもまとめています。
tech-blogAI evaluationevals
AI eval ツール 10 選 — Promptfoo / Autoevals / Evalite / Langfuse / DeepEval / Ragas / Inspect AI / OpenAI Evals / lm-eval-harness / Phoenix を使い分ける
2026年4月5日
AI eval ツールは 2025-2026 年に乱立したが、どれを選ぶべきか判断軸が整理されていない。本稿は代表 10 本 (Promptfoo / DeepEval / LangSmith / Phoenix / Braintrust / Inspect AI / OpenAI Evals / Weave / Ragas / Langfuse) を OSS/商用、CLI/SDK/UI、観測/評価の軸で分類し、プロジェクトの段階ごとに最初に手に取るべき 1 本を提案する。各ツールの詳細記事へのリンク付き。
tech-blogAI evaluationツール比較
AI エージェントの evals 入門 — unit test では測れない品質を数値で担保する
2026年2月10日
AI エージェントの品質は unit test では担保できません。非決定な出力を評価する評価の 3 層構造、LLM による自動採点の使いどころと落とし穴、統計的妥当性に必要なサンプル数、本番モニタリングとの連携を具体例でまとめます。最小構成の実装例も載せました。
tech-blogevaluationevals