pytest

DeepEval: pytest 感覚で LLM を評価する OSS

2026年3月8日

DeepEval は Confident AI が開発する OSS の LLM 評価フレームワークです。pytest 互換の記法で G-Eval や RAG メトリクス、hallucination、bias、toxicity などを計測でき、CI/CD にそのまま組み込めます。本記事では開発元、最小動作例、ハマりポイント、Promptfoo との棲み分け、商用版 Confident AI との関係まで、Python エンジニア向けに整理します。