Promptfoo

Promptfoo で LLM を YAML で回帰テストする — AI eval の実装者視点

2026年3月5日

Promptfoo は LLM アプリケーションを YAML 一枚で回帰テストできる OSS の CLI ツールです。本稿では Promptfoo が何を解決するのか、最小動作例、llm-rubric や Red Team 機能、DeepEval や LangSmith との違い、よくあるハマりポイントを実装者向けにまとめます。2026 年に OpenAI 傘下に入ったあとの位置づけも整理しました。