実装ガイド

AI で評価用テストペアを生成する実装ガイド — 2026 年の具体的な作り方

2026年6月1日

LLM プロダクトを評価するためのテストペアを AI で生成する 7 つのレシピを、Python コード付きで紹介します。Self-Instruct 風のシード展開、Ragas で RAG 用の test triple、Evol-Instruct で難易度上げ、Promptfoo や PyRIT で red team、本番ログからの抽出、判定役の分離、人間との hybrid loop までを扱います。