「練習問題」はどこまで自動で作れるか — 評価データ生成のツールと論文から、普通のエンジニアにできる範囲を見極める
2026年11月7日
プロンプトの自動改善も LLM の評価も、練習問題（評価用データ）がなければ始まりません。これを自動で作るツールは 2026 年にどこまで来たのか。promptfoo、DeepEval、Ragas、Giskard、NeMo Data Designer、Opik、LangSmith、IntellAgent、SWE-smith などの公式文書を確認し、入力の生成・文書からの問題作成・採点基準・会話の模擬・検証できる課題の 5 段階に分けて整理しました。生成した問題は本物より易しい、模擬ユーザーは楽観的、採点基準は出力を見ないと決まらない、といった論文の知見と、EC の問い合わせや法務チェックでの現実的な線引きもまとめています。
AI で評価用テストペアを生成する実装ガイド — 2026 年の具体的な作り方
2026年6月1日
LLM プロダクトを評価するためのテストペアを AI で生成する 7 つのレシピを、Python コード付きで紹介します。Self-Instruct 風のシード展開、Ragas で RAG 用の test triple、Evol-Instruct で難易度上げ、Promptfoo や PyRIT で red team、本番ログからの抽出、判定役の分離、人間との hybrid loop までを扱います。
AI で評価用テストペアを生成する手法サーベイ — 2026 年の論文・ツール総覧
2026年5月15日
LLM 評価のためのテストペアを AI 自身に作らせる手法が、2022 年の Self-Instruct 以来、急速に広がりました。本稿は Self-Instruct / Evol-Instruct / PAIR / Rainbow Teaming / AutoBencher / Constitutional AI / Ragas / PyRIT など、2026 年までに整理された主要論文とツールを 8 ファミリーに分類し、各手法の原理と限界 (generator ceiling、ベンチマーク汚染、hallucinated correctness など) を俯瞰します。