AI で評価用テストペアを生成する手法サーベイ — 2026 年の論文・ツール総覧

LLM 評価の最大の障壁は、質の高いテストペアを集めることです。人手でラベル付けすれば時間と費用がかかり、既存ベンチマークは汚染リスクを抱え、ドメイン固有の課題には流用しづらい。この困難を回避する手段として、2022 年ごろから「AI 自身にテストペアを生成させる」研究が加速してきました。

本稿では、2026 年までに体系化された主要な論文とツールを 8 ファミリーに整理し、各ファミリーの代表作、原理、限界をまとめます。実装の具体的な作り方は実装ガイド記事に譲り、ここでは理論的な地図づくりに注力します。

タクソノミー: 8 つのファミリー

AI 由来のテストペア生成手法は、目的と技術的な骨格によって大きく 8 系統に分けられます。

以降、それぞれのファミリーで代表論文を 1 本から 3 本挙げ、arXiv ID と要点を示します。

ファミリー 1: シード展開

少量の人手シード (数百件) から、LLM が同じ分布をもつ数万件の指示文を増殖させる系統です。合成データブームの出発点に位置します。

Self-Instruct (Wang et al., 2022) arXiv:2212.10560 は、175 件のタスクシードを基に GPT-3 自身へ指示文と入出力の例を生成させる手法です。重複と不正例を除いて教師ありデータを作ります。この合成データでファインチューニングすると、元モデルの Super-NaturalInstructions スコアが 33 ポイント改善し、InstructGPT-001 水準に迫ったと報告されています。

Stanford Alpaca はこの手法を OpenAI の text-davinci-003 に適用し、52,000 件のインストラクションを 500 ドル規模で生成しました。評価用テストペアの文脈では、「あるタスク定義から変種を増やす」土台技術として今も使われています。

限界: 生成元モデルの能力を超える問題は生まれません。これが後に generator ceiling 問題 として広く議論されることになります。

ファミリー 2: 難易度エスカレーション

既存の指示文を LLM に書き換えさせて、徐々に難しくしていく系統です。シード展開が「水平方向の増殖」なら、こちらは「垂直方向の深化」と言えます。

WizardLM / Evol-Instruct (Xu et al., 2023) arXiv:2304.12244 は、既存指示に対して 2 種類の進化操作を適用します。In-Depth evolution は制約を追加して難しくし、In-Breadth evolution はまったく新しい話題へ拡張する。これを反復することで、GPT-4 判定で ChatGPT を上回る応答を生成する WizardLM が得られました。

評価の文脈では、同じ論題を 3 段階、5 段階と難易度を上げてテストペア化すれば、モデルの限界点を細かく測れます。難問が解けないのか、やさしい問題でも解けないのか、を切り分ける用途に向きます。

限界: 進化操作の判定も LLM が行うため、「難しく見えるが実は簡単な問題」が混入します。難易度の客観測定はいまだ未解決です。

ファミリー 3: Red team 生成

安全性やポリシー違反を引き出す、敵対的入力を自動生成する系統です。防御側の網羅性を確保する手段として、2022 年以降の中心テーマになっています。

Red Teaming Language Models with Language Models (Perez et al., 2022, arXiv:2202.03286) は、この分野の体系化の起点です。攻撃側 LM が標的 LM 向けの敵対プロンプトを作り、分類器が有害性を判定します。280B パラメータのチャットボットから数万件の攻撃的応答を発見したと報告されています。

PAIR: Prompt Automatic Iterative Refinement (Chao et al., 2023, arXiv:2310.08419) は、黒箱 jailbreak の代表例です。攻撃者 LM・標的 LM・判定 LM の 3 者ループで 20 回以内の問い合わせで突破します。社会工学的な説得パターンを LLM に自動発見させる発想になっています。

TAP: Tree of Attacks with Pruning (Mehrotra et al., 2023) arXiv:2312.02119 は PAIR の拡張です。攻撃候補を木構造で広げつつ、見込みの薄い枝を枝刈りします。GPT-4 Turbo に対して 80% を超える攻撃成功率を達成しました。NeurIPS 2024 採択。

Rainbow Teaming (Samvelyan et al., 2024, arXiv:2402.16822) は、攻撃プロンプト生成を Quality-Diversity 最適化として定式化しました。効果と多様性を同時に探索します。Llama 2 と 3 で 90% を超える攻撃成功率を記録し、生成プロンプトは他モデルへの移植性も高いと報告されています。

AdvBench (Zou et al., 2023) は 500 件の有害行動と 500 件の有害文字列からなるベンチマークで、GCG などの最適化系攻撃と組み合わせて使われます。この分野では事実上の標準ベースラインです。

限界: 攻撃成功率は時間とともに下がります。防御側がこれらのデータで学習し直すと、同じプロンプトは通らなくなる。評価セットとしての寿命が短い。

ファミリー 4: RAG 向け合成データ生成

与えられた文書集合から、QA ペア、文脈、期待回答を自動生成する系統です。RAG システムの evaluation 用途で急成長しました。

Ragas TestsetGenerator は、文書群から知識グラフを構築し、ノードとエッジを使って single-hop と multi-hop の質問を合成します。質問は難易度ラベル付きで、Faithfulness や Context Precision 系メトリクスの入力として直接使えます。

DeepEval Synthesizer は、文書を読み込み、チャンク分割、類似コンテキスト集約、golden 生成、Evolution による複雑化という 5 段パイプラインで評価用 golden を作ります。Evolution ステップで Evol-Instruct 式の難化を取り込んでいる点が特徴です。

YourBench (Shashidhar et al., 2025) arXiv:2504.01833 は、PDF や HTML を入力にベンチマーク全体を YAML 一枚で生成します。MMLU の 7 サブセットを 15 ドル以下で複製し、ランキング相関を保ったと報告されています。カスタムドメインの評価セット作成を安価にする点が強みです。

限界: 生成元ドキュメントの範囲しか測れません。文書に書かれていない常識や推論ステップは漏れる。

ファミリー 5: ベンチマーク蒸留・採掘

対象モデル自身からテストセットを「掘り出す」系統です。既存ベンチマークを混ぜたり、モデルの誤りが集まる領域を宣言的に探したりします。

AutoBencher (Li et al., 2024) arXiv:2407.08351 は、ベンチマーク構築を宣言的な最適化問題として扱います。難易度やトピック相関を目的関数に設定し、LLM がデータセット記述を反復的に書き直す。GPT-4 を使って既存ベンチマークより 22% 多い誤り事例を含む評価セットを得たと報告しています。ICLR 2025 採択。

MixEval (Ni et al., 2024) arXiv:2406.06565 は、Web から掘り出した実利用クエリを既存ベンチマークの質問と類似度でマッチさせます。これにより ground-truth 付きの採点可能なクエリへ写像します。Chatbot Arena と 0.96 の相関を、MMLU の 6% のコストで実現すると報告されています。

限界: 生成元 LLM が苦手な領域しか見つけられません。モデルが自信を持って間違えている盲点は、同じモデルの判定では発見できない。

ファミリー 6: 人間と AI の協業

専門家が難問を設計し、AI は補助役として検証や多様化を担う系統です。生成器が能力上限を超えられない弱点を、人間側の知識で突破します。

GPQA (Rein et al., 2023) arXiv:2311.12022 は、博士号保持者や取得過程の専門家が作問した 448 問の多肢選択を集めました。専門家の正答率は 65%、Web 検索可の非専門家は 34% にとどまる、という「Google-proof」設計が特徴です。

FrontierMath (Glazer et al., 2024) arXiv:2411.04872 は、未公開かつ数時間を要する研究級の数学問題を集め、自動検証可能な形式で保存します。公開済みの GPT-4 系モデルで正答率 2% 未満。汚染耐性を最優先に設計された点が重要です。

Humanity’s Last Exam (Phan et al., 2025) arXiv:2501.14249 は、世界の専門家ネットワークから 2,500 問を集めた多モーダルベンチマークです。多肢選択と短答を混ぜて自動採点を可能にしています。MMLU で 90% を超えたモデルの実力差を見るための「最後の試験」として設計されました。

Dynabench (Kiela et al., 2021) arXiv:2104.14337 は、人間がモデルを騙そうとする過程をプラットフォーム化し、動的にベンチマークを更新していきます。「汚染されたら作り直す」サイクル自体を自動化した走りです。

限界: 専門家のコストが残ります。Humanity’s Last Exam でも 1,000 人超の協力者が必要でした。スケールが利きにくい。

ファミリー 7: 敵対的多モデル合意

複数モデルや複数プロンプトの合議でラベルを作る系統です。単一モデル判定のブレを打ち消す意図があります。

Constitutional AI (Bai et al., 2022) arXiv:2212.08073 は、ある「憲法」を参照してモデル自身に自己批判と改訂を行わせる手法です。憲法は 16 原則前後の自然言語ガイドラインです。好ましい応答のペアは AI が判定し、ここから preference model を学習します。人手の有害ラベルを使わずに harmlessness を獲得できたという結果が、RLAIF 流行の起点になりました。

MoA (Mixture-of-Agents) 系 のテスト生成では、複数モデルに同じ入力を与え、多数決や合議でテストラベルの信頼度を測ります。G-Eval も含めた LLM-as-judge 系と組み合わせることで、単一モデル判定の自己贔屓バイアスを緩和できます。

限界: 複数モデルを使っても、トレーニング起源が似ていると同じ盲点を共有します。独立性の確認が難しい。

ファミリー 8: 選好ペア生成

RLHF や DPO の学習用に、プロンプト 1 件に対して「好ましい応答」と「好ましくない応答」のペアを AI 自身に作らせる系統です。評価と学習の境界が曖昧ですが、評価用の preference set としても使われます。

RLAIF (Lee et al., 2023) arXiv:2309.00267 は、人手ラベルの代わりに off-the-shelf LLM に 2 候補の優劣を判定させて reward model を学習する手法です。要約と対話タスクで RLHF と同等の品質を出したと報告しました。direct-RLAIF では reward model すら省略し、強化学習中に LLM へ直接問い合わせます。

Self-Rewarding Language Models (Yuan et al., 2024) やその後続では、同じモデルが生成と評価を兼ね、自分で選好ペアを作って自己改善するループを回します。評価セットが固定的に不要になる反面、閉じたループの偏りは残ります。

限界: 判定モデルが「自分の生成物を好む」バイアスが観測されています。G-Eval 論文でも同種の指摘があり、評価用途に転用する場合は交差判定が必要です。

2026 年のツールランドスケープ

主要な実装は以下に収斂しました。

ツールの使い分けはAI eval ツール 10 選にも整理があります。

共通する既知の限界

各ファミリーの限界を章末で触れましたが、通底する課題として以下が挙げられます。

generator ceiling 問題: 生成器モデルの能力を超えるテストペアは原理的に作れません。GPT-4 で合成した評価セットは、GPT-4 が解ける範囲しか測れない。Humanity’s Last Exam が人手にこだわる理由はここです。

ベンチマーク汚染: 公開された AI 生成ベンチマークは、次世代モデルの学習データに混ざる可能性が常にあります。FrontierMath が未公開を貫く理由、Dynabench が動的更新を選んだ理由です。実装者としては、「公開しない保留セット」を手元に残すのが基本線です。

hallucinated correctness: AI が生成した「正解」が実は誤っている状態です。サーベイ論文の記事でも触れた通り、LLM-as-judge と組み合わせたときにこの誤差が増幅します。CheckList (Ribeiro et al., 2020) arXiv:2005.04118 の MFT / INV / DIR のように、「期待する不変量」を人が宣言するアプローチが依然として有用です。

mode collapse: 同じ生成器で大量生成すると、文体や構造が収斂していきます。多様性メトリクス (self-BLEU、埋め込みクラスタリング) で早期発見できますが、根本解決は Quality-Diversity 系 (Rainbow Teaming) に頼ることが多い。

verifier quality: 「生成はできても検証ができない」問題が常に残ります。数学系の FrontierMath は自動検証を設計に組み込みましたが、オープンドメインではこの保証が難しい。

2026 年現在、できていること・できていないこと

できていること:

• 文書集合からの QA ペア合成は、Ragas / DeepEval で実用レベル
• 安全性 red team の自動化は、PyRIT / Garak / Rainbow Teaming で商用水準
• RLHF 向け preference pair の AI 生成は、Constitutional AI 以後、標準実践
• 既存ベンチマークのスタイル再現は、YourBench / AutoBencher で安価に可能

できていないこと:

• フロンティア能力の自動発見は未解決 (生成器を超える問題は作れない)
• 完全な汚染耐性 (生成されたデータは最終的にどこかで流出する)
• 検証なしに信頼できる自動ラベル (hallucinated correctness)
• 定量的な「難易度」の客観測定

実装者は何から始めるか

おすすめの入口は、タスクによって次のように分かれます。

RAG を評価したいなら、Ragas TestsetGenerator が最短路です。ドキュメントが手元にあるなら、1 日で評価セットが立ち上がります。

安全性評価を広く掛けたいなら、Garak でサーベイ的にスキャンし、Promptfoo redteam や PyRIT で CI に組み込むのが実装負担が低い。

カスタムドメインのベンチマークがほしいなら、YourBench か distilabel で宣言的に組み立てる。再現性を重視するなら DataDreamer を併用します。

難問を発見したいなら、AutoBencher 的なアプローチが候補ですが、研究用コードの域を出ません。実務的には、専門家が作問 → AI で変種を増やす Family 6 と Family 2 の組み合わせが現実解です。

実装の具体的な手順は実装ガイド記事にまとめています。

関連記事

• AI エージェント評価サーベイ論文を読み解く
• AI で評価用テストペアを生成する実装ガイド — 具体的な作り方
• AI eval ツール 10 選 — 比較と使い分け
• AI の評価って何？なぜ難しい？

Singularity Society はテクノロジー集団として MulmoClaude / MulmoTerminal / MulmoCast を開発しています。エンジニア・起業家向けの実践プログラム BootCamp も運営しています。