「練習問題」はどこまで自動で作れるか — 評価データ生成のツールと論文から、普通のエンジニアにできる範囲を見極める
2026年11月7日
プロンプトの自動改善も LLM の評価も、練習問題（評価用データ）がなければ始まりません。これを自動で作るツールは 2026 年にどこまで来たのか。promptfoo、DeepEval、Ragas、Giskard、NeMo Data Designer、Opik、LangSmith、IntellAgent、SWE-smith などの公式文書を確認し、入力の生成・文書からの問題作成・採点基準・会話の模擬・検証できる課題の 5 段階に分けて整理しました。生成した問題は本物より易しい、模擬ユーザーは楽観的、採点基準は出力を見ないと決まらない、といった論文の知見と、EC の問い合わせや法務チェックでの現実的な線引きもまとめています。
プロンプトを自動で直すとき、中で何が起きているのか — GEPA・MIPROv2・TextGrad の仕組みと、自分たちでできること
2026年11月7日
GEPA や MIPROv2 は「プロンプトを自動で改善する」と言われますが、具体的に何をどう書き換えているのでしょうか。まず文章の直し方を「AI に書き直させる」「組み合わせで直す」「機械的な規則で直す」の 3 つに分け、それぞれを具体例で示します。そのうえでソースコードを読んで、各ツールが 1 回の改善で何をしているかを、EC の問い合わせ対応を例に噛み砕いて説明します。採点関数の作り方（機械で判定する観点と AI に判定させる観点の分け方、点数のまとめ方、赤ペンの書き方）も、実装の例とあわせて説明します。道具を使うエージェントやスキル文書の場合も扱います。さらに、プロンプトの直し方を研究した論文（失敗を分類してから直す、部分ごとに直す、例示の選び方、平均点の裏の退行など）を参考に、自分たちで何ができるかを段階ごとにまとめました。
プロンプトとスキルを自動で直す手法のサーベイ — APE から GEPA、SKILL.md の最適化まで
2026年11月6日
プロンプトやエージェントのスキルを、評価結果をもとに自動で改善する手法を論文で整理しました。APE・OPRO・ProTeGi・TextGrad・EvoPrompt・Promptbreeder・MIPRO から、ICLR 2026 口頭発表の GEPA、文脈を育てる ACE、2026 年に急に増えた SKILL.md の最適化（SkillOpt・SkillGrad・SkillAdam・Self-Supervised Skill Optimization）まで。共通する骨格、過剰適合などの落とし穴、EC の問い合わせや法務チェックにどの手法が向くかもまとめています。