「練習問題」はどこまで自動で作れるか — 評価データ生成のツールと論文から、普通のエンジニアにできる範囲を見極める
2026年11月7日
プロンプトの自動改善も LLM の評価も、練習問題（評価用データ）がなければ始まりません。これを自動で作るツールは 2026 年にどこまで来たのか。promptfoo、DeepEval、Ragas、Giskard、NeMo Data Designer、Opik、LangSmith、IntellAgent、SWE-smith などの公式文書を確認し、入力の生成・文書からの問題作成・採点基準・会話の模擬・検証できる課題の 5 段階に分けて整理しました。生成した問題は本物より易しい、模擬ユーザーは楽観的、採点基準は出力を見ないと決まらない、といった論文の知見と、EC の問い合わせや法務チェックでの現実的な線引きもまとめています。
LLM 評価ツールを自分のサービスで使うには — EC の問い合わせ・法務チェック・社内規程 Q&A で考える
2026年11月6日
LLM 評価ツールの比較は多くありますが、自分のサービスにどう当てるかで選ぶと見え方が変わります。EC の問い合わせ対応、社内の法務チェック、社内規程の問い合わせという 3 つの例で、何を機械で判定でき、何に人の判断が要るか、正解データをどう作るか、どのツールから始めるかを整理しました。Promptfoo と Langfuse の 2026 年の買収の動きと、自作するならどこに価値があるかもまとめています。
AI は答え合わせはできても問題集は作れない — LLM 評価とモデル選択の論文を読む
2026年10月22日
モデルを選ぶ道具はベンチマークですが、自分のタスクで作ろうとすると3か所で詰まります。易しい問題は差が出ない、難しい問題には正解がない、採点が当たらない。この3つはそれぞれ論文で測られています。出題と採点が別の能力であること、弁別力で問題を選ぶと評価費用が桁で下がること、採点者の自己優遇と位置バイアス、そして振り分けで実際にいくら安くなるか。数字はすべて原典で確認しました。
AI エージェント評価 (eval) の最新サーベイ論文を読み解く — 2025-2026 年の到達点と残された課題
2026年2月25日
AI エージェントの評価 (eval) 分野は 2025 年に arxiv で複数のサーベイ論文が出て、ようやく体系化されつつある。本稿は arXiv:2503.16416 (エージェント評価の総覧)、arXiv:2507.21504 (behavior/capabilities/reliability/safety の 4 分類)、arXiv:2601.05111 (Agent-as-a-Judge への進化) の 3 本を軸に、評価の 5 観点、代表的ベンチマーク 10+、hallucinated correctness などの既知の課題、2026 年の実装者が今日採用すべきベストプラクティスを整理する。