AI は答え合わせはできても問題集は作れない — LLM 評価とモデル選択の論文を読む
2026年10月22日
モデルを選ぶ道具はベンチマークですが、自分のタスクで作ろうとすると3か所で詰まります。易しい問題は差が出ない、難しい問題には正解がない、採点が当たらない。この3つはそれぞれ論文で測られています。出題と採点が別の能力であること、弁別力で問題を選ぶと評価費用が桁で下がること、採点者の自己優遇と位置バイアス、そして振り分けで実際にいくら安くなるか。数字はすべて原典で確認しました。
tech-blogAI evaluationサーベイ論文
AI エージェント評価 (eval) の最新サーベイ論文を読み解く — 2025-2026 年の到達点と残された課題
2026年2月25日
AI エージェントの評価 (eval) 分野は 2025 年に arxiv で複数のサーベイ論文が出て、ようやく体系化されつつある。本稿は arXiv:2503.16416 (エージェント評価の総覧)、arXiv:2507.21504 (behavior/capabilities/reliability/safety の 4 分類)、arXiv:2601.05111 (Agent-as-a-Judge への進化) の 3 本を軸に、評価の 5 観点、代表的ベンチマーク 10+、hallucinated correctness などの既知の課題、2026 年の実装者が今日採用すべきベストプラクティスを整理する。
tech-blogAI evaluationLLM agent