項目応答理論

AI は答え合わせはできても問題集は作れない — LLM 評価とモデル選択の論文を読む

2026年10月22日

モデルを選ぶ道具はベンチマークですが、自分のタスクで作ろうとすると3か所で詰まります。易しい問題は差が出ない、難しい問題には正解がない、採点が当たらない。この3つはそれぞれ論文で測られています。出題と採点が別の能力であること、弁別力で問題を選ぶと評価費用が桁で下がること、採点者の自己優遇と位置バイアス、そして振り分けで実際にいくら安くなるか。数字はすべて原典で確認しました。