ローカル

Evalite で LLM アプリを Vitest 感覚でローカル評価する

2026年4月11日

Evalite は Matt Pocock 作の TypeScript ネイティブな LLM eval フレームワークです。Vitest 上に乗り、SaaS アカウント不要でローカル完結し、`.eval.ts` にテストと同じ感覚で評価を書けます。本稿では evalite() runner と createScorer API、Factuality / Levenshtein など autoevals 連携、Vercel AI SDK との統合、chaff grade を決定論的スコアラとして混ぜる実装例まで、TS プロジェクトに eval を導入する際の勘所を実装者視点でまとめます。