AI eval ツール: Autoevals — SaaS 不要の OSS LLM スコアラ
2026年4月8日
Autoevals は Braintrust が公開している OSS の LLM スコアラライブラリで、SaaS アカウントなしで Python / TypeScript から利用できます。本稿では、Factuality、Battle、ClosedQA、Humor、Security、SQL、Translation といった LLM-as-a-judge 系と、ExactMatch、Levenshtein、JSONDiff などのヒューリスティック系の両方を取り上げ、最小動作例、独自スコアラの書き方、DeepEval や Ragas との棲み分けを整理します。あわせて、chaff grade のような決定論的スコアラと組み合わせることで、意見と事実を分けて測る実践パターンも紹介します。
tech-blogAI evaluationAutoevals
AI eval ツール: Braintrust — 開発者体験で選ばれる商用プラットフォーム
2026年3月17日
Braintrust は、LLM アプリの実験・本番監視・自動採点を一本化した商用のオブザーバビリティ基盤です。Experiments、Playground、Autoevals、Online Scoring、Logs、Datasets といった機能を、開発者が使いやすい SDK と Web UI でまとめて提供します。本稿では、Braintrust の設計思想、TypeScript / Python での最小動作例、LangSmith との違い、向くケース・向かないケース、ハマりポイント、料金体系までを整理し、商用 LLM eval ツールを選ぶ際の判断材料をまとめます。
tech-blogAI evaluationBraintrust