MulmoTerminal の共有アプリを公開前に AI と自分で確かめる手順
2026年9月27日
AI に作らせたページを AI に確かめさせられますが、押すのはボタンだけで、選択リストやチェックボックスの経路は通りません。しかも報告にそう書かれません。公開前に何が確かめられていないかを知るための、AI による自動チェックと自分で押す四つの手順を説明します。
tech-blogMulmoTerminal共有アプリ
AI エージェントの evals 入門 — unit test では測れない品質を数値で担保する
2026年2月10日
AI エージェントの品質は unit test では担保できません。非決定な出力を評価する評価の 3 層構造、LLM による自動採点の使いどころと落とし穴、統計的妥当性に必要なサンプル数、本番モニタリングとの連携を具体例でまとめます。最小構成の実装例も載せました。
tech-blogevaluationevals
「世界モデルを持たないLLM」にとって難しい質問のリスト
2024年9月9日
世界モデルを持たないLLMが苦手とする質問リストをオープンソース化。GPT-4o、Claude、Gemini、Llama3など主要なLLMで検証可能なテストフレームワークをGitHubで公開。GraphAIを使用した実装で、YAMLファイルの編集だけで簡単に様々なLLMでのテストが実行できます。多言語化や自動化も予定、PRも大歓迎です。
LLMGPTAI