テスト

「世界モデルを持たないLLM」にとって難しい質問のリスト

2024年9月9日

世界モデルを持たないLLMが苦手とする質問リストをオープンソース化。GPT-4o、Claude、Gemini、Llama3など主要なLLMで検証可能なテストフレームワークをGitHubで公開。GraphAIを使用した実装で、YAMLファイルの編集だけで簡単に様々なLLMでのテストが実行できます。多言語化や自動化も予定、PRも大歓迎です。