OSS

MulmoClaude の Discover — 他人のコレクションを取り込んで自分用に変える

2026年9月27日

プログラムの部品は何十年も共有されてきましたが、アプリそのものはほとんど共有されてきませんでした。誰かが作った記録アプリを持ってきて、自分の事情に合わせて項目を足す、ということができないからです。MulmoClaude のコレクションは形だけを配れるので、取り込んで自分用に変えられます。中身を先に読める仕組みも含めてまとめます。

repo.json とは — リポジトリの名前・色・アイコンを一つの JSON で共有するメタデータ規格

2026年8月31日

他人の OSS に、自分だけが使う開発ツール（.mulmoterminal.json）の設定ファイルを提案するのは気が引ける。repo.json は特定アプリ名を付けていないリポジトリメタデータの規格で、name / description / icon / color の 4 項目を書く。MulmoTerminal はこれを読んで名前と色の付いたマスを描く。1 つの color から 7 色を自動で導く仕組み、extensions で各アプリ固有のキーを置く名前空間、repo.json → .mulmoterminal.json → .mulmoterminal.local.json の優先順をまとめた。

MulmoTerminal の issue 作業コメント — OSS で同じ issue を 2 人が同時に直す無駄をなくす

2026年8月14日

OSS の issue を 3 時間かけて直し、PR を出したら「同じ内容の PR が 2 日前に出ていた」ことに気づく。原因は、着手を宣言する手段はあっても、始めるときに書く習慣がないこと。MulmoTerminal は issue からセッションを起動すると自動で「Working on this」コメントを書き、PR とマージの節目で同じコメントを編集し続ける。他人の issue に自分の名前で書くので既定は無効。設計の判断を解説。

Claude CodeのOSS skillでセキュリティを手元レビューする — 既存のbotや静的解析と組み合わせる

2026年5月14日

AI eval ツール: lm-evaluation-harness — ベンチマーク標準

2026年4月14日

lm-evaluation-harness は EleutherAI 製の学術ベンチマーク標準フレームワークです。MMLU、HellaSwag、GSM8K、HumanEval、ARC、TruthfulQA などを統一 API から走らせられ、Hugging Face Open LLM Leaderboard の基盤にもなっています。プロダクトや agent の eval ではなく、素のモデル能力 (capability benchmark) を測る用途に特化しています。本稿では歴史、機能、最小動作例、Inspect AI との棲み分け、ハマりポイントを整理します。

AI eval ツール: Autoevals — SaaS 不要の OSS LLM スコアラ

2026年4月8日

Autoevals は Braintrust が公開している OSS の LLM スコアラライブラリで、SaaS アカウントなしで Python / TypeScript から利用できます。本稿では、Factuality、Battle、ClosedQA、Humor、Security、SQL、Translation といった LLM-as-a-judge 系と、ExactMatch、Levenshtein、JSONDiff などのヒューリスティック系の両方を取り上げ、最小動作例、独自スコアラの書き方、DeepEval や Ragas との棲み分けを整理します。あわせて、chaff grade のような決定論的スコアラと組み合わせることで、意見と事実を分けて測る実践パターンも紹介します。

Langfuse: データを外に出さず LLM を観測する OSS 基盤

2026年4月1日

Langfuse は MIT ライセンスの LLM オブザーバビリティ・評価プラットフォームです。トレース、スコア、データセット、プロンプト管理、Evaluations、ユーザー / セッション追跡を 1 つにまとめ、クラウド版とセルフホスト版を選べます。本稿では docker compose での最小構成、Python SDK の呼び出し、GDPR やデータ主権の観点からの選定理由、LangSmith や Phoenix との違い、OpenAI / Anthropic / LangChain / LiteLLM との統合、ハマりやすい点、価格体系までを一通り整理します。

AI eval ツール Ragas: RAG 評価に特化した OSS フレームワーク

2026年3月29日

Ragas は RAG (Retrieval-Augmented Generation) 評価に特化した OSS です。faithfulness、answer relevancy、context precision、context recall、context entity recall という 5 つの代表的 metric を揃え、合成テストデータ生成も備えます。LangChain / LlamaIndex 連携や最小動作例、ハマりどころまでをまとめました。

AI eval ツール: OpenAI Evals — 本家の評価基盤はいま

2026年3月23日

OpenAI Evals は GPT 評価の事実上の標準として 2023 年に登場した OSS フレームワークです。本稿では OSS 版（github.com/openai/evals）と OpenAI Platform 側の evals、両方の現状と使い分けを整理します。YAML registry、model-graded eval、GPT-as-judge テンプレートの仕組み、最小動作例、他ツールとの棲み分け、そして OpenAI へのベンダーロックや開発ペース低下といったハマりどころまで、2026 年時点の実装者視点でまとめます。

AI eval ツール: Phoenix — OTel 準拠の OSS オブザーバビリティ

2026年3月14日

Arize Phoenix は、LLM アプリケーションのトレース・評価・実験を一体化した OSS です。OpenTelemetry と OpenInference semantic conventions に準拠し、ベンダーロックインを避けつつ本番監視・デバッグ・eval を同じ画面で回せます。本稿は Phoenix の位置づけ、Traces/Datasets/Experiments/Evals/Prompt Playground の 5 機能、docker + Python 最小動作例、LangSmith / Langfuse との違い、ハマりやすい点をまとめます。

なぜ僕らが今Raycast日本コミュニティをやるのか？

2025年5月5日

はじめに はじめまして、Raycast日本コミュニティの矢野です。 最近、Singularity Societyのコミュニティパートナーとして認定いただいたご縁で、この記事を書かせていただいています。 なぜ僕たちがRaycast日本コミュニティを立ち上げたのか。 この記事では、その背景にある想いやストーリーをお伝えできればと思います。 僕自身これまで、文学、映画、音楽、ゲームなど、様々な

なぜ日本にはGitHubが生まれなかったのか？──OSSと資本、そして“職業としての開発者”の未来

2025年4月17日

2008年、米サンフランシスコで生まれたGitHubは、最初はたった3人の開発者による小さな週末プロジェクトだった。しかしそのアイデア──「誰もが自由にコードを共有し、議論し、貢献できる場を作る」──は、オープンソースの精神と見事に共鳴し、瞬く間に世界中のエンジニアに広がった。 収益はゼロ。それでも、彼らは資金を得た。2012年、Andreessen HorowitzはシリーズAとして1億ドルを

なぜ日本にはGitHubが生まれなかったのか？──OSSと資本、そして“職業としての開発者”の未来

2025年4月17日

2008年、米サンフランシスコで生まれたGitHubは、最初はたった3人の開発者による小さな週末プロジェクトだった。しかしそのアイデア──「誰もが自由にコードを共有し、議論し、貢献できる場を作る」──は、オープンソースの精神と見事に共鳴し、瞬く間に世界中のエンジニアに広がった。 収益はゼロ。それでも、彼らは資金を得た。2012年、Andreessen HorowitzはシリーズAとして1億ドルを

GraphAI Contribution Fes 2025 開催のお知らせ

2025年1月16日

GraphAI Contribution Fes 2025の開催案内。GraphAIフレームワークを用いたアプリケーション開発やフレームワーク自体への貢献を目的としたイベント。TypeScript製のMulti-Agent AI Workflowフレームワークで、フロントエンド・バックエンドでシームレスに動作。3月22-23日に渋谷でハッカソンを実施し、分散エージェントの未来を共創。