MulmoCast - AI時代のマルチモーダルコンテンツ生成ツール

MulmoCast - AI時代のマルチモーダルコンテンツ生成ツール

MulmoCastとは

MulmoCastは、AIとの協働でプレゼンテーション動画、ポッドキャスト、スライド資料を生成する次世代のコンテンツ制作プラットフォームです。

中心となるのはmulmoScriptと呼ばれるJSON/YAML形式のスクリプト言語で、これは映画の脚本のようにマルチモーダルコンテンツの構成を記述します。LLM(大規模言語モデル)がmulmoScriptを生成し、それを元に動画、音声、画像、PDFなど様々な形式のコンテンツが自動生成されます。

主な用途:

mulmocast-cli - MulmoCast本体

mulmocast-cliは、MulmoCastの本体です。コマンドラインツールとしても、ソフトウェアライブラリとしても利用できる設計になっており、mulmoScriptから動画、音声、画像、PDFなど複数の形式のコンテンツを自動生成します。

主な機能

インストール

# CLIツールとしてグローバルインストール
npm install -g mulmocast

# ライブラリとして利用する場合
npm install mulmocast

# 動画生成に必要(macOS)
brew install ffmpeg

CLIとしての使い方

# 1. 対話形式でスクリプトを生成(絵本テンプレート)
mulmo tool scripting -i -t children_book -o ./ -s story

# 2. 生成されたスクリプトから動画を作成(日本語字幕付き)
mulmo movie story-1746600802426.json -c ja

# 3. Web公開用バンドル(ZIP)を作成
mulmo bundle story-1746600802426.json

ライブラリとしての使い方

electron版のmulmocast-appが実装例になっています。参考にしてください

https://github.com/receptron/mulmocast-app/blob/main/src/main/mulmo/handler_generator.ts

必要な環境変数

派生ツール - MulmoCastファミリー

mulmocast-cliをより便利に使うための派生ツール群です。MCPサーバ、Webビューア、動画変換ツールなど、様々な用途に応じたツールが提供されています。

mulmocast-mcp

mulmocast-mcpは、mulmocast-cliをMCPサーバ化したツールです。Claude Desktop等のMCP対応クライアントから、MulmoCastの動画・音声・画像生成機能を直接利用できます。

セットアップ (Claude Desktop):

{
  "mcpServers": {
    "mulmocast": {
      "command": "npx",
      "args": ["mulmocast-mcp@latest"],
      "env": {
        "OPENAI_API_KEY": "sk-xxx",
        "REPLICATE_API_TOKEN": "r8_xxx",
        "ANTHROPIC_API_KEY": "sk-ant-xxx"
      },
      "transport": { "stdio": true }
    }
  }
}

利用シーン:

mulmoscript-mcp

mulmoscript-mcpは、Claude Desktopなどと対話しながらmulmoScriptを作成するためのMCPサーバです。自然言語での会話を通じて、AIがユーザーの意図を理解し、適切なmulmoScriptを生成します。

セットアップ (Claude Desktop):

{
  "mcpServers": {
    "mulmoscript": {
      "command": "npx",
      "args": ["mulmoscript-mcp"],
      "transport": {"stdio": true}
    }
  }
}

使い方: Claude Desktopで「子供向けの絵本ストーリーのスクリプトを作って」と依頼すると、対話を通じてmulmoScriptが生成されます。

mulmocast-vision

mulmocast-visionは、元々mulmoScriptのimage.type = visionのデータを扱うためのライブラリです。これを独立させて単体でも使えるようにし、さらにMCPサーバ化することで、LLMを使ってプロフェッショナルなプレゼンテーションスライドを自動生成できるようになりました。80種類以上のビジネス向けスライドテンプレートを提供し、提案書・戦略書・企業分析資料などを数秒で作成できます。

セットアップ (Claude Desktop):

{
  "mcpServers": {
    "mulmocast-vision": {
      "command": "npx",
      "args": ["mulmocast-vision@latest"],
      "transport": {"stdio": true}
    }
  }
}

使い方: Claude Desktopで「複数企業の比較分析スライドを作成して」と指示すると、自動的に~/Documents/mulmocast-vision/にPDFが保存されます。

mulmocast-app

mulmocast-appは、MulmoCastのElectronデスクトップアプリケーションです。Vue 3とTailwind CSSで構築されており、MulmoCastの機能をGUIで利用できます。

公式サイト: https://mulmocast.com/ Discord: discord.gg/XqmAYxm2Xf

mulmocast-viewer

mulmocast-viewerは、MulmoCastで生成したコンテンツ(mulmo bundleコマンドで作成したバンドルを展開したデータ)をWebブラウザで表示するためのVue 3コンポーネントライブラリです。

デモサイト:

使い方: mulmo bundleで作成したZIPを展開し、Vue 3プロジェクトに組み込みます。

統合例:

<template>
  <MulmoViewer
    :data="mulmoData"
    :basePath="'/content/'"
    v-model:audioLang="audioLang"
    v-model:textLang="textLang"
  />
</template>

<script setup>
import { MulmoViewer } from 'mulmocast-viewer';
import { ref } from 'vue';

const mulmoData = ref(/* 読み込んだJSON */);
const audioLang = ref('ja');
const textLang = ref('ja');
</script>

mulmo-movie (movie-separate)

mulmo-movieは、既存の動画ファイルを解析してmulmoViewer用のデータ(mulmo_view.json)を自動生成するツールです。講演動画やインタビュー動画などを、セグメント分割・文字起こし・翻訳・話者識別まで自動処理します。

使い方:

# グローバルインストール
npm install -g mulmo-movie

# 動画を処理
mulmo-movie video.mp4 --lang ja

出力: output/ディレクトリにmulmo_view.jsonと各種メディアファイルが生成され、mulmocast-viewerで表示できます。

使い方の例

1. CLIで動画を作る

# 対話形式でスクリプト生成
mulmo tool scripting -i -t business_pitch -o ./ -s presentation

# 動画を作成
mulmo movie presentation-xxx.json -c ja

2. MCPでスライドを作る

Claude Desktopにmulmocast-visionを設定し、「新製品3つの比較分析スライドを作って」と指示するだけで、PDFが自動生成されます。

3. Web公開する

# バンドル作成
mulmo bundle script.json

# ZIPを展開してVue 3プロジェクトに配置
# mulmocast-viewerで表示

4. 既存動画を活用する

# 動画を処理
mulmo-movie interview.mp4 --lang ja

# mulmocast-viewerで表示可能なデータが生成される

mulmoScriptとは

mulmoScriptは、マルチモーダルコンテンツを記述するためのJSON/YAML形式のスクリプト言語です。映画の脚本のように、物語の構成、ビジュアル、音声などを統合的に記述します。

mulmoScriptの特徴:

mulmoScriptの構成例:

{
  "title": "AI時代のプレゼンテーション",
  "beats": [
    {
      "text": "これからのプレゼンテーションは、AIと人間の協働で作られます。",
      "image": {
        "prompt": "futuristic presentation with AI",
        "style": "professional"
      },
      "audio": {
        "voice": "ja-JP-Neural"
      }
    }
  ]
}

MCPとの統合

mulmocastファミリーの主要コンポーネントは**MCP (Model Context Protocol)**に対応しており、Claude Desktop等のMCP対応クライアントから直接利用できます。

MCP対応コンポーネント:

これにより、AIアシスタントと会話するだけでプロフェッショナルなコンテンツを作成できます。

Claude Desktop設定例(3つ全部セットアップ):

{
  "mcpServers": {
    "mulmoscript": {
      "command": "npx",
      "args": ["mulmoscript-mcp"],
      "transport": {"stdio": true}
    },
    "mulmocast": {
      "command": "npx",
      "args": ["mulmocast-mcp@latest"],
      "env": {
        "OPENAI_API_KEY": "sk-xxx",
        "REPLICATE_API_TOKEN": "r8_xxx"
      },
      "transport": {"stdio": true}
    },
    "mulmocast-vision": {
      "command": "npx",
      "args": ["mulmocast-vision@latest"],
      "transport": {"stdio": true}
    }
  }
}

まとめ

**MulmoCast(mulmocast-cli)**は、AI時代のマルチモーダルコンテンツ制作プラットフォームです。CLIツールとしてもライブラリとしても利用でき、動画、音声、画像、PDFなど様々な形式のコンテンツを自動生成します。

**派生ツール(MulmoCastファミリー)**により、MCPサーバとしての利用、Web表示、既存動画の変換など、様々な用途に対応できます。

ツール一覧

ツール説明レポジトリ
mulmocast-cliMulmoCast本体(CLI & ライブラリ)GitHub
mulmocast-appデスクトップアプリ(Electron)GitHub
mulmoscript-mcp対話式スクリプト生成MCPGitHub
mulmocast-mcpMulmoCastのMCPサーバ化GitHub
mulmocast-visionビジネススライド生成MCPGitHub
mulmocast-viewerWeb用プレイヤー(Vue 3)GitHub
mulmo-movie動画からデータ生成GitHub

始め方

GUI版(最も簡単): mulmocast.comからデスクトップアプリをダウンロード

MCP版: Claude Desktopに設定して、会話で作成

CLI版:

npm install -g mulmocast
mulmo tool scripting -i
mulmo movie <script.json>

ライブラリ版: プログラムに組み込む

npm install mulmocast

リソース

この記事をシェア

関連記事

記事一覧に戻る