Magentic-One: A Generalist Multi-Agent System for Solving Complex Tasksの紹介
Microsoft Research AI Frontiers から複雑なタスクを自律的に解決するための「汎用マルチエージェントシステム」Magentic-Oneが発表されました。
その仕組を説明している論文を紹介します。
Magentic-Oneの解説
Magentic-Oneとは
Magentic-One は、Microsoft Research AI Frontiers によって開発された、複雑なタスクを自律的に解決するための「汎用マルチエージェントシステム」です。複数のエージェントが協力して、プログラムの実行、Webの操作、ファイルの処理などの役割を分担し、タスクを効率的に完了します。
各エージェントの役割
Magentic-One には、中心的な「オーケストレーター(Orchestrator)」エージェントと複数の役割を担うエージェントが存在します。以下は各エージェントの役割です:
-
オーケストレーター (Orchestrator)
- タスクの全体計画を立て、進捗を監視し、タスクの再配分や修正も行います。
- 他のエージェントに指示を出し、各エージェントの活動をコントロールする中心的な役割を担います。
-
コーダー (Coder)
- プログラムのコードを作成し、他のエージェントから得た情報をもとに新しい処理を行います。
- Pythonコードの生成やデバッグも担当します。
-
Webサーファー (WebSurfer)
- Webページをナビゲートし、情報収集やフォーム入力などWeb上で必要なアクションを実行します。
-
ファイルサーファー (FileSurfer)
- PDFや画像、動画などのファイルを処理し、必要な情報を抽出します。
-
コンピュータ端末 (ComputerTerminal)
- Pythonコードやシェルコマンドの実行を担当し、ファイル操作やプログラムの実行結果を返します。
Magentic-Oneの特徴
Magentic-Oneの主な特徴は以下の通りです:
-
タスク計画とエラー回復
- オーケストレーターが詳細なタスク計画を立て、進捗を追跡し、エラーが発生した場合には計画を修正します。
- 必要に応じて他のエージェントにタスクを再割り当てし、最終的なタスク完了を目指します。
-
モジュール性(Modularity)
- エージェントの追加・削除が容易で、特定のタスクに応じてシステム構成を柔軟に変更可能です。
- 例えば、Web操作に特化したエージェントのみを追加しても、他のエージェントに影響を与えません。
-
ベンチマーク評価
- Magentic-OneはGAIA、AssistantBench、WebArenaの3つのベンチマークで評価され、他の最先端システムと比較して堅実な性能を示しました。
-
オープンソースツール
- Magentic-Oneの評価には「AutoGenBench」という評価ツールが使用され、再現性のあるテスト環境でエージェントの性能を安全に評価できます。
Magentic-Oneの評価と課題
Magentic-Oneは、複雑なタスクに対して堅実な性能を発揮しましたが、以下の課題もあります:
-
コストと待ち時間
- Magentic-Oneはタスク完了に多くのリソースを消費し、各エージェントの呼び出しにも時間がかかるため、コストと待ち時間が大きくなる可能性があります。
-
マルチモーダル対応の制限
- Magentic-Oneは画像や音声などの処理が制限され、例えば、動画を直接見て情報を取得することができません。
-
アクションの制限
- Webページでのホバーやドラッグアンドドロップなど特定のアクションがサポートされていないため、操作が制限される場合があります。
-
学習の制限
- Magentic-Oneはタスクごとに試行錯誤して最適な方法を見つけますが、その経験が次のタスクに引き継がれません。長期的な学習機能が今後の課題です。
結論
Magentic-Oneは、Webやファイル操作を伴うオープンエンドのタスクに対応する汎用エージェントシステムの有望な進展と位置付けられています。オーケストレーターが中心となって計画作成、進捗管理、エラー対応を行い、チームの他のエージェントが各種操作を実行します。
また、オープンソースとして提供されているため、開発者が自由にカスタマイズし、新たなエージェントを追加することも可能です。
関連ページ
- 私の寿命、あと何年?
- HtmlRAG: HTML is Better Than Plain Text for Modeling Retrieved Knowledge in RAG Systemsの紹介
- Magentic-One: A Generalist Multi-Agent System for Solving Complex Tasksの紹介
- 書評:LangChainとLangGraphによるRAG・AIエージェント[実践]入門 (エンジニア選書)
- SS推薦の図書
- Singularity Societyに入るには?
- 話題のネコ型ロボット「ミーア」!パワーアップします!
- 「世界モデルを持たないLLM」にとって難しい質問のリスト
- Raycastの機能拡張をカスタマイズ(テンプレート解説)
- RaycastJapan Meetup 第0回 イベントレポート
- Raycastのイベント発表資料
- Macの生産性を10倍上げるRaycastのイベント開催!!
- 「蔦屋家電+」ミーアの展示期間を延長しました!
- 安野たかひろ × 中島聡 緊急対談 書き起こし
- 蔦屋家電+でミーアたちに合う
- 安野たかひろ × 中島聡 緊急対談
- 蔦屋家電+とTi B SHOPでおしゃべり型ロボット「ミーア」に会いに行こう🐾
- W&Bミートアップ#13in東京 Stability AIとTuringからモデルサービングの最新手法を学ぶMeetup
- Turing CTOが語る自動運転2.0 生成AIで実現する次世代自律運転
- サンノゼで開かれたVisionProハッカソンに参加しました!
- おしゃべり猫型ロボット「ミーア」を開発
- コストコを超えるイノベーション!高品質・サプライズ価格なECの立ち上げ
- 空間ジェスチャーアプリを作る
- Turing Semiconductor/AI Day潜入レポ
- アーバンデータチャレンジ2023にてW受賞しました
- visionOSアプリ、Teegardenの開発物語
- エンジニア未経験のPMがChatGPTを使って簡単なプログラミングだけでプロダクトを作った話
- 新しい挑戦を躊躇する心理:優先順位の真実
- 時を超える知の投資:良書と大学教育の意義
- 動画生成AI SORAの革新とサム・アルトマンのビジョン
- イノベーションを起こしやすい組織について
- サッカー選手になりたいが、サッカーボールを蹴ったことがない人の話
- 2024年、国産クラウドに期待
- 仕事と焼肉、意外な共通点とは?
- 業界に激震!!Llama2オープン化がいかにすごいかを解説。
- OpenAIによる今回のアップデートがなぜ私たち開発者たちの間で「神アップデート」と呼ばれているか解説!!
- 統計的自然言語処理によりおぼろげながら浮かんできた思考の仕組みと教育の未来
- アプリ開発の常識を覆す? GPT-4の凄さに魅了された体験談
- あなたの NFT がゴミになるかもよ?
- GPT3の本質を理解し、ChatGPTを使いこなす為に知っておきたい事!!
- 今世紀のベストペーパー
- 「Web3がもたらす未来を考える」中島聡×塚田学対談
- これが未来の生活スタイル。遊牧民のように旅をしながら暮らす理想のノマドライフの提案。
- あなたのNFTは大丈夫?!某NFTが存在するのか確認してみました。
- 元米マイクロソフトのソフトウェアエンジニアが教える「エンジニアになりたいなら知っておいた方がいいコト!」
- 「フルオンチェーンでないNFTの怖さ」が現実に!〜フルオンチェーンNFTを可能にする技術
- 知らないと恐ろしい事に!AM/PM表記のなぞ?!
- DAOに対する「株式会社に代わる新しい仕組み」や「参加者全員が成功の果実を共有できる」という認識は間違いです。DAOの本質とは?
- スマートコントラクトが人々の行動を変え世界を変える!!
- フルブロックチェーンのスマートコントラクトは世の中に価値を提供し続ける!
- ビットコインこそ「究極のDAO」
- Pride Squiggle で画像をオンチェーンでダイナミックに生成するために使ったテクニック
- Netscapeからシェアを奪い取ったInternet Explorerが、終焉してしまった理由
- ソフトウェア・アーキテクチャの面からWeb2.0とWeb3の違いを分かり易く解説
- Web3の技術は素晴らしいがそれを生かすも殺すもエンジニア次第!
- AppleのWWDC22の基調講演で、最も私に刺さったのはCarPlay!!これが何を意味するのか?!
- Web3時代!NounsDAOの最大の発明はこれだ!
- 日本のシステムは最大のポンジースキームだった!?
- そして、すべてはソフトウェアになった
- パーソナル・ブランディング
- あなたの知らないWeb3/NFT/DAOの真実
- ハッカソン開会式のご挨拶「過去の戦争と比べて違うなと思うところ」
- NounsDAOをフォークした人にインタビューを受けました(翻訳)
- すでに解散したバンドのファンになった話
- 帝国化する企業と民主主義の末路
- 衰退していく日本のテレビ業界について語る
- Youtube のダークサイド
- 「理解できない」と言える強さ
- Oculus Go
- メタバース時代に掘り起こせそうな本屋さん
- 日本は少子高齢化・人口減少で新しい枠組みを作るのに良い実験場-<コモン>の領域を再建し人々の生活を安定させる
- Nintendo Switch とエクササイズ・バイク
- こんなダメな日本がかわるきっかけは「戦争か大災害しかない」噴火・地震・メタバースなど
- カルト・オンライン
- 中島聡×草場 壽一 「ソサエティを立ち上げた思い」
- 人工知能・機械学習の父
- 起業家と現実歪曲空間
- デマンド交通『おでかけ号』のタクシー予約/配車システムをDX化、高知・土佐清水で新登場
- 中島聡×SONY社内イベント
- メルカリ × 中島聡 ディスカッション イベントレポート
- 自動車業界の近未来
- 未来の社会のあり方
- SS推薦の動画
- 汎用人工知能・強いAIの開発にまつわる懸念点
- 未来のソフトウェアエンジニア教育を考える
- 財政出前講座 SIM2030
- Elon Musk の悩み
- Elon Musk のビジョン
- 自動運転社会のひとつの形
- Amazon Goに行ってみた
- 中島さん関連動画