CGエージェント・CGアバター
当研究室では機械対話(人対機械)とアバター会話(人対人)の両方で利用できるCGエージェント(CGアバター)の研究開発を行っており、その一部を無償公開しています。
以下、当研究室がこれまでに開発したCGアバターおよびシステムを紹介します。これらはムーンショット型研究開発制度 アバター共生社会プロジェクトの援助を受けて開発された CG-CA(CG Cybernetic Agent)です。CG-CAは、中身が機械・AIでも人間でも違和感なく利用でき、高い存在感と生命感を備えたCGアバターで、対話表現のための多くの感情シェイプや高精度フェイシャルトラッキング(パーフェクトシンク)のためのシェイプ、全身ボーンを装備した高クオリティの3Dモデルです。これらは関連するプロジェクトや実証実験で活用されているほか、一部は無償公開されています。
CGアバターの多くはノートPCでも動作する軽量モデルで、MMDAgent-EX および MMD 関連ツールで利用できます。公開されているモデルは PMX版を GitHubのmmdagent-exアカウント で、VRM版を VRoid Hub で公開しています。研究・開発等にお役立てください。
ジェネ / Gene

ジェネ (Gene) は、中性的な外見を持ったジェネリックなデザインのアニメ調CGエージェントです。男性でも女性でもアバターとして利用できる中性的な外見とヒロイックな服装を持つこのシンプルなCGモデルは、広い層のユーザに受け入れられることを目指してデザインされており、公共の場など、社会の様々な場面で幅広い活用が見込まれます。本モデルは阪大石黒研との協力のもと開発されました。
ジェネの3Dモデルファイルは CC-BY 4.0 ライセンスのもと下記の場所で無償公開しています。
名古屋工業大学はジェネに関する商標権および意匠権を保持しています。ただし以下の場合は許諾なしに利用いただいて問題ありません。
- 学術活動(論文掲載、発表等)
- 個人の方の非営利的な利用(SNSへの投稿、イベントでの掲示等)
上記以外の営利活動・商用利用、およびその他の利用については個別に 李 (ri@nitech.ac.jp) までお問い合わせください。
うか / Uka

うか (Uka) は主に雑談対話や共感対話タスクでの利用をイメージした VTuber 調のCGアバターです。成人男性寄りの中性デザインで、ユーザの話す内容をじっくり傾聴する魅力ある聞き手のイメージで設計されています。和風の服装と、アースカラーを中心とした落ち着いた表現を用いています。耳および尻尾の身体パーツはノンバーバルな感情表出に活用されることを想定しています(モーフで消すことも可能です)。うかはRemdisのメインキャラクターとして用いられています。
うかの3Dモデルは CC-BY 4.0 ライセンスのもと下記の場所で無償公開しており、ライセンスのもと自由にお使いいただけます。
ライセンスと利用ガイドラインをよく読み、ライセンス遵守のもとご利用ください。
Nirva / ニルヴァ

ニルヴァ(Nirva)はイラストレーター米山 舞氏のデザインによるCGアバターです。近未来のAIデバイスのインタフェースのイメージで作成されたイラストレーションベースのハイラインモデルで、国際的イベントや学会等での登壇をイメージしたフォーマルな目的のために構築されました。多数の感情表現や物理演算を用いてフルに設計されており、リッチで細やかな表現力を持ち、対話において高い存在感と生命感を感じさせます。服表面のサウンドインジケータや目の虹彩アニメーション、服のグラデーション変化などをイベントに紐つけることができ、高いインタラクティブ性を実現します。
※ 本アバターの動く様子を 2024.9.26のNHK関西ニュースよりご覧になれます。
マギ / Magi

マギ (Magi) はデジタル空間やメタバースでの利用を想定したキャラクター性重視型の中性CGアバターです。ツノやオッドアイといった典型的なネット文化のキャラクター特徴を持つ本モデルは、また明確に非人間な形状であるがゆえに特定の実在する文化・ステレオタイプを背負っておらず、多様な文化背景の人にとってアバターとして受け入れやすいことを意識したデザインです。また、アニメ調のモデルにおいて多様な感情表現を画面上でより伝わりやすくするため、漫画等でよく使われる記号(いわゆる漫符)を用いた2D-CG特有の感情表現を搭載しており、感情表出AIや感情音声合成と組み合わせることで、より豊かな人型インタフェースを実現することを志向しています。
Rubica / ルビカ

Rubica(ルビカ)は、男女のどちらともとれる中性的な外見とCGらしい豊かな表現力を持つ汎用CGエージェントです。Unreal Engine で表現される高精細な人体モデルは、自動音声対話システムとしての利用時にはヒトらしい豊かな表現力と個性を表現しつつ、人が遠隔操作する遠隔アバターとしての利用時には操作者本人がそこに存在することを感じさせる、「誰かだが、誰でもない」ユニバーサルなデザインを目指して設計されています。このCGアバターは、リアルなディテールと、老若男女に違和感を感じさせないデザイン、幅広いカスタマイズ性により、社会の幅広い場面での音声対話・遠隔アバター対話技術の応用を可能にします。本モデルは阪大石黒研と共同で開発された、アバター共生社会プロジェクトのオフィシャルアバターです。
MMDAgent-EX

MMDAgent-EX は音声対話・アバター会話のためのプラットフォームソフトウェアです。Windows / macOS / Linux で動く当ソフトウェアは、上記のCGアバターを含む任意のMMD互換モデルを高精細に表示する独自実装の描画エンジンと、音声・言語・動作のマルチモーダル処理を密統合したシステムです。対話システム・エージェントインタラクションの研究開発から、遠隔アバター操作、対話データ収集、デジタルサイネージまで、様々な場面・用途に利用できます。本システムはオープンソースソフトウェアであり、GitHubにて公開されています(一部機能を除く)。詳しくはMMDAgent-EXのサイトをご覧ください。
Valles

Valles はCGエージェントを表示するMMDAgent-EXへ接続し、外部から制御して遠隔アバター会話を行うための遠隔操作アプリです。フェイシャルトラッキングやボディトラッキング信号に対応するほか、声からの動作自動生成 (speech2motion) 技術により、まるで目の前にいるかのような臨場感のある対話がアバター越しに行えます。WebSocketサーバの中継により世界中から接続でき、低遅延での操作が可能です。デジタルサイネージ用途向けの自動更新や自動監視、アラート機能を持ち、画像や音楽再生にも対応しており、リッチな遠隔会話を実現します。
Remdis

Remdisはテキスト・音声・マルチモーダル対話システム開発のためのプラットフォームです。非同期処理やLLMのストリーミング生成、Voice Activity Projection (VAP) によるターンテイキング等の対話機能とMMDAgent-EXの組み合わせで、インタラクティブなマルチモーダル対話システムの開発が行えます。詳しくは GitHub サイトおよび書籍「Pythonと大規模言語モデルで作るリアルタイムマルチモーダル対話システム」をご覧ください。