ChatGPT×UE5、技術デモ「名探偵モカと密室脱出」を発表！”声だけ”でプレイする3D脱出ゲーム

ヒストリアはChatGPTとUnreal Engine 5（以下、UE5）を用いた技術研究、3D脱出ゲーム「名探偵モカと密室脱出」の発表を行いました。また、プレイムービーの公開を行いました。

ゲーム開始からクリアまでを収録したノーカット動画はこちら
https://youtu.be/N2uDYZ1PNNM

本作は社内の技術研究として制作されたプロジェクトであり、ゲームとしての一般公開の予定はありません。
開発者による見どころ紹介は【こちら】をご覧ください。

■『名探偵モカと密室脱出』とは

本作は声だけでプレイする脱出ゲームです。近年のAI技術――ChatGPTおよび文字起こし/読み上げサービスを利用することにより、コントローラーを使用しない「より自然なコミュニケーション」によるゲームプレイの可能性を探ることを目的として作られました。

以下の３つを具体的な目標として、「会話を通して名探偵モカにヒントを貰いながら、扉の鍵を見つけて脱出するゲーム」として仕立て上げました。

自然言語（声）によるNPCとのコミュニケーション
ChatGPTにより3Dキャラクターを動かす
ChatGPTによりゲーム進行を行い、ゲームのシナリオを収束させる

■ChatGPTを含む3つのAIクラウドサービスを使用

以下が本作の構成の概要です。

本作では3つのAIクラウドサービスが使用されています。

①文字起こし：Azure Cognitive ServicesのSpeech Service内、リアルタイム音声テキスト変換。マイクから取得した音声をテキストへ変換する。
②行動・セリフ決定：ChatGPT（GPT-4）。①で得たテキストを元にプロンプトを発行し、NPCの行動と会話の返答を得る。
③読み上げ：Azure Cognitive ServicesのSpeech Service内、Custom Neural Voice。②で得たセリフをボイスに変換する。

クライアント側はUE5で動作しており、キャラクターの移動や演出などはUE5の機能を用いて行っています。

■ChatGPTのストリーミング機能を利用したレスポンス向上

自然な会話を成り立たせるためには、キャラクターのレスポンスも重要な要素です。
ChatGPTの返答を待ってから処理したのではキャラクターのレスポンスが悪かったため、今回はChatGPTのストリーミング機能を利用し、以下の2つの工夫を行いました。

１．セリフ部よりもコマンド部を先にすることにより、コマンド部の結果が取得できた時点でキャラクターの移動を行い時間を稼ぐ。
２．セリフを分割して読み上げ機能に投げることにより、ChatGPTの返答を待たずして返答する。

以下は2の概念図です。

これらの工夫により、違和感の少ないキャラクターレスポンスを実現しました。

■キャラクター紹介

今回用に制作したキャラクター、名探偵の「モカ」です。

合成音声のボイスモデルは声優・瀬戸桃子氏にご協力いただきました。

講演動画、スライド資料はこちら：
「声だけでプレイする3D脱出ゲーム制作事例～ChatGPTでセリフと行動を制御～」講演動画＆スライド資料公開！

開発者による見どころ紹介はこちら：
「名探偵モカと密室脱出」開発者による見どころ紹介！ー ChatGPTに任せたゲーム進行と自然な会話の実現方法

今回の研究結果を今後の制作に役立てるとともに、これからもヒストリアではAIとリアルタイムレンダリングを掛け合わせた技術の探求を行っていきます。