[UE4]新機能「Audio Synesthesia」でサウンドの非リアルタイム解析！

執筆バージョン: Unreal Engine 4.24

ヘイガイズ！あけましておめでとうございます！エンジニアの片平です。

先日、リリースされたUE4.24のリリースノートに目を通していると、個人的にひと際興味を引く機能がありました。

Audio Synesthesia(ベータ)

Synesthesia…、直訳で”共感覚”…。（かっこいい…。）

「Audio Analyzer モジュールと Audio Synesthesia プラグインの追加により、ゲームプレイスクリプトに使用できる抽出されたオーディオ分析データを公開することで、ゲーム内で再生されるサウンドに密接に結合されたアニメーション、エフェクト、およびその他の要素を操作できるようになりました。」

ん～、概要を読んでも正直よくわからないですね。

実際にどんなことができるのか試してみました。

例によってベータな機能ですので、今後のアップデートによっては仕様が変更される可能性があります。ご留意ください。

できること

どうやらベータ版では、非リアルタイム解析のみをサポートしており、以下の3つの解析方法があるようです。

①ラウドネス解析

音の大きさを解析します。

厳密にはラウドネス値とは音圧を人の聴感特性（等ラウドネス曲線）で補正したものです。

②定Q解析

音の特定周波数ごとの大きさを解析します。

この手法はスペクトル解析と呼ばれ、それを可視化できるスペクトラムアナライザは昔のオーディオコンポや、音楽再生ソフトなどにもビジュアライザとして搭載されたりしています。

定Q(constant-Q)とはスペクトル解析手法の一種で、一般的な高速フーリエ変換と比べより音楽信号に適した変換方法らしいです。

③音節解析

音の始まる位置を解析します。

音の立ち上がりを検出してその再生位置が特定できます。

多くのDAWにもトランジェント検出機能などの名称で備わっている機能です。

それでは、次の項目から実際に解析を行う手順を見てみましょう。

プラグインの有効化

本機能はプラグインで提供されているため、新規プロジェクトを作ったらまずAudio->Audio Synesthesiaプラグインを有効化します。

Unreal Editorの再起動を求められるため再起動します。

オーディオのインポート

解析するサウンドファイルをインポートします。

NRTアセットの作成・設定

NRT(ノンリアルタイム)解析用のアセットを作成します。

コンテンツブラウザを右クリックし、Sounds -> Analysis -> SynesthesiaNRTを選択します。

３つの解析手法ごとのクラスが表示されますので、使用するクラスを選択するとNRTアセットが作成されます。

作成したSynesthesiaNRTを開いてSoundに解析したいオーディオを設定します。

SynesthesiaNRTSettingを指定することで解析の詳細設定もできます。

オーディオ再生

新しいActorを作成し、Audioコンポーネントを追加します。

以下のようにノードを組みます。（クリックで拡大できます。）

これでサウンドが再生されている間は毎フレーム PlaybackPercentEvent が実行されます。

PlaybackPercent(全体の何%再生したか)にDuration(オーディオの長さ)をかけることで現在の再生時間も取得できます。