[UE5]UE5でMIDIが使える！「Harmonix」プラグインでプレイヤーアクションに応じたメロディ再生

執筆バージョン: Unreal Engine 5.4

ヘイガイズ！エンジニアの片平です！

今回は UE5.4 で追加となった「Harmonix」プラグインを使用して、
プレイヤーの操作に対してBGMに合ったメロディを再生する仕組みをご紹介します。

Harmonix とは

「Unreal Engine 5.4 の新機能である Harmonix プラグインは、音楽ゲームプレイの作成に使用できる一連のツールとランタイム機能を提供します。」とあります。
主にUE5でMIDIを扱う機能と新たなサンプラー(Fusion Sampler)が提供されるようです。

Fusion Sampler は置いておいて、今回はMIDIを活用した実装例のご紹介です。

例によってベータな機能ですので、今後のアップデートによっては仕様が変更される可能性があります。ご留意ください。

なお、MetaSound の基本的な機能については当ブログの下記記事にてご紹介しております。
再生や出力などの機能の詳細については省略いたしますので、下記記事をご参照ください。

[UE5] ハンズオン！ UE5サウンド新機能”MetaSounds”で効果音を加工してみよう！

(音量にご注意ください。)

プレイヤーが白いアイテムを取得したタイミングでBGMに合ったメロディが流れています♪

ThirdPersonTemplate から新規のプロジェクトを作成します。

Audio -> Harmonix を探して、有効化しましょう。

Unreal Editorの再起動を求められるため再起動します。

今回はメロディが分かりやすい曲をご用意しました。(音量にご注意ください。)

この曲のメロディを抜いてBGMとします。

またメロディとして使うベルの単音も用意しました。C4(下から4番目のドの音)を鳴らしています。

BGMとベルの音をインポートします。

メロディのみを書き出したMIDIファイルをインポートします。

Audio -> MetaSound Sourceから新しいMetaSoundを作成します。

名前は「MS_BGM」とします。

「MS_BGM」を開き、Outupt Format を Stereo に変更します。

下記の画像の通りにノードを組みます。
WaveAsset は先ほどインポートした BGM を選択します。

再生するとシンプルにBGMが鳴るMetaSoundができました。

「BP_ThirdPersonGameMode」を開き、下記のようにノードを組みます。

これでゲーム中でBGMを鳴らすことができました。

一度、MIDI再生の仕組みを理解するために
単純にMetaSound内でベル音でメロディを鳴らすように組んでみます。

ノードが長くなるので2回に分けて解説します。

MS_BGMを開いて下記のようにノードを組みます。

OnPlay、OnLooped を TriggerAnyノードに繋ぎ、どちらかのトリガーが入ったらMIDIを再生するようにしています
Trigger To Music Transport ノードで再生とシークを同時に実行します
- melodyのMIDIの頭に2小節の空白があったので SeekTareget に2小節の時点から再生されるように設定しています。
Metronome MIDI Clock GeneratorでMIDIクロックを生成します
- 今回はBPM(テンポ) と LoopLengh(ループする小節間隔)を設定しています。
MIDI Player でインポートしたMIDIアセット「melody」を再生します。

次にMIDI Playerに続けて下記のようにノードを組みます。

MIDI Channel Filterでチャンネルを分離します。今回は 1ch にメロディが入っているので 1ch を取り出します。
MIDI Note Trigger でNote On(鍵盤を押したタイミング)とMIDI Note #(音符の番号)を取り出します
Wave PlayerでNote Onのタイミングで「bell」の音を鳴らします。
「bell」は C4(ノートナンバー=60) で鳴らしているので、MIDI NOTE #から60を引きます。
- MIDIがC4を鳴らしたときに、オリジナルのピッチの「bell」の音が鳴るようになります。
「BGM」と「bell」の音をStereo Mixerでミックスします。
- 「bell」の音が少し小さいのでGainを1.5に調整しておきます。

MetaSoundの再生ボタンを押すと「bell」の音でメロディが奏でられます。