【特別対談】『見たことのない文化財』ー8K映像で美しく再現された文化財の裏側を制作陣に訊く【後編】

『見たことのない文化財』ー8K映像で美しく再現された文化財の裏側を制作陣に訊く

TEXT / PHOTO / EDIT＿ NINE GATES STUDIO 神山 大輝

前編はこちらからお読みいただけます。

――UE4で8K映像用のデータを取り扱う上で、特に苦労した点はありますか？

 天見：今回のプロジェクトは非常に高精細な3Dモデルを扱うため、各データの容量が非常に大きいという問題がありました。とりわけ8Kテクスチャの枚数が多く、「遮光器土偶」ではベースカラー、ラフネス、ノーマルマップで各13枚、合計39枚が用いられています。「洛中洛外図屏風 舟木本」ではベースカラーのみの4Kサイズのテクスチャが840枚と、かなりのボリュームです。これはもう、そのままだと絶対に表示できないですよね。ですから、UE4のバーチャル テクスチャリングを用いて、すべてのテクスチャではなく必要な表示領域だけをビデオメモリに送ることでメモリの使用量を抑えています。これは見えている距離や場所によって読み込む解像度を変えていく技術で、解像度の単位もテクスチャ1枚ごとではなく細かくタイル状に分かれています。今回は特に、切り替わりの際に解像度が低いテクスチャが見えてしまわないように注意しました。

鈴木：切り替えた時の読み込み遅延がノイズになるんですね。これは没入感を阻害する原因になってしまうので、「切り替えがスムーズ」「60fps以上」という2点はかなり注力して開発を頂いた部分だと思っています。これも5年前には実現できなかった部分なので、ある種リベンジのような気持ちでしたね。

国見：出演者にとって、ひいては番組にとって、「実物を鑑賞している」という感覚になれるかどうかが重要でした。ですから、切り替わりのタイミングで偽物感が出ないように、というのは特に意識しています。そのおかげで、こうしたデジタルアーカイブがきちんと価値のある記録になるのだというのを改めて認識しました。

6曲1双という大きさの屏風を極めて高精細に再現するために、実に840枚の4Kテクスチャが用いられている。ファイル容量は100GBを越えており、実装コストだけでなくファイル転送コストも高かったとのこと。

――総計100GBを越える容量の8Kテクスチャを処理した前例はほとんどないと思います。テクスチャを適切に表示するために、具体的にどのような仕組みを取り入れましたか？

 橘内：バーチャルテクスチャリングについては天見と事前に検証していたのですが、初期設定では切り替わりが目立ってしまっていたんですね。仕様的に仕方ない部分もあったのですが、カメラを左から右にパンした時に、画面外から新たに入ってきたテクスチャはまだ少しぼやけている、といった具合です。これを改善するためにカメラを2台用意し、先行するカメラを事前レンダリング用として用いることでミップマップを正常に読み込ませることができています。この手法はレンダリングコストが上がるため、本来であればバーチャルカメラテクスチャリングのプログラムを編集する方が理に適っていますが、今回は作業時間の都合もあり、見えている機能で対応しました。また、コンソールコマンドの「r.VT.Borders」の機能できちんと確認しながら作業が進行できたのも、デバッグに力を入れているUE4ならではと感じました。

バーチャルテクスチャリングのデバッグ画面。r.VT.Bordersを用いることで、どの程度のミップレベルで読み込まれているかを境界線の色で確認可能。初期状態ではカメラ端のミップが低解像度でぼやけており、タイルごとに不要なラインも表示されていたため、先行する事前レンダリング用のカメラを別途用意することで対処した。

天見：あとは、UDIMのテクスチャインポートにもすごく時間が掛かりましたね。当初はメモリの少ないPCで作業をしていましたが、何時間も動かせない時間が続きました。

橘内：動かないだけならまだマシで、シーンにバーチャルテクスチャを大量に配置した状態で一度コンパイルが走ると、メモリがオーバーランしてしまう状況でした。この時はさすがにPCメモリを64GBまで増設して対応しました。ただ、一括でテクスチャをインポートすると固まってしまうので、アセット単位でひとつずつ手作業でインポートしていました。

鈴木：本当はどこかでプログラミング化できたとも思いますが、時間の都合で「1時間手作業を頑張った方が良い」という判断になりました。この辺りのワークフローは今後の課題ですね。UE4もまだ100GB越えのバーチャルテクスチャを一括でインポートするというのは想定していなかったような雰囲気でしたが、画が出るところまではNHK社内でも確認ができていたので、最低限なんとかなるという想定では動いていました。

天見：正直言って、最初は普通に動くとは思わなかったですけど、試しみたら綺麗に動いたぞと感動しましたね。この恩恵もあって、どこまでも近付ける綺麗な屏風が再現できています。

 「洛中洛外図屏風 舟木本」では4Kテクスチャ（ベースカラーのみ）を70枚x12=840枚用いており、どこまで近づいても高解像度が保たれている。バーチャルテクスチャリングによってメモリ負荷を抑えているほか、テクスチャ画像ごとではなく細かなタイルごとにミップマップの切り替えが行われるため、解像度が変わったことに気付きづらくなっている。

――国宝の屏風にどこまでも近付いていける感覚は本当に驚きました。本作では8Kディスプレイへの出力、プロジェクターでの投影のほかに、VR/ARモードも番組内で使用されています。この部分の実装についてはいかがでしたでしょうか。

 国見：まず、各モードがどういうものかを説明します。VRモードでは、目の前のオブジェクトを自由に拡大・回転させながら鑑賞ができたり、「遮光器土偶」の内側に入って鑑賞ができるようになっています。ARモードは、ヘッドマウントディスプレイの外部カメラに映る実際の空間にオブジェクトを配置できる機能で、番組内ではこれを奈良の仏師の方に体験して頂きました。その方が仰るには、「国宝級の仏像を勉強する時は図録（写真集）から情報を拾うしかなかった。しかし、図録ではカメラのレンズでパースが掛かってしまい、実物とかたちが全く同じではない。」とのことで、ARであればまさに知りたかったものが目の前にあるという、まさに革命的な機能だと評価して頂けました。今後の仏像づくりにも活きるのではないかと期待されていましたね。

鈴木：今回は「Varjo XR–1」という少し特殊なデバイスを使用しました。手に入れてから検証環境を構築するまでにハードルはありましたが、このクオリティのARをオンエアに繋げるという事例は世界中見てもほとんどないと思います。

天見：「VRでどう見せるか？」の演出のご指示を頂いたあと、こちらでUE4のシーケンサーを用いて仕込みを行いました。リアルタイムの恩恵としては、最初にルックをつくってしまえば、あとは最終段階の見た目でプレビズ用の動画をお見せできた点です。そのおかげで、双方の認識の誤差は少なかったですね。

ヒストリア・エンタープライズ アーティスト 天見 信太郎 氏

――そのほか、本プロジェクトにおける開発の特徴的な要素があれば教えてください。

鈴木：我々のわがままとして、「バーチャルカメラを実装して欲しい」と依頼させて頂いたのですが、あれは本当に助かりましたね！HTC VIVEコントローラーをカメラに見立てて、自分たちだけで編集室で文化財を疑似的に撮影できるようになる恩恵は計り知れないです。普通ならカメラのアニメーションカーブで手動で直さないといけないところを、バーチャルカメラであれば1分の映像に対して1分しか掛からない。5倍、10倍の工数削減になっていました。

国見：普通はカメラマンが撮影を行うのですが、自分の中にはっきりとしたイメージがあればあるほど、指示を出して出来上がったものと乖離があったりもするものです。自分でカメラワークができるのは本当に良かったですし、文明の利器だなあと感心しました。

橘内：あの機能は最後の方に実装したのですが、まさかそこまで使って頂けているとは…。便利だと言って頂けて自分も嬉しいです。

――最後に、皆さんそれぞれの今後の展望や挑戦してみたいことについてお聞かせください。

 国見：本プロジェクトはまだ1年目で、2021年度も続いていきます。今あるデータをすべて3DCGにはできていないので、これらをどこまで盛り込めるかは自分でも楽しみです。また、デジタルアーカイブとして期間内にUE5実装できるのか？というところも、技術的には気になるポイントです。きっとまた見え方が変わってくるのだろうと思いますし、見え方が変われば演出も変わります。そこには、今はまだ想像できていない感動がきっとあるはずなので、この研究期間で実現できればいいなと思っています。

鈴木：いまの我々が表現できているものは、そこになっていた果物を取ってきてお皿に置いたくらいだと思うのです。そこになにかを加えたり、料理をするということができていない。UE4で言えば、例えばポストエフェクトで印象を変えたり、アセットと組み合わせてシーンを構築したりと、まだまだできていないことが山ほどあるんですね。でも、これらをやることによって、ただ8Kのコンテンツというだけでなく、もっと「みんながまだ見たことのない映像」になると思うんです。まだまだやることはたくさんあります！

天見：私はアーティストですから、まずはルックの向上に努めたいです。展望という意味では、橘内がつくったようなバーチャルカメラを用いたプリビズをどう構築するかなど、映画制作の現場に近いシステムをつくるお手伝いをしたいと思っています。番組の背景などもUE4でつくって、LEDウォールに投影するのも面白いかもしれません。システム周りで挑戦をしてみたいと思います。

橘内：いまは展示用コンテンツというお話も頂いており、普段コントローラーを使い慣れないような層や子どもでもきちんと操作して楽しんで頂けるようなシステム構築を行っています。番組キャストだけでなく、誰が触っても楽しく鑑賞ができるようなシステムをどこまで詰められるかが今後の目標です。

今後の放送スケジュールはこちら

【BSP】
4/7(水)午前10:45～11:14「遮光器土偶」
4/14(水)午前10:45～11:14「洛中洛外図屏風（舟木本）」
4/21(水)午前10:30～10:59「百済観音」

【BS4K】
4/13(火)午前10:00～10:29「遮光器土偶」
4/20(火)午前10:00～10:29「洛中洛外図屏風（舟木本）」
4/27(火)午前10:00～10:29「百済観音」

【BS8K】
4/11(日)午後3:00～3:29「遮光器土偶」
4/18(日)午後3:00～3:29「洛中洛外図屏風（舟木本）」
4/25(日)午後3:00～3:29「百済観音」

4/13(火)午後2:05～2:34「遮光器土偶」
4/20(火)午後2:00～2:29「洛中洛外図屏風（舟木本）」
5/11(火)午後2:00～2:29「百済観音」

4/23(金)午後5:00～5:29「遮光器土偶」
4/30(金)午後5:00～5:29「洛中洛外図屏風（舟木本）」
5/7(金)午後5:00～5:29「百済観音」

『見たことのない文化財』番組公式ホームページ