ブログ

Jun 17, 2023

ディープラーニングが現実を可能にする

人工知能を使用することで、科学者はスマートフォン上でも写真のようにリアルなカラー 3D ホログラムを迅速に生成できるようになりました。 そして、新しい研究によると、この新しいテクノロジーは仮想化で使用できる可能性があります。

人工知能を使用することで、科学者はスマートフォン上でも写真のようにリアルなカラー 3D ホログラムを迅速に生成できるようになりました。 そして、新しい研究によると、この新しい技術は、仮想現実 (VR) や拡張現実 (AR) ヘッドセット、その他のアプリケーションで使用できる可能性があります。

ホログラムは、基本的に 3D シーンを見ている 2D ウィンドウに似た画像です。 各ホログラムのピクセルは、そこに当たる光波を散乱させ、これらの波が相互作用して奥行きの錯覚を生み出します。

ホログラフィック ビデオ ディスプレイは、2D 画像を使用して奥行きの錯覚を生み出す従来の 3D ディスプレイとは異なり、目の疲れを感じることなく視聴できる 3D 画像を作成します。 しかし、Samsung などの企業は最近、ホログラフィック ビデオを表示できるハードウェアの開発に向けて進歩を遂げていますが、そのようなデバイスが表示するホログラフィック データを実際に生成することは依然として大きな課題です。

各ホログラムは、画像全体に奥行きの錯覚を作り出すために、膨大な量のデータをエンコードします。 そのため、ホログラフィック ビデオの生成には、スーパーコンピューターに相当する計算能力が必要になることがよくありました。

ホログラフィックビデオを大衆に提供するために、科学者は必要な計算量を削減するためにさまざまな戦略を試みてきました。たとえば、複雑な物理シミュレーションを単純なルックアップテーブルに置き換えるなどです。 ただし、多くの場合、画質が犠牲になります。

今回、MIT の研究者らはホログラムをほぼ瞬時に生成する新しい方法を開発しました。この方法はディープラーニングに基づいた非常に効率的な方法で、ラップトップ上で瞬く間にホログラムを生成できます。 彼らは今週、ソニーから一部資金提供を受けて得た研究結果について、オンライン誌「ネイチャー」に掲載した。

「すべてが魔法のようにうまくいきました。本当に私たちの期待をすべて上回っていました」と、この研究の主著者であり、MIT のコンピュータ科学者である Liang Shi 氏は言います。

コンピューター生成ホログラフィーに物理シミュレーションを使用するには、ホログラムの多くのチャンクの外観を計算し、それらを組み合わせて最終的なホログラムを取得する必要があると Shi 氏は述べています。 ルックアップ テーブルの使用は、頻繁に使用される一連のホログラムのチャンクを記憶するようなものですが、これにより精度が犠牲になり、依然として結合ステップが必要になると彼は言います。

ある意味、コンピューター生成ホログラフィーは、ケーキの切り方を考えるのと似ているとシー氏は言います。 物理シミュレーションを使用して空間内の各点の外観を計算することは、8 つのスライスケーキを製造するために 8 つの正確なカットを使用することに似た時間のかかるプロセスです。 コンピューター生成ホログラフィーにルックアップ テーブルを使用することは、切断前に各スライスの境界をマークするようなものです。 これにより、どこをカットするかを計算するステップが不要になり、多少の時間が節約されますが、8 つのカットをすべて実行すると、やはり時間がかかります。

対照的に、新しい技術は深層学習を使用して、わずか 3 つのカットを使用してケーキを 8 つのスライスにカットする方法を本質的に理解するのに役立つとシー氏は言います。 畳み込みニューラル ネットワーク (人間の脳が視覚データを処理する方法をほぼ模倣したシステム) は、ホログラムの各チャンクがどのように表示されるかを個別に計算する必要なく、完全なホログラムを生成するためのショートカットを学習するため、「全体の操作が桁違いに削減されます」と同氏は述べています。と言う。

3D ホログラム計算の視覚化。 (左) 3D モデル。 (中) 深度データを含むカラー画像。 (右) 3D ホログラムを生成する散乱光パターンのシミュレーション。画像: MIT

研究者らはまず、各ピクセルの色と深度情報を含む 4,000 枚のコンピューター生成画像のカスタム データベースを構築しました。 このデータベースには、各画像に対応する 3D ホログラムも含まれています。

このデータを使用して、畳み込みニューラル ネットワークは、画像からホログラムを生成する最適な方法を計算する方法を学習しました。 次に、深度情報を含む画像から新しいホログラムを生成することができます。この深度情報は、一般的なコンピュータで生成された画像とともに提供され、一部の新しい iPhone に標準搭載されているマルチカメラ設定または LIDAR センサーから計算できます。