最新の複合現実(MR)ヘッドセットでは、パススルー機能が搭載されており、実際の周辺環境をシミュレーションすることが可能となっています。Metaの「Quest Pro」やAppleの「Vision Pro」などのヘッドセットでは、カメラとレンズの配置によって風景を再現しています。パススルーは、ホームデザインやファッション、インタラクティブラーニングなど、実世界を考慮したアプリケーションに利用され、拡張現実(AR)の空間認識と画像シミュレーションに役立っています。
実際の視覚的体験を再現するのは容易ではありませんが、MetaのReality Labsのチームはパススルーの謎を解明しました。彼らは「Flamera」というヘッドセットのプロトタイプを開発し、ライトフィールドパススルーを採用しています。このヘッドセットは、カメラのレンズアレイとセンサーの間に「絞り」のグリッドを置くことで、ユーザーが最適な光を取り込むことができるようになっています。
Flameraの光学設計は、ヘッドセットを薄くし、パススルーカメラをユーザーの目の近くに配置することが重要です。MetaのDSRチームは、この技術に基づいて遠近法的に正しいMRパススルーの体験を実現することに力を注いでいます。
FlameraはSIGGRAPH 2023でデモが行われた際には、その品質の高さが評価されました。
コメント