VR・MR分野の実社会での活用にかかわる基礎的技術の開発や社会実践を介したオープンスパイラルでの研究開発を行っている.とりわけ高品位なVR・MRを用いたミュージアム展示技術の研究開発を実践的に行っている.
受け身ではなく,いかに主体的に体験させるか,インタラクティブ性と情報伝達のトレードオフを解決する展示システム
従来の展示ケースのインタフェースを保ったままバーチャルな展示物を表示し、展示物が持つ背景情報を分かりやすく伝えるシステム
Image-based Renderingによりインタラクティブかつ高品位なVRコンテンツを生成し,文化財にまつわる体験性の情報を直感的に伝える展示システム
ミュージアムにおいて、展示物とその背景情報となる映像資料を共存させて展示する複合現実感展示システム
市街地の公共空間において、その場所の昔の風景を全天周映像で提示し、現在の風景に重ねあわせて鑑賞・追体験のできる屋外AR展示システム
ユーザが地域ARのコンテンツを自由に作成可能なプラットフォーム“クラウド型思い出のぞき窓”を作成
地域の今と昭和の風景写真がARで溶け合う「思い出のぞき窓」を展示.1964 年のオリンピック聖火リレーの様子や当時の風景にスポットを当て,追体験可能にした.
ARを使って現在と過去の風景をタブレット端末に映し出し、ガイドの解説を聞きながら、ARならではの魅力的な体験を可能にした.当時の状況や場所の意味などを直観的に理解可能にすると共に興味の誘発を可能にしている.
VRの高い臨場感の感覚提示技術や行動センシング技術を用い,人間の知覚特性や行動特性を用いた適切なフィードバックを行なうことで,無意識的な判断や適応的行動を引き出す行動誘発や行動支援が可能になる.
VR空間を自由に鑑賞できるシステムにおいて、特定の場所を鑑賞するようにユーザを誘導する技術
視覚誘導性身体運動を利用し,説明員なしに理解しやすい操作でコンテンツを鑑賞できる映像提示手法を提案.
他体験者を見える化することによって,ユーザーのVR空間体験時間の増加,VR空間内の積極的な移動などの行動誘発効果を実現した.
視点に基づく生成画像の歪みの定量評価指標を学習により決定.歪みの高い部分に移動や注意が向かないよう誘導し,映像品質とインタラクティブ性の両立を実現
主行動を様炊けない周辺視野に映像提示可能なHMDを開発.周辺視野への視覚的刺激提示による無意識の反射行動を用いた移動支援を実現
複合現実感空間において、実際よりも持っている物体が軽く見えるよう重量知覚操作を行うことで機構を用いずとも力作業におけるユーザのパフォーマンスが向上することを示した。
目的の経路と描画のずれがあるとき発生する擬似触力覚を用いて描画支援システムを構築した.2-3倍のゲインで表示することで実際の描画の精度が向上することを示した.
情報処理の対象として直接的には扱われてこなかった人間の感情や共感のセンシングとフィードバックに注目し,従来の物理的な行動のセンシングや情報のフィードバックに加えることで,主観的な臨場感の向上だけでなく対人接客訓練やメンタルサポートなどへの応用が期待できる.
実際に自分の表情は変化していないものの,擬似的に表情が変化したように情報を提示することで,それを認知させ無自覚に感情を喚起させるシステム
Smart Faceは、容貌を変化させることによって、ブレインストーミングの能力を向上するシステム
ユーザによる入力音声を落ち着いた声に変換してフィードバックすることで,ユーザの緊張感を緩和する
他者からも観測可能な身体反応として流涙に注目し,涙眼鏡を使用して擬似身体反応提示を行うことで,情動伝染を発生させ,最小の装置で効果的に多人数の感情体験を合成・制御を行なった.
VR訓練中に訓練者の生体情報や感情状態をセンシングし,訓練者の感情状態に応じて難易度を変更したり,メンタルの調整を可能にする訓練システムの研究開発を行なっている.
実生活において収集されるライフログやSNSデータを活用して未来予測を行い,それをユーザにフィードバックすることで,人間の生活や社会にどのような影響を与えることができるか,また生活や社会を最適化するためのメカニズムデザインを明らかにする研究を行っている.
将来のタスクの集中を防ぐために, ライフログによる生活の傾向からタスクの将来の状況を予測し、提示します。
レシートをOCRすることで購買行動を記録し、未来に「どこで・どのくらい」お金を使いそうかを予測・提示します。App Storeで公開中。
ライフログから得られる生活の傾向から将来の自分の状況を予測・提示し、計画的なタスクマネジメントを実現します。App Storeで公開中。
他人の評価のフィードバックによって食事の満足度を操作することで、健康的な食事に対する満足度を高め、無意識レベルで食行動を改善
高速道路の交通状況を予測し、その予測をドライバに一覧性高く提示することで、対話的に時間計画を行うことができるインタフェースを提案
各地域でできる体験のイメージをBiLSTMで求め,ベストなタイミングで見せてくれるインタラクティブな旅行計画システム
触覚・嗅覚・味覚などの情報提示が可能なシステムについて開発を行っている.また、独立に感覚情報を提示する手法だけでなく、感覚間の相互作用を利用して、限られた感覚刺激から多様な五感情報を感じさせるクロスモーダルインタフェースについても研究を行っている.
視覚・聴覚・触覚に続く新しい感覚器へのディスプレイ技術の開発として,世界に先駆けて行なった嗅覚ディスプレイ(1997)
ウェアラブルコンピュータやAR技術のための嗅覚ディスプレイとして開発 (2005)
ピエゾ式ジェットノズルによる微小液滴の粘膜への直接噴射を可能にすることで,高い応答性と正確性を実現 (2006)
視覚と嗅覚の感覚間相互作用に注目し,限られた匂い物質のみから多種類の嗅覚知覚を可能にする手法を提案し実証 (2010)
視覚・嗅覚・味覚間の感覚間相互作用を利用することでクッキーを食べた際の味を変化させる味覚提示手法
視触覚間相互作用の効果を用いることで、ユーザが描いた様々な形状の物体を触っている感覚を提示するシステム
拡張満腹感は、拡張現実感によって食品の見た目のサイズだけを変化させることで、満腹感は一定のまま食事量を10%程度増減させることが可能なシステム
限られた実空間内で広大なVR空間の歩行移動を可能にする手法であるリダイレクションに触覚的手掛かりを組み合わせることで,従来手法より狭い実空間でもリダイレクションが可能になることを示した
大量画像とイメージベーストレンダリングを用いることで,写真的リアリティとインタラクティビティの両立を実現(1998)
カメラの位置を推定し,空間を再構築することで,障害物の向こう側をリアルタイムに透視して把握することが可能になる.
限られた画像から過去の風景の再構築を行い,任意の地点で現在の風景となめらかに接続することで,Virtualな時間移動が可能になる.
それぞれのデータや用途に適した座標軸やレンダリング手法によるVR環境を個別に構築し,それらを生成画像の定量的な品質評価に基づいて統合することで,ロバストかつ大規模なVR空間の構築が可能になった.(2002)
複数カメラからの実画像を,広帯域ネットワークを介して伝送することにより,高い臨場感で人の伝送を可能とした. (1997-2002)
全周に等間隔で設置した18方向のカメラを用いて人物のリアルタイム撮影を行い,リアルタイムに3Dモデルとテクスチャ化を行なうことで,3Dの人物像をリアルタイムに伝送可能にした(2003)
実環境におけるビデオアバタを提示可能にする全周方向裸眼3Dディスプレイを開発した.高速で回転するディスプレイ上に高速で様々な方向の人物像を切り替えて表示を行なうことで人物の実環境への伝送が可能になった.
4台のKinectを組み合わせて、実空間を3次元的に記録・再構成する。過去の人がその場にいるかのような映像を作ることが可能になった。