KAJI LABORATORY

正式な研究室名は行動情報科学研究室です.行動をセンシングし,行動をデザインする研究室です. スマートフォン等の各種センサを用いた屋内位置推定・行動認識技術の追求と,それに基づいた人間拡張や行動変容に資するシステムの実現を目指します

MRひっぱるーむ:現実空間をゲームの要素として活用するMR ゲーム

現実空間の壁や家具をゲーム要素として利用し,ハンドトラッキングによるボール操作を通じて空間理解を促進する MR ゲーム

研究の概要

本研究では,現実空間をゲームの要素として活用する Mixed Reality(MR)ゲーム「MRひっぱるーむ」を提案する.本システムは Apple Vision Pro 上で動作し,ハンドトラッキングを用いて仮想ボールを掴み,引っ張り,放すという直感的な操作によりボールを射出する.射出されたボールは ARKit のシーン再構築機能によって取得された現実空間の壁や床などのポリゴンメッシュを反射面として移動し,ユーザは現実の部屋全体をゲーム空間として利用できる.RealityKit による物理演算を用いてシステムを実装し,ユーザ評価実験を通して体験の有効性を検証した.その結果,プレイヤーが周囲の空間構造や家具配置を意識しながらプレイする傾向が確認され,MR 環境が空間理解や探索行動を促進する可能性が示された.一方で,ボール挙動の制御や操作支援,マルチユーザ対応などの課題が明らかとなった.今後はこれらの改善を通じて,より発展的な MR ゲーム体験の実現を目指す.

図1.png (1.6 MB)

phoneSynth: スマートフォンの姿勢変化で操作する演奏機能の分離された楽器アプリケーション

スマートフォンのセンサを用いたシンプル操作と「演奏機能の分離」により,複数人で手軽に協調演奏できる電子楽器アプリを提案・開発した。

研究の概要

独自の演奏インタフェースを持つ電子楽器は,操作性と表現方法を自由に設計できる利点がある一方,しばしば操作が複雑になる傾向がある. そこで本制作では,普及率の高いスマートフォンを楽器として活用し,より多くの人々にとって魅力的で手軽な楽器演奏の入り口となるよう設計する.スマートフォンのセンサや通信機能を活かした演奏方法と,本制作で提案する「演奏機能の分離」というコンセプトを図に示す.これらを実現する楽器アプリケーションphoneSynthをAndroid上で制作した. 演奏方法の基本構成は,センサによって得られる端末の傾きを,シンセサイザの各パラメータにマッピングする方式である.また,ここでの「演奏機能の分離」とは,一つの楽器の演奏要素を音高,音量,音色などに細分化し,複数人で分担する協調演奏の形態としている.このアプローチは,複数人での共同作業という新たな演奏体験を提供するだけでなく,奏者の熟練度のばらつきに対して柔軟な対応を可能にし,奏者間のコミュニケーションを促進する効果が期待できる.