今回の記事は、今月と来月の2回に分けてXR技術についてご紹介します。興味深いリンクもたくさんあるので、アクセスして確認してみてください。
データ統合・開発部の吉永です。
私はこれまで、XRを中心とした3D可視化技術の活用に関する研究に取り組んできました。現在はAvaxia AsiaでXR開発とコンサルティングを主軸とし、その傍らで九州先端科学技術研究所の特別研究員としても研究活動を続けています。
今回は、Avaxia Asia入社前後の取り組みと、XR技術×AI活用に関する今後の展望についてお話します。
（以前に書いたXR/ARに関する記事については、以下を参照ください）
はじめようWebARコンテンツ作成 1/3
はじめようWebARコンテンツ作成 2/3
はじめようWebARコンテンツ作成 3/3
博士課程から現在まで、研究のメインテーマとしてXR技術をはじめとする可視化技術や画像処理技術の医療応用に取り組んできました。特に注力してきたのは、AR技術を用いた超音波診断の支援システムです。
超音波診断では、検査技師がプローブ（患者に押し当てる器具）を操作して体内の断面画像を見るのですが、その断面が体のどの位置にあるのか把握するのは経験が必要です。そこで私は、撮像している断面と患者の体表や臓器の空間的位置関係をARで可視化するシステムを開発しました。また、撮像対象の臓器の形状を画像処理で認識し、ARで表示する手法も構築しました。
さらに、今ではメタバースなどの普及で当たり前になった遠隔コミュニケーション技術ですが、そのような技術が普及する以前から、遠隔地から超音波画像取得を支援する研究を行っていました。下の図のように、遠隔地の熟練医師からのインストラクションをARで視覚的に表示し、それに合わせてプローブを操作することで、経験の浅い医師でも適切な診断画像を取得できることを示し、僻地や在宅環境での医療への応用を目指してきました。
また当時はまだHMD（ヘッドマウントディスプレイ）が普及していなかったため、PCの画面にARによるガイド情報を表示していましたが、現在はこのような仕組みをHMDを用いたARに適用したり、超音波プローブの位置計測にマーカー（黒い枠の正方形の目印）を使わない「マーカーレス化」に関する研究などを継続しています。
研究所の研究員に着任してからは、ウェアラブルセンサーを用いたモーションキャプチャ技術の開発にも携わりました。従来のカメラ式と異なり身体の隠れに強く、スポーツ選手やリハビリ患者の動作をいつでもどこでも計測できる技術です。これは地場の民間企業との共同研究として取り組みました。
この技術は共同研究先の企業に高く評価され、製品化にもつながりました。この取り組みを通じて、特定の技術に閉じず、可視化・画像処理・センシングといった複数技術を掛け合わせることで新たな価値を生み出せることを実感し、以降、技術の掛け合わせによる課題解決を強く意識するようになりました。
そこで、これまでの主軸である超音波診断ARに加えて、体や筋肉の動きを捉えるセンシング技術を活用したリハビリシステムや、農場の環境情報（気温、湿度、CO2濃度など）と植物の3D形状をそれぞれセンシングし、スマート農業に活用する研究など、さまざまな分野の研究にも取り組んできました。
他にも、放射線医療教育や土木分野、VR心理学など、さまざまな分野の研究者との共同研究を通して、自身のARシステム開発スキルを異分野の発展に活用し、さらに自身の知見も広げてきました。
また、個人の趣味の活動としても、ARと各種センシング技術を用いたプロトタイピングを日々行っています。すべて紹介するときりがないため、詳細に興味を持った方はぜひ私のポートフォリオサイトをチェックしてみてください。
https://vizyoshinaga.sakura.ne.jp/en/
ここでは、自分が思い描くXRの未来に関連する2つの作品だけ紹介させていただきます。
2020年前後に話題になったメタバースでは、本人の姿や好きなキャラクター、理想の姿を反映したアバターを介して、遠隔地の人とコミュニケーションをとるのが一般的です。 一方で私が開発したのはアバターではなく、本人のリアルな姿をリアルタイムに転送し、目の前に本人がいるかのような状況で会話ができるシステムです。言い換えれば「Zoomの3D版」です。
このアプリはこれまでXR系のイベントでデモをしたり、TV取材を受けたり、個人開発アプリとしてApp Storeで配布したりと、多くの方に体験していただきました。現状はまだ見た目に粗さもありますが、3Dスキャン技術の発達やAIの活用により品質を高め、スター・ウォーズのホログラムのような体験に近づけられると期待し、個人的な研究を継続しています。
このデモ動画では、部屋のドアとXR的な表現を連動させています。一見すると「ドアの向こうの世界に出入りする」という視覚的な部分に注意が行きがちですが、これを実現するにはドアの開閉のリアルタイムセンシング技術が必要になります。この作品では、視覚的に面白い演出の裏に日常の物体とデジタル情報を結びつける基盤技術を仕込み、現実とXRを連携させる技術の掛け合わせを実証しています。
IoTという言葉が普及してだいぶ経ち、工場や発電所では装置などのリアルタイムセンシングが浸透しているのはご存じかと思います。これと同様に、一般の生活空間にもセンシング技術が当たり前に仕込まれるようになり、さらにARグラスが日常的に使用されるようになれば、例えばドアや窓に施錠状態を重ねて表示したり、稼働中の家電にリアルタイムの消費電力を重ねて表示したりと、実物にセンサーデータを紐づけて接する体験が、日常に溶け込んでいくと夢見ています。
次号では、Avaxia Asiaでの挑戦についてご紹介します。乞うご期待！
