VR技術の導入が進む医療現場
医療現場でVR技術の活用が進んでいる。特に立体診断や治療計画、手術支援などの臨床現場から、シュミレーション、患者説明、トレーニング、学術研究、教育分野などで導入されている。
医療では元々シュミレーターという練習用の機械が、臨床や医学教育で活用されていた。メスによる切開とか縫合、気管挿管や注射をぶっつけ本番でやったり、生身の人間で試したりはできない。そこでマネキンや臓器模型で練習したり、画像で予習したりする。こうしたシュミレーターは概して価格が高く、画像も実在の患者個人のものではなくCGアニメやイラストでつくられたものがほとんどだった。
そこで患者個人の医用画像データから、個別にシュミレーションや手術計画を立てることができるシステム「Holoeyes」を開発した。まず、患者個人の医用画像（X線やCT、MRIなど）を3次元化し、臓器や血管や癌などの形を座標データに変換してポリゴン（多角形）として書き出す。ポリゴンデータをクラウドサーバーに送信すると、自動でVR用の3Dモデルに変換される。この3DモデルデータをインストールしてHMD（ヘッドマウントディスプレイ）で見ると、目の前に立体の臓器や血管が浮かび上がって見える。指でつまんで引き寄せたり、大きさを変えたりといったジェスチャーや、HMD専用のコントローラーで、3Dモデルを回転させたり、自由自在に拡大したり縮小したりできる。しかも、3Dモデルに医師や患者も合わせて表示できるので、3Dモデルの体内や臓器の中に入ったり、裏側をのぞき込んだりできる。手術中には実際の患者の手術部位に3Dモデルをホログラムのように重ね合わせることも可能だ。
医療現場では、検査画像を3次元に表示していたが、平面のモニタ画面で見るものに過ぎなかった。モニタ画面では奥行きや大きさなど立体的な構造を把握しにくかった。それがVR技術によって、臓器の立体的な位置関係や血管の走行、脂肪や筋骨格などの複雑な空間的位置関係をより直感的に理解できるようになった。
Holoeyesシステムは、開腹手術、内視鏡外科手術、ロボット支援手術を問わず有用だが、中でもロボット支援手術との親和性は高い。daVinciによるロボット支援手術では、鉗子や内視鏡カメラを操作するのはサージョンコンソールに座る執刀医だけ。周りには誰もおらず、モニタで認識した画像をもとに自分で判断し、自分で手術を進めていく。助手は患者の術野付近に立ってロボットアーム先端の鉗子を交換したり補助したりする役割を担うので、執刀医と助手が協力しあったり、察知した危険やインシデントを伝えあったりする場面はまれだ。
サージョンコンソールの執刀医と遠隔操作の鉗子を見守る助手の間で起きる食い違い、ヒヤリとする場面は案外多い。両者のコミュニケーションが音声だけで行われ、助手は平面モニタで内視鏡カメラ映像を見ているだけだからだ。この点をHoloeyesシステムはうまく補ってくれる。
医用VRサービスは現在、国内外で120以上の施設で導入され、利用された症例数は1000を超えている。手術中の利用だけでなく、術前の手術計画、術後カンファレンス、研修医の教育、遠隔地の医師同士のカンファレンスでもVRは活躍している。
医療技術の伝承に活用
Holoeyesでは、執刀医の動きを記録・加工し、データとして販売する計画もある。CT画像からつくった3Dモデルと、医師がどう判断したかという認知、治療の際の手の動き、これらのデータをセットで提供する構想もある。
VRにさらに期待しているのは医療技術の伝承だ。これまで外科手術の手順は文章化できても、テクニックの勘所は容易に言語化できず、ベテランの手技を見て身につけなければならなかった。だから医療、特に外科は「暗黙知」が多い。
ベテランの手技を正確に伝えるには、執刀医の手技を目で見るだけでなく、そのまま3次元空間で再現し、追体験する必要がある。執刀医の手の動き、視線の動きを3Dスキャンして立体空間的に記録し、そのデータをHoloeyesシステムで見ることで執刀医の動きを実際にトレースできる。
バーチャル空間で再現したVRによるアバターなら、執刀医と同じ位置に立つこともできるので、あたかも二人羽織のように手技を自分の動きと重ねて覚えられる。