空中超音波触覚ディスプレイによる 空中ハプティクス

＊使用方法等についての問い合わせは上記 Q&A でお願いします。当研究室または上記製造業者への直接の問い合わせはご遠慮下さい。当研究室は上記デバイスの販売による利益の供与は一切受けておりません。

空中 超音波触覚ディスプレイ （AUTD） は、多数の超音波振動子を配列した超音波振動子アレイにより、空中の任意の位置に超音波の焦点や細かい分布を作り出します。これによって、何も装着していない人体表面に触覚を提示することができます。

音のエネルギ密度の大きい超音波の焦点においては、正負に変動する音圧の平均値が上昇します。これは音響放射圧と呼ばれており、これが人体表面を押す力となります。焦点は、「フェーズドアレイ」の原理によって形成され、焦点位置は電子的に制御することができます。また、一つの焦点を作るだけでなく、計算機で逆問題を解くことによって複雑な空間分布を作り出すこともできます。

AUTD が生成する圧力の大きさは、現状で、1平方センチメートルあたり 50 mN 程度までです。また空間分解能は、使用している波長（40 kHz では 8.5 mm）程度までです。このような制約はありますが、その範囲で力の時空間分布を自在にデザインし、さまざまな触感を作り出すことができます。

このように非接触で触覚を刺激する技術の領域は「空中ハプティクス」と呼ばれ、最も基本的な部分については 2008 年から 2010 年代の前半までに東京大学によって提案・確立されました。その後各国の大学や民間企業が参入し、研究開発が活発に行われています。

空中ハプティクスの可能性を示した初期の研究

空中超音波触覚ディスプレイ

• Takayuki Iwamoto, Mari Tatezono, and Hiroyuki Shinoda, “Non-contact Method for Producing Tactile Sensation Using Airborne Ultrasound,” Haptics: Perception, Devices and Scenarios: 6th International Conference, Eurohaptics 2008 Proceedings (Lecture Notes in Computer Science), pp.504-513, 2008.
• Takayuki Hoshi, Masafumi Takahashi, Takayuki Iwamoto, and Hiroyuki Shinoda, “Noncontact Tactile Display Based on Radiation Pressure of Airborne Ultrasound,” IEEE Trans. on Haptics, Vol. 3, No. 3, pp.155-165, 2010.

Touchable Holography　 さわれるホログラフィ （空中立体映像とのインタラクション）

• Takayuki Hoshi, Masafumi Takahashi, Kei Nakatsuma, and Hiroyuki Shinoda, “Touchable Holography,” Full Conference DVD-ROM, Disc1, ACM SIGGRAPH 2009: Emerging Technologies, New Orleans, 3-7 Aug. 2009.

Tactile Projector　 触覚プロジェクタ （人体表面への映像と振動触覚の非干渉同時提示）

• Keisuke Hasegawa, Hiroyuki Shinoda, “Aerial Display of Vibrotactile Sensation with High Spatial-Temporal Resolution using Large-Aperture Airborne Ultrasound Phased Array,” Proc. IEEE World Haptics Conference 2013, Oral, pp.31-36, Daejeon, Korea, April 14-18, 2013.
  *IEEE WHC 2013 Best paper award の Finalist および Best Student Paper Award を受賞
• Keisuke Hasegawa, Hiroyuki Shinoda, “Aerial Vibrotactile Display Based on Multiunit Ultrasound Phased Array,” IEEE Transactions on Haptics, vol. 11, no. 3, pp. 367-377, 1 July-Sept. 2018.

Haptomime　 空中触覚タッチパネル

• Yasuaki Monnai, Keisuke Hasegawa, Masahiro Fujiwara, Seki Inoue, and Hiroyuki Shinoda, “HaptoMime: Mid-Air Haptic Interactions with a Floating Virtual Screen,” Proc. 27th ACM User Interface Software and Technology Symposium (UIST2014), pp.663-667, Hawaii, USA Oct. 5-8, 2014.
  *ACM UIST 2014 People’s Choice Best Demo Award 受賞
  *Innovative Technologies 2014 Industry 特別賞 および SIGGRAPH 特別賞受賞

3D 触覚ホログラム

Seki Inoue, Yasutoshi Makino, and Hiroyuki Shinoda, “Active Touch Perception Produced by Airborne Ultrasonic Haptic Hologram,” Proc. 2015 IEEE World Haptics Conference (WHC), (Oral) pp.362-367, Northwestern University, Evanston, Il, USA, June 22–26, 2015. *IEEE WHC 2015 での Best Demo Award Winner

Haptoclone 視触覚クローン

• Yasutoshi Makino, Yoshikazu Furuyama, Seki Inoue, and Hiroyuki Shinoda, “HaptoClone (Haptic-Optical Clone) for Mutual Tele-Environment by Real-time 3D Image Transfer with Midair Force Feedback,” Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, pp. 1980-1990, San Jose Convention Center, San Jose, CA, USA, May 7–12, 2016.

最近の重要な成果

圧覚の再現

現実的に生成できる超音波放射圧はそれほど高くはありません。皮膚の上で時間的に変化しない圧力（静圧）を生成した場合、その刺激は触覚の閾値を超えることはなく、人間はそれを感じることができません。そのため従来の空中触覚提示では、時間的に変動する振動触覚刺激が用いられてきました。同じ圧力であっても振動する刺激は明瞭に感じることができます。しかしそれは「振動」として感じられ、普通にモノに触れたときの感覚とは大きく異なるものになってしまいます。
ところが近年の森崎らの研究で、ある条件を満たす動的な圧力分布を与えると、圧覚に近い感覚が生成されることが明らかになりました。これにより、空間分解能と提示圧力の上限は前提とした上で、一種の万能性をもつ触覚提示が可能であることが示されました。

• Tao Morisaki, Masahiro Fujiwara, Yasutoshi Makino, and Hiroyuki Shinoda, “Non-Vibratory Pressure Sensation Produced by Ultrasound Focus Moving Laterally and Repetitively with Fine Spatial Step Width,” IEEE Transactions on Haptics, Volume 15, Issue 3, pp. 441-450, 2021.
  *SIGGRAPH ASIA 2021 Emerging Technologies で Best Student Demonstration Award を受賞
  *関連研究が Eurohaptics 2022 Best Demo Award 3rd place に選出

冷覚の再現

• Mitsuru Nakajima, Keisuke Hasegawa, Yasutoshi Makino, and Hiroyuki Shinoda, “Spatiotemporal Pinpoint Cooling Sensation Produced by Ultrasound-Driven Mist Vaporization on Skin,” IEEE Transactions on Haptics, Volume 14, Issue 4, pp. 874-884, 2021. *2022年 IEEE Transactions on Haptics の Best Paper Award 受賞

超音波の可視化

• Ryoya Onishi, Takaaki Kamigaki, Shun Suzuki, Tao Morisaki, Masahiro Fujiwara, Yasutoshi Makino, and Hiroyuki Shinoda, “Two-Dimensional Measurement of Airborne Ultrasound Field Using Thermal Images,” Phys. Rev. Applied 18, 044047 (pp. 044047-1-6) Oct. 2022. doi.org/10.1103/PhysRevApplied.18.044047
• arXiv (12 Mar 2022) https://arxiv.org/abs/2203.07862

その他の主要成果

Lateral Modulation 法：－超音波で強い触覚を作り出す方法－

超音響放射圧を用いた触覚刺激では、デバイスの出力パワーの最大値で最大放射力が決まってしまうため、決まった力の範囲で、なるべく強く感じる刺激方法を用いる必要があります。
人間の皮膚に一定変位を与えた場合、時間的に変化しないものよりも、振動的に変化するものの方が、閾値、すなわち刺激を感じる最小変位が小さくなることが古くから知られており、その閾値は 100-200 Hz 程度で最小値をとります。そのため超音波による触覚刺激を強く感じさせたい場合、100-200Hz で振幅が変化する波形（AM波形）が用いられてきました。
それに対して近年の研究で、超音波の出力を一定に保ったまま、焦点を皮膚に沿って細かく往復振動あるいは回転移動させた方が、刺激を強く感じる事が明らかになりました。力の最大値を同一値に揃えて比較した場合、10 dB程度、あるいはそれ以上に閾値が低下します。特に50 Hz 程度の周波数でその傾向は顕著であり、腕など皮膚の有毛部でもはっきりと触覚を感じることができます。

• Ryoko Takahashi, Keisuke Hasegawa, and Hiroyuki Shinoda, “Lateral Modulation of Midair Ultrasound Focus for Intensified Vibrotactile Stimuli,” International Conference on Human Haptic Sensing and Touch Enabled Computer Applications (Euro Haptics), pp 276-288 ,Pisa, Italy, June 13-16, 2018.
• Ryoko Takahashi, Keisuke Hasegawa, and Hiroyuki Shinoda, “Tactile Stimulation by Repetitive Lateral Movement of Midair Ultrasound Focus,” IEEE Transactions on Haptics, Vol. 12, No 4, pp.652-657, 2019 (Open Access).

不要音の抑制

• Shun Suzuki, Masahiro Fujiwara, Yasutoshi Makino, and Hiroyuki Shinoda, “Reducing Amplitude Fluctuation by Gradual Phase Shift in Midair Ultrasound Haptics,” IEEE transactions on haptics (2020). (Open Access) Early access

指先への分布再現

• Atsushi Matsubayashi, Yasutoshi Makino, and Hiroyuki Shinoda, “Rendering Ultrasound Pressure Distribution on Hand Surface in Real-Time,” International Conference on Human Haptic Sensing and Touch Enabled Computer Applications (Euro Haptics), pp. 407-415, Sep. 6-9, 2020, Leiden, Netherlands. (Open Access) 
  *Eurohaptics 2020 の Best Paper Award Finalist (3論文) に選出
• Atsushi Matsubayashi, Yasutoshi Makino, and Hiroyuki Shinoda, “Direct Finger Manipulation of 3D Object Image with Ultrasound Haptic Feedback,” Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems, Glasgow, Scotland UK, May 04 – 09, 2019. (Open Access)
• Atsushi Matsubayashi, Hiroki Oikawa, Saya Mizutani, Yasutoshi Makino and Hiroyuki Shinoda, “Display of Haptic Shape Using Ultrasound Pressure Distribution Forming Cross-Sectional Shape,” Proc. 2019 IEEE World Haptics Conference, pp.419-424, Tokyo, Japan, July 9-12, 2019.

触覚による動作誘導

触覚パーシュート

視覚においては、注視している物体が運動するとき、それを自然に視野中心にとらえながらトラッキングすることができます。これは Pursuit と呼ばれる視覚の能力の一つですが、触覚においても同様な能力（Haptic Pursuit）が発見されています。手のひらに点状の触覚刺激が与えられ、それが横方向に移動する状況を考えてみましょう。空中触覚提示であれば皮膚の表面に沿ったせん断力は発生せず、皮膚上の圧力分布が移動するだけですが、手はその横方向移動を容易に追従することができます。人間に備わったこの能力を用いると、刺激点を目的地に移動していくことで、手を任意の地点に誘導することができます。

• Azuma Yoshimoto, Keisuke Hasegawa, Yasutoshi Makino, and Hiroyuki Shinoda, “Midair Haptic Pursuit,” IEEE Transactions on Haptics, Vol. 12, No.4, pp. 652-657, Oct.-Dec. 2019. (Open Access)

手の平に沿った方向の誘導

• Shun Suzuki, Masahiro Fujiwara, Yasutoshi Makino, and Hiroyuki Shinoda, “Midair Hand Guidance by an Ultrasound Virtual Handrail,” Proc. 2019 IEEE World Haptics Conference, pp.271-276, Tokyo, Japan, July 9-12, 2019.

手の平に対して垂直な方向の誘導

• Shun Suzuki, Keisuke Hasegawa, Yasutoshi Makino and Hiroyuki Shinoda, “Haptic Tracing of Midair Linear Trajectories Presented by Ultrasound Bessel Beams,” International Conference on Human Haptic Sensing and Touch Enabled Computer Applications(Eurohaptics), pp 209-220, Pisa, Italy, June 13-16, 2018.