空中ハプティクス・空中超音波触覚ディスプレイ

AUTD_960_600

＊当研究室で使用しているデバイスのハードウエア・ソフトウエアは、以下のサイトから入手可能です。（ただし使用方法等についての当研究室への問い合わせはご遠慮下さい）

ハードウエアの購入先（近日公開予定）
ファームウェアの情報とライブラリ（オープンソース）（近日公開予定）

空中超音波触覚ディスプレイ（AUTD）は、多数の超音波振動子を配列した超音波振動子アレイにより、空中の任意の位置に超音波の焦点や細かい分布を作り出します。これによって、何も装着していない人体表面に触覚を提示することができます。

音のエネルギ密度の大きい超音波の焦点においては、正負に変動する音圧の平均値が上昇します。これは音響放射圧と呼ばれており、これが人体表面を押す力となります。焦点は、「フェーズドアレイ」の原理によって形成され、焦点位置は電子的に制御することができます。また、一つの焦点を作るだけでなく、計算機で逆問題を解くことによって複雑な空間分布を作り出すこともできます。

AUTD が生成する圧力の大きさは、現状で、1平方センチメートルあたり 50 mN 程度までです。また空間分解能は、使用している波長（40 kHz では 8.5 mm）程度までです。このような制約はありますが、その範囲で力の時空間分布を自在にデザインし、さまざまな触感を作り出すことができます。

このように非接触で触覚を刺激する技術の領域は「空中ハプティクス」と呼ばれ、最も基本的な部分については 2008 年から 2010 年代の前半までに東京大学によって提案・確立されました。その後各国の大学や民間企業が参入し、研究開発が活発に行われています。

空中ハプティクスの可能性を示した初期の研究

・空中超音波触覚ディスプレイ　（SIGGRAPH 2008 E-tech 動画）

世界で初めて超音波で触感が再現できることを報告し、基本的な特性を整理した論文

・Touchable Holography　さわれるホログラフィ（空中立体映像とのインタラクション）

空中映像と同期して空中触覚提示を行った世界で最初のデモ　（SIGGRAPH 2009 E-tech 動画）

Takayuki Hoshi, Masafumi Takahashi, Kei Nakatsuma, and Hiroyuki Shinoda: Touchable Holography, Full Conference DVD-ROM, Disc1, ACM SIGGRAPH 2009: Emerging Technologies, New Orleans, 3-7 Aug. 2009.

・Tactile Projector　触覚プロジェクタ（人体表面への映像と振動触覚の非干渉同時提示）（youtube 動画） fireworks_hand

大面積での超音波フェーズドアレイと触覚プロジェクタの実証研究 (World Haptics Conference 2013 でデモ）

Keisuke Hasegawa, Hiroyuki Shinoda: Aerial Display of Vibrotactile Sensation with High Spatial-Temporal Resolution using Large-Aperture Airborne Ultrasound Phased Array, Proc. IEEE World Haptics Conference 2013, Oral, pp.31-36, Daejeon, Korea, April 14-18, 2013.
*IEEE WHC 2013 Best paper award の Finalist および Best Student Paper Award を受賞
Keisuke Hasegawa, Hiroyuki Shinoda, “Aerial Vibrotactile Display Based on Multiunit Ultrasound Phased Array,” IEEE Transactions on Haptics, vol. 11, no. 3, pp. 367-377, 1 July-Sept. 2018.

・Haptomime　空中触覚タッチパネル　 youtube 動画
(ACM UIST 2014 およびデジタルコンテンツエキスポ 2014でデモ）

空中映像と触覚の同期の効果を実証した研究。この研究を契機として、多くの人々が空中触覚提示に強い期待を抱くようになりました。

Yasuaki Monnai, Keisuke Hasegawa, Masahiro Fujiwara, Seki Inoue, and Hiroyuki Shinoda, “HaptoMime: Mid-Air Haptic Interactions with a Floating Virtual Screen,” Proc. 27th ACM User Interface Software and Technology Symposium (UIST2014), pp.663-667, Hawaii, USA Oct. 5-8, 2014.
*ACM UIST 2014 People’s Choice Best Demo Award 受賞
*Innovative Technologies 2014 Industry 特別賞および SIGGRAPH 特別賞受賞

・3D 触覚ホログラム　youtube 動画1　動画2

— 3次元的な音響エネルギ分布を計算・再現し、触感を提示した初めての研究。周囲を取り囲む超音波源による定常的な定在波により、音や気流を感じることなく、３次元物体形状を体感できる空中触覚提示を世界で初めて実現した研究。

Seki Inoue, Yasutoshi Makino, Hiroyuki Shinoda: Active Touch Perception Produced by Airborne Ultrasonic Haptic Hologram, Proc. 2015 IEEE World Haptics Conference (WHC), (Oral) pp.362-367, Northwestern University, Evanston, Il, USA, June 22–26, 2015.
*IEEE WHC 2015 での Best Demo Award Winner

— 上記を発展させた音響境界ホログラム。並進運動・回転の６自由度全てについて、微小変動に対して正しく復元力が働く場を設計し、波長より有意に大きい自由形状物体の空中浮遊に世界で初めて成功した研究。

Seki Inoue, Shinichi Mogami, Tomohiro Ichiyama, Akihito Noda, Yasutoshi Makino, and Hiroyuki Shinoda, “Acoustical boundary hologram for macroscopic rigid-body levitation,” Journal of the Acoustical Society of America 1. 145, pp.328–337, 2019.

・Haptoclone ハプトクローン、視触覚クローン　解説ページ　 youtube 動画

お互いの高忠実３次元映像と、触覚を伴って触れ合うことができる世界初のシンメトリック・テレイグジスタンスシステム。

Yasutoshi Makino, Yoshikazu Furuyama, Seki Inoue, Hiroyuki Shinoda: HaptoClone (Haptic-Optical Clone) for Mutual Tele-Environment by Real-time 3D Image Transfer with Midair Force Feedback, Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, pp. 1980-1990, San Jose Convention Center, San Jose, CA, USA, May 7–12, 2016.

その後の成果

・Lateral Modulation 法：－超音波で強い触覚を作り出す方法－

超音響放射圧を用いた触覚刺激では、デバイスの出力パワーの最大値で最大放射力が決まってしまうため、決まった力の範囲で、なるべく強く感じる刺激方法を用いる必要があります。
人間の皮膚に一定変位を与えた場合、時間的に変化しないものよりも、振動的に変化するものの方が、閾値、すなわち刺激を感じる最小変位が小さくなることが古くから知られており、その閾値は 100-200 Hz 程度で最小値をとります。そのため超音波による触覚刺激を強く感じさせたい場合、100-200Hz で振幅が変化する波形（AM波形）が用いられてきました。
それに対して近年の研究で、超音波の出力を一定に保ったまま、焦点を皮膚に沿って細かく往復振動あるいは回転移動させた方が、刺激を強く感じる事が明らかになりました。力の最大値を同一値に揃えて比較した場合、10 dB程度、あるいはそれ以上に閾値が低下します。特に50 Hz 程度の周波数でその傾向は顕著であり、腕など皮膚の有毛部でもはっきりと触覚を感じることができます。

・指先への分布再現

単に触れた、触れないだけでなく、３次元映像を現実のモノのように把持し、操作する感覚を再現することは、空中ハプティクスの重要問題の一つです。どのような触覚提示を行えば実物体がそこにある、という実体感が生まれるのでしょうか。
人間が現実の物体表面に触れたときは、指と対象物体の接触の深さや角度が時々刻々皮膚上で変化しており、その知覚が物体を安定把持するための重要な情報になっていると考えられます。
これまでに、高速で回転運動する焦点軌跡によって、接触深さに応じた接触面広がりをリアルタイム提示するシステムを実現しています。波長 8.5 mm の 40 kHz 超音波を用いた場合でも、全周囲をフェーズドアレイで取り囲んだ場合には、集束領域を直径 5 mm 程度まで絞ることができます。そのような収束点を走査することで、指腹での接触面積を、接触深さに応じて有意に変化させることができます。現時点のシステムにおいて、目で見ることなく物体をつまみ上げ、所定の場所に移動するタスクが実現できています。

・触覚による動作誘導

近年、空中触覚提示によって運動の方向を指示する手法がいくつか提案されています。

「触覚パーシュート」
視覚においては、注視している物体が運動するとき、それを自然に視野中心にとらえながらトラッキングすることができます。これは Pursuit と呼ばれる視覚の能力の一つですが、触覚においても同様な能力（Haptic Pursuit）が発見されています。手のひらに点状の触覚刺激が与えられ、それが横方向に移動する状況を考えてみましょう。空中触覚提示であれば皮膚の表面に沿ったせん断力は発生せず、皮膚上の圧力分布が移動するだけですが、手はその横方向移動を容易に追従することができます。人間に備わったこの能力を用いると、刺激点を目的地に移動していくことで、手を任意の地点に誘導することができます。

Azuma Yoshimoto, Keisuke Hasegawa, Yasutoshi Makino, and Hiroyuki Shinoda: “Midair Haptic Pursuit,” IEEE Transactions on Haptics, Vol. 12, No.4, pp. 652-657, Oct.-Dec. 2019. (Open Access)

「バーチャルハンドレイル」
人間の側が能動的に手を動かしながら正しい方向を探り当てる戦略も考えられます。例えばライン上を走査する点刺激を提示しておくと、手はその操作方向を簡単に知覚することができます。それに沿って手を動かすことで、視覚を用いることなく、任意の軌道を追従することができます。

— 手の平に沿った方向の誘導

Shun Suzuki, Masahiro Fujiwara, Yasutoshi Makino, and Hiroyuki Shinoda, “Midair Hand Guidance by an Ultrasound Virtual Handrail,” Proc. 2019 IEEE World Haptics Conference, pp.271-276, Tokyo, Japan, July 9-12, 2019.

— 手の平に対して垂直な方向の誘導

Shun Suzuki, Keisuke Hasegawa, Yasutoshi Makino and Hiroyuki Shinoda, “Haptic Tracing of Midair Linear Trajectories Presented by Ultrasound Bessel Beams,” International Conference on Human Haptic Sensing and Touch Enabled Computer Applications(Eurohaptics), pp 209-220, Pisa, Italy, June 13-16, 2018.

JST CREST プロジェクト: Materialized Graphics for Multidimensional Interaction