映像に適切な振動の推定と付与

映像内の人物または1人称視点カメラに伝わる振動を推定し、視聴者に提示する視聴体験向上システムを提案しました。

↓テニスの一人称視点映像

↓テニスの後ろから視点映像

映像には、その中で起こっている触覚情報を想起させるものがあります。

例えば、テニスなどのスポーツを行っている映像や、自転車・バイク、またはジェットコースターに乗っている映像など。

これらを視聴する際に、画像・音に加えて適切な振動触覚を与えることで、より質の高い視聴体験が可能になります。

本手法の特徴は、映像に含まれる画像・音データに基づいて振動触覚を出力とするニューラルネットワークを構成することで振動の推定を行っている点であり、今後様々なジャンルへの応用が期待されます。

吉田 健太郎, 一山 智弘, 牧野 泰才, 篠田 裕之, “ニューラルネットワークを用いたテニス動画からの振動触覚の推定,” 第18回計測自動制御学会システムインテグレーション部門講演会論文集, pp. 587-591, 仙台, Dec. 20-22, 2017.

Kentaro Yoshida, Seki Inoue, Yasutoshi Makino, and Hiroyuki Shinoda, “VibVid: VIBration Estimation from VIDeo by using Neural Network,” in Proc. ICAT-EGVE 2017 – International Conference on Artificial Reality and Telexistence and Eurographics Symposium on Virtual Environments, Nov. 22-24, 2017, Adelaide, Australia.

吉田 健太郎, 堀内 悠生, 牧野 泰才, 篠田 裕之, “機械学習を用いた一人称映像に基づく振動触覚の推定と提示,” 第22回バーチャルリアリティ学会大会, 2D1-05, 徳島大学 常三島キャンパス, 徳島, Sep 27-29, 2017.

吉田 健太郎, 井上碩, 牧野泰才, 篠田裕之, “機械学習を用いた一人称視点映像からの振動触覚推定,”第34回センシングフォーラム 資料, pp. 147-150, Aug., 2017, 熊本大学・黒髪南地区, 熊本.

Kentaro Yoshida, Yuuki Horiuchi, Tomohiro Ichiyama, Seki Inoue, Yasutoshi Makino, and Hiroyuki Shinoda: Estimation of Racket Grip Vibration from Tennis Video Using Neural Network, IEEE Haptics Symposium 2018, WiP Poster B5 (Work-in-Progress Papers), 25-28 March, San Francisco, California, USA, 2018.

Kentaro Yoshida, Yuuki Horiuchi, Tomohiro Ichiyama, Seki Inoue, Yasutoshi Makino, and Hiroyuki Shinoda: Estimation and Presentation of Racket Grip Vibration with Tennis Video, IEEE Haptics Symposium 2018, Demo 5, 25-28 March, San Francisco, California, USA, 2018.