スポーツ選手のパフォーマンス発揮を支援する映像技術

●はじめに

近年，スポーツ界へのテクノロジー導入がめざましい勢いで進んでいる．これらの新機軸をハードウェアとソフトウェアに大別すると，ハードウェアの面では4K/8Kに代表されるカメラの高精細化が進み，これまで視聴者が見ることの出来なかった映像がお茶の間に届くようになっている．くわえて多くのスポーツ中継では高速度カメラ映像が当たり前のものとなってきた．またこうした高精細・高速度映像は我々が手にしているスマートフォンにすら実装されている．すでに2019年時点において，7680fpsものフレームレートでの撮影が可能なスマートフォンすら海外では市販されている．記憶に新しい2019年ラグビーW杯では自由視点映像が広く知れ渡る機会となった．多視点から撮影された高精細映像群から生み出される自由視点映像は，ソフトウェア，すなわちアルゴリズムによる処理にほかならないが，これにはGPUの目覚ましい進化も貢献している．かくして，ソフトウェアの進化がハードウェアの進化を後押し，ハードウェアの進化がこれまで実時間処理が難しかった領域の進化を生み出している．また，高精細カメラを搭載したドローンによって空撮することが競技会やトレーニングの場でも当たり前になってきている．こうした映像にまつわるハードウェアとソフトウェアの相互補完的進化がもたらすスポーツへの貢献は計り知れないが，サッカーやラグビーなどの集団ボールゲームの群としての振る舞いを観測し論じるスポーツアナリティクスとは少々異なり，本稿ではスポーツ選手自身，すなわち「個」に着目して「個」としての選手の技能を向上させるためのテクノロジーに関して紹介したい．

●カメラ映像による身体モデルの解析

映像撮影技術の応用としての光学式モーションキャプチャはすでに「枯れた技術」としてスポーツ科学に留まらず，映画やアニメーション，ゲームなどのキャラクター生成などの分野で定着しているが，それでもやはり装置自体が高額であり誰もがすぐに用いることは困難である．反射マーカーを貼り付ける必要があるため，あくまでも実験室的研究の域を出ていない．映画やアニメーションの世界であってもこれは同様で，リアルタイムでモーションキャプチャーの映像をストリーミング配信し，画面上のアバターを動かすこと自体はできているものの，得られたデータに高付加価値をつける映画やアニメーションの世界ではやはり研究レベルと同様に計測されたデータを修正したり，加工したりすることに時間が費やされる．これに対して，2017年に発表されたカーネギーメロン大学発のOpenPose 1）は，撮影されたビデオ映像素材からヒトの骨格モデルを推定するこれまでとは全く異なるアルゴリズムによって瞬く間に広まった（図１）．

図1 OpenPoseによる骨格モデルの同定^1）

CPU/GPUパワーは必要であるが，リアルタイム処理も可能である．OpenPose発表後，DeepLabCut 2)，PoseNet 3), BodyPix 4)など続々とヒトや動物の骨格モデル，身体セグメントを推定する事例が報告されており，RGBカメラ映像からの骨格モデル推定が勢いづいている．

●なぜ骨格モデルが必要か？

骨格モデルが得られると何となく分析しているような気になるが，単にアニメーションになるだけでは，それは映像を眺めていることと大差なく，スポーツ選手の技術向上には何の役にも立たない．ではスポーツ動作の分析になぜ身体関節の位置座標が必要か？と問われればそれは身体に作用する外力を推定したいから，というのがスポーツバイオメカニクスの答えである．OpenPoseに限らず，身体関節位置を同定できれば，体節の推定が可能になる．次に体節の関節座標からはその体節重心が推定できるため，その二階微分の重心加速度はその体節に加えられた力の総和を示すことになる．身体全体の重心加速度は外力の総和を意味するので，走者の身体重心加速度が求まれば，走者の質量を掛けることで，「キック力」が求まる，ということになる．現実には観測誤差や計算誤差もありそう簡単にはいかないが，原理はそうである．さらに遠位端から順にニュートン–オイラー法等の計算によって身体の関節に作用する関節間力，筋による発揮トルクが求められる（文献）．関節トルクは筋が関節まわりに発揮した筋力によるトルクの総和であるため，これはすなわち「どのようにして筋出力が関節を駆動しているのか？」を意味する．つまり，ヒトがどのように身体各部を動かそうとしているのか？ということが明らかになると考えていただければよい．どう動いているのか？という現象を引き起こした原因に迫る，といえる．

●LiDARによる技の解析

RGBカメラとは異なるが，同じく光によって外界を観測することに優れたセンシング方法として，近年急速に普及しているLiDARが挙げられる．現在では照射光が戻ってくるまでの時間，タイム・オブ・フライトによるものが主流である．2020年東京オリンピックでは富士通が体操の採点システムとしてこのLiDARを用いたシステムを導入することが話題になっている5,6）（図2）．

図2 LiDARと骨格モデル推定を用いた富士通による採点支援システム(富士通Webサイトより⁷⁾　

これまで採点競技では審判団が演技を終えた選手の得点を評価する際に，審判間での点数のばらつきなどの不公平感がつきまとってきた．また技が高度化されてくるにしたがって，審判自身の目も追いつかない，そんな事態が迫っているという危機感もあった．審判の負担を軽減し公平性を担保するシステムとして東京大会での登場が期待されている．すでに，映像を見直して審判の判定を支援するシステムであるVAR(ビデオ・アシスタント・レフリー)はサッカーやラグビーなどでも実用化されておりルールも変更されているが，審判の主観的評価のみによって得点が与えられてきたオリンピック競技が，センシングされたデータから審判の判断を下すのは初の試みであることから，注目を集めている．この器械体操の採点システムがうまく機能すれば，飛び込み競技や空手の型といった採点競技に大きな影響を与えることは必至である．

●LiDARによるスキージャンプの定量的評価

筆者はスキージャンプ選手が飛翔した軌跡をLiDARによってトラッキングすることでスキージャンプ選手のパフォーマンス評価に用いてきた8）． スキージャンプは広大な空間を高速で選手自身が移動するため，通常のカメラで撮影することは困難であった．また高速度カメラを使ってもその移動軌跡を求めるには関節マーカーのトラッキングという時間のかかる作業を要した．そこで踏切台直下に二次元LiDARを設置し，踏切り直後から，およそ40m地点までの間の選手の飛翔軌跡をLiDARによって観測する装置を開発した（図3）． ジャンプの後，即座に最重要と考えられている踏切直後の飛翔軌跡をフィードバック出来るうえに（図4），飛翔を司る流体力の推定結果も得られることはトレーニングを加速すると期待している．また，すでに共同研究者の瀬尾らは風洞実験によって様々な身体姿勢における流体力を取得しており（図5），こうした姿勢データと流体力データベースの結果を併せると最適飛翔フォームへと導くことが出来るものと期待される．

図3　スキージャンパー飛翔軌跡観測用LiDAR

図4　LiDARによって得られた点群データ（青）とその空間重心（赤）

図5　実物大スキージャンパー模型を用いた空力特性の計測

●パラリンピック競技を支える映像技術

定量化されたデータによって採点を分析的に行い，トレーニングを客観視することはスポーツ科学とスポーツ工学の本質的なアプローチであるが，選手がトレーニングを「安全に」行えることを支援するという方向性もある．ここにも画像技術が活かされている．
筆者の研究室では，パラリンピック競技のなかで視覚障がい水泳選手を支える技術開発を行っている．「壁接近検知システム」は補助者がいなくとも視覚障がい水泳選手がプールでのトレーニングを実現するための装置である．すなわち，タッピングの代わりを実現する装置である9）．タッピングとは視覚障がい水泳選手がターンやゴールタッチの際に壁に接近してきた際にプールサイドの補助者が軟質素材が棒の先についたタッピング棒で泳者の頭や背中を叩くことで壁への接近を知らせることである．これを自動で行うのが接近検知装置である．壁接近検知システムは，公式ルールで認められたレーンライン（従来呼称はコースロープ）の最大直径150mmの円筒状をした水中カメラである（図6）．レーンラインワイヤーに壁接近検知システムをはめ込むことでレーンラインのどの位置にでも装着できる．ワイヤーに固定されたカメラは，波の影響で回転する可能性があるが，最適重心設計によってカメラ位置は常に同じように仰角下向きの角度を保つように工夫されている．国内では水泳選手は慣習的に，レーン内を右側通行でトレーニングするため，選手の進行方向右手のレーンラインに装着することを前提としている．壁接近検知システムは，水面下を監視する水中カメラに超広角レンズを採用し，レーンラインの方向とは直交する左右方向に光軸を設定している．5m地点，もしくは2m地点に設置したカメラから見て選手が左から進入して壁に接近しカメラの直前を横切ると，水上スピーカーならびに水中スピーカーから警告音を発する．発せられる音声データは任意の音声データを外部からWiFi経由で送り込むことが可能である．

図６　泳者接近検知装置

●おわりに

本稿では可視光線によるカメラ，赤外光によるLiDARなど映像を主たる方法としてスポーツ選手の動作を観測することで，個としてのスポーツ選手のパフォーマンスを定量化する新たに登場した方法論，選手のトレーニングを支援する装置を紹介した．また，画像処理技術が選手の安全を保障するといった事例も紹介した．今後は映像の高精細・高速化は益々加速することと考えられ，身体の姿勢，すなわちフォームを簡便に即座に定量化できるようになると考えられる．本稿執筆時点において，ピッチ上の多くの選手を同時に認識し，個々の選手の筋骨格モデルによる筋出力の同定する技術までもが登場している10）．我々が想定しているよりも早いスピード感でスポーツ市場にテクノロジーが導入されつつあり，むしろ選手・コーチらがこうした技術の長所・短所などの啓蒙教育が必要な時期に差し掛かっていると筆者は感じている．

【参考文献】

1. Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, Yaser Sheikh, Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields, https://arxiv.org/abs/1611.08050， 2017.
2. DeepLabCut : a software package for the animal pose estimation, https://github.com/AlexEMG/DeepLabCut
3. PoseNet: https://github.com/tensorflow/tfjs-models/tree/master/posenet
4. BodyPix - Person Segmentation in the Browser, https://github.com/tensorflow/tfjs-models/tree/master/body-pix
5. 藤原英則，伊藤健一，ICTによる体操競技の採点支援と3Dセンシング技術の目指す世界，FUJITSU, 69, 2, pp70-76, 2018.
6. 佐々木和雄，桝井昇一，手塚耕一，アスリートの動きをリアルタイムに数値化する3Dセンシング技術，FUJITSU, 69, 2, pp.13-20, 2018.
7. 国際体操連盟、富士通の採点支援システムの採用を決定, https://pr.fujitsu.com/jp/news/2018/11/20.html
8. 仰木裕嗣，Heike Brock, 瀬尾和哉，スキージャンプ選手の飛翔軌跡の計測，日本機械学会スポーツ・アンド・ヒューマンダイナミクス2015, USB抄録集, 2015
9. 仰木裕嗣ほか，視覚障がいスイマーのためのトレーニング支援装置の開発, 日本機械学会シンポジウム：スポーツ工学・ヒューマンダイナミクス2016，USB抄録集, 2016
10. 複数人ビデオモーションキャプチャ技術を開発, https://www.u-tokyo.ac.jp/content/400130230.pdf, 2020.