AIヘルス＆ウェルネスプラットフォームAI公開中
Wellnix
動作解析、リアルタイムの栄養インテリジェンス、予測型ウェルネスを組み合わせたAIヘルスプラットフォームです。
成果
スマートフォン動画から姿勢を採点
課題
自宅でのトレーニングでは、どこか痛くなるまで誰もフォームの誤りを教えてくれません。
作ったもの
普通のスマートフォン動画から姿勢と動作を採点するコンピュータビジョンのエンジンを構築し、栄養記録と組み合わせて両方の信号が同じ像に流れ込むようにしました。
結果
部屋にトレーナーがいなくてもフォームの指摘が得られ、動作と食事の両方を踏まえた提案が返ります。
仕組み
- 01
利用者はウェアラブルも深度センサーもなく、普通のスマートフォンのカメラで動作を撮影します。
- 02
姿勢推定がフレームごとに関節位置を取り出し、その動作を本来あるべき形と照らして採点します。
- 03
返るのは点数ではなく具体的な修正点です。数字は何を変えればよいかを教えてくれないからです。
- 04
栄養の記録は同じプロファイルに入るので、提案は動作と摂取を合わせて考えます。
AIの層
動画フレームに対する姿勢推定と、取り出した骨格を種目ごとのフォーム基準に照らすルールベースの採点です。採点を意図的にモデルにしていません。フォームの基準は既知で説明でき、トレーナーが異を唱えたときに直しやすいからです。
エンジニアリングの層
クライアント側で撮影しサーバー側で解析、コストを抑えるためのフレーム間引き、そして動作と栄養を二つのアプリではなくひとつのプロファイルに保つデータモデルです。
主要な技術判断
学習済みモデルの上に決定的な採点を重ねる。
姿勢推定はモデルにしかできない部分です。膝がつま先を越えたかどうかの判定は算術であり、コードで行えば利用者にすべての判断を説明できます。
使用技術
Computer VisionReactPythonAI Health