クライアント案件AI公開中
Wellnix
二つの稼働中モジュールを持つAIヘルス製品です。MuscleAIはトレーニング動画からリフティングのフォームを確認し、NutriAIは栄養成分表示を読み取ってあなたの目標に照らして採点します。
成果
フォーム確認とラベル読み取りをひとつの製品で
課題
自宅でのトレーニングでは、どこか痛くなるまで誰もフォームの誤りを教えてくれません。
作ったもの
普通のスマートフォン映像から姿勢と動作を確認するコンピュータビジョンのパイプラインと、原材料と栄養成分表を抽出し、利用者の目標と食習慣に照らして採点するラベル読み取り機能を構築しました。どちらもひとつのプロファイルに入ります。
結果
部屋にトレーナーがいなくてもフォームの指摘が得られ、どの包装食品にも理由つきの明快な摂取スコアが、読む本人に合わせて返ります。
仕組み
- 01
利用者はウェアラブルも深度センサーもなく、普通のスマートフォンのカメラで動作を撮影します。
- 02
姿勢推定がフレームごとに関節位置を取り出し、その動作を本来あるべき形と照らして採点します。
- 03
返るのは点数ではなく具体的な修正点です。数字は何を変えればよいかを教えてくれないからです。
- 04
栄養成分表示の写真から原材料と成分値を読み取り、その根拠とともに摂取スコアとして返します。スコアは利用者の目標と健康状態に合わせて決まります。
AIの層
動画フレームに対する姿勢推定と、取り出した骨格を種目ごとのフォーム基準に照らすルールベースの採点です。採点を意図的にモデルにしていません。フォームの基準は既知で説明でき、トレーナーが異を唱えたときに直しやすいからです。栄養の側では、ラベルから抽出した内容をモデルに渡し、利用者自身のプロファイルに即してスコアを説明させます。
エンジニアリングの層
クライアント側で撮影しサーバー側で解析、コストを抑えるためのフレーム間引き、そして動作と栄養を二つのアプリではなくひとつのプロファイルに保つデータモデルです。
主要な技術判断
学習済みモデルの上に決定的な採点を重ねる。
姿勢推定はモデルにしかできない部分です。膝がつま先を越えたかどうかの判定は算術であり、コードで行えば利用者にすべての判断を説明できます。