Клиентский проектИИРаботает
Wellnix
ИИ-продукт для здоровья с двумя работающими модулями: MuscleAI разбирает технику подъёма по видео тренировки, а NutriAI читает этикетку с пищевой ценностью и оценивает её относительно ваших целей.
Результат
Разбор техники и сканирование этикеток в одном продукте
Задача
Тренироваться дома значит, что никто не скажет о неправильной технике, пока что-нибудь не заболит.
Что я построил
Построен конвейер компьютерного зрения, разбирающий осанку и движение по обычной съёмке на телефон, и считыватель этикеток, который извлекает состав и таблицу пищевой ценности и оценивает их относительно целей и типа питания пользователя. Оба модуля питают один профиль.
Результат
Обратная связь по технике без тренера в комнате и понятная оценка пригодности к употреблению с обоснованием для любого упакованного продукта, подстроенная под того, кто её читает.
Как это работает
- 01
Пользователь снимает движение на обычную камеру телефона, без носимых устройств и без датчика глубины.
- 02
Оценка позы извлекает положения суставов по кадрам, а движение сверяется с той формой, которую упражнение должно иметь.
- 03
Обратная связь возвращается конкретной поправкой, а не баллом, потому что цифра никому не говорит, что менять.
- 04
Фото этикетки с пищевой ценностью читается на состав и значения таблицы и возвращается как оценка пригодности к употреблению с обоснованием, учитывающая цели и состояние здоровья пользователя.
Слой ИИ
Оценка позы по кадрам видео, затем оценка извлечённого скелета по правилам относительно критериев техники каждого упражнения. Оценка сознательно не модель: правила техники известны, объяснимы и их проще поправить, когда тренер с ними не согласен. В части питания данные, извлечённые с этикетки, передаются модели, которая объясняет оценку с учётом собственного профиля пользователя.
Инженерный слой
Съёмка на клиенте, анализ на сервере, выборка кадров ради экономии и модель данных, держащая движение и питание в одном профиле, а не в двух приложениях.
Ключевые технические решения
Детерминированная оценка поверх обученной модели.
Оценка позы это та часть, которую может сделать только модель. Определить, ушло ли колено за носок, это арифметика, и вычисление её в коде делает каждое суждение объяснимым для пользователя.