Alle Projekte

KundenprojektKILive

Wellnix

KI-Gesundheitsprodukt mit zwei funktionierenden Modulen: MuscleAI prüft die Hebetechnik anhand von Trainingsvideos, und NutriAI liest ein Nährwertetikett und bewertet es anhand Ihrer Ziele.

Live-Website besuchen
Screenshot der Oberfläche von Wellnix

Ergebnis

Technikprüfung und Etikettenscan in einem Produkt

Das Problem

Zu Hause zu trainieren heißt, dass niemand einem sagt, dass die Ausführung falsch ist, bis etwas wehtut.

Was ich gebaut habe

Gebaut wurden eine Computer-Vision-Pipeline, die Haltung und Bewegung aus gewöhnlichen Handyaufnahmen prüft, und ein Etikettenleser, der Zutaten und Nährwerttabellen extrahiert und sie anhand der Ziele und des Ernährungsmusters des Nutzers bewertet. Beide fließen in ein Profil.

Das Ergebnis

Rückmeldung zur Ausführung ohne Trainer im Raum, und für jedes verpackte Lebensmittel eine klare Verzehrbewertung samt Begründung, zugeschnitten auf die Person, die sie liest.

So funktioniert es

  1. 01

    Der Nutzer nimmt eine Bewegung mit einer gewöhnlichen Handykamera auf, ohne Wearable und ohne Tiefensensor.

  2. 02

    Die Pose-Schätzung extrahiert Gelenkpositionen pro Bild, und die Bewegung wird gegen die Form bewertet, die die Übung haben sollte.

  3. 03

    Die Rückmeldung kommt als konkrete Korrektur zurück, nicht als Punktzahl, weil eine Zahl niemandem sagt, was zu ändern ist.

  4. 04

    Das Foto eines Nährwertetiketts wird auf Zutaten und Tabellenwerte gelesen und als Verzehrbewertung mit der zugrunde liegenden Begründung zurückgegeben, geprägt von den Zielen und dem Gesundheitskontext des Nutzers.

Die KI-Schicht

Pose-Schätzung auf Videobildern, dann regelbasierte Bewertung des extrahierten Skeletts gegen übungsspezifische Ausführungskriterien. Die Bewertung ist bewusst kein Modell: Ausführungsregeln sind bekannt, erklärbar und leichter zu korrigieren, wenn ein Trainer ihnen widerspricht. Auf der Ernährungsseite speist die Etikettenextraktion ein Modell, das die Bewertung anhand des eigenen Profils des Nutzers erklärt.

Die Engineering-Schicht

Aufnahme auf dem Client, Analyse auf dem Server, Bildabtastung, um es bezahlbar zu halten, und ein Datenmodell, das Bewegung und Ernährung in einem Profil hält statt in zwei Apps.

Zentrale technische Entscheidungen

Deterministische Bewertung über einem gelernten Modell.

Die Pose-Schätzung ist der Teil, den nur ein Modell leisten kann. Zu beurteilen, ob ein Knie über die Zehenspitze hinausgeht, ist Arithmetik, und das in Code zu tun macht jedes Urteil für den Nutzer erklärbar.

Gebaut mit

Computer VisionReactPythonAI Health

Verwandt