Ernährungsinformationen aus Bildern

Einer unserer Kunden aus der Lebensmittel- und Getränkeindustrie trat mit der folgenden Aufgabe an uns heran. Das Unternehmen plante die Gründung eines Spin-offs mit dem Ziel, seinen Kunden Informationen über die Ernährung auf der Grundlage von Bildern ihrer Mahlzeiten zu liefern. Bei der Analyse bestehender Nutzerdaten eines früheren Projekts stellten wir fest, dass die Verbraucher die Funktion lieben, aber eine hohe Hemmschwelle haben, täglich manuelle Eingaben zu ihren Lebensmittelzutaten zu machen. Es stellte sich also die Frage, wie wir die tägliche App-Journey und die Nutzung verbessern können.

Wir begannen mit der Analyse der vorhandenen Daten, die die Kunden der App zur Verfügung stellten. Einige dieser Daten enthielten nicht nur Informationen über die Zutaten und deren Menge in der fertigen Mahlzeit, sondern auch ein Bild der Mahlzeit.
Wir wollten herausfinden, ob es für eine KI möglich ist, ein Bild zu analysieren und das darauf abgebildete Gericht zu verstehen. Wir wollten herausfinden, welche zusätzlichen Informationen die Nutzer bereitstellen müssen, damit die KI das Essen mit einer Wahrscheinlichkeit von mindestens 75 % analysieren kann. Wir wollten herausfinden, bei welchen Gerichten unsere KI in Grenzfällen versagt.

• Wir haben Daten von mehreren Online-Kochplattformen bezogen, die das Rezept mit allen Zutaten, die Anzahl der Personen, für die das Rezept bestimmt ist, und mehrere Bilder des fertigen Gerichts enthalten mussten.
• Wir glichen Rezepte, Mahlzeiten und Nährwerte ab.
• Wir säuberten den Datensatz und begannen mit einer ersten Analyse der Gerichte und Bilder.
• Wir begannen mit dem Training einer KI für die Analyse der Gerichte und boten zusätzliche menschliche Unterstützung für unseren anfänglichen Datensatz der 530+ häufigsten Gerichte in unserer bestehenden Nutzerdatenbank.
• Wir starteten eine In-App- und CRM-Kampagne für Nutzer mit dem Versprechen, ihnen die kostenlose Nutzung der App für ein Quartal im Austausch gegen 15 verschiedene Bilder von zwei oder drei ihrer Mahlzeiten einschließlich Menüname und Zutaten zu ermöglichen.

• Wir haben erkannt, dass eine Analyse der häufigsten Mahlzeiten möglich ist.
• Wir waren in der Lage, unsere KI für einen Bruchteil des erwarteten Betrags und in einem Bruchteil der geschätzten Zeit zu trainieren, dank der "Hilfe" unserer Nutzer.
• Das Engagement der Nutzer für die App stieg während der Image-Kampagne deutlich an
• Wir haben ein MVP - KI - Ernährungstracking mit einer anderen User Journey in einer Testkohorte unserer Nutzer implementiert (jetzt erst ein Bild von Ihrem Essen machen, die Analyse der KI erhalten, die Daten genehmigen oder ändern)
• Die Testkohorte zeigte eine deutlich höhere Nutzung der Funktion und auch der App im Allgemeinen
• Wir haben eine Kundenbefragung durchgeführt, um die dahinter stehenden Erkenntnisse zu verstehen, und festgestellt, dass wir durch die Vereinfachung der Nährwert- und Lebensmittelverfolgung den wahrgenommenen Verbrauchswert der App erheblich gesteigert haben
• Der neue Weg führt den Ansatz unserer Kampagne fort, und die Nutzer trainieren die KI weiterhin mit ihren täglichen Bild-Uploads und Lebensmittelanalysen.
• Ein Nebeneffekt war die Verringerung der Abwanderung aufgrund der besseren CX
• Unsere KI benötigt mindestens das Bild und den Namen einer Mahlzeit, um eine gute Schätzung abgeben zu können. Wir glauben, dass dies bei Gerichten wie Calzone der Fall ist, bei denen man die Zutaten nicht sehen kann.