Google präsentiert SensorLM, das Sensorsignale in menschenzentrierte Gesundheitserkenntnisse übersetzt

Die Abteilung konzentriert sich sowohl auf Grundlagenforschung als auch auf angewandte Forschung. Google-Recherche eingeführt SensorLM , eine neue Familie von Sensor-Sprach-Grundmodellen, die die Interpretation hochdimensionaler tragbarer Sensordaten verbessern sollen. SensorLM wurde mit 59.7 Millionen Stunden multimodaler Sensoreingaben von mehr als 103,000 Personen trainiert und ist in der Lage, aus komplexen Sensorsignalen detaillierte, menschenlesbare Beschreibungen zu erstellen. Damit setzt es einen neuen Maßstab im Bereich der Sensordatenanalyse.

Um den Trainingsdatensatz für SensorLM zu entwickeln, wurden rund 2.5 Millionen Personentage anonymisierter Sensordaten von 103,643 Teilnehmern aus 127 Ländern erhoben. Diese Daten wurden im Zeitraum vom 1. März bis 1. Mai 2024 von Fitbit- und Pixel Watch-Geräten erfasst. Alle Teilnehmer gaben ihre Einwilligung zur Verwendung ihrer anonymisierten Daten für Forschungszwecke, die dem allgemeinen Wissensstand in den Bereichen Gesundheit und Wissenschaft dienen.

Um die Herausforderung der Beschriftung großer Datenmengen zu bewältigen, implementierten die Forscher eine automatisierte hierarchische Pipeline, die beschreibende Beschriftungen generiert, indem sie Statistiken berechnet, Muster erkennt und Ereignisse direkt aus den Sensordaten zusammenfasst. Dieser Ansatz ermöglichte die Erstellung des derzeit größten bekannten Datensatzes, der Sensoreingaben mit Sprache verknüpft und damit den Umfang früherer Forschungsarbeiten übertrifft.

Die Architektur von SensorLM integriert und harmonisiert weit verbreitete multimodale Vortrainingsmethoden, insbesondere kontrastives Lernen und generatives Vortraining, in einem einheitlichen Rahmen. In der kontrastiven Lernphase wird das Modell trainiert, Sensordatensegmente mit den entsprechenden Textbeschreibungen zu verknüpfen, die aus einer Gruppe von Alternativen ausgewählt werden. 

Dieser Prozess ermöglicht es dem Modell, präzise zwischen verschiedenen körperlichen Aktivitäten oder physiologischen Zuständen zu unterscheiden, beispielsweise zwischen leichtem Schwimmen und kraftorientiertem Training. In der generativen Vortrainingsphase lernt das Modell, Textbeschreibungen direkt aus Sensoreingaben zu generieren. Dies verbessert seine Fähigkeit, komplexe, kontextsensitive Interpretationen hochdimensionaler Daten zu vermitteln. Die Integration dieser Trainingsstrategien ermöglicht SensorLM ein umfassendes und differenziertes multimodales Verständnis der Abbildung von Sensordaten in natürlicher Sprache.

Experimente zeigen die erweiterten Fähigkeiten von SensorLM in den Bereichen Zero-Shot-Klassifizierung, Few-Shot-Learning und Cross-Modal-Verständnis

Laut Google-Recherche Die Leistung von SensorLM wurde anhand verschiedener realer Szenarien bewertet, darunter die Erkennung menschlicher Aktivitäten und Anwendungen im Gesundheitswesen. Dabei zeigte sich eine deutliche Verbesserung gegenüber führenden Modellen in diesen Bereichen. SensorLM zeigt besonders gute Ergebnisse in Umgebungen mit begrenzten gekennzeichneten Daten. Es zeigte starke Zero-Shot-Klassifizierungsfähigkeiten, identifizierte 20 verschiedene Aktivitäten korrekt, ohne dass eine Feinabstimmung des Modells erforderlich war, und zeigte effektives Few-Shot-Learning, sodass es sich mit minimalen Beispielen schnell an neue Aufgaben anpasste. Seine modalübergreifende Abruffunktion ermöglicht zudem die gegenseitige Interpretierbarkeit von Sensordaten und natürlicher Sprache, sodass Benutzer Sensormuster mithilfe von Text suchen oder relevante Beschreibungen aus Sensoreingaben generieren können – ein Ansatz, der professionelle Analyse-Workflows unterstützt.

Neben der Klassifizierung kann SensorLM strukturierte und kontextbezogene Textzusammenfassungen ausschließlich auf Basis tragbarer Sensoreingaben generieren. Experimentelle Vergleiche zeigen, dass diese Ergebnisse im Allgemeinen kohärenter und präziser sind als die von nicht-domänenspezifischen Sprachmodellen. Die Forschung zeigte außerdem, dass die Leistung von SensorLM mit zunehmenden Trainingsdaten, Modellgröße und Rechenressourcen konsistent skaliert, was bereits etablierten Prinzipien der Modellskalierung entspricht. Diese Ergebnisse deuten darauf hin, dass sich der Ansatz noch in einem frühen Stadium seines Potenzials befindet und eine weitere Erforschung bedarf.

Die Entwicklung von SensorLM führt ein Framework zur Interpretation komplexer tragbarer Sensordaten durch natürliche Sprache ein. Ermöglicht wird dies durch eine neu entwickelte hierarchische Untertitelungsmethode und den vermutlich größten bisher zusammengestellten Sensorsprachen-Datensatz. Die SensorLM-Modellfamilie stellt somit einen wichtigen Schritt zur Verbesserung der Zugänglichkeit und des Nutzens persönlicher Gesundheitsdaten dar. Indem Maschinen in die Lage versetzt werden, physiologische Signale durch Sprache zu interpretieren, legt diese Arbeit den Grundstein für maßgeschneidertes und aussagekräftigeres Gesundheitsfeedback. Zukünftige Bemühungen werden die Ausweitung auf Bereiche wie Stoffwechselprofile und erweiterte Schlafüberwachung erforschen, mit dem übergeordneten Ziel, personalisierte Wellness-Tools, klinische Überwachungssysteme und digitale Gesundheitsassistenten mit natürlicher Sprachinteraktion zu unterstützen. Die Entwicklung und Einführung zukünftiger Produkte, die auf dieser Forschung basieren, unterliegen möglicherweise der klinischen Validierung und der behördlichen Aufsicht.