Google Memperkenalkan SensorLM yang Menerjemahkan Sinyal Sensor Menjadi Wawasan Kesehatan yang Berpusat pada Manusia

Divisi ini berfokus pada penelitian dasar dan terapan, Google Research diperkenalkan SensorLM , keluarga baru model dasar sensor-bahasa yang dirancang untuk meningkatkan interpretasi data sensor wearable berdimensi tinggi. Dilatih dengan 59.7 juta jam input sensor multimoda yang ekstensif dari lebih dari 103,000 individu, SensorLM mampu menghasilkan deskripsi terperinci yang dapat dibaca manusia dari sinyal sensor yang kompleks, menetapkan tolok ukur baru di bidang analisis data sensor.

Untuk mengembangkan set data pelatihan SensorLM, sekitar 2.5 juta hari kerja data sensor yang dideidentifikasi diambil sampelnya dari 103,643 partisipan di 127 negara. Data ini dikumpulkan dari perangkat Fitbit dan Pixel Watch selama periode 1 Maret hingga 1 Mei 2024, dengan semua partisipan memberikan persetujuan berdasarkan informasi untuk penggunaan data anonim mereka dalam penelitian yang bertujuan untuk memajukan pengetahuan umum di bidang kesehatan dan sains.

Para peneliti menerapkan alur hierarkis otomatis yang menghasilkan keterangan deskriptif dengan menghitung statistik, mengenali pola, dan meringkas peristiwa langsung dari data sensor untuk mengatasi tantangan pelabelan data berskala besar. Pendekatan ini memungkinkan terciptanya kumpulan data terbesar yang saat ini diketahui yang menyelaraskan masukan sensor dengan bahasa, melampaui skala kumpulan data yang digunakan dalam penelitian sebelumnya.

Arsitektur SensorLM menggabungkan dan menyelaraskan metodologi pra-pelatihan multimodal yang banyak digunakan, terutama pembelajaran kontrastif dan pra-pelatihan generatif, ke dalam satu kerangka kerja terpadu. Dalam fase pembelajaran kontrastif, model dilatih untuk mengaitkan segmen data sensor dengan deskripsi tekstual yang sesuai yang dipilih dari sekelompok alternatif. 

Proses ini memungkinkan model untuk secara akurat membedakan berbagai aktivitas fisik atau kondisi fisiologis, seperti membedakan antara renang ringan dan latihan yang berfokus pada kekuatan. Dalam fase pra-pelatihan generatif, model belajar menghasilkan deskripsi tekstual langsung dari masukan sensor, meningkatkan kemampuannya untuk menyampaikan interpretasi data berdimensi tinggi yang kompleks dan peka konteks. Integrasi strategi pelatihan ini memungkinkan SensorLM untuk membentuk pemahaman multimodal yang komprehensif dan bernuansa tentang bagaimana data sensor dipetakan ke bahasa alami.

Eksperimen Mengungkapkan Kemampuan Canggih SensorLM dalam Klasifikasi Tanpa Tembakan, Pembelajaran Beberapa Tembakan, dan Pemahaman Lintas Modal

Menurut Google Research Performa SensorLM dinilai dalam berbagai skenario dunia nyata yang melibatkan pengenalan aktivitas manusia dan aplikasi layanan kesehatan, menunjukkan peningkatan yang jelas dibandingkan model-model terkemuka yang ada di bidang ini. SensorLM berkinerja sangat baik di lingkungan dengan data berlabel terbatas. SensorLM menunjukkan kemampuan klasifikasi zero-shot yang kuat, mengidentifikasi 20 aktivitas berbeda dengan tepat tanpa memerlukan penyempurnaan model, dan menunjukkan pembelajaran few-shot yang efektif, beradaptasi dengan cepat terhadap tugas-tugas baru dengan contoh minimal. Fungsionalitas pengambilan lintas modalnya juga memungkinkan interpretabilitas timbal balik antara data sensor dan bahasa alami, yang memungkinkan pengguna untuk mencari pola sensor menggunakan teks atau menghasilkan deskripsi yang relevan dari input sensor—sebuah pendekatan yang mendukung alur kerja analisis pakar.

Selain klasifikasi, SensorLM mampu menghasilkan ringkasan tekstual terstruktur dan peka konteks hanya berdasarkan masukan sensor yang dapat dikenakan. Perbandingan eksperimental menunjukkan bahwa keluaran ini umumnya lebih koheren dan akurat dibandingkan keluaran yang dihasilkan oleh model bahasa non-domain-spesifik. Penelitian ini juga mengamati bahwa kinerja SensorLM meningkat secara konsisten seiring dengan peningkatan data pelatihan, ukuran model, dan sumber daya komputasi, selaras dengan prinsip-prinsip yang telah ditetapkan sebelumnya dalam penskalaan model. Temuan ini menunjukkan bahwa pendekatan ini masih dalam tahap awal potensinya dan layak untuk dieksplorasi lebih lanjut.

Pengembangan SensorLM memperkenalkan kerangka kerja untuk menginterpretasikan data sensor perangkat wearable yang kompleks melalui bahasa alami. Hal ini dimungkinkan oleh metode pemberian teks hierarkis yang baru dikembangkan dan apa yang diyakini sebagai kumpulan data bahasa sensor terbesar yang telah dikumpulkan hingga saat ini. Hasilnya, keluarga model SensorLM memberikan langkah maju dalam meningkatkan aksesibilitas dan utilitas data kesehatan pribadi. Dengan memungkinkan mesin untuk menginterpretasikan sinyal fisiologis melalui bahasa, karya ini meletakkan dasar untuk umpan balik kesehatan yang lebih spesifik dan informatif. Upaya di masa mendatang akan mengeksplorasi perluasan ke domain seperti profil metabolik dan pemantauan tidur tingkat lanjut, dengan tujuan yang lebih luas untuk mendukung perangkat kesehatan yang dipersonalisasi, sistem pemantauan klinis, dan asisten kesehatan digital yang mampu berinteraksi dengan bahasa alami. Pengembangan dan penerapan produk apa pun di masa mendatang berdasarkan penelitian ini mungkin akan tunduk pada validasi klinis dan pengawasan regulasi.