Un nuevo estudio realizado por investigadores del MIT y Empirical Health utilizó 3 millones de días-persona de datos del Apple Watch para desarrollar un modelo básico que predice condiciones médicas con una precisión impresionante. Aquí están los detalles.
Un poco de trasfondo
Mientras Yann LeCun todavía era el científico jefe de IA de Meta, propuso la Arquitectura Predictiva de Incrustación Conjunta, o JEPA, que esencialmente enseña a una IA a inferir el significado de los datos faltantes en lugar de los datos en sí.
En otras palabras, cuando se trata de lagunas en los datos, el modelo aprende a predecir cuáles serán las partes faltantes. representaren lugar de intentar adivinar y reconstruir sus valores precisos.
Para una imagen, por ejemplo, donde algunas partes están enmascaradas y otras son visibles, JEPA incrustaría las regiones visibles y enmascaradas en un espacio compartido (de ahí, incrustación conjunta) y haría que el modelo infiera la representación de la región enmascarada a partir del contexto visible, en lugar de la exacta. contenido que estaban escondidos.
Así lo expresó Meta cuando la compañía lanzó un modelo llamado I-JEPA en 2023:
El año pasado, el científico jefe de IA de Meta, Yann LeCun, propuso una nueva arquitectura destinada a superar las limitaciones clave incluso de los sistemas de IA más avanzados de la actualidad. Su visión es crear máquinas que puedan aprender modelos internos de cómo funciona el mundo para que puedan aprender mucho más rápidamente, planificar cómo realizar tareas complejas y adaptarse fácilmente a situaciones desconocidas.
Desde que se publicó el estudio JEPA original de LeCun, esta arquitectura se ha convertido en la base de un campo que ha estado explorando «modelos mundiales», lo que supone una desviación del enfoque de predicción de tokens de los LLM y los sistemas basados en GPT.
De hecho, LeCun incluso dejó Meta recientemente para iniciar una empresa centrada exclusivamente en modelos mundiales, que, según él, son el verdadero camino hacia AGI.
Entonces, ¿3 millones de días de datos del Apple Watch?
Sí, volvamos al estudio que nos ocupa. Publicado hace unos meses, el artículo JETS: A Self-Supervised Joint Embedding Time Series Foundation Model for Behavioral Data in Healthcare fue aceptado recientemente en un taller en NeurIPS.
Adapta el enfoque de incorporación de articulaciones de JEPA a series temporales multivariadas irregulares, como datos portátiles a largo plazo donde la frecuencia cardíaca, el sueño, la actividad y otras mediciones aparecen de manera inconsistente o con grandes brechas a lo largo del tiempo.
Del estudio:
El estudio utiliza un conjunto de datos longitudinal que comprende datos de dispositivos portátiles recopilados de una cohorte de 16.522 personas, con un total de ~3 millones de días-persona. Para cada individuo, se registraron 63 métricas de series temporales distintas con una resolución diaria o inferior. Estas métricas se clasifican en cinco dominios fisiológicos y conductuales: salud cardiovascular, salud respiratoria, sueño, actividad física y estadísticas generales.
Curiosamente, sólo el 15% de los participantes habían etiquetado sus historiales médicos para su evaluación, lo que significa que el 85% de los datos no habrían sido utilizables en los enfoques tradicionales de aprendizaje supervisado. En cambio, JETS primero aprendió del conjunto de datos completo a través de un entrenamiento previo autosupervisado, y entonces ajustado en el subconjunto etiquetado.
Para que todo funcionara, hicieron tripletes de datos a partir de observaciones correspondientes al día, valor y tipo de métrica.
Esto les permitió convertir cada observación en un token, que a su vez pasó por un proceso de enmascaramiento, se codificó y luego se introdujo a través de un predictor (para predecir la incorporación de los parches faltantes).
Una vez hecho esto, los investigadores compararon JETS con otros modelos de referencia (incluida una versión anterior de JETS, basada en la arquitectura Transformer) y los evaluaron utilizando AUROC y AUPRC, dos medidas estándar de qué tan bien una IA discrimina entre casos positivos y negativos.
JETS logró un AUROC de 86,8% para hipertensión arterial, 70,5% para aleteo auricular, 81% para síndrome de fatiga crónica, 86,8% para síndrome del seno enfermo, entre otros. Por supuesto, no fue así siempre ganar, pero las ventajas son bastante claras, como se ve a continuación:
Vale la pena recalcar que AUROC y AUPRC no son estrictamente exactitud índices. Son métricas que muestran qué tan bien un modelo clasifica o prioriza los casos probables, en lugar de con qué frecuencia acierta las predicciones.
En definitiva, este estudio presenta un enfoque interesante para maximizar el conocimiento y el potencial de salvar vidas de los datos que podrían descartarse como incompletos o irregulares. En algunos casos, las métricas de salud solo se registraron el 0,4% del tiempo, mientras que otras aparecieron en el 99% de las lecturas diarias.
El estudio también refuerza la noción de que hay muchas promesas en modelos novedosos y técnicas de entrenamiento para explorar los datos que ya recopilan dispositivos portátiles como el Apple Watch, incluso cuando no se usan el 100% del tiempo.
Puedes leer el estudio completo aquí.
