Investigadores de Harvard Medical School y Beth Israel Deaconess Medical Center compararon diagnósticos de IA con médicos en emergencias. La IA mostró un desempeño superior en situaciones críticas.

Un nuevo estudio publicado por investigadores de Harvard Medical School y Beth Israel Deaconess Medical Center demostró que modelos de lenguaje de inteligencia artificial (IA) pueden ofrecer diagnósticos más precisos en emergencias que médicos humanos. Este hallazgo fue destacado en una investigación que involucró casos reales de pacientes en el departamento de emergencias.

Los investigadores realizaron un análisis comparativo entre los diagnósticos realizados por dos médicos de medicina interna y los generados por los modelos de IA de OpenAI, conocidos como o1 y 4o. La precisión de estos diagnósticos fue evaluada por otros médicos que no sabían cuál era el origen de cada diagnóstico.

Según el estudio, "en cada punto de diagnóstico, o1 se desempeñó mejor o al mismo nivel que los dos médicos que atendieron a los pacientes, siendo las diferencias más notables durante la primera evaluación diagnóstica, donde hay menos información disponible y mayor urgencia por tomar decisiones correctas".

Los modelos de IA fueron alimentados con la misma información que se encontraba en los registros médicos electrónicos en el momento de cada diagnóstico, sin ningún tipo de preprocesamiento. El modelo o1 logró ofrecer un diagnóstico exacto o muy cercano en el 67% de los casos de triage, comparado con un 55% de un médico y un 50% del otro.

El doctor Arjun Manrai, quien lidera un laboratorio de IA en Harvard Medical School y es uno de los autores principales del estudio, afirmó: "Probamos el modelo de IA contra prácticamente todos los parámetros de referencia, y superó tanto a los modelos anteriores como a nuestros estándares médicos".

El estudio no sugiere que la IA esté lista para tomar decisiones críticas de vida o muerte en el departamento de emergencias, pero sí resalta la necesidad urgente de realizar ensayos prospectivos para evaluar estas tecnologías en situaciones reales de atención al paciente.

Además, los investigadores indicaron que solo analizaron el rendimiento de los modelos cuando se les proporcionó información textual, señalando que "los estudios existentes sugieren que los modelos de IA actuales son más limitados en el razonamiento sobre entradas no textuales".

El doctor Adam Rodman, también autor del estudio, advirtió sobre la falta de un marco formal de responsabilidad en torno a los diagnósticos realizados por IA, enfatizando que los pacientes aún quieren que humanos los guíen en decisiones críticas.

La doctora Kristen Panthagani, médica de emergencias, comentó que si bien el estudio es interesante, ha generado titulares exagerados, dado que compara diagnósticos de médicos de medicina interna y no de emergencias. Ella argumentó que las comparaciones deben hacerse con médicos que practiquen la especialidad correspondiente.

Finalmente, el estudio fue actualizado para aclarar que los diagnósticos provienen de médicos de medicina interna, incluyendo comentarios de la doctora Panthagani.