Foto:
Mario Tama / Getty Images
El uso de la inteligencia artificial para la generación de imágenes y escritos ha cobrado popularidad en los últimos meses gracias a la presencia de programas con esa tecnología, uno de ellos es el bot conversacional ChatGPT, que recientemente logró una calificación aprobatoria para el Examen de Licencia Médica de los Estados Unidos (USMLE, por sus siglas en inglés).
Según un estudio publicado el 9 de febrero de 2023 en la revista de acceso abierto PLOS Digital Health por Tiffany Kung, Victor Tseng y colegas de AnsibleHealth, ChatGPT puede puntuar en o alrededor del umbral de aprobación de aproximadamente el 60 por ciento para el USMLE, con respuestas que tienen sentido coherente e interno y contienen ideas frecuentes.
Kung y sus colegas pusieron a prueba el rendimiento de ChatGPT en el USMLE, una serie de tres exámenes altamente estandarizados y regulados necesarios para obtener la licencia médica en Estados Unidos.
Realizado por estudiantes de medicina y médicos en formación, el USMLE evalúa conocimientos que abarcan la mayoría de las disciplinas médicas, desde la bioquímica al razonamiento diagnóstico, pasando por la bioética.
Tras eliminar las preguntas basadas en imágenes, los autores probaron el software con 350 de las 376 preguntas públicas disponibles en la versión del USMLE de junio de 2022.
Estos fueron los resultados obtenidos por ChatGPT
Una vez eliminadas las respuestas indeterminadas, ChatGPT obtuvo una puntuación de entre el 52.4% y el 75.0% en los tres exámenes USMLE. El umbral de aprobación cada año es de aproximadamente el 60%.
ChatGPT también demostró una concordancia del 94.6% en todas sus respuestas y produjo al menos un conocimiento significativo (algo que era nuevo, no obvio y clínicamente válido) en el 88.9% de sus respuestas.
En particular, ChatGPT superó el rendimiento de PubMedGPT, un modelo homólogo entrenado exclusivamente en literatura biomédica, que obtuvo una puntuación del 50.8% en un conjunto de datos más antiguo de preguntas tipo USMLE.
También podría interesarte:
El robot conversacional ChatGPT aprueba el examen de la facultad de Derecho de Estados Unidos
Universitarios en Estados Unidos ya usan ChatGPT para hacer trampas en clase
