2024, Número 2
Uso de Chat-GPT para la generación y conducción de escenarios simulados para el aprendizaje de habilidades no técnicas
Texto completo
Cómo citar este artículo
10.35366/117464
Artículos similares
Idioma: Español
Referencias bibliográficas: 8
Paginas: 64-71
Archivo PDF: 429.49 Kb.
RESUMEN
Introducción: los avances tecnológicos en el área de la computación han sido acelerados y en los últimos años más con la creación de sistemas de inteligencia artificial (Generative Pre-trained Transformer) capaces de crear nueva información a partir de datos masivos incorporados como parte de su aprendizaje. De manera reciente la versión Chat-GPT 4 de OpenAI ha mostrado gran capacidad de generar lenguaje natural y resolver problemas, mostrando incluso resultados sobresalientes en exámenes de conocimientos médicos. El presente trabajo es la evaluación de un simulador generado con Chat-GPT 4 capaz de originar y conducir escenarios para el aprendizaje de habilidades blandas. Material y métodos: se configuró un GPT utilizando la versión comercial de Chat-GPT 4 capaz de generar escenarios para la práctica de habilidades no técnicas y al final de ellas proveer retroalimentación. Asimismo se creó y validó una escala para evaluar el diseño, conducción del escenario, relevancia del escenario y retroalimentación al finalizar. Después de un muestreo en bola de nieve se probó el simulador y se aplicó la encuesta a 64 usuarios, a quienes además se les preguntó de manera abierta el uso que se le dio al simulador y los comentarios generales. Resultados: de acuerdo a la encuesta realizada, la satisfacción de los usuarios fue muy alta encontrando que en prácticamente todos los ítems las respuestas positivas fueron mayor a 90%. Del mismo modo se encontraron comentarios positivos en 75% de las ocasiones y áreas de oportunidad en 25% de los comentarios. Los usos fueron diversos incluidos la práctica de comunicación, dar malas noticias, empatía, paciencia, barreras de comunicación, entre otras. Conclusiones: Chat-GPT es capaz de crear y conducir escenarios para la práctica y aprendizaje de habilidades no técnicas con alto nivel de satisfacción por parte de los usuarios.INTRODUCCIóN
En la era de la transformación digital, la inteligencia artificial (IA) ha emergido como una herramienta poderosa en múltiples campos, incluyendo la educación médica. Uno de los avances más significativos en este ámbito es el desarrollo de los modelos de lenguaje generativo, en particular los de la serie "Generative Pre-trained Transformer" (GPT), desarrollados por OpenAI. Este artículo explora el potencial de estos modelos, en específico GPT-3 y sus versiones posteriores, en la creación de simuladores virtuales de pacientes para la práctica de competencias no técnicas en salud.
El origen de GPT se remonta a 2018, cuando OpenAI introdujo GPT como un modelo de lenguaje basado en el transformador, una arquitectura de red neuronal que facilita el aprendizaje profundo en grandes conjuntos de datos. GPT-3, lanzado en 2020, destacó por su capacidad para generar texto con una coherencia y relevancia sorprendentes, logrando un nivel de sofisticación sin precedentes en la generación de lenguaje natural. En 2023 se lanzó una versión más avanzada (GPT-4) que es la que utilizamos para este trabajo.
El funcionamiento de GPT se centra en el análisis y la generación de texto basado en una vasta cantidad de información asimilada de manera previa durante su entrenamiento. Mediante técnicas de aprendizaje profundo, el modelo puede entender consultas, responder preguntas, redactar textos y simular diálogos de manera coherente y contextual.
Estas capacidades de los modelos de GPT potencialmente pueden ser utilizadas para una gama amplia de aplicaciones en el mundo de la salud; según Wójcik y colaboradores se le pueden atribuir aplicaciones tales como: educación, consultas sanitarias, elaboración de notas médicas, asistentes virtuales, triage, etcétera.1
En el ámbito educativo, y en específico en la educación médica, los modelos GPT han mostrado un potencial considerable. Se han utilizado para crear escenarios de simulación, donde los estudiantes interactúan con pacientes virtuales generados por IA, practicando habilidades de comunicación, toma de decisiones y manejo de situaciones clínicas complejas. Estos simuladores virtuales ofrecen un entorno controlado y seguro para el aprendizaje, permitiendo a los estudiantes explorar y aprender de sus errores sin riesgo para los pacientes reales. De acuerdo a Abd-alrazaq y colaboradores existen diversas áreas de oportunidad en el ámbito educativo con el uso de Chat-GPT como son: desarrollo curricular, metodologías educativas, planes y materiales de estudio personalizados, evaluación y calificación, asistencia para la redacción de textos, investigación médica/revisión de literatura, monitoreo y revisión de programas.2
El uso de la IA en la educación médica no se limita a la simulación clínica. Los modelos GPT también han sido utilizados para generar material educativo personalizado, facilitar la tutoría virtual y apoyar la investigación en salud. La capacidad de adaptarse a necesidades específicas y proporcionar retroalimentación inmediata convierte a GPT en una herramienta valiosa para complementar la educación tradicional en medicina.1,2
La capacidad de esta tecnología ha aumentado conforme pasa el tiempo y hoy por hoy hay ejemplos impresionantes sobre los alcances de la misma, Brin y colaboradores compararon el desempeño de Chat-GPT 3.0 con la versión 4.0 entorno a las preguntas de habilidades blandas en el examen de licenciatura de los Estados Unidos (USMLE), encontrando un alto rendimiento y consistencia en la respuesta a las mismas y mejorando de manera sustancial entre la versión más actual y la previa de GPT.3 Por otro lado, Nori y colaboradores compararon diferentes versiones de Chat-GPT para responder a los diferentes steps del USMLE encontrando resultados superiores a 80% con la versión 4 (Chat-GPT 4).4 De manera similar Roos y colaboradores encontraron un buen nivel de respuesta por parte del GPT-4 a exámenes equivalentes en Alemania,5 con resultados superiores a 80%.
Haruna-Cooper y Rashid6 hablan del uso de Chat-GPT para reducir la carga humana en la realización de evaluaciones en el área de la salud. Siendo capaces de redactar preguntas con diferente nivel de complejidad o de evaluar respuestas y ofrecer retroalimentación a los estudiantes del área de la salud.
La integración de la IA en la formación médica no está exenta de desafíos, incluyendo cuestiones éticas, de privacidad y la necesidad de una supervisión adecuada para garantizar la precisión y la relevancia clínica de la información generada. Sin embargo, el potencial de modelos como GPT para revolucionar la educación médica es innegable, abriendo nuevas vías para la formación de profesionales de la salud más competentes y preparados para los desafíos del futuro.
MATERIAL Y MéTODOS
Este proyecto fue autorizado por el comité de investigación de Cancer Center Tec 100, en Querétaro, México.
- 1. Diseño del simulador en Chat-GPT. Utilizando el generador de GPT's de Chat-GPT se diseñó un GPT cuya función sea la de simular pacientes con la finalidad de que los usuarios puedan aprender o practicar habilidades no técnicas como, por ejemplo, empatía, dar malas noticias, etcétera. El Simulador se configuró para:
- a. Generar una imagen ilustrativa de la situación presentada sin describirla.
- b. Simular ser el o la paciente, de acuerdo a los objetivos de aprendizaje solicitados por el usuario.
- c. No ofrecer orientación durante el escenario.
- d. Una vez terminado el escenario ofrecer retroalimentación al usuario.
Las instrucciones generadas para el GPT se encuentran traducidas al español en el Tabla 1. El GPT está disponible en esta dirección: https://chat.openai.com/g/g-iAtRpQUYo-virtual-patient
- 2. Diseño y validación de la encuesta. Utilizando Chat-GPT diseñamos una encuesta de 20 ítems que permitiera evaluar:
- a. Construcción de los escenarios.
- b. Conducción de los escenarios.
- c. Relevancia de los escenarios.
- d. Retroalimentación después de los escenarios.
Los ítems se enviaron a 11 jueces en Latinoamérica quienes evaluaron la pertinencia y redacción de cada ítem mediante el coeficiente de Aiken. Se consideraron aquellos ítems con coeficiente de Aiken > 0.80 en cuanto a pertinencia (se eliminó un ítem) y se revisó la redacción en aquellos en que el coeficiente fue menor a 0.80 a pesar de tener pertenencia adecuada. Después del segundo jueceo (con 10 de los 11 jueces) y haber revisado la redacción de los ítems restantes se eliminó un segundo ítem. Para la segunda redacción de los ítems no se utilizó inteligencia artificial. Los ítems resultantes, así como sus coeficientes de Aiken están en la Tabla 2 como parte de los resultados. Los perfiles de los jueces se resumen en la Tabla 3. Todos los jueces autorizaron el uso de su información previo a responder la encuesta de validación.
- 3. Medición de la experiencia utilizando el simulador virtual de paciente creado con Chat-GPT. Se realizó una muestra en bola de nieve a través de contacto (profesores, clínicos y estudiantes) de los autores de este artículo con una meta preestablecida de al menos 50 encuestas resueltas. Uno de los requisitos para el uso del GPT es tener la versión de Chat-GPT plus (de paga) por lo que se envió a participantes que tuvieran acceso a ella o bien los autores facilitaron el acceso utilizando sus propias cuentas. Se motivó a los participantes a utilizar sus propios prompts haciendo las siguientes sugerencias:
- a. "Quiero aprender a entrevistar a un paciente".
- b. "Quiero practicar empatía".
- c. "Quiero aprender a dar malas noticias".
- d. "Quiero comunicarme mejor con un paciente que le cuesta trabajo comprender lo que digo".
Una vez que interactuaron una o más veces con el GPT se les pidió que respondieran la encuesta validada. Todos los usuarios encuestados autorizaron el uso de la información previo a la respuesta de la encuesta.
- 4. Análisis estadístico. Se realizó un resumen de las respuestas de cada ítem. Además, se consideró que las respuestas "Totalmente de acuerdo" y "De acuerdo" fueran positivas y se reportó la proporción de respuestas positivas en ese sentido.
- 5. Información cualitativa. Se preguntó a los usuarios sobre los diferentes usos que le dieron al GPT, así como su experiencia en general. Se realizó análisis bottom-up agrupando las respuestas de acuerdo a su contenido semántico para poder reportar las impresiones más frecuentes de los usuarios.
RESULTADOS
Se midió la experiencia entre el 1o de febrero de 2024 y 15 de marzo de 2024. En total se obtuvieron 64 respuestas a la encuesta. La Tabla 4, muestra los perfiles de los usuarios que utilizaron el GPT y respondieron la encuesta, así como los usos que se le dio al GPT. La mayor parte de los usuarios fueron estudiantes y profesores (> 80%) y sólo obtuvimos respuestas de México, Argentina y Chile.
En cuanto al uso que se le dio al GPT; 17 (26.56%) lo utilizó para aprender o practicar cómo dar malas noticias, 12 (18.75%) para entrevista en general, 8 (12.50%) para la práctica de la comunicación con el paciente, 7 (10.94%) para práctica de empatía, 5 (7.81%) para consulta en general, 4 (6.25%) para relación médico paciente y 11 (17.19%) correspondieron a otros o no clasificables.
La Tabla 2, resume las respuestas a cada uno de los ítems de la encuesta, encontrando que en la mayoría de los casos las respuestas positivas (de acuerdo o totalmente de acuerdo) fueron mayor de 90% en las cuatro categorías: diseño de escenario, conducción de escenario, relevancia del escenario y retroalimentación después del escenario.
En cuanto a los comentarios libres de los participantes encontramos 75% de comentarios positivos y 25% de observaciones como áreas de oportunidad resumidos en la Tabla 5. La mayoría lo consideró una buena experiencia (30/61), además expresaron que la experiencia era realista y obligaba a reflexionar (aunque solo dos personas expresaron esta opinión). En cuanto a las oportunidades con el GPT indicaron que no proporcionaba suficiente información clínica (4/61) y que se podría incrementar la dificultad (4/61).
DISCUSIóN
Desde 2018 pero con un avance importante en 2023 los sistemas de inteligencia artificial, en particular aquellos basados en lenguaje natural, han cobrado un auge importante. En noviembre de 2023 OpenAI la compañía creadora de Chat-GPT permitió al usuario crear GPT's personalizados con los que se podrían generar instrucciones específicas y dar información relevante para que el GPT tuviera conductas predeterminadas. En el caso de esta experiencia configuramos un GPT para que creara una experiencia interactiva para que profesionales de la salud practiquen habilidades no técnicas. Consideramos que ésta era una oportunidad, ya que los modelos de lenguaje se especializan en comprender y generar lenguaje en determinados contextos y con ello poder generar experiencias inmersivas alrededor de simulaciones digitales de pacientes.
Eysenbach menciona la importancia del uso del GPT en el aprendizaje y educación médica, haciendo énfasis en el uso apropiado de los prompts,7 lo que puede ser un desafío en modelos como el presentado en este documento. Mientras que algunos de los usuarios mencionaron que sería necesario incrementar el nivel de complejidad en algunos casos, esto podría lograrse simplemente dando una instrucción más precisa del nivel de complejidad buscado. Por ejemplo:
- • "Quiero practicar dar malas noticias", vs
- • "Quiero practicar dar malas noticias a una paciente desafiante y molesta por la atención recibida de manera previa"
Si bien los modelos de inteligencia artificial pueden ser de gran utilidad en la educación de profesionales de la salud, no resuelven 100% de las necesidades, por lo que el énfasis en la utilización de diversas metodologías debe prevalecer. La inteligencia artificial puede ser una herramienta más que sumada al resto de recursos pedagógicos, contribuya a mejorar la educación de profesionales de la salud. Como Safranek y colaboradores señalan, la habilidad de enseñar a comprender el contexto de las situaciones clínicas, comprender aspectos que tienen que ver con los sentidos o señales no verbales, cultivar el rapport y la confianza entre usuario y profesional de la salud, siguen siendo un pendiente para estas herramientas.8
La utilización de un GPT personalizado basado en GPT-4 de OpenAI para la generación y conducción de escenarios para la práctica de habilidades no técnicas, ha tenido una buena respuesta por parte de usuarios en México, Chile y Argentina mostrando opiniones favorables en cuanto al diseño, conducción y relevancia de los escenarios, así como para la retroalimentación recibida.
Otra limitación encontrada, y referida por otros autores1,2 es que el GPT a veces se confunde y hace el rol de profesional de la salud. En otras ocasiones presentaba casos no apropiados a la profesión del usuario. Esto se corregía reiniciando el simulador y revisando el prompt para dar una instrucción más clara de lo que se quería practicar o aprender.
Se requieren estudios para profundizar y experimentar diferentes configuraciones del GPT, además de que posible incrementar la información disponible tanto clínica como relevante a las habilidades no técnicas en el futuro. Es posible también que nuevas generaciones de esta herramienta permitan mejoras sustanciales, pudiendo llegar a utilizar no solo texto sino otros medios de comunicación.
CONCLUSIONES
La generación y conducción de escenarios para la práctica de habilidades no técnicas por Chat-GPT es posible y acorde a los resultados mostrados en este estudio con elevado nivel de satisfacción por parte de los usuarios. Esto incluye un buen diseño, conducción, relevancia del escenario, así como una buena retroalimentación por parte del GPT al final de la experiencia. Mayores estudios deberán realizarse conforme la sofisticación de la herramienta permita menores errores y mayor capacidad de adaptarse a los objetivos de aprendizaje planteados por los participantes.
REFERENCIAS (EN ESTE ARTÍCULO)
AFILIACIONES
1 Director Asesores en Emergencias/SimAcademy, Querétaro, México. Doctor en Ciencias de la Salud.
2 Médico especializado en Anestesiología. Asociación Mendocina de Anestesiología, Analgesia y Reanimación. Facultad de Ciencias Médicas, Universidad Nacional de Cuyo. Mendoza, Argentina.
3 Directora Ejecutiva SI Academia. Enfermera/Matrona, Maestra en Educación.
4 Coordinadora de Simulación Clínica Facultad de Medicina y Ciencia Universidad San Sebastián, Concepción, Chile.
5 Facultad de Medicina, UNAM, Ciudad de México, México. Maestro en Educación. Médico.
6 Director del Centro de Desarrollo. Hospital ABC, Ciudad de México, México. Médico especializado en anestesiología.
CORRESPONDENCIA
Juan Manuel Fraga-Sastrías. E-mail: jmfraga@emergencias.com.mxRecibido: 18/03/2024. Aceptado: 17/07/2024