2023, Número 1
Nuevo concepto y herramienta para evaluar objetivamente el realismo en simulación clínica
Texto completo
Cómo citar este artículo
10.35366/110987
Artículos similares
Idioma: Español
Referencias bibliográficas: 14
Paginas: 30-37
Archivo PDF: 226.52 Kb.
RESUMEN
Introducción: la fidelidad se ha utilizado, históricamente, para clasificar el tipo de simulación que se realiza, pero se apoya en un concepto subjetivo y difuso. Objetivos: este artículo propone un sistema categorizado y subcategorizado para evaluar el realismo de manera cualitativa y cuantitativa a través de una clasificación más precisa y una herramienta que evalúe los índices de realismo escénicos logrados en simulación clínica. También persigue dar a conocer nueva información científica, así como impulsar una cultura de la evaluación y consenso de lo que se mide, precisando cómo y quiénes deben evaluarlo para así tener mejores diseños didácticos y promover análisis más profundos de los efectos, sean favorables o no, del realismo alcanzado. Material y métodos: se realizó un estudio de tres años, de carácter mixto (método Delphi y validación mediante índices Alpha de Cronbach, Lambda 6 de Guttman y correlaciones) y análisis factorial para desarrollar un nuevo concepto categorizado y subcategorizado de realismo, así como una herramienta de medición (teórica y matemática) online, validada, bilingüe (inglés/español), gratuita, disponible para ordenador y móvil. Resultados: dada la versatilidad de sus indicadores la herramienta está disponible para cualquier disciplina sanitaria que aplique la metodología de aprendizaje basado en simulación escénica. Conclusiones: el nuevo concepto y herramienta de evaluación permite desarrollar una novedosa cultura de interpretación del realismo conseguido.INTRODUCCIóN
El nivel de exactitud con que se representa la realidad clasifica las simulaciones en prácticas de baja, media y alta fidelidad.1,2 La fidelidad se asocia con la exactitud con que se representa la realidad, a su vez se le clasifica como fidelidad física, conceptual y emocional/experiencial.3,4 Según el modelo de Rudoplh,4 un sujeto percibe tres tipos de fidelidad que se combinan para producir una percepción de realismo. Dicha interpretación reconoce la limitación de lograr una similitud total con la realidad y se apoya en el compromiso del alumno para "querer creer".5
Autores como Hamstra4 y Tun6 plantearon la necesidad de subcategorizar el término fidelidad para englobar mejor su complejidad. Aunque obtener una interpretación objetiva del realismo no es una tarea sencilla, es necesario contar con un sistema que ayude a evaluar los niveles de verosimilitud logrados y que cree una cultura analítica del realismo que permita generar consenso.7,8
El grupo SIMLAB de investigación de la Universidad Europea propone un nuevo concepto de realismo expresado mediante categorías y subcategorías, al tomar en consideración a los sujetos que lo evalúan (profesor/alumno participante) y desarrollar argumentos cualitativos y cuantitativos.
El objetivo de este artículo es exponer a la comunidad sanitaria los nuevos elementos de la ciencia que sostienen un novedoso constructo para su mejor aplicación.
MATERIAL Y MéTODOS
Con base en un estudio que duró tres años y de carácter mixto (método Delphi y validación estadística mediante índices Alpha de Cronbach, Lambda 6 de Guttman, correlaciones y análisis factorial) se desarrolló un sistema de categorías y subcategorías con variables politómicas que interpretaran la gran variabilidad expresiva de realismo mediante descriptores cualitativos vinculados a escalas Lickert de 1 a 10 (donde 1 es muy bajo y 10 es muy alto) para calificar el realismo. Esto permitió desarrollar la herramienta ProRealSim que es teórica, matemática online, validada, bilingüe (inglés/español), gratuita, está disponible para ordenador y móvil y que, dada la versatilidad de sus indicadores, puede ser usada en los programas de cualquier disciplina médica que apliquen la metodología. El estudio determinó, matemáticamente, el peso de las unidades y las dimensiones más significativas que expresan la precisión y la naturalidad del participante simulado, el simulador y la escenografía para obtener una cifra objetiva luego de ejecutadas y evaluadas las escenas.
RESULTADOS
En nuevo argumentario considera tres tipos de realismo:
Realismo pretendido: categoría que refleja un pronóstico del tipo (conceptual, físico, funcional y relacional), así como nivel (en cifras o escalas) de realismo necesario para cumplir los objetivos educativos.
Realismo percibido: categoría subjetiva que refleja la autopercepción del alumno participante en escena y es una variable exclusiva de éste. Depende de elementos psicológicos más inaprensibles.
En nuestro constructo, lo medimos con una escala de 1 a 10 preguntando al alumno el grado de realismo, global o por dimensiones, que ha percibido en la práctica simulada.
Realismo conseguido: categoría cuantitativa calculable mediante un índice de realismo a través de mediciones múltiples con una herramienta validada (ProRealSim v.1.0). Tiene rangos de expresión que permiten clasificarlo en muy bajo, bajo, medio, alto y muy alto.
Se decidió que el principal usuario y evaluador de este tipo de realismo fuera el profesor involucrado en los diseños simulados, debido a que es quien tiene una percepción más objetiva y experta que la del alumno. El profesor establece un pacto con la realidad que pretende emular y que conoce profundamente. A diferencia del alumno, que pacta con la ficción.
La Tabla 1 refleja, a modo de resumen, cómo se operacionalizan los realismos descritos.
Para atenuar el carácter subjetivo al establecer el realismo pretendido, se concluyó que se debían tomar en cuenta los objetivos de aprendizaje, el contenido, el contexto, la época, el diseño de formación, así como las características y necesidades de los alumnos (Tabla 2).
De acuerdo con los estudios consultados, y de cara a una valoración más objetiva del realismo, se determinó que se debía diferenciar el llamado realismo conceptual/estructural del realismo funcional mediante dos variables sistémicas que se describen en la Tabla 3.
HERRAMIENTA CUANTITATIVA PARA MEDIR EL REALISMO CONSEGUIDO
Las consideraciones cualitativas antes referidas se integraron argumentalmente para desarrollar una herramienta cuantitativa global. La Tabla 4 explica el sistema de categorías y subcategorías de ProRealSim v.1.0.
El aplicativo se centra en las tres dimensiones más frecuentes del realismo escénico: simulador, participante simulado y escenario. El simulador contempla la precisión y naturalidad con 18 indicadores; el participante simulado mide la precisión y naturalidad a través de 24 indicadores; la escenografía valora la precisión y naturalidad en 11 indicadores.
El cálculo de la herramienta permite obtener cifras de precisión y naturalidad para las tres dimensiones y arroja una cifra global para aquellos escenarios que empleen más de una de ellas. La expresión de las cifras en niveles que se detallan a continuación proporciona una mayor variabilidad a la vez que permite una clasificación más diversa:
- 1. Rango muy bajo: ≥ 1 y < 3.5
- 2. Rango bajo: ≥ 3.5 y < 5
- 3. Rango medio: ≥ 5 y < 7
- 4. Rango alto: ≥ 7 y < 8.5
- 5. Rango muy alto: ≥ 8.5 y < 10
Para este cálculo global de realismo, se realizó una ponderación matemática que responde a la evidencia encontrada en la literatura y con base en ella se estimó que el participante simulado aporta 50% del realismo global, la escenografía 30% y el simulador 20%.
DISCUSIóN
Para Rudolph el realismo se entiende como una percepción del alumno; este concepto es significativo porque involucra la percepción que más impacta en el aprendizaje: la del participante directo.4 Su inconveniente está en que la interpretación del alumno es limitada para hacer una evaluación objetiva. En la percepción del alumno influyen el contrato de ficción, la seguridad del entorno, el briefing recibido, la experiencia, el conocimiento, los factores emocionales, las capacidades/habilidades o la dificultad de la tarea, entre otras.7 Por lo que, con frecuencia, la percepción del alumno no guarda relación con un juicio exacto ni justo del realismo conseguido en el escenario de aprendizaje.
Para construir escenarios simulados, así como medir su nivel de recreación realista y el impacto cognitivo, emocional y ético, es necesario realizar una evaluación objetiva del realismo conseguido. Al ser ésta una cuestión de alta complejidad no se aconseja dejar la evaluación del realismo en consideración del alumno, ni solucionar el problema de la incredulidad pactando con el esfuerzo de creer a toda costa. De no analizar este aspecto con suficiente rigurosidad estaríamos desatendiendo y dejando fuera de control y estudio fenómenos que pueden favorecer el aprendizaje y al individuo que aprende o entrena.6,9
La incorporación descontrolada de elementos realistas y tecnológicos puede ser nociva para el aprendizaje. Es importante tener en cuenta qué niveles de realismo se manejan para evitar daños éticos y psicológicos.10,11
Para asegurar una evaluación más objetiva del realismo, nuestro equipo de investigación consideró elementos cualitativos y cuantitativos categorizados y subcategorizados vinculados a una herramienta de evaluación validada. Luego de varios estudios piloto con evaluadores expertos y no expertos se estimó como más fiable (mediciones más ajustadas y consistentes) la figura del profesor experto. Este hallazgo no evita que se considere debidamente la percepción de realismo del alumno, que tanta importancia tiene en el impacto educativo, emocional y ético de las pretensiones realistas de nuestros diseños.
Esta categorización permite evitar los riesgos de inyección desproporcionada de tecnología y realismo ingenuo al vincularse estrechamente con el diseño didáctico y sus principales factores humanos. Recomendamos que el tasador prioritario sea el diseñador del caso simulado y experto en el tema o asignatura que atiende la simulación, porque consideramos que la suya es una percepción más objetiva y diestra que la del alumno o cualquier otra figura colaboradora. El profesor establece un pacto con la realidad que pretende emular y conoce profundamente, a diferencia del alumno que pacta con la ficción.
El mayor inconveniente de nuestro constructo es el carácter subjetivo del realismo, para atenuar este sesgo, al evaluar el realismo pretendido, aconsejamos tomar en cuenta los objetivos de aprendizaje, el contenido, el contexto, la época, el diseño de formación, además de las características y necesidades de los alumnos. Considerando siempre si el nivel de realismo proyectado apoya el aprendizaje y las exigencias de la tarea.
El que una persona pueda percibir cierto grado de realismo mientras otra puede experimentar un grado diferente, analizando un mismo fenómeno,4 se acentúa con la insuficiente consideración de los elementos anteriormente mencionados y la falta de acuerdo previo entre los evaluadores.
Por ello, es importante crear una cultura y método de valoración/medición del realismo, además de estimular la formación de tasadores y expertos en la temática, que interactúen mediante comunidades de aprendizajes y consoliden protocolos y criterios; así como analizar debidamente los resultados obtenidos a partir de estudios estandarizados con grandes muestras.
La combinación de métodos cualitativos y cuantitativos, además de una interpretación profunda de los resultados, proporcionarán una mejor dimensión del calado y verdaderos efectos del realismo en la cognición, la transferencia de aprendizaje y el impacto psicológico. También permitirá atenuar y presagiar los efectos éticos que las inmersiones realistas e hiperrealistas pudieran desencadenar.
Un consenso previo entre los equipos evaluadores de realismo, desde el punto de vista cualitativo, es imprescindible; así como preajustar las expectativas, caso a caso, para disminuir el posible escapismo de los criterios evaluadores, acordando previamente los niveles de realismo que se pretende obtener y que éstos estén vinculados a objetivos de aprendizaje concretos.
De acuerdo con los objetivos de aprendizaje, el evaluador debe analizar los elementos con que dispone y prever el nivel de verosimilitud que podría obtener con ellos, al hacer un pronóstico de éstos que facilite la implementación y la evaluación de lo logrado.
La definición del realismo necesario para cumplir los objetivos de aprendizaje está muy vinculada con el contexto y la capacidad docente para conseguirlo. Los programas de simulación con más años de experiencia cuentan con equipos docentes entrenados que conocen muy bien qué recursos resultan más realistas y pueden manejar mejor sus expectativas. Los acuerdos entre tasadores es mejor llevarlos a cabo mediante conversaciones previas. En la medida en que sean grupos consolidados y que las iniciativas estén "más rodadas" será más rápido y fácil llegar al consenso.
También se debe considerar qué niveles de realismo se puede lograr con la tecnología disponible en la institución y en el mercado. Con independencia de que existan recursos más desarrollados, conocidos por el equipo docente o no, los disponibles deberán ser testeados justamente, de modo previo y durante las actividades en que se usan, sin infravalorarlos ni sobrevalorarlos.
Paralelamente, se deberá valorar si el realismo pretendido estará acorde con el nivel de conocimientos/experiencia de los participantes en el entrenamiento. No es lo mismo un alumno que haya tenido contacto con la realidad o que haya entrenado previamente en entornos simulados más o menos sofisticados, a un alumno que carezca por completo de experiencia en el área en que se entrena. En el último caso, el índice de realismo necesario suele ser más bajo en los primeros entrenamientos, cuando se busca desarrollar habilidades básicas. Por supuesto, a medida que se avance en conocimiento y experiencia del aprendiz se necesitará más realismo para mejorar la transferencia de aprendizaje al mundo real.
Los investigadores del grupo SIMLAB desarrollaron una herramienta llamada ProRealSim v1.012 para evaluar el realismo obtenido en escenarios simulados.
Su desarrollo se apoyó en los aportes de Dieckmann y colegas,7 Rudolph y colaboradores,9 Hamstra y su grupo,4 Tun y compañeros,6 así como Kneebone y colegas.13 Además se centró en la perspectiva observacional del docente diseñador experto para obtener un consenso numérico y comparar las relaciones e influencias entre los indicadores y las calificaciones.
Se trata de una herramienta teórica y matemática, online, validada, bilingüe (inglés/español), gratuita, disponible para ordenador y móvil, que dada la versatilidad de sus indicadores será muy útil en los programas de cualquier disciplina médica que apliquen la metodología.
Con ella, se puede obtener un índice de realismo conseguido si el profesor o experto en el área de entrenamiento es el tasador. Se debe procurar que participen varios tasadores para disminuir al máximo la subjetividad de un solo evaluador y obtener un índice medio de realismo que aportará una evaluación numérica contrastable de un término hasta hoy bastante inaprensible, complejo y difuso.
Con el objetivo de superar la discrepancia y la falta de herramientas de este tipo, el equipo investigador ofrece la herramienta de forma libre para testarla en muestras más grandes. Esto es posible gracias a su amplia accesibilidad digital y al empleo de indicadores objetivables, medibles, fáciles de interpretar, reconocibles, frecuentes y familiares en la mayoría de los escenarios.
Vinculando descriptores cualitativos con una escala Lickert de 1 a 10 (donde 1 es muy bajo y 10 es muy alto), el tasador podrá calificar el realismo. Antes, deberá recibir formación y entrenamiento con la herramienta y se le acreditará como tasador.
Contar con una cifra objetiva permite, en primer lugar, hacer una valoración numérica previa del realismo pretendido. Y luego de ejecutadas y evaluadas las escenas, el índice medio de realismo aporta una evaluación numérica contrastable de un término hasta hoy bastante inaprensible, complejo y difuso.
Como una de las dificultades de todo sistema de medición complejo está la disparidad intra e interobservador sobre los objetos, actos y reacciones simuladas,14 hacemos énfasis en la importancia del entrenamiento de los tasadores para el mejor uso e interpretación de estos términos.
Para disminuir el carácter subjetivo de la dimensión y mejorar la calidad evaluativa recomendamos que haya un experto en el campo de estudio con un alto nivel de actualización en la competencia para entrenar y en su enseñanza, además de la participación de varios tasadores; así como, mediante consenso de un equipo y escenarios piloto, preevaluar el realismo pretendido para evitar daños emocionales y cargas cognitivas en los alumnos; también evitar que los evaluadores puntúen rutinariamente, asignen puntuaciones similares o den la misma puntuación en varios ítems sin distinguir las sutiles diferencias expresivas del realismo.
Para evitar el cansancio del evaluador, sugerimos medir previamente los elementos de precisión y dejar para la escena la valoración de los elementos de naturalidad, apoyarse en grabaciones para asegurar una evaluación más rigurosa de elementos que pueden escapar a la observación, y evaluar caso por caso, tomando en consideración la ley de oro de que no hay dos escenarios iguales, sobre todo cuando se trata de escenarios complejos.
La iniciativa tiene el propósito de formar una comunidad consolidada de expertos en realismo para profundizar en el conocimiento, así como discriminar sus sutiles diferencias y complejidades. Además de vincularlas con estrategias que permitan disminuir las discrepancias entre los evaluadores, la fatiga del observador y la falta de análisis de contextos diferentes con base en la evidencia.
De forma paralela, la herramienta persigue impulsar una cultura de interpretación del realismo que permita conocer el impacto de las variables en estudio, verificar la utilidad de las dimensiones, unidades, categorías e indicadores creados, y comparar las mediciones de realismo conseguido con las de realismo percibido por el alumno medidas por métodos cuantitativos más simples, como una escala, o profundizando en sus interpretaciones a través de estudios cualitativos y entrevistas a profundidad.
Esto ayudará a conocer el costo/beneficio de las inversiones, contando con la ventaja de que los elementos, activos y productos de la simulación sean validados por expertos clínicos, lo que permitirá analizar cómo impactan estas métricas en el diseño y construcción de entornos simulados y en el aprendizaje y transferencia de lo aprendido.
La pestaña de feedback de la herramienta ProRealSim v.1.0 facilita que investigadores, docentes, personal técnico, entre otros tantos que estén interesados en este campo de estudio, puedan ponerse en contacto con el equipo de investigación.
Finalmente, podemos decir que el estudio más profundo del realismo, que permitirá este nuevo concepto y herramienta, reducirá la evaluación subjetiva del realismo en las simulaciones clínicas, a la vez que aportará nuevas dimensiones, unidades y categorías que definan y hagan medibles las diferentes expresiones de realismo. A partir de aquí, se podrán comparar mediciones del realismo conseguido (índice de realismo medido por profesores) con mediciones de realismo percibido por el alumno, con el rendimiento del alumno y con la trasferencia de lo aprendido al mundo clínico real. Además, esto posibilitará prever y obtener el verdadero costo/beneficio de las inversiones económicas en entornos realistas, así como testear el realismo de los activos humanos, simuladores y entornos empleados por los expertos de las instituciones, para que así los elementos, activos y productos de la simulación sean validados por expertos clínicos.
CONCLUSIóN
El realismo es multifactorial y los requisitos necesarios para que sea un realismo óptimo y no lesivo, ni ingenuo varían según los contextos, las épocas y los objetivos de aprendizaje.
Con este artículo damos a conocer a la comunidad científica nuevos elementos de la ciencia sobre la valoración cualitativa y la medición (mediante un índice de realismo) de las simulaciones clínicas empleadas en el entrenamiento de los cuerpos asistenciales.
Recomendamos y facilitamos el uso gratuito de un sistema de evaluación formado por elementos cualitativos y cuantitativos categorizados y subcategorizados. Partimos de la evidencia encontrada de que el término fidelidad necesita una evolución conceptual y aunque la percepción del alumno es la que más impacta en el aprendizaje, ésta es limitada desde el punto de vista objetivo. Por lo que para construir escenarios simulados y medir su nivel de recreación realista, el impacto cognitivo, emocional y ético, proponemos este sistema integrado y sugerimos al profesor experto como el tasador más fiable.
REFERENCIAS (EN ESTE ARTÍCULO)
Coro-Montanet G, Pardo MMJ, De la Hoz Calvo A, Sánchez IJ, Oliva FO, Inouye SL. ProRealSim v1.0. Tool to calculate the realism index obtained in clinical simulation scenarios in physical environments [Internet]. Madrid: Universidad Europea; 2021 [6/10/2022]. Available in: https://prorealsim.universidadeuropea.com
AFILIACIONES
1 Coordinadora de Simulación. Universidad Europea de Madrid.
2 Coordinador del Hospital Simulado. Universidad Europea de Madrid.
3 Profesora de Departamento Preclínico de Odontología. Universidad Europea de Madrid.
4 Directora del Departamento Preclínico de Odontología. Universidad Europea de Madrid.
Financiamiento: este trabajo ha sido financiado por el proyecto 2022UEM15 y la Beca de Investigación de la Sociedad Española de Simulación Clínica y Seguridad del Paciente (SESSEP).
CORRESPONDENCIA
Gleyvis Coro-Montanet. E-mail: gleyvis.coro@universidadeuropea.esRecibido: 06/10/2022. Aceptado: 20/02/2023.