2021, Número 2
Evaluación Kirkpatrick de un programa de simulación clínica para estudiantes de técnico en laboratorio clínico
Texto completo
Cómo citar este artículo
10.35366/101427
Artículos similares
Idioma: Español
Referencias bibliográficas: 39
Paginas: 47-54
Archivo PDF: 233.17 Kb.
RESUMEN
Introducción: El trato directo del estudiante con el paciente y sus fluidos se considera una práctica académica riesgosa. Por este motivo, se propone un programa de simulación para estudiantes de técnico en laboratorio clínico. Objetivo: Determinar, mediante el modelo Kirkpatrick de 4 niveles, si el entrenamiento simulado es un método factible de implementar. Material y métodos: Estudio prospectivo de cohorte no concurrente, sin control. Se desarrolló y ejecutó un programa anual de dos módulos de entrenamiento para dos grupos generacionales (e2015-2016 y e2017), abordando contenidos de Laboratorio Clínico y Microbiología. Se evaluó la satisfacción del programa por parte de los estudiantes (reacción), el conocimiento adquirido en el programa (aprendizaje), la transferencia de habilidades hacia el contexto laboral (comportamiento), y la tasa de empleabilidad de los estudiantes involucrados en el programa (impacto). Resultados: Los resultados promedio obtenidos para e2015-2016 fueron: reacción = 3.90 ± 0.07, aprendizaje = 58.87 ± 6.26, comportamiento 88.73 ± 4.84, e impacto = 70%. Los resultados obtenidos para e2017 fueron superiores en todas las dimensiones. Discusión: La implementación del programa, debido a la alta satisfacción que manifiestan los estudiantes, docentes, y jefes técnicos de laboratorios, así como sus indicadores asociados, hacen ver una propuesta metodológica atractiva de alta factibilidad y reproducibilidad a nivel institucional.INTRODUCCIóN
En la actualidad, los métodos de enseñanza en ciencias de la salud están siendo actualizados para maximizar el aprendizaje efectivo, y entregar un perfil ajustado a las exigencias nacionales.1 En este contexto, la formación de técnicos en laboratorio clínico (TSLB) debe responder a la demanda sin transgredir los principios bioéticos durante su proceso de formación.2,3 Aunque los métodos contemporáneos disponen de prácticas clínicas que permiten un trato directo con el paciente y sus fluidos, el riesgo al que el estudiante es sometido de manera prematura en su proceso de aprendizaje es un factor de riesgo considerable, como también lo es para el paciente exponerse ante quien carece de experiencia (World Health Organization, 2013). Los métodos centrados en simulación clínica reúnen características clave para enfrentar este problema,4 ya que permiten la adquisición de competencias en un entorno controlado donde el paciente no es expuesto y, según los grados de fidelidad y complejidad lo requieran, minimiza los riesgos del entorno real para el aprendizaje efectivo; además de estandarizar la formación académica del estudiantado en el marco de un programa académico.5
Si bien es cierto que la experiencia real no podrá ser sustituida por un programa de simulación clínica, se pretende que sea un eje complementario curricular formal. En Chile, esta estrategia educacional ha comenzado a implementarse rápidamente por las instituciones,6 debido a las ventajas que presenta por sobre los métodos convencionales.7,8 Sin embargo, Duoc UC, institución con prestigio y trayectoria en la educación técnica nacional, no ha documentado su contribución en el campo de la simulación clínica, por lo que el presente artículo expone la primera evidencia de simulación clínica aplicada a TSLB. En línea con lo anterior, aunque la evidencia relacionada a educación técnica en salud ha tenido importantes contribuciones,9-12 resulta ser muy escasa.13
El modelo Kirkpatrick de cuatro niveles destaca en la formalización de programas académicos, analizando la aceptación de los participantes, su desempeño dentro y fuera de la intervención, y el impacto que tuvo su realización.14 El modelo cuenta con una estructura simple y sólida, midiendo variables que facilitan el criterio de evaluación, sin la necesidad de contar con el desempeño previo de los participantes, ni variables individuales y ambientales. En el modelo, los cuatro niveles representan la respuesta de los participantes a la experiencia de entrenamiento (I-reacción), el conocimiento desplegado hacia formatos teóricos, prácticos y actitudinales al finalizar la intervención (II-aprendizaje), la demostración de la naturaleza efectiva del programa de entrenamiento, basada en el desempeño de los participantes en un ambiente real (III-comportamiento), y el impacto que tuvo el programa hacia parámetros institucionales (IV-resultados).15 Es por estas razones que el modelo Kirkpatrick es adecuado para evaluar práctica clínica simulada (PCS),16,17 y los autores del presente artículo se han propuesto levantar información sobre la efectividad educacional del programa en la formación de TSLB, utilizando el modelo Kirkpatrick de cuatro niveles.18-20
MATERIAL Y MéTODOS
Población: estudio prospectivo, de cohorte no concurrente, sin control para tres generaciones de estudiantes TSLB. Los estudiantes TSLB de segundo año fueron sujetos a un programa anual de dos módulos de PCS, para adquirir las competencias necesarias y fundamentales de su contexto laboral.
La muestra estadística total consta de 102 estudiantes de tercer semestre de TSLB, Duoc UC-Maipú, quienes fueron sujetos a la intervención en grupos de seis a 10 estudiantes.21 Todo estudiante que inscribió las asignaturas mínimas "práctica clínica II" y "práctica clínica III", durante 2014 y 2016, fue asignado al programa experimental "práctica clínica simulada" (PCS). Los estudiantes egresados en 2015, 2016 y 2017 cursaron PCS en 2014, 2015 y 2016, respectivamente.
Práctica clínica simulada, estructura general del programa y reproducibilidad: PCS fue diseñado para ser realizado en dos módulos presenciales de 5 horas cronológicas por 20 días (200 horas totales), en el centro de simulación clínica de Duoc UC-Maipú. El primer módulo se basó en la realización de técnicas básicas de laboratorio clínico22 durante el tercer semestre. Por su parte, el segundo módulo se basó en la realización de técnicas básicas de microbiología clínica23 durante el cuarto semestre. El programa se realizó bajo la instrucción y supervisión de los mismos profesores para cada generación, en un formato centrado en el alumno,24-26 y considerando un ambiente de confianza, compasión y horizontalidad.27 Para el desarrollo de PCS se utilizó una solicitud ficticia de exámenes de laboratorio tradicional.
El método de formación se basó en la secuencia "mirar y hacer, perfeccionar, y demostrar". Por lo tanto, el profesor realizó cada procedimiento previo a la respectiva ejecución de los estudiantes. Los métodos fueron presentados de forma individual y realizados durante el mismo día en el que se realizó la instrucción. Una vez finalizado el periodo de "mirar y hacer" (días 1-5), se les entregó diario a cada estudiante solicitudes de examen ficticias para ser procesadas. Los días de perfeccionamiento inicial (días 6-10) fueron realizados con el profesor dentro del ambiente de aprendizaje.28 En la etapa final de perfeccionamiento (días 11-15), el profesor supervisó remotamente con cámaras de control computarizado.29
En cada instancia de entrenamiento se realizó retroalimentación personalizada de manera inmediata (días 1-10) y durante el debriefing (días 11-15).30,31 Las evaluaciones de cada módulo se realizaron en sus respectivos cinco días finales (días 16-20).32
Las evaluaciones se realizaron de forma presencial y utilizando tablas de evaluación (Anexo 1A).2 Para la retroalimentación personalizada se utilizó un esquema similar a lo utilizado en otros estudios de simulación clínica, como es el método con buen juicio y DIAMOND,30,31 esta metodología incluye una fase descriptiva (¿Cómo se sintieron en su ejecución? ¿Puede comentar de qué se trató su escenario? ¿Qué piensa de la fidelidad del escenario?), analítica (¿Qué realizó? ¿Por qué realizó su ejecución de esa manera?) y aplicación (¿Cómo podrías aplicar lo que has aprendido en otras situaciones? ¿Qué es lo que más rescata de esta experiencia?) (Anexo 2).2
Recolección de datos: los datos estadísticos comprenden a las generaciones egresadas en 2015, 2016, y 2017, agrupados en e2015-2016 y e2017, para finalidad del estudio. Las generaciones 2015-2016 se juntaron por poder estadístico. Las generaciones de estudiantes que participaron en este estudio contaban con la misma malla curricular durante el periodo de estudio para TSLB, lo que mantiene el nivel curricular de las generaciones a comparar.
Análisis nivel I Kirkpatrick: el nivel de reacción de todos los participantes se evaluó al final del año 2016, al momento de finalizar PCS de e2017. Para ello, se utilizó una encuesta con respuestas cerradas, en escala Likert de 5 puntos, relativa a PCS (nueve preguntas) y sus instructores (10 preguntas). Al final de la encuesta se incluyó una casilla abierta para comentarios.33 Para evaluar el nivel de reacción (Kirkpatrick I) se esperaron dos años para el caso de la generación 2014, ya que la encuesta fue una sola y se realizó en una fecha determinada, en la cual todos los estudiantes involucrados participaron de dicha encuesta.
Las preguntas que se realizaron en la encuesta se generaron con base en lo publicado en el libro de Donald L. Kirkpatrick (Evaluating training programs), el detalle de las preguntas se encuentra en Anexo 3.2
Análisis nivel II Kirkpatrick: el nivel de aprendizaje se evaluó utilizando tres instrumentos, una prueba práctica (60%), una prueba escrita (20%) y una exposición (20%). Las rúbricas para las pruebas prácticas contemplaron variables procedimentales; mientras que las pruebas escritas se enfocaron en los fundamentos de cada procedimiento y la obtención de resultados. La exposición se realizó en modalidad Pecha-Kucha 20 × 20,34 y cada participante abordó una enfermedad relacionada al módulo, enfatizando los procedimientos para la confirmación diagnóstica. Los instrumentos utilizados abordaron una escala 1 a 7, estableciendo como criterio de aprobación nota 4. Los resultados de las evaluaciones fueron segmentados en grupos de cinco décimas, con base en la distribución de los promedios ponderados de PCS, utilizando la nota final de cada estudiante (e2015-2016 o e2017).
Análisis nivel III Kirkpatrick: el nivel del comportamiento se evaluó seis meses después de finalizar PCS, al momento de concluir su internado. Los participantes realizaron su internado habilitante en laboratorios clínicos públicos o privados, cumpliendo tres meses de servicio en dichos establecimientos antes de su evaluación. La evaluación fue realizada por el jefe técnico de laboratorio y un profesor tutor (se utilizó la misma escala de valoración que en la PCS, esto nos permitió realizar las diferentes comparaciones). El jefe técnico utilizó una pauta de 11 aspectos, y cada aspecto con un rango de valoración de 1 a 10 para evaluar a su grupo de internos, junto a internos de otras instituciones como grupo control (se desconoce a qué instituciones pertenecen, Anexo 1B);2 mientras que el profesor tutor evaluó la bitácora clínico-reflexiva de los participantes, la cual contiene el registro de experiencias (procedimientos y novedades). Se estableció como criterio de aprobación nota 4, en escala 1-7. Si bien se desconoce la procedencia de los otros internos (grupo control), la principal diferencia es que Duoc UC es uno de los primeros institutos en incorporar las prácticas clínicas simuladas.
Debido a que no se realizaron pruebas anteriores a la intervención (pre-test), se realiza la comparación entre generaciones con la misma malla curricular que tuvieron la intervención vs generaciones comparables de estudiantes de otras casas de estudio que no tuvieron acceso a las PCS de Duoc UC. Los instrumentos de evaluación utilizados derivan del Anexo 1A ,2 validado por escuela de salud. El criterio para determinar aprendizaje se complementa con lo expuesto en el nivel III, con las calificaciones determinadas por un tercero (supervisor clínico). Sin embargo, el criterio docente se expone en nivel II (aprobación de PCS).
Una vez finalizado el intervalo, se realizó una encuesta de dos preguntas a los estudiantes: ¿cómo fue su desempeño en su internado habilitante (en escala 1 a 5)?, y ¿PCS fue fundamental para su desempeño durante su internado habilitante? Esta encuesta se realizó antes de conocer las evaluaciones del internado.
Análisis nivel IV Kirkpatrick: para evaluar el impacto de la PCS en los estudiantes, se utilizó la medición de la empleabilidad. Ésta se obtuvo tras medir la cantidad de egresados laboralmente activos mediante consulta directa, con participantes egresados de hasta seis meses, y comparándola con la realidad nacional a 12 meses de egreso (datos provenientes de MINEDUC 2017).
Análisis estadístico: el análisis de los puntajes de cada nivel se realizó con un t-test no pareado (ya que no se cuenta con un pre-test antes de la intervención), considerando un valor p menor de 0.05 como estadísticamente significativo. Se han incluido valores promedio con sus respectivas desviaciones estándar en los gráficos.
En ambas generaciones se usaron las mismas metodologías, incluso participaron generaciones que tuvieron la misma malla curricular. Por lo tanto, en este estudio los análisis permiten comprender el impacto que tiene implementar las PCS durante la preparación académica de los TSLB.
CONSIDERACIONES éTICAS
El programa fue diseñado, expuesto y ejecutado en plan piloto bajo aprobación institucional. La recolección de datos, así como la realización de PCS, fue explicada en forma verbal y escrita a cada participante; enfatizando la confidencialidad y protección de los datos.
RESULTADOS
En el nivel I Kirkpatrick (Figura 1) se observó un valor promedio de 3.90 ± 0.07 para e2015-2016 (n = 15), y 4.08 ± 0.08 para e2017 (n = 29), considerando los aspectos tema, horario, infraestructura y calidad docente. Adicionalmente, en ambos grupos, calidad docente y tema fueron los aspectos mejor evaluados; mientras que horario e infraestructura fueron los aspectos de menor puntaje.
Para el nivel II Kirkpatrick se observó un valor promedio de 58.87 ± 6.26 para e2015-2016 (n = 74), y 61.45 ± 3.79 para e2017 (n = 29), en el nivel de aprendizaje se observó que la generación e2017 tiene un mejor rendimiento (p < 0.05) en comparación a la generación e2015-2016. En la Figura 2 se representa la distribución de los datos con base en segmentación, en donde se observa claramente un desplazamiento positivo de la curva para e2017, además se representan los promedios obtenidos para cada grupo.
Para el nivel III Kirkpatrick, los estudiantes que finalizaron PCS tuvieron un descanso de tres meses; equivalente al periodo de vacaciones de verano de estudiantes de término. Finalizado el descanso, los estudiantes cursaron por tres meses su internado habilitante en instituciones de salud, y fueron evaluados por el jefe técnico de laboratorio (pauta de 11 aspectos) y por el profesor tutor (bitácora clínico-reflexiva). Los jefes técnicos manifestaron preferencia por el perfil de estudiante e2015-2016 (n = 32) y e2017 (n = 29), frente al perfil de los institutos de referencia (p < 0.0001). En este proceso de satisfacción de perfil participaron jefes de técnicos de diferentes laboratorios: cinco para e2015-2016 y cuatro para el instituto de referencia 2016; mientras que participaron seis para e2017 y cuatro para el instituto de referencia 2017 (Figura 3). Las ponderaciones obtenidas en las bitácora clínico-reflexiva fueron de 6.56 ± 0.38 para e2015-2016, y 6.75 ± 0.24 para e2017.
Por otro lado, a los estudiantes que finalizaron su internado habilitante se les realizó una encuesta con dos preguntas, antes de conocer los resultados de habilitación. Para la pregunta ¿cómo fue su desempeño en su internado habilitante (en escala 1 a 5)?, se obtuvo 4.22 ± 0.80 para e2015-2016 (n = 52), y 4.20 ± 0.76 para e2017 (n = 29); y para ¿PCS fue fundamental para su desempeño durante su internado habilitante?, se obtuvo un 84.48% para e2015-2016 (n = 52), y un 96.67% para e2017 (n = 29).
Para el nivel IV Kirkpatrick los estudiantes tuvieron seis meses para encontrar trabajo directamente relacionado a TSLB. Es por lo que los estudiantes que trabajan en áreas no relacionadas, o que ingresaron a planes de estudio profesionales, no contribuyen al campo "trabajo directo". Así, de los datos se desprende que e2015-2016 (n = 40) y e2017 (n = 29) se encuentran por sobre la media TSLB nacional del año 2017, con un 70 y 96.6% respectivamente (Figura 4). Más aún, los valores de ambos grupos son superiores a la tasa de empleabilidad promedio anual de TSLB Duoc UC.
DISCUSIóN
La mayoría de las organizaciones, si no todas, consideran el recurso humano como un componente fundamental en su desempeño. Así, aunque una organización contase con el equipamiento de última tecnología, sin personal especializado no podría alcanzar a plenitud sus indicadores de éxito.20 Es por esto que la actualización de los programas de formación debe ser altamente considerada por las instituciones educativas en las instancias de reformulación de mallas curriculares.
En este trabajo, el planteamiento de cada módulo de PCS fue diseñado para dar un marco introductorio/práctico al entorno laboral, de manera que permitiese a los estudiantes abordar problemas debidamente contextualizados de su función.26 Por lo tanto, esta estructuración del programa se enfoca en la estimulación del potencial técnico, en pos de la generación de un desempeño efectivo en su campo ocupacional; por lo que se espera exista un elevado grado de transferencia del aprendizaje hacia el contexto laboral.35,36
Tras analizar los resultados de la Figura 1, éstos sugieren que tanto e2015-2016 como e2017 han sido bien aceptados por los grupos de entrenamiento (> 78% de satisfacción general).20 Asimismo, los temas abordados y la calidad docente destacan como los aspectos mejor evaluados (> 85% satisfacción), lo que a nivel de programa indicaría realizar pequeñas modificaciones al contenido y didáctica del programa, así como establecer programas de capacitación/entrenamiento para los docentes de PCS. Sin embargo, el horario y la infraestructura fueron los aspectos peor evaluados (< 76% satisfacción). En línea con lo anterior, los comentarios de los estudiantes, emitidos en el segmento de pregunta abierta de la encuesta de satisfacción, guardan estrecha relación con el horario de ejecución de PCS (14:00-19:00) y la necesidad de contar con mayor infraestructura (equipos, reactivos e insumos). Es importante considerar estos aspectos, puesto que representan importantes puntos de mejora en el desarrollo y aplicación del programa.
Los resultados del nivel II de Kirkpatrick (Figura 2) nos sugieren que los participantes de PCS han logrado reunir las competencias de aprendizaje durante el curso; esto con base en la demostración de conocimiento que tuvo cada estudiante en los diferentes instrumentos de evaluación empleados. Por otro lado, el desplazamiento de la curva de distribución de promedios de cada grupo podría deberse a la capacidad intrínseca de los estudiantes, perfeccionamiento docente en el programa, o bien el traspaso de información de una generación a otra. En el caso de esta última, la modificación del estado de alerta pudiese ser un importante factor, lo que supone un aspecto a considerar en el programa. Utilizar planes de aprendizaje altamente personalizados pudiese tener una alta incidencia en el nivel I y II, considerando que el aprendizaje contempla aspectos emocionales.37
A pesar que e2015-2016 y e2017 han manifestado críticas en el nivel I, los resultados en nivel III indican que ambos han sido bien evaluados en su internado habilitante, y que además han considerado PCS fundamental para su desempeño (Figura 3). Así, los grupos e2015-2016 y e2017 se encuentran 19.18 y 16.45 puntos respectivamente sobre sus pares de referencia (estudiantes de otras casas de estudio cursando su internado habilitante en el mismo laboratorio, y al mismo tiempo). Esto nos lleva a conclusiones tales como mantener el esqueleto del programa, debido a la alta satisfacción que manifiestan los jefes técnicos hacia el perfil TSLB sujeto a la intervención.
Puesto que ninguno de los niveles anteriores garantiza la correcta inserción laboral, salvo el nivel III en una condición temporal estricta, se ha definido la empleabilidad como el factor de satisfacción fundamental a nivel institucional, y bajo el cual se tomarán decisiones estratégicas. Como es posible observar en la Figura 4, utilizando fuentes de datos ministeriales del 2017 (MINEDUC), un 57.5% de TSLB logra encontrar trabajo al año de egreso, ascendiendo a 64.6% a los dos años de egreso. Para Duoc UC, un 63.5% de TSLB logra encontrar trabajo al año de egreso. Resulta especialmente importante comparar estos valores de realidad nacional a los obtenidos en el presente estudio; al cabo de seis meses de egreso, 70 y 96.65%, e2015-2016 y e2017 respectivamente, se encuentra trabajando en contextos propios de su función.18 Este indicador sin duda ha llevado a la conversación de las autoridades institucionales sobre el alcance de PCS por tratarse de una metodología altamente replicable a nivel institucional.6 Coherentemente con lo anterior, los resultados promedio para e2018 (generación egresada en 2018, datos no mostrados) son bastante prometedores, y similares a los descritos para e2015-2016 y e2017.
En este artículo está de manifiesto que la metodología de evaluación mediante el método Kirkpatrick permite determinar la efectividad que tuvo la intervención de PSC.19,38 Puesto que ésta supone la primera evidencia formal de realización de simulación clínica para estudiantes técnicos del área salud ligada a laboratorio (TSLB), resulta indispensable generar más estudios que contribuyan a la evidencia disponible.39
CONCLUSIóN
Hoy en día existe evidencia suficiente que respalda la utilización de métodos simulados en las carreras de la salud. En nuestro caso destacan tres importantes aspectos: 1) no se transgrede los estatutos bioéticos que protegen la vulneración de los derechos de los pacientes; 2) el programa simulado posee componentes contextualizados basados en documentos instruccionales de coherencia curricular; y 3) se entrega el mismo contenido a cada estudiante, realizando un monitoreo personalizado que da garantía de la adquisición mínima de competencias, y estandariza la formación de TSLB durante el periodo lectivo. Así, se garantiza la protección de la sociedad en términos éticos, el aprendizaje durante el desarrollo de los participantes y su notoria contribución a diferentes entidades de salud.
REFERENCIAS (EN ESTE ARTÍCULO)
Durham CF, Alden KR. Enhancing patient safety in nursing education through patient simulation. In: Hughes RG, editor. Patient safety and quality: an evidence-based handbook for nurses. Rockville (MD): Agency for Healthcare Research and Quality (US); 2008. Available in: http://www.ncbi.nlm.nih.gov/pubmed/21328731
AFILIACIONES
1 Escuela de Salud de Duoc UC. Santiago, Chile.
Conflicto de intereses: En este estudio no se utilizaron incentivos para los participantes. Los autores declaran no presentar conflicto de intereses.
Financiamiento: Los reactivos, insumos (Farmalatina Ltda), equipos y horas pedagógicas empleadas en el estudio fueron financiados por Duoc UC-sede Maipú. La realización del estudio fue financiada por Duoc UC-casa central.
CORRESPONDENCIA
José Miguel Erpel-Norambuena. E-mail: jerpel@duoc.clRecibido: 04/12/2020. Aceptado: 22/07/2021