2022, Número 1
Diseño y evaluación psicométrica de un examen clínico objetivo estructurado de primeros auxilios
Texto completo
Cómo citar este artículo
10.35366/104949
Artículos similares
Idioma: Español
Referencias bibliográficas: 33
Paginas: 3-10
Archivo PDF: 244.68 Kb.
RESUMEN
Introducción: Todos tenemos la probabilidad de sufrir un accidente o evento de riesgo vital. En este contexto cobra relevancia crear y validar programas de entrenamiento con sus instrumentos de evaluación, especialmente para las enfermeras en su formación inicial de pregrado. Para este estudio se plantea como objetivo determinar las propiedades psicométricas de un examen clínico objetivo estructurado (ECOE) para la medición del nivel de desempeño en la resolución de problemas en el contexto de primeros auxilios en estudiantes de enfermería de primer año. Material y métodos: Estudio cuantitativo, descriptivo y transversal. Se creó y desarrolló un examen clínico objetivo estructurado de 10 estaciones para la medición del nivel de desempeño en la resolución de problemas en el contexto de primeros auxilios en estudiantes de enfermería de primer año. Se evaluaron sus propiedades psicométricas de validez y confiabilidad. Resultados: Con una muestra de 100 instrumentos se calcularon las propiedades psicométricas, obteniéndose robustos resultados para validez (I-CVI = 1; S-CVI/Ave = 1) y confiabilidad (alfa de Cronbach = 0.805). Se obtienen dos modelos en el análisis factorial exploratorio. En el análisis factorial confirmatorio se rechazan por no lograr niveles altos de evidencia. Conclusiones: Los resultados demuestran la validez y confiabilidad del ECOE como un instrumento de 10 estaciones. La aplicación de éste como un instrumento y estrategia evaluativa permite discriminar de forma efectiva el nivel de desempeño en la resolución de problemas en el contexto de primeros auxilios en estudiantes de enfermería de primer año.INTRODUCCIóN
En Chile, en el año 2018, existieron 89,311 siniestros de tránsito, en los cuales fallecieron 1,507 personas y 59,446 víctimas estuvieron involucradas en éstos, con lesiones de diversa consideración.1 Por otro lado, dentro de las primeras causas de mortalidad general se encuentran enfermedades del sistema circulatorio y las enfermedades respiratorias, ocupando el segundo y tercer lugar, respectivamente.2 Ambas estadísticas configuran una epidemiología de riesgo en nuestra población, con alta probabilidad de sufrir un accidente o evento de riesgo vital y como consecuencia tener múltiples lesiones de diversa consideración o en su defecto, incluso, la muerte.
Estos accidentes o situaciones de riesgo vital no tienen un lugar determinado donde se pueden producir. Ocurren en el hogar, lugar de trabajo o trayecto a casa/trabajo, en cualquier horario y día del año. Además, éstos no discriminan sexo, edad o área de desempeño. Todos estamos expuestos en mayor o menor medida a ser potenciales víctimas.3-5
En este contexto, la Organización Mundial de la Salud (OMS) ha desarrollado estrategias para prevenir estos eventos que conllevan una alta tasa de morbilidad y mortalidad, y ha centrado sus esfuerzos en la promoción y prevención de las lesiones en los grupos de mayor riesgo.6-8
Como estrategia para afrontar esta epidemiología expuesta en el equipo de salud, pero principalmente para los legos, se han planteado los primeros auxilios. La American Heart Association define a los primeros auxilios como conductas de ayuda y atención inicial para una enfermedad o lesión aguda. Los objetivos de brindar primeros auxilios es ayudar a preservar la vida, el alivio del sufrimiento, prevenir la aparición de nuevas lesiones o enfermedades, así como la promoción de la recuperación. Los primeros auxilios pueden ser iniciados por cualquier persona, en cualquier situación e incluye el autocuidado. Un pilar fundamental es la educación de los primeros auxilios, ya que puede ser efectiva en la reducción de la morbilidad y mortalidad por lesiones y enfermedades; además, se recomienda que esté al alcance de todos.9,10
Por otro lado, los avances han sido alentadores en Chile en cuanto a la reducción de la mortalidad en accidentes en los que se observa una mejora en la supervivencia.1 Esta tendencia se puede explicar por la sistemática integración de los primeros auxilios en los programas de estudio del área de la salud; de forma especial en enfermería, al desarrollar la perspectiva de riesgo, el fortalecimiento de la promoción y la prevención como pilares para la gestión del cuidado.11 Sustentado en la Norma General Administrativa No 19 que establece que se deben proveer cuidados que sean de calidad, con una atención segura, oportuna y continua.12 En este escenario es que la formación inicial en primeros auxilios se torna fundamental para enfermería desde el pregrado, como una política de formación inicial y como competencia transversal en el currículum.
Por lo tanto, establecer la capacidad de dar respuesta a las necesidades en un contexto de primeros auxilios se torna relevante en la formación inicial de los estudiantes de pregrado de enfermería. Más aún, establecer estrategias de evaluación efectivas cobra especial importancia para los objetivos sanitarios del sistema de salud chileno.
La simulación clínica se ha propuesto como una herramienta de evaluación y certificación de competencias que se encuentra en desarrollo en el pregrado y postgrado en la educación en ciencias de la salud en Chile, planteándose la necesidad de la estandarización y validación de los elementos en los distintos contextos de la misma.13 Esto también permea a la evaluación de la calidad de los programas de simulación, ya que en Latinoamérica no existen estándares de calidad y los propuestos, principalmente en Europa y Estados Unidos, tiene diferentes criterios.14 A pesar de este contexto, existe consenso (regional e internacional) en que se deben ocupar herramientas de evaluación que tengan validez y confiabilidad.15,16
Para escoger la herramienta de evaluación pertinente hay que tener en cuenta cuáles son las habilidades que se requieren desarrollar. Según Miller17 existen cuatro estadios (conocimiento, competencia, desempeño y actuación) en su marco (pirámide), en el cual el examen clínico objetivo estructurado (ECOE) se encuentra en el estadio del desempeño (demostrar cómo), siendo una de las estrategias planteadas para la evaluación de programas de simulación. Por estas razones es que se escoge esta herramienta y se decide evaluar sus propiedades psicométricas en concordancia con los desempeños esperados expuestos en la Tabla 1.15,18
Se ha descrito ECOE como una herramienta de evaluación basada en los principios de objetividad y estandarización, lo que permite la evaluación del desempeño en un ambiente simulado de los candidatos en comparación con esquemas de puntuación por evaluadores capacitados y se ha propuesto como la manera más adecuada de evaluar el desempeño (demostrar cómo).19
Para este estudio se plantea como objetivo determinar las propiedades psicométricas de un ECOE para la medición del nivel de desempeño en la resolución de problemas en el contexto de primeros auxilios en estudiantes de enfermería de primer año.
MATERIAL Y MéTODOS
Diseño del estudio. Se realizó un estudio cuantitativo, descriptivo, transversal.
Muestra y criterios de inclusión. El estudio fue realizado en una Universidad Chilena en la Región Metropolitana. Una muestra intencionada a conveniencia de 100 estudiantes de pregrado de enfermería fue incluida en este estudio (tasa de respuesta = 100%) durante el mes de junio de 2017. Los criterios de inclusión para ingresar a este estudio fueron: a) ser estudiante del programa de enfermería, b) estar matriculado en primer año, c) cumplir con los requisitos académicos para poder realizar el ECOE, y d) indicar voluntariamente su intención de participar.
Desarrollo del instrumento. Se utilizó un instrumento estructurado dicotómico para una observación no participante, directa e individual que fue construido para este estudio. Se desarrolló a través del método Delphi con cinco expertos hasta lograr el grado de acuerdo máximo.20 El grupo de expertos fueron enfermeros con formación formal en simulación clínica, con experiencia corriendo escenarios de simulación, coordinación y desarrollo de ECOE. Como se observa en la Tabla 1, el instrumento consta de nueve aspectos a evaluar con 10 contenidos y cada contenido por estación con criterios de desempeño dicotómicos que se transformaron a puntajes de desempeño por estación, siendo 0 el menor desempeño y 10 el mayor desempeño. El puntaje global se distribuye entre 0 (el menor desempeño) y 100 (el mayor desempeño).
Recolección de datos. Se realizó un ECOE, el cual estuvo compuesto por 10 estaciones y cada una de ellas con una duración de cuatro minutos, con un tiempo total de 40 minutos de rotación total por estudiante.21 Cada estación contó con cuatro minutos para la resolución del problema y actividades del escenario planteado. Para luego, de forma grupal, realizar el debriefing del desempeño observado.22 Se estableció un equipo por estación compuesto por un evaluador y un ayudante. El evaluador aplicó el instrumento; el ayudante veló que las estaciones cuenten con los insumos y condiciones para el desarrollo del escenario. Cada escenario fue evaluado para el total de estudiantes por el mismo evaluador asignado a cada estación.
Consideraciones éticas. El estudio siguió los criterios de Ezequiel Emanuel para los estudios con personas.23 Se resguardaron sus derechos antes de la evaluación, entregando la información necesaria sobre su participación, riesgos, beneficios, naturaleza del estudio y consentimiento informado. En todo momento se resguardó la confidencialidad durante el proceso de la investigación.
Análisis estadístico. El desempeño del ECOE fue descrito con estadígrafos descriptivos.
Se estableció validez y confiabilidad para el instrumento. En el caso de la validez de contenido se realizó por juicio de expertos a través del índice de validez de contenido ítem-nivel (I-CVI) y el método de índice de validez escala-nivel (S-CVI/Ave). Un valor de 1 para el I-CVI de un panel con ≤ 5 miembros y S-CVI/Ave ≥ 0.90 son aceptables.24 La confiabilidad se calculó como medida de consistencia interna a través del alfa de Cronbach (valor ≥ 0.70).25,26
La validez de constructo se estableció a través de la correlación ítem-total (ITC). Los ítems con ITC corregidos con valores entre 0.30 y 0.80, y que no causan caída en ≥ 10% en el alfa de Cronbach en el instrumento no fueron eliminados.27
Kaiser-Meyer-Olkin (KMO) fue calculado para determinar la adecuación del tamaño muestral (valor KMO ≥ 0.60) y el test de esfericidad de Bartlett para la adecuación del factor del modelo (p < 0.05).27
Para evaluar la validez de constructo se calcularon el factor de análisis exploratorio (EFA, por sus siglas en inglés) y el factor de análisis confirmatorio (CFA, por sus siglas en inglés).28
Para el EFA se usaron dos métodos de extracción de factores: 1) el análisis del componente principal (PCA, por sus siglas en inglés) y 2) máxima variabilidad. Los factores con un valor propio mayores a 1 y factores de extracción mayores a 0.30 se retuvieron.27,28 Se continuó con la correlación de factores del EFA, para esto se construyeron matrices de componentes y componentes rotados a través de los métodos de extracción: a) PCA y b) máxima verosimilitud. Ambos métodos de extracción fueron rotados a través del método ortogonal varimax. Componentes y componentes rotados mayores a 0.5 fueron retenidos.27
Para el CFA se calcularon las cargas factoriales para la evaluación reflexiva de un SEM, para este modelo se ocuparon los mínimos cuadrados parciales (PLS, por sus siglas en inglés). En el modelo interno (estructural) se calcularon los coeficientes path (valor coeficiente path ≥ 0.3). Para el modelo externo (de medida) se calcularon las cargas factoriales (valor cargas factoriales ≥ 0.7). Para la fiabilidad y confiabilidad de constructo se calcularon alfa de Cronbach (valor ≥ 0.7), fiabilidad compuesta y varianza extraída media (valor AVE ≥ 0.5).29
Para el análisis estadístico se utilizó SPSS en su versión 23.0.0.2 y SmartPLS 3.2.4 para la construcción del modelo de ecuación estructural (SEM).30
RESULTADOS
DESEMPEñOS
Desempeño general: éste fue de 70.8 en promedio (con un máximo posible de obtener 100) con una desviación estándar de 7.73.
Desempeño por estación: en la Tabla 2 se observa que la estación con más bajo desempeño fue vendaje espiga (promedio = 5.53; DE = 1.47) y con mayor desempeño fue manejo de parto en la vía pública (promedio = 8.33; DE = 2.15).
PROPIEDADES PSICOMéTRICAS
Validez: para la validez de contenido se calculó I-CVI y S-CVI/Ave. Obteniéndose excelentes valores (1 para ambos índices).
Confiabilidad: el alfa de Cronbach calculado para el instrumento fue de 0.805. El alfa de Cronbach varía entre 0.765 y 0.812, provocando una caída máxima de 4.96% si el ítem fuese eliminado. El ITC corregido va entre 0.459 y 0.778. A su vez, las comunalidades (factor de extracción) van entre 0.325 y 0.669 (Tabla 2).
Se calculó la adecuación del tamaño muestral con un KMO de 0.813 y para el factor del modelo el test de esfericidad de Bartlett de < 0.001. Siendo el tamaño muestral adecuado para el cálculo de EFA.
En la Tabla 3 se describen los resultados del EFA, en el cual se encontraron dos (grupos de) componentes para todas las opciones de extracción. La extracción por análisis de componentes principales con y sin rotación (varimax) tienen (grupos de) componentes con todos sus componentes (individuales) mayores a 0.5. Se retienen estos dos modelos. Se rechaza la extracción por máxima verosimilitud (con y sin rotación), descartándose para CFA.
Se calcula la CFA para los modelos descritos. En la Tabla 4 se muestra que los resultados para el modelo 1 y 2 no hay variables latentes que tengan cargas factoriales que confirmen la estructura del modelo externo. Lo mismo sucede con los coeficientes path en el modelo interno. En la Tabla 5 se muestran los cálculos del modelo externo y en ambos modelos no se logran valores de retención, por lo cual se rechazan y se descartan.
DISCUSIóN
Se revisó la literatura y no se encontraron investigaciones en nuestro contexto que evalúen las propiedades psicométricas de un ECOE en estudiantes de primer año de enfermería para la medición del nivel de desempeño en la resolución de problemas en el contexto de primeros auxilios. Por lo cual no tenemos otras investigaciones con qué comparar nuestros resultados, pero a pesar de eso se tienen evidencias psicométricas contundentes de que el ECOE funciona como un instrumento de evaluación.
A pesar de no tener evidencias en el mismo contexto, existen experiencias en el área de la salud en Chile, específicamente en medicina, que con una muestra (n = 125) y número de estaciones (12 estaciones) similares reportan un alfa de Cronbach de 0.62. Hay que tener en cuenta que las complejidades son distintas al ser una evaluación de fin de ciclo formativo, pero en términos psicométricos nuestro estudio tiene mejores resultados.31
En este contexto, nuestra investigación por un lado nos entrega evidencias de la calidad de los instrumentos de evaluación en simulación clínica para enfermería, pero a su vez funciona como una de las evidencias de los procesos para asegurar la calidad de los centros y programas, que de implementarse de forma sistemática, podrían ser un indicador para demostrar la calidad de los mismos.16,19,32
Si bien este estudio no busca ser una guía metodológica, puede servir de base para la exploración inicial de la calidad de los instrumentos de evaluación en los contextos locales y particulares donde se cuentan con recursos limitados y la implementación de estas metodologías pueden ser un desafío no sólo metodológico, sino también de logística y recursos; teniendo en cuenta que en Latinoamérica aún no hay unificación de criterios y sistemas de acreditación de programas y centros.14-16
Los resultados de esta investigación son alentadores para la inserción curricular de la simulación clínica en la formación de pregrado en enfermería y, como se plantea en modelos internacionales, debe ser paulatino, escalonado y demostrando la efectividad, eficiencia y eficacia de sus componentes. Éste es un indicador de las evidencias que se deben tener en cuenta para la monitorización de la inserción.33
CONCLUSIONES
Los resultados demuestran la validez y confiabilidad del ECOE como un instrumento de 10 estaciones. La aplicación del ECOE (con sus 10 estaciones) como un instrumento y estrategia evaluativa permite discriminar de forma efectiva el nivel de desempeño en la resolución de problemas en el contexto de primeros auxilios en estudiantes de enfermería de primer año.
No se demostró que hubiesen variables latentes (grupos de estaciones) que cumplan los criterios para ser aplicadas de forma individual e independiente. Por lo que no se recomienda aplicar menor número de estaciones o separarlas en grupos porque no existen evidencias que corroboren que logren evaluar por separado. A su vez, se recomienda explorar otras formas de validez y confiabilidad con acumulación de evaluaciones en el tiempo, comparaciones entre ellas y mayor número de evaluadores.
Este estudio demuestra que los ECOE son herramientas que se pueden utilizar en estudiantes de formación inicial (primer año), lo que abre las posibilidades reales de la inserción curricular de la simulación clínica de forma transversal en los programas de enfermería. A su vez, nos invita a realizar la evaluación psicométrica de los instrumentos de evaluación en simulación, en este caso un ECOE, como una estrategia rutinaria para asegurar la calidad y la mejora continua de las herramientas de evaluación en la formación tanto de enfermeras como de profesionales de la salud.
AGRADECIMIENTOS
El equipo de investigación agradece a los estudiantes de cuarto año e internos de la carrera de enfermería (2017) de la Universidad Diego Portales (UDP) por su participación como ayudantes. Al equipo directivo de la Escuela de Enfermería de la Facultad de Salud y Odontología (FACSO-UDP) y al Centro de Educación Médica y Simulación Clínica de la Facultad de Medicina por las gestiones en el proceso. Además, a los profesores Fabiola Calquin y Juan Carlos Guíñez en el proceso de implementación.
REFERENCIAS (EN ESTE ARTÍCULO)
Peden M, Oyegbite K, Ozanne-Smith J, Hyder AA, Branche C, Rahman AF, et al. Informe mundial sobre prevención de las lesiones en los niños [Internet]. World Health Organization; 2012 [citado 13 de octubre de 2021]. Disponible en: http://www.paho.org/hq/index.php?option=com_docman&task=doc_view&gid=19705&Itemid=270&lang=en
Muñoz LA, Álvarez R, Cárcamo S, Espinoza S, Guzman A, Morales V et al. Educación Superior en América Latina: reflexiones y perspectivas en Enfermería [Internet]. Universidad de Deusto; 2013 [citado 13 de octubre de 2021]. Disponible en: http://tuningacademy.org/wp-content/uploads/2014/02/RefNursing_LA_SP.pdf
Machuca-Contreras F, Armijo-Rivera S, Díaz-Guio A, Nunes-de Oliveira S, Shibao-Miyasato H, Raúl N, et al. Creación y propiedades psicométricas de un instrumento de autopercepción de calidad de programas y centros de simulación de Latinoamérica. Simulación Clínica. 2021; 3 (1): 7-14. doi: 10.35366/99863.
AFILIACIONES
1 Vicerrectoría de Investigación y Postgrado, Universidad Autónoma de Chile, Chile. ORCID: 0000-0001-7119-85932.
2 Centro de Educación Médica y Simulación Clínica, Facultad de Medicina de la Universidad Diego Portales, Chile. ORCID: https://orcid.org/0000-0002-1719-824X.
3 Escuela de Enfermería, Facultad de Salud y Odontología (FACSO), Universidad Diego Portales, Chile. ORCID: https://orcid.org/0000-0002-7110-6676.
CORRESPONDENCIA
Felipe Machuca-Contreras. E-mail: felipe.machuca@uautonoma.clRecibido: 13/10/2021. Aceptado: 30/03/2022.