2021, Número 1
Creación y propiedades psicométricas de un instrumento de autopercepción de calidad de programas y centros de simulación de Latinoamérica
Idioma: Español
Referencias bibliográficas: 27
Paginas: 7-14
Archivo PDF: 230.71 Kb.
RESUMEN
Introducción: Hasta la fecha se desconoce la calidad de los centros de simulación en América Latina y no existe un instrumento validado para ello. El propósito de este estudio es construir un instrumento validado para la autopercepción de calidad de los centros y programas de simulación en los países de América Latina. Material y métodos: Estudio descriptivo, transversal y cuantitativo, con tres fases secuenciales: desarrollo, confiabilidad y validez. Se desarrolló un instrumento de autopercepción de calidad en español y se adaptó culturalmente al portugués, compuesto por seis dimensiones y 42 ítems. Resultados: Se obtuvieron 240 respuestas de 12 países. Se obtuvo la validez del contenido (I-CVI: 1) la consistencia del instrumento (alfa de Cronbach: 0.977). Se encontraron resultados sólidos en el análisis factorial exploratorio y en el análisis factorial confirmatorio. Conclusiones: Este instrumento bilingüe tiene buenas propiedades psicométricas en sus seis dimensiones y podría considerarse en futuros estudios para caracterizar la autopercepción de calidad de los centros y programas de simulación clínica en los países latinoamericanos de habla hispana y portuguesa.INTRODUCCIóN
Varios elementos han sido reportados en la literatura como factores que determinan la calidad o son considerados como criterios de acreditación de centros de simulación.
Se recomiendan los programas basados en principios de Mastery learning,1 debido a su impacto2 y transferencia a la práctica.3 Los programas de formación de formadores enfatizan la importancia del debriefing y la retroalimentación como un elemento crítico para la calidad de la simulación.4
Para los directores de pasantías en simulación, la investigación y el desarrollo de programas educativos son también atributos de calidad.5 Otros elementos de calidad están relacionados con la cultura organizacional necesaria para lograr una inserción curricular exitosa.6 En los centros de simulación hospitalaria, Rampel7 describe que los programas no cuentan con indicadores de desempeño y que es necesario mejorar la eficiencia y administración de los procesos de capacitación.
Desde 2010, la International Nursing Association for Clinical Simulation and Learning (INACSL) ha establecido criterios de calidad para la práctica de la simulación.8 La Association of Standardized Patient Educators (ASPE) también desarrolló sus recomendaciones para las mejores prácticas y sugiere usarlas junto con otros criterios de calidad para la simulación.9
La acreditación de centros y programas de simulación es un tema abordado por sociedades relacionadas con la simulación y la educación médica en Norteamérica10 y Europa.11 Los criterios de calidad utilizados en ambos difieren en algunos aspectos y no incluyen todos los elementos de calidad antes mencionados.
En el 2012, la Association for Medical Education in Europe (AMEE) comenzó a promover criterios de excelencia para la simulación, desarrollados por un panel que incluye a un experto de Brasil. Hasta 2018, mientras que 51% de las instituciones de Europa y Estados Unidos que solicitan la acreditación ASPIRE lo lograron, sólo 25% de las instituciones de otros países lo hicieron.12 Existe un estudio sobre la calidad de los centros de simulación en América Latina, en el cual se utilizó un instrumento en español derivado de los criterios de la Society for Simulation in Healthcare (SSH) de la época (que no incluye criterios relacionados con la integración a los sistemas sanitarios o clínicos) en un contexto limitado de centros universitarios de un país. En este estudio sólo se informó la validez del contenido.13
No existe consenso sobre los criterios de calidad aplicables para los centros de simulación de América Latina. Además, no se sabe cuáles de los criterios anteriores se utilizan para orientar el trabajo de los centros de nuestra región, cuáles pueden parecer apropiados para los directores de los diferentes tipos de centros, y no hay acuerdo sobre cómo medir la calidad de nuestros centros y programas.
El propósito de este estudio es construir un instrumento de autopercepción de calidad de los centros y programas de simulación de Latinoamérica, generando evidencia de validez y confiabilidad para su aplicación en esta región.
MATERIAL Y MéTODOS
Diseño: se realizó un estudio cuantitativo, descriptivo de corte transversal, con tres fases secuenciales: 1) creación, 2) evaluación de confiabilidad y 3) validez del instrumento.14
Universo y muestra: el universo corresponde a los directores de los centros de simulación de América Latina hablantes de idioma español o portugués. Se utilizó una muestra a conveniencia. El criterio de inclusión fue ser director de un centro de simulación asociado con universidades, institutos de educación técnica, clínicas/hospitales y centros privados. Se excluyeron los directores de centros que sólo desarrollan programas empaquetados con fines comerciales.
Desarrollo del instrumento: se constituyó un comité de expertos integrado por instructores de simulación capacitados, con al menos cinco años de experiencia en la enseñanza basada en simulación, investigación en simulación, investigación educativa, diseño de estudios de investigación o epidemiología, y experiencia clínica en enfermería y medicina.
Posteriormente, este comité desarrolló un instrumento inicial con seis dimensiones y 42 ítems, basado en los estándares de las cinco áreas de acreditación (centrales, enseñanza, evaluación, investigación e integración a sistemas) de la SSH10 y los criterios ASPIRE.11
Los seis expertos constituyeron un panel, quienes, mediante el método Delphi de tres pasos,14 realizaron una validación de contenido. Los criterios de inclusión de los expertos fueron: a) ser profesionales de la salud de América Latina, b) tener al menos siete años de experiencia en puestos de dirección en centros o programas de simulación, y c) contar con formación en educación basada en la simulación.
La herramienta revisada mantuvo el número inicial de dimensiones e ítems, sólo se ajustó la semántica, redacción y ortografía.
Se realizó la adaptación cultural al portugués.15 Para el proceso de validación transcultural del español al portugués, se utilizaron las normas basadas en el Consenso para la selección de los instrumentos de Medición de la Salud (COSMIN), con las siguientes fases: a) traducción del instrumento por un investigador con dominio del español y educación en simulación clínica, con el portugués como lengua materna (traductor independiente), b) una segunda traducción de vuelta del portugués al español, realizada de forma independiente (traductores independientes de vuelta), y c) revisión por tres investigadores con el español como lengua materna, en lo que respecta a la semántica de las preguntas y la equivalencia cultural para el estudio (comité de expertos).16
El instrumento final en su versión bilingüe español/portugués contenía 42 ítems en una escala Likert de 5 puntos (1 = totalmente en desacuerdo a 5 = totalmente de acuerdo).
Recolección de los datos: se creó una base de datos con los contactos oficiales de los directores conocidos por los investigadores y los obtenidos desde sitios web de centros de simulación latinoamericanos. Esta estrategia se complementó con una técnica de muestreo de bolas de nieve para llegar a los centros privados y a aquéllos que no declaran formalmente realizar la simulación pero la implementan. La base de datos incluyó 425 centros en 16 países; de éstos, 136 centros eran de habla portuguesa.
Los directores fueron invitados por correo electrónico, programando tres recordatorios automáticos desde la plataforma de SurveyMonkey y reforzando con recolectores individuales cuando se notificaron problemas con la entrada de datos, y con difusión en la plataforma de colaboración Workplace de FLASIC (Federación Latinoamericana de Simulación Clínica). El periodo de recopilación de información comprendió entre enero y mayo de 2019.
Clasificación de las respuestas: se definieron tres tipos de respuestas posibles. Respuesta demográfica son los instrumentos que completan el cuestionario demográfico sin avanzar a la segunda parte del instrumento de calidad. Respuestas sobre calidad se refiere a las respuestas del cuestionario que avanzan al cuestionario de calidad y respuesta válida a las respuestas completas del cuestionario de calidad. Sólo estos últimos fueron utilizados en el análisis de validez y confiabilidad.
Análisis estadístico: la validez de contenido (grado en el cual un instrumento tiene una cantidad suficiente de ítems para el constructo que pretende medir) fue obtenida por la evaluación de expertos a través del índice de validez de contenido a nivel del ítem (Item level content validity index [I-CVI]) y el índice de validez de contenido de la escala (promedio) (scale content validity index/Average [S-CVI/AVE]). Una escala con excelente validez de contenido debe estar compuesta por I-CVI de 0.78 o más y S-CVI/AVE de 0.8 y 0.9 o más, respectivamente.17 Para la confiabilidad se calculó el alfa de Cronbach como medida de consistencia interna (valor alfa > 0.70). Al mismo tiempo, la correlación ítem total (CIT) fue calculada para establecer la validez de constructo. Ítems con un CIT corregido entre 0.30 y 0.80, los cuales no causan una caída > 10% en el alfa de Cronbach en el instrumento fueron retenidos.18,19 El test de Kaiser-Meyer-Olkin (KMO) y el de esfericidad de Bartlett fueron usados para determinar la adecuación del tamaño de la muestra (KMO > 0.60) y la adecuación del modelo (p < 0.05), respectivamente.20 La evaluación de la validez de constructo se realizó mediante un análisis factorial exploratorio (AFE) y un análisis factorial confirmatorio (AFC).15
El método de extracción usado en el AFE fue el análisis de componentes principales (MCA). Los factores con valores propios (eigenvalue) mayor a 1 y valores de extracción mayores a 0.30 fueron mantenidos en el instrumento. De manera similar, se calculó la correlación de los factores AFE; para esto, se construyeron matrices de componentes principales y componentes rotados, utilizando el método de extracción ortogonal Varimax. Los componentes y componentes rotados mayores a 0.50 fueron retenidos en el instrumento.20
Para el AFC se calcularon las cargas factoriales para la evaluación reflexiva de un modelo de ecuación estructural (MEE). Para este modelo se utilizaron mínimos cuadrados parciales (MCP). En el modelo interno (estructural) se calcularon los coeficientes de rutas (coeficientes de ruta > 0.3). Para el modelo externo (medición) se calcularon las cargas factoriales (cargas factoriales > 0.3). Para la fidelidad y confiabilidad del constructo se calcularon los alfa de Cronbach (alfa > 0.7), la fidelidad compuesta y la varianza promedio extraída (AVE > 0.5).20,21
El análisis estadístico fue realizado usando el paquete estadístico SPSS en su versión 23.0.0.2, 64 bits para MacOS. El MEE fue realizado con el programa SmartPLS en su versión 3.2.4.22
Confidencialidad y ética: el estudio siguió los criterios de Ezequiel Emanuel23 para los estudios con sujetos humanos. Se mantuvo la confidencialidad en cada etapa del proceso de investigación. Se obtuvo consentimiento informado de los participantes y voluntariedad sin mediación de incentivos.
Se obtuvo la aprobación tanto del Comité de Ética de la Universidad del Desarrollo (CEI 46/2018) y del Comité de Ética de la Universidad Federal de Santa Catarina (Parecer do Comite de ética no 3.206.561) para la aplicación en línea de las versiones en español y portugués del instrumento.
RESULTADOS
Descripción de los participantes: se consideraron válidos los 133 instrumentos que fueron contestados en su totalidad (tasa de respuesta completa = 31.29%) para los efectos del análisis de confiabilidad y validez. Entre esas respuestas se incluían participantes de 12 países latinoamericanos distribuidos como se muestra en la Tabla 1. Para un intervalo de confianza de 95%, el error de la muestra obtenida de respuestas completas fue de 7%.
Para la puntuación global del instrumento (suma de todos los valores Likert asignados por participante, con un rango posible entre 42 y 210 puntos) se obtuvo un promedio de 158.71 (n = 133, mín. = 42, máx. = 210, DE = 33.06), los participantes de habla hispana obtuvieron un promedio de 161.86 (n = 111, mín. = 42, máx. = 210, DE = 29.40) y los participantes de habla portuguesa obtuvieron un promedio de 142.82 (n = 22, mín. = 42, máx. = 210, DE = 45.00).
Propiedades psicométricas
Evidencias de validez: se calcularon los índices de I-CVI y S-CVI/AVE, y ambos obtuvieron un valor 1, lo que corresponde a una excelente validez de contenido.
Evidencias de confiabilidad: el instrumento obtuvo un alfa de Cronbach de 0.977. Estos valores generaron una caída de menos de 0.001% del alfa de Cronbach si se elimina cada elemento (para los 42 elementos). Las comunalidades oscilan entre 0.574 y 0.845. La medición para la prueba de adecuación de la muestra de Kaiser-Meyer-Olkin fue de 0.934, con un resultado significativo en la prueba de esfericidad de Bartlett (< 0.001).
Para el modelo externo del AFC, los resultados de fidelidad y fiabilidad de la construcción obtenidos en cada dimensión de abajo hacia arriba fueron (Figura 1):
- 1. Alfa de Cronbach: evaluación de SSH (0.861), investigación de SSH (0.896), integración de sistemas de SSH (0.908), núcleo de SSH (0.928), ASPIRE (0.934) y enseñanza/aprendizaje de SSH (0.940).
- 2. AVE: ASPIRE (0.563), núcleo de SSH (0.637), enseñanza/aprendizaje de SSH (0.678), investigación de SSH (0.706), evaluación de SSH (0.708) e integración de sistemas de SSH (0.916).
- 3. Fiabilidad del compuesto: evaluación de SSH (0.906), investigación de SSH (0.923), núcleo de SSH (0.940), ASPIRE (0.943), enseñanza/aprendizaje de SSH (0.950) e integración de sistemas de SSH (0.956).
DISCUSIóN
El tamaño de la muestra de centros por país es heterogéneo, cuestión que se atribuye a las diferencias en la cronología del inicio de las prácticas de simulación en América Latina y la demografía de cada país. Otras razones para esta diferencia pueden ser la oportunidad del envío de los recopiladores, que coincidió con periodos de vacaciones en varios países, o bien, las diferencias en las relaciones entre los respondientes y los investigadores en cada país.
Al revisar la literatura, no pudimos encontrar instrumentos para evaluar la autopercepción de calidad de los centros que contaran con evidencias de validez y confiabilidad,13 con los cuales comparar la obtenida para nuestro instrumento.
El error estimado en nuestro estudio supera el 5%, y aun así es inferior a los errores calculables para el mismo intervalo de confianza para un estudio de caracterización de fellowships de simulación (error de 8%),5 uno de centros de simulación de hospitales pediátricos suizos (error de 13%),24 un estudio de centros de simulación chileno (error de 14%),13 uno de centros de simulación en China (error de 18%)25 o de un estudio de centros hospitalarios alemanes (error de 22%),7 siendo a la fecha el estudio de autorreporte de estado y calidad de la simulación con menor error reportado o calculable a nivel mundial.
Se decidió analizar las pruebas de validez y fiabilidad de una versión unificada bilingüe, en lugar de versiones separadas (una para el español y otra para el portugués), considerando que en América Latina coexisten dos lenguas dominantes, y que el desarrollo de redes de colaboración en la región requiere la coexistencia de instrumentos en ambas lenguas.
Este instrumento, que fue diseñado incluyendo los marcos teóricos de SSH10 y ASPIRE,11 tiene buenas propiedades psicométricas como instrumento global en el contexto latinoamericano, apoyando la idea de que son compatibles y pueden ser combinados en una herramienta de autopercepción de calidad unificada.
Otro aspecto relevante es que cada dimensión de este instrumento tiene por sí misma altos niveles de confiabilidad, lo que ofrece la oportunidad de utilizar por separado las subescalas, centrando la recolección de información en los objetivos declarados de cada institución. La versatilidad del instrumento ofrece nuevas posibilidades que pueden explorarse en la investigación y la adopción de decisiones. Esto es particularmente importante en América Latina, donde los centros de simulación están mayormente asociados con universidades e institutos de educación técnica y, en menor medida, con instituciones de salud y el sector privado.
Adicionalmente a lo expuesto en el punto anterior, podemos mencionar que la diversidad de teorías que apoyan el uso de la simulación,1-3 la existencia de recomendaciones educativas,1,8,9 las cuestiones administrativas,4-6 las perspectivas de seguridad del paciente7 junto con todos los avances en el campo de la tecnología de la simulación,26 hacen poco probable y tal vez poco razonable que una institución pueda y deba desarrollar todas las áreas posibles de la simulación. Este argumento también apoya la idea de que una sola medida de calidad puede ser injusta.
Además, la calidad de los centros y programas de simulación corresponde a una construcción en desarrollo para nuestro contexto latinoamericano, lo que abre la oportunidad de medirla con diferentes instrumentos.
Más aún, desde la perspectiva del concepto de evaluación de Kane,27 la validez y confiabilidad no se tratan de un fin en sí mismo, sino de una parte de un proceso, en el que lo que importa es para qué propósito y en qué contexto se utilizará el instrumento, para comprender y determinar sus pruebas.
A pesar de ello, es necesario realizar nuevas investigaciones en las que se aplique el instrumento para observar los resultados obtenidos en diferentes momentos con diferentes observadores o en comparación con otras escalas de medición, proceso que no se llevó a cabo en el presente estudio.
Independientemente de lo anterior, este instrumento abre una vía para recoger información que puede traducirse en investigación, diagnóstico o toma de decisiones.
CONCLUSIONES
Las evidencias de las propiedades psicométricas de este instrumento muestran altos niveles de validez y confiabilidad. De igual manera, tiene una alta representatividad contextual, ya que se ha aplicado en múltiples países de América Latina.
También cabe destacar que el proceso de diseño de un instrumento de evaluación para el reconocimiento de la calidad de los centros de simulación y de los programas educativos que integran los criterios de SSH y ASPIRE fue útil para repensar la práctica docente e imaginar nuevas formas de realizar la simulación en nuestro contexto. El proceso de diseño en sí mismo inició una red de colaboración que podría desarrollar recursos aplicables a nuestra realidad y con suficiente integración para considerar la diversidad cultural que existe en América Latina.
Considerando que en América Latina muchos de los centros de simulación son nuevos, pequeños y con recursos limitados, una sola medida de calidad puede ser injusta. Finalmente, podemos mencionar que esto es más que una herramienta para medir el logro o calificar la calidad con el propósito de clasificar y calificar. Encontramos este instrumento útil como una guía de buenas prácticas y procesos reflexivos para los centros y programas de simulación clínica en América Latina.
AGRADECIMIENTOS
El grupo de investigación agradece a la Federación Latinoamericana de Simulación Clínica (FLASIC) por su apoyo. También agradece a Jorge Bustos; José Luis García; Cinda Pérez; Fanny Solorzano; César Ruiz; Alejandro Sención; Nelson López, quienes colaboraron contactando a centros de simulación en sus países.
REFERENCIAS (EN ESTE ARTÍCULO)
McGaghie WC, Issenberg SB, Cohen ER, Barsuk JH, Wayne DB. Does simulation-based medical education with deliberate practice yield better results than traditional clinical education? A meta-analytic comparative review of the evidence. Acad Med. 2011; 86 (6): 706-711. doi: 10.1097/ACM.0b013e318217e119.
Society for Simulation in Healthcare & Council for Accreditation of Healthcare Simulation Programs. SSH Accreditation Process: Informational Guide for the Accreditation Process from the SSH Council for Accreditation of Healthcare Simulation Programs. 2017. Available in: https://www.ssih.org/Portals/48/Accreditation/SSH%20Accreditation%20Informational%20Guide.pdf?ver=2017-03-09-133118-517
AFILIACIONES
1 Universidad Autónoma de Chile, Chile. ORCID: 0000-0001-7119-8593.
2 Núcleo de Simulación Interdisciplinar, Facultad de Medicina Clínica Alemana de Santiago de la Universidad del Desarrollo. ORCID: 0000-0001-5368-5961.
3 Centro de Simulación Clínica VitalCare, Universidad Alexander von Humboldt. Colombia. ORCID: 0000-0003-4940-9870.
4 Programa de Postgrado, Departamento de Enfermería de la Universidad Federal de Santa Catarina, Brasil. ORCID: 0000-0002-5153-4374.
5 Centro de Simulación, Escuela Integrada de Medicina, Enfermería y Odontología, Universidad Peruana Cayetano Heredia, Perú. ORCID: 0000-0002-6624-8792.
6 Centro de Simulación y Entrenamiento Clínico, Hospital de Alta Complejidad en Red El Cruce "Dr. Néstor Carlos Kirchner", Ministerio de Salud, Argentina. ORCID: 0000-0001-5996-6836.
7 Centro de Simulación, Facultad de Medicina de la Universidad Diego Portales. Santiago, Chile.
CORRESPONDENCIA
Soledad Armijo-Rivera. E-mail: soledad.armijo@gmail.comRecibido: 30/11/2020. Aceptado: 02/03/2021