2021, Número 2
Diseños de caso único en la simulación
Texto completo
Cómo citar este artículo
10.35366/101432
Artículos similares
Idioma: Español
Referencias bibliográficas: 3
Paginas: 80-82
Archivo PDF: 121.62 Kb.
RESUMEN
Una pregunta clave en el contexto de simulación es si los métodos que utilizamos contribuyen a mejorar el rendimiento de los participantes. Mientras una idea común es que para poder investigar esta pregunta se necesitan muchos, la metodología de los diseños de caso único nos permite hacerlo con cualquier número de participantes. Un diseño de caso único es en el que medimos la(s) misma(s) variable(s) del mismo participante varias veces durante una temporada. Este artículo muestra un ejemplo de este tipo de diseño con un participante (N = 1) con 15 medidas repetidas de rendimiento: cinco antes, cinco durante y cinco después de una serie de sesiones de entrenamiento. Aunque las medidas repetidas en este ejemplo tienen un carácter ordinal (pobre, casi satisfactorio, satisfactorio, excelente), las métricas presentadas en este ejemplo pueden servir para cualquier tipo de variable de interés.INTRODUCCIóN
Una pregunta clave en la simulación es si los métodos que utilizamos contribuyen a mejorar el rendimiento de los participantes. Mientras una idea común es que poder investigar esta pregunta requiere datos de muchos participantes, la metodología de los diseños de caso único1 nos permite hacerlo con cualquier número de participantes. Un diseño de caso único es un diseño en lo que medimos la(s) misma(s) variable(s) cualitativas2 o cuantitativas1 del mismo participante varias veces durante una temporada. Este artículo muestra un ejemplo de este tipo de diseño con un participante (N = 1) hipotético (un ejemplo simulado) con 15 medidas repetidas de rendimiento: cinco antes, cinco durante y cinco después de una serie de sesiones de entrenamiento. Aunque las medidas repetidas en este ejemplo tienen un carácter ordinal, las métricas presentadas en este ejemplo sirven para cualquier tipo de variable de interés.2
MATERIAL Y MéTODOS
Residente A en Departamento D tiene un encuentro con un paciente cada viernes (cada vez un actor diferente) durante 15 semanas en tres fases: antes (las semanas 1-5), durante (las semanas 6-10) y después (las semanas 11-15) de una serie de sesiones de entrenamiento los viernes de las semanas 6-10. En cada encuentro, Clínico C del Departamento D que no sabe del entrenamiento valora, entre otros, el rendimiento del residente en una escala ordinal: pobre, casi satisfactorio, satisfactorio, excelente. Es una escala ordinal porque, aunque estas cuatro categorías siempre tienen el mismo orden, las diferencias entre categorías no son necesariamente constantes. Por eso, no se pueden utilizar modelos estadísticos para escalas cuantitativas, como modelos lineales,1 y necesitamos uno que respete el carácter cualitativo de la escala. Un modelo sencillo en el contexto de diseños de caso único es el bayesiano, que utiliza el porcentaje de todos los datos del residente de diferentes fases que no se solapan, en inglés: Percentage of All Non-overlapping Data-Bayesian (PAND-B).2 Es un modelo binomial que se puede utilizar con el programa gratis y Open Source JASP.3
RESULTADOS
La Figura 1 presenta las valoraciones de rendimiento del residente en este ejemplo.
Las valoraciones antes del entrenamiento son todas 'casi suficiente' (valoración '2' en la Figura 1) o 'pobre' (valoración '1'), mientras que durante las siguientes fases, casi todas las valoraciones son 'suficiente' (valoración '3') o 'excelente' (valoración '4'). En la fase de entrenamiento, hay una valoración que solapa antes del entrenamiento: la valoración en la semana seis. Si ésta hubiese ocurrido antes del entrenamiento, habríamos tenido 100% non-overlap entre fases. PAND es el porcentaje de las observaciones que habría que quitar (o cambiar de fase) para llegar a 100% non-overlap entre fases. En este ejemplo, habría que quitar una observación (la valoración de la semana 6) de un total de 10 para llegar a 100% non-overlap y, por lo tanto, PAND no es 100% sino 90% (0.90). PAND-B aplica una corrección para el tamaño de la muestra para evitar resultados de (casi) 0 o 100% basados en muestras muy pequeñas,2 y produce un intervalo creíble de 95%, que es contraparte bayesiana del intervalo de confianza de 95% que conocemos de la escuela frecuentista. En este caso, el intervalo creíble de 95% de PAND-B es [0.587; 0.977] con un mediano de 0.852. Este intervalo está totalmente por encima de 0.50, lo que indica un efecto positivo a favor del entrenamiento.
El rendimiento durante y después del entrenamiento es muy parecido: para llegar a 100% non-overlap, tendríamos que quitar cinco de las 10 observaciones, y por lo tanto PAND es 0.500 y el intervalo creíble de 95% de PAND-B es [0.234; 0.766] con un mediano de 0.500. En situaciones donde el rendimiento disminuye sustancialmente, es posible que PAND sea muy bajo con un intervalo creíble de 95% completamente por debajo de 0.50, pero no es el caso en este ejemplo, en el cual el rendimiento durante y después del entrenamiento es muy parecido, y nos permite tratar estas dos fases como una fase para obtener más evidencia del cambio positivo después del inicio del entrenamiento. Tenemos un total de 15 observaciones, de las cuales tendríamos que quitar sólo una (la semana 6) para llegar a 100% non-overlap entre la fase antes del entrenamiento y la temporada después de ésta. Por lo tanto, PAND es 0.933 y el intervalo creíble de 95% de PAND-B es [0.698; 0.984] con un mediano de 0.897. Este intervalo está claramente por encima de 0.50 y aun más que el intervalo no utilizando los datos de la fase después del entrenamiento.
DISCUSIóN
En este ejemplo, tenemos una situación de una mejora sostenible del rendimiento del estudiante después del inicio del entrenamiento, sostenible porque no hay evidencia de una regresión hacia un rendimiento más bajo en la fase después del entrenamiento. Si la variable de interés fuese una escala cuantitativa, podríamos haber usado un modelo lineal para también entender la tendencia dentro de cada fase,1 pero como en este ejemplo tenemos una escala ordinal no podemos utilizar este tipo de modelo. En cualquier caso, cuando hay varios participantes, se pueden combinar resultados individuales para obtener resultados grupales.2 El intervalo creíble de 95% de PAND-B nos ayuda a comprender si hay o no suficiente evidencia a favor de una diferencia, aunque siempre es recomendable valorar este intervalo en combinación con una gráfica como se muestra en la Figura 1.
REFERENCIAS (EN ESTE ARTÍCULO)
Maric M, van der Werff V. Single-case experimental designs in clinical intervention research. In: van de Schoot R, Milocevic M. Small sample size solutions: A guide for applied researchers and practitioners. Chapter 7. OAPEN Home; 2020. pp. 102-11. Available in: https://library.oapen.org/bitstream/handle/20.500.12657/22385/9780367221898_text%20(1).pdf?sequence=1#page=116
AFILIACIONES
1 Hospital virtual Valdecilla. Santander, España.
CORRESPONDENCIA
Dr. Jimmie Leppink. E-mail: jleppink@hvvaldecilla.esRecibido: 11/06/2021. Aceptado: 27/07/2021