En este artículo publicado en el Journal of the Academy of Marketing Science, los autores proponen desterrar definitivamente los umbrales para índices aproximados en ecuaciones estructurales, y a cambio emplear una perspectiva flexible, basada en los resultados de simulaciones para las condiciones de cada modelo especificado.
Esos índices aproximados no son test estadísticos como tal, porque su distribución es desconocida bajo la hipótesis nula, y los valores de corte se toman como criterio para decidir acerca de la validez del modelo.
Sin embargo, y como indican los autores, existe literatura convincente que especifica que tomar esos criterios de corte sin considerar las características propias de cada modelo (tamaño de muestra, grados de libertad, número de indicadores, etc.) puede producir resultados que contaminen esa capacidad de los índices aproximados para identificar modelos correctos y rechazar falsos.
Lo que plantean los autores es construir distribuciones empíricas para una multitud de formas de modelos de ecuaciones estructurales, y a través de esa distribución empírica (tras realizar cientos de simulaciones), reportar unos índices aproximados con criterios de corte flexibles para cada caso.
Un «no» a la chi-cuadrado
Los autores se posicionan claramente en contra respecto a las visiones de la idoneidad de confiar únicamente en el ajusto vía test de la chi-cuadrado, como hemos visto en otras entradas del blog. Para ellos, las limitaciones de la chi-cuadrado asociadas a su sensibilidad al tamaño de la muestra es motivo más que suficiente para no considerarla como índice de ajuste.
Los autores, sin embargo, argumentan también que el tamaño de la muestra, el tamaño del modelo, el modelo demedida, el tipo de modelo, y la normalidad de la distribución de datos afectan también a los índices aproximados. Esa es la razón por la cual no deben establecer criterios de corte univeresales.
Metodología
Los autores realizan 3 estudios de simulación Monte Carlo, pero lo hacen sólo con modelos de análisis factorial confirmatorio (CFA). Y esto es importante, porque aunque enfatizan que el CFA es más empleado que el resto de modelos causales, están obviando una parte esencial de la utilidad de SEM, la que para algunos autores como Leslie Hayduk es la principal.
Así, los autores configuraron 13851 modelos de CFA con diferentes combinaciones de cargas factoriales, tamaños de muestra, número de variables latentes e indicadores, así como la desviación de la normalidad.
Resultados e implicaciones
Los autores apuestan por el SRMR (como primera opción), CFI, TLI y RMSEA como segunda, en un enfoque de combinación de varios índices ya que todos tienes limitaciones. Concretamente, recomiendan el uso del SRMR (más sensible a la mala especifiación en el modelo estructural), junto a uno de los otros 3 mencionados (más sensibles a la especifiación en el modelo de medida).
Así, cualquier investigador interesado en esta propuesta puede emplear la web www.flexiblecutoffs.org, y especificar los datos de su propio modelo, obteniendo unas recomendaciones sobre los valores de corte de los índices aproximados comentados.
Limitaciones/Comentarios
Los autores reconocen que su propuesta no es sobre la idoneidad de los índices aproximados, sino sobre la estipulación de criterios de corte universales. Es decir, las limitaciones de cada índice aproximado siguen estando ahí, independientemente de que se adopte esta perspectiva flexible.
Sin embargo, es interesante el recorrido que hacen por la literatura que argumenta que los índices aproximados se ven afectados por características del modelo que no están relacionadas con la mala especificación. Su primer estudio, también ofrece resultados consistentes con este hecho.
Los autores separan el modelo de medida del modelo estructural pero no discuten el hecho de que en ambos se especifican relaciones causales. Por tanto, incluso un CFA tiene relaciones causales explicitadas en la relación entre las variables latentes y sus observables. Desde ese punto de vista, la distinción puede resultar engañosa y ocultar problemas mayores, como que los investigadores separen ambos modelos (en el típico test en 2 pasos, primero CFA y luego el modelo causal entre variables latentes), cuando el planteamiento de un modelo es global, integrando la medición observable junto con la causalidad entre latentes.
En definitiva, una propuesta relevante que puede ayudar a investigadores a interpretar mejor los análisis factoriales confirmatorios, pero que obvia el papel del test de la chi-cuadrado al considerarlo muy limitado por su dependencia al tamaño muestral, lo que choca con otras posturas ya comentadas en este blog.
Niemand, T. & Mai, R. (2018). Flexible cutoff values for fit indices in the evaluation of structural equation models. Journal of the Academy of Marketing Science, doi:10.1007/s11747-018-0602-9