(#384). MEJOR UN SÓLO ITEM QUE VARIOS PARA MEDIR ACTITUDES

[REVISIÓN DE ARTÍCULO] En este artículo publicado en el Journal of Advertising Research, los autores analizan los resultados de 189 estudios en el ámbito de la publicidad para concluir que las medidas de un sólo ítem son equivalentes a las de múltiples ítemes.

Como indican los autores, un gran número de académicos apuesta por medir los constructos con múltiples ítemes, en una especie de ritual que a veces carece de la reflexión adecuada sobre lo que realmente se está midiendo. Añadir ítemes con el fin de analizar su consistencia interna (como medida de fiabilidad) es perjudicial si ello perjudica a la propia validez de la medición. Y como bien sabemos los investigadores aplicados, agrandar las encuestas con baterías de preguntas interminables trae consecuencias desastrosas.

Por tanto, ¿por qué realizar 4 o 5 preguntas parecidas para medir un concepto que sería claramente indicado con una sóla? Los autores repasan posturas en la literatura que así lo atestiguan. Si el constructo es unidimensional (y en realidad un concepto complejo se puede desgranar unidimensionalmente) y hay cierta concreción respecto a lo que se está evaluando, las medidas de un sólo ítem son perfectamente adecuadas.

“Estoy satisfecho con este producto”, sería un indicador válido de la satisfacción. ¿Por qué entonces apabullar con una batería de ítemes del estilo: “me gusta este producto”, “el producto me hace feliz”, “el producto ha superado mis expectativas”….?

Es cierto que los autores también identifican críticas al respecto. Al fin y al cabo, el nivel de concreción de un constructo es difícil de discernir. La satisfacción del consumidor, por ejemplo, puede tener un significado diferente para cada participante en un estudio. Pero eso es consustancial con cualquier concepto psicológico similar, como la percepción de calidad, el valor percibido, la confianza, etc. Los autores no comentan esta apreciación, simplemente se ciñen a que el atributo evaluado posea un significado singular y no ambiguo.

Metodología

Los investigadores examinaron los resultados de 8 metanálisis, representando a 189 estudios con casi 40000 participantes.

Para cada metanálisis, los autores calculaban los tamaños de efecto encontrados en la relación entre las variables independientes y dependientes, y los dividían en función de si habían empleado un sólo ítem o escalas multi-ítem.

Resultados e implicaciones

Los resultados se muestran en la siguiente tabla:

b384_2Como puede observarse, sólo en un metanálisis los resultados fueron significativos (los tamaños de efecto entre ambos procedimientos diferían). Los autores también encontraron que la longitud de las escalas multi-ítem tampoco influía en los resultados.

Por tanto, medir las actitudes de los consumidores con un sólo ítem produce resultados análogos a medir con varios ítemes, pero tiene la ventaja de disminuir los costes de recogida de datos y producir una menor amenaza a la validez de estos.

Limitaciones/Comentarios

No sólo en el ámbito del marketing, sino también en la campo más especializado de la metodología en ciencias sociales hay voces que se han alzado en contra del aparente sinsentido de medir un constructo con varios indicadores cuando se podría hacer perfectamente con uno. Leslie Hayduk lo lleva defendiendo en el ámbito de las ecuaciones estructurales desde hace décadas (1 o 2 indicadores por variable latente)

Cualquiera que haya diseñado cuestionarios y hecho trabajo de campo sabe que las encuestas crean automáticamente rechazo, y que no es lo mismo responder a una encuesta de 5 preguntas que a una de 25. Si se define bien el concepto latente a través de un observable, no hay necesidad de marear al encuestado con diferentes formas de decir lo mismo. Es más, la validez es muy probable que se vea amenazada por diferentes sesgos (aquiescencia, cansancio, aprendizaje…).

Quizá la limitación más importante de este estudio reside en la propia comparación que hacen los autores. Si emplear múltiples ítemes afecta a la validez de los resultados, no se pueden usar estos entonces como criterio para comparar con las medidas de un sólo ítem. Y si se admite la validez de ambas aproximaciones, entonces habría que asumir que todos los sesgos anteriormente mencionados relacionados con cuestionarios largos no son relevantes. Y este es un asunto importante que los autores no mencionan, pero que pone un poco en cuestión la calidad de este artículo.

LEE EL ARTÍCULO ORIGINAL AQUÍ

Ang, L. & Eisend, M. (2017). Single versus multiple measurement of attitudes. A meta-analysis of advertising studies validates the single-item measure approach. Journal of Advertising Research, doi: 10.2501/JAR-2017-001

Indicadores de calidad de la revista*

  Impact Factor (2014) Cuartil Categoría
Thomson-Reuters (JCR) 2.328 Q2 BUSINESS
Scimago (SJR) 0.87 Q1 COMMUNICATION

* Es simplemente un indicador aproximado para valorar la calidad de la publicación

Todos los posts relacionados




(#358). BÁSICOS DE ECUACIONES ESTRUCTURALES (IV): REGRESIÓN LINEAL SIMPLE CON FIABILIDADES DIVERSAS

[MONOTEMA] En esta cuarta entrega, vamos a pasar del modelo de dos variables correlacionadas a un modelo de regresión en el que una se postula como causa de la otra.

La especificación gráfica se muestra en la Figura 4.1.

Figura 4.1. Modelo de regresión entre dos variables latentes

Como puede apreciarse, la Figura 4.1 es una pequeña variación de la Figura 3.1. Las ecuaciones son las mismas, salvo que ahora la relación entre Z1 y Z2 es planteada como causal. Esto indica que existe covarianza entre las dos variables (como en la Figura 3.1), pero ahora esa covariación se produce porque hay una dependencia entre ambas. Variaciones en Z1 influyen en Z2, pero variaciones en Z2 no influyen en Z1.

La relación entre Z1 y Z2, de este modo, debe ser planteada así:

Todas estas expresiones representan la relación de dependencia entre Z1 y Z2, asumiendo (como hemos hecho hasta ahora) que el error ε1 es ruido blanco y que Cov(ε1Z1)=0.

Como vimos en el tercer capítulo, a través de las covarianzas observadas podemos llegar a esta expresión:

que escalando a 1 las variables latentes y especificando una covarianza nula entre los errores observables, se simplifica a:

Por tanto, realmente la estimación de la covarianza entre las variables latentes es la misma aunque el modelo pase de ser “correlacional” a “causal”

Para estimar el coeficiente estructural Gamma1 (,) que es el que muestra el peso que tiene la causa Z1 sobre el efecto Z2, sólo necesitamos conocer Var(Z1), que como hemos comentado ya en anteriores capítulos, depende del observable z1:

Usando una escala unitaria, vemos que Var(Z1)=Var(z1)-Var(e1), es decir, la varianza de la variable latente depende de nuestra especificación de la fiabilidad del observable. A medida que la fiabilidad aumenta, Var(e1) disminuye, con lo que Var(Z1) aumenta, y disminuye. Y, de manera opuesta, a medida que la fiabilidad disminuye, Var(e1) aumenta, con lo que Var(Z1) disminuye, y aumenta.

Por tanto, si la fiabilidad es perfecta (100%), Var(Z1)=Var(z1), y el coeficiente de regresión (coeficiente estructural) se estima sin sesgo. Sin embargo, si la fiabilidad no es perfecta (<100%), se produce un inflado de la varianza observable por lo que hay que “corregir” la varianza de la variable latente. De este modo, la estimación del coeficiente depende de la especificación de la fiabilidad de z1, es decir, de la varianza del observable que actúa como causa.

Ejemplo con Stata

Vamos a realizar un ejemplo empleando la misma matriz de covarianzas que en la  Figura 3.1, y con fiabilidades perfectas, sin error de medida en los observables.

/*Generamos la matriz de covarianzas deseada*/
matrix D=(2, .8 \ .8, 1)
/*Creamos 400 observaciones para cada una de las variables z1 y z2*/
corr2data z1 z2, n(400) cov(D)
/*Realizamos un rápido descriptivo de las variables*/
sum
/* Analizamos la normalidad univariante y multivariante*/
swilk z1 z2
mvtest normality z1 z2
/* Hacemos una regresión lineal simple y luego una regresión sin término constante*/
regress z2 z1
regress y2 z1, no constant
/*Especificamos el modelo SEM con las restricciones sobre las medias, varianzas y parámetros deseados*/
sem (Z2 <- _cons@0, ) (Z2@1 -> z2, ) (z1 <- _cons@0, ) (z2 <- _cons@0, ) (Z1 -> Z2, ) (Z1@1 -> z1, ), latent(Z2 Z1 ) cov( e.z1@0 e.z2@0 Z1@2) means( Z1@0) nocapslatent

Los resultados que provee Stata son sencillos de interpretar. En la Figura 4.2 vemos los estadísticos descriptivos de las variables observables, ambas con media cero y con varianzas 2 y 1, respectivamente. Los datos se han generado para que esas variables estén normalmente distribuidas, tal y como muestra el test de Shapiro-Wilk, y además multivariantemente distribuidas, como indica el test de Doornik-Hansen. Veremos más adelante la importancia de estos aspectos de las distribución.

Figura4.2

Figura 4.2. Estadísticos descriptivos y test de normalidad de los observables

En la Figura 4.3 hemos realizado una regresión lineal simple entre los observables. En el primer caso se estima también un término constante, pero vemos que es cero (o prácticamente cero debido a la inherente variabilidad muestral). Recordemos que tenemos las variables estandarizadas, y como explicamos en su momento esto hace que el término constante o intercept en los modelos de regresión sea cero. El coeficiente de regresión estimado es 0.4. De interés también es el valor de 0.6817, que es el cociente entre la suma de cuadrados de los residuos (SS) y los grados de libertad (df). Como los datos están centrados sobre la media, la suma de cuadrados de los residuos dividido por el tamaño de la muestra menos 1 (n-1) es similar a la varianza del error. Como hay 398 grados de libertad, ese valor es de 0.6817 es prácticamente idéntico al de la varianza del error: 0.68, que es precisamente el resultado que obtenemos cuando no estimamos el término constante y sumamos un grado de libertad adicional. Esa diferencia en el denominador (dividir por los grados de libertad o dividir por n-1) es la diferencia entre el “Adj R-squared” y el “R-squared”, que son medidas de la capacidad explicativa del modelo. Así, a mayor varianza de error, menor “R-squared”, es decir, menos varianza de la variable dependiente explica nuestro modelo. Por ahora, es lo que necesitamos saber.

Figura4.3

Figura 4.3. Regresión lineal simple entre los observables

En la Figura 4.4. testamos el modelo SEM. Ahora no empleamos la estimación por mínimos cuadrados ordinarios como en el anterior análisis, sino la de máxima verosimilitud. Consideramos las fiabilidades de los observables como perfectas, por lo que no existe varianza de error para z1 y para z2. Esto nos lleva a una estimación prácticamente idéntica. El coeficiente estructural es 0.4, y la varianza de error de Z2 es 0.6783

Figura4.4

Figura 4.4. Modelo de regresión SEM con fiabilidades perfectas

Pero la real utilidad de SEM proviene cuando tenemos en cuenta los errores de medida. En este caso, fijamos la fiabilidad al 90% en ambos observables, z1 y z2.

/*Especificamos el mismo modelo SEM anterior, pero con fiabilidades al 90%*/
sem (Z2 <- _cons@0, ) (Z2@1 -> z2, ) (z1 <- _cons@0, ) (z2 <- _cons@0, ) (Z1 -> Z2, ) (Z1@1 -> z1, ), latent(Z2 Z1 ) cov( e.z1@0.2 e.z2@0.1 Z1@1.8) means( Z1@0) nocapslatent

Y ya los resultados cambian de manera ostensible (Figura 4.5). Ahora el coeficiente de regresión es 0.44 y no 0.4, y la varianza de error de Z2 es de 0.54 y no 0.68. Es decir, teniendo en cuenta que existe el error de medida, hemos estimado un modelo en el que el tamaño del efecto es mayor (cómo influye Z1 sobre Z2) y la capacidad explicativa del modelo es mejor. Si no hubiésemos tenido en cuenta el error de medida, las estimaciones habrían estado sesgadas (el tamaño de efecto se habría atenuado).

Figura4.5

Figura 4.5. Modelo de regresión SEM con fiabilidad del 90% en los observables

Rápidamente se puede comprobar que se cumplen las fórmulas que planteábamos al inicio. En el caso de fiabilidades perfectas:

Y en el caso de que la fiabilidad es del 90% en los observables:

Cambio en la fiabilidad de la variable dependiente

Aunque los cambios en la fiabilidad del observable exógeno afectan a la estimación del coeficiente de regresión, no ocurre lo mismo con la fiabilidad del observable endógeno, es decir, de la variable dependiente. De este modo, el tamaño de efecto o coeficiente estructural no depende de la calidad de la medición de la variable dependiente.

Sin embargo, la fiabilidad del observable de la latente que actúa como efecto sí que influye en la estimación de la varianza de error de la variable latente. Un poco de manejo de las ecuaciones que hemos visto lo ilustra sin problema:

No obstante, hemos de indicar también que las fiabilidades de los observables no afectan a la covarianza entre las variables latentes Cov(Z1Z2), siempre y cuando la Cov(e1e2)=0.

Conclusión

Pasar de un modelo correlacional a uno casual implica realizar unas asunciones cualitativas sobre la especificación del modelo en el que unas variables latentes influyen sobre otras. No olvidemos, asimismo, que los modelos de variables latentes correlacionadas también son modelos causales en el sentido de que la variable latente causa variación en los observables. Sin embargo, el uso común de “modelo causal” es cuando esa relación de causalidad se establece entre variables latentes.

En este post hemos visto la importancia de considerar la fiabilidad de los indicadores observables, y como la especificación de ésta en la variable que actúa como causa afecta a la estimación del coeficiente estructural (parámetro de regresión) y a la varianza explicada por el modelo. Las fiabilidades no afectan a la covariación entre las latentes, pero sí que la fiabilidad de la variable endógena incide en la estimación de su varianza de error.

De este modo, queda patente la gran relevancia que tiene la especificación de los errores de medida a la hora de interpretar los resultados de cualquier modelo de investigación. 

Todos los posts relacionados




(#353). BÁSICOS DE ECUACIONES ESTRUCTURALES (II): VARIABLES LATENTES Y FIABILIDAD

[MONOTEMA] En este segundo paso en nuestra introducción a conceptos básicos de SEM, vamos  a explicar el concepto de variable latente y las implicaciones que tiene para la partición de la varianza observable, lo que a su vez nos llevará a discutir sobre la fiabilidad de los datos.

Variable latente

Una variable latente Z es, por definición, no observable directamente, por lo que se manifiesta a través de algún observable z, que usualmente es llamado indicador. Es fácil deducir la siguiente ecuación:

z=bZ+e

donde b es el coeficiente estructural (a veces llamado “peso”) que define la escala del observable con respecto a la variable latente, y e es el error inherente a tener una observación que puede ser una simplificación de Z (porque es un término muy abstracto y complejo de aproximar), o porque, por ejemplo, haya errores de codificación o de registro en la recogida de datos. Este último hecho es esencial para entender qué significa que exista un error de medida y nos hace ver que todas las variables que manejemos pueden considerarse latentes porque, aunque sean variables aparentemente sencillas  (ej. sexo, edad), siempre pueden estar sujetas a error en el proceso de recogida y preparación de los datos.

Ahora podemos tomar esperanzas y varianzas para ver qué ocurre con la ecuación anterior:

E(z)=bE(Z)+E(e); 0=b(0)+0

Var(z)=b2Var(Z)+Var(e)

Si estamos manejando ya datos en desviaciones con respecto a la media como hablamos en el capítulo 1, no nos deben sorprender esos resultados.

La forma de representar gráficamente esta relación sigue unas normas muy sencillas. Con círculos u ovoides se representan las variables latentes y con cuadrados o rectángulos los indicadores observables. La relación entre esas variables viene determinada por flechas que tienen un sentido causal, es decir, apuntan desde la causa hasta el efecto, desde donde se produce el cambio hasta donde se manifiesta dicho cambio (ver Figura 2.1).

Figura1

Figura 2.1. Esquema básico de variable latente y observable

Como se aprecia en la Figura 2.1, el error e es también una variable latente, porque realmente no lo observamos, pero sabemos que existe. Y el sentido de las flechas es capital; ambas variables latentes afectan causalmente al indicador observable, ya que el cambio en ellas se manifiesta en un cambio en el indicador.

Así, si el error se mantiene constante y Z crece, también crece z en función del peso que tenga b. Y si Z se mantiene constante, z puede variar en la medida que lo haga el error de medición. Ese error de medición hemos supuesto que es ruido blanco, es decir, se considera aleatorio, por lo que no sesga el observable, sino que cuando se realizan muchas medidas, los errores se compensan, y de ahí que su esperanza matemática sea cero.

Aunque parezca una asunción fuerte, realmente no lo es. Si sospechamos que existe algún tipo de error sistemático en lugar de aleatorio siempre se puede incorporar al modelo. Por ejemplo, si z es la edad que medimos en una muestra de consumidores, es posible que el error e no sea aleatorio porque haya un grupo de personas que digan a la baja su edad (sesgo de presentación favorable). Pero este hecho se puede fácilmente modelar en SEM, de la siguiente manera (Figura 2.2.):

Figura 2

Figura 2.2. Esquema básico de variable latente y observable con un sesgo sistemático

De este modo, la ecuación quedaría así:

Var(z)=b2Var(Z)+m2Var(M)+Var(e)

Es decir, hemos introducido una nueva variable latente M, que influye con un peso m en el observable z, y que tiene en cuenta el sesgo producido por la presentación favorable. Así, seguiríamos manteniendo e como ruido blanco, y tendríamos un modelo que contemplar una causa adicional a la variación del observable z.

Fiabilidad

Pero estamos todavía muy al comienzo de la andadura en SEM, y debemos ir resolviendo las cuestiones más sencillas antes de las más complejas.

Volvamos, por tanto, a la ecuación básica:

Var(z)=b2Var(Z)+Var(e)

Hemos partido la varianza observable en la varianza real Var(Z) más la varianza de error Var(e). Recordemos que las varianzas siempre son positivas.

Si Var(e)=0, significa que la varianza observable es igual a la varianza de error, siempre que se midan en la misma escala, es decir, b=1. Por medir en la misma escala nos referimos a que si estamos midiendo la variable latente está en metros, el indicador observable lo vamos a medir en metros, o si está en una escala de 0 a 10, el observable lo vamos a medir en una escala de 0 a 10. Es algo muy recomendable que escalemos siempre con b=1, ya que esto nos evita de cometer muchos errores innecesarios.

De este modo, si Var(e)=0, los datos son totalmente fiables, en el sentido de que no hay error de medida, por tanto la fiabilidad es del 100%. Pero claro, una de las ventajas de SEM es que nos permite ser prudentes y admitir en nuestro modelo que puede haber algún error de medida que haga que la fiabilidad no sea del 100%.

¿Pero cómo se mide la fiabilidad cuando hay error de medida? Es sencillo, porque depende únicamente del tamaño relativo de la varianza de error. 

Fiabilidad=1-(Var(e)/Var(z))

O en porcentaje:

Fiabilidad=(1-(Var(e)/Var(z)))100

Por tanto, a medida que la varianza de error se incrementa disminuye la fiabilidad. Es evidente que son preferibles fiabilidades altas, porque en el grado en que la fiabilidad sea más baja la varianza observable Var(z) será más alta, es decir, se produce un inflado de la varianza de los datos que luego tiene efectos notables en la estimación de los coeficientes estructurales del modelo, produciendo una atenuación de los mismos (el efecto estimado es menor que el real, por lo que hay un sesgo). Con SEM podemos tener en cuenta esos errores de medida y obtener coeficientes insesgados con fiabilidades diferentes del 100%, y esta es otra de la grandes ventajas de esta metodología.

La relación que existe entre el cociente Var(e)/Var(z) y la fiabilidad se muestra en la Figura 2.3.

Figura 3

Figura 2.3. Fiabilidad en función del tamaño relativo de la varianza de error

 Para obtener esa figura hemos empleado el siguiente código de Stata:

/*Generamos una variable con 100 observaciones cuyos valores van del 1 al 100*/
set obs 100
/*Llamamos a esa variable Var_e que hace referencia los distintos valores a la varianza de error que vamos a simular*/
generate Var_e= _n
/*Ahora generamos un valor constante para la varianza observable Var_z=100*/
gen Var_z=100
/*El siguiente paso es construir la variable Fiabilidad, en función de la varianza de error y la varianza observable*/
gen Fiabilidad=1-(Var_e/Var_z)
/*Ahora generamos una nueva variable con el cociente entre ambas varianzas, con el fin de poder realizar un gráfico que nos permita ver cómo cambia la fiabilidad en función del valor de este nueva expresión.*/
gen Cociente_entre_varianzas= Var_e/ Var_z
/*Por último generamos un gráfico bidimensional donde podemos ver que la fiabilidad disminuye linealmente con el incremento del cociente de varianzas, es decir, con el aumento relativo de la varianza de error*/
twoway (line Fiabilidad Cociente_entre_varianzas, lcolor(magenta) lwidth(thick)), xtitle(Var(e)/Var(z)) xscale(line) xlabel(, grid)

Por tanto, para fijar la fiabilidad del indicador observable sólo hay que escoger el porcentaje de la varianza observada que constituye la varianza de error. Así, si por ejemplo Var(z)=5, y la fiabilidad es fijada al 90%, entonces Var(e)/Var(z)=0.10, por lo que la Var(e) debe fijarse a 0.05, es decir, un 10% de la varianza del indicador observable.

Conclusión

Hemos visto que es muy atractivo poder considerar a todas las variables que manejamos en nuestros modelos teóricos como latentes, incluso en los casos más sencillos donde esas variables no sean abstracciones psicológicas, sino variables claramente definidas y cuantificables.

Esto permite especificar errores de medida, que no son más que el tamaño relativo de la varianza de error, y de este modo indicar la fiabilidad de las mediciones, realizando (como veremos posteriormente) diferentes simulaciones con respecto a cómo variarían los resultados ante fiabilidades distintas.

Todos los posts relacionados