(#384). MEJOR UN SÓLO ITEM QUE VARIOS PARA MEDIR ACTITUDES

[REVISIÓN DE ARTÍCULO] En este artículo publicado en el Journal of Advertising Research, los autores analizan los resultados de 189 estudios en el ámbito de la publicidad para concluir que las medidas de un sólo ítem son equivalentes a las de múltiples ítemes.

Como indican los autores, un gran número de académicos apuesta por medir los constructos con múltiples ítemes, en una especie de ritual que a veces carece de la reflexión adecuada sobre lo que realmente se está midiendo. Añadir ítemes con el fin de analizar su consistencia interna (como medida de fiabilidad) es perjudicial si ello perjudica a la propia validez de la medición. Y como bien sabemos los investigadores aplicados, agrandar las encuestas con baterías de preguntas interminables trae consecuencias desastrosas.

Por tanto, ¿por qué realizar 4 o 5 preguntas parecidas para medir un concepto que sería claramente indicado con una sóla? Los autores repasan posturas en la literatura que así lo atestiguan. Si el constructo es unidimensional (y en realidad un concepto complejo se puede desgranar unidimensionalmente) y hay cierta concreción respecto a lo que se está evaluando, las medidas de un sólo ítem son perfectamente adecuadas.

“Estoy satisfecho con este producto”, sería un indicador válido de la satisfacción. ¿Por qué entonces apabullar con una batería de ítemes del estilo: “me gusta este producto”, “el producto me hace feliz”, “el producto ha superado mis expectativas”….?

Es cierto que los autores también identifican críticas al respecto. Al fin y al cabo, el nivel de concreción de un constructo es difícil de discernir. La satisfacción del consumidor, por ejemplo, puede tener un significado diferente para cada participante en un estudio. Pero eso es consustancial con cualquier concepto psicológico similar, como la percepción de calidad, el valor percibido, la confianza, etc. Los autores no comentan esta apreciación, simplemente se ciñen a que el atributo evaluado posea un significado singular y no ambiguo.

Metodología

Los investigadores examinaron los resultados de 8 metanálisis, representando a 189 estudios con casi 40000 participantes.

Para cada metanálisis, los autores calculaban los tamaños de efecto encontrados en la relación entre las variables independientes y dependientes, y los dividían en función de si habían empleado un sólo ítem o escalas multi-ítem.

Resultados e implicaciones

Los resultados se muestran en la siguiente tabla:

b384_2Como puede observarse, sólo en un metanálisis los resultados fueron significativos (los tamaños de efecto entre ambos procedimientos diferían). Los autores también encontraron que la longitud de las escalas multi-ítem tampoco influía en los resultados.

Por tanto, medir las actitudes de los consumidores con un sólo ítem produce resultados análogos a medir con varios ítemes, pero tiene la ventaja de disminuir los costes de recogida de datos y producir una menor amenaza a la validez de estos.

Limitaciones/Comentarios

No sólo en el ámbito del marketing, sino también en la campo más especializado de la metodología en ciencias sociales hay voces que se han alzado en contra del aparente sinsentido de medir un constructo con varios indicadores cuando se podría hacer perfectamente con uno. Leslie Hayduk lo lleva defendiendo en el ámbito de las ecuaciones estructurales desde hace décadas (1 o 2 indicadores por variable latente)

Cualquiera que haya diseñado cuestionarios y hecho trabajo de campo sabe que las encuestas crean automáticamente rechazo, y que no es lo mismo responder a una encuesta de 5 preguntas que a una de 25. Si se define bien el concepto latente a través de un observable, no hay necesidad de marear al encuestado con diferentes formas de decir lo mismo. Es más, la validez es muy probable que se vea amenazada por diferentes sesgos (aquiescencia, cansancio, aprendizaje…).

Quizá la limitación más importante de este estudio reside en la propia comparación que hacen los autores. Si emplear múltiples ítemes afecta a la validez de los resultados, no se pueden usar estos entonces como criterio para comparar con las medidas de un sólo ítem. Y si se admite la validez de ambas aproximaciones, entonces habría que asumir que todos los sesgos anteriormente mencionados relacionados con cuestionarios largos no son relevantes. Y este es un asunto importante que los autores no mencionan, pero que pone un poco en cuestión la calidad de este artículo.

LEE EL ARTÍCULO ORIGINAL AQUÍ

Ang, L. & Eisend, M. (2017). Single versus multiple measurement of attitudes. A meta-analysis of advertising studies validates the single-item measure approach. Journal of Advertising Research, doi: 10.2501/JAR-2017-001

Indicadores de calidad de la revista*

  Impact Factor (2014) Cuartil Categoría
Thomson-Reuters (JCR) 2.328 Q2 BUSINESS
Scimago (SJR) 0.87 Q1 COMMUNICATION

* Es simplemente un indicador aproximado para valorar la calidad de la publicación

Todos los posts relacionados




(#331). LOS CONSTRUCTOS FORMATIVOS NO REFLEJAN ESTADOS PSICOLÓGICOS

[REVISIÓN DE ARTÍCULO] En este artículo publicado en Frontiers in Psychology, el autor aporta su visión sobre un debate intenso en la metodología en ciencias sociales; los constructos formativos.

El autor lleva la discusión entre realismo vs. constructivismo a un terreno a medio camino de ambos, lo que se denomina epistemología pragmática, o también pragmatismo epistemológico.

Un constructo es un concepto teórico que operativizamos a nivel empírico como una variable latente que es medida con indicadores observables. Los realistas piensan que ese constructo existe independiemente del observador, mientras que los constructivistas indican que puede ser simplemente una construcción en base a ciertas variables que observamos. En el primer caso, la variable latente causa cambios en los indicadores observables (reflectivos), pero en el segundo caso los indicadores observables (formativos) modifican el significado de la variable latente.

El pragmatismo epistemológico toma a esos conceptos como dependientes de la práctica social, es decir, no tienen por qué tener una existencia por sí mismos en el sentido biofísico (relacionados con ciertas conexiones cererbrales, procesos electroquímicos, etc.). Son una propiedad emergente de esos procesos biofísicos que sabemos que existe porque vemos algunas de sus manifestaciones.

Y es aquí donde está la parte más interesante de este artículo, porque el autor enfatiza que esa es precisamente la razón por la cual nunca podrían ser considerados constructos formativos, ya que si no hay manifestaciones en la realidad no hay constructo psicológico.

Un ejemplo es el estatus socieconómico (SES), una constructo claramente formativo, pero que no actúa como un constructo psicológico en sí, ya que no es una propiedad emergente de un estado mental. Sin embargo, si hablamos de “SES percibido”, es decir, de cómo cada individuo percibe su nivel socieconómico, entonces ese sí es un constructo reflectivo, porque se manifiesta en comportamientos, opiniones, etc. que el sujeto hace. El constructo psicológico existe (realismo), pero depende de la interacción social (pragmatismo). Los índices y las nuevas construcciones de variables a partir de otros observables (constructivismo) y que no se manifiestan observablemente no pueden ser considerados como constructos en psicología. Este es la visión del autor.

Comentarios

En este breve artículo, el autor aporta una sencilla explicación sobre cómo debemos considerar la medición en ciencias sociales. Tal y como hemos hablado en otras ocasiones en el blog, hay un buen número de conceptos en psicología que se miden de manera reflectiva cuando son de naturaleza formativa. Pero si, como ocurre también en la mayoría de los casos, ese constructo tiene manifestaciones observables, entonces ese constructo es en sí reflectivo, pero lo llamamos formativo porque tiene otros atributos o dimensiones que lo forman, pero no son parte del mismo concepto, sino otro tipo de constructos en sí mismos.

Un ejemplo sería la satisfacción del consumidor. Decimos que es un constructo formativo porque puede formarse a través de la valoración de diferentes atributos (ej. satisfacción con los empleados, satisfacción con las instalaciones) que no tienen por qué estar asociados. Pero la satisfacción es en realidad un concepto que puede medirse de manera reflectiva, por ejemplo mediante un único ítem de satisfacción global. Es más, cada uno de los atributos también pueden re especificarse como reflectivos y medirse con uno o varios ítems. Por tanto, un constructo sería puramente formativo si es una construcción algebraica que no puede medirse de manera reflectiva, tal y como publiqué hace ya varios años (ver Martínez & Martínez, 2011).

Todos los autores debemos reflexionar mucho antes de iniciar una investigación sobre cómo vamos a medir las variables de interés. Equivocarnos en la especificación reflectiva/formativa produce un gran riesgo de invalidar los resultados.

 

LEE EL ARTÍCULO ORIGINAL AQUÍ:

Guyon, H. (2018).The Fallacy of the Theoretical Meaning of Formative Constructs. Frontiers in Psychology, doi: 10.3389/fpsyg.2018.00179

Indicadores de calidad de la revista*

  Impact Factor (2014) Cuartil Categoría
Thomson-Reuters (JCR) 2.321 Q2 PSYCHOLOGY-MULTIDISCIPLINARY
Scimago (SJR) 1.27 Q1 PSYCHOLOGY (MISCELLANEOUS)

* Es simplemente un indicador aproximado para valorar la calidad de la publicación

Todos los posts relacionados




(#302). CONSTRUCTOS EN PSICOLOGÍA E IMPLICACIONES ESTADÍSTICAS

[REVISIÓN DE ARTÍCULO] En este breve artículo publicado en Health Psychology Review, el autor realiza un magnífico ejercicio de síntesis para ilustrar una de las grandes cuestiones de la psicología empírica, y por extensión de todas las ciencias sociales; qué son los constructos y cómo hay que medirlos.

Para ello, establece 4 amplias concepciones, que definen diferentes ópticas sobre lo que son los constructos, y cuya adopción de una a otra perspectiva implica la posterior elección del método adeuado para implementar la medición y el análisis estadístico.

Antes de empezar conviene recordar que un constructo en psicología se puede referrir desde una emoción a un desorden mental, desde una percepción a una categorización social, o desde las características de la personalidad a la inteligencia. Es decir, prácticamente cualquier concepto abstracto es un constructo, y esto al final envuelve todo lo que pretendemos medir.

Constructos como carácter natural

Existen, independientemente de que los reconozcamos como tal. Es decir, es una aproximación ontológica realista a entidades naturales que tienen unas carcaterísticas intrínsecas que los hacen atemporales e inmóviles en su concepción. El autor pone el ejemplo de un elemento químico que está determinado por el número de protones que contiene. De este modo, tener 79 protones es una condición necesaria y suficiente para que exista el oro. En psicología, las emociones básicas como el  miedo o la ira son a menudo vistas también dentro de esta categoría. 

Concebir que los desórdenes mentales o que las características de la personalidad tengan también un carácter natural es quizá ir demasiado lejos, pero el autor cita literatura que así lo propone.

Esta concepción realista implica claramente un planteamiento causal reflectivo, donde el constructo es una variable latente que existe pero que se manifiesta a través de indicadores observables. Variaciones en el constructo causan cambios en los indicadores observables, y por tanto la causalidad tiene una dirección desde lo abstracto a lo concreto, desde lo latente a lo observable.

Así, las clásicas escalas multi-ítem, y los tan manidos usos del alfa de Cronbach o el análisis factorial (no el de componentes principales), entrarían dentro de esta conceptualización.

Esto llevaría a aceptar algo que el autor no comenta debido a la brevedad del artículo, pero que es harto conocido en la literatura especializada, y es que esa variable latente se manifiesta a través de unos indicadores observables que son intercambiales, y que no alteran el significado de la variable latente si se usa uno u otro indicador. Y esta es una condición muy restrictiva, y que hace que numerosos planteamientos metodológicos de investigaciones hagan aguas clamorosamente.

Constructos como carácter social y como carácter práctico

El autor separa ambos caracteres pero realmente su distinción es muy sutil, y a nivel práctico implica pocas modificaciones.

El carácter social se refiere a los constructos como construcciones sociales, basadas en un consenso, y aunque el autor no lo comente explícitamente, podría concebirse como algo intersubjetivo, es decir, lo que es lo es porque la mayoría consensúa que lo es.

Y por carácter práctico se refiere a una mera instrumentalización de los conceptos, lo que llama nominalismo pragmático. Así, las emociones, las características de la personalidad o los desórdenes mentales deberían ser juzgados en términos de éxito práctico, más allá de que correspondan con una realidad independiente de nuestra percepción. El ejemplo del estatus socieconómico (SES) es claro; es una mera construcción que predice resultados como la mortalidad, morbilidad, pobreza, etc. Lo que interesa realmente es una operacionalización práctica que permita realizar predicciones.

La forma de plantear modelos bajo estas dos conceptualizaciones es opuesta a la visión reflectiva. Ahora los indicadores observables, las variables que medimos para operacionalizar el concepto causan variación en el concepto, y no se pueden desvincular de él; si eliminamos uno de esos indicadores (o ítems) cambia el significado del concepto. De este modo, estaríamos hablando de modelos formativos, y no reflectivos. Por tanto, no se puede aplicar el alfa de Cronbach, ni ningún método que considere que la varianza del indicador observable se compone de la varianza de la variable latente más una varianza de error (teoría clásica de los tests). Aquí la relación entre las varianzas es diferente porque las relaciones causales son diferentes. En conseuencia, la variable latente se explica por la variación en las dimensiones/indicadores/ítems que la componen.

Constructos como entidades complejas

Esta visión vuelve a la aproximación realista admitiendo que esos constructos existen pero son tan complejos que no podemos saber mucho sobre ellos, más allá de una serie de características que están asociadas, es decir, que se manifiestan conjuntamente, aunque no necesariamente igual en todos los sujetos. De nuevo, con en las otras visiones, existe literatura al respecto que la secunda.

Desde el punto de vista estadístico los análisis de redes asociativas son pertinentes, al no establecer los indicadores ligazones causales con las variables latentes que supuestamente manifiestan, sino que la relación causal o meramente asociativa es con otros indicadores/dimensiones observables. Es decir, se modela lo observable, admitiendo implícitamente la existencia de conceptos latentes, pero sin entrar en especificaciones causales con ellos, debido a la complejidad del entramado de relaciones que los gobiernan.

b302_1

Nihilismo pragmático

Según esta idea, los constructos en psicología son metáforas útiles para entender el mundo, pero no necesariamente tienen que existir. Desde este punto de vista, la visión operacionalista y pragmática prevalecería. Así, los constructos deberían ser medidos en funciónde cómo los investigadores los definieran.

Comentarios

Pese a que el autor al final del artículo se resiste a aceptar esa visión nihilista, y todavía espera que la psicología entienda y maneje constructos reales, la pequeña revisión que hace se lo pone muy difícil.

Y, a mi juicio, no va desencaminado en su pesimismo, porque plantear la visión realista y reflectiva como algo similar a propiedades naturales que son imperturbables es controvertido. El ejemplo que emplear de los protones y la tabla periódica es incompleto y falla al no admitir que el oro es una etiqueta lingüísitica que hemos consensuado poner a un elemento con 79 protones, pero que realmente un protón no es una característica fundamental (como se creía hasta hace unas décadas), sino que está formado por 3 quarks y su interacción fuerte (gluones). De este modo, un protón sería la operacionalización realizada artificialmente para describir una unión de 3 quarks (2 quarks arriba y un quark abajo). Desde ese punto de vista sería una variable formativa. Y es que si cambiamos levemente los indicadores (los quarks), y consideramos esta vez 2 quarks abajo y un quark arriba, ya no tenemos un protón, sino un neutrón.

Por tanto, cada vez que definimos algo le estamos dando un carácter instrumentalista en el sentido de que lo hacemos describiendo las características que lo forman, o siendo menos exigentes, aquellas con las que está asociado (una red nomológica). Así, poco espacio queda a la visión realista, y mucho más en ciencias sociales, donde no disponemos del descenso a lo fundamental que tiene la física, la química o la biología.

Sin duda el debate sigue abierto y la discusión es apasionante en el sentido de que está en juego la validez de miles de investigaciones pasadas y otras futuras que han errado o errarán en plantear una medición adecuada de los constructos que tratan de analizar.

Por eso es tan importante entender bien cómo operar con observables y las relaciones causales que se establecen (ya sea con otros observables o con variables latentes).

LEE EL ARTÍCULO ORIGINAL AQUÍ:

Fried, E. I. (2018).What are psychological constructs? On the nature and statistical modelling of emotions, intelligence, personality traits and mental disorders.  Health Psychology Review, doi: 10.1080/17437199.2017.1306718

Indicadores de calidad de la revista*

 

Impact Factor (2016)

Cuartil

Categoría

Thomson-Reuters (JCR)

7.241

Q1

PSYCHOLOGY, CLINICAL

Scimago (SJR)

2.69

Q1

CLINICAL PSYCHOLOGY

* Es simplemente un indicador aproximado para valorar la calidad de la publicación

Todos los posts relacionados