Patterson y Fosse destacan varias malas predicciones de los economistas, entre ellas la de la actual crisis económica en la que todavía estamos inmersos, su empeño en confiar en métodos cuantitativos de análisis olvidando los tan «queridos» métodos cualitativos de la sociología (yo diría también psicología y marketing), y la propia autocomplacencia alimentada por esa especie de añadido artificial que los Premios Nobel realizaron en 1968 para galardonar a las contribuciones en economía (un premio, no lo olvidemos, promovido por el Banco de Suecia).
Este corto, fugaz, pero provocador artículo, pone sobre la palestra una vieja y recurrente historia sobre el papel que los economistas y la economía juegan en la sociedad, y tal vez el rol que en verdad deberían asumir. Como la gente de marketing no somos economistas, ni sociólogos, ni físicos, etc., sino una especie de mutantes que hemos nacido de la combinación de sociología, psicología, matemáticas…y sobre todo economía, pues nos damos por aludidos cuando «hablan mal» de la economía como ciencia.
Repasaremos a continuación algunas cuestiones destacadas que, a mi juicio, este artículo suscita y que quizá aclaren mi postura ante esta «guerra» (estúpida, por otro lado) entre que disciplinas para ver quién es más científica.
Los autores del artículo aluden a una encuesta realizada a los ciudadanos norteamericanos (General Social Survey) en la que poco más del 50% de los encuestados dice que la economía es mucho o bastante científica, frente a casi el 100% de la medicina.
Este tipo de estadística no son malas ni buenas per se. Simplemente ilustran una forma de pensar que no tiene porqué ajustarse a la realidad. Así de sencillo. En marketing, conocemos muy bien la cantidad de sesgos cognitivos que pueblan la cabeza de los consumidores.
Por tanto, bajo mi punto de vista, que los ciudadanos perciban la economía como poco científica en relación a otras disciplinas sólo ilustra una percepción de una realidad, que no tiene en ningún momento porqué ser concordante con la realidad que se juzga.
La economía es una ciencia social, y en las ciencias sociales no existen leyes (como en la física, por ejemplo). Si cualquier ley física no se cumple en uno sólo de los experimentos que replican un fenómeno, entonces ha de cuestionarse la teoría en la que se justifica la ley y comenzar a buscar explicaciones alternativas. Pero en ciencias sociales no hablamos de leyes, sino de principios derivados de la estadística. Ello quiere decir que solemos hablar siempre en promedios, y con el lenguaje de la probabilidad en la mano. Sobre este suelo de arenas movedizas es sobre el que se asienta el conocimiento en economía, marketing, psicología, sociología e incluso en medicina. En esta última disciplina, por ejemplo, cuando se prueba la eficacia de un medicamento frente al placebo, o se analiza la probabilidad de que un niño tenga complicaciones graves si enferma de sarampión si no se vacuna frente a que tenga complicaciones graves si se vacuna de sarampión, se está utilizando la probabilidad.El lenguaje de la probabilidad puebla en mayor o menor medida todas las disciplinas científicas. En física tenemos la mecánica cuántica, cuyas reglas del juego se basan en funciones de onda que tienen una naturaleza probabilística. En ingeniería se emplea la probabilidad para, por ejemplo, el control de calidad en los procesos de producción.
La probabilidad conlleva incertidumbre en la predicción de un evento futuro. E incluso en ecuaciones no probabilísticas, sino completamente deterministas, podemos tener un resultado ciertamente impredecible, como ilustra la Teoría del Caos, algo que se puede comprobar inlcuso con ecuaciones no lineales muy simples.
Por tanto, los economistas pueden fallar en sus predicciones, igual que lo hacen otros científicos en otras ramas de la ciencia. Y, aunque tengan un buen modelo, y hayan realizado un gran trabajo metodológico, existe la probabilidad de error. Y si este se comete no quiere decir necesariamente que ni el método, ni el modelo, ni el economista no sean científicos. Ahora bien, existen otras muchas fuentes de error, que explican porqué esas predicciones fallan. Es aquí, como comentaré a continuación, donde está el principal problema.
Fraude
El fraude recorre como una especie de velo corrupto todas las disciplinas científicas, aunque quizá se de en mayor medida en aquellas como la economía, marketing, psicología o sociología, donde la replicación de resultados brilla por su ausencia.
Es cierto que uno de los casos más notorios de fraude en los últimos años ha sido el de los economistas de Harvard: Reinhart y Rogoff. Estos autores publicaron un estudio en 2010 sobre la relación entre el crecimiento económico y el endeudamiento de los países. En ese estudio mostraban que si los países se endeudan por encima del 90% de su PIB el crecimiento disminuye. Ese estudio ha sido tomado durante varios años como referencia por los políticos afines al sistema neoliberal para justificar las políticas austeras y los recortes. Sin embargo, tres años más tarde, los investigadores Herndon, Ash y Pollin demostraron que Reinhart y Rogoff habían cometido errores en la hoja de cálculo de Excel con la que analizaron sus datos, además de omitir en el análisis otros datos relevantes. Si se subsanaban esos errores, los resultados habrían indicado que el crecimiento medio de los países con una deuda superior al 90% habría sido del 2.2% y no del -0.1%, como mantenían Rogoff y Reinhart. Más información sobre este hediondo asunto, aquí.
Pero hay otros casos igualmente llamativos salpicando otras ciencias, como la psicología social y el profesor holandés Diederik Stapel, quien estuvo cometiendo fraude durante más de 10 años, inventándose los datos de sus artículos (al menos 55 de ellos). Fue descubierto por 2 estudiantes de doctorado. Se puede ampliar más información aquí.
Por tanto, no es un problema único en la economía. Es más, en la disciplina «reina» para los americanos, como es la medicina es donde probablemente tenemos los casos más escandalosos de fraude. Esto dará para otro post en el futuro, pero mientras tanto, podéis leer una revisión del libro «Mala Farma» realizada por el excelente Blog de la Mula Francis.
Otro de los puntos que Patterson y Fosse tocan en su artículo del NYT es el de la tremenda importancia que se le da a los métodos cuantitativos en economía frente a los cualitativos. Esto puede que sea cierto si no consideramos el marketing dentro de las ciencias económicas, pero si metemos al marketing dentro del conjunto de ramas de la economía entonces las cosas ya no estarían tan claras. En marketing las técnicas cualitativas de investigación son muy empleadas, entre otras cosas porque son mucho más baratas que las cuantitativas. Aquí va una pequeña lista: entrevistas personales, grupos de discusión, introspección personal, tormenta de ideas, FMET, ZMET, Laddering, Kelly Repertory Grid, Photosort, Q-sort…De todas ellas, los grupos de discusión, grupos de enfoque o focus group (llámese como se prefiera) es la técnica más empleada en investigación de mercados. Sin embargo, es la técnica más severamente criticada por muchos investigadores (ej. Grifin & Hauser, 1993; Lindstrom, 2008; Stokes & Bergin, 2006;Zaltman, 2003). Estos autores muestran diferentes evidencias sobre la incapacidad de los grupos de enfoque para conseguir profundizar sobre los fenómenos a estudiar, en contraposición con la entrevista personal, y el conjunto de técnicas susceptibles de ser asociadas a ésta (laddering, ZMET, mapas de consenso, Kelly Repertory Grid, etc.). Siguiendo con los grupos de enfoque, un estudio demostró que dos formas distintas de empezar con la sesión producían diferentes resultados sobre la probabilidad de compra de los consumidores de un producto específico (Zaltman, 2003). Aunque la sensibilidad a las condiciones iniciales es una característica general de diferentes técnicas, en los grupos de enfoque se hace mucho más palpable este efecto. Se pueden utilizar diversas técnicas para estudiar un mismo fenómeno pero no se debe buscar la convergencia entre ellas, ya que no existe una triangulación perfecta de métodos. Así, por ejemplo, Hardison & Neimeyer (2007) muestran empíricamente como el uso de tres métodos diferentes: Kelly Repertory Grid, laddering, e introspecciones, producen resultados no convergentes. Esto significa que no se deben utilizar varios métodos para validarse unos a otros, sino buscar la complementariedad y el eclecticismo, es decir, una multiplicidad de enfoques da unos resultados más ricos.
Por tanto, las técnicas cualitativas no son, desde luego, un salvavidas que rescate a las ciencias económicas del mar de dudas de los modelos matemáticos, ya que también tienen su propio océano de incertidumbre.
Pero los modelos econométricos también tienen problemas. Y graves. Sobre todo derivados del uso de la estadística o más bien de su mal uso o de su abuso.
Por ejemplo, y según Johnson (2013), es muy posible que más de la cuarta parte de las investigaciones en las que se basa la acumulación de conocimiento en disciplinas que usan la estadística sean falsas. Ioannidis (2005), por su parte, es incluso más radical con esta crítica a la veracidad de la investigación existente, y afirma que más de la mitad de las investigaciones reportan resultados falsos. A veces el problema reside simplemente en el tamaño de la muestra de los estudios. Si ese tamaño es pequeño, no se tiene potencia suficiente para detectar efectos relevantes, o como indican Button et al. (2013), incluso si se identifican efectos significativos se sobreestima su tamaño.
Otro aspecto importante es el del tipo de muestras que se emplean para muchos de los experimentos que se realizan en economía y marketing. Rozin (2001), por ejemplo, en su crítica a la metodología en psicología social advierte que la gran mayoría de investigaciones en este campo se hacen con estudiantes entre 17 y 20 años, con un perfil sociodemográfico poco heterogéneo y que no son más que una muestra de un 10 o 15% de la población mundial. Extender los resultados de esos estudios al resto de la población es una acción muy atrevida por parte de los investigadores. Es cierto que algunas revistas científicas están rechazando muchos artículos que emplean muestras de estudiantes, pero aún así, en marketing sigue siendo una característica el acumular conocimiento basado en resultados con muestras de estudiantes. Rozin (2001), además, critica el exagerado énfasis en los análisis cuantitativos y el planteamiento de hipótesis, echando de menos estudios descriptivos, como se hacen en otras ciencias donde se estudian fenómenos muy complejos.
Como ejemplos del mal uso de la estadística y cómo ésta condiciona las interpretaciones de los estudios, Gelman & Stern (2006) demuestran que los estudios de Bogaert (2006) y Blackman et al. (1988) son erróneos en sus conclusiones porque fallan en darse cuenta que la diferencia entre un tratamiento significativo y otro no significativo no tiene porqué ser estadísticamente significativa. Bogaert (2006) afirmaba que el ser hombre homosexual estaba asociado significativamente con el número de hermanos mayores pero no con el de hermanas, mientras que Blackman et al. (1988) estudiaba los diferentes efectos de niveles de frecuencia de campos electromagnéticos sobre el cerebro de animales.
Todo esto nos hace pensar que, efectivamente, hay mucho trabajo por hacer (bien) en economía, en marketing, en psicología, en sociología y en el resto de disciplinas que emplean tanto investigación cuantitativa como cualitativa. Entre ellas, por supuesto, la investigación médica.