(#409). ALGUNAS CONSIDERACIONES EN LA ESTIMACIÓN DEL RENDIMIENTO POR MINUTO EN BALONCESTO (II)

[MONOTEMA] Una vez expuesta la necesidad de gestionar adecuadamente las estadísticas por minuto en baloncesto,  y tras explicar cómo ha de computarse la media, el siguiente paso es discutir las opciones para el cálculo de la varianza de esa media, y por ende, del error estándar necesario para conocer la imprecisión de la estimación.

Aproximación Normal

Levy & Lemeshow (1999) proponen una aproximación a la estimación del error estándar de la media de la siguiente forma:

donde:

Como se puede apreciar, esta expresión cuenta además con la consideración de un factor de finitud que hace que el error estándar sea cero cuando N=n, es decir, cuando tenemos que la muestra es en sí toda la población. Es una fórmula a la que se llega a través del desarrollo de Taylor de la función ratio en el entorno de la media.

El intervalo de confianza 100(1-α)% bajo la aproximación Normal es el siguiente:

donde α es el “tamaño del test” y 100(1-α)% es el nivel de confianza. De este modo, para un nivel de confianza del 95% tenemos:

Aproximación de Cochran

Gatz & Smith (1995), basándose en el trabajo de Cochran (1977), proponen el siguiente estimador:

Al igual que en el caso anterior, se puede construir un intervalo de confianza usando  la aproximación Normal:

No obstante, Gatz & Smith (1995) son prudentes en advertir que no siempre sería correcto asumir la aproximación Normal, sobre todo para muestras pequeñas. Así, la estimación de los errores estándar por remuestreo y el establecimiento de puntos de corte de la distribución empírica remuestrada sería una alternativa a considerar.

Bootstrapping

Gatz & Smith (1995), muestran que la aproximación de Cochran proporciona errores estándar que no difieren estadísticamente de los obtenidos por bootrstrapping.

El método de remuestro consiste básicamente en la extracción de muestras con repetición de la muestra original, y la construcción de una distribución empírica de la media ponderada, donde se puede calcular su error estándar (también empírico). La implementación de intervalos de confianza puede realizarse de varias maneras, también empleando la aproximación normal, o los percentiles de la distribución empírica, que en el caso de 2 colas sería el percentil 2.5% y el 97.5% de la distribución.

Si asumimos esta última opción, los intervalos de confianza al 95% serían:

Ilustración práctica

Vamos a emplear de nuevo los datos de Mike James, que nos van a permitir calcular la imprecisión de su media de puntos por minuto de las 3 formas que acabamos de explicar.

Para ello, suponemos que James ha jugado sólo 25 de los 30 partidos posibles (los 25 primeros), por lo que la estimación de los puntos por minuto tendrá una imprecisión asociada.

Los resultados, con el error estándar y al 95% de confianza son los siguientes:

Aproximación Normal:

Aproximación de Cochran:

Bootstrapping Normal:

Bootstrapping percentil:

Como puede apreciarse, todos los intervalos de confianza contienen al parámetro poblacional, que conocemos (recordemos que sabíamos el rendimiento en los 30 partidos), y que es

De entre todos los procedimientos explicados, el primer de ellos es el que proporciona estimaciones más precisas, porque el error estándar es bastante más pequeño.  La clave está en la inclusión de este factor de finitud:

Si ese factor no se tiene en cuenta, entonces el valor del error estándar sería de 0.0283, es decir, muy similar al obtenido con el método de Cochran y el de remuestreo.

Creemos, sin embargo, que si se entiende que todos los partidos de una competición forman una población finita, y que si el jugador participa en todos ellos entonces su rendimiento no tiene imprecisión, entonces sería conveniente introducir factores de finitud en las estimaciones, que corrijan los errores estándar en muestras finitas (y pequeñas), y así obtener mayor fiabilidad.

Levy & Lemeshow (1999) recomiendan que sólo se use esa aproximación si:

En nuestro caso, ese valor era de 0.0079, por lo que se cumple esa condición.

Conclusión

Ya tenemos un poco más claras algunas de las opciones que tenemos para analizar rendimientos por minuto en baloncesto. Tras explicar cómo se puede calcular la media, hemos presentado varias alternativas para el cálculo de los errores estándar y el intervalo de confianza asociado

El error relativo cometido en el primer caso es del 4.01%, lo que se antoja aceptable para seguir confiando en lo que nos diga un rendimiento de 25 partidos sobre 30 posibles. Hay que tener cuidado cuando el tamaño de la muestra comienza a bajar con respecto al de la población, porque el error relativo se incrementa, y entonces habremos de buscar un criterio de inclusión en el ranking de final de temporada, ya que aquellos jugadores con un rendimiento demasiado impreciso no deberían aparecer en él.

Todos los posts relacionados




(#408). ALGUNAS CONSIDERACIONES EN LA ESTIMACIÓN DEL RENDIMIENTO POR MINUTO EN BALONCESTO (I)

[MONOTEMA] Hace unos años incidí en la necesidad de tomar una aproximación probabilística a la construcción de rankings para valorar el rendimiento de jugadores de baloncesto. Como se puede leer en este post y en el artículo que publiqué en RICYDE, es necesario considerar las impreciones en las estimaciones de los valores medios que caracterizan el rendimiento de los jugadores: puntos, rebotest, asistencias, etc.

Cuando un jugador no juega todos los partidos de la temporada, su valor medio de puntos es un estimador del valor medio de puntos que habría obtenido si los jugara todos, si consideramos que todos los partidos componen la población, y asumimos (con cierto riesgo) que los partidos en los que realmente juega son una muestra aleatoria de esa población.

En el artículo, se explica paso a paso un método para hacerlo, incluyendo a aquellos jugadores en los que la precisión sea admisible, es decir, no tengan un intervalo de confianza demasiado grande. De este modo, sólo sería posible la comparación rigurosa entre jugadores que hubieran jugado un número mínimo de partidos. De manera intuititva, eso es lo que realmente se suele hacer en la valoración de los rankings en las competiciones profesionales, aunque esos criterios de inclusión no sean del todo precisos y justificados estadísticamente.

Sin embargo, las variables del box-score no están ponderadas por los minutos de juego, y esto propicia que se puedan obtener mejor (o peor) rendimiento bruto en función del número de minutos jugados, y no de la habilidad subyacente del jugador. Por tanto, es muy recomendable comparar el rendimiento de los jugadores por minuto jugado, en aras de obtener índices de “productividad”, o capacidad de aportar al rendimiento del equipo en función de los recursos empleados, que en este caso son los minutos que se está en pista.

Pero al construir una variable de rendimiento por minuto jugado, nos encontramos con ciertas dificultades estadísticas que merecen ser discutidas, ya que ni la estimación de la media, ni de la varianza, ni del error típico son tan sencillas como las de una variable sin ponderar. El objetivo de este post, es comentar algunas de esas opciones que los analistas tenemos para realizar nuestro trabajo, centrándonos en el cálculo de la media. Dejaremos para más adelante el cómputo del error.

El cálculo de la media

Partamos de un ejemplo práctico para ilustrar el problema; la estimación de los puntos por minuto del máximo anotador de la fase regular de la Euroliga 2018/19: Mike James. El jugador del Olimpia Milan ha anotado 595 puntos (X) en 30 partidos, es decir, una media de 19.8.

Pero ha jugado 1018 minutos y 26 segundos, es decir, 1018.433 minutos (Y), por lo que los puntos por minuto (R=X/Y) han sido: 0.5842. Sin embargo, la media de todos los puntos por minuto de los 30 partidos es 0.5839, es decir, difiere (en este caso ligeramente) de lo obtenido cuando se divide 595 entre 1018.433. ¿Cómo es esto posible?

Recordemos que una de las primeras cosas que aprendemos en estadística es que la esperanza matemática de la media muestral es la media poblacional. Es decir, la media de todas las medias muestrales es la media poblacional, dicho de otro modo, la media muestral es un estimador insesgado de la media poblacional.

Pero no ocurre así en este caso, y la razón es que precisamente tenemos una variable de “razón”, o un ratio entre dos variables aleatorias: los puntos y los minutos. Cuando se tiene ese ratio, la media muestral no es un estimador insesgado de la media poblacional.

En su recomendable libro, Levy & Lemeshow (1999), admiten en la página 191 que en la práctica ese error es muy pequeño en la mayoría de ocasiones, y que se suele despreciar.

Sin embargo, tal y como demuestran van

Por tanto, sería el estimador adecuado. La razón por la que no lo es es porque no se consideran los “pesos” de la ponderación por los minutos jugados. La única forma en la que es cuando la razón entre ambas variables (x,y) es constante para todas las observaciones. Pero es lógico pensar que no tiene por qué ser así necesariamente.

De este modo, una forma alternativa de obtener la media que buscamos es sustituir la media aritmética por la media ponderada, tomando el peso de cada observación del denominador como una medida de importancia de esa observación.

Así, sea , el peso de cada observación del denominador, donde:

Entonces:

En la siguiente tabla se muestran esos datos, con el cómputo de los 3 diferentes ratios que acabamos de explicar.


Game Player PTS MP PTS/MP Pesos (wi) xiwi/yi R r1 r2 r3
1 JAMES, MIKE 13 33.58 .3871 .033 .0128 .5842 .5839 .5842 .5842
2 JAMES, MIKE 21 34.45 .6096 .0338 .0206
3 JAMES, MIKE 22 29.48 .7462 .0289 .0216
4 JAMES, MIKE 25 37.3 .6702 .0366 .0245
5 JAMES, MIKE 15 36.02 .4165 .0354 .0147
6 JAMES, MIKE 16 39.33 .4068 .0386 .0157
7 JAMES, MIKE 21 36.2 .5801 .0355 .0206
8 JAMES, MIKE 20 29.55 .6768 .029 .0196
9 JAMES, MIKE 19 36.05 .527 .0354 .0187
10 JAMES, MIKE 17 39.87 .4264 .0391 .0167
11 JAMES, MIKE 26 37.82 .6875 .0371 .0255
12 JAMES, MIKE 31 37.5 .8267 .0368 .0304
13 JAMES, MIKE 17 34.5 .4928 .0339 .0167
14 JAMES, MIKE 12 34.98 .343 .0344 .0118
15 JAMES, MIKE 16 33.42 .4788 .0328 .0157
16 JAMES, MIKE 17 31.65 .5371 .0311 .0167
17 JAMES, MIKE 20 37.53 .5329 .0369 .0196
18 JAMES, MIKE 29 35.93 .8071 .0353 .0285
19 JAMES, MIKE 27 33.73 .8004 .0331 .0265
20 JAMES, MIKE 20 36.12 .5538 .0355 .0196
21 JAMES, MIKE 22 28.78 .7643 .0283 .0216
22 JAMES, MIKE 18 33.73 .5336 .0331 .0177
23 JAMES, MIKE 19 30.77 .6176 .0302 .0187
24 JAMES, MIKE 16 28.27 .566 .0278 .0157
25 JAMES, MIKE 13 31.4 .414 .0308 .0128
26 JAMES, MIKE 27 34.42 .7845 .0338 .0265
27 JAMES, MIKE 35 36.8 .9511 .0361 .0344
28 JAMES, MIKE 16 28.25 .5664 .0277 .0157
29 JAMES, MIKE 8 29.65 .2698 .0291 .0079
30 JAMES, MIKE 17 31.35 .5423 .0308 .0167
Total 595 1018.433
Media 19.83 33.95

Conclusión

En este post hemos mostrado de manera sencilla cómo enfocar el análisis del rendimiento por minuto de los jugadores de baloncesto, centrándonos en el primer paso, que es la determinación del valor medio.

Nos queda lo más complejo, que es, a partir de aquí, elegir entre las diferentes opciones para estimar la varianza y el error estándar de la media. En el caso del jugador elegido, hemos tenido la "suerte" de que ha jugado todos los partidos de la temporada, y el valor de su media no tiene imprecisión asociada. Sin embargo, no va a ocurrir esto en la mayoría de los casos, y habremos de reportar esa media (correctamente calculada) y la imprecisión de la estimación asociada a ella. Lo veremos en el siguiente post.

Todos los posts relacionados




(#380). ÍNDICES APROXIMADOS FLEXIBLES EN ECUACIONES ESTRUCTURALES

[REVISIÓN DE ARTÍCULO] En este artículo publicado en el Journal of the Academy of Marketing Science, los autores proponen desterrar definitivamente los umbrales para índices aproximados en ecuaciones estructurales, y a cambio emplear una perspectiva flexible, basada en los resultados de simulaciones para las condiciones de cada modelo especificado.

Esos índices aproximados no son test estadísticos como tal, porque su distribución es desconocida bajo la hipótesis nula, y los valores de corte se toman como criterio para decidir acerca de la validez del modelo.

Sin embargo, y como indican los autores, existe literatura convincente que especifica que tomar esos criterios de corte sin considerar las características propias de cada modelo (tamaño de muestra, grados de libertad, número de indicadores, etc.) puede producir resultados que contaminen esa capacidad de los índices aproximados para identificar modelos correctos y rechazar falsos.

Lo que plantean los autores es construir distribuciones empíricas para una multitud de formas de modelos de ecuaciones estructurales, y a través de esa distribución empírica (tras realizar cientos de simulaciones), reportar unos índices aproximados con criterios de corte flexibles para cada caso.

Un “no” a la chi-cuadrado

Los autores se posicionan claramente en contra respecto a las visiones de la idoneidad de confiar únicamente en el ajusto vía test de la chi-cuadrado, como hemos visto en otras entradas del blog. Para ellos, las limitaciones de la chi-cuadrado asociadas a su sensibilidad al tamaño de la muestra es motivo más que suficiente para no considerarla como índice de ajuste.

Los autores, sin embargo, argumentan también que el tamaño de la muestra, el tamaño del modelo, el modelo demedida, el tipo de modelo, y la normalidad de la distribución de datos afectan también a los índices aproximados. Esa es la razón por la cual no deben establecer criterios de corte univeresales.

Metodología

Los autores realizan 3 estudios de simulación Monte Carlo, pero lo hacen sólo con modelos de análisis factorial confirmatorio (CFA). Y esto es importante, porque aunque enfatizan que el CFA es más empleado que el resto de modelos causales, están obviando una parte esencial de la utilidad de SEM, la que para algunos autores como Leslie Hayduk es la principal.

Así, los autores configuraron 13851 modelos de CFA con diferentes combinaciones de cargas factoriales, tamaños de muestra, número de variables latentes e indicadores, así como la desviación de la normalidad.

Resultados e implicaciones

Los autores apuestan por el SRMR (como primera opción), CFI, TLI y RMSEA como segunda, en un enfoque de combinación de varios índices ya que todos tienes limitaciones. Concretamente, recomiendan el uso del SRMR (más sensible a la mala especifiación en el modelo estructural), junto a uno de los otros 3 mencionados (más sensibles a la especifiación en el modelo de medida).

Así, cualquier investigador interesado en esta propuesta puede emplear la web www.flexiblecutoffs.org, y especificar los datos de su propio modelo, obteniendo unas recomedaciones sobre los valores de corte de los índices aproximados comentados.

Limitaciones/Comentarios

Los autores reconocen que su propuesta no es sobre la idoneidad de los índices aproximados, sino sobre la estipulación de criterios de corte universales. Es decir, las limitaciones de cada índice aproximado siguen estando ahí, independientemente de que se adopte esta perspectiva flexible.

Sin embargo, es interesante el recorrido que hacen por la literatura que argumenta que los índices aproximados se ven afectados por características del modelo que no están relacionadas con la mala especificación. Su primer estudio, también ofrece resultados consistentes con este hecho.

Los autores separan el modelo de medida del modelo estructural pero no discuten el hecho de que en ambos se especifican relaciones causales. Por tanto, incluso un CFA tiene relaciones causales explicitadas en la relación entre las variables latentes y sus observables. Desde ese punto de vista, la distinción puede resultar engañosa y ocultar problemas mayores, como que los investigadores separen ambos modelos (en el típico test en 2 pasos, primero CFA y luego el modelo causal entre variables latentes), cuando el planteamiento de un modelo es global, integrando la medición observable junto con la causalidad entre latentes.

En definitiva, una propuesta relevante que puede ayudar a investigadores a interpretar mejor los análisis factoriales confirmatorios, pero que obvia el papel del test de la chi-cuadrado al considerarlo muy limitado por su dependencia al tamaño muestral, lo que choca con otras posturas ya comentadas en este blog.

LEE EL ARTÍCULO AQUÍ

Niemand, T. & Mai, R. (2018). Flexible cutoff values for fit indices in the evaluation of structural equation models. Journal of the Academy of Marketing Science, doi:10.1007/s11747-018-0602-9.

Indicadores de calidad de la revista*

  Impact Factor (2017) Cuartil Categoría
Thomson-Reuters (JCR) 8.488 Q1 BUSINESS
Scimago (SJR) 4.614 Q1 MARKETING

* Es simplemente un indicador aproximado para valorar la calidad de la publicación

Todos los posts relacionados




(#202). CONFLICTOS DE INTERESES EN SOCIEDADES MÉDICAS EN ITALIA

[REVISIÓN DE ARTÍCULO] Las Sociedades Médicas Profesionales juegan un papel fundamental en el avance de la calidad de la asistencia médica a través del desarrollo de guías de práctica clínica, diseminación de información, financiación de proyectos y la organización de actividades formativos.

Estas asociaciones son a menudo financiadas por corporaciones farmacéuticas y de equipamiento médico. Esto ha hecho que se investigue el conflicto de interés que puede surgir, no sólo a nivel de un médico, sino de este tipo de sociedades. Para tratar de evitar la intromisión de los intereses de la industria en las actividades de las sociedades médicas algunas implementan acciones para gobernar las relaciones con sus patrocinadores, como por ejemplo, separar en los congresos las sesiones financiadas por la industria del resto de programa académico.

El objetivo de esta investigación es describir cómo las sociedades médicas italianas interactúan con la industria, analizando la información que aparece en sus páginas webs, así como ilustrar las políticas de transparencia implementadas por esas sociedades.

Metodología

Los autores exploraron las webs de todas las sociedades médicas registradas en Italia, entre enero y septiembre de 2014. Según la Ley en Italia, esas sociedades tienen que representar al menos al 30% de los profesionales trabajando en ese campo y ser sin ánimo de lucro.

Para cada una de las web, se registró la siguiente información: (1) Si hablaban de los conflicto de intereses en sus estatutos; (2) Si había un código ético; (3) Si publicaban un informe financiero anual; (4) Si había logos de la industria en sus webs; (5) Si la industria estaba presente en la conferencia anual de la sociedad; (6) Si la industria estaba presente en eventos paralelos en la conferencia anual.

Los datos fueron extraídos de manera independiente por varios investigadores, y fueron consensuados al final del proceso.

Resultados e implicaciones

En 2013, había 154 sociedades médicas registradas en Italia, de las cuales 23 fue imposible recoger toda la información requerida, por lo que fueron excluidas del análisis.

Sólo un 4.6% de todas las sociedades tenía un código ético que cubría las relaciones con la industria en sus webs, un 45.6% de los estatutos mencionaban los posibles conflictos de interés, y apenas un 6.1% publicaba su financiación.

Un 29% de las sociedades tenía logos de la industria en sus webs, y el 67.7% había recibido dinero para organizar su conferencia anual o un seminario paralelo durante los mismos días de desarrollo de esa conferencia principal.

Los autores, a la vista de estos resultados, concluyen que existe muy poca transparencia en las sociedades médicas italianas, especialmente en lo que se refiere al dinero recibido por la industria. Y aunque la hubiera, seguiría siendo insuficiente si ello no se refleja en una gestión adecuada de los conflicto de interés. Admitir que la industria financia la sociedad médica no es suficiente, hace falta conocer cómo se maneja esa relación.

La supresión de la financiación de esas corporaciones es una opción, según comentan los autores, para evitar cualquier posibilidad de conflicto de interés, o al menos, organizar sus conferencias anuales sin ningún tipo de patrocinio.

Limitaciones/Comentarios

Es posible, tal y como reconocen los autores, que existan códigos éticos en algunas sociedades y que no se hayan puesto a la vista en sus webs, lo que sesgaría a la baja los resultados encontrados.

Lloyd, E. & Penn, H.  (2014).  Conflict of interest between professional medical societies and industry: a crosssectional study of Italian medical societies’ websites. BMJ Open,  doi: 10.1136/bmjopen-2016-011124

Indicadores de calidad de la revista*

 

Impact Factor (2015)

Cuartil

Categoría

Thomson-Reuters (JCR)

2.562

Q1

MEDICINE GENERAL & INTERNAL

Scimago (SJR)

1.45

Q1

MEDICINE (MISCELLANEOUS)

* Es simplemente un indicador aproximado para valorar la calidad de la publicación

Todos los posts relacionados