El tamaño a veces sí importa: en los Metaanálisis

En el reciente artículo publicado en el International Journal of Cardiology se evaluaron los metaanálisis


En el reciente artículo publicado en el International Journal of Cardiology se evaluaron los metaanálisis publicadas por el grupo de cardiología de la Colaboración Cochrane durante el año 2012 para ver si los tamaños muestrales que se incluían afectaban la confiabilidad de sus conclusiones.

Los metaanálisis aplican un conjunto de herramientas estadísticas para ofrecer una síntesis cuantitativa a partir de una revisión sistemática de la evidencia. Ya sabíamos que un metaanálisis no aporta nueva claridad si existe  escasa evidencia o si la evidencia es de poca calidad, por lo que es importante no interpretar nunca los resultados de forma simplista, sino teniendo en cuenta el riesgo de sesgos de los estudios en que se basa (este es el concepto de error sistemático). Sin embargo, un aspecto que hasta ahora teníamos poco en cuenta de los metaanálisis era la probabilidad de que contengan error aleatorio (error tipo I, que significa encontrar resultados estadísticamente significativos por mero azar, y error tipo II, no encontrar resultados significativos por sólo por azar). Este riesgo es mayor cuando el número de estudios, pacientes y eventos incluidos es pequeño o cuando se someten a pruebas estadísticas repetidas, pero la magnitud y las implicaciones de este problema no se conocen bien todavía.

Los autores evaluaron todos las revisiones publicadas por el grupo de cardiología del grupo de Colaboración Cochrane el año 2012 que incluyeron al menos un metaanálisis de 5 o más ensayos clínicos aleatorizados. Se evaluaron 56 metaanálisis.Mediante técnicas de análisis secuencial los metaanálisis se clasificaron como verdaderos positivos si alcanzaban significación estadística y su tamaño muestral agregado y/o su curva Z acumulativa cruzaban los límites de monitorización para detectar una reducción del riesgo relativo (RRR) de al menos el 25%, y verdaderos negativos si no alcanzaban significación estadística y su tamaño muestral era suficiente para rechazar una RRR del 25%. De los 23 que presentaron resultados positivos, el 17% se consideraron potencialmente falsos positivos, y de los 33 que presentaron resultados negativos, el 64% fueron considerados potencialmente falsos negativos. Globalmente, el 45% de los metaanálisis contenían información insuficiente para descartar de forma concluyente un efecto distinto del encontrado. En la mayor parte de los casos, los autores de los metaanálisis no reconocieron las limitaciones de sus resultados.

El estudio nos muestra el riesgo de obtener conclusiones prematuras con un metaanálisis (y dar por concluyentes cosas que no lo son), y cómo incluso una organización tan rigurosa como la Colaboración Cochrane no tiene en cuenta en muchos casos el grado de incertidumbre en la interpretación de sus resultados. Un ejemplo claro es el de la hipotermia en la parada cardiaca recuperada, cuya efectividad se dio por probada prematuramente, hasta el reciente estudio de Nielsen con un tamaño muestral que más que duplica los previos y que favorece un manejo apenas en el límite inferior de la normotermia (ver figura 1). Para una interpretación correcta de los resultados es necesario incorporar en los metaanálisis técnicas que cuantifiquen el riesgo de error aleatorio.

Referencias:

  1. Random error in cardiovascular meta-analyses: how common are false positive and false negative results? AlBalawi Z, McAlister FA, Thorlund K, Wong M, Wetterslev J. Int J Cardiol 2013; 168(2): 1102-1107.
  2. Tamaño muestral en los ensayos clínicos sobre hipotermia en la parada cardiaca recuperada.  E Palencia, D Díaz, R Díaz-Alersi, F Roche  REMI A188. 14; 1, 2014.

Abstract

Int J Cardiol. 2013 Sep 30;168(2):1102-7. doi: 10.1016/j.ijcard.2012.11.048. Epub 2012 Dec 4.

Random error in cardiovascular meta-analyses: how common are false positive and false negative results?

AlBalawi Z, McAlister FA, Thorlund K, Wong M, Wetterslev J.

BACKGROUND:

Cochrane reviews are viewed as the gold standard in meta-analyses given their efforts to identify and limit systematic error which could cause spurious conclusions. The potential for random error to cause spurious conclusions in meta-analyses is less well appreciated.

METHODS:

We examined all reviews approved and published by the Cochrane Heart Group in the 2012 Cochrane Library that included at least one meta-analysis with 5 or more randomized trials. We used trial sequential analysis to classify statistically significant meta-analyses as true positives if their pooled sample size and/or their cumulative Z-curve crossed the O’Brien-Fleming monitoring boundaries for detecting a RRR of at least 25%. We classified meta-analyses that did not achieve statistical significance as true negatives if their pooled sample size was sufficient to reject a RRR of 25%.

RESULTS:

Twenty three (41%) of the 56 meta-analyses reported statistically significant results, and 19 (83%) were true positives. Of the 33 non-statistically significant meta-analyses, 12 (36%) were true negatives. Overall, 25 (45%) of the 56 published Cochrane reviews were too small to detect/rule out an effect size of at least 25% – 12 were acknowledged as such by their authors. Of the 22 meta-analyses which were reported to be conclusive by their authors, 12 (55%) contained insufficient data to detect/rule out a 25% relative treatment effect.

CONCLUSION:

False positive and false negative meta-analyses are common but infrequently recognized, even among methodologically robust reviews published by the Cochrane Heart Group. Meta-analysts and readers should incorporate tri

Compartir

BUSCADOR


noticias

Trabajos Libres 2021.

DESCARGAR BASES...

Invitados SIEMPAC 2021.

Invitados Internacionales Dr Pedro Charco y Dr Carmelo Dueñas...

Invitados SIEMPAC 2021.

Invitados Internacionales Dr Jonh Marini y Dr.Jorge Sinclair...

Invitados SIEMPAC 2021.

Invitados Internacionales Dr Paolo Pelosi y Dr Gabriel Heras ...

Invitados SIEMPAC 2021.

Invitados SIEMPAC 2021 Dr Jean Louis Teboul y Dr Emanuel Rivers...

Invitados SIEMPAC 2021.

Invitados SIEMPAC 2021 Dr Lewis Kaplan y Dr Danel Lichtenstein...

Invitados SIEMPAC 2021.

Invitaados Internacionales Dr Luis Camputaro y Dr Jordi Mancebo...

Invitados SIEMPAC 2021.

Invitados Internacionales Dr Djillalli Annane y Dr. Andres Esteban...

Invitados SIEMPAC 2021.

Invitados SIEMPAC 2021 Dr. Enrique Monares y Dr Claudio Ronco...