Márgenes de error para la homeopatía

Margen de error poster

Atención, pregunta: ¿qué numero es mayor, el uno o el dos? Creo que todos tenemos clara la respuesta.

Ahora bien, suponga que yo le planteo el problema de la siguiente forma. Tengo dos números reales A y B. A está entre 1 y 6, y B está entre 2 y 8. ¿Cuál es el mayor de los dos? La única respuesta honrada es ¡no tengo ni idea! Si A=3 y B=6 la respuesta es distinta al caso A=5 B=4, pero ambos casos concuerdan con la suposición inicial.

Nunca me canso de repetir a mis alumnos en clases de práctica que tan importante es conocer el valor que se mide como saber en cuánto nos equivocamos. Porque nos vamos a equivocar. Los instrumentos de medida son falibles, el observador es humano, las condiciones del experimento varían, y todo eso harán que solamente podamos dar un valor dentro de los márgenes de error.

Habitualmente el resultado de una medición es del tipo x ± Δx. Eso debe entenderse de la siguiente forma:

El valor más probable de la medida es x, pero no es seguro, y creo que el valor real se encuentra entre x-Δx y x+Δx.”

Si hoy tiene usted el día parlanchín, puede añadir algo así:

Para ser más concreto, la probabilidad de que el valor real se encuentre en el intervalo [x-Δx, x+Δx] es del 68%. Ese 68% no es un número a capricho, sino que viene fijado por consideraciones estadísticas. Si quiere usted más seguridad, hay una probabilidad del 95% de que el valor esté comprendo en el intervalo [x-2*Δx, x+2*Δx]

Eso quiere decir que A=20±2 es ciertamente mayor que B=2±1; ahora bien, comparar A=20,3 con B=20,5 cuando ambas medidas tienen un margen de error de 1,5 es inviable. Puede que A>B, o que B>A, o incluso A=B, pero nuestras mediciones carecen de la precisión necesaria para concluir nada.

Hoy me ha llegado uno de esos ejemplos. Se trata de la enésima prueba de que la homeopatía funciona. Como en otros casos, el publicitador ha sido Dana Ullman, conocido apologista de la homeopatía. Ya ha sido pillado en otros embustes, como el del famoso Informe Suizo, el de los 150 estudios controlados o el más reciente de las diluciones ultrapuras. Ahora vuelve con un artículo más, y la coletilla perdonadivas de hoy es “¡resulta tan difícil ser un escéptico en estos tiempos!

Muy al contrario, estimado señor, resulta que ser escéptico es lo más fácil del mundo. No he tenido que ir más lejos que el resumen. En este artículo afirman que la homeopatía mejora las infecciones del tracto respiratorio (RTI). Para ello se mide la reducción en el número de episodios RTI, de forma que cuanto menor sea ese número, mayor la eficacia del tratamiento. Bien, he aquí los datos:

Tratamiento homeopático – 4,76 ± 1,45
Ningún tratamiento – 3,36 ± 1,30

Dejando aparte el hecho de que los datos están mal redondeados, estas cifras no nos dicen nada. Si fuesen datos sin error, está claro que 4,76 es mayor que 3,36, así que -4,76 es menor que -3,36. Pero lo que dicen estos datos no es eso. Lo que nos dicen es esto:

Tratamiento homeopático Entre -6,21 y -3,31
Ningún tratamiento Entre -4,66 y -2,06

¿Cuál es el mejor tratamiento? Nuevamente somos incapaces de llegar a una conclusión clara. Da la impresión de que el tratamiento homeopático es algo menor, pero ese “da la impresión” y ese “algo mejor” es una sensación subjetiva que no está sustentada en absoluto por las matemáticas.

Y eso que hemos tomado probabilidades al 68% Si quisiésemos estar algo más seguros, digamos con un margen del 95%, y además redondeásemos como debe hacerse (y no con decimales innecesarios), estos serían los datos finales:

Tratamiento homeopático Entre -8 y -2
Ningún tratamiento Entre -6 y -1

Ya ven amigos, según los homeópatas eso demuestra la eficacia de la homeopatía frente a no tener tratamiento alguno. Si quieren ustedes leer el artículo completo, prepárese para atragantarse con un montón de patadas a la estadística. Todo para acabar concluyendo que el tratamiento homeopático “podría ser una herramienta valiosa para evitar RTI… aunque hay limitaciones a las conclusiones que puedan derivarse de este estudio observacional.”

Sí, las limitaciones derivadas de no saber matemáticas. Por mi parte, me he dado el gusto de avisar al señor Ullman que necesita aprender matemáticas a la de ya. Y al parecer no soy el único. Ignoro si me dedicará un comentario despectivo de los suyos o se limitará a bloquearme. Creo que la probabilidad de lo segundo es de un 64%; con un margen de error de ±189%, por supuesto.


16 Comentarios

Participa Suscríbete

Fernando

Justo ahora estaba viendo tu discusión en Twitter, Arturo, qué rapidez escribiendo el artículo. Sólo un apunte más para terminar de rematar al paper en cuestión: comparan la homeopatía con ningún tratamiento. Si no se compara, además, con un placebo, el estudio no vale para nada. Hay que descartar que la supuesta mejoría (si es que la hay, viendo los datos estadísticos la verdad es que da un poco de risa) se deba al efecto placebo de recibir atención y pastillas. 😉

yeilyeil

Ahí tienes efectivamente el por qué del resultado, sin placebo (y por lo tanto sin cegamiento) los resultados no valen prácticamente para nada.

yeilyeil

Cuidado, ¿a qué esté referida ese +- del artículo? Porque normalmente se refiere a la desviación estándar y resulta que se pueden obtener diferencias estadísticamente significativas aunque sean inferiores a la desviación estándar, pues desviación estándar no es error.

Es una confusión bastante común, de hecho hay publicaciones donde te exigen que des la desviación estándar como +- “valor”, cuando eso no tiene ningún significado claro.

Para decir que la media real se encuentra entre dos valores con un 95% de confianza (o lo que es lo mismo, calcular los intervalos de confianza) utilizamos el error estándar, no la desviación estándar, y aquí sí que es correcto sumar y restar a la media. La desviación estándar se calcula dividiendo la desviación estándar entre la raíz cuadrada del tamaño muestral. Por lo tanto, si la muestra es grande se pueden obtener errores estándar pequeños aunque las desviaciones estándar fueran relativamente grandes.

Dejando esto claro, seguramente el estudio de la homeopatía sea una patata, como siempre.

yeilyeil

Corrijo el último párrafo de mi mensaje anterior:

El error estándar se calcula dividiendo la desviación estándar entre la raíz cuadrada del tamaño muestral. Por lo tanto, si la muestra es grande se pueden obtener errores estándar pequeños aunque las desviaciones estándar fueran relativamente grandes.

yeilyeil

Yo el error lo buscaría más en la metodología que en el análisis estadístico. Es muy fácil encontrar correlaciones espurias si el diseño del estudio no es correcto, sin tener que recurrir a inventarse los datos.

SkeptPsychSkeptPsych

Comentario corregido:
A pesar de que el razonamiento estadístico es correcto, todo el artículo se construye sobre una malinterpretación: los valores 1.45 y 1.30 del abstract no son errores típicos sino desviaciones típicas. Si se trataran de errores típicos, obtendríamos un p value en torno a .5 [95% CI, dif. entre medias de 1.4 +- 3.8] y no 10), por lo que no es una medida limpia, como se entiende en el artículo, sino relativa.

En definitiva, es mejor atacar la metodología: no existe aleatorización y no hay placebo para el grupo control, por lo que todo el efecto puede atribuirse a estas dos limitaciones.
Un saludo.

Offler

Yo quisiera apoyar la exposición de Arturo, aunque dejando -por si acaso- un margen a la desaprobación dependiendo de la desviación estadística que puedan proporcionar nuevos datos o posibles futuras mejoras en la precisión de los métodos de obtención de valores que puedan estar actualmente en desarrollo. Aún así hay que ser contundentes en la reafirmación del método científico que se le supone a todo experimento farmacéutico que aspire objetivamente a a obtener resultados fehacientes superiores a los del placebo en cuanto a la salud de los pacientes objetivos del estudio.

J.DiazJ.Diaz

Creo que todos plantean el asunto en terminos de “errores” de “equivocaciones”, y lo que yo veo en el articulo del profesor es que el autor, del sesudo informe en cuestion, NO ha cometido ningún error, premeditadamente se ha limitado a torturar los datos hasta que estos “han demostrado” su tesis.

Simple manipulacion.

Da igüal si se ha empleado bien o mal el calculo. Lo que ha pretendido es apabullar con números y asi lograr que la gente más vaga o menos preparada le crea; «Si da tantos datos era verdad»

La estadistica es una herramienta matematica fundamental para enteder los sucesos en la ciencia. Pero. En manos de disciplinas intelectuales abiertas a la interpretacion subjetiva, y por tanto, a la manipulación. Simplemente es un recurso para lograr que los datos digan lo que nos da la gana y conviene, pero siempre con un buen motivo que lo justifque. Por ejemplo el dinero, el poder o incluso el sexo. Aunque claro, en el capitalismo, con dinero se logra poder, sexo o lo que nos de la gana.
No se ria. A los veinte logre sacar a bailar a una chica gracias a la estadistica y demostrarle con números lo adecaudo que era que bailasemos.

Por lo pronto, me atrevo, si conocer al individuo que menta el profesor, a aventurar que vive y supongo que bien, a costa de su cruzada para que nuestra salud dependa de agüa destilada y placevo.
Y aún más.
Me atrevo a aventurar que el profesor Quirantes vive con la humildad típica de un profesor universitario gracias a ser fiel a sus principios y el uso “correcto” de la estadistica en vez de vender cosas.
Vamos, que no vive de perseguir magufos en absoluto.

Aun empleando los silogismos propios de la homeopatia o la homeopasobrina, es evidente a quien hay que prestar oidos cual romano.

Un saludo.

JosecbJosecb

Hombre, tampoco ha apabullado con datos, ha ofrecido los mismos que se dan en todos los artículos, medias, desviaciones estándar y p. Por eso decimos que el fallo está en otra parte.

J.DiazJ.Diaz

No me refiero a eso. Tiene usted que entender a QUIEN estan dirigidos esto pamfletos, en general son consumidores de la bruja lola, la botica de la abuela y la columna de salud del pronto.
Es decir, personas que no piensan demasiado — siendo muy generoso — y que les convencen esos números, al igual que creen en las ofertas del super de tres por el precio de dos.
¡Hombre! Si necesitas un choricico freco para las patatas a la riojana, comprar tres probablemente sea tirar el dinero porque se te echaran a perder en la nevera.
Sin entrar a calcular que como regla de oro, jamas pierden, ¿cuanto ganan en cada unidad a precio habitual si lo rebaja y el margen aun es del 33%? — Espera, que no lo he calculado bien, bueno, no importa, ya sabe a lo que me refiero —.

Quizas usted y yo si nos paramos a calcularlo y vemos las trampas como vemos las de estos números, pero el “publico objetivo” de esta gente no lo hace, y se lo creen. Y si, se apabullan con cuatro números que no entienden.

Mire usted, a mi no me preocupa la memopatia, lo que me preocupa y mucho es el número de personas, la proporcion si lo prefiere, de gente que se lo cree “todo”. Eso si es preocupante.
Por eso intento dar un paso atras y ver como es el perfil de los “usuarios”, y me dan miedo.

En fin. Sere un viejo loco, que le vamos a hacer.

Saludos.

fernando garcía ortegafernando garcía ortega

Reto a cualquier homeópata para cuando él o cualquiera de sus hijos enferme de meningitis o una septicemia, lo hospitalicemos en una clínica, y bajo su dirección, lo tratemos con las indetectables sustancias que utilizan a diario para embaucar a los incautos. Frente a cámaras, para registrar la eficacia que tanto pretenden, para que demuestre la validez de sus postulados. Si sobrevive, sin mis antibióticos, abandono la medicina científica, la basada en evidencias y en estudios, en experimentos controlados, con aciertos y errores, para dedicarme al ejercicio de lo holístico, complementario, integral, espiritual, como han dado en llamarse últimamente estas prácticas alternativas carentes de sentido común y de evidencias sobre su eficacia hasta el momento…

Grr

¿Y si el homeópata retado usa para el caso bajas potencias, teniendo en cuenta que son las indicadas para casos agudos? ¿Qué operaría ahí, ya que tu hablas de “las indetectables sustancias que utilizan a diario para embaucar a los incautos” y por ejemplo el Calms Forté que Randi calumnia en su famosa conferencia de Princeton tiene TRES componentes a la 1X y CINCO a la 3X?

walkurtwalkurt

Grr, siempre defediendo lo indefendible.
si tiene principios activos, son medicamentos, y deben cumplir con una legislacion.
si no tiene principio activo, es agua con azucar, y no sirve para nada.
Algun dia lo vas a entender.

Grr

Ni García Ortega ni yo hablamos para nada de legislaciones.

¿No entiendes lo que lees o quieres evitar que se demuestre que la homeopatía también es bajas potencias, en contra de las afirmaciones de García Ortega?

Responde a Tomás

Tu email nunca será mostrado o compartido. No olvides rellenar los campos obligatorios.

Obligatorio
Obligatorio
Obligatorio

Puedes usar las siguientes etiquetas y atributos HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Cancelar