Mariano, Alfredo y las malditas estadísticas

Por Arturo Quirantes, el 9 noviembre, 2011. Categoría(s): Anumerismo ✎ 2

Error experimental

(Con un saludo especial y mi agradecimiento a mis seguidores.  Acabo de darme cuenta de que hace justo un año y un día que abrí este blog.  Pienso reincidir por muchos años.)

En muchas películas, los científicos de turno tienen una habilidad extraordinaria para dar el resultado correcto hasta la última cifra decimal.  Su exactitud es asombrosa.  Por lo general, echan mano de complejos modelos computerizados, pero ya sea en El Núcleo o en El Día de Mañana, el científico listillo sabe exactamente lo que va a ocurrir, dónde y cuándo.  En el mundo del cine, los habitantes de El Hierro pueden irse a dormir tranquilos hasta que el vulcanólogo diga algo del tipo «sí, va a nacer un nuevo volcán, a 2,5 kilómetros al suroeste de Restinga, será el próximo miércoles a las 18:44 hora local, y ese monte de ahí será el lugar perfecto para poner las cámaras.»

Sin embargo, los científicos de verdad hemos de bregar con los errores.  Los experimentadores son humanos, las máquinas tienen límites de sensibilidad, el ambiente influye, y el resultado de todo eso es que cada medida que efectuemos tiene necesariamente un grado de incertidumbre.  Conocer bien esas incertidumbres es crucial (y, de nuevo, me remito al caso de los neutrinos superlumínicos, donde mantener o tirar a la basura la teoría relativista de Einstein depende de un quítame aquí esos errores).

Precisamente hoy he explicado teoría de errores a mis alumnos, y me han entrado ganas de incluirles a ustedes en el lote. Por supuesto, no voy a contarle la teoría de errores completa.  Ni siquiera parcial.  Me limitaré a ponerles un ejemplo que he usado hoy en clase.  Se refiere a la valoración de los políticos en las encuestas, cosa que ahora está de mucha actualidad.  De vez en cuando, el CIS (Centro de Investigaciones Sociológicas) publica resultados de sus encuestas.  Los medios informativos, agradecidos porque así tienen algo con que rellenar sus páginas o sus minutos, informan de los resultados más llamativos.  Y, al hacerlo, se olvidan de algo tan importante como los errores, con lo que a menudo meten la pata. Mark Twain dijo una vez que las estadísticas son como los prisioneros: tortúralos lo suficiente y te dirán lo que quieras oír.

Permítanme que utilice como ejemplo el barómetro del CIS correspondiente al pasado julio.  En su pregunta 12, piden a los encuestados que valoren a ciertos líderes políticos, en una escala que va del 0 (muy mal) al 10 (muy bien).  Permítanme pasarlo a tantos por ciento. He aquí algunas de las valoraciones:

     Político                           Nota

Josep A. Durán y Lleida       4,02

Rosa Díez                                 3,95

Mariano Rajoy                        3,58

J. L. Rodriguez Zapatero      3,47

Ya pueden imaginarse los resultados: satisfacción en CiU, alegría entre los partidarios de UPyD, y don Mariano dándose aires porque le ha sacado 11 centésimas al presidente.

Ahora bien, ¿qué margen de error tienen esos datos?  Aquí entra al rescate la estadística.  La fiabilidad de la encuesta es tanto mayor cuantos más personas hayan participado en ella.  Una muestra pequeña podría contener un fuerte sesgo.  Por ponérselo en román paladino: imaginemos que hubiésemos preguntado a DOS personas, y las dos hubiesen escogido a Rajoy.  Los titulares serían algo así como «máxima valoración a Rajoy; todos los demás políticos se hunden en las encuestas.»   En la siguiente ocasión, uno de los dos encuestados apuesta por Durán y Lleida. Ahora el voto se divide por partes iguales entre el PP y CiU  ¡Imagínense que cara pondrán los tertulianos en Ferraz!

Por eso, en situaciones de este tipo, se pregunta a muchas personas.  Suelen escogerse de forma que sean una muestra representativa de todo el país, en términos de educación, ingresos, lugar de residencia, etc.  Pero aun con una muestra perfectamente representativa, su número limitado impone una cota de error a los resultados.  En general, puede demostrarse bajo ciertas condiciones que, cuando medimos un resultado experimental N veces, el error asociado es del orden de 1/(N^1/2), es decir, la inversa de la raíz de N.  Si lo queremos en tantos por ciento, sería 100%/(N^1/2).

Que no le tomen el pelo.  Si los medios de comunicación reproducen una encuesta, y son honrados, al menos incluirán los datos de números de encuestados y el error estadístico.  Para que tenga una idea, le diré cuántos datos (en nuestro caso, cuántos encuestados N) necesitamos para asegurarnos una cierta cota de error:

Número N: 100 400 1.000 10.000 1.000.000
Cota de error (%) 10% 5% 3,2% 1% 0,1%

Eso es igualmente válido en nuestro ejemplo. En la encuesta del CIS, se preguntó a un total de N=2475 personas, lo que nos da un error estadístico de aproximadamente el 2%.  Puesto que la valoración de los políticos va entre 0 y 10, ello conllevaría un error de 0,2.  Esto significa que don. Josep no ha obtenido una valoración de 4,02 sino más bien de una cantidad entre 3,82 y 4,22.  Y puesto que el error llega a las décimas, también hemos de redondear la nota hasta las décimas, con lo que don Josep obtiene una nota de entre 3,8 y 4,2.

Rehagamos, por tanto, la tabla anterior teniendo en cuenta el margen de error.  Eso nos dará una «horquilla» dentro de la cual se encontrará la nota de cada uno:

                                Notas      

      Político                   Teórica  Redondeada   Horquilla

Josep A. Durán y Lleida     4,02             4,0            Entre 3,8 y 4,2

Rosa Díez                               3,95             4,0            Entre 3,8 y 4,2

Mariano Rajoy                       3,58             3,6            Entre 3,4 y 3,6

J. L. Rodriguez Zapatero     3,47             3,5             Entre 3,3 y 3,5

 

El margen de error, como pueden ver, fuerza a que la nota tenga solamente una cifra decimal.  Eso de poner centésimas lo único que demuestra es que a alguien le sobran decimales. Esto convierte la diferencia entre Durán y Díez en algo estadísticamente inexistente.  Don Mariano sigue ganando a José Luis, pero por poco margen.  De hecho, estadísticamente no puede decirse que Rajoy vaya por delante de Zapatero.

Pero la cosa va a ponerse aún más divertida. En este caso particular, los encuestados pueden dar distintas valoraciones a sus líderes políticos, entre cero y diez.  Eso introduce más incertidumbre.  Imaginen, por ejemplo, solamente dos encuestados que le dan en promedio un cinco a Rajoy.  No es lo mismo obtener dos cincos, que obtener un cero y un diez.  Eso se refleja fuertemente en los resultados, ya que en el segundo caso los votos están más «dispersos» y habría más incertidumbre respecto a lo que el votante «medio» opina.  Es como si Harry el Sucio disparase la mitad de su cargador un metro a la derecha del malo, y la otra mitad a la izquierda: estadísticamente el malo está muerto … pero sospecho que, si recibiese todos los tiros en el pecho, el resultado sería muy distinto.  Menos incierto, seguro.

De hecho, el CIS incluye, junto con el dato de valoración, la llamada desviación típica, que es una medida de en cuánto se «desvían» los datos respecto a su valor medio.  Salvando las distancias, puede considerarse como una cota de error adicional.  Y, debido al limitado número de encuestados y a la cantidad de posibles notas a escoger, la desviación es grande. Voy a mostrarles los valores en una nueva tabla.

       Político                     Nota Desviación      Horquilla

Josep A. Durán y Lleida    4,02         2,45                1,6 – 6,5

Rosa Díez                             3,95          2,36                1,6 – 6,3

Mariano Rajoy                     3,58         2,59                1,0 – 6,2

J. L. Rodriguez Zapatero    3,47         2,73                0,7 – 6,2

¡Tela marinera!  Ahora las notas están en casi cualquier lugar entre el uno y el seis y pico.  Es decir, la desviación típica es tan enorme que no hay forma de discriminar entre los candidatos.  Y eso que no he incluido el error del 2% de que hablé anteriormente.

Es decir, los datos que nos han dado no sirven prácticamente para nada.  En descargo del CIS, hemos de reconocer que su situación es muy difícil, ya que los datos, sencillamente, no dan para más.  Sin embargo, los políticos los usan para su beneficio, a pesar de que las 11 centésimas que hay entre Rajoy y Zapatero, o las 7 centésimas entre Durán y Díez convierten su «victoria» en una bobada estadística.

Por cierto, que yo mismo sufro este efecto cuando me entregan las encuestas de valoración.  Mis alumnos me ponen nota a final de curso, y son tan pocos que los resultados son parecidos a estos que les he mostrado.  En algunos casos, solamente respondieron CINCO alumnos, lo que nos mete un error del 45%  El resultado es que soy algo entre un profesor negado y extraordinario.  Por desgracia, la nota que me pone la Universidad es el promedio.

Un reciente macrosondeo de intención de voto del CIS, del pasado octubre, encuesta a un total de 17236 personas, lo que reduce el error general al 0,76%.  Por si les interesa, las valoraciones de los dos principales candidatos a presidente son: Rajoy 4,43 y Rubalcaba 4,54.  Pero para que al candidato socialista no se le suba a la cabeza su ligera ventaja, y considerando un error de 0,08 (en una escala de 0 a 10) sería mejor decir:

– Rajoy:     entre 4,35 y 4,51

– Rubalcaba: entre 4,46 y 4,62

Como ven, las horquillas de ambos se solapan, lo que significa un empate técnico.  Y, para que no llore ninguno de los dos si se pasa por aquí, casi mejor me olvido de las desviaciones típicas.  Bueno, qué mas da, que rabien: 2,84 y 2,86, respectivamente.  Así que, para entendernos, cada uno de ellos saca una nota que va entre 1,5 y 7,4.  Teoría del punto gordo, lo llaman en mi pueblo.

¿Problemas de la estadística?  No.  Problema de no entender lo que significan datos estadísticos. Eso suponiendo que la encuesta esté bien hecha.  Que ya nos lo avisó Homer Simpson: la gente se inventa estadísticas con tal de intentar demostrar algo, y eso lo sabe el 14% de la gente.



2 Comentarios

  1. A mis amigos siempre les digo que la estadística es la ciencia que te dice que, si un día llegas una hora tarde al trabajo y al día siguiente una hora más temprano, eres puntual.
    Y eso lo sabe el 14% de la gente.

Deja un comentario

Por Arturo Quirantes, publicado el 9 noviembre, 2011
Categoría(s): Anumerismo
Etiqueta(s): , ,