jueves, 2 de diciembre de 2010

James Randi y experimentos bajo doble ciego

James Randi nació en 1928 y lleva ejerciendo muchas décadas como ilusionista bajo el sobrenombre de “el asombroso” (Amazing Randi). Con apariencia de abuelete dicharachero y de barba blanca muy poblada, ha conseguido convertirse en una de las grandes figuras del escepticismo contemporáneo. De hecho, es uno de sus representantes más mediáticos, pero también de los más controvertidos. Así, Randi tiene una trayectoria muy estimable en la caza y captura del fraude paranormal por todo el mundo. Aunque también ha sido objeto de denuncias y pleitos judiciales por dañar el honor de determinadas personas como Uri Geller. Pero lo que nos interesa aquí es ilustrar algunos modos escépticos y pseudoescépticos de afrontar los presuntos fenómenos anómalos para extraer enseñanzas de ellos.

James Randi


En la entrada anterior vimos en qué consistía la técnica experimental del doble ciego. Pues bien, Randi sabe perfectamente en qué consiste y lo aplicó con excelentes resultados, por ejemplo, al investigar en Rusia a un presunto dotado. Uno de los psíquicos rusos más reputados. El psíquico decía que era capaz de alterar a distancia las ondas cerebrales del cerebro de una persona o bien su presión arterial. Podemos ver en el siguiente vídeo la forma de proceder y cómo el doble ciego obtuvo unos resultados muy elocuentes al respecto:



En resumen vemos que la prueba propuesta por Randi debía  tener una duración de una hora.
Cada 15 minutos se extraería por azar una ficha cuyo contenido podía ser una de estas tres opciones:
-          No hacer nada
-          Cambiar la presión arterial
-          Cambiar las ondas cerebrales.

El sujeto al que se le iban a producir los cambios fisiológicos estaba en otra sala, aislado y conectado a diferentes aparatos para monitorizar los cambios.

Luego, finalizada la prueba psíquica, los registros arteriales y encefalogramas eran pasados a otros investigadores distintos para que detectaran si había o no algún cambio arterial o cerebral significativo y de qué tipo cada 15 minutos. Pero no se les decía qué era lo que se le mandó hacer al psíquico en esos 15 minutos.

El balance del experimento fue negativo y resulta realmente interesante ver el modo de razonar de los investigadores.


Ahora bien, Randi también aplica el doble ciego en otro caso, pero creo que aquí introduce una serie de sesgos y defectos de forma que adulteran el experimento. Se trata de una investigación que realizó a un grupo de zahoríes australianos a los que ofreció un premio de 40000 dólares si lograban demostrarle que eran capaces localizar agua o metales a través de las clásicas varillas de metal o madera:










El experimento con la aprobación de los zahoríes reunía las siguientes condiciones:
a)   Localización de agua:
-          10 tuberías enterradas de forma paralela en un campo.
-           Sólo por una de ellas fluirá agua.
-          La tubería por la que pasará el agua cambiará en cada intento por azar y ni los investigadores ni los zahoríes sabrán qué tubería es hasta que el zahorí haya finalizado el intento y haya dicho por cuál cree que fluye el agua.

La expectativa de acierto de los zahoríes era del 100% de los intentos.
La probabilidad de acertar por azar era del 10%, es decir, si lo intentamos 10 veces al menos en una ocasión podríamos saber por pura suerte que el agua pasaba por una determinada tubería. Una de cada diez veces podríamos adivinar dónde está el agua.

b)   Localización de metales: oro, latón
  Se ponen diez cajas en el suelo.
-          Se introduce por azar en una de las cajas un pequeño lingote de oro.
-          El zahorí debe adivinar en qué caja está dicho lingote.
-          Se hace la misma prueba con latón



Los resultados se exponen en el minuto 3:10 del segundo vídeo a través de las declaraciones del juez-notario del proceso:

Primera declaración. El juez dice: “Leeré primero los resultados del metal. En la prueba del latón nunca acertaron. Así que es 0% y con el oro acertaron 4 de 35, es cerca de un 10%. Así que el promedio de la prueba del metal fue de 6.6%, algo menos del 10% por puro azar”.

Segunda declaración. El juez dice: “En los resultados del agua, de los 50 intentos acertaron 11, es decir, un 22%”

Tercera declaración. El juez dice: El juez dice: “el total, es decir, del latón, el oro y el agua son 111 intentos, de los cuales acertaron 15, es decir, muy cerca del 10%”

A continuación, finaliza el análisis Randi con una pequeña charla ante todos los zahoríes: Los resultados “son la misma  probabilidad que cualquier juego de azar.  Lo que hemos visto es que todo lo que pasó hoy, entre otras cosas que hemos visto en el mundo nos parece indicar que el poder de los zahoríes no existe más que en la imaginación y el pensamiento mágico”

PRUEBA
INTENTOS
RESULTADOS
Porcentaje
Latón
26
0 aciertos
0%
Oro
35
4 aciertos
Cerca del 10%
Agua
50
11 aciertos
22%

Promedio prueba del metal: suma de los resultados oro + latón=6.6%
Promedio sumando todo: oro + latón + agua.
-          115 intentos
-          15 aciertos
-          Se obtiene un 12% de aciertos. No es significativo porque supera muy poco el azar.

Hasta aquí los resultados de la prueba tal y como los expone el vídeo. Ahora conviene ver los defectos de forma de los que, a mi juicio, adolece este experimento.
Vaya por delante una serie de advertencias: En primer lugar, el 10% de aciertos estimados como referencia de azar es un valor que sólo sería verdadero si la muestra utilizada (número de intentos y número de zahoríes) fuera mucho más grande. Al disponer de una muestra tan pequeña (26, 35 y 50 intentos) cualquier resultado obtenido, aunque fuera un 70% de aciertos podría fácilmente deberse al azar y no ser indicador de nada extraordinario. Para normalizar los resultados y evitar fluctuaciones aleatorias muy elevadas tendría que repetirse la prueba muchas más veces. Es lo que se denomina distribución de la probabilidad y campana o curva de Gausss.
Pero ya que Randi es éste el sistema que usa para evaluar una capacidad, deberemos jugar con sus reglas. Así que cuáles son los sesgos y defectos de forma identificables:

-          Ausencia de un grupo de control. Randi sólo hace la prueba a zahoríes y no a personas sin presuntas facultades, por lo que no tiene una muestra de no-zahoríes con los que comparar resultados, algo que dentro de los experimentos de doble ciego resulta muy recomendable.
-          La supuesta capacidad del zahorí, en principio, cabe pensar que pueda ser algo individual. No entiendo por qué se mezclan los resultados de todos con todos. Supongamos que en el porcentaje de aciertos del agua, hay un zahorí que ha acertado todos los intentos y el resto no. Sus aciertos quedarían enmascarados por los fallos de los demás y su supuesta capacidad adivinatoria permanecería invisible a los ojos de la estadística.  ¿No merecería la pena indagar en ese caso por separado para descartar o no el azar?
-          Otra presunción gratuita que hace el experimento es mezclar los resultados del metal con los del agua. ¿Acaso se trata de la misma facultad hallar agua que hallar metal? ¿Por qué mezclar unos resultados significativos que duplican la probabilidad del azar como es el caso del agua, con aquellos que no ofrecen valores de importancia como es el caso del metal? No todos los zahoríes debieron hacer todas las pruebas puesto que el número de intentos del oro, latón y agua es diferente. De lo que se deduce que tampoco todos los sujetos creían tener las mismas facultades adivinatorias.
-          Al sumar todos los resultados entre sí, se estaría adulterando el test. Pero se conseguiría algo mucho más útil a los propósitos de Randi y es que los valores significativos (22% del agua) se tiran a la baja y se enmascaran o invisibilizan mezclándolos con los valores de los metales. De este modo, todo el experimento queda en los márgenes del azar.


En suma, el test propuesto por Randi más que experimento parece un simple “concurso” disfrazado con las galas de la estadística y la metodología científica. Una pura anécdota o pequeño entretenimiento del que no cabría extraer una conclusión tan desproporcionada como la que manifiesta Randi ante los zahoríes.
Finalmente, no se me pasa por alto que la expectativa de acierto de los zahoríes rondaba el 100% y que en el mejor de los casos los resultados satisfactorios apenas llegaron al 22%. Pero como dije antes, no estamos aquí para valorar si estos localizadores de agua tienen o no alguna capacidad extraordinaria o poseen alguna hipersensibilidad poco común, aunque normal, de algún tipo. El objetivo de esta entrada es ilustrar y extraer ejemplos contrastados acerca de cómo se deben abordar estas cuestiones correctamente, desde un punto de vista verdaderamente escéptico.

7 comentarios:

  1. Este comentario ha sido eliminado por un administrador del blog.

    ResponderEliminar
  2. Este comentario ha sido eliminado por un administrador del blog.

    ResponderEliminar
  3. Este comentario ha sido eliminado por el autor.

    ResponderEliminar
  4. Este comentario ha sido eliminado por un administrador del blog.

    ResponderEliminar
    Respuestas
    1. Este comentario ha sido eliminado por un administrador del blog.

      Eliminar
  5. Este comentario ha sido eliminado por un administrador del blog.

    ResponderEliminar

Nota: solo los miembros de este blog pueden publicar comentarios.