•   Estados Unidos  |
  •  |
  •  |
  • The Economist

Una sencilla idea apuntala a la ciencia: “Confía, pero verifica”. Los resultados siempre deberían estar sujetos al desafío del experimento.

Esa sencilla pero poderosa idea ha generado un enorme cuerpo de conocimiento. Desde su nacimiento en el siglo XVII, la ciencia moderna ha cambiado el mundo más allá del reconocimiento, y abrumadoramente para bien.

Sin embargo, el éxito puede engendrar complacencia. Los científicos modernos están dedicándose demasiado a confiar y no lo suficiente a verificar, en detrimento de toda la ciencia, y de la humanidad.

Demasiadas de las conclusiones que llenan el ambiente académico son resultados de experimentos mal hechos o malos análisis. Una regla general entre los capitalistas aventureros de la biotecnología es que la mitad de la investigación publicada no puede ser replicada.

Incluso eso quizá sea optimista. El año pasado, los investigadores de una firma de biotecnología, Amgen, encontraron que podían reproducir solo seis de 53 estudios relevantes en la investigación oncológica. Anteriormente, un grupo en Bayer, una compañía farmacéutica, se las ingenió para repetir apenas una cuarta parte de 67 estudios similarmente importantes. A un científico computacional destacado le preocupa que tres cuartas partes de los estudios en su subcampo sean mentira. Entre 2000 y 2010, aproximadamente 80,000 pacientes tomaron parte en ensayos clínicos basados en investigación que posteriormente fue refutada, debido a errores o incorrecciones.

Costos

Aun cuando la investigación defectuosa no ponga en riesgo la vida de las personas –y mucha de ella está demasiado lejos del mercado para hacerlo- malgasta dinero y los esfuerzos de algunas de las mentes más talentosas del mundo. Los costos de oportunidad del progreso obstaculizado son difíciles de cuantificar, pero probablemente son enormes y pudieran estar aumentando.

Una razón es la competitividad de la ciencia. En los años 50, cuando la investigación académica moderna tomó forma después de sus éxitos en la Segunda Guerra Mundial, aún era un pasatiempo minoritario. Todo el club de científicos ascendía a unos cuantos cientos de miles.

Conforme sus filas han crecido, a unos 7 millones de investigadores activos según el último recuento, los científicos han perdido su gusto por el autocontrol y el control de calidad. La obligación de “publicar o morir” ha llegado a regir la vida académica. La competencia por los empleos es feroz. Los profesores de tiempo completo en Estados Unidos ganaban un promedio de 135,000 dólares en 2012, más que los jueces. Cada año, seis doctores recién graduados compiten por cada puesto académico.

En nuestros días, la verificación – la replicación de los resultados de otras personas – no sirve mucho para hacer avanzar la carrera de un investigador. Sin verificación, los resultados dudosos perduran para engañar.

La competencia profesional también alienta la exageración y la manipulación de resultados. Para salvaguardar su exclusividad, las publicaciones especializadas importantes imponen altos índices de rechazo; más de 90 por ciento de los manuscritos propuestos. Los resultados más asombrosos tienen la mayor oportunidad de llegar a la primera plana. Poco sorprende que uno de cada tres investigadores sepa de un colega que ha falseado un estudio, digamos, excluyendo datos inconvenientes de los resultados “en base al instinto”.

Confusión

A medida que más equipos de investigación en todo el mundo trabajan en un problema determinado, aumentan las probabilidades de que al menos uno caiga presa de una confusión honesta entre los dulces indicios de un descubrimiento genuino y una anormalidad del ruido estadístico. Sin embargo, esas correlaciones espurias a menudo son reportadas en las publicaciones especializadas ansiosas de estudios asombrosos. Si se refieren a beber vino, volverse senil o permitir que los niños jueguen videojuegos, bien podrían terminar en las primeras planas de los periódicos también.

Al contrario, los fracasos al tratar de probar una hipótesis rara vez son incluso ofrecidos para publicación, ya no digamos aceptados. Los “resultados negativos representan ahora solo 14 por ciento de los estudios publicados, por debajo del 30 por ciento registrado en 1990. Sin embargo, saber lo que es falso es tan importante para la ciencia como saber lo que es cierto. El no reportar los fracasos significa que los investigadores desperdiciarán dinero y esfuerzo en explorar callejones sin salida ya investigados por otros científicos.

El proceso sagrado de la revisión por parte de colegas tampoco cumple con las expectativas. Cuando una prominente publicación médica hizo que otros expertos en el campo revisaran investigación, encontró que la mayoría de los críticos no detectó errores que había insertado deliberadamente en los artículos, aún después de que se les dijo que estaban siendo sometidos a prueba.

Todo esto representa unos cimientos tambaleantes para una empresa dedicada a descubrir la verdad sobre el mundo. ¿Qué pudiera hacerse para apuntalarlos?

Una prioridad sería que todas las disciplinas siguieran el ejemplo de quienes han hecho más por volver más estrictos los estándares. Un comienzo sería familiarizarse con las estadísticas, especialmente en el creciente número de campos que analizan cantidades incalculables de datos en busca de patrones. Los genetistas han hecho esto, y de este modo convirtieron un primer torrente de resultados engañosos de la secuenciación del genoma en un goteo de resultados verdaderamente significativos.

Idealmente, los protocolos de investigación deberían registrarse con anticipación y ser monitoreados en cuadernos virtuales. Esto frenaría la tentación de manipular el diseño de los experimentos para hacer que los resultados luzcan más sustanciales de lo que son. Se supone que ya sucede en los ensayos clínicos de medicamentos, pero el cumplimiento es irregular. Donde sea posible, los datos de los ensayos también deberían estar abiertos para que otros investigadores los inspeccionen y sometan a pruebas.

Subvenciones

Las publicaciones más progresistas ya se están volviendo menos adversas a los artículos rutinarios. Algunas agencias de financiamiento gubernamental, incluidos los Institutos Nacionales de Salud de Estados Unidos, que distribuyen 30,000 millones de dólares en financiamiento de investigación cada año, están trabajando en cómo alentar mejor la replicación. Crecientes cantidades de científicos, especialmente jóvenes, comprenden las estadísticas.

Sin embargo, estas tendencias necesitan ir mucho más lejos. Las publicaciones deberían asignar espacio a los trabajos “poco interesantes”, y los que conceden las subvenciones deberían apartar fondos para pagarlo. La revisión entre colegas debería ser vuelta más estricta, o quizá descartada del todo a favor de una evaluación posterior a la publicación en forma de comentarios anexos. Ese sistema ha funcionado en los últimos años en la física y las matemáticas. Finalmente, los formuladores de políticas deberían asegurarse de que las instituciones que usan fondos públicos también respeten las reglas.

La ciencia aún conserva un enorme, aunque en ocasiones perplejo, respeto. Sin embargo, su estatus privilegiado se basa en la capacidad de estar en lo correcto la mayor parte del tiempo y corregir sus errores cuando se equivoque.

No es que el universo esté escaso de misterios genuinos para mantener a generaciones de científicos trabajando. Los ensayos falsos realizados por la investigación mal hecha son una barrera imperdonable para el entendimiento.

 

Monitoreo

Idealmente, los protocolos de investigación deberían registrarse con anticipación y ser monitoreados en cuadernos virtuales.

 

Mentiras

A un científico computacional destacado le preocupa que tres cuartas partes de los estudios en su subcampo sean mentira.