Un nuevo instituto de Stanford desarrolla una metodología para detectar los estudios científicos tendenciosos y, de paso, aprovechar mejor los escasos fondos para investigación médica, la mayoría de los cuales se destinan a investigaciones aletargadas e irrelevantes.

La Internet ubicua ha influido sobre el acceso a la información. Es más fácil y económico que nunca profundizar sobre cualquier temática, a menudo con literatura relacionada, artículos, entradas de bitácora y estudios científicos apoyando o cuestionando cualquier punto de vista.

Riesgos de la sobreabundancia de información no cotejada

Uno de los riesgos de la abundancia de información consiste en el uso irresponsable, tendencioso o falto de rigor de estudios e hipótesis científicas; el fenómeno preocupa especialmente al mundo científico, explica The Economist.

Cocinar hipótesis fundamentadas al menos parcialmente en resultados de estudios científicos es tan corriente que afecta en los últimos años a la propia comunidad científica, cuyos estudios y metaanálisis son a menudo falsos.

Sobre estudios con resultados espectaculares y metaanálisis “adaptados”

El fenómeno ha alcanzado tal magnitud que priva de recursos a investigaciones prometedoras y malgasta buena parte del esfuerzo mundial en investigación médica.

Así que proliferan hipótesis volubles presentadas con el envoltorio científico y basadas en investigaciones que, a menudo, arrojan conclusiones tendenciosas, refutadas por la realidad.

Los metaanálisis (o estudios a partir de estudios) constituyen el doble salto mortal, o rizar el rizo. Conducidos de manera responsable, aportan pistas valiosas sobre cualquier campo científico; cocinados sin rigor, sirven para ilustrar el interés peregrino de sus promotores.

Los metaanálisis se parecen a menudo a las encuestas electorales encargadas por los centros de estudio de opinión controlados por el gobierno de turno: en ocasiones, no sirven siquiera para avanzar o confirmar tendencias, tal es su falta de rigor.

Por qué muchos estudios publicados son falsos

El epidemiólogo griego John Ioannidis, actualmente profesor en Stanford, publicó en 2005 una investigación cuyo título era toda una declaración de intenciones con destino a la comunidad científica de la que formaba parte: “Por qué la mayoría de los estudios publicados son falsos”.

El estudio exponía los mecanismos más habituales que derivan en análisis con conclusiones difíciles de reproducir, o simplemente imposibles, al partir de hipótesis incorrectas. Los hallazgos científicos sin pruebas concluyentes son, en resumen, falsos.

Entre las prácticas más extendidas en la comunidad científica -así como entre profesionales que interpretan los estudios científicos publicados, como los periodistas especializados-, destaca la sobreinterpretación de datos estadísticos en estudios con pequeñas muestras.

Revista de Resultados Irreproducibles

Los metaanálisis, cree Ioannidis, son especialmente arriesgados y peligrosos para la ciencia, ya que derivan en conclusiones sostenidas sobre evidencias débiles o defectuosas que, pese a ello, alimentan a menudo titulares y artículos con impacto social inmediato.

El problema del periodismo basado en datos estriba en querer convertirse en algo que no es: ciencia.

Campos como la nutrición, la neurociencia, la psicología y psiquiatría, la pedagogía, etc., padecen los efectos y consecuencias de los estudios y metaestudios que aportan grandes conclusiones a partir de investigaciones mal diseñadas; o bien realizadas con pequeñas muestras; o conducidas sólo en animales; o con muestras mal interpretadas; etc.

La acumulación de estudios irreproducibles ha dado lugar incluso a una publicación científica donde se exponen los casos más flagrantes, Journal of Irreproducible Results.

Se necesita más dinero… o investigar mejor

Pero los efectos sobre la ciencia de la prolongada crisis económica en muchos países desarrollados han reducido las partidas para la investigación, cuanto más para asegurarse de la calidad de cada estudio, tratándolo de reproducir si es pertinente.

Si bien es quimérico reducir a cero los errores en el mundo científico, fundamentado en unos principios empíricos que se han mantenido inalterados desde la Grecia clásica, proliferan los proyectos para “estudiar los errores de los estudios”.

Y en este trabalenguas empírico destacan iniciativas como el Centro para la Ciencia Abierta -de “Open Science”-, un instituto de la Universidad de Virginia que ha reproducido minuciosamente 13 experimentos sobre teorías ampliamente aceptadas y citadas en el campo de la psicología.

De los 13 estudios, sólo 10 fueron validados con una correcta reproducción de los experimentos citados. El Centro para la Ciencia Abierta se centra ahora en la investigación sobre el cáncer y dedica sus esfuerzos a analizar y tratar de reproducir los experimentos que sostienen 50 estudios oncológicos.

Sobre la responsabilidad de científicos y periodistas

Tanto los científicos como los principales actores sociales (entre ellos, los líderes políticos -sobre todo, aquellos situados en el confort dialéctico de la oposición gubernamental-; y los medios de comunicación tradicionales -con sus cada vez más reconocibles tics, filias y fobias-), denuncian la falta de medios y financiación para proyectos científicos, sobre todo en los países más azotados por la crisis.

No son tan corrientes, por el contrario, la autocrítica y los ejercicios de transparencia en ámbitos que marcan el ritmo científico y el acceso a la financiación, tanto pública como privada: la publicación de estudios relevantes que cuenten con resultados apetecibles.

El problema estriba, según Ioannidis, en que la presión para lograr resultados relevantes y lograr así la máxima difusión de un artículo publicado, propulsa a su vez la sobreinterpretación. Llevada a sus últimas consecuencias, las interpretaciones edulcoradas se transforman en hipótesis difíciles de reproducir con muestras y experimentos relevantes, o simplemente falsas.

Combatiendo las prácticas que derivan en estudios tendenciosos

John Ioannidis ha lanzado su propia iniciativa desde la Universidad de Stanford para combatir la ciencia tendenciosa: el Meta-Research Innovation Centre, conocido bajo el acrónimo de METRICS.

No obstante, cualquier iniciativa que actúe como control de calidad en un entorno tan inabarcable como el de la investigación médica apenas podrá llevar a cabo análisis con estudios significativos.

Al estudiar la capacidad para reproducir un estudio analizando datos, el propio laboratorio METRICS deberá basarse en métodos que se sometan al mismo tipo de evidencia que pedirá en las investigaciones analizadas.

Adónde va a parar el 85% de la inversión en ciencia médica

El objetivo último es optimizar el uso de recursos, logrando mayores resultados con menos fondos.

The Economist cita una serie de artículos publicados en The Lancet que mostraban cómo, en 2010, 200.000 millones de dólares (el 85% del presupuesto mundial de investigación médica) se destinó a estudios de diseño defectuoso, redundantes, nunca publicados y, todavía más sorprendente, que carecían incluso de hipótesis preliminares debidamente detalladas.

Iniciativas como el laboratorio METRICS de Stanford pretenden reducir la inversión en avances médicos que no obtiene resultados satisfactorios y, en el peor de los escenarios, complica futuras investigaciones con pobres conclusiones basadas en experimentos mal concebidos, mal ejecutados o con muestras demasiado pequeñas, homogéneas, heterogéneas, etc.

Un sistema de difusión de la época de Newton

John Ioannidis cree que se pueden reducir rápidamente las ineficiencias más flagrantes, sobre todo las que parten de estudios aletargados creados para poco más que mantener una estructura de investigación.

Si la situación no mejorara, los responsables del nuevo laboratorio de metaanálisis que pretende sacar a la luz la mala praxis en investigaciones médicas publicarán una lista renovada de prácticas recomendadas para la publicación de artículos científicos, que desincentivarían los comportamientos poco éticos.

The Economist recuerda que el debate sobre la investigación médica en general y sobre la publicación científica en particular no se centra sólo en las ineficiencias de un sistema pensado para una era, la de inicios de la Ilustración, en que la difusión de avances y su transmisión a la sociedad (en forma de licencias, patentes, etc.) dependía de su aparición en soporte papel y editoriales reconocidas por la propia comunidad científica, empresas y gobiernos.

El misterio de la -cara y opaca- publicación científica

Entre las principales denuncias del sistema de publicación de artículos científicos, criticado por estricto, poco transparente, corporativista y costoso, destaca su sistema de elección de investigaciones dignas de ser publicadas. 

A menudo -se ha denunciado- las revistas no son tan objetivas y meritocráticas como cabría esperar en un entorno plagado de intereses cruzados y fuertes apuestas económicas.

Estudiantes, empresas y distintos profesionales, colectivos y organizaciones, apoyan el movimiento Open Science para que las investigaciones científicas puedan ser compartidas libremente por profesionales y ciudadanos, emulando experiencias análogas como el movimiento del software de código abierto, que parten de los principios de ética hacker.

Los movimientos del conocimiento libre y el acceso libre pretenden acelerar la investigación con la colaboración entre individuos y organizaciones en busca de objetivos comunes.

Revistas científicas, empresas y científicos no están tan seguros de que el acceso libre aporte los medios necesarios para las investigaciones críticas que requieren más inversión, esfuerzo y rigurosidad.

Intentos para acelerar y hacer la ciencia accesible: el caso de PLoS

El proyecto PLoS (Librería Pública de Ciencia en sus siglas en inglés) pretende combatir la opacidad en el mundo de la publicación científica con una plataforma que ofrece las mismas herramientas, pero con una licencia de libre acceso Creative Commons.

PLoS tiene su sede en Levi’s Plaza, San Francisco, y comenzó como una denuncia-petición por Internet realizada en 2001 por el bioquímico de la Universidad de Stanford Patrick Brown; y de Michael Eisen, biólogo computacional de la Universidad de California, Berkeley.

El software de código abierto ha demostrado que hacer la información accesible a cualquiera no tiene por qué estar reñida con iniciativas empresariales y beneficios de explotación.

¿Quién vigila al vigilante?

Otros profesionales y empresas abogan por un sistema a medio camino entre el intrincado y opaco mundo actual de la publicación científica, en el que un puñado de publicaciones actúan como oligopolio, y el acceso sin restricciones, que plantea dudas sobre patentes y derechos de explotación de investigaciones a menudo costosas y financiadas con fondos privados.

Para no caer en los propios errores y prácticas deficientes que pretende denunciar, el Meta-Research Innovation Centre de la Universidad de Stanford aplicará sus pruebas de análisis de experimentos en su propia metodología.

John Ioannidis y su equipo son conscientes de las dificultades a las que se enfrentan:

• un entorno competitivo y falto de fondos bajo la mayor presión de los últimos años para dar con resultados espectaculares, lo que estimula las exageraciones;
• un sistema de registro, reconocimiento y difusión de estudios obsoleto, más propio de inicios de la Ilustración que de la era de las redes sociales, el software colaborativo y la Internet de las cosas;
• las propias dimensiones de la investigación médica dificultan el control de los axiomas y afirmaciones de cada estudio.

El futuro de la investigación y publicación científicas

La descentralización y facilidad para intercambiar datos y hallazgos que ha proporcionado Internet, en parte responsable de una literatura cada vez más proclive a difundir estudios tendenciosos que interesan por su espectacularidad, formará parte de la solución.

Internet también facilita el acceso a datos, cotejo de pruebas y acceso a capacidad de computación bajo demanda para realizar cualquier simulación imaginable (gracias a servicios de computación en la nube como Amazon Web Services, Heroku, etc.).

El propio repositorio científico de libre acceso PLoS cuenta con un artículo que indaga en posibles maneras para mejorar la difusión de artículos científicos y por qué ello es tan importante.