Inicio > Ciencia, Escepticismo, Medicina > El proceso de realización y validación de una publicación científica ilustrado con 5 ejemplos

El proceso de realización y validación de una publicación científica ilustrado con 5 ejemplos

23 enero, 2012

Los cauces más poderosos que la comunidad científica ha generado para comunicar sus resultados de forma fiable son las publicaciones en revistas de revisión por pares. Pero, ¿cómo de fiable es la información publicada?, ¿cómo se revisan los manuscritos y cómo llega a publicarse unos resultados? En este artículo pretendo comentar el proceso que se sigue para publicar resultados científicos e ilustraré con 5 ejemplos paradigmáticos la dinámica que puede seguir esa información una vez publicada.

El proceso de publicación de un artículo en una revista de revisión por pares no es sencillo, aunque resumido en un texto se antoje como un proceso trivial. En primer lugar la investigación que se pretende publicar ha de aportar alguna novedad respecto a todo lo publicado con anterioridad. Exceptuando los trabajos en los que se hace una revisión histórica de un determinado tema, las revistas sólo aceptan manuscritos que contengan información novedosa, que aporten algún dato o alguna metodología no descrita con anterioridad. Por tanto los investigadores sólo podrán enviar a publicar resultados que sean novedosos. El investigador También tendrá que aprender a reconocer el impacto que esa información puede tener para el conocimiento, lo que se traducirá en el tipo y categoría de la revista a la que se pretende enviar la publicación. Existen revistas generales y otras muy especializadas en una determinada área, existen revistas con criterios menos exigentes y otras tremendamente exigentes. La trascendencia, alcance y repercusión que va a tener una determinada información en el futuro va a depender en gran manera de la revista en que se publiquen los resultados.

Otro aspecto interesante es que las revistas sólo publican resultados positivos, todas aquellas pruebas que no dan ningún resultado, por muy bien controlados que estén los experimentos, no son publicables. Recientemente han surgido algunas revistas que recogen esta información, porque en ocasiones es importante disponer de esos resultados negativos, pueden ahorrar tiempo y dinero a otros investigadores que tentativamente podrían repetirlos, al no poseer información al respecto.

Una vez se dispone de los resultados y se tiene claro su impacto, se elige una revista donde enviarlos. Dado que en esta sociedad tan competitiva es muy importante la importancia de la revista en la que publicas los resultados (lo que se conoce como el “índice de impacto de la revista”) se suele elegir como primer destino de los manuscritos revistas de primer nivel, las mejores del campo, por aquello de “si cuela”. Tras elegir la revista se escribe el artículo en el formato que ésta exige. Cada revista tiene su formato, y son muy exigentes sobre cómo se ha de diseñar el manuscrito. A pesar de que publicar cuesta mucho dinero (si habéis leído bien, el investigador paga a la revista, no al revés), gran parte de la edición del artículo la hace el propio investigador. Y cuando digo edición me refiero a texto, imágenes digitales y presentación en los formatos que obliga la editorial. El idioma para la mayoría de áreas está claro: el inglés. Es el idioma oficial de la ciencia hoy día, como lo fue antaño el latín o el francés. Eso no significa que no haya buenas revistas en alemán, español, ruso o francés, pero aquellas que tienen mayor difusión se editan en inglés. Eso implica un esfuerzo adicional para los que no somos bilingües. Finalmente está todo acabado, y ya sólo queda pelearse con los servidores informáticos de la revista elegida. Hoy en día es posible enviar la publicación on-line, los tiempos del manuscrito en papel con fotos pegadas han pasado a la historia. Pero esa agilidad no es gratuita, hay que rellenar infinidad de campos, interminables pantallas, tenerlo todo preparado en el formato adecuado y disponer de una conexión de banda “anchísima” para con quedarte “colgado” al primer intento.

Una vez acabado el proceso da la sensación de que hemos lanzado una bolita a una ruleta que no para de dar vueltas, y de que si somos afortunados alguien nos llamará diciendo que ha caído en el número por el que apostábamos, o lo que es lo mismo: el artículo ha sido aceptado. Esa sensación de envío a un “agujero negro” no es tal, ya que quien más quien menos, participa como corrector de trabajos para alguna revista, y por tanto sabe qué ocurre en el editorial una vez llega el manuscrito. La dirección científica de las revistas tienen un editor jefe y varios editores más (dependiendo de las áreas de conocimiento que abarquen) que son responsables de hacer una primera valoración del trabajo. El proceso no es idéntico, depende del tipo de revista. Las de mayor índice de impacto tienen muy limitado el número de trabajos que publican, por lo que sólo aceptarán aquellas que consideren de mayor calidad, más impacto u otros criterios que considere el editor. En estas revistas los editores tienen mucho poder de decisión, de tal forma que tras leer el manuscrito pueden rechazar el trabajo sin tan siquiera enviarlo a que otros correctores manifiesten su opinión. En el caso de que el editor considere que el trabajo tiene interés para la comunidad científica lo envía a evaluar. El número de evaluadores también depende de la revista, lo más normal es que oscile entre 2 ó 3. Revistas que poseen un menor índice de impacto son menos exigentes, si el editor comprueba que el manuscrito contiene información científica interesante lo envía a evaluar directamente, descartando sólo aquellos manuscritos que contienen errores de grueso calibre o que estén lejos del área de conocimiento de la revista.

La revisión es un proceso teórico, no experimental, que nadie piense que los evaluadores repiten los experimentos para ver si son correctos o no, lo que se hace es valorar si los métodos utilizados son correctos, los resultados compatibles con los métodos y la interpretación apropiada, no especulativa. Los evaluadores son expertos en el tema y en teoría deberían ser capaces de detectar errores o intentos de falsificación. En la práctica sin embargo esto no es fácil, si alguien quiere engañar a los evaluadores y tiene suficiente conocimientos puede hacerlo, pero como veremos más adelante la mentira tiene unas patas muy cortas y no llega muy lejos. En el caso de que a los evaluadores no les guste el trabajo por considerarlo poco innovador o por contener errores se rechaza su publicación, en el caso de que consideren que el trabajo es un avance para la ciencia se sugiere su publicación. El editor prepara la carta final, aquella que desestima el trabajo, o la que lo acepta para publicación. Ambas cartas son muy educadas, la que desestima alude al elevado número de manuscritos que reciben (significa que no le ve interés), a que el trabajo es demasiado específico y requeriría una revista mucho más especializada (lo que quiere decir que te busques una revista de menor índice de impacto), y que esperan que vuelvas a enviar tu próximo trabajo que seguro que entonces sí lo publican (o lo que es lo mismo: hasta luego Lucas). La que acepta el trabajo requiere una serie de modificaciones pedidas por los revisores o que se aclaren puntos que no quedan claros. Hay una tercera posibilidad, que el trabajo guste, pero no en la forma que está redactado, o que se requieran más controles o nuevos experimentos. En este caso se concede un plazo de tiempo para atender esas demandas, y si se hacen nuevos experimentos (y los resultados son los esperados) hay muchas posibilidades de que se acepte el trabajo. ¿Qué ocurre cuándo hay discrepancias, cuando un revisor dice que sí y otro que no? El editor manda; puede hacer su propia evaluación, para desempatar o pedir opinión a otro experto, y en función de ella tomar la decisión final. Los revisores son desconocidos para los autores del trabajo, y no cobran por la revisión. Se supone que ambos puntos aumentan la independencia del evaluador hacia el evaluado y hacia la revista que le envía el trabajo a evaluar.

Una vez el artículo es aceptado, se publica, ve la luz y trasciende a la opinión pública. Los editoriales de revistas “importantes” tienen su propio gabinete de divulgación que redacta las notas de prensa que hará llegar a los medios de comunicación informando de novedades científicas. A cambio de este “trabajo hecho”, los medios se comprometen a no publicar nada acerca de la publicación hasta que ésta no ve la luz en la revista científica.

Ya está publicado, ¿lo damos como verdad absoluta? Ni mucho menos, en ciencia no existen verdades absolutas, todo está bajo revisión, comprobación y verificación, y ese es parte del éxito de la ciencia. Cuando un artículo sale publicado se puede decir que ha pasado varias fases del ensayo, pero queda la más importante: la verificación por parte de la comunidad científica internacional. Esa es la más importante. Como ya he comentado los revisores no pueden repetir los experimentos. Eso es obvio; experimentar consume mucho tiempo y dinero, algo que escapa a los evaluadores. Pero aquellos que están en la misma área de trabajo (los “competidores”) analizarán críticamente la publicación y repetirán los experimentos. Otros tomarán los resultados de esa publicación como punto de partida de alguna nueva línea de investigación, lo que hará que se repitan de nuevo los experimentos. Esa es la evaluación más dura, la que tiene más valor, y en la que los mentirosos se caen con todo el equipo.

Quisiera ilustrar esta última etapa con 5 ejemplos que trascendieron a los medios de comunicación y que creo que ilustra como funciona la divulgación científica en la actualidad. Algunos de estos temas han derivado en conflictos y duras controversias, generando incluso disidentes que se niegan a aceptar los resultados publicados.

1. Juntos somos más poderosos En el año 1967 una publicación en la revista Journal of Theoretical Biology y firmada por Lynn Sagan (conocida posteriormente como Lynn Margulis) revolucionó el campo de la biología evolutiva. En ella se postulaba el origen simbiótico de la célula eucariota, y que las mitocondrias y cloroplastos tenían un origen bacteriano. Este trabajo acabó publicado en una revista de biología teórica tras ser rechazada por otras revistas de biología de mayor impacto. El motivo del rechazo puede buscarse en una especie de complot, como Margulis ha sugerido alguna vez, o por una explicación algo menos sofisticada (y paranoica): pese a ser una idea muy innovadora no se presentaban (en el año 1967) observaciones experimentales que lo apoyasen. Además la idea era reciclada, el origen simbionte de los eucariotas ya fue sugerida por un botánico ruso a principios del siglo XX. Pero la idea era muy atractiva, tanto que algunos investigadores no tardaron en someterla a examen (lo aparta la idea de un complot contra ella), y así al cabo de un tiempo se confirmó; se encontraron las pruebas moleculares que demostraron que el origen de cloroplastos y mitocondrias hay que buscarlo en los organismos procariotas.

2. El VIH es presentado en sociedad. En año 1984, en un número especial de la revista Science aparecen artículos firmados por Robert Gallo y Luc Montagnier mostrando un nuevo retrovirus, que conocemos como VIH, al que hicieron responsable de un síndrome de inmunodeficiencia, conocido hoy como SIDA. Estas publicaciones levantaron mucho revuelo durante unos años, complicándose el asunto mucho más cuando se comprobó que Robert Gallo había empleado el virus aislado por Luc Montagnier en su propio beneficio. Pero más allá de las dudas que se pudieran presentar en los primeros años lo cierto es que desde 1984 hasta hoy el VIH ha sido aislado, empleando diferentes técnicas, por miles de científicos de todo el planeta. El VIH es uno de los virus mejor conocidos, y su conocimiento no viene de las primeras publicaciones sino de los múltiples trabajos que le siguieron. Las mejores imágenes, con técnicas de gran resolución de diversos tipos, los mejores análisis de su genoma o las herramientas biotecnológicas desarrolladas a partir de él, se han obtenido en el siglo XXI. Pero las dudas iniciales dieron juego a una disidencia bastante heterogénea. Hay quien afirma (caso de Peter Duesberg) que el VIH sí ha sido aislado, pero es inofensivo, alegando que el SIDA es la resultante de carencias nutricionales y una mala gestión de los hábitos de conducta diaria; otros sin embargo afirman que el VIH ni siquiera existe y que el SIDA es un invento de la industria farmacéutica para enriquecerse. Esta disidencia tiene su mayor difusión en Internet, porque en el mundo académico mengua día a día conforme nuevas publicaciones suministran más datos acerca del virus y de la enfermedad. La única forma que tiene la disidencia de ganar adeptos dentro de ese mundo académico es la de validar experimentalmente algunas de sus aseveraciones, pero para ello primero tendrán que ponerse a hacer experimentos, algo a lo que parece que no están muy dispuestos.

3. El agua dice tener memoria En 1988 apareció en Nature una publicación firmada por el grupo del inmunólogo francés Jacques Benveniste en la que se informaba acerca de unas propiedades sorprendentes del agua: ésta era capaz de retener propiedades de fármacos, incluso cuando la dilución efectuada era tan elevada que imposibilitaba la presencia de cualquier molécula en ella. De esta forma se daba una explicación molecular a los publicitados efectos de la homeopatía. Al poco tiempo de aparecer la publicación diversos laboratorios informaron a John Maddox, por entonces editor de Nature, de que no eran capaces de obtener los resultados obtenidos por Benveniste. La revista se puso en contacto con el científico francés, el cual no tuvo inconveniente en repetir los experimentos en presencia de un grupo de expertos. Diversas personas seleccionadas por J.Maddox viajaron al laboratorio de Benveniste, donde se repitieron los experimentos, sin encontrarse esta vez ninguna huella de la presunta memoria del agua. El artículo fue retirado de la revista, y hasta donde yo sé, a día de hoy la memoria del agua no ha sido corroborada por nadie.

4. Las célebres bacterias del arsénico de la NASA A finales del año 2010 la NASA organizó una rimbombante rueda de prensa donde presentó un nuevo grupo de bacterias que podían vivir sin fósforo, un elemento considerado esencial para todas las formas de vida conocidas, debido a que el papel de fósforo en ese microorganismo era suministrado por el arsénico. Los detalles del resumen suministrado por la NASA vieron la luz en una publicación del grupo de la doctora Felisa Wolfe-Simon en la revista Science. Pronto aparecieron las primeras voces críticas y la incredulidad se extendió entre muchos microbiólogos. La red amplificó esta señal y amplios debates se establecieron en ella. Esto obligó a la revista Science a atender a la comunidad discrepante y a pedir a los autores del trabajo más datos, cosa que ocurrió unos meses después. Parece que estos datos no han terminado de contentar a las voces críticas, con lo que algunos grupos de investigación están repitiendo los experimentos con materiales suministrados por la NASA. En estos momentos, aunque la publicación sigue en la revista, hay una especie de marca de agua en la misma que dice “en revisión”. Este es un ejemplo del poder de la red como transmisora de información científica. Sin ella hubiesen surgido los mismos inconvenientes, como ocurrió con la memoria del agua, pero no se habría actuado con tanta celeridad.

5. Yo lo fabrico y yo lo publico Las publicaciones donde se presentan ensayos clínicos quizás sean las más controvertidas. Especialmente porque son los propios fabricantes de los medicamentos los que realizan los ensayos de validez de los mismos. Ya ha ocurrido, en demasiadas ocasiones, que un medicamento ha tenido que ser retirado por inefectivo o porque tiene unos efectos secundarios no detectados (o bien ocultados) en los ensayos. Para evitar este problema algunas revistas han introducido cláusulas de conflictos de intereses, para que nadie con intereses comerciales creados pueda presentar los ensayos en ellas. No es difícil imaginar que hay sistemas para soslayar este requisito por parte de las multinacionales. Por desgracia para los implicados, el verdadero test lo hacen los primeros pacientes que prueban el medicamento. Ellos serán los que demostrarán la validez del fármaco más allá de las promesas de sus fabricantes, y al final, y a través de caminos que no son los adecuados se determinará el resultado válido de la prueba. En ocasiones la situación es inversa, son los grupos de presión los que se enfrentan con las farmacéuticas. Así la publicación en Lancet del doctor Andrew Wikefield que correlacionó la vacuna triple vírica con el autismo resultó ser un fraude de su autor, algo que la comunidad científica llevaba sospechando muchos años. Fue necesario un juicio para que esta información saliera a la luz, mostrando de nuevo como los resultados de la comunidad internacional pueden presionar hacia el conocimiento de la verdad.

En resumen, la información contenida en una publicación científica no es una verdad absoluta per se, y en algunos casos ni siquiera es verdad. Es información obtenida en un laboratorio que se lanza al mundo para su difusión, y que aún ha de ser corroborada o refutada por otros científicos. Con el paso del tiempo, y conforme se añaden nuevas confirmaciones esa información gana confianza, y pasa al pool conocimiento de la ciencia. Esta vara de medir también ha de ser utilizada por los grupos disidentes, por aquellos afirman que lo publicado es falso, a pesar de que existen múltiples datos que lo corroboran. La carga de la prueba experimental es lo que da validez al argumento científico, y es la que ha de ser usada, más allá de discursos metafísicos o lecturas fragmentarias de la información a la que se oponen.


  1. 23 enero, 2012 de 19:18

    Hace poco he estado implicado en un proceso similar, pero desde el otro lado: una revista (en este caso, de conocimientos jurídicos), que buscaba pasar, ella misma, un proceso de revisión. Los resultados aún no se han producido, pero lo que viene a cuento es que también las revistas están sometidas también a exigentes procesos de validación, lo que también ayuda a garantizar la calidad de los trabajos que finalmente se publican.

  2. elpep
    23 enero, 2012 de 20:30

    Hay un proceso que no mencionas explicitamente en el articulo, pero que me parece fundamental en el modo de trabajo que has descrito: la validacion de dichas teorias. No sera Nature o Science la que publique dichas validaciones, seran revistas de menor (o mucho menor, segun) impacto las que publicaran durante años experimentos llevados a cabo por grupos pequeños y grandes de investigadores basandose en esas novedades que las grandes revistas describen.
    Conozco de primera mano un par de campos de medicina en el cual se presentan al año cientos de trabajos sobre muestras de pacientes pequeñas y medianas (desde decenas hasta centenares de pacientes) que, poco a poco, van validando (o rechazando, al no poder replicar los resultados) dichos “saltos” teoricos. Para hacernos una idea, a dia de hoy aun se presentan en congresos europeos estudios sobre la efectividad del ganglio centinela en el tratamiento del cancer de mama ( http://en.wikipedia.org/wiki/Sentinel_lymph_node ), mas de 25 años depues de su primera descripcion como tecnica.

  3. 23 enero, 2012 de 21:10

    Tengo una duda. Pensaba que la comisión enviada por Maddox al laboratorio de Benveniste lo había hecho antes de la publicación.

  4. Mike
    23 enero, 2012 de 21:34

    Raro no se mencione el hilarante caso Sokal…

  5. 23 enero, 2012 de 22:09

    Javi, en parte tienes razón (la comisión fue casi simultánea a la publicación, pero posterior). La historia completa: http://en.wikipedia.org/wiki/Jacques_Benveniste En ella acabo de ver que la fuente que consulté que hablaba de la carta a Maddox con discrepancia puede ser errónea. Buscaré más fuentes.

    Mike, cierto el caso Sokal es un gran ejemplo. Se me pasó, aunque el texto ya ha quedado un pelín largo. Dejo aquí el enlace para quien quiera informarse: http://es.wikipedia.org/wiki/Esc%C3%A1ndalo_Sokal

  6. Katxu
    24 enero, 2012 de 9:49

    Pues yo entre los fraudes he echado en falta el caso de Hwang Woo-Suk http://bit.ly/uIMyos. Mi pregunta es por qué la carrera científica de este señor no se acabó (como la de Benveniste) cuando el escándalo vio la luz. Según pone en la noticia que enlazo, tras ser destapado el fraude de clonación de embriones humanos, aún tuvo ocasión de clonar un perro.

  7. Phosphoros
    24 enero, 2012 de 23:02

    Hablándo de este tema….
    http://www.darwinodi.com/tag/revision-por-pares/
    Fíjense que los “argumentos” de Behe, no sólo son recurrentes de los de otros Creacionistas, sino que me pregunto, ¿en que daña a la Biología Evolutiva la pérdida de genes?…sólo un Creacionista lo sabe.

  8. Claudio
    23 noviembre, 2012 de 12:29

    Hola! Quisiera hacerles una consulta…

    ¿En qué medida este proceso de validación puede aplicarse (o se aplica) a campos del conocimiento en donde no es posible diseñar experimentos de laboratorio, como por ejemplo en las Ciencias Sociales y las Ciencias Económicas?

    En mi opinión, la no posibilidad de validar resultados a través de experimentos concretos da lugar a controversias teóricas que terminan confundiendo más que aclarando el panorama, y en donde las distintas teorías en conflicto son aceptadas en función del marco ideológico de cada uno.

    Como ejemplo, puedo citar al “Monetarismo”, que postula que la inflación es consecuencia directa de la emisión de moneda. En la vereda opuesta se encuentran otros economistas llamados “Estructuralistas”, que plantean que ésto se trata simplemente de una correlación y no de una relación de causa y efecto.

    Mi punto es, tomando este ejemplo, ¿cómo saber quién está en lo cierto de una manera “objetiva”, es decir, que no esté sesgada por la ideología?

    Gracias a todos!

    Claudio.

  9. 23 noviembre, 2012 de 15:27

    @Claudio, la validacion de una teoria no se realiza necesariamente en “laboratorio”. Lo que tiene que ser capaz una teoria es de realizar predicciones que se ajusten con lo observado. Si el fenomeno estudiado se puede meter en un laboratorio, pues es mas facil controlar todas las variables que condicionan el resultado y se puede repetir todas las veces que haga falta. Pero no es un requisito fundamental. Ahi tienes la Astrofisica, la Metereologia, la Geologia, etc. En el campo de las Ciencias Sociales, pasa lo mismo. El problema que tienen estas ciencias es que suelen tener muchisimas interferencias politicas e ideologicas.

    ¿Como saber que una teoria no esta sesgada por la ideologia? Pide los datos en los que se basa y analizalos.

  1. 23 enero, 2012 de 18:57
  2. 23 enero, 2012 de 21:12
Los comentarios están cerrados.
A %d blogueros les gusta esto: