The reviewable review
International Conference on Biomedical Publications based on the Peer Review System and Global Communication

Gemma Revuelta

El sistema de peer review o «revisión por pares» se ha afianzado como método de prestigio para la selección de los trabajos científicos. Sin embargo, las propias publicaciones admiten que su metodología de trabajo no siempre es infalible y es por este motivo que regularmente los principales responsables se reúnen para autorrevisarse y así solventar, o al menos ser conscientes, de sus fallos. La última de estas reuniones tuvo lugar en Praga en el mes de setiembre, entre los días 17 y 21. Con el título «Congreso internacional sobre publicaciones biomédicas basadas en el sistema de revisión por pares y comunicación global», se dieron cita en la capital de la República Checa más de 300 participantes, procedentes de 50 países distintos. Los temas más repetidos en las jornadas fueron la discriminación de sexos en el proceso de revisión, la hegemonía geográfica y lingüística del mundo anglosajón, la publicación científica en los países en vías de desarrollo, la inutilidad del enmascaramiento de autores y revisores, el problema de la autoría, el conflicto de intereses, las relaciones con los medios y el futuro de la revisión on-line.

The peer-review system has been firmly established as the prestige method for selecting scientific work. Nevertheless, the publications themselves admit that the working methodology is not always reliable and that for this reason, the people responsible meet to review each other's work and thus correct, or at least be aware of their mistakes. The latest of these meetings took place in Prague, on 17-21 September. Under the heading of «International Conference on Biomedical Publications based on the Peer Review System and Global Communication», more than 300 participants from 50 different countries met in the Czech capital. The topics which most often recurred during the course of these five days were sex discrimination in the review process, the geographical and linguistic hegemony of the English-speaking world, the publication of science in developing countries, the futility of disguising the identity of authors and reviewers, the problem of authorship, conflict of interests, relations with the media and the future of on-line review. 

Existe un acuerdo, casi unánime, entre la comunidad científica según el cual no se puede hablar de investigación, de hallazgo o de descubrimiento si éste no ha sido previamente publicado en una revista científica. La publicación es para los investigadores lo que el registro de patentes es para la industria. Aún es más, tan importante como el «publicar», lo es «dónde publicar». Las revistas científicas basadas en el sistema de peer review o «revisión por pares» constituyen el grupo más apreciado y codiciado entre todas las existentes. Este atractivo no es fortuito, el sistema en cuestión parece ser el «menos malo» y el más objetivo para validar la calidad y el rigor de una investigación. Tal es el reconocimiento y prestigio de este tipo de publicaciones que no son pocos los que creen que las revistas, en cierta medida, han contribuido a mejorar la calidad de la propia investigación e incluso deberían influir más aún en ella.¹ Sin embargo, como pasa con cualquier sistema en el que interviene el factor humano, el método de revisión por pares no es infalible y conlleva un elemento de subjetividad imposible de obviar. O, como muy representativamente resumía la revista Nature en una de sus pocas «historietas» ilustradas: «peer review is like Vesuvius: we accept it, knowing it'll never be entirely safe» (el sistema de revisión por pares es como el Vesuvio: lo aceptamos incluso sabiendo que nunca será completamente seguro).² Las propias publicaciones admiten que su metodología de trabajo en ocasiones produce desviaciones y admite errores, y es por este motivo que regularmente los principales responsables se reúnen para autorrevisarse y así solventar, o al menos ser conscientes, de sus fallos. La última de estas reuniones tuvo lugar en Praga los días 17-21 de setiembre. Con el título Congreso internacional sobre publicaciones biomédicas basadas en el sistema de revisión por pares y comunicación global, se dieron cita en la capital de la República Checa más de 300 participantes, procedentes de 50 países distintos. Se trataba del tercer encuentro internacional, los dos anteriores se habían realizado en Chicago en 1989 y en 1993. En esta ocasión, el impulsor del congreso fue Drummond Rennie, director de la revista JAMA. También formaron parte del comité organizador Annette Flanagin (JAMA), Richard Smith (BMJ), Jane Smith (BMJ), Timothy Empkie (Project Hope) y Suzanne Fletcher (Harvard Medical School).

Los temas más repetidos a lo largo de las jornadas fueron la discriminación de sexos en el proceso de revisión, la hegemonía geográfica y lingüística del mundo anglosajón, la publicación científica en los países en vías de desarrollo, la inutilidad del enmascaramiento de autores y revisores, el problema de la autoría, el conflicto de intereses, las relaciones con los medios y el futuro de la revisión on-line.

¿Revisor o revisora? 

Kay Dickersin, del Departamento de Epidemiología y Mecicina Preventiva de la Universidad de Maryland, presentó un interesante trabajo en el que se cuestionaba la posible desviación en cuanto a la menor representación de las mujeres en los consejos editoriales de las revistas de epidemiología americanas. En su estudio se evaluaron las cuatro publicaciones principales norteamericanas en la materia a lo largo de cuatro períodos: 1982, 1987, 1992 y 1994. Según los resultados de la revisión, de siete directores en jefe, tan sólo una era mujer (y en este caso, compartiendo cargo con un varón). En cuanto al resto de los equipos editoriales, la proporción femenina variaba entre un 6,5 % y un 16,0 %. La representación media de las mujeres entre los autores, revisores y editores, fue respectivamente del 28,7 %, 26,7 % y 12,7 %. Los porcentajes variaban de forma significativa con los años, con una mayor presencia de las mujeres en el período de 1994. A pesar de los resultados, los autores concluían que no está claro el porqué de esta clara desproporción, «el hecho es que la proporción de mujeres editoras en 1994 es incluso inferior al porcentaje de mujeres autoras en 1982. Este fenómeno no puede ser explicado simplemente por un efecto cohorte. Otra explicación posible sería la existencia de una desviación en la selección, favoreciendo a los hombres para ocupar cargos directivos en los equipos editoriales».

Al presentar estos resultados, algunos de los asistentes recordaron el trabajo publicado recientemente,³ de las suecas Christine Wenneras y Agnes Wold. A modo de comentario, las autoras se referían al «Sexismo y nepotismo existente en el sistema de revisión por pares». Éstas se habían planteado el porqué de la diferencia entre el elevado número de mujeres que finalizan sus estudios universitarios^* (muy superior al de los varones en muchos países industrializados) y la escasa representación de éstas en posiciones académicas superiores. Las autoras realizaron un estudio sobre la adjudicación de becas posdoctorales por parte del MRC (Medical Research Council) sueco. Las conclusiones de la investigación fueron que la diferencia hallada no podía explicarse por los argumentos que tradicionalmente se han sugerido, tales como que las mujeres son menos ambiciosas que los hombres y por eso solicitan menos becas o que son menos productivas que éstos y, por tanto, su trabajo tiene un menor mérito científico. Sus resultados apoyaban claramente la hipótesis de que los revisores no son capaces, en su conjunto, de juzgar los méritos científicos independientemente del género del solicitante.

«To USA or not to be» 

A lo largo del encuentro fueron varios los estudios presentados en los que se demostraba una clara desviación en la publicación científica favorable a la comunidad anglosajona, en términos de porcentajes de autores, revisores y directores. Ann M. Link, de la revista Gastroenterology, presentó un análisis retrospectivo de todos los originales recibidos en su revista entre 1995 y 1996, con sus respectivas revisiones. Sus conclusiones fueron que los revisores norteamericanos y los no norteamericanos difieren en su evaluación de los artículos procedentes de países distintos a Estados Unidos, de modo que se observa entre los primeros una clara preferencia por los trabajos norteamericanos. Carlos Campillo (de la Gerencia de Atención Primaria de Baleares) presentó también un estudio en el que se había analizado la posibilidad de desviaciones transculturales en dos publicaciones españolas: Atención Primaria y Medicina Clínica. Según sus conclusiones, el factor «calidad» era el único determinante de la publicación o no de artículos en ambas revistas. «Si se produce desviación en la publicación --declaraba el autor-- ésta parte de los autores, no de los editores.»

Por otra parte, Nick Black, de la London School of Hygiene & Tropical Medicine, de Londres, después de realizar un estudio controlado y randomizado sobre la calidad de las revisiones, concluía que el perfil ideal del revisor es aquel que reúne estas tres condiciones: 1) persona joven, 2) formada en Estados Unidos y 3) con formación en epidemiología y estadística. Esta conclusión, que produjo el hilarismo entre un sector de los asistentes, no fue tan bien recibida entre los que se consideraron más alejados de aquel que había sido definido como patrón geográfico ideal.

Ante la presentación de estos resultados y en repetidas ocasiones a lo largo de las jornadas, algunos representantes de lo que se han venido en llamar «países en vías de desarrollo» comentaron sus dificultades para difundir su investigación en revistas internacionales. Entre pasillos incluso circulaba la copia de un ya clásico artículo publicado en la revista Investigación y Ciencia⁴ en el que se reflexionaba sobre la ciencia en el tercer mundo y se hablaba de la Asociación Mundial de Directores de Revistas Médicas, presidida por Richard Horton (The Lancet), entre cuyos objetivos se encuentra la creación de una red mundial de investigadores que ayude a los directores de revistas médicas del Tercer Mundo a establecer procesos de análisis y revisión. El artículo en cuestión ha sido, sobre todo, conocido porque en él se reproducían unas desfortunadas declaraciones de Jerome P. Kassirer (New England Journal of Medicine): «Los países muy pobres tienen más cosas por las que preocuparse que por hacer investigación de alta calidad. En ellos no existe la ciencia». Al comentario de Kassirer, Horton respondía: «Me apena mucho oír que la ciencia de los países en desarrollo sea infrarreconocida. Esto representa lo peor del etnocentrismo». Las tasas de aceptación de artículos procedentes de trabajos enviados desde países en vías de desarrollo observadas en ambas revistas parecen coincidir también con las declaraciones de sus directores, según porcentajes reproducidos en el mismo artículo. Mientras The Lancet acepta un 8 %, la revista NEJM tan sólo llega al 2 %. Precisamente la revista New Scientist, a propósito del congreso de Praga, ha vuelto a recoger las palabras de Kassirer introduciendo un artículo titulado «El precio del prejuicio».⁵

Enmascaramiento de autores y revisores, un esfuerzo inútil 

El enmascaramiento de los autores, de las instituciones en las que se realizan las investigaciones y de los propios revisores supone una de las principales características del proceso de revisión por pares. Este procedimiento aparentemente proporciona una mayor objetividad a la revisión, por lo que suele ser práctica común entre la mayor parte de publicaciones. Sin embargo, en repetidas ocasiones se ha comentado la dificultad en mantener un anonimato completo, pues cuando un revisor debe analizar un estudio elaborado por un equipo que trabaja en su mismo campo acostumbra a encontrar indicios que le ayudan a formarse una idea inequívoca de quiénes son los autores. El enmascaramiento del revisor también presenta sus dificultades, aparte de que pueden ser fácilmente descubiertos por los propios autores, se ha dicho que el hecho de que no se les exija firmar su dictamen se asocia a una revisión más rápida, superficial y de peor calidad. Durante la reunión de Praga se presentaron numerosos estudios sobre la inutilidad del enmascaramiento. Amy C. Justice (Case Western Reserve University, Cleveland, EUA) concluía que, en la mayor parte de las revistas, el enmascaramiento no es efectivo, con lo que los beneficios potenciales de éste son escasos. Mildred K Cho (Center for Bioethics, Universidad de Pennsylvania, EUA) aún llegó más lejos en sus conclusiones, según la revisión realizada por su equipo existe un perfil de revisor difícil de ser «engañado» y este es el del sujeto que, independientemente de su edad o rango profesional, tiene una larga experiencia tanto en la investigación como en la revisión. Este tipo de revisores suelen conocer la identidad de los autores sin necesidad de que su nombre figure en los manuscritos. Susan van Rooyen (BMJ, BMA House), observaba que ni el enmascaramiento de autores ni el de los revisores afecta a la calidad o el tiempo empleado a la revisión. De todas formas, y a pesar de sus conclusiones, los autores de esta investigación no osaron sugerir eliminar el anonimato pues, según sus palabras, «las decisiones sobre si se debe cambiar o no esta práctica establecida deben basarse en otras consideraciones y deben aún explorarse otras intervenciones para mejorar la calidad de la revisión por pares».

Autores fantasma y autores regalo 

Quiénes y cuántos autores deben firmar un artículo es una cuestión que se repite constantemente en el mundo editorial y que trasciende a los propios currículums profesionales. La proliferación de estudios multicéntricos y la instauración de ciertos hábitos viciados, e incluso institucionalizados, complica aún más la situación. ¿Quién es el responsable de esta cada vez más abundante costumbre? ¿Los directores, los autores o la falta de una política estricta ya desde el propio ámbito académico? Es difícil contestar a esta cuestión, aunque algunos de los trabajos presentados en el congreso servirán, al menos, para reflexionar sobre el tema.

Uno de ellos, realizado por Joost PH Drenth (Departamento de Medicina, Anisius Wilhelmina Hospital, Países Bajos) mostraba cómo en la revista BMJ ha ido creciendo el número de autores por artículo desde 1985 hasta el presente, a expensas de un aumento en el número de catedráticos firmantes. Anne Hudson (Institute for the Medical Humanities, Universidad de Texas, EUA) confirmó que en muy pocas universidades existe una política clara en cuanto a la autoría de los artículos, mientras que las que la han empezado a implantar están obteniendo unos beneficios que podrían ser de gran utilidad para el resto. Un curioso estudio realizado por Annette Flanagin (¡y seis autores más!), analizaba la prevalencia de sujetos que firman como autores a pesar de no haber proporcionado una aportación sustancial a los trabajos de investigación publicados a los que se denominó «autores honorarios» (otras denominaciones propuestas fueron las de «autores regalo» o «autores huésped»), la prevalencia de autores no identificados («autores fantasma») y la de escritores médicos no identificados. Considerados en su conjunto, los tres grupos de autores «atípicos» demostraron una prevalencia de un 17 %, cifra que no precisa de más explicaciones.

Drummond Rennie, director de JAMA, proponía a su vez un «cambio conceptual, sistemático y radical», abandonando el término «autor» por el de «participante» (en realidad el autor utiliza el término inglés «contributor», pero su traducción al español, «contribuyente», tiene demasiadas connotaciones fiscales como para que resulte atractiva. El término «participante» nos ha parecido más apropiado, aunque no traduce el significado exacto que Rennie quiere dar al nuevo concepto: persona cuya aportación es sustancial para la investigación). Además de este cambio de conceptos, el director propone que cada uno de estos «participantes» especifique cuál ha sido su aportación a la investigación, de modo que el lector pueda atribuir responsabilidades y méritos a cada uno de ellos según la importancia de su contribución. De hecho, su propuesta había sido ya publicada en JAMA, con el título «Cuando falla la autoría».⁶

En materia de publicación científica es difícil mantener una postura absolutamente neutra y eliminar posibles conflictos de intereses. No obstante, muchas publicaciones han formulado ya su propia política para evitar este problema. En algunos casos, dicha actitud es clara y se requiere su aceptación por parte de autores, revisores y editorialistas. Otras revistas, sin embargo, no han llegado a materializar formalmente cuál es su política, permitiendo así que se produzcan situaciones embarazosas y difíciles de solventar. Según un cuestionario enviado por Richard M. Glass (JAMA) a más de 1000 publicaciones científicas de gran tirada y de habla inglesa, sólo un tercio de éstas habían puesto por escrito cuál era su política respecto a posibles conflictos de intereses de cara a autores, revisores, directores y miembros del consejo editorial. Por otra parte, Tomm Jefferson (Army Medical Directorate, Gran Bretaña) observó que, a partir de la publicación en 1996 de las guías BMJ para evitar inconvenientes relacionados con posibles intereses económicos, el proceso de revisión de BMJ y The Lancet había mejorado en el análisis realizado por los revisores del contenido económico de los manuscritos recibidos. El autor exhortaba a las demás publicaciones a seguir el ejemplo. Por su parte, Sheldom Krimsky (Departamento de Política Urbanística y Ambiental de la Universidad de Tufts, EUA), a la luz de un reciente análisis de las diferentes posturas adoptadas por las publicaciones en materia de conflicto de intereses, apuntaba las cuatro cuestiones básicas que diferencian unas de otras: ¿quién debe revelar «obligatoriamente» posibles conflictos (autores, revisores, directores, firmantes de cartas)?, ¿cuáles son los intereses que deben ser revelados? ¿Bajo qué criterios deben publicarse en la revista las revelaciones de tipo económico? ¿Qué constituye la privacidad en la publicación biomédica?

La difusión pública a través de los medios de comunicación de los contenidos de las revistas científicas contribuye al afianzamiento de éstas tanto entre la sociedad como entre la propia comunidad científica. Quizás por esto, algunas de estas revistas han establecido en los últimos años estrechos lazos con los medios de comunicación. Los vínculos creados van desde los press releases o comunicados de prensa hasta la relación directa entre directores y periodistas. Por otra parte, existe un arraigado prejuicio por parte de muchos científicos acerca de la utilización que pueda hacer la prensa de determinada información relevante. En la reunión de Praga se presentó un trabajo realizado por un equipo italiano (Nicola Petrosillo, Centro di Riferimento AIDS e Servizio di Epidemiologia delle Malattie Infettive) sobre «la cobertura mediática del asunto de las vacas locas». Las conclusiones del estudio fueron que, una vez desveladas las investigaciones sobre la posible relación causal «EEB-nvECJ» y durante los 15 días previos a la aparición del ejemplar de The Lancet donde se publicaban dichos trabajos, los medios dedicaron una profusa cobertura al tema, mucho mayor que después de publicarse la revista. Según los autores, el proceso de revisión de los manuscritos debería acelerarse en casos de gran relevancia para la salud pública, para contribuir de esta forma a mejorar la opinión pública así como la toma de decisiones sanitarias. Falta saber qué es lo que se entiende por «gran relevancia para la salud pública».

Corriendo hacia ninguna parte a la velocidad de la luz 

Tomo prestada esta frase de Dominique Broclain (Prescrire, Francia) el cual no pudo contenerse tras la apoteósica presentación de Ronald LaPorte (Global Health Network and University of Pittsburg, EUA) sobre el futuro de las publicaciones científicas impresas. La conferencia de este último abría el debate «Para el año 2020, las publicaciones biomédicas en papel se habrán extinguido», rivalizando con Jerome Kassirer (The New England of Medicine) en un duelo verbal que significaba la materialización del debate escrito iniciado por el propio LaPorte con su artículo «La muerte de las publicaciones biomédicas»⁷ del que dábamos cuenta ya en Quark.^{8, 9}

Según LaPorte, revistas como The Lancet o The New England Journal of Medicine probablemente serán unas desconocidas dentro de un período de algo más de 20 años. En su lugar, la ciencia de prestigio se publicará en revistas on-line, las cuales no tienen por qué corresponder exactamente a las revistas que hoy conocemos. El autor aboga por la revisión «abierta y transparente» a través de Internet y defiende la publicación de cualquier tipo de trabajo científico, aunque sea éste tan sólo un proyecto de investigación o un estudio inconcluso. De esta forma, argumentaba, cualquiera que haya trabajado en el mismo tema podría participar de una forma más democrática en la revisión y se evitarían además investigaciones repetidas.

Jerome Kassirer, que ya había contestado a LaPorte en un editorial en NEJM¹⁰, de nuevo volvió a manifestar su indignación y temor ante tal tipo de propuesta, la cual podría, según su parecer, reportar más daño que beneficio. El mayor inconveniente que ve éste a la publicación on-line, previa a la revisión formal por pares, es que abre la puerta a informaciones dudosas (en cuanto a rigor científico y a posibles intereses no declarados), que pueden ocasionar malas interpretaciones, desencadenar alarmismos o producir falsas expectativas entre un público no experto.

Sin duda es difícil saber con exactitud cómo serán o cómo deberían ser las publicaciones científicas en un futuro, cuando todavía no está demasiado claro cómo son en la actualidad y qué hay que hacer para cambiarlas. Sin embargo, hay que reconocer que acontecimientos como la reunión de Praga de setiembre ayudan a marcar algunas claves y sirven, cuando menos, de experiencia.

Notas

* En este sentido, resulta interesante un estudio realizado recientemente por el Colegio Oficial de Médicos de Barcelona sobre la profesión médica en Cataluña. Según sus resultados, un 75 % de los nuevos licenciados son mujeres. ¿Se mantendrá este porcentaje cuando esta generación pase a ocupar cargos superiores, por ejemplo revisores o editores de revistas científicas?

Bibliografia

1 MADDOX, J.: «Can journals influence Science?», Nature, 339 (june 29) (1989), 657.
2 ABOTT, A.: «Funding cuts put pressure on peer review», Nature, 383 (october 17) (1996), 567.
3 WENNEREAS, C. et al.: «Nepotism and sexism in peer-review», Nature, 387 (may 22) (1997), 341.
4 WAYT, W.: «Ciencia del Tercer Mundo», Investigación y Ciencia, dic (1995).
5 DAY, M.: «The price of prejudice», New Scientist, november 1 (1997).
6 RENNIE, D. et al.: «When authorship fails», JAMA, 278 (nº 7, august 20) (1997), 579.
7 LAPORTE, R.: «The death of biomedical journals», Br Med J, 310 (1995), 1387-1390.
8 REVUELTA, G.: «¿Publicaciones prematuras o revisión transparente?», Quark, 6 (enero-marzo 1997), 73-77.
9 REVUELTA, G.: «Artículos científicos sin revisar», Quark, 7 (abril-junio 1997), 73.
10 KASSIRER, J.: Editorial, N Eng J Med, 332 (nº 25), 1709-1710.