|
Los comienzos de la evaluación
científica en España
The Beginning of Scientific Evaluation in Spain Roberto Fernández de Caleya La puesta en marcha de la Agencia
Nacional de Evaluación y Prospectiva (ANEP) supuso un auténtico hito para el sistema.
La implantación en España de la revisión por pares, definida a menudo como el
menos malo de cuantos mecanismos existen en el mundo para valorar la calidad de
una propuesta científica, fue clave en el devenir de un proceso de homologación
internacional que iniciaba por aquel entonces su andadura. The launching of
the Agencia Nacional de Evaluación y Prospectiva (Spanish Agency of Evaluation
and Assessment, ANEP), was a definite landmark for the system. Peer review,
often described as the least bad quality evaluation mechanism for scientific
proposal, and its implementation in Spain represented a turning point in the
development of an international homologation process Es por todos
conocido que España no ha sido un país pionero ni en éstas ni en otras muchas
lides. Sin embargo, en 1958 se creó la Comisión Asesora para la Investigación
Científica y Técnica (CAICYT) que una década después comenzó con la evaluación
científico-técnica (López Facal, 1997). Se basaba principalmente en un esquema
de conjuntos restringidos de hombres
sabios que, a pesar de su buena voluntad manifiesta, pecaban a veces de
exceso de cercanía a la hora de
elaborar sus informes y tropezaban muchas otras con decisiones políticas
prácticamente incompatibles con el respeto debido al proceso evaluador. La reestructuración de la CAICYT en 1983 consolidó
el sistema de «evaluación por pares»
(peer review) y, además, los responsables políticos del momento
confiaron bastante en ella ya que, en gran medida, en la toma de decisiones
tuvieron muy en cuenta los informes técnicos emitidos por el Gabinete de
Estudios de la Comisión. En 1985, la situación había variado algo; a efectos
operativos, la ciencia y la tecnología se habían dividido en doce áreas
del saber a las que se denominó ponencias; como secretario de cada una
había un coordinador que tenía la responsabilidad de seleccionar los pares y debía dar cuenta de las
evaluaciones efectuadas por ellos a un conjunto de expertos, el presidente
y los vocales de dicha ponencia. Estos pequeños órganos colegiados,
sobre la base de los informes de los evaluadores, hacían propuestas que,
tamizadas por el Gabinete de Estudios, eran, o no, sancionadas por un Comité
Interministerial de Programación. Esta experiencia sirvió para hacer una apuesta
importante cuando en 1986 se estableció un nuevo marco normativo para la
definición de la política científica y tecnológica en España. La Ley de Fomento
y Coordinación General de la Investigación Científica y Técnica (Ley de la
Ciencia), además de regular otros aspectos, fue innovadora al crear la Agencia
Nacional de Evaluación y Prospectiva (ANEP). La ley atribuyó como objetivos a dicha agencia la
evaluación, «con el máximo rigor e
independencia», de cuantos asuntos científico-técnicos le fueran
encomendados por el Gobierno de la Nación, además de la realización de estudios
prospectivos en los temas que se le requirieran. Tuve el honor de ser nombrado el primer director de
la ANEP, aunque esto supuso para mí un alejamiento del laboratorio y de la
cátedra. Me hice cargo de una unidad administrativa deficiente desde su origen
en cuanto a las dotaciones de personal y de infraestructuras. A pesar de que,
casi por definición, todos los principios suelen ser penosos, la organización
de la ANEP fue todo un reto y toda una satisfacción. Quiero pensar, además, que
la carencia de recursos favoreció el diseño y el funcionamiento de una unidad
ágil, flexible y participativa que, quizá, con más medios no hubiera conseguido
los mismos resultados. De las diversas facetas del reto, la primera fue la
selección del personal científico-técnico. Siempre he creído que lo más
importante de una empresa es la componente humana o, como la ha llamado
Galíndez (1993), la «estética de
una empresa». Y a eso nos dedicamos, a intentar descubrir a los mejores
entre científicos jóvenes que, a la vez, fueran destacados en su área, a
convencerles de que se sumaran al proyecto, a formar un equipo coherente a
veces con galgos y a veces con podencos, con un único ejemplar de cada
especie científica, a modo de un hemiarca
de Noé, pero siempre integrado en un equipo multidisciplinar con objetivos
comunes. En otras palabras, a «crear
ilusión» como ha dicho Pascual
(2001). Por otra parte, resultaba claro que cualquier
propuesta debía ser examinada en el contexto en el que tuviera mayores
posibilidades de ser apreciada en sus justos términos y siempre en comparación
con otras propuestas similares. Esto forzó a la elaboración de un sistema, lo
más ecuánime que se pudo, de distribución del trabajo entre las distintas
ponencias. Esta labor fundamental de clasificación o sexaje obligó a buscar personas que tuvieran el conocimiento y la
sensibilidad adecuadas y, a la vez, asumieran la responsabilidad de distribuir el juego. Creo que se logró escoger razonablemente a las
personas adecuadas para los fines deseados en cada caso. Años después, se ha
podido comprobar que la mayoría de las personas seleccionadas en esa etapa se
han distinguido claramente entre las mejores de su área. Los actores de
la evaluación
Ya hemos dicho que la evaluación científica se basa
genéricamente en la revisión por pares.
Pero ¿quiénes eran los pares en una comunidad científico-tecnológica tan pequeña
como la nuestra? Había un principio intuitivo fundamental: cuanto más alejado
se encuentre el evaluador de lo evaluado, mejor. Por tanto, había que dar un
paso más en el conocimiento de los evaluadores y averiguar las distintas
conexiones entre nuestros científicos, tanto las que pudiéramos llamar
positivas como las negativas; había que aumentar nuestro universo con
científicos extranjeros o españoles no vinculados directamente a nuestro
sistema. En una palabra, había que incrementar y cualificar nuestro banco de
evaluadores. Así se hizo. El banco de evaluadores creció desde unos 2700
nombres en 1985 a más de 7000 en 1990, de los que un número muy importante eran
extranjeros. La segunda faceta del reto estaba en la búsqueda, y
posterior aplicación, de metodologías de evaluación homologables con las de los
sistemas más avanzados (por ejemplo, con la National Science Foundation de
Estados Unidos). Nos dimos cuenta que soplaban vientos de fronda. Diversos
autores se referían a la falta de estudios convincentes sobre la evaluación,
con la crítica añadida sobre los efectos y la validez de la misma, pareciendo
indicar que, generalmente, en ella existía más
oscuridad que luz y más conflicto que consenso. Cabía dudar de casi todo y
era preciso ser muy cauto. Todo ello hizo que, en muchos casos, fuera necesario
diseñar procedimientos ad hoc lo que, a mi juicio, se hizo con éxito. Y ahora que digo éxito, ¿cómo se podía cuantificar
el éxito de la ANEP? Pues bien, la ANEP tenía un número fijo de los que se
podrían llamar clientes cautivos,
esto es, aquellos que, por ley, estaban obligados a remitir todos sus papeles y
a esperar para su toma de decisión los informes de la ANEP; entre ellos, la
Dirección General de Investigación Científica y Técnica del Ministerio de
Educación y Ciencia, la Secretaría General del Plan Nacional de I+D y el Centro
para el Desarrollo Tecnológico e Industrial. El éxito consistía en lograr clientes que lo fueran por decisión propia;
pronto los hubo de este tipo, como fueron diversas comunidades autónomas,
numerosas universidades, el Fondo de Investigaciones Sanitarias de la Seguridad
Social (FIS), el Instituto de la Mujer del Ministerio de Asuntos Sociales,
diversas entidades y fundaciones españolas privadas, entidades oficiales de
países como Argentina, Chile, México o Venezuela, etc. Se había logrado
prestigio. La aceptación de los resultados de la evaluación por parte de la
comunidad científica fue en aumento y su cultura se fue introduciendo en la
sociedad. La tercera faceta del reto fue la relativa a los
tiempos de evaluación. Era muy frecuente que los encargos de evaluación lo
fueran con unos calendarios rayanos en lo imposible. Las presiones para obtener
los informes en el momento requerido por los gestores fueron, en algunos casos,
muy grandes. A pesar de la escasa dotación de personal y de medios de que
disponía la ANEP, también se resolvieron estos problemas, esta vez gracias al
voluntarismo y al buen hacer de todo su personal que trabajó siempre como un
gran equipo. La cuarta faceta del reto antes referido era lograr
el máximo nivel de acuerdo entre los informes de la ANEP y las decisiones de
los gestores propiamente dichos. Con los clientes
cautivos pronto surgió la idea de que
la toma de decisión se basaba en el binomio calidad
+ oportunidad; el término calidad
lo ponía la ANEP y el término oportunidad lo ponía el cliente y dependía del
programa del que se tratara. Así, en programas de ciencia básica el término
oportunidad debía ser muy pequeño (tan oportunas son las matemáticas como la
lingüística, por ejemplo), mientras que en programas aplicados, superado un
umbral mínimo de calidad, el término oportunidad podía ser muy grande (por
ejemplo, la localización de una gran instalación científica tiene una gran
componente de política territorial). Se comprobó que estos clientes, bajo la
atenta mirada de la Comisión Permanente de la Interministerial de Ciencia y
Tecnología, respetaban las reglas del juego y aplicaban adecuadamente el
binomio. En los pocos casos en los que se verificó que alguno de los otros
clientes no lo hizo así, se le descalificó como usuario de la ANEP. La credibilidad
del sistema
Creo que la ilusión
se logró. La comunidad científica y técnica se sintió partícipe de esa ilusión y comenzó a admitir
mayoritariamente la evaluación como una práctica habitual para el logro de
parámetros de calidad. Se mejoró la transparencia y la credibilidad en las
reglas del juego y se generó, por una parte, conocimiento acerca del propio
proceso de evaluación y, por otra, información sobre el conocimiento científico
que producía el sistema y sobre los actores responsables de su generación,
acumulación, difusión y utilización. Todo ello confirió a la ANEP una
reputación sin precedentes en el sistema español de ciencia y tecnología. Como conclusiones habría que decir, en primer lugar,
que la evaluación es una cultura que sólo tiene sentido en el contexto de una
estrategia definida y participativa entre los diversos agentes y que se plantee
como objetivo la optimización del potencial del sistema español de ciencia y
tecnología, factor clave para la tan deseada (y deseable) innovación. No hay
ninguna duda acerca de la contribución de la ANEP, desde su establecimiento
hasta ahora, a la creación y a la generalización de esta cultura en un país en
el que existía una gran carencia en esos ámbitos. En segundo lugar, es preciso afirmar la importancia
de no desechar lo preexistente ni intentar partir de cero para lograr un
objetivo. El desprecio a las experiencias previas es, en general, una señal inequívoca
de ignorancia y, en el caso de la evaluación, supone desconocer que ella misma
constituye un elemento esencial en el proceso de aprendizaje de cualquier
sistema, en la medida en la que contribuye a la creación de capacidades. A
riesgo de parecer petulante quiero mencionar un concepto muy en boga hoy: el de
inteligencia organizativa. La ANEP,
en los años mencionados, a pesar de sus diversas carencias, fue buen ejemplo de
este concepto. Personas inteligentes trabajando de manera inteligente. Sin un proceso
de aprendizaje basado en un análisis exhaustivo de aciertos y errores,
difícilmente se puede llegar a diseñar organizaciones inteligentes. Ojalá las
nuevas agencias de evaluación recientemente creadas por los actuales
responsables políticos puedan gozar de esta misma inteligencia para poder
evitar que se sigan acumulando años
perdidos como, según Lafuente y Oro (2001), han sido los últimos ocho años
en los que no nos hemos acercado más a Europa en términos de inversión en I+D
y, además, junto con Europa, nos hemos alejado de Estados Unidos y de Japón. Roberto
Fernández de Caleya es Catedrático de Química y
Bioquímica de la Universidad Politécnica de Madrid. En el período comprendido
entre 1990 y 1995 fue Director General de Investigación Científica y Técnica
del Ministerio de Educación y Ciencia. Con anterioridad ejerció como primer
Director y organizador de la Agencia Nacional de Evaluación y Prospectiva.
Bibliografía
Galíndez A.: El factor humano y la estética en la empresa, Publicaciones ETSII de Bilbao, Colección Perfiles Profesionales, Bilbao, 1993. Lafuente A., Oro L.A.: «El Sistema Español de Ciencia y Tecnología, Diez años después», Papeles y Memorias de la Real Academia de Ciencias Morales y Políticas 2001; 9: 48-61. López Facal J.: «El sistema español de I+D», Arbor 1997; 617-618: 23-36. Pascual P.: «Ha desaparecido la ilusión», Boletín de la Sociedad Española de Bioquímica y Biología Molecular 2001; 131:4-5. Frases
destacades «La Ley de la Ciencia atribuyó como objetivos a la Agencia Nacional de Evaluación y Prospectiva la evaluación, con el máximo rigor e independencia, de cuantos asuntos científico-técnicos le fueran encomendados por el Gobierno.» «La evaluación es una cultura que
sólo tiene sentido en el contexto de una estrategia definida y participativa
que se plantee como objetivo la optimización del potencial del sistema español
de ciencia y tecnología.»
|