Fonseca

Latest Post

Por un cambio na avaliación científica en España: notas arredor dunha mesa redonda

MARÍA CANA VILLAR

(mínima intervención de L.G. a quen lle corresponden as queixas, de habelas)

O pasado 22 de maio publicouse, na revista El Profesional de la Información, a “Carta: Por un cambio radical en la evaluación científica en España ”, asinada por Ernest Abadal, Emilio Delgado e Ismael Ràfols. Esta carta é, segundo os seus autores, “un chamamento ás autoridades científicas españolas para que abandonen as políticas de avaliación da investigación baseadas nun uso excesivo e indiscriminado dos indicadores bibliométricos (…), especialmente na valoración do desempeño individual dos académicos”.

Os autores da carta (2021) veñen de crear, coa colaboración de Lluís Codina e Carolina Andreu, e “respondendo á ampla inquietude de numerosos científicos a favor deste cambio radical” un sitio web denominado Por un cambio na avaliación científica,propostas, recursos ou eventos relacionados cun tema que afecta tanto e tan directamente á carreira investigadora.

Así, o primeiro evento enmarcado nesta proposta, foi unha interesantísima mesa redonda, que tivo lugar o 22 de xullo  (deixamos abaixo a ligazón en Youtube)que contou cunha representación dos distintos axentes implicados no sistema nacional de avaliación da ciencia: responsables políticos de axencias e universidades, expertos en avaliación científica e políticas públicas, como Victoria Ley, xefa da división de coordinación e avaliación da Agencia Estatal de Investigación (AEI), Javier Llorens, coordinador da CNEAI – ANECA,  Isidro Aguillo, Laboratorio de Cibermetría del CSIC ou Gonzalo León, catedrático e ex-vicereitor de investigación da Universidade Politécnica de Madrid, entre outros.

A mesa, que durou algo máis de dúas horas, comezou coa descrición da problemática por parte de Emilio Delgado, apuntando á inexistencia dunha política de Estado sobre avaliación científica como raíz do problema, e aos “efectos tóxicos” de empregar como paradigma o Impact factor:

• Refórzase o publish or perish ,“Publica ou perece”, convertendo a publicación nun fin en si mesmo
• Monocultivo da publicación fronte a docencia ou a divulgación. Empobrécese a actividade académica e a transferencia do coñecemento.
• Altérase o mercado editorial, ao converter a comunicación científica nun negocio.
• Prolifera o fraude científico: publicacións duplicadas, autoplaxio, manipulación de datos e indicadores…

Na quenda das intervencións dos relatores, convidóuselles a responder a dúas cuestións nucleares:

1. Cómpre cambiar a política de avaliación da ciencia? Por que?
2. Cales son as alternativas? Que propostas concretas temos para realizar esta avaliación científica?

A resposta á primeira cuestión foi rotunda en favor do cambio, alegando entre as principais motivacións, as seguintes:

• O mal uso da bibliometría e de indicadores non testados perxudica, entre outros actores, aos autores noveis, á interdisciplinariedade, á investigación local…
• Utilízanse os mesmos indicadores para avaliar a individuos, departamentos, proxectos, institucións, cando a avaliación debería contextualizarse: que é o que queremos avaliar e para que? Cómpre acadar o compromiso dos investigadores coa institución, facendo un uso flexible dos indicadores capaz de xerar confianza (publícase para a autopromoción, para o prestixio institucional, …?)
• A evolución do propio escenario require da evolución do sistema avaliativo:
  • novas políticas editoriais (APCs, megajournals…) e novos modelos de negocio.
  • as políticas de ciencia aberta e ciencia cidadá convidan á abordaxe dos desafíos sociais e á superación do carácter conservador da ciencia e da resistencia ao cambio.
  • intensificación tecnolóxica e da complexidade dos instrumentos da investigación
  • o sistema burocrático de gobernanza científica está obsoleto, esixe unha xerarquización clara e definida da carreira científica que xa non existe.

Respecto das alternativas, o eixo común xirou en torno ao necesario cambio na gobernanza e políticas públicas, mais houbo tamén propostas concretas salientables:

1. A AEI firmou DORA (DORA : San Francisco Declaration on Research Assessment) -abril 2021- co claro propósito de valorar a calidade fronte a cantidade, e que o investigador poida defender o seu “relato”, tendo en conta as circunstancias de mobilidade, internacionalidade, etc
2. A UOC avoga por unha estratexia de Ciencia Aberta de I+D, centrada tamén en DORA, e na que un dos eixos é a avaliación da investigación, que mantén a bibliometría tan só como  elemento de orientación.
3. Desde a Agencia Andaluza del Conocimiento (AAC) as suxestións pasan pola defensa argumentada de cada aportación á ciencia, permitindo o uso da bibliometría sen que sexa a base da avaliación, e fortalecendo a figura dos avaliadores, con especial coidado en evitar os conflitos de intereses, fomentando a internacionalidade e multidisciplinariedade.
4. A CNAI-ANECA está actualmente nun proceso de revisión dos criterios (fano cada dous anos), para o que se está realizando un diagnóstico dos indicadores de impacto normalizado a nivel revista e de contribución, da viabilidade das altmétricas, do enfoque divulgativo e da ciencia aberta, da investigación colaborativa e a interdisciplinariedade… pero sen perder de vista o comportamento oportunista de editores e investigadores e sen prescindir de indicadores bibliométricos, co fin de evitar a discrecionalidade.
5. Outras iniciativas levadas á mesa foron a creación dun gran Sistema Estatal de Información Científica (I. Aguillo -CSIC) que agregue indicadores cuantitativos, cualitativos e os datos necesarios para guiar as políticas de avaliación do persoal investigador; ou o establecemento dun sistema de avaliación orientado á mellora estratéxica (similar ao Standard Evaluation Protocol holandés) e non á obtención de recursos, como o actual (J. Molas – CSIC-UPV). Segundo Gonzalo León (UPM), o sistema avaliativo debería permitir o aliñamento da estratexia externa coa da propia institución e estar orientado á consecución de recursos económicos/reputacionais ligados ao impacto social que persegue a institución.

Xa nas conclusións, Emilio Delgado destacou o feito de que todos os xestores das Universidades aliñan os seus obxectivos para mellorar nos rankings, porque a boa presencia nestes é unha ferramenta de márketing e atracción. Mais estes ránkings baséanse no número de publicacións polo que finalmente, pregúntase… somos capaces de evitar que os rankings gobernen as estratexias das Universidades?

Para rematar, gustaríanos deixar reflectidas algunhas frases que ben valerían como titulares destacados, e que resumen moitas das ideas compartidas na mesa:

• “O Impact Factor todo o da, ou todo o quita” (E. Delgado -EPI)
• “Firmamos Dora porque é inxusto usar a bibliometría para avaliar aos investigadores, sobre todo aos noveis” (V. Ley -AEI)
• “Temos tesoiras de xénero, e non só en España, tamén en Europa, con apenas un 19% de mulleres que acceden ao máis alto da carreira investigadora” (P. Martínez -UOC)
• “A distorsión da práctica científica é un efecto secundario que o noso sistema científico non se pode permitir” (S. Chávez -AAC)
• “Os avaliadores confunden as métricas coa contribución científica” (J. Llorens -CNAI)
• “A avaliación precisa dunha ventá temporal que non prexudique a novidade. Debemos avaliar cara o futuro, non só o pasado” (G. León -UPM)
• “Dora é incompatible con calquera métrica de revistas, porque estas métricas son, en xeral, mala Bibliometría” (I. Aguillo  -CSIC)
• “As universidades teñen a opción de cambio cando recrutan ao seu PDI. Pero ás veces o problema é que existe debilidade institucional ao definir as propias políticas” (G. León -UPM)
• “O que se contrata son galiñas poñedoras de papers, ás que se lles ensina xa no doutoramento, co obxectivo de progresar nos ránkings” (E. Delgado -EPI)

Referencias

Delgado-López-Cózar, Emilio; Ràfols, Ismael; Abadal, Ernest (2021). “Letter: A call for a radical change in research evaluation in Spain”. Profesional de la información, v. 30, n. 3, e300309.
https://doi.org/10.3145/epi.2021.may.09

Delgado-López-Cózar, Emilio; Ràfols, Ismael; Abadal, Ernest (2021). Acerca de… Por un cambio en la evaluación cientifica. https://www.poruncambioenlaevaluacioncientifica.es/2021/07/01/evaluacion-ciencia-debate/

Dende a BUSC levamos tempo ofertando información sobre as crises relativas ao modelo de avaliación científica. Falamos, por exemplo, do Manifesto de Leiden , da importancia de axustar tamén os criterios sobre revistas e os cuartís, ou os problemas derivados da revisión por pares, moi relacionada co debate que vos traemos hoxe.