La reforma de la actividad investigadora: cambio de reglas
Varias iniciativas internacionales llevan años reclamando que en la evaluación de los trabajos científicos se utilicen nuevos parámetros
Históricamente, la consecución de una investigación o avance científico se ha mostrado a la sociedad al publicar una monografía o un artículo en una revista. Desde hace muchos años la actividad investigadora se evalúa por parte de agencias e instituciones nacionales o regionales, o por instituciones de educación superior, principalmente mediante datos numéricos de las publicaciones del investigador. Estos datos numéricos o métricas provienen tanto de la ubicación de la revista en diferentes rankings o índices que se ha elegido para publicar o divulgar un texto, como del número de las citas bibliográficas que el texto ha recibido de colegas. En definitiva, se basa en indicadores cuantitativos.
No cabe duda de que los números arrojan datos objetivos que, con una aparente simplicidad en los procesos de evaluación, ayudan a las agencias de acreditación, a organismos de financiación e instituciones a valorar a decenas de miles de docentes e investigadores. Pero también las métricas se emplean en la evaluación de los títulos académicos y los grupos y proyectos de investigación.
Los índices cuantitativos, después de varias decenas de años aplicándose en un amplio conjunto de los procesos de evaluación de la actividad investigadora de muchos países, pueden presentar defectos, reduccionismos y limitaciones para una gran parte de la comunidad científica mundial. Por ejemplo, no suelen valorarse los sesgos lingüísticos, ni la cobertura de disciplinas y geográfica que se soporta, no se reconoce la diversidad de contribuciones que puede hacer la investigación ni la importancia de los diferentes roles y carreras, etc. En consecuencia, la evaluación de la investigación debe llevarse a cabo de manera responsable y debe incluir conceptos como la solidez, la transparencia, la diversidad y la reflexividad. Y, por tanto, la evaluación cuantitativa debe respaldar a la evaluación cualitativa de expertos.
Ahora bien, el gran avance científico de los últimos años ha originado múltiples formas de generar el conocimiento (a través congresos, periodismo, de redes sociales, foros científicos, canales de vídeo tipo Youtube, webs o blogs, por ejemplo). Por ello, varias iniciativas y manifiestos internacionales llevan años creando conciencia sobre los problemas de la evaluación de la investigación. Por ejemplo, a través de la declaración de San Francisco (DORA) en el año 2012, el Manifiesto de Leiden en 2015, The metric tide en 2015, etc. Asimismo, en 2018, a través del Consejo Europeo de Investigación, se puso en marcha el Plan S, una iniciativa para el acceso abierto de las publicaciones, en donde la ciencia debe ser con y para la sociedad. Hoy día, las reglas de evaluación de la investigación no siempre están alineadas con los principios de la ciencia abierta, la calidad e integridad.
Para solventar las limitaciones y reconocer la diversidad de roles de la investigación, parece que la tendencia europea se dirige hacia una evaluación cualitativa respaldada por el uso responsable de indicadores cuantitativos.
Parece que el último peldaño para que la reforma de la evaluación de la investigación se consolide y se ponga en marcha ha sido impulsado por la Comisión Europea, Science Europe y la Asociación Europea de Universidades (EUA), conocedores de los límites intrínsecos de los métodos de evaluación actuales. A través de ellos, un gran número de organizaciones se comprometieron a redactar las líneas para reformar los sistemas de evaluación de la investigación. El trabajo dio como resultado un acuerdo y la formación de la Coalición para el Avance de la Reforma de la Evaluación (CoARA). Estableciendo un marco común para los procesos de evaluación de la actividad investigadora, del personal y de las organizaciones e instituciones que realizan la investigación, con el fin de maximizar su calidad e impacto y ampliar el reconocimiento a todos los actores de la actividad. Diez son los compromisos, que van desde la revisión de los criterios y procesos de evaluación, el reconocimiento de la diversidad de contribuciones de acuerdo con las necesidades, el aumento de la evaluación cualitativa hasta el intercambio de experiencias y la comunicación de los avances. Parece que el acuerdo va en serio porque ya desde finales de noviembre han firmado cerca de 450 instituciones europeas y más de 40 son españolas.
Ahora bien, existen inconvenientes que no deben pasarse por alto para favorecer el establecimiento del proceso. Por ejemplo, las evaluaciones cualitativas son costosas y requieren tiempo; el juicio humano debe ser transparente y eliminar el anonimato, esto puede subvertir el proceso y desincentivar a los revisores y evaluadores; estos, además, deben instruirse sobre las particularidades de las métricas, sobre la multidimensionalidad de la investigación e impacto y productos de investigación proporcionados, las disciplinas analizadas, incluso, será ineludible valorar la situación de vida de los candidatos (por ejemplo, edad académica o etapa profesional); y por último, se debe tener presente la necesaria colaboración entre áreas o departamentos, instituciones (como la biblioteca, servicios de investigación, vicerrectorados, etc.) y agencias evaluadoras.
Todas las consideraciones expuestas nos llevan a concluir que la evaluación de la actividad investigadora es necesaria. Tanto el contexto nacional como el espacio europeo de investigación así lo requieren y, por ello, para calcular el rendimiento y calidad de la ciencia, medir la productividad, tomar decisiones políticas, rendir cuentas y asegurar fondos, es necesario seguir mejorando y superar los problemas existentes en la actualidad. Solo el trabajo conjunto del colectivo lo favorecerá.
Juan José Prieto es Profesor de la Universidad Complutens