¿Para qué sirve la investigación? El papel de los indicadores (bibliométricos)

Siempre me ha resultado sorprendente que la comunidad científica, siendo tan rigurosa y exigente en cuanto a la admisión de trabajos en sus respectivos ámbitos, se conforme con datos tan poco congruentes como los rankings elaborados a partir de indicadores blibiométricos. El creciente interés por parte de científicos y políticos de la ciencia en estos ránkings me parece preocupante. Estos listados simplifican en una dimensión una compleja realidad y presentan sin ningún rubor listados organizaciones de la más diversa naturaleza (peras y manzanas no son comparables).

Hace años, tuve la oportunidad de hacer uno de esos rankings. Concretamente uno sobre instituciones e investigadores españoles en Economía. Mi experiencia con este trabajo me llevó a tres conclusiones:

1. Los resultados de los rankings dependen de muchos factores capaces de modificar las posiciones incluso en los primeros puestos.
2. Es absurdo presentar un único ránking basado en un criterio "factorial". Es preferible utilizar varios criterios para que puedan valorarse los resultados atendiendo a cada uno de ellos.
   
3. Por muy riguroso y prudente que seas en la metodología explicando todos los inconvenientes de los datos empleados, los lectores del ránking sólo miran la posición que ocupan ellos así como sus "adversarios".
   

Personalmente, no creo que la ciencia deba medirse desde una perspectiva única. Eso va en contra del propio método científico. Como apuntaba Ben Martin hace algunos años, los indicadores, como medidas parciales que son, deben ser complementarios entre sí.

Me preocupa que asumiendo los indicadores bibliométricos como estándar para medir la ciencia, las políticas de investigación, esto es, la asignación de recursos públicos, está basada en una dimensión que presenta sesgos importantes. A mi modo de ver, financiar la ciencia en base a indicadores bibliométricos contribuye a mejorar la producción científica, pero no a que ésta tenga mayor repercusión social. Sería equivalente a que un médico nos diagnosticase a partir de un análisis clínico que sólo ofreciese información del nivel de hematíes.

Quizás sea el momento de considerar otros indicadores y métodos de evaluación capaces de medir resultados más orientados a las necesidades sociales.

Referencias:

1. The use of multiple indicators in the assessment of basic research. BR Martin - Scientometrics, 1996

2. Publishing performance in economics: Spanish rankings (1990–1999). JJ Dolado, A García-Romero, G Zamarro - Spanish Economic Review, 2003
   

Saludos,