Cómo Medir el Impacto de la Investigación

Existen múltiples indicadores utilizados para la evaluación de la Investigación y la medición del rendimiento de revistas, instituciones, países y grupos de investigación. Estos indicadores están principalmente basados ​​en el número de citas que reciben las publicaciones en un determinado lapso.

Desde el comienzo del siglo XXI, las bases de datos de citas basadas en la web, como Scopus y Web of Science, y motores de búsqueda de citas como Google Scholar y Microsoft Academic Search son utilizados para obtener indicadores de este tipo.

Indicadores bibliométricos tradicionales

Comúnmente encontramos los siguientes tipos de indicadores:

Tipos de indicadores

Tipo de métrica

Descripción

Diferencias entre fuentes

Limitaciones y aspectos a considerar

Ejemplos de fuentes

Recuento de citas

Mide cuántas citas ha recibido una contribución o publicación en el contexto de una base de datos. Se limita a un lapso determinado según la fórmula del indicador.

Las diferentes fuentes proporcionan diferentes recuentos de citas, dependiendo de su cobertura.

Ninguna fuente única abarca todas las publicaciones o todas las citas.

Mide cuánto ha sido nombrada una contribución en la literatura académica.

Las citas pueden aumentar porque se está mencionando la mala calidad de un trabajo o se están discutiendo hallazgos controvertidos.

Los investigadores citan de manera diferente en diferentes campos del conocimiento. Solo se puede comparar recuentos de citas para publicaciones en campos similares.

Google Scholar: presenta los resultados ordenados por cantidad de citas recibidas.

 

Google Scholar: Indica las publicaciones que se han citado al menos 10 veces.

 

Microsoft Academic

 

Scopus

Métricas por publicación

Considera las citas en todos los artículos dentro de una revista o conferencia, durante un período de tiempo específico dentro de una fuente especificada.

Diferentes fuentes proporcionarán diferentes métricas, valores y clasificaciones.

No todas las revistas y conferencias se abarcan en todas las fuentes.

Las métricas de conferencias suelen estar mejor cubiertas por Google Scholar.

Representa el rendimiento general de las citas pasadas, lo que constituye un mal predictor de rendimiento de citas de artículos futuros.

Se basa en citas promedio, un pequeño número de artículos altamente citados puede inflar las métricas.

Los investigadores citan de manera diferente en diferentes campos. Se debe verificar si la métrica que consulta está ponderada, es decir, si tiene en cuenta el campo de la revista.

SNIP, SJR y CiteScore de Scopus Journal

 

Impact Factor (JIF) en Web of Science

Métricas para libros

Equivalente a las métricas por contribución

Las diferentes fuentes proporcionan diferentes recuentos de citas, dependiendo de su cobertura.

Cobertura limitada de publicaciones en idiomas distintos al inglés.

La cobertura es mejor en ciencias exactas y aplicadas. Esta es más débil en disciplinas de las artes y humanidades.

Las métricas deben ser consultadas complementando la información con otras medidas de calidad para evaluar el impacto, por ejemplo, las reseñas.

Una pequeña cantidad de libros publicados están indexados en Scopus y

Web of Science.

Índice H y derivados

Vinculan de diferentes maneras la producción con el recuento de citas.

Es recomendable tener perfil en ORCID para que las plataformas calculen el índice H.

Las diferentes fuentes proporcionan diferentes índices H, dependiendo de su cobertura.

No debe usarse de forma aislada: la opinión de expertos y la revisión por pares son fundamentales para contextualizar los valores.

Los investigadores citan de manera diferente en diferentes campos. Solo se pueden comparar investigadores en campos similares y en etapas similares de sus carreras.

 

Google Scholar H5

 

Scopus

 

WoS

 

 

De los indicadores mencionados en la tabla, los más utilizados son:

Índice H

El índice H pretende medir simultáneamente la calidad y la cantidad de la producción científica. Se calcula con base en la distribución de las citas que han recibido los trabajos científicos de un investigador. Expresa lo siguiente: un científico tiene índice H si ha publicado H trabajos con al menos H citas cada uno.

Este índice se usa para comparar el impacto de la publicación de investigadores o revistas, pero solo dentro de la misma disciplina, ya que las prácticas de publicación y citas difieren entre disciplinas.

Existen variaciones en el índice H. Por ejemplo, el índice H5 es el índice H de los artículos publicados en los últimos cinco años completos, lo que podría ser una medida más justa para los investigadores nuevos y emergentes. También hay otros índices basados en H.

Factor de Impacto (JIF)

Se genera desde la base de datos Journal of Citation Reports (JCR), publicada anualmente en la plataforma Web of Science de Clarivete Analytics. Este factor se basa en el número de citas recibidas por los artículos publicados en cada revista incluida en la base de datos del JCR, en los últimos dos años.

Para conocerlo se debe acceder a JCR.

SJR Indicator

El SCImago Journal & Country Rank (SJR) es un portal en línea que proporciona indicadores para evaluar investigaciones científicas publicadas en revistas académicas e indexadas en la base de datos Scopus de Elsevier.

El indicador SJR pondera las citas según la revista donde se hacen. Este portal permite el análisis, el seguimiento y la evaluación de revistas científicas, por un lado, y de los sistemas científicos nacionales, por el otro.

Es de acceso libre para la comunidad mundial, sin que se solicite el registro de un usuario.

Cuartiles

Las revistas se ordenan en un ranking por su IF y luego se divide la lista en cuatro zonas iguales o cuartiles. El superior o Q1 es el más ambicionado. Esta categorización puede obtenerse con datos de WoS o de Scopus.

SNIP

El Source Normalized Impact per Paper (SNIP) mide el impacto de citas contextuales al ponderar las citas basadas en el número total de citas en un campo temático, utilizando datos de Scopus. Esto corrige las diferencias en las prácticas de citas entre campos científicos, lo que permite comparaciones entre diversos campos.

EigenFactor

Se basa en el número de veces que los artículos publicados en los últimos cinco años han sido citados en el presente año. Se diferencia de JIF básicamente en que abarca citas entre disciplinas, no cuenta las autocitas y pondera las citas según la revista donde se hacen.

Como JIF, trabaja con los datos de Web of Science, pero está disponible en forma gratuita.

Indicadores alternativos

Con el desarrollo de la web y las publicaciones digitales, surge una alternativa a las métricas convencionales: las Altmetrics. Hoy en día pueden medirse el número de lectores, las descargas, las etiquetas utilizadas, los marcadores o favoritos, los comentarios e hilos de comentarios, los blogs, los tweets y los likes, entre otras formas de reaccionar a una publicación.

Indicadores alternativos

AltMetrics

ImpactStory

Plum Analytics

 

Estas métricas se perfilan como nuevas herramientas para evaluar el impacto y la influencia que los investigadores tienen sobre sus colegas y la sociedad.

Ventajas

Desventajas

Particularmente útil para medir el nivel de reacción de la comunidad frente a resultados de investigación no tradicionales, o para medir la participación de audiencias no académicas, lo que no se detecta fácilmente a través de la bibliometría tradicional.

Son datos de disponibilidad inmediata, a diferencia de los indicadores basados en citas que pueden tardar años en aparecer.

Algunas bases de datos las integran en la información entregada.

Los puntajes Altmetrics no son significativos de forma aislada. Es necesario proporcionar un contexto, por ejemplo, indicar qué contribuciones tienen más "likes", cuáles han sido más descargadas o mencionadas en Twitter.

Cada proveedor de altmetrics solo rastrea ciertas fuentes o canales de difusión.

Se requiere un DOI u otro identificador para rastrear la difusión.

No podemos saber si la mención o marca fue positiva o negativa.

 

Bibliografía