43
II. Altmetrics 3 Ventajas y limitaciones Curso de Altmetrics para bibliotecarios by Nieves González - Fernández - Villavicencio y Víctor Moya - Orozco is licensed under a Creative Commons Reconocimiento 4.0 Internacional License . Nieves González @nievesglez Víctor Moya @vicmoyoro Sevilla, 24 de mayo de 2016

II. Altmetrics (parte 3)

Embed Size (px)

Citation preview

Page 1: II. Altmetrics (parte 3)

II. Altmetrics 3Ventajas y limitaciones

Curso de Altmetrics para bibliotecarios by Nieves González-Fernández-Villavicencio y Víctor Moya-Orozco is licensed under a Creative Commons

Reconocimiento 4.0 Internacional License.

Nieves González @nievesglez

Víctor Moya @vicmoyoroSevilla, 24 de mayo de 2016

Page 2: II. Altmetrics (parte 3)

I. Visibilidad

I.1. Introducción: Ciencia 2.0 (0’20)

Estrategia para mejorar la

visibilidad (0’20)

Actividad 1 (0’30)

I.2. Perfiles de investigador (0’30)

Actividad 2 (0’30)

I.3. Herramientas para mejorar la

visibilidad (0’20)

II. Altmetrics

II.1. Introducción: bibliotecarios y

métricas (0’10). Entendiendo

altmetrics (1h)

Altmetrics en la práctica. Actividad

3 (0’30)

II.2. Altmetrics para conocer el

impacto del investigador e

institucional. Actividad 4 (0’45)

II.3 Ventajas y problemas (0’20)

II.4. Conclusiones (0’20)

Page 3: II. Altmetrics (parte 3)

Ventajas

Page 4: II. Altmetrics (parte 3)

Diversidad

No sólo son capaces de ofrecer

información sobre publicaciones científicas,

sino también sobre otro tipo de resultados

de investigación, como conjuntos de datos,

presentaciones, software, etc. Disciplinas

como Humanidades y Ciencias Sociales,

que basan su producción científica en

monografías, pueden obtener más datos

sobre ellas que el simple prestigio editorial.

Page 5: II. Altmetrics (parte 3)
Page 6: II. Altmetrics (parte 3)

Otros impactos

Algunos indicadores altmétricos pueden

ofrecer no sólo información sobre el

impacto de la investigación en un entorno

académico, sino también en otros públicos

(por ejemplo, en noticias de medios de

masa, o uso en la elaboración de

documentos legislativos...).

Permiten conocer otros impactos: social,

económico, medioambiental, etc.

Page 7: II. Altmetrics (parte 3)

Tipos de impacto

'La contribución demostrable que una investigación de excelencia hace a la sociedad y la economía”

http://www.esrc.ac.uk/research/evaluation-and-impact/what-is-impact/

Impacto social

Impacto cultural

Impacto medioambiental

Impacto económico

Impacto en la investigación

Impacto en los investigadores

Impacto en la ciencia

Otros impactos

Page 8: II. Altmetrics (parte 3)

Amplian la imagen del impacto de la

investigación, ya que complementan a

otras métricas a la hora de conocer cómo

está siendo aceptada por diversos tipos de

público.

Imagen más amplia del impacto

Page 9: II. Altmetrics (parte 3)

Van al grano

Al contrario que otros indicadores

bibliométricos, que se basan en el impacto

de la revista, las altmetrics miden el

impacto del artículo individualmente,

mostrando una imagen más real.

Page 10: II. Altmetrics (parte 3)

Inmediatez

Frente a la demora que suponen algunas

métricas tradicionales, para las que hay

que esperar hasta dos años desde la

publicación del artículo, las altmetrics

pueden ofrecer información desde el

mismo momento de la publicación. De la

misma forma, esperar citas es

especialmente problemático para los

nuevos investigadores que tratan de

hacerse un hueco en su campo.

Page 11: II. Altmetrics (parte 3)

Inmediatez

Page 12: II. Altmetrics (parte 3)

Las bellas durmientes de la ciencia

Las bellas durmientes son esos

artículos que, una vez publicados,

pasan desapercibidos para su

audiencia potencial y que años

después de repente despiertan

interés en su ámbito.

Las altmetrics podrían combatir

este problema, ya que se pueden

utilizar en sistemas de

recomendación automática para

ofrecer artículos relacionados

basándose en ellas.

http://www.pnas.org/content/112/24/7426.abstract

Page 13: II. Altmetrics (parte 3)

Entorno

Los datos altmétricos pueden verse en su

entorno y contexto, dando la posibilidad de

revisar inmediatamente si el impacto de un

artículo es positivo o negativo, permitiendo

al autor que puede corregir posibles

malentendidos o malos usos y responder

directamente.

Page 14: II. Altmetrics (parte 3)

Visibilidad

Altmetrics pueden ayudar a los autores a

hacer un seguimiento de la difusión de su

resultados de investigación y les permiten

tomar decisiones inmediatas para obtener

mayor visibilidad.

Page 15: II. Altmetrics (parte 3)

Limitaciones y retos futuros

Page 16: II. Altmetrics (parte 3)

Falta de normalización

Las altmetrics presentan problemas de

normalización, tanto en el aspecto de su

recopilación como en el de su uso en la

evaluación científica.

Reto: Organizaciones como NISO están

trabajando en recomendaciones para la

elaboración de estas métricas basadas en la

transparencia y definición de los datos o la

existencia de identificadores únicos.

Page 17: II. Altmetrics (parte 3)
Page 18: II. Altmetrics (parte 3)

Falta de regulación

No están reguladas: al tratarse de

indicadores que proceden, en muchos

casos, de herramientas poco controladas,

pueden dar lugar a la manipulación y

falsificación. Las métricas tradicionales no

están libres de este problema.

Reto: detectar la manipulación es posible,

detectando bots o picos extraños en la citación

social de un artículo. Los proveedores de

altmetrics deben trabajar este aspecto.

Page 19: II. Altmetrics (parte 3)

Fiabilidad

Aunque la mayoría de las altméticas

pueden indicar popularidad, no está tan

claro que sirvan para medir la calidad

científica.

Reto: es necesario definir los diferentes

impactos que muetran las altmetrics, ya

que el hecho de no indicar impacto

científico no les quita importancia como

métricas complementarias.

Page 20: II. Altmetrics (parte 3)

Tiempo y dificultad

La cantidad de medios sociales que

pueden utilizarse para obtener altmetrics

hacen difícil y costoso su recopilación e

interpretación.

Reto: Los proveedores de altmetrics ya

están reduciendo este problema, pero aún

es pronto. Estos sistemas tienen que

mejorar para proveer altmetrics que

puedan ser fácilmente recuperables,

identificables e interpretables.

Page 21: II. Altmetrics (parte 3)

Fragilidad de los medios sociales

Los medios sociales presentan una

fragilidad que afecta a la recopilación de

altmetrics. Tienen un ciclo de vida difícil de

predecir y pueden desaparecer en

cualquier momento (Connotea) o pueden

cambiar sus políticas rápidamente y afectar

a los datos que aportan.

Reto: la diversidad de fuentes, la selección

de las más perdurables y la implicación de

los desarrolladores de medios sociales

permitirán un mejor entendimiento de las

altmetrics y una mayor perdurabilidad.

Page 22: II. Altmetrics (parte 3)

Aceptación

En España, las altmetrics no están siendo

tenidas en cuenta en la evaluación de los

investigadores. Aunque cada día más

organismos de financiación y evaluación

las están adoptando como métricas

alternativas e introduciendo el concepto de

“impactos” (pl.) en el extranjero.

Reto: los organismos de evaluación y

financiación deben estudiar el mejor modo

de implementarlas en sus procesos,

teniendo en cuenta que ya se empiezan a

tener en cuenta conceptos como el Acceso

Abierto.

Page 23: II. Altmetrics (parte 3)

Entorno

El uso de medios sociales, del que parten

los datos altmétricos, pueden variar según

la disciplina, la ubicación geográfica y a lo

largo del tiempo.

Reto: es necesario seguir desarrollando

herramientas de benchmarking que

permitan comparar los resultados según

diferentes contextos, como ya está

haciendo Snowball Metrics. Por otra parte,

las métricas tradicionales no están libres

de esta limitación.

Page 24: II. Altmetrics (parte 3)

Falta de correlación

Los estudios sobre altmetrics desarrollados

hasta la fecha no demuestran una clara

correlación entre citas y datos altmétricos. Esta

correlación, aunque importante, no debe ser

determinante, ya que lo que si muestran los

estudios es que estas métricas complementan

al ofrecer otros datos que las tradicionales no

ofrecen.

Reto: la correlación puede ir aumentando con el

aumento de la masa crítica de investigadores en

medios sociales, con el uso de herramientas

altmétricas para la búsqueda y recuperación de

información o con un mayor entendimiento de su

significado. Hay que entender que son datos

complementarios y que la correlación nosiempre es

necesaria.

Page 25: II. Altmetrics (parte 3)

Uso e impacto. Correlaciones

Page 26: II. Altmetrics (parte 3)

● Google Scholar Citations (GSC) es la plataforma más utilizada seguida por

ResearchGate (que está creciendo).

● Mendeley, ResearcherID y Twitter tienen un gran crecimiento pero muchos de

sus perfiles están vacíos.

Crecimiento de la masa crítica

Martin-Martin, A., Orduna-Malea, E., Ayllon, J. M., & Lopez-Cozar, E. D. (2016). The counting house: measuring those who count. Presence of Bibliometrics,

Scientometrics, Informetrics, Webometrics and Altmetrics in the Google Scholar Citations, ResearcherID, ResearchGate, Mendeley & Twitter. EC3 Working

papers, 21. http://arxiv.org/abs/1602.02412

Page 27: II. Altmetrics (parte 3)

● Los indicadores de GSC (índice h y 5 años) correlacionan muy bien con el

resto de indicadores de publicación, cita o uso, pero no con los indicadores de

conectividad, como seguidores en Twitter, ResearchGate o Mendeley.

● En ResearchGate, el RG Score, su indicador estrella, correlaciona bien con los

demás indicadores basados en citas (GSC).

● ResearchID se encuentra separado del resto de las métricas de citas (GSC y

RG).

● Mendeley y su indicador readers correlaciona bien con indicadores de total de

publicaciones (a más publicaciones, más lectores), con RG Score, y h index y

total de citas de GSC.

● Mendeley tiene una correlación muy fuerte con las citas tradicionales (Suiter &

Moulaison, 2015).

Correlación con otras métricas

Martin-Martin, A., Orduna-Malea, E., Ayllon, J. M., & Lopez-Cozar, E. D. (2016). The counting house: measuring those who count. Presence of Bibliometrics,

Scientometrics, Informetrics, Webometrics and Altmetrics in the Google Scholar Citations, ResearcherID, ResearchGate, Mendeley & Twitter. EC3 Working

papers, 21. http://arxiv.org/abs/1602.02412

Page 28: II. Altmetrics (parte 3)

Mendeley:

Estadísticas

de

correlación

con Scopus

Page 29: II. Altmetrics (parte 3)
Page 30: II. Altmetrics (parte 3)

● Las métricas de Twitter se separan de las demás. Miden otra dimensión de la

actividad social de los investigadores.

● Twitter tiene una correlación más baja con las citas que Mendeley (Suiter &

Moulaison, 2015).

● Sin embargo, Twitter puede predecir artículos altamente citados en los tres

primeros días de la publicación del artículo = Twimpact factor (Eysenbach,

2011).

● Todas las métricas de conectividad social (seguidores) correlacionan entre si

(Mendeley, Twitter y RG).

Correlación con otras métricas

Martin-Martin, A., Orduna-Malea, E., Ayllon, J. M., & Lopez-Cozar, E. D. (2016). The counting house: measuring those who count. Presence of Bibliometrics,

Scientometrics, Informetrics, Webometrics and Altmetrics in the Google Scholar Citations, ResearcherID, ResearchGate, Mendeley & Twitter. EC3 Working

papers, 21. http://arxiv.org/abs/1602.02412

Page 31: II. Altmetrics (parte 3)

Ortega, José Luis.

«Relationship between

altmetric and

bibliometric indicators

across academic social

sites: The case of

CSIC’s members».

Journal of Informetrics,

2015, v. 9, n. 1, pp. 39-

49

Correlación entre perfiles de investigador

Page 32: II. Altmetrics (parte 3)

● El uso de medios sociales incrementa las citas o refleja las cualidades del

artículo, que además predice las citas. (Eysenbach, 2011)

● El verdadero uso de estas métricas es para medir el impacto social, cuyas

medidas se proponen como complementos a las métricas de citas tradicionales

(Eysenbach, 2011; Martín-Martín et al., 2016).

Significados de las correlaciones

Page 33: II. Altmetrics (parte 3)

Dos clases de impacto en la web:

1. Las ligadas al impacto académico y

2. Las asociadas con la conectividad y popularidad (followers). Divididas en:

a. métricas de uso: visualizaciones y descargas.

b. métricas de citación: Correlación muy alta entre todas las métricas de

GSC, RG Score y readers de Mendeley.

Page 34: II. Altmetrics (parte 3)

Estudio de correlaciones entre altmétricas y métricas tradicionales.

(Suiter & Moulaison, 2015)

Twitter tiene una correlación más baja con las citas

Artículos en PubMed tienen una alta correlación con Blogs, Facebook y

Twitter

En general, baja correlación con medios sociales, excepto Twitter

Page 35: II. Altmetrics (parte 3)
Page 36: II. Altmetrics (parte 3)

Resultados del estudio sobre uso de Altmetrics

https://101innovations.wordpress.com/press/

Page 37: II. Altmetrics (parte 3)

II. Altmetrics 4Conclusiones y debate

Page 38: II. Altmetrics (parte 3)

Conclusiones y debate

- Surgen ante el descontento de cierto sector la comunidad científica a las formas de

evaluación basadas en citas y al JIF.

- Miden impactos diferentes a las métricas tradicionales.

- Por eso, aunque nacen como alternativas, se han dirigido más a un uso como cmétrica

complementarias de las tradicionales.

- Comienzan a ser tenidas en cuenta por evaluadores y organismos de financiación

(especialmente en EE.UU.).

- Existen muchas herramientas para evaluar las altmetrics (fuentes y proveedores).

- Las altmetrics irán cobrando importancia conforme aumente la masa crítica de investigadores

en medios sociales.

Las altmetrics

Page 39: II. Altmetrics (parte 3)

Conclusiones y debate

Los bibliotecarios y las altmetrics

- Los bibliotecarios que ofrecen servicios a los investigadores deben conocerlas para

asesorarles y monitorizar los impactos de la actividad científica de la institución.

- Deben conocer las herramientas de medición disponibles (gratuitas o suscritas) para asesorar

a los investigadores a mejorar sus altmetrics.

- Deben saber cómo integrarlas en la evaluación global de la producción científica de los

investigadores.

- Son puentes entre los proveedores

- Deben saber interpretarlas y explicar su función en los productos de información que las

integran.

Page 40: II. Altmetrics (parte 3)

González-Fernández-Villavicencio, N., Domínguez-Aroca, M.-I., Calderón-Rehecho, A., & García- Hernández, P. (2015). ¿Qué papel juegan

los bibliotecarios en las altmetrics? Anales de Documentación, 18(2). http://doi.org/10.6018/analesdoc.18.2.222641

Page 41: II. Altmetrics (parte 3)

González-Fernández-Villavicencio, N., Domínguez-Aroca, M.-I., Calderón-Rehecho, A., & García- Hernández, P. (2015). ¿Qué papel juegan

los bibliotecarios en las altmetrics? Anales de Documentación, 18(2). http://doi.org/10.6018/analesdoc.18.2.222641

Page 42: II. Altmetrics (parte 3)

González-Fernández-Villavicencio, N., Domínguez-Aroca, M.-I., Calderón-Rehecho, A., & García- Hernández, P. (2015). ¿Qué papel juegan

los bibliotecarios en las altmetrics? Anales de Documentación, 18(2). http://doi.org/10.6018/analesdoc.18.2.222641

Page 43: II. Altmetrics (parte 3)

González-Fernández-Villavicencio, N., Domínguez-Aroca, M.-I., Calderón-Rehecho, A., & García- Hernández, P. (2015). ¿Qué papel juegan

los bibliotecarios en las altmetrics? Anales de Documentación, 18(2). http://doi.org/10.6018/analesdoc.18.2.222641