Ensayos

Web of Science como herramienta de investigación y apoyo a la actividad científica: luces y sombras de sus colecciones, productos e indicadores

Web of Science as a research tool and support for scientific activity: lights and shadows of their collections, products and indicators

Orlando Gregorio-Chaviano
Pontificia Universidad Javeriana, Colombia
Evony Katherine López Mesa
Universidad La Gran Colombia, Colombia
Cesar H. Limaymanta
Sociedad Científica de Bibliometría y Cienciometría y Universidad Nacional Mayor de San Marcos, Perú

Web of Science como herramienta de investigación y apoyo a la actividad científica: luces y sombras de sus colecciones, productos e indicadores

Revista e-Ciencias de la Información, vol. 12, núm. 1, pp. 134-157, 2022

Universidad de Costa Rica

Recepción: 19 Abril 2021

Corregido: 18 Octubre 2021

Aprobación: 20 Octubre 2021

Resumen: Se realiza una descripción de las colecciones, productos e indicadores bibliométricos de Web of Science, con especial énfasis en su utilidad e importancia en actividades de evaluación científica. Se exponen además sus principales limitaciones de cobertura y de indicadores, que impactan en el análisis de la producción científica en países y/o regiones periféricas y en áreas del conocimiento con menor representación en la fuente. También se comentan los aportes específicos de la base de datos en las distintas actividades y fases de la investigación científica como investigadores, revistas, grupos editoriales y bibliotecas. En concreto, se muestra el volumen de datos, se detallan sus colecciones, productos e indicadores, junto a la valoración de algunos aspectos en lo positivo y negativo. Se realizan comparativos con otras fuentes de información existentes en el mercado de la investigación científica y que igualmente permiten la realización de investigación bibliométrica, brindando al lector una importante caracterización de la herramienta y sus competidores, que ayude a conocer sus perspectivas de uso dentro del escenario de investigación. Las ideas desarrolladas y sistematizadas en el texto, permiten concluir que, a pesar de la relevancia de la misma para la actividad científica en distintos niveles y agregados, los sesgos de sus indicadores, la imposibilidad de acceso a la fuente en muchas instituciones y la existencia de otras herramientas con similares prestaciones y facilidades de uso, son aspectos que se deben tener en cuenta porque inciden en su aplicación, uso futuro y permanencia en el ecosistema de investigación.

Palabras clave: Web of science, Bibliometría, Indicadores Bibliométricos, Evaluación científica, Revistas, Bases de datos bibliográficas.

Abstract: A description of the collections, products and bibliometric indicators of Web of Science is made, with special emphasis on its usefulness and importance in scientific evaluation activities. The main limitations of coverage and indicators, which have an impact on the analysis of scientific production in peripheral countries and/or regions and in areas of knowledge with less representation in the source, are also discussed. The specific contributions of the database to the different activities and phases of scientific research, such as researchers, journals, publishing groups and libraries, are also discussed. Specifically, the volume of data is shown, its collections, products and indicators are detailed, together with the evaluation of some positive and negative aspects. Comparisons are made with other sources of information existing in the scientific research market, which also allow bibliometric research to be carried out, providing the reader with an important characterization of the tool and its competitors, which helps to know its perspectives of use within the research scenario. The ideas developed and systematized in the text lead to the conclusion that despite its relevance for scientific activity at different levels and aggregates, the biases of its indicators, the impossibility of accessing the source in many institutions and the existence of other tools with similar features and ease of use, are aspects that should be taken into account because they affect its application, future use and permanence in the research ecosystem.

Keywords: Web of Science, Bibliometric, Bibliometric Indicators, Scientific Evaluation, Journals, Bibliographic databases.

1. Introducción

Dentro de las actividades de gestión y evaluación de la actividad científica, la calidad y resultado final de los procesos de investigación, dependen entre otros aspectos de las fuentes de información y las bases de datos utilizadas. En dichos procesos intervienen entre otros, universidades, grupos de investigación, investigadores, editoriales, bibliotecas. Todos utilizan no solo la información registrada en índices y bases de reconocido prestigio, sino que también se sustentan en una correcta planeación, gestión y conocimiento de los entornos en que se desarrolla el proceso científico.

La actividad científica actual está marcada por la amplia diversidad de métodos y procesos de evaluación. Por ello, se necesita de una correcta gestión de la información, de la investigación científica y del uso de modelos de evaluación ajustados a necesidades y contextos, además de conocimiento sobre los métodos bibliométricos, indicadores y bases de datos que cubran los distintos ámbitos científicos con información amplia y de calidad.

Con relación a las bases de datos, debe tenerse en cuenta la cobertura disciplinar como de las regiones, los procesos de evaluación e inclusión de revistas, sus posibilidades de recuperación, exportación y gestión de información, elementos que en ocasiones determinan la calidad, prestigio y relevancia de las mismas, así como los resultados finales en la investigación. Sin embargo, debemos mencionar que los altos costos económicos de suscripción de las de mayor reconocimiento internacional, imposibles para muchas instituciones, impacta en los resultados científicos, situación ya menos marcada por la llegada de fuentes en abierto y con prestaciones bibliométricas.

Aunque el mercado de bases de datos que posibilitan la búsqueda y recuperación de información, ofrecen acceso a citas y cuentan con posibilidades bibliométricas es amplia, los mayores competidores de Web of Science (WoS en adelante) y Scopus, actualmente son Google Scholar y Dimensions. Sin embargo, otras como Lens, 1findr y Microsoft Academic Search, igualmente contribuyen con la mejora de la evaluación científica y han dinamizado de alguna manera el ecosistema científico actual (Castelló-Cogollos et al, 2018).

Al igual que WoS, Scopus es una base de datos basada en suscripción con un enfoque selectivo para la indexación de documentos, aunque con mayor cobertura y distintos indicadores. A diferencia de ellas, Google Scholar trabaja desde un enfoque inclusivo y automatizado, indexando cualquier documento académico que pueda encontrar y acceder en la web (Martín‑Martín, Orduña-Malea, Thelwall y López-Cozar, 2021), además, es de acceso gratuito, lo que permite a los usuarios acceder a un índice de citas multidisciplinario sin necesidad de pago.

Entre los tantos debates existentes en la comunidad científica, se encuentra el relacionado con la pertinencia de las fuentes de citación en la evaluación de los resultados de investigación, las políticas de incentivos y de reconocimiento de la investigación (Anninos, 2014). A esto debemos agregarle las limitaciones de las principales fuentes y de los indicadores bibliométricos (Camps, 2008) con sus inconvenientes para evaluar determinadas áreas y disciplinas, además de la ciencia que se realiza en zonas geográficas periféricas (Rijcke, Wouters, Rushforth, Franssen y Hammarfelt, 2016), situación por la que WoS y en general los índices de citas son ampliamente criticados.

La descripción y análisis de WoS y su valoración como herramienta de análisis es importante debido a su significación dentro del ecosistema de investigación. La importancia de evaluar tanto sus aportes, como las limitaciones y sesgos, viene unida a la llegada de nuevas fuentes, como es el caso de Scopus, su competidor más cercano, además de Google Scholar y otras recientes como Dimensions y Lens. Esta diversidad de opciones, proporciona sin dudas mayores posibilidades a quienes participan en las actividades científicas de una u otra naturaleza y puede minimizar aún más el liderazgo que por años tuvo la fuente.

El objetivo del presente ensayo es describir y estudiar desde una postura crítica y reflexiva, las colecciones, productos e indicadores que ofrece (WoS) para lo cual se exponen tanto las fortalezas como las debilidades de la herramienta, con el fin de apoyar a quienes hacen uso de ella en los distintos escenarios del proceso científico, además de aportar a la reflexión de la comunidad académica.

También, se discute sobre su futuro a la luz de las limitaciones de cobertura, de sus indicadores y los efectos que tiene la entrada de nuevos productos con prestaciones bibliométricas similares y útiles para la evaluación científica. Todo lo anterior en el contexto del acceso abierto, las nuevas métricas y la valoración de la investigación regional y de disciplinas poco cubiertas por los índices internacionales.

2. Contexto

Con la aparición de los índices de citación y el Science Citation Index, el mundo de la investigación cambió sustancialmente, con la posibilidad de realizar análisis de citas de diversas variables y estudiar la estructura intelectual de la ciencia (Garfield, 1955). Este producto con sus tres principales índices, el Science Citation Index (SCI), Social Science Citation Index (SSCI) y Arts & Humanities Citation Index (A&HCI), mantuvo el liderazgo como herramienta de evaluación científica, hasta que en 2004 Scopus trajo relevantes aportes al mejoramiento de la investigación, dada su mayor cobertura disciplinar y geográfica e inclusión de nuevos indicadores (Arencibia-Jorge y Peralta-González, 2020), lo que obligó a Web of Science a realizar ajustes como producto (Repiso y Torres-Salinas, 2016).

WoS es una plataforma de bases de datos que incluye información de citas y recoge literatura científica y académica publicada en revistas, actas de congresos, libros y datos de investigación (Clarivate, 2021). La selección de revistas que realiza y el cubrimiento temático de las distintas disciplinas se basó inicialmente en la formulación de Bradford (concentración-dispersión) con el propósito de contar con las de mayor influencia en sus respectivas disciplinas y la premisa de que un subconjunto de revistas producirá la mayor cantidad de información de citas de importancia en un tema dado (Bakkalbasi, Bauer, Glover y Wang, 2006).

Sin embargo, el objetivo inicial de Garfield con la creación de los índices de citas no fue la realización de análisis bibliométricos y cienciométricos, sino proponer un producto enfocado en la recuperación de información basado en redes de citas (Garfield, 1972), mientras que el análisis de la investigación, la evaluación y creación de rankings, análisis de tendencias, eran objetivos secundarios. Junto al propósito inicial, su valor para la evaluación, la obtención de indicadores y la gestión de la investigación tiene un papel determinante que mantienen a la fuente, sus productos y colecciones con un claro liderazgo, aún cuando en el transcurso de los años han aparecido nuevas herramientas y productos con prestaciones similares (Thelwall, 2018).

Igualmente, la importancia de la fuente, de sus productos e indicadores y en general su importancia en el escenario científico, radica también en la posibilidad de contar con información de citas (Chavarro, Rafols y Tang, 2018), que apoya la realización de estudios que ayudan a conocer el impacto de la investigación y estudiar la estructura de las disciplinas y frentes de investigación (Birkle, Pendleburry, Schnell y Adams, 2020).

El origen de nuevos productos como Google Scholar, Dimensions, Lens, Microsoft Academic Search y 1Findr, por solo mencionar los más importantes, se debió entre otros aspectos, a la necesidad de evaluar la ciencia no cubierta por los mencionados índices internacionales, como también a los cuestionamientos y críticas sobre la validez de los índices y sus indicadores, altamente controvertidos en algunos sectores de la ciencia (Martín-Martín et al, 2021). Este escenario generó que WoS ampliara su cobertura regional en las Ciencias Sociales y las Humanidades con la inclusión de los índices regionales como Scielo Citation Index y Emerging Sources Citation Index (ESCI) con cobertura global y la consiguiente posibilidad de mejorar los análisis y obtención de indicadores bibliométricos.

Dentro de las anteriores fuentes destaca Dimensions, que aparece en 2018 y utiliza un modelo en el que las funcionalidades básicas de búsqueda y navegación son gratuitas, aunque las funcionalidades avanzadas como el acceso a la API, requieren pago (Hook, Porter y Herzog, 2018), con una amplia cobertura a partir de diversas tipologías de fuentes e información de citas (Singh, Piryani, Singh, y Pinto, 2020).

Realizando un comparativo en cuanto a la cobertura de las principales bases de datos, en 2014 WoS cubría más de 75 millones de registros en su colección principal y hasta 155 millones con los índices de citas regionales y específicas del tema, mientras que Scopus aportaba alrededor de 54 millones (Orduña-Malea, Ayllón, Martín-Martín y López-Cózar, 2015), datos mayores en la actualidad.

A la fecha, Dimensions con más de 105 millones (Herzog, Hook y Konkiel, 2020), de los cuales aproximadamente 89 corresponden a documentos (Orduña-Malea y Delgado-López-Cozar, 2018), resulta una importante opción para la investigación bibliométrica, pues, además, y aunque proporciona recuentos de citas más bajos que Scopus en algunas disciplinas, aporta mayores números a los de WoS (Harzing, 2019).

Con respecto a Google Scholar, importante como fuente de datos para la investigación, aunque la calidad relativamente baja de sus metadatos disponibles y la dificultad para extraerlos generan dificultades en análisis bibliométricos (Delgado López-Cózar, Orduña-Malea y Martín-Martín, 2019), ofrece mayor número de citas que WoS y Scopus (Martín-Martín, Orduña-Malea, Thelwall y López-Cózar, 2018). Por su parte Dimensions, como competidor cercano de Web of Science y Scopus, resulta importante en algunos tipos de evaluaciones formales de investigación, incluyendo los estudios de citas (Thelwall, 2018).

A pesar de la competencia expuesta anteriormente, las colecciones de WoS, complementos, indicadores y sus funcionalidades, son fundamentales para bibliotecarios, editores, gestores de política científica e investigadores y para el trabajo que en universidades e institutos de investigación se realiza. De forma específica en los servicios de información, la selección de revistas para publicar, creación de informes bibliométricos, como en la búsqueda de indicios de calidad y apoyo a la evaluación y otras labores relacionadas con la investigación. Lo anterior es resultado del interés que en los últimos años tiene la bibliometría con sus métodos e indicadores, generado por los cambios en los modelos de evaluación de la ciencia, los servicios de información y las formas de analizar las revistas, entre otros aspectos.

Sin embargo, junto a la mención de su relevancia, es preciso destacar el sesgo ampliamente debatido sobre su cobertura, reducido en los últimos años con la inclusión en la colección principal de un grupo considerable de revistas emergentes en el índice Emerging Source Citation Index (ESCI), junto a la cobertura que brindan los índices regionales como Scielo Citation Index. Estos ofrecen la posibilidad de explorar tendencias y regularidades de aquella investigación no cubierta por los productos de la colección principal y realizada en las regiones, y que elimina los sesgos de cobertura.

Sobre la pertinencia, importancia y utilidad de la fuente sobre otras, se debe destacar que no solo WoS sino también Scopus, tienen sesgos que favorecen en mayor medida las Ciencias Exactas sobre las Ciencias Sociales y las Humanidades (Mongeon y Paul-Hus, 2016). Otras investigaciones dan cuenta de la correlación y semejanzas entre Web of Science y Scopus, el hecho que ambas fuentes resulten complementarias y no excluyentes, así como el nivel de solapamiento que tienen (Escalona Fernández, Lagar Barbosa y Pulgarín Guerrero, 2010).

En este escenario, la visibilidad de Google Scholar Metrics (GSM) que duplica la cobertura tanto en información como en número de citas (Martín-Martín, Orduña-Malea, Thelwall y López-Cózar, 2018) y reduce el sesgo anglosajón que poseen Web of Science y Scopus (Delgado y Repiso, 2013); las posibilidades de Dimensions como alternativa para la realización de análisis de citas como rival de WoS y Scopus en cuanto a cobertura y gratuidad y con Google Scholar en funcionalidades para el tratamiento y exportación de datos (Orduña-Malea y Delgado-López-Cózar, 2018), son también elementos a tener en cuenta en el panorama de la evaluación científica.

Como parte de la investigación científica, los indicadores bibliométricos juegan un papel protagónico pues ayudan a la descripción de fenómenos, miden acciones relacionadas con la generación y disfusión de los conocimientos científicos, a la vez que constituyen herramientas de medición de la ciencia (Arencibia Jorge y de Moya Anegón, 2008) y son variados tanto en categorías como en aplicaciones y es posible obtenerlos desde diversas fuentes.

En el caso de los que aporta WoS (Torres-Salinas y Jiménez-Contreras, 2010), están soportados por el prestigio de la herramienta, el proceso de selección de revistas empleado y por el control de calidad en cada fase. Además de los indicadores tradicionales con sus distintas funcionalidades, el índice tiene complementos gratuitos de fácil acceso desde la plataforma ScienceWatch.com (Ruiz-Pérez, Jiménez-Contreras y Delgado-López-Cózar, 2008) útiles en la gestión de la investigación, los servicios de información y otras actividades en el entorno de las bibliotecas.

3. Descripción y análisis colecciones, productos e indicadores

Como fundamento de la relevancia e importancia de la herramienta, se exponen y analizan su estructura, volumen de datos, productos e indicadores, además de sus fortalezas y limitaciones. Se ofrece información de interés para quienes la emplean en la gestión de la actividad científica con mayor nivel de detalles sobre la misma (Cuadro 1) y especificamente la estructura, descripción de las colecciones y productos como sus indicadores (Figura 1).

Cuadro 1
Algunos datos de interés sobre la fuente
254 categorías 20,900 revistas + otras bases de datos 34 mil 100 mil libros 8 millones de actas de conferencias 39 millones de familias de patentes 7 millones de datasets de investigación 75 millones de registros totales + de 150 de millones de registros Actualización diaria Todos los contenidos incluyen información de citas Cobertura general de la información: 1900-presente
Elaboración propia a partir de Clarivate (2021). Clarivate – data, insights and analytics for the innovation. Recuperado de https://clarivate.com/

Estructura general de WoS con sus colecciones y productos.
Figura 1
Estructura general de WoS con sus colecciones y productos.
Elaboración propia a partir de Clarivate (2021). Clarivate – data, insights and analytics for the innovation. Recuperado de https://clarivate.com/

Junto a los datos de interés y estructura general de la herramienta, se describen los distintos productos con el objetivo de aportar información sobre ellos, su cobertura y principales características (Tabla 1). Lo anterior permite además conocer a partir de los aportes, las distintas actividades en las que se pueden utilizar dentro del proceso de investigación.

Tabla 1
Descripción de los distintos productos de WoS
Colección principal
Science Citation Index (SCI) (1900 – presente) Social Sciences Citation Index (SSCI) (1900 – presente) Art & Humanities Citation Index (AHCI) (1975 – presente)Principales índices de citación que forman parte de la colección principal.
Emerging Sources Citation Index (ESCI) (2005 – presente)Índice que cubre un amplio espectro de revistas emergentes. Aquellas que están siendo evaluadas para formar parte de la colección principal. Aunque no se les calcula el factor de impacto, aportan citas a las revistas de la colección principal.
Book Citation Index (2005 – presente)Recoge contenidos de libros y capítulos de libros a partir de rigurosos procesos de selección y posibilita el análisis de estos mediante citas.
Conference Proceedings (1990 – presente)Aporta información sobre literatura de congresos, seminarios y simposios. Aporta citas a la construcción del factor de impacto como tipología citable.
Recursos de análisis
Essential Science Indicators (2001-presente)Herramienta que provee indicadores de países, áreas del conocimiento, así como líneas base y umbrales de citación importantes para la planeación y gestión en la ciencia y la tecnología.
Journal Citation Reports (JCR)Es un portal de informe de citas con los indicadores del conjunto de revistas fuente que forman parte de los índices SCI y en menor medida del SSCI. Muestra el factor de impacto y los cuartiles de cada una entre otros indicadores.
Incites Benchmarking & Analytics (2010 – presente)Herramienta analítica y de Benchmarking que posibilita la evaluación de la investigación basada en citas. Permite evaluar y comparar instituciones, disciplinas y otras variables.
Bases de patentes
Derwent Innovations Index (1963 – presente) Búsqueda de patentes y citas de invenciones a través de la fusión del Derwent World Patents Index con el Derwent Patents Citation Index en temas como Química, ingeniería electrónica y eléctrica e ingeniería mecánica.
Colecciones de datos
Data Citation Index (1922– presente) Facilita información sobre el descubrimiento, aplicación y la atribución de los conjuntos de datos y cómo se utilizan en las investigaciones, mostrando citas y relaciones entre ellas. Incluye información de repositorios y datasets, además de vincular los datos a los trabajos publicados.
Colecciones especializadas
Biological Abstract Biosis Citation Index CAB Abstract Food Science and Technology Abstracts (FSTA) Inspec Zoological Records MEDLINE Current Contents Collections Index Chemicus Current Chemical Reactions Clarivate Analytics Reaction Citation Index (RCI- Combina Current Chemical Reactions database (CCR) con el SCI.Mejoran la comprensión de áreas de conocimiento específicas ya que abarcan la producción científica en diversos tipos de documentos (libros, artículos, conferencias, reportes) respaldados por organizaciones como la Biblioteca Nacional de Medicina de EE. UU (Medline), la Institución de Ingeniería y Tecnología (Inspec), International Food Information Service (FSTA) y Centre for Agricultural Bioscience International (CAB Abstracts). Adicionalmente ayudan a la recuperación y clasificación de la información con metadatos específicos, por ejemplo: Clasificador de organismo, CAS Registry Number, Taxonomías y Códigos Mesh, además de acceso a base de datos de reacciones con datos de citas del SCI.
Colecciones regionales
Scielo Citation Index (2002 – presente) Russian Science Citation Index (2005– presente) Korean Journal Database (1980– presente) Chinese Science Citation Database (1989– presente) Arabic Science Citation (2015– presente) Aunque no forman parte de la colección principal de WoS, recogen información de calidad producida por las regiones. Garantiza la evaluación bibliométrica de agregados científicos tanto en producción como en impacto. Su valor radica en que recogen parte de la información no existente por los índices internacionales, en especial las Ciencias Sociales y las Humanidades.
Herramientas de apoyo
EndNote Click (antes Kopernio) ResearhID (ahora en Publons) Publons MyRA Apoyan los procesos de investigación y servicios de información. En el caso específico de Endnote, se puede encontrar más que un gestor de referencias ya que además de las funcionalidades básicas de crear bibliografía, también ofrece la posibilidad de encontrar sugerencias para la publicación de artículos. Por su parte, herramientas como Endnote Click (anteriormente Kopernio) permiten al investigador acceder de manera gratuita y legal a millones de artículos de investigación, potenciando el acceso abierto y las colecciones de sus bibliotecas. Publons soporta la creación de un perfil de investigador completo en el cual se podrán visualizar métricas confiables para la producción científica y el trabajo de revisión por pares. Este perfil es interoperable con ORCID y ayudará a solucionar los problemas de la falta de normalización. Finalmente, MyRA es un asistente de investigación disponible como aplicación en Android y IOS. En esta aplicación el investigador podrá llevar toda la información de WoS y realizar búsquedas específicas de información.
Elaboración propia a partir de Clarivate (2021). Clarivate – data, insights and analytics for the innovation. Recuperado de https://clarivate.com/

Dada la significación de los indicadores y productos y su utilidad en actividades de investigación, se describen aquellos que aporta el Journal Citation Report (JCR) (tabla 2), los Essential Science Indicators (ESI) (tabla 3) e Incites (tabla 4) como herramientas importantes, dado los indicadores que ofrecen. La información detallada de estos constituye un importante apoyo a la gestión de la investigación para quienes requieran de ellos en la evaluación y análisis de agregados científicos.

Journal Citation Reports es un producto de WoS por medio del cual se puede conocer el impacto y obtener distintos indicadores de las revistas que forman parte de la base, de gran utilidad para bibliotecarios, editores e investigadores. Además del factor de impacto que, calculado para las revistas de las ediciones de Science Citation Index y el Social Science Citation Index, incluye otros indicadores para las revistas del Arts & Humanities Citation Index y Emerging Source Citation Index, como por ejemplo el nuevo indicador Journal Citation Indicator (JCI). En la siguiente tabla se muestran los que se obtienen para cada revista, como una descripción de los mismos que ayuda no solo a su obtención, sino a su aplicación en actividades de investigación.

Tabla 2
Principales indicadores del Journal Citation Reports (JCR)
Métricas de impacto
CitasCantidad de citas recibidas por las revistas incluidas en el JCR.
Factor de impactoSe calcula para las revistas del JCR. Mide la cantidad de citas recibidas en un año de evaluación, por la cantidad de documentos citables publicados en los dos años inmediatamente anteriores al cálculo.
Índice de inmediatezRapidez con que los documentos publicados por las revistas del JCR son citadas, además de la cantidad de citas recibidas en un año de evaluación, por la cantidad de documentos citables publicados en ese mismo año.
Métricas de influencia
Eigenfactor ScoreMuestra la cantidad de veces que los artículos de las revistas de JCR publicados en los últimos cinco años, han sido citados en el JCR del año, relacionando la cantidad de citas con el número total de artículos. En esencia incluye las citas de todas las áreas y disciplinas, elimina autocitas y las puntuaciones de los valores EF de todas las revistas suman 100.
Article Influence ScoreInfluencia promedio de los artículos de una revista del JCR. Se obtiene dividiendo el valor EF sobre la cantidad de artículos publicados por la revista. Valores superiores a 1 indican que los artículos de una revista tienen una influencia superior al promedio.
Normalized EigenfactorNormaliza los factores de impacto de las revistas de acuerdo a la cantidad de revistas del JCR en cada año.
Métricas de origen
Documentos citablesCantidad de documentos pertenecientes a las tipologías artículos, revisiones y actas de congresos.
Vida media citada (Cited half life)Edad promedio de las citas recibidas por una revista.
Vida media citante (Citing half life)Edad promedio de las citas producidas por una revista.
Journal Citation Indicator (JCI)Incluido en la versión 2021 del JCR, es una métrica de revistas que compara las citas de las revistas con respecto a las citas de las disciplinas a las que pertenecen los artículos. Un valor de 1.0 significa que en una revista, los artículos publicados recibieron un número de citas igual al recuento promedio de citas en esa categoría.
Elaboración propia a partir de Clarivate (2021). Clarivate – data, insights and analytics for the innovation. Recuperado de https://clarivate.com/

Essential Science Indicator (ESI), es una herramienta que proporciona estadísticas e indicadores útiles para estudiar las tendencias en investigación científica de distintos actores del sistema científico como países, instituciones, autores y disciplinas. Ayuda a la planeación de la investigación a partir de información sobre umbrales de citas y tendencias con la posibilidad de realizar combinación de ellos.

Tabla 3
Indicadores de los Essential Science Indicators (ESI)
Indicadores
Highly Cited Papers (Trabajos altamente citados)Artículos más citados en los últimos 10 años.
Hot papers (trabajos citados)Artículos más citados en los últimos dos años.
Field baselines (Líneas de referencia de campos científicos )
Citation Rates (tasas de citación)Promedio de citas anuales por artículos.
PercentilesDefine varios umbrales de citación desde 0.01%, 0.1%, 1.0%, 10%, 20% y 50%-
Field Rankings (Ranking de campos y disciplinas)Muestra las tasas de citación en un periodo de 10 años y recuentos de artículos altamente citados por campos y disciplinas.
Citation Thresholds (Umbrales de citación)
ESI Threshold (Umbrales)Revela el número de citas recibidas por el 1% de autores e instituciones y el top 50% de países y revistas en un periodo de 10 años.
Highly Cited Threshold (Umbrales de trabajos citados)Muestra el número mínimo de citas recibidas por el 1% superior de los trabajos publicados en un periodo de 10 años en cada una de las bases.
Hot Papers Threshold (Umbrales de trabajos que reciben citas de forma rápida)Expone el número mínimo de citas recibidas en un periodo de dos meses calculado sobre el 0,1% de los trabajos publicados en los últimos dos años.
Elaboración propia a partir de Clarivate (2021). Clarivate – data, insights and analytics for the innovation. Recuperado de https://clarivate.com/

Por su parte, Incites constituye una importante herramienta de evaluación de la investigación basada en citas. Ayuda a la comparación de aspectos tanto cualitativos como cuantitativos del rendimiento científico de instituciones, países, áreas y disciplinas. Ofrece indicadores de producción, colaboración e impacto. Muestra fortalezas, limitaciones y ayuda a descubrir oportunidades de mejora dentro de las distintas áreas.

Tabla 4
Principales indicadores de Incites Benchmarking & Analytics
Indicadores de productividad
Documentos en Web of Science Total de documentos por instituciones y países.
Cantidad de citas Total de citas por instituciones y países.
Indicadores de impacto
Documentos altamente citados (1% y 10%)Número y porcentaje de publicación en el 1% y 10% superior según las citas por categoría, año y tipo de documento.
Documentos citadosPorcentaje de documentos que han recibido al menos una cita en una base de análisis.
Citas recibidas en un añoMuestra el número de documentos de cada año que cita un artículo publicado en el mismo año.
Índice hUn autor tiene un índice h si “h” de sus trabajos han recibido al menos “h” citas. Es un indicador que muestra en un valor numérico entero la influencia de los trabajos de un autor.
Indicadores normalizados
Impacto de citas normalizadas por categoríaSe calcula dividiendo el recuento real de documentos citantes, por la tasa de citas esperada para documentos de la misma tipología documental, año de publicación y área temática.
Impacto de las citas normalizadas de la revistaNormaliza la tasa de citas para la revista en la que se publica el documento analizado. Es la relación entre el número real de elementos que citan y la tasa media de citas de las publicaciones en la misma revista en el mismo año y con el mismo tipo de documento.
Impacto relativo mundialImpacto de las citas de un conjunto de publicaciones con respecto al promedio mundial. Se puede aplicar en niveles de agregación (mundial, institucional. Mayor a 1 por encima del promedio mundial y menor a 1 por debajo de dicho promedio).
Promedio de percentilesUn percentil es un indicador normalizado que muestra el rendimiento de un artículo en relación con otros en su campo, año y tipo de documento. El percentil de una publicación se determina creando una distribución de frecuencia de citas para todas las publicaciones en el mismo año, categoría temática y tipología documental (ordenando los artículos en orden descendente de recuento de citas) y determinando el porcentaje de artículos en cada nivel de cita. Si un artículo tiene un valor percentil de uno, entonces el 99% de los artículos en la misma categoría temática, año y tipo de documento tienen un recuento de citas más bajo.
Indicadores de colaboración
Colaboración con la industriaArtículos que contienen dos o más organizaciones con al menos una empresarial.
% de colaboración con la industriaEl % de colaboraciones de la industria es el número de publicaciones colaborativas de la industria para una entidad, dividido por la cantidad total de documentos para la misma entidad representada como porcentaje.
Colaboración internacionalArtículos que contienen uno o más coautores internacionales.
% de colaboración internacionalSe obtiene, dividiendo el número de colaboraciones internacionales para una entidad por el número total de documentos para la misma entidad. Muestra la capacidad para atraer colaboraciones internacionales y puede mostrarse en porcentaje.
Acceso abierto
Documentos en acceso abiertoVisualiza la cantidad de documentos con contenido gratuito en el sitio web de la revista (Gold), autoarchivo en repositorio (Bronze) o artículos fuera de embargo (Green).
Otros indicadores
Posición de autoresMuestra la posición de los autores en las firmas, de utilidad para la evaluación del liderazgo institucional.
Datos de los Essential Science IndicatorsVer indicadores ESI.
Datos del Journal Citation ReportVer indicadores JCR.
Perfiles de InstitucionesPerfiles de instituciones a partir de datos bibliométricos, demográficos, de reputación y otros.
Elaboración propia a partir de Clarivate (2021). Clarivate – data, insights and analytics for the innovation. Recuperado de https://clarivate.com/

Con el propósito de profundizar en los aportes dentro de las actividades de investigación, se describen algunas aplicaciones específicas de los productos, herramientas e indicadores ya expuestos que ayuden al proceso de trabajo con los mismos:

Como se ha expuesto en el desarrollo del trabajo, además de las posibilidades que brinda WoS en actividades de investigacion, también tiene elementos negativos que si bien no invalidan su relevancia e importancia estratégica, deben tenerse en cuenta para una correcta gestión y aplicabilidad en cada fase del proceso de investigación. Para ello se presentan algunos aspectos positivos y negativos de la herramienta, importantes para quienes hacen uso de ella en distintas actividades de investigación. El listado se ha elaborado atendiendo a la información desarrollada en el presente trabajo y criterios de los autores.

Aspectos positivos

  1. · La calidad de la información sustentada en el riguroso proceso de evaluación y selección de revistas, además del monitoreo constante de cumplimiento de los 28 criterios utilizados para evaluar las revistas.

    · El mejoramiento de la cobertura con la inclusión de un considerable número de revistas en el índice Emerging Source Citation Index. Los aportes que representa esta inclusión mejora los flujos de citas en los distintos ámbitos.

    · Variedad de métricas e indicadores más allá de factor de impacto, que favorece el análisis más integral y menos sesgado de las revistas y de la investigación en general.

    · Integralidad de los productos e incorporación de herramientas útiles para las distintas fases del proceso de investigación como los gestores bibliográficos, Kopernio, Publons y otros.

    · Utilidad para los análisis de citas, con mejor comportamiento en cuanto a cantidad y calidad que otras fuentes como Scopus.

Aspectos negativos

4. Discusión

La llegada de WoS y los índices de citación al mundo de la investigación científica representó un importante avance para la evaluación y la gestión de los sistemas científicos. Sus colecciones, productos e indicadores constituyen hasta hoy, un apoyo importante a quienes participan en el proceso de generación de conocimiento y gestión y evaluación de la ciencia, específicamente en el análisis de las dinámicas de producción, la planeación, evaluación de revistas, servicios de información, como en la búsqueda de oportunidades de colaboración e innovación y otros.

Asimismo la fuente, con su diversidad de productos e indicadores, constituye un gran aporte para la comprensión de las tendencias de la investigación en diferentes escenarios, a la vez que respalda el mejoramiento, análisis y aumento de la visibilidad de las revistas, muestra la relación entre autores, instituciones, creando una robusta red de citas para la evaluación y gestión de la actividad científica. Igualmente y en el caso de las agencias de financiación, posibilita el análisis de información para la toma de decisiones, donde la inversión en ciencia y tecnología tendrá más impacto, además de permitir la creación y fortalecimiento de servicios de información, como apoyo al ciclo de vida de la investigación dentro de las universidades.

Aún con las conocidas limitaciones y sesgos tanto de la fuente como de sus indicadores (Seglén, 1997), la calidad y su valor para la investigación, fortalecen cada uno de los procesos y fases de la investigación en la actividad científica que requieren de información de calidad, resultante de rigurosos procesos de selección, evaluación y control que ofrezcan valor a los resultados finales. Lo anterior, que inicia con la calidad del proceso de selección y evaluación de revistas junto al control de la calidad que lleva a cabo a las mismas, fortalece actividades como la escritura y publicación de artículos científicos, la generación de informes bibliométricos disciplinares, de memorias institucionales y de resultados de la gestión, planeación y benchmarking, evaluación de revistas, servicios de información y otros que requieren de la utilización de fuentes de datos de calidad y visibilidad.

Por otra parte, la problemática y debate en torno a la fuente y su validez, se relaciona con el hecho de que la investigación realizada en las regiones y de Ciencias Sociales y Humanidades se encuentra subrepresentada. La limitada presencia de revistas latinoamericanas y de estas áreas en los principales índices de la herramienta, aún con la cobertura que brinda ESCI, limita la evaluación no solo de las revistas, sino de buena parte de la producción científica que se produce en la región.

Sin embargo, la problemática anterior, aunque se soluciona en parte con importantes alternativas como Redalyc y Scielo, junto a otros como Latindex, Dialnet, DOAJ, con criterios de evaluación de revistas basados en la calidad y que cubren parte de la investigación no recogida por los índices internacionales como WoS, aún no se utilizan como fuentes de evaluación de las comunidades, lo que hace que WoS y su competidor más cercano (Scopus), sigan teniendo liderazgo. Este escenario en el que participan otras fuentes que recogen y evaluan una cantidad considerable de revistas, aporta dinamismo a la evaluación científica, lo que ha generado lógicos cambios en la fuente.

La mención anterior sobre presencia de bases de datos regionales, con altos estándares de calidad y mayor cubrimiento de la investigación regional, conlleva la necesidad de ajustes y cambios por parte de WoS. Sus competidores cercanos desde el inicio han trabajado en el aumento de la cobertura y propuesta de indicadores con menos sesgos y limitaciones (Falagás, Pitsouni, Malietzis y Pappas, 2008). Las posibilidades para la evaluación científica y obtención de indicadores que tienen Google Scholar y sus productos (Torres-Salinas, Ruiz-Pérez y Delgado-López-Cózar, 2009) y los nuevos actores como Dimensions (Singh, Singh, Karmakar, Leta y Mayr, 2021), hará necesario la continua introducción de cambios y ajustes por parte de WoS.

También mencionar que sus elementos negativos impactan considerablemente en el aumento de las críticas y la consiguiente reducción del uso de la herramienta debido a los altos costos. Para muchas instituciones de América Latina, las dificultades de adquisición de los productos y colecciones sigue siendo una problemática latente, que lleva a la imposibilidad de utilizarla en sus procesos de planeación, gestión y evaluación. Por ello recurren a Scopus que cuenta con más facilidades de adquisición, además de Dimensions y otras fuentes en abierto con mayor cobertura y prestaciones parecidas.

Igualmente es preciso abordar que los efectos tóxicos de su uso y de otras fuentes de citación e indicadores bibliométricos en la evaluación científica, ha generado un impacto negativo para la ciencia regional, en una zona como la latinoamericana con reducida presencia de revistas, tendencia a escribir en español y enfoques locales de la investigación. Este síndrome de publicar en revistas incluidas en fuentes como WoS, en buena medida ha distorsionado las prácticas de investigación, aumentado el síndrome Publish or Perish y la precariedad de la calidad docente, además de cambios en el mercado de las revistas (Delgado-López-Cózar; Ràfols y Abadal, 2021).

La pregunta necesaria a realizarse es, ¿qué acciones podrá tomar WoS ante la creciente incorporación de nuevas fuentes en el circuito de comunicación y evaluación de la ciencia? Al respecto, la llegada y auge de Google Scholar (Torres-Salinas et al., 2009), además de Dimensions y otras que amplian la cobertura (Martín-Martín et al, 2021), por solo mencionar dos de los más relevantes, hace pensar que disminuirá gradualmente el número de instituciones que utilicen la herramienta en la gestión de sus actividades. Las fuentes de reciente incorporación y otras ya utilizadas, tienen gran potencial y posibilidades de consolidarse como herramientas fundamentales en la evaluación científica, al contar con multiplicidad de tipologías documentales, volumen de datos y acceso a citas, y que pueden reemplazar a WoS.

Frente a un entorno dinámico, para los gestores de políticas científicas, la comunidad científica, agencias de evaluación y demás actores del sistema científico en los países, la necesidad de contar con nuevas fuentes para la evaluación científica responde no solo al debate teórico existente y los llamados de la comunidad científica sobre la “mala bibliometría” (Aguillo, 2015), a la influencia de iniciativas como la Declaración de San Francisco (DORA) y el Manifiesto de Leiden, sino que en la práctica amplía las posibilidades de recuperación de información, posibilidad de realizar investigación bibliométrica con mayor cobertura de datos y por ende con mejores resultados en visibilidad e impacto.

La necesidad de promover cambios en los sistemas de evaluación científica y de no usar del factor de impacto (American Society for Cell Biology [ASCB], 2013), junto a la necesidad de buenas prácticas en la evaluación científica basada en indicadores, para que los investigadores puedan pedir cuentas a los evaluadores y viceversa según el Manifiesto de Leiden (Hicks, Wouters, Waltman, de-Rijcke y Ràfols, 2015), llaman a la incorporación de otros medios de evaluación, con énfasis en la calidad de los resultados y no solo en cuanto a cantidad.

Sin embargo, pese a años de críticas y debate sobre el uso de la fuente y su indicador más visible (el factor de impacto) como medida de valoración de las comunidades científicas, estos continúan teniendo liderazgo en la comunidad científica y las agencias de evaluación, sin que se vislumbre que sean eliminados o reemplazados. Un aporte para los responsables de políticas científicas, bibliotecas, investigadores y quienes forman parte de los circuitos de comunicación científica, es que deben tener en cuenta el abanico de posibilidades existentes y utilizar de manera responsable las fuentes, herramientas e indicadores, ajustados a sus objetivos y contextos de trabajo.

5. Consideraciones finales

La existencia de un amplio abanico de bases de datos con posibilidades de búsqueda y recuperación de información y prestaciones bibliométricas, en el universo de las actividades de investigación científica, nos hace reflexionar sobre el futuro de evaluación científica. Escenario en el que las novedades propuestas por Eugene Garfield con los Science Citation y que fueron exclusivas durante un amplio periodo de tiempo, pierden liderazgo y exclusividad en la medida que se incorporan otras fuentes.

Web of Science desde sus inicios ha tenido como premisa cubrir las revistas más influyentes en los diferentes campos de investigación, selectividad que sesga áreas del conocimiento y regiones. Aunque actualmente intentan corregir algunos sesgos históricos, persiste la limitada presencia de libros y en general la representación de las Ciencias Sociales y las Humanidades (Vanderstraeten y Vandermoere, 2021). Muestra claras deficiencias en la cobertura de investigación de países periféricos junto a desequilibrios en la expansión de las categorías y el crecimiento del número de revistas, que influye en el tipo de investigación que se puede realizar, especialmente en las áreas menos favorecidas.

La descripción y análisis realizado de la fuente ha permitido visualizar la importancia y aplicabilidad de sus colecciones y productos para la evaluación científica como opción necesaria a la hora de realizar investigación bibliométrica, a pesar de las mencionadas limitaciones que presenta. La calidad de sus colecciones, validada por los criterios de calidad exigidos, el aumento de la cobertura aún insuficiente, el prestigio ganado en el tiempo y la variedad de indicadores, le permitirá mantenerse en este escenario de aguas turbulentas alrededor del mercado de las bases de datos.

Finalmente señalar que para los responsables de WoS es un imperativo la continua innovación y creación de estrategias que ayuden a competir con las nuevas fuentes y la amplia batería de indicadores con menos sesgos y limitaciones metodológicas para la realización de investigaciones. No es tiempo de prestarle atención solo a Scopus, su competidor más cercano, sino a Google Scholar, fuente con gran relevancia para localizar y descubrir material académico con sencillez y rapidez, de forma gratuita y con indicadores bibliométricos incluidos, además de a Dimensions, que ofrece facilidades para obtener y analizar información científica, a partir de su cobertura en fuentes y en citas.

6. Referencias

Aguillo, I. F. (2015). La Declaración de San Francisco (DORA) y la mala bibliometría. Anuario ThinkEPI, (9), 183-188. doi: https://doi.org/10.3145/thinkepi.2015.43

American Society for Cell Biology (2013). San Francisco Declaration on Research Assessment (DORA). Recuperado de http://www.ascb.org/dora-old/files/SFDeclarationFINAL.pdf

Anninos, L. N. (2014). Research performance evaluation: some critical thoughts on standard bibliometric indicators. Studies in Higher Education, 39(9), 1542-1561. doi: https://doi.org/10.1080/03075079.2013.801429

Arencibia Jorge, R., y de Moya Anegón, F. (2008). La evaluación de la investigación científica: una aproximación teórica desde la cienciometría. Acimed, 17(4), 1-27. Recuperado de http://scielo.sld.cu/pdf/aci/v17n4/aci04408.pdf

Arencibia-Jorge, R., y Peralta-González, M. J. (2020). Recommendations on the use of Scopus for the study of Information Sciences in Latin America. Iberoamerican Journal of Science Measurement and Communication, (1), 1-4. doi: https://doi.org/10.47909/ijsmc.07

Bakkalbasi, N., Bauer, K., Glover, J., y Wang, L. (2006). Three options for citation tracking: Google Scholar, Scopus and Web of Science. Biomedical digital libraries, 3(1), 1-8. doi: https://doi.org/10.1186/1742-5581-3-7

Birkle, C., Pendlebury, D. A., Schnell, J., y Adams, J. (2020). Web of Science as a data source for research on scientific and scholarly activity. Quantitative Science Studies, 1(1), 363–376. doi: https://doi.org/10.1162/qss_a_00018

Camps, D. (2008). Limitaciones de los indicadores bibliométricos en la evaluación de la actividad científica biomédica. Colombia Médica, 39(1), 74-79. Recuperado de http://www.scielo.org.co/pdf/cm/v39n1/v39n1a9.pdf

Castelló-Cogollos, L., Sixto-Costoya, A., Lucas-Domínguez, R., Agulló-Calatayud, V., de Dios, J. G., y Aleixandre-Benavent, R. (2018). Bibliometría e indicadores de actividad científica (XI). Otros recursos útiles en la evaluación: Google Scholar, Microsoft Academic, 1findr, Dimensions y Lens. org. Acta Pediátrica Española, 76(9/10), 123-130. Recuperado de https://www.actapediatrica.com/images/pdf/Volumen-76---Numeros-9-y-10---Septiembre-y-octubre-2018.pdf

Chavarro, D, Rafols, I., y Tang, P. (2018). To what extent is inclusion in the Web of Science an indicator of journal ‘quality’? Research Evaluation, 27(2), 106-118. doi: https://doi.org/10.1093/reseval/rvy001

Clarivate (2021). Clarivate – data, insights and analytics for the innovation. Recuperado de https://clarivate.com/

Clarivate (2021). Web of Science Journal Evaluation Process and Selection Criteria. Recuperado de https://clarivate.com/webofsciencegroup/journal-evaluation-process-and-selection-criteria/

Delgado López-Cózar, E., Orduña-Malea, E., y Martín-Martín, A. (2019). Google Scholar as a data source for research assessment. En: W. Glanzel, H. Moed, U. Schmoch, & M. Thelwall (Eds.), Springer handbook of science and technology indicators. Berlin, Alemania: Springer. doi: https://doi.org/10.1007/978-3-030-02511-3

Delgado, E., y Repiso, R. (2013). El impacto de las revistas de comunicación: comparando Google Scholar Metrics, Web of Science y Scopus. Comunicar, 21(41), 45-52. doi: http://dx.doi.org/10.3916/C41-2013-04

Delgado-López-Cózar, E., Ràfols, I., y Abadal, E. (2021). Carta: Por un cambio radical en la evaluación de la investigación en España. El Profesional de la Información, 30(3), e300309. doi: https://doi.org/10.3145/epi.2021.may.09

Escalona Fernández, M. I, Lagar Barbosa, P., y Pulgarin Guerrero, A. (2010). Web of Science vs. Scopus: un estudio cuantitativo en Ingeniería Química. Anales de documentación, (13), 159-175. Recuperado de https://revistas.um.es/analesdoc/article/view/107121/101801

Falagás, M. E., Pitsouni, E. I., Malietzis, G. A., y Pappas, G. (2008). Comparison of PubMed, Scopus, web of science, and Google scholar: strengths and weaknesses. The FASEB Journal, 22(2), 338-342. doi: https://doi.org/10.1096/fj.07-9492LSF

Garfield, E. (1955). Citation indexes for science: A New Dimension in Documentation through Association of Ideas. Science, 122(3159), 108-111. doi: https://10.1126/science.122.3159.108

Garfield, E. (1972). Citation analysis as a tool in journal evaluation. Science, 178(4060), 471-479. Recuperado de https://www.jstor.org/stable/1735096

Harzing, A. W. (2019). Two new kids on the block: How do Crossref and Dimensions compare with Google Scholar, Microsoft Academic, Scopus and the Web of Science? Scientometrics, (120), 341–349. doi: https://doi.org/10.1007/s11192-019-03114-y

Herzog, C., Hook, D., y Konkiel, S. (2020). Dimensions: bringing down barriers between scientometricians and data. Quantitative Science Studies, 1(1), 387–395. doi: https://doi.org/10.1162/qss_a_00020

Hicks, D., Wouters, P., Waltman, L., De-Rijcke, S., y Ràfols, I. (2015). Bibliometrics: the Leiden Manifesto for research metrics. Nature, (520), 429-431. doi: https://doi.org/10.1038/520429a

Hook, D. W., Porter, S. J., y Herzog, C. (2018). Dimensions: Building Context for Search and Evaluation. Frontiers in Research Metrics and Analytics, 3, 23. doi: https://doi.org/10.3389/frma.2018.00023

Martín-Martín, A., Orduña-Malea, E., Thelwall, M. y López-Cózar, E. (2018). Google Scholar, Web of Science, and Scopus: A systematic comparison of citations in 252 subject categories. Journal of Informetrics, 12(4), 1160-1177. doi: https://doi.org/10.1016/j.joi.2018.09.002

Martín-Martín, A., Thelwall, M., Orduña-Malea, E. y Delgado López-Cozar, E. (2021). Google Scholar, Microsoft Academic, Scopus, Dimensions, Web of Science, and OpenCitations’ COCI: a multidisciplinary comparison of coverage via citations. Scientometrics (126), 871–906. doi: https://doi.org/10.1007/s11192-020-03690-4

Mongeon, P. y Paul-Hus, A. (2016). The journal coverage of Web of Science and Scopus: a comparative analysis. Scientometrics, (106), 213–228. doi: https://doi.org/10.1007/s11192-015-1765-5

Orduña-Malea, E., y Delgado-López-Cózar, E. (2018). Dimensions: re-discovering the ecosystem of scientific information. El profesional de la Información, 27(2), 420-431. doi: https://doi.org/10.3145/epi.2018.mar.21

Orduña-Malea, E., Ayllón, J. M., Martín-Martín, A., y Delgado López-Cózar, E. (2015). Methods for estimating the size of Google Scholar. Scientometrics, (104), 931-949. https://doi.org/10.1007/s11192-015-1614-6

Orduña-Malea, E. y Delgado-López-Cózar, E. (2018). ¡Viva la competencia! Nuevas dimensiones para la búsqueda y evaluación de la información científica. Anuario ThinkEPI, (12), 304-310. doi: https://doi.org/10.3145/thinkepi.2018.45

Repiso, R., y Torres-Salinas, D. (2016). Características e implicaciones de la base de datos Emerging Sources Citation Index (Thomson Reuters): las revistas en estado transitorio. Anuario ThinkEPI, (10), 234-236. http://dx.doi.org/10.3145/thinkepi.2016.46

Rijcke, S. D., Wouters, P. F., Rushforth, A. D., Franssen, T. P., y Hammarfelt, B. (2016). Evaluation practices and effects of indicator use—a literature review. Research Evaluation, 25(2), 161-169. doi: https://doi.org/10.1093/reseval/rvv038

Ruiz-Pérez, R., Jiménez-Contreras, E., y Delgado-López-Cózar, E. (2008). Complementos bibliométricos de Thomson Scientific en la Web: buenos, bonitos y gratuitos. El Profesional de la Información, 17(5), 559-563. https://doi.org/10.3145/epi.2008.sep.11

Seglén, P. (1997). Why the impact factor of journals should not be used for evaluating research. BMJ, 314(7079), 498-502. doi: https://doi.org/10.1136/bmj.314.7079.497

Singh, P., Piryani, R., Singh, V. K., y Pinto, D. (2020). Revisiting subject classification in academic databases: a comparison of the classifcation accuracy of Web of Science, Scopus & Dimensions. Journal of Intelligent & Fuzzy Systems, 39(2), 2471–2476. https://doi.org/10.3233/JIFS-179906

Singh, V. K., Singh, P., Karmakar, M., Leta, J., y Mayr, P. (2021). The Journal Coverage of Web of Science, Scopus, and Dimensions: A Comparative Analysis. Scientometrics, (126), 5113–5142. doi: https://doi.org/10.1007/s11192-021-03948-5

Thelwall, M. (2018). Dimensions: A competitor to Scopus and the Web of Science? Journal of Informetrics, 12(2), 430-435. doi: https://doi.org/10.1016/j.joi.2018.03.006

Torres-Salinas, D. y Jiménez-Contreras, E. (2010). Introducción y estudio comparativo de los nuevos indicadores de citación sobre revistas científicas en Journal Citation Reports y Scopus. El profesional de la Información, 19(2), 201-207. doi: https://doi.org/10.3145/epi.2010.mar.12

Torres-Salinas, D., Ruiz-Pérez, R. y Delgado-López-Cózar, E. (2009). Google Scholar como herramienta para la evaluación científica. El profesional de la Información, 18 (5), 501-510. doi: https://doi.org/10.3145/epi.2009.sep.03

Vanderstraeten, R. y Vandermoere, F. (2021). Inequalities in the growth of Web of Science. Scientometrics, (126), 8635–8651. doi: https://doi.org/10.1007/s11192-021-04143-2

HTML generado a partir de XML-JATS4R por