1. Introducción

Dentro de las actividades de gestión y evaluación de la actividad científica, la calidad y resultado final de los procesos de investigación, dependen entre otros aspectos de las fuentes de información y las bases de datos utilizadas. En dichos procesos intervienen entre otros, universidades, grupos de investigación, investigadores, editoriales, bibliotecas. Todos utilizan no solo la información registrada en índices y bases de reconocido prestigio, sino que también se sustentan en una correcta planeación, gestión y conocimiento de los entornos en que se desarrolla el proceso científico.

La actividad científica actual está marcada por la amplia diversidad de métodos y procesos de evaluación. Por ello, se necesita de una correcta gestión de la información, de la investigación científica y del uso de modelos de evaluación ajustados a necesidades y contextos, además de conocimiento sobre los métodos bibliométricos, indicadores y bases de datos que cubran los distintos ámbitos científicos con información amplia y de calidad.

Con relación a las bases de datos, debe tenerse en cuenta la cobertura disciplinar como de las regiones, los procesos de evaluación e inclusión de revistas, sus posibilidades de recuperación, exportación y gestión de información, elementos que en ocasiones determinan la calidad, prestigio y relevancia de las mismas, así como los resultados finales en la investigación. Sin embargo, debemos mencionar que los altos costos económicos de suscripción de las de mayor reconocimiento internacional, imposibles para muchas instituciones, impacta en los resultados científicos, situación ya menos marcada por la llegada de fuentes en abierto y con prestaciones bibliométricas.

Aunque el mercado de bases de datos que posibilitan la búsqueda y recuperación de información, ofrecen acceso a citas y cuentan con posibilidades bibliométricas es amplia, los mayores competidores de Web of Science (WoS en adelante) y Scopus, actualmente son Google Scholar y Dimensions. Sin embargo, otras como Lens, 1findr y Microsoft Academic Search, igualmente contribuyen con la mejora de la evaluación científica y han dinamizado de alguna manera el ecosistema científico actual (Castelló-Cogollos et al, 2018).

Al igual que WoS, Scopus es una base de datos basada en suscripción con un enfoque selectivo para la indexación de documentos, aunque con mayor cobertura y distintos indicadores. A diferencia de ellas, Google Scholar trabaja desde un enfoque inclusivo y automatizado, indexando cualquier documento académico que pueda encontrar y acceder en la web (Martín‑Martín, Orduña-Malea, Thelwall y López-Cozar, 2021), además, es de acceso gratuito, lo que permite a los usuarios acceder a un índice de citas multidisciplinario sin necesidad de pago.

Entre los tantos debates existentes en la comunidad científica, se encuentra el relacionado con la pertinencia de las fuentes de citación en la evaluación de los resultados de investigación, las políticas de incentivos y de reconocimiento de la investigación (Anninos, 2014). A esto debemos agregarle las limitaciones de las principales fuentes y de los indicadores bibliométricos (Camps, 2008) con sus inconvenientes para evaluar determinadas áreas y disciplinas, además de la ciencia que se realiza en zonas geográficas periféricas (Rijcke, Wouters, Rushforth, Franssen y Hammarfelt, 2016), situación por la que WoS y en general los índices de citas son ampliamente criticados.

La descripción y análisis de WoS y su valoración como herramienta de análisis es importante debido a su significación dentro del ecosistema de investigación. La importancia de evaluar tanto sus aportes, como las limitaciones y sesgos, viene unida a la llegada de nuevas fuentes, como es el caso de Scopus, su competidor más cercano, además de Google Scholar y otras recientes como Dimensions y Lens. Esta diversidad de opciones, proporciona sin dudas mayores posibilidades a quienes participan en las actividades científicas de una u otra naturaleza y puede minimizar aún más el liderazgo que por años tuvo la fuente.

El objetivo del presente ensayo es describir y estudiar desde una postura crítica y reflexiva, las colecciones, productos e indicadores que ofrece (WoS) para lo cual se exponen tanto las fortalezas como las debilidades de la herramienta, con el fin de apoyar a quienes hacen uso de ella en los distintos escenarios del proceso científico, además de aportar a la reflexión de la comunidad académica.

También, se discute sobre su futuro a la luz de las limitaciones de cobertura, de sus indicadores y los efectos que tiene la entrada de nuevos productos con prestaciones bibliométricas similares y útiles para la evaluación científica. Todo lo anterior en el contexto del acceso abierto, las nuevas métricas y la valoración de la investigación regional y de disciplinas poco cubiertas por los índices internacionales.

2. Contexto

Con la aparición de los índices de citación y el Science Citation Index, el mundo de la investigación cambió sustancialmente, con la posibilidad de realizar análisis de citas de diversas variables y estudiar la estructura intelectual de la ciencia (Garfield, 1955). Este producto con sus tres principales índices, el Science Citation Index (SCI), Social Science Citation Index (SSCI) y Arts & Humanities Citation Index (A&HCI), mantuvo el liderazgo como herramienta de evaluación científica, hasta que en 2004 Scopus trajo relevantes aportes al mejoramiento de la investigación, dada su mayor cobertura disciplinar y geográfica e inclusión de nuevos indicadores (Arencibia-Jorge y Peralta-González, 2020), lo que obligó a Web of Science a realizar ajustes como producto (Repiso y Torres-Salinas, 2016).

WoS es una plataforma de bases de datos que incluye información de citas y recoge literatura científica y académica publicada en revistas, actas de congresos, libros y datos de investigación (Clarivate, 2021). La selección de revistas que realiza y el cubrimiento temático de las distintas disciplinas se basó inicialmente en la formulación de Bradford (concentración-dispersión) con el propósito de contar con las de mayor influencia en sus respectivas disciplinas y la premisa de que un subconjunto de revistas producirá la mayor cantidad de información de citas de importancia en un tema dado (Bakkalbasi, Bauer, Glover y Wang, 2006).

Sin embargo, el objetivo inicial de Garfield con la creación de los índices de citas no fue la realización de análisis bibliométricos y cienciométricos, sino proponer un producto enfocado en la recuperación de información basado en redes de citas (Garfield, 1972), mientras que el análisis de la investigación, la evaluación y creación de rankings, análisis de tendencias, eran objetivos secundarios. Junto al propósito inicial, su valor para la evaluación, la obtención de indicadores y la gestión de la investigación tiene un papel determinante que mantienen a la fuente, sus productos y colecciones con un claro liderazgo, aún cuando en el transcurso de los años han aparecido nuevas herramientas y productos con prestaciones similares (Thelwall, 2018).

Igualmente, la importancia de la fuente, de sus productos e indicadores y en general su importancia en el escenario científico, radica también en la posibilidad de contar con información de citas (Chavarro, Rafols y Tang, 2018), que apoya la realización de estudios que ayudan a conocer el impacto de la investigación y estudiar la estructura de las disciplinas y frentes de investigación (Birkle, Pendleburry, Schnell y Adams, 2020).

El origen de nuevos productos como Google Scholar, Dimensions, Lens, Microsoft Academic Search y 1Findr, por solo mencionar los más importantes, se debió entre otros aspectos, a la necesidad de evaluar la ciencia no cubierta por los mencionados índices internacionales, como también a los cuestionamientos y críticas sobre la validez de los índices y sus indicadores, altamente controvertidos en algunos sectores de la ciencia (Martín-Martín et al, 2021). Este escenario generó que WoS ampliara su cobertura regional en las Ciencias Sociales y las Humanidades con la inclusión de los índices regionales como Scielo Citation Index y Emerging Sources Citation Index (ESCI) con cobertura global y la consiguiente posibilidad de mejorar los análisis y obtención de indicadores bibliométricos.

Dentro de las anteriores fuentes destaca Dimensions, que aparece en 2018 y utiliza un modelo en el que las funcionalidades básicas de búsqueda y navegación son gratuitas, aunque las funcionalidades avanzadas como el acceso a la API, requieren pago (Hook, Porter y Herzog, 2018), con una amplia cobertura a partir de diversas tipologías de fuentes e información de citas (Singh, Piryani, Singh, y Pinto, 2020).

Realizando un comparativo en cuanto a la cobertura de las principales bases de datos, en 2014 WoS cubría más de 75 millones de registros en su colección principal y hasta 155 millones con los índices de citas regionales y específicas del tema, mientras que Scopus aportaba alrededor de 54 millones (Orduña-Malea, Ayllón, Martín-Martín y López-Cózar, 2015), datos mayores en la actualidad.

A la fecha, Dimensions con más de 105 millones (Herzog, Hook y Konkiel, 2020), de los cuales aproximadamente 89 corresponden a documentos (Orduña-Malea y Delgado-López-Cozar, 2018), resulta una importante opción para la investigación bibliométrica, pues, además, y aunque proporciona recuentos de citas más bajos que Scopus en algunas disciplinas, aporta mayores números a los de WoS (Harzing, 2019).

Con respecto a Google Scholar, importante como fuente de datos para la investigación, aunque la calidad relativamente baja de sus metadatos disponibles y la dificultad para extraerlos generan dificultades en análisis bibliométricos (Delgado López-Cózar, Orduña-Malea y Martín-Martín, 2019), ofrece mayor número de citas que WoS y Scopus (Martín-Martín, Orduña-Malea, Thelwall y López-Cózar, 2018). Por su parte Dimensions, como competidor cercano de Web of Science y Scopus, resulta importante en algunos tipos de evaluaciones formales de investigación, incluyendo los estudios de citas (Thelwall, 2018).

A pesar de la competencia expuesta anteriormente, las colecciones de WoS, complementos, indicadores y sus funcionalidades, son fundamentales para bibliotecarios, editores, gestores de política científica e investigadores y para el trabajo que en universidades e institutos de investigación se realiza. De forma específica en los servicios de información, la selección de revistas para publicar, creación de informes bibliométricos, como en la búsqueda de indicios de calidad y apoyo a la evaluación y otras labores relacionadas con la investigación. Lo anterior es resultado del interés que en los últimos años tiene la bibliometría con sus métodos e indicadores, generado por los cambios en los modelos de evaluación de la ciencia, los servicios de información y las formas de analizar las revistas, entre otros aspectos.

Sin embargo, junto a la mención de su relevancia, es preciso destacar el sesgo ampliamente debatido sobre su cobertura, reducido en los últimos años con la inclusión en la colección principal de un grupo considerable de revistas emergentes en el índice Emerging Source Citation Index (ESCI), junto a la cobertura que brindan los índices regionales como Scielo Citation Index. Estos ofrecen la posibilidad de explorar tendencias y regularidades de aquella investigación no cubierta por los productos de la colección principal y realizada en las regiones, y que elimina los sesgos de cobertura.

Sobre la pertinencia, importancia y utilidad de la fuente sobre otras, se debe destacar que no solo WoS sino también Scopus, tienen sesgos que favorecen en mayor medida las Ciencias Exactas sobre las Ciencias Sociales y las Humanidades (Mongeon y Paul-Hus, 2016). Otras investigaciones dan cuenta de la correlación y semejanzas entre Web of Science y Scopus, el hecho que ambas fuentes resulten complementarias y no excluyentes, así como el nivel de solapamiento que tienen (Escalona Fernández, Lagar Barbosa y Pulgarín Guerrero, 2010).

En este escenario, la visibilidad de Google Scholar Metrics (GSM) que duplica la cobertura tanto en información como en número de citas (Martín-Martín, Orduña-Malea, Thelwall y López-Cózar, 2018) y reduce el sesgo anglosajón que poseen Web of Science y Scopus (Delgado y Repiso, 2013); las posibilidades de Dimensions como alternativa para la realización de análisis de citas como rival de WoS y Scopus en cuanto a cobertura y gratuidad y con Google Scholar en funcionalidades para el tratamiento y exportación de datos (Orduña-Malea y Delgado-López-Cózar, 2018), son también elementos a tener en cuenta en el panorama de la evaluación científica.

Como parte de la investigación científica, los indicadores bibliométricos juegan un papel protagónico pues ayudan a la descripción de fenómenos, miden acciones relacionadas con la generación y disfusión de los conocimientos científicos, a la vez que constituyen herramientas de medición de la ciencia (Arencibia Jorge y de Moya Anegón, 2008) y son variados tanto en categorías como en aplicaciones y es posible obtenerlos desde diversas fuentes.

En el caso de los que aporta WoS (Torres-Salinas y Jiménez-Contreras, 2010), están soportados por el prestigio de la herramienta, el proceso de selección de revistas empleado y por el control de calidad en cada fase. Además de los indicadores tradicionales con sus distintas funcionalidades, el índice tiene complementos gratuitos de fácil acceso desde la plataforma ScienceWatch.com (Ruiz-Pérez, Jiménez-Contreras y Delgado-López-Cózar, 2008) útiles en la gestión de la investigación, los servicios de información y otras actividades en el entorno de las bibliotecas.

3. Descripción y análisis colecciones, productos e indicadores

Como fundamento de la relevancia e importancia de la herramienta, se exponen y analizan su estructura, volumen de datos, productos e indicadores, además de sus fortalezas y limitaciones. Se ofrece información de interés para quienes la emplean en la gestión de la actividad científica con mayor nivel de detalles sobre la misma (Cuadro 1) y especificamente la estructura, descripción de las colecciones y productos como sus indicadores (Figura 1).

Junto a los datos de interés y estructura general de la herramienta, se describen los distintos productos con el objetivo de aportar información sobre ellos, su cobertura y principales características (Tabla 1). Lo anterior permite además conocer a partir de los aportes, las distintas actividades en las que se pueden utilizar dentro del proceso de investigación.

Dada la significación de los indicadores y productos y su utilidad en actividades de investigación, se describen aquellos que aporta el Journal Citation Report (JCR) (tabla 2), los Essential Science Indicators (ESI) (tabla 3) e Incites (tabla 4) como herramientas importantes, dado los indicadores que ofrecen. La información detallada de estos constituye un importante apoyo a la gestión de la investigación para quienes requieran de ellos en la evaluación y análisis de agregados científicos.

Journal Citation Reports es un producto de WoS por medio del cual se puede conocer el impacto y obtener distintos indicadores de las revistas que forman parte de la base, de gran utilidad para bibliotecarios, editores e investigadores. Además del factor de impacto que, calculado para las revistas de las ediciones de Science Citation Index y el Social Science Citation Index, incluye otros indicadores para las revistas del Arts & Humanities Citation Index y Emerging Source Citation Index, como por ejemplo el nuevo indicador Journal Citation Indicator (JCI). En la siguiente tabla se muestran los que se obtienen para cada revista, como una descripción de los mismos que ayuda no solo a su obtención, sino a su aplicación en actividades de investigación.

Essential Science Indicator (ESI), es una herramienta que proporciona estadísticas e indicadores útiles para estudiar las tendencias en investigación científica de distintos actores del sistema científico como países, instituciones, autores y disciplinas. Ayuda a la planeación de la investigación a partir de información sobre umbrales de citas y tendencias con la posibilidad de realizar combinación de ellos.

Por su parte, Incites constituye una importante herramienta de evaluación de la investigación basada en citas. Ayuda a la comparación de aspectos tanto cualitativos como cuantitativos del rendimiento científico de instituciones, países, áreas y disciplinas. Ofrece indicadores de producción, colaboración e impacto. Muestra fortalezas, limitaciones y ayuda a descubrir oportunidades de mejora dentro de las distintas áreas.

Con el propósito de profundizar en los aportes dentro de las actividades de investigación, se describen algunas aplicaciones específicas de los productos, herramientas e indicadores ya expuestos que ayuden al proceso de trabajo con los mismos:

• ● Recursos de la colección principal, colecciones regionales y especializadas: Según el alcance de la investigación, estos son importantes para la búsqueda y recuperación de información en la que aplicar uno u otro debe estar relacionado con el alcance y objetivos de la investigación. Sirven al proceso de búsqueda y recuperación de información, escritura de artículos y generación de nuevo conocimiento, la gestión de proyectos de investigación con información revisada por pares, actual y confiable.

  ● Journal Citation Reports (JCR): Facilita la evaluación de revistas científicas, ofrece métricas e indicadores, además del factor de impacto. En específico, apoya la evaluación y selección de revistas para publicar, los servicios de información en bibliotecas, la gestión editorial y otras actividades de gestión, evaluación y planeación.

  ● Essential Science Indicators (ESI): Útil para la realización de informes de tendencia a partir de diversos indicadores de países, áreas e instituciones. Para los gestores de política científica la herramienta es clave para conocer el estado actual de la investigación y realizar acciones de planeación y toma de decisiones.

  ● Derwent Innovation Index (DII): Ayuda a la realización de estudios bibliométricos de patentes, conocer las tendencias en innovación y el impacto de los avances tecnológicos en disciplinas, países e instituciones.

  ● Incites B&A: Posibilita la creación de informes bibliométricos sobre el estado de la investigación de distintas instituciones y áreas a partir de variedad de indicadores, realizar comparaciones entre ellas por períodos de tiempo. Constituye una herramienta importante para gestores de política científica, editores y bibliotecarios.

  ● Herramientas de apoyo: Representan soporte a los procesos de investigación como la escritura de artículos, la gestión de bibliografías, manejo y gestión de perfiles y otros.

Como se ha expuesto en el desarrollo del trabajo, además de las posibilidades que brinda WoS en actividades de investigacion, también tiene elementos negativos que si bien no invalidan su relevancia e importancia estratégica, deben tenerse en cuenta para una correcta gestión y aplicabilidad en cada fase del proceso de investigación. Para ello se presentan algunos aspectos positivos y negativos de la herramienta, importantes para quienes hacen uso de ella en distintas actividades de investigación. El listado se ha elaborado atendiendo a la información desarrollada en el presente trabajo y criterios de los autores.

Aspectos positivos

1. · La calidad de la información sustentada en el riguroso proceso de evaluación y selección de revistas, además del monitoreo constante de cumplimiento de los 28 criterios utilizados para evaluar las revistas.

   · El mejoramiento de la cobertura con la inclusión de un considerable número de revistas en el índice Emerging Source Citation Index. Los aportes que representa esta inclusión mejora los flujos de citas en los distintos ámbitos.

   · Variedad de métricas e indicadores más allá de factor de impacto, que favorece el análisis más integral y menos sesgado de las revistas y de la investigación en general.

   · Integralidad de los productos e incorporación de herramientas útiles para las distintas fases del proceso de investigación como los gestores bibliográficos, Kopernio, Publons y otros.

   · Utilidad para los análisis de citas, con mejor comportamiento en cuanto a cantidad y calidad que otras fuentes como Scopus.

Aspectos negativos

• · Costos de suscripción que impide que muchas universidades e instituciones de investigación no cuenten con la posibilidad de acceder a sus productos, contenidos e indicadores.

  · Las limitaciones conocidas del factor de impacto para evaluar revistas y valorar la investigación en general, que impacta en la valoración de la fuente en la comunidad científica.

  · Sesgo temático y de cobertura que limita la evaluación de la investigación regional y de Ciencias Sociales y Humanidades y además reduce de manera considerable su aplicación en la evaluación científica en regiones periféricas.

  · A pesar del aumento de revistas con la inclusión de índices como ESCI, la cantidad de revistas aún resulta insuficiente para evaluar la investigación menos representada y obtener descriptivas de algunos ámbitos cientificos.

  · Presencia de índices regionales como Scielo Citation Index, sin políticas claras de inclusión y exclusión en la plataforma, lo que genera ambigüedad en su uso dentro de las actividades de investigación.

  · El aumento de otras fuentes de mayor cobertura, que aportan métricas e indicadores bibliométricos, con facilidades de búsqueda, recuperación, obtención y análisis llevará a que WoS vaya perdiendo exclusividad y uso.

4. Discusión

La llegada de WoS y los índices de citación al mundo de la investigación científica representó un importante avance para la evaluación y la gestión de los sistemas científicos. Sus colecciones, productos e indicadores constituyen hasta hoy, un apoyo importante a quienes participan en el proceso de generación de conocimiento y gestión y evaluación de la ciencia, específicamente en el análisis de las dinámicas de producción, la planeación, evaluación de revistas, servicios de información, como en la búsqueda de oportunidades de colaboración e innovación y otros.

Asimismo la fuente, con su diversidad de productos e indicadores, constituye un gran aporte para la comprensión de las tendencias de la investigación en diferentes escenarios, a la vez que respalda el mejoramiento, análisis y aumento de la visibilidad de las revistas, muestra la relación entre autores, instituciones, creando una robusta red de citas para la evaluación y gestión de la actividad científica. Igualmente y en el caso de las agencias de financiación, posibilita el análisis de información para la toma de decisiones, donde la inversión en ciencia y tecnología tendrá más impacto, además de permitir la creación y fortalecimiento de servicios de información, como apoyo al ciclo de vida de la investigación dentro de las universidades.

Aún con las conocidas limitaciones y sesgos tanto de la fuente como de sus indicadores (Seglén, 1997), la calidad y su valor para la investigación, fortalecen cada uno de los procesos y fases de la investigación en la actividad científica que requieren de información de calidad, resultante de rigurosos procesos de selección, evaluación y control que ofrezcan valor a los resultados finales. Lo anterior, que inicia con la calidad del proceso de selección y evaluación de revistas junto al control de la calidad que lleva a cabo a las mismas, fortalece actividades como la escritura y publicación de artículos científicos, la generación de informes bibliométricos disciplinares, de memorias institucionales y de resultados de la gestión, planeación y benchmarking, evaluación de revistas, servicios de información y otros que requieren de la utilización de fuentes de datos de calidad y visibilidad.

Por otra parte, la problemática y debate en torno a la fuente y su validez, se relaciona con el hecho de que la investigación realizada en las regiones y de Ciencias Sociales y Humanidades se encuentra subrepresentada. La limitada presencia de revistas latinoamericanas y de estas áreas en los principales índices de la herramienta, aún con la cobertura que brinda ESCI, limita la evaluación no solo de las revistas, sino de buena parte de la producción científica que se produce en la región.

Sin embargo, la problemática anterior, aunque se soluciona en parte con importantes alternativas como Redalyc y Scielo, junto a otros como Latindex, Dialnet, DOAJ, con criterios de evaluación de revistas basados en la calidad y que cubren parte de la investigación no recogida por los índices internacionales como WoS, aún no se utilizan como fuentes de evaluación de las comunidades, lo que hace que WoS y su competidor más cercano (Scopus), sigan teniendo liderazgo. Este escenario en el que participan otras fuentes que recogen y evaluan una cantidad considerable de revistas, aporta dinamismo a la evaluación científica, lo que ha generado lógicos cambios en la fuente.

La mención anterior sobre presencia de bases de datos regionales, con altos estándares de calidad y mayor cubrimiento de la investigación regional, conlleva la necesidad de ajustes y cambios por parte de WoS. Sus competidores cercanos desde el inicio han trabajado en el aumento de la cobertura y propuesta de indicadores con menos sesgos y limitaciones (Falagás, Pitsouni, Malietzis y Pappas, 2008). Las posibilidades para la evaluación científica y obtención de indicadores que tienen Google Scholar y sus productos (Torres-Salinas, Ruiz-Pérez y Delgado-López-Cózar, 2009) y los nuevos actores como Dimensions (Singh, Singh, Karmakar, Leta y Mayr, 2021), hará necesario la continua introducción de cambios y ajustes por parte de WoS.

También mencionar que sus elementos negativos impactan considerablemente en el aumento de las críticas y la consiguiente reducción del uso de la herramienta debido a los altos costos. Para muchas instituciones de América Latina, las dificultades de adquisición de los productos y colecciones sigue siendo una problemática latente, que lleva a la imposibilidad de utilizarla en sus procesos de planeación, gestión y evaluación. Por ello recurren a Scopus que cuenta con más facilidades de adquisición, además de Dimensions y otras fuentes en abierto con mayor cobertura y prestaciones parecidas.

Igualmente es preciso abordar que los efectos tóxicos de su uso y de otras fuentes de citación e indicadores bibliométricos en la evaluación científica, ha generado un impacto negativo para la ciencia regional, en una zona como la latinoamericana con reducida presencia de revistas, tendencia a escribir en español y enfoques locales de la investigación. Este síndrome de publicar en revistas incluidas en fuentes como WoS, en buena medida ha distorsionado las prácticas de investigación, aumentado el síndrome Publish or Perish y la precariedad de la calidad docente, además de cambios en el mercado de las revistas (Delgado-López-Cózar; Ràfols y Abadal, 2021).

La pregunta necesaria a realizarse es, ¿qué acciones podrá tomar WoS ante la creciente incorporación de nuevas fuentes en el circuito de comunicación y evaluación de la ciencia? Al respecto, la llegada y auge de Google Scholar (Torres-Salinas et al., 2009), además de Dimensions y otras que amplian la cobertura (Martín-Martín et al, 2021), por solo mencionar dos de los más relevantes, hace pensar que disminuirá gradualmente el número de instituciones que utilicen la herramienta en la gestión de sus actividades. Las fuentes de reciente incorporación y otras ya utilizadas, tienen gran potencial y posibilidades de consolidarse como herramientas fundamentales en la evaluación científica, al contar con multiplicidad de tipologías documentales, volumen de datos y acceso a citas, y que pueden reemplazar a WoS.

Frente a un entorno dinámico, para los gestores de políticas científicas, la comunidad científica, agencias de evaluación y demás actores del sistema científico en los países, la necesidad de contar con nuevas fuentes para la evaluación científica responde no solo al debate teórico existente y los llamados de la comunidad científica sobre la “mala bibliometría” (Aguillo, 2015), a la influencia de iniciativas como la Declaración de San Francisco (DORA) y el Manifiesto de Leiden, sino que en la práctica amplía las posibilidades de recuperación de información, posibilidad de realizar investigación bibliométrica con mayor cobertura de datos y por ende con mejores resultados en visibilidad e impacto.

La necesidad de promover cambios en los sistemas de evaluación científica y de no usar del factor de impacto (American Society for Cell Biology [ASCB], 2013), junto a la necesidad de buenas prácticas en la evaluación científica basada en indicadores, para que los investigadores puedan pedir cuentas a los evaluadores y viceversa según el Manifiesto de Leiden (Hicks, Wouters, Waltman, de-Rijcke y Ràfols, 2015), llaman a la incorporación de otros medios de evaluación, con énfasis en la calidad de los resultados y no solo en cuanto a cantidad.

Sin embargo, pese a años de críticas y debate sobre el uso de la fuente y su indicador más visible (el factor de impacto) como medida de valoración de las comunidades científicas, estos continúan teniendo liderazgo en la comunidad científica y las agencias de evaluación, sin que se vislumbre que sean eliminados o reemplazados. Un aporte para los responsables de políticas científicas, bibliotecas, investigadores y quienes forman parte de los circuitos de comunicación científica, es que deben tener en cuenta el abanico de posibilidades existentes y utilizar de manera responsable las fuentes, herramientas e indicadores, ajustados a sus objetivos y contextos de trabajo.

5. Consideraciones finales

La existencia de un amplio abanico de bases de datos con posibilidades de búsqueda y recuperación de información y prestaciones bibliométricas, en el universo de las actividades de investigación científica, nos hace reflexionar sobre el futuro de evaluación científica. Escenario en el que las novedades propuestas por Eugene Garfield con los Science Citation y que fueron exclusivas durante un amplio periodo de tiempo, pierden liderazgo y exclusividad en la medida que se incorporan otras fuentes.

Web of Science desde sus inicios ha tenido como premisa cubrir las revistas más influyentes en los diferentes campos de investigación, selectividad que sesga áreas del conocimiento y regiones. Aunque actualmente intentan corregir algunos sesgos históricos, persiste la limitada presencia de libros y en general la representación de las Ciencias Sociales y las Humanidades (Vanderstraeten y Vandermoere, 2021). Muestra claras deficiencias en la cobertura de investigación de países periféricos junto a desequilibrios en la expansión de las categorías y el crecimiento del número de revistas, que influye en el tipo de investigación que se puede realizar, especialmente en las áreas menos favorecidas.

La descripción y análisis realizado de la fuente ha permitido visualizar la importancia y aplicabilidad de sus colecciones y productos para la evaluación científica como opción necesaria a la hora de realizar investigación bibliométrica, a pesar de las mencionadas limitaciones que presenta. La calidad de sus colecciones, validada por los criterios de calidad exigidos, el aumento de la cobertura aún insuficiente, el prestigio ganado en el tiempo y la variedad de indicadores, le permitirá mantenerse en este escenario de aguas turbulentas alrededor del mercado de las bases de datos.

Finalmente señalar que para los responsables de WoS es un imperativo la continua innovación y creación de estrategias que ayuden a competir con las nuevas fuentes y la amplia batería de indicadores con menos sesgos y limitaciones metodológicas para la realización de investigaciones. No es tiempo de prestarle atención solo a Scopus, su competidor más cercano, sino a Google Scholar, fuente con gran relevancia para localizar y descubrir material académico con sencillez y rapidez, de forma gratuita y con indicadores bibliométricos incluidos, además de a Dimensions, que ofrece facilidades para obtener y analizar información científica, a partir de su cobertura en fuentes y en citas.

6. Referencias

Aguillo, I. F. (2015). La Declaración de San Francisco (DORA) y la mala bibliometría. Anuario ThinkEPI, (9), 183-188. doi: https://doi.org/10.3145/thinkepi.2015.43

American Society for Cell Biology (2013). San Francisco Declaration on Research Assessment (DORA). Recuperado de http://www.ascb.org/dora-old/files/SFDeclarationFINAL.pdf

Anninos, L. N. (2014). Research performance evaluation: some critical thoughts on standard bibliometric indicators. Studies in Higher Education, 39(9), 1542-1561. doi: https://doi.org/10.1080/03075079.2013.801429

Arencibia Jorge, R., y de Moya Anegón, F. (2008). La evaluación de la investigación científica: una aproximación teórica desde la cienciometría. Acimed, 17(4), 1-27. Recuperado de http://scielo.sld.cu/pdf/aci/v17n4/aci04408.pdf

Arencibia-Jorge, R., y Peralta-González, M. J. (2020). Recommendations on the use of Scopus for the study of Information Sciences in Latin America. Iberoamerican Journal of Science Measurement and Communication, (1), 1-4. doi: https://doi.org/10.47909/ijsmc.07

Bakkalbasi, N., Bauer, K., Glover, J., y Wang, L. (2006). Three options for citation tracking: Google Scholar, Scopus and Web of Science. Biomedical digital libraries, 3(1), 1-8. doi: https://doi.org/10.1186/1742-5581-3-7

Birkle, C., Pendlebury, D. A., Schnell, J., y Adams, J. (2020). Web of Science as a data source for research on scientific and scholarly activity. Quantitative Science Studies, 1(1), 363–376. doi: https://doi.org/10.1162/qss_a_00018

Camps, D. (2008). Limitaciones de los indicadores bibliométricos en la evaluación de la actividad científica biomédica. Colombia Médica, 39(1), 74-79. Recuperado de http://www.scielo.org.co/pdf/cm/v39n1/v39n1a9.pdf

Castelló-Cogollos, L., Sixto-Costoya, A., Lucas-Domínguez, R., Agulló-Calatayud, V., de Dios, J. G., y Aleixandre-Benavent, R. (2018). Bibliometría e indicadores de actividad científica (XI). Otros recursos útiles en la evaluación: Google Scholar, Microsoft Academic, 1findr, Dimensions y Lens. org. Acta Pediátrica Española, 76(9/10), 123-130. Recuperado de https://www.actapediatrica.com/images/pdf/Volumen-76---Numeros-9-y-10---Septiembre-y-octubre-2018.pdf

Chavarro, D, Rafols, I., y Tang, P. (2018). To what extent is inclusion in the Web of Science an indicator of journal ‘quality’? Research Evaluation, 27(2), 106-118. doi: https://doi.org/10.1093/reseval/rvy001

Clarivate (2021). Clarivate – data, insights and analytics for the innovation. Recuperado de https://clarivate.com/

Clarivate (2021). Web of Science Journal Evaluation Process and Selection Criteria. Recuperado de https://clarivate.com/webofsciencegroup/journal-evaluation-process-and-selection-criteria/

Delgado López-Cózar, E., Orduña-Malea, E., y Martín-Martín, A. (2019). Google Scholar as a data source for research assessment. En: W. Glanzel, H. Moed, U. Schmoch, & M. Thelwall (Eds.), Springer handbook of science and technology indicators. Berlin, Alemania: Springer. doi: https://doi.org/10.1007/978-3-030-02511-3

Delgado, E., y Repiso, R. (2013). El impacto de las revistas de comunicación: comparando Google Scholar Metrics, Web of Science y Scopus. Comunicar, 21(41), 45-52. doi: http://dx.doi.org/10.3916/C41-2013-04

Delgado-López-Cózar, E., Ràfols, I., y Abadal, E. (2021). Carta: Por un cambio radical en la evaluación de la investigación en España. El Profesional de la Información, 30(3), e300309. doi: https://doi.org/10.3145/epi.2021.may.09

Escalona Fernández, M. I, Lagar Barbosa, P., y Pulgarin Guerrero, A. (2010). Web of Science vs. Scopus: un estudio cuantitativo en Ingeniería Química. Anales de documentación, (13), 159-175. Recuperado de https://revistas.um.es/analesdoc/article/view/107121/101801

Falagás, M. E., Pitsouni, E. I., Malietzis, G. A., y Pappas, G. (2008). Comparison of PubMed, Scopus, web of science, and Google scholar: strengths and weaknesses. The FASEB Journal, 22(2), 338-342. doi: https://doi.org/10.1096/fj.07-9492LSF

Garfield, E. (1955). Citation indexes for science: A New Dimension in Documentation through Association of Ideas. Science, 122(3159), 108-111. doi: https://10.1126/science.122.3159.108

Garfield, E. (1972). Citation analysis as a tool in journal evaluation. Science, 178(4060), 471-479. Recuperado de https://www.jstor.org/stable/1735096

Harzing, A. W. (2019). Two new kids on the block: How do Crossref and Dimensions compare with Google Scholar, Microsoft Academic, Scopus and the Web of Science? Scientometrics, (120), 341–349. doi: https://doi.org/10.1007/s11192-019-03114-y

Herzog, C., Hook, D., y Konkiel, S. (2020). Dimensions: bringing down barriers between scientometricians and data. Quantitative Science Studies, 1(1), 387–395. doi: https://doi.org/10.1162/qss_a_00020

Hicks, D., Wouters, P., Waltman, L., De-Rijcke, S., y Ràfols, I. (2015). Bibliometrics: the Leiden Manifesto for research metrics. Nature, (520), 429-431. doi: https://doi.org/10.1038/520429a

Hook, D. W., Porter, S. J., y Herzog, C. (2018). Dimensions: Building Context for Search and Evaluation. Frontiers in Research Metrics and Analytics, 3, 23. doi: https://doi.org/10.3389/frma.2018.00023

Martín-Martín, A., Orduña-Malea, E., Thelwall, M. y López-Cózar, E. (2018). Google Scholar, Web of Science, and Scopus: A systematic comparison of citations in 252 subject categories. Journal of Informetrics, 12(4), 1160-1177. doi: https://doi.org/10.1016/j.joi.2018.09.002

Martín-Martín, A., Thelwall, M., Orduña-Malea, E. y Delgado López-Cozar, E. (2021). Google Scholar, Microsoft Academic, Scopus, Dimensions, Web of Science, and OpenCitations’ COCI: a multidisciplinary comparison of coverage via citations. Scientometrics (126), 871–906. doi: https://doi.org/10.1007/s11192-020-03690-4

Mongeon, P. y Paul-Hus, A. (2016). The journal coverage of Web of Science and Scopus: a comparative analysis. Scientometrics, (106), 213–228. doi: https://doi.org/10.1007/s11192-015-1765-5

Orduña-Malea, E., y Delgado-López-Cózar, E. (2018). Dimensions: re-discovering the ecosystem of scientific information. El profesional de la Información, 27(2), 420-431. doi: https://doi.org/10.3145/epi.2018.mar.21

Orduña-Malea, E., Ayllón, J. M., Martín-Martín, A., y Delgado López-Cózar, E. (2015). Methods for estimating the size of Google Scholar. Scientometrics, (104), 931-949. https://doi.org/10.1007/s11192-015-1614-6

Orduña-Malea, E. y Delgado-López-Cózar, E. (2018). ¡Viva la competencia! Nuevas dimensiones para la búsqueda y evaluación de la información científica. Anuario ThinkEPI, (12), 304-310. doi: https://doi.org/10.3145/thinkepi.2018.45

Repiso, R., y Torres-Salinas, D. (2016). Características e implicaciones de la base de datos Emerging Sources Citation Index (Thomson Reuters): las revistas en estado transitorio. Anuario ThinkEPI, (10), 234-236. http://dx.doi.org/10.3145/thinkepi.2016.46

Rijcke, S. D., Wouters, P. F., Rushforth, A. D., Franssen, T. P., y Hammarfelt, B. (2016). Evaluation practices and effects of indicator use—a literature review. Research Evaluation, 25(2), 161-169. doi: https://doi.org/10.1093/reseval/rvv038

Ruiz-Pérez, R., Jiménez-Contreras, E., y Delgado-López-Cózar, E. (2008). Complementos bibliométricos de Thomson Scientific en la Web: buenos, bonitos y gratuitos. El Profesional de la Información, 17(5), 559-563. https://doi.org/10.3145/epi.2008.sep.11

Seglén, P. (1997). Why the impact factor of journals should not be used for evaluating research. BMJ, 314(7079), 498-502. doi: https://doi.org/10.1136/bmj.314.7079.497

Singh, P., Piryani, R., Singh, V. K., y Pinto, D. (2020). Revisiting subject classification in academic databases: a comparison of the classifcation accuracy of Web of Science, Scopus & Dimensions. Journal of Intelligent & Fuzzy Systems, 39(2), 2471–2476. https://doi.org/10.3233/JIFS-179906

Singh, V. K., Singh, P., Karmakar, M., Leta, J., y Mayr, P. (2021). The Journal Coverage of Web of Science, Scopus, and Dimensions: A Comparative Analysis. Scientometrics, (126), 5113–5142. doi: https://doi.org/10.1007/s11192-021-03948-5

Thelwall, M. (2018). Dimensions: A competitor to Scopus and the Web of Science? Journal of Informetrics, 12(2), 430-435. doi: https://doi.org/10.1016/j.joi.2018.03.006

Torres-Salinas, D. y Jiménez-Contreras, E. (2010). Introducción y estudio comparativo de los nuevos indicadores de citación sobre revistas científicas en Journal Citation Reports y Scopus. El profesional de la Información, 19(2), 201-207. doi: https://doi.org/10.3145/epi.2010.mar.12

Torres-Salinas, D., Ruiz-Pérez, R. y Delgado-López-Cózar, E. (2009). Google Scholar como herramienta para la evaluación científica. El profesional de la Información, 18 (5), 501-510. doi: https://doi.org/10.3145/epi.2009.sep.03

Vanderstraeten, R. y Vandermoere, F. (2021). Inequalities in the growth of Web of Science. Scientometrics, (126), 8635–8651. doi: https://doi.org/10.1007/s11192-021-04143-2