Artículos científicos
Análisis bibliométrico y de redes sociales de la Revista Peruana de Medicina Experimental y Salud Pública (2010-2019)
Bibliometric and social network analysis of the Revista Peruana de Medicina Experimental y Salud Pública (2010-2019)
Análisis bibliométrico y de redes sociales de la Revista Peruana de Medicina Experimental y Salud Pública (2010-2019)
Revista e-Ciencias de la Información, vol. 11, núm. 1, pp. 135-163, 2021
Universidad de Costa Rica
Recepción: 30 Mayo 2020
Corregido: 05 Noviembre 2020
Aprobación: 17 Noviembre 2020
Resumen: El objetivo de este artículo fue realizar un estudio bibliométrico de las publicaciones de la RPMESP (2010-2019) con el fin de posibilitar el mejoramiento de los procesos de gestión editorial y toma de decisiones de esta y otras revistas científicas con similar comportamiento. Es un estudio descriptivo con metodología bibliométrica que analiza por medio de indicadores de productividad, colaboración y de redes las principales tendencias de la revista. Los registros fueron recuperados de Scopu, del cual, luego de un proceso de normalización, se obtuvieron 565 documentos. El 96% de documentos se publicaron en idioma español y en colaboración (dos o más autores), esto refleja que hay mayor interés de autores latinoamericanos de publicar en colaboración en los últimos años. Se observó un incipiente grado de apertura internacional al recibir documentos de países como Estados Unidos, Colombia y España, tendencia que es necesario continuar trabajando en la búsqueda de un mayor grado de internacionalidad. Perú como país y la Universidad Peruana Cayetano Heredia como institución tuvieron las mayores medidas de centralidad y poder en el análisis de redes. La posición estratégica de estos nodos puede ser aprovechada por la RPMESP para establecer estrategias y fortalecer relaciones de colaboración con todos los miembros de estas redes. Este paso podría mejorar el rol importante que cumple la RPMESP en la divulgación científica de estudios médicos en respuesta a las grandes demandas actuales.
Palabras clave: Bibliometría, Revistas, Colaboración científica, Análisis de co-citas, Análisis de co-palabras.
Keywords: Bibliometrics, Journals, Scientific collaboration, Co-citation analysis, Co-word analysis
1.Introducción
La función principal de las revistas científicas, desde su surgimiento, ha sido dar a conocer los avances del conocimiento y ser instrumentos de las investigaciones (Borrego, 2017). Además de su función primaria de registro y comunicación, las revistas científicas sirven como mecanismo de la investigación publicada (Delgado López-Cózar, Ruiz-Pérez y Jiménez-Contreras, 2006), contexto en el que los métodos de evaluación como el bibliométrico tienen especial relevancia (Glänzel y Moed, 2013). Además de otros como el peer review como método de control (Codina, 2016), el cumplimiento de criterios para su indexación en bases y sistemas de información y otros que aportan calidad a las mismas.
Por lo anterior, la evaluación de revistas representa un aspecto clave en los sistemas científicos actuales, la calidad de las mismas, su visibilidad e impacto, la presencia en fuentes de información y sistemas de indexación, así como el rol que tienen dentro de las universidades e instituciones como medio de comunicación, divulgación y apoyo a la marca universidad, lleva a la búsqueda necesaria de la calidad a partir de revisiones periódicas de la gestión y resultados (Delgado-López-Cózar et al., 2006;Miguel, 2011).
Al respecto, la bibliometría con sus métodos e indicadores tiene un rol importante en la evaluación de revistas, a pesar de sus sesgos y limitaciones como solo aportar información de la cantidad de publicaciones, pero no sobre su calidad (Camps, 2008), y donde no se deben olvidar las diferencias disciplinares, las prácticas de publicación y citación de las disciplinas científicas (Seglen, 1997). La bibliometría se ha usado ampliamente en la evaluación y el análisis del comportamiento de las revistas en salud (Sanz-Valero, Casterá, Wanden-Berghe, 2014; Minas, Wright, Zhao y Kakuma, 2014; Baladi y Umedani, 2017; Monteserín, Junquera, Cordón y Llorente, 2014 y Ullah et al., 2016).
En el caso peruano, se ha recurrido a los métodos bibliométricos para la evaluación de revistas, específicamente en el análisis de su visibilidad, especialización, presencia en fuentes y sistemas de información (Huamani y Pacheco-Romero, 2009), las tendencias presentes en el consumo de información, de la bibliografía utilizada (Huamani y Pacheco-Romero, 2012) y el estado general de la investigación en las revistas fuente de Scielo Perú (Huamani y Pacheco-Romero, 2011). También, el impacto a partir de Google Scholar Metrics (GSM) (Mayta-Tristán, 2012), el análisis de variables bibliométricas y editoriales (Santillán-Aldana, Arakaki, De la Vega, Calderón-Carranza y Pacheco-Mendoza, 2017) y el comportamiento de los patrones de colaboración y las redes derivados de ellos (Huamaní y Mayta-Tristán, 2010), son algunas de las principales investigaciones.
Esta investigación consiste en realizar un análisis bibliométrico de la Revista Peruana de Medicina Experimental y Salud Pública (RPMESP) que publica de manera continua desde 1942 como medio oficial de difusión científica del Instituto Nacional de Salud (INS), institución referente en salud pública peruana. Con periodicidad trimestral y arbitrada por pares, la RPMESP se encuentra indexada en Scopus, MEDLINE, Embase, LILACS, SciELO, Hinari, Redalyc y Latindex. Existen dos estudios previos sobre la evaluación bibliométrica de la RPMESP, el de Romaní y Cabezas (2018) y el de Huamaní (2010), que analizan su productividad e impacto, donde se concluye que la productividad y métricas de impacto muestran un crecimiento progresivo, pero no al nivel de sus pares regionales. Sin embargo, no se analizó la dinámica de la colaboración científica ni el análisis temático, la cual dichos autores sugieren que se realice en estudios futuros.
En respuesta a eso, nace esta investigación, que se centra en la evaluación bibliométrica de la RPMESP a partir de una batería de indicadores bibliométricos de producción, de colaboración, de redes sociales y mapas de visualización. Para ello, se formula la siguiente pregunta de investigación: ¿Cuáles son las características presentes en los resultados bibliométricos obtenidos de la RPMESP que posibilitan el mejoramiento de los procesos de gestión y toma de decisiones de las revistas? Es importante mencionar que los resultados permitirán tomar decisiones pertinentes para mejorar la gestión editorial, la planeación futura y la búsqueda de mayor visibilidad e impacto de la revista.
2. Referente teórico
2.1 Análisis de redes
El Análisis de Redes Sociales (ARS) como metodología efectiva para el estudio de las relaciones entre individuos a través de redes compuestas por nodos y aristas permite comprender la estructura, comportamiento, interacciones e influencias que se dan dentro de una estructura social (red) (Aguilar-Gallegos, Martínez-González y Aguilar-Ávila, 2017). Un nodo dentro de una red representa a un actor (persona, institución, país o ciudad) que se relaciona directa o indirectamente con otros a través de las aristas (Kuz, Falco y Giandini, 2016). Para determinar la importancia y el rol de un nodo (actor) en la red se emplean métricas como las medidas de centralidad y poder (MCyP) que se muestran en la Figura 1.
El siguiente apartado detalla la metodología desarrollada para la investigación. Asimismo, aborda el enfoque de investigación, población de estudio, técnica de recolección de datos y tipo de procesamiento utilizados para el análisis de datos.
3. Metodología
3.1. Enfoque
En esta investigación se llevó a cabo un estudio cuantitativo de alcance descriptivo con metodología bibliométrica.
3.2. Población de estudio
Dado el enfoque del estudio, la población constituye los documentos publicados en la RPMESP en el periodo 2010-2019, revista que fue indexada en Scopus el año 2010. La búsqueda se realizó mediante el ISSN de la revista, cuya ecuación fue: ISSN (1726-4642 OR 1726-4634) incluyendo solo artículos y revisiones. Este proceso permitió la recuperación de 1011 documentos manejados en formato .CSV. Se realizó un proceso de limpieza y normalización que consistió en tomar el campo id de Scopus del CSV descargado, el cual permitió identificar de forma única a cada autor y por ende identificar su afiliación institucional y su país de procedencia, quedando de la siguiente manera (columna autor= Percy Mayta-Tristán, columna afiliación institucional= Universidad Peruana de Ciencias Aplicadas, columna país= Perú). Hubo pocos autores con más de un ID, el cual se tuvo en cuenta para la consolidación de los registros finales. El objetivo de esta normalización fue eliminar inconsistencias en el flujo de información final, a partir del cual la base de datos final quedó en una población de 565 documentos trabajados en formato Excel, CSV y RIS en febrero de 2020.
3.3. Técnicas de recolección
Bajo la metodología bibliométrica, la técnica usada es la revisión documental electrónica, dado que se identificaron los registros de las investigaciones publicadas en la RPMESP y que fueron registradas en la base de datos Scopus. La vía de obtención de los datos fue bajo el criterio de recuperación de información en formato .CSV con la ecuación búsqueda explicada en la sección 2.2.
3.4. Procesamiento de análisis
Para el análisis de datos se utilizaron los programas Microsoft Excel 2016 y Publish or Perish 7 para el diseño de gráficos y tablas de los diferentes indicadores de productividad y colaboración. Para el ARS en países e instituciones se utilizaron los programas UCINET v6 y NetDraw 2.168 (https://sites.google.com/site/ucinetsoftware/downloads).
Para la identificación de la estructura intelectual y temática en publicaciones de la RPMESP mediante los vínculos de cocitación y coocurrencia se usó el programa VOSviewer v1.6.14 (https://www.vosviewer.com/) con un enfoque de gráficos basados en distancia (Van Eck y Waltman, 2014), cuyo método de conteo fue el fractional counting recomendado para este tipo de análisis (Van Eck y Waltman, 2014; Martorell, Socias, Otero y Mulet-Forteza, 2019).
Dentro de la distribución de los nodos, existen dos atributos de peso estándar usados en el programa VOSviewer, estos son el atributo enlaces “links” y el atributo fuerza total de enlaces (FTE) “total link strength”. En este artículo se usa el segundo atributo y se define como la fuerza total de los enlaces de un ítem con otros ítems (van Eck y Waltman, 2020). Por ejemplo, en la red de cocitación de autores, el valor del atributo indica la fuerza total de los enlaces de cocitación de un determinado investigador con otros investigadores. Asimismo, dentro del mapa de visualización, se usan los parámetros de distribución (repulsión y atracción) que influyen en la forma de ubicación de los nodos mediante la técnica de distribución VOS. (van Eck y Waltman, 2010; van Eck y Waltman, 2020).
En la Tabla 1 se exponen los indicadores o los tipos de análisis estructurales usados en este trabajo.
Indicador o tipo de análisis estructural | Descripción |
De productividad | · Número de documentos - Ndoc (calculado para diferentes agregados: por tipología, por idioma, por autor, por región peruana y por país) |
De colaboración | · Índice de colaboración - IC · Grado de colaboración - GC · Coeficiente de colaboración - CC · Coautoría entre países, instituciones |
Análisis de redes sociales | ·Medidas de centralidad y poder (densidad, grado nodal e intermediación) para analizar la coautoría entre países e instituciones. |
Mapas de visualización | · Análisis de cocitación de autores (ACA): Se da cuando dos autores cualesquiera (A y B) son citados juntos en el trabajo de otro autor (C). Aquí se dice que A y B son cocitados por C. · Red de coocurrencia de palabras clave: Sirve para identificar la estructura científica de los campos de investigación a partir de los clusters formados por la coocurrencia de dos palabras clave en las publicaciones analizadas. |
4. Resultados
4.1. Indicadores de producción
4.1.1 Producción científica según tipo de documentos, año de publicación e idioma
Respecto a la tipología documental, de los 565 documentos evaluados, 326 registros (58%) corresponden a artículos originales, 186 (33%) son originales breves y 53 (9%) son revisiones. La producción de documentos de artículos originales, originales breves y revisiones en el periodo de estudio no presenta un crecimiento uniforme y ascendente ya que se observan variaciones por año. Los de mayor producción de artículos originales fueron el 2014 y 2015 con 42 y 43 documentos respectivamente (Figura 2). El 2013 fue el año de mayor producción de los originales breves con 27 documentos, mientras que las revisiones presentan menor producción a lo largo del período de estudio. En cuanto al idioma, el 96% (540) de los documentos analizados fueron publicados en español. Esto se puede atribuir a que en su mayoría los autores son de nacionalidad peruana y/o latinoamericana, mientras que solo el 4% (25) documentos se publicaron en idioma español-inglés en los años 2015, 2018 y 2019.
4.1.2 Países y regiones de Perú con mayor productividad
Perú encabeza la producción por países con el 66% de documentos, le siguen Estados Unidos (7%), Colombia (4%) y España (4%) y en menor medida otros países de la región Latinoamericana (Tabla 2). Esta tendencia revela la necesidad de la RPMESP de aplicar estrategias de atracción de autores internacionales que mejoren la visibilidad y el impacto, disminuir la endogamia nacional y generar mayor apertura a la participación internacional.
En cuanto al análisis de las regiones de Perú, se observa que Lima es la más productiva durante el período analizado (77%; 440 documentos), le sigue Arequipa, La Libertad, Callao, Piura, Loreto, Cusco entre otras regiones con porcentajes despreciables. Las características de la participación de las regiones peruanas se concentran en diversos temas. Por ejemplo, Lima aborda temáticas frecuentes como la Tuberculosis, VIH, obesidad, anemia, entre otras; siendo los niños y sus aspectos clínicos el grupo de mayor interés en el que se centran los estudios.
En Arequipa resalta la publicación sobre plantas medicinales, Streptococcus pneumoniae, neutrófilos (asociados a la psiconeuroinmunología y plantas medicinales). En la Libertad los temas de mayor estudio son los referidos a Leishmaniasis, Fascioliasis, brotes (influenza y peste neumónica) entre otros. En cuanto al Callao, comparte temas de interés con la región Lima y Arequipa en lo que se refiere a Tuberculosis y Streptococcus pneumoniae. En Piura, resaltan temáticas sobre la seguridad social en cuanto a la salud. En Loreto, el interés se centra en el estudio del Dengue; mientras que en Cusco se abordan temáticas relacionadas con la altura y el Streptococcus pneumoniae.
País | Cantidad | Porcentaje | Regiones de Perú | Cantidad | Porcentaje |
Perú | 474 | 66% | Lima | 440 | 77% |
Estados Unidos | 47 | 7% | Arequipa | 15 | 3% |
Colombia | 31 | 4% | La Libertad | 14 | 2% |
España | 27 | 4% | Callao | 13 | 2% |
Brasil | 18 | 3% | Piura | 11 | 2% |
México | 17 | 2% | Loreto | 10 | 2% |
Venezuela | 17 | 2% | Cusco | 10 | 2% |
Chile | 15 | 2% | Apurímac | 7 | 1% |
Argentina | 14 | 2% | Áncash | 7 | 1% |
Reino Unido | 11 | 2% | Cajamarca | 7 | 1% |
Ecuador | 9 | 1% | Ica | 7 | 1% |
Cuba | 6 | 0.8% | Lambayeque | 6 | 1% |
Otros | 34 | 4% | Otros | 26 | 5% |
Total | 720 | 100.0% | Total | 573 | 100.0% |
4.1.3 Autores más productivos y su afiliación institucional
Se identificaron 2011 autores en la producción total de documentos en el período analizado. De estos, se presenta a los autores más productivos, con al menos 10 publicaciones con sus respectivas afiliaciones, contabilizando la cantidad de veces que firmó por la institución destacada a lo largo del período de estudio (Tabla 3). Un aspecto a resaltar es que la RPMESP acepta autores con multiafiliación, es decir un autor firmante puede considerar más de una afiliación institucional.
Se observa que seis de los 11 autores firmaron al menos una vez por el INS, cinco de ellos firmaron por la Universidad Nacional Mayor de San Marcos (UNMSM), cuatro de ellos firmaron por la Universidad Peruana Cayetano Heredia (UPCH) y tres de ellos firmaron por la Universidad Peruana de Ciencias (UPC).
Respecto a las temáticas de los autores más productivos, con al menos 13 documentos, se identificaron los descriptores presentes en cada artículo, de estos Ochoa T. J. destaca en infectología pediátrica, Farmacorresistencia (Bacteriana y Microbiana) y Escherichia coli. Mayta, P. presenta temas relacionados con la Educación Médica y Evaluación en Investigaciones en Salud. Fiestas, F. destaca en estudios sobre Salud Mental, Trastornos mentales y el Abuso de Alcohol y otras Drogas, Gutierrez C. en temas relacionados con el VIH, la Cesárea y las Complicaciones infecciosas en el embarazo.
En la Tabla 3 se ordenan a los autores por la cantidad de documentos y se distingue el número de menciones con la institución más destacada. Así, de los 18 documentos de Ochoa, T. J., en 17 de ellos consideró a la UPCH como afiliación institucional.
Autor | N° Doc. | Afiliación más destacada con la cantidad de menciones | |
Theresa J.Ochoa | 18 | Universidad Peruana Cayetano Heredia-UPCH (17) | |
Percy Mayta Tristán | 17 | Universidad Peruana de Ciencias Aplicadas-UPC (16) | |
Fabián Fiestas | 13 | Instituto Nacional de Salud-INS (10) | |
Cesar Gutierrez | 13 | Universidad Nacional Mayor de San Marcos-UNMSM (10) | |
Juan Pablo Aparco | 12 | Instituto Nacional de Salud-INS (12) | |
Franco Romaní-Romaní | 12 | Instituto Nacional de Salud-INS (7) | |
Germán Málaga | 12 | Universidad Peruana Cayetano Heredia-UPCH (11) | |
Edward Mezones-Holguín | 11 | Universidad Peruana de Ciencias Aplicadas-UPC (9) | |
César Cabezas Sánchez | 10 | Instituto Nacional de Salud-INS (11) | |
Christian R. Mejía | 10 | Universidad Peruana de Ciencias Aplicadas-UPC (6) | |
Gustavo F. Gonzales | 10 | Universidad Peruana Cayetano Heredia-UPCH (10) |
4.2. Indicadores de colaboración
4.2.1 Grado, Índice y Coeficiente de colaboración
Mediante estos indicadores (Figura 3) se analiza el nivel de colaboración existente en las publicaciones de la RPMESP. En primer lugar, el índice de colaboración (IC) mide el promedio de autores por documento analizado, siendo el IC general de 4.93 autores por documento en la muestra evaluada. El año con mayor promedio de autores por documento fue el 2012 con 5.2, seguido del año 2016 con un promedio de 5.08 autores por documento y los años con menor promedio de autores fueron el 2010 y el 2015, ambos con una media de 4.59 autores.
Por su parte, el grado de colaboración (GC) es de 0.96, con valores que oscilan de 0 a 1, esto indica que el 96% de todos los documentos analizados fueron escritos en colaboración (dos o más autores), con el 100% de colaboración en 2016 en esta modalidad, 99% en 2014 y el 2015 y 89% en el 2011. Finalmente, el coeficiente de colaboración (CC) suma las bondades del índice y grado de colaboración, también posee valores de 0 a 1, el CC general es de 0.72, esto indica que el promedio inverso ponderado según número de autores es de 72%. Cuando predominan los trabajos de un solo autor los valores tienden a cero; es importante mencionar que este coeficiente diferencia entre niveles de autoría múltiple (Ajiferuke, Burell y Tague, 1988).
4.2.2 Análisis de redes sociales entre países e instituciones
Analizadas las MCyP de los países participantes, se observó que Perú presenta los mayores puntajes (Bonacich: 3.562; Closeness: 48.214; Betweenness: 167 y Degree: 132) (ver Figura 1), es el eje central de toda la red de países, siendo este el ego central rodeado por toda la red, lo que determina una red altamente egocéntrica (González-Teruel y Andreu-Ramos, 2013) definido en mayor medida por la cantidad de trabajos del país.
La medida de centralidad Bonacich (BC), indica que un nodo tendrá mayor centralidad e influencia cuando este se relacione con otros nodos que también poseen una alta centralidad e influencia (Aguilar-Gallegos, Martínez-González y Aguilar-Ávila, 2017). En la Tabla 4 se observa que Perú se relaciona con otros nodos importantes como Estados Unidos (BC: 3.087), España (BC: 1.496), Brasil (BC: 1.008) y Argentina (BC: 0.873), que a su vez también son importantes e influyentes para otros nodos.
En cuanto al Closeness (C), un nodo presenta mayor cercanía respecto al resto de nodos dentro de una red cuando presenta mayor independencia, es decir cuando este nodo está conectado con otros y necesita de pocos nodos para alcanzar a otros (Aguilar-Gallegos et al., 2017). Así, se observa que el nodo con mayor grado de cercanía es Perú (C: 48.214), ya que prácticamente se relaciona sin intermediación con todos los otros países a excepción de Israel (C: 30.682), Paraguay (C: 27.835) y El Salvador (C: 0). Este último es un nodo aislado que no forma parte de la red, por tanto, su valor de cercanía y lejanía es nulo. Cabe señalar que Colombia (C: 41.538), Estados Unidos (C: 40.909), España (C: 38.571) y México (C: 38.028) también presentan altos valores de cercanía, por lo que tienen mayor posibilidad de establecer relaciones colaborativas con casi todos los nodos de la red. (Tabla 4)
N° | Países | Bonacich | Closeness | Betweenness | Degree |
1 | Perú | 3.562 | 48.214 | 167 | 132 |
2 | Estados Unidos | 3.087 | 40.909 | 25 | 65 |
3 | España | 1.496 | 38.571 | 16 | 38 |
4 | Brasil | 1.008 | 37.500 | 11 | 24 |
5 | Argentina | 0.873 | 37.500 | 26 | 22 |
6 | Colombia | 0.645 | 41.538 | 34 | 25 |
7 | Chile | 0.519 | 36.986 | 3 | 16 |
8 | Reino Unido | 0.484 | 34.177 | 0 | 11 |
9 | México | 0.459 | 38.028 | 4 | 15 |
10 | Canadá | 0.323 | 35.065 | 0 | 7 |
La medida de centralidad Betweenness (B) mide la frecuencia con la que un nodo es intermediario para la conexión de otro par de nodos que forman parte de la red; es decir se convierten en puntos estratégicos para conectar a toda la red (Aguilar-Gallegos et al., 2017). El nodo con mayor grado de intermediación es Perú (B: 167) porque se ubica en una posición estratégica y central que le permite ser el mayor intermediario para unir a nodos no conectados (Figura 4). Otros intermediarios relevantes en la red son Colombia (B: 34), Argentina (B: 26), Estados Unidos (B: 25) y España (B: 16), que al igual que Perú, son nodos estratégicos para conectar en un futuro a otros nodos que nunca han realizado un trabajo en colaboración.
En cuanto al Degree (grado [D]), que representa el número de lazos directos que un nodo tiene con otros (Aguilar-Gallegos et al., 2017), se observa en la Tabla 4 que el nodo con mayor medida de grado es Perú (D: 132), superando en más de 100 el número de lazos directos que presenta con otros nodos. Este resultado evidencia una alta conectividad para llegar a los nodos sin intermediación, ya que llega a conectarse directamente con casi todos los nodos (25, nodos de color azul) a excepción de tres (Israel, Paraguay y El Salvador) (Figura 4, nodos de color naranja).
Otros nodos que poseen una alta conexión directa por tener un alto número de lazos directos son Estados Unidos (D: 65), España (D: 38), Colombia (D: 25) y Brasil (D: 24). Los lazos directos de mayor importancia que se visualizan en la red (Figura 4) son los existentes entre Perú y Estados Unidos (43 documentos en colaboración, representados por la línea de mayor grosor de la red), Perú y España (16), Perú y Brasil (12) y Perú con Argentina (9); reafirmando que Perú es el centro de la red.
En cuanto al ARS, de las 479 instituciones (nodos), la Tabla 5 muestra el top 10 de instituciones con mayores MCyP. Así, la UPCH lidera este ranking (BC: 10.786; C: 1.195; B: 55976 y D: 358) y evidencia que esta institución es el eje principal de toda la red. En cuanto a centralidad e importancia le siguen otras instituciones como la UNMSM (BC: 10.125), el INS (BC: 9.914), el HNCH (BC: 5.992) y la UPC (BC: 4.883) siendo muy importantes e influyentes, ya que se conectan con nodos con su misma relevancia (Figura 5). Al analizar el grado de cercanía, se observa que la UPCH (C: 1.195), el INS (C: 1.195), la UNMSM (C: 1.194), la UPC (C: 1.192), el Hospital Nacional Dos de Mayo (C: 1.190), el Instituto Nacional de Salud del Niño (C: 1.190), el HNCH (C: 1.190), la Universidad Nacional San Luis Gonzága (C: 1.190) y la Universidad de San Martín de Porres (C: 1.190) tienen una mayor capacidad para acceder al resto de los nodos de la red y establecer futuras relaciones directas de colaboración.
En cuanto el grado de intermediación, además de la UPCH, el INS (B: 45223), UNMSM (B: 34966), UPC (B: 15218), la Pontificia Universidad Javeriana (B: 12040) y el Ministerio de Salud del Perú (MINSA) (B: 10244) son actores fundamentales para el desarrollo de los procesos colaborativos de la red, ya que se convierten en puentes de relación con instituciones nacionales e internacionales facilitando así la expansión de las colaboraciones.
N° | Instituciones | Bonacich | Closeness | Betweenness | Degree |
1 | Universidad Peruana Cayetano Heredia | 10.786 | 1.195 | 55976 | 358 |
2 | Universidad Nacional Mayor de San Marcos | 10.125 | 1.194 | 34966 | 241 |
3 | Instituto Nacional de Salud | 9.914 | 1.195 | 45223 | 251 |
4 | Hospital Nacional Cayetano Heredia | 5.992 | 1.190 | 3199 | 116 |
5 | Universidad Peruana de Ciencias Aplicadas | 4.883 | 1.192 | 15218 | 133 |
6 | Instituto Nacional de Salud del Niño | 4.133 | 1.190 | 5114 | 104 |
7 | Hospital Nacional Dos de Mayo | 3.065 | 1.190 | 2010 | 51 |
8 | Universidad de San Martín de Porres | 2.803 | 1.190 | 3692 | 59 |
9 | University of Texas School of Public Health | 2.801 | 1.187 | 602 | 74 |
10 | Ministerio de Salud del Perú | 2.593 | 1.189 | 10244 | 62 |
Después de la UPCH, las instituciones que más se relacionan directamente con otros nodos superando a más de 100 el número de lazos son el INS (D: 251), la UNMSM (D: 241), la UPC (D: 133), el HNCH (D:116) y el Instituto Nacional de Salud del Niño (D: 104) respectivamente. Para distinguir los lazos directos de mayor importancia se estructura una red sólo con aquellos nodos que generan vínculos mayores a 3 (documentos en colaboración), así la red queda conformada por 25 nodos (ver Figura 5). Los vínculos más destacados que se observan en esta red son los existentes entre el INS con la UNMSM (44 documentos en colaboración, línea de mayor grosor), UPCH con el HNCH (37), la UNMSM con la UPCH (23) y el INS con la UPCH (21); lo que evidencia una importante cantidad de investigación colaborativa desarrollada entre estas instituciones.
Respecto a la procedencia de las instituciones, en la red se observó predominancia en la dinámica colaborativa entre instituciones nacionales (nodos de color azul) y escasa presencia de instituciones extranjeras (nodos de color naranja) (ver Figura 5). La University of Texas School of Public Health es la institución extranjera con mayor número de vínculos con instituciones nacionales (3) (ver Figura 5), esto refleja un bajo grado de internacionalización. La Universidad del Desarrollo (Chile) presenta una relación directa con la University of York (ambas extranjeras), en tanto la Universidad Los Ángeles de Chimbote Católica (ULADECH) (institución peruana) refleja trabajo conjunto con la Universidad de Buenos Aires (Argentina). De las anteriores cuatro instituciones mencionadas, ninguna presenta vínculos directos o indirectos con la red principal de colaboración (ver Figura 5). En tal red, sólo figuran cinco instituciones extranjeras; la University of Texas School of Public Health, University of York, Universidad de Buenos Aires, Universidad del Desarrollo y el Hospital Clínico Universitario de Barcelona.
4.3. Análisis de cocitación de autores
La cocitación es un método bibliométrico que hace uso de relaciones de citas directas y se define como la frecuencia con la que dos documentos son citados conjuntamente por otro documento, lo que les otorga una posible similitud temática desde la perspectiva del citante (Small, 1973; Wang, Lai, Zuo, Chen, y Du, 2016). La Figura 6 muestra la visualización de red de cocitación de autores donde cada nodo representa a un autor referenciado (unidad de análisis) en la producción científica de la RPMESP. El tamaño de un nodo refleja el número de citaciones que un autor ha recibido desde los documentos analizados. Tal es el caso de Gilman, R. H. y Gonzales, G. F. con 106 y 83 citas respectivamente lo que les otorga un mayor tamaño con respecto a sus similares. Los investigadores referenciados que se encuentran en la visualización cerca el uno del otro, tienden a estar más fuertemente relacionados, basados en cocitaciones, que investigadores ubicados muy lejos el uno del otro. Por ejemplo, Gotuzzo, E. y Cabezas, C. tienen una alta relación de cocitación a diferencia de Gilman R. H. y Ochoa, T. J. que se encuentran más distanciados. Se muestran 5 grupos o clústeres bien diferenciados por colores de los cuales el color rojo es el más grande con 88 autores y el más pequeño es el color lila con 14. Dentro del mapa se muestran los 500 vínculos o arcos entre los nodos con mayor FTE. La información detallada de los valores de la FTE de los vínculos de cocitación de los 10 autores más influyentes en las áreas de investigación de la RPMESP son transcritos en la Tabla 6 ordenados de forma descendente.
Nota: Se elaboró un tesauro en formato .txt para estandarizar los nombres de autores referenciados. Se usaron autores con 10 citas como mínimo (n=10). De los 39402 autores citados, 173 cumplen el umbral (0.44%). Método de conteo: fractional counting. Método de normalización: association strength. Attraction: 2; Repulsión: 0. Clustering resolution: 0.5
Elaboración propia, 2020. A partir de la RPMESP.La Tabla 6 presenta la información del número de citaciones de los autores que permite contrastar la importancia de los mismos, desde dos perspectivas, las citaciones directas y las cocitaciones realizadas desde los autores de la RPMESP. En la Figura 6, el clúster que muestra predominio en el top 10 es el color rojo (5 autores), seguido del azul y verde (2 autores cada uno). Sin embargo, el clúster con mayor FTE es el amarillo que es representado por Gilman, R. H. con 93.9 de FTE. Asimismo, dentro del top 10, ocho son autores peruanos, uno de Estados Unidos y otro de España.
N° | Autor | País | Citaciones | Fuerza total de enlaces | Cluster |
1 | Gilman, R.H. | Estados Unidos | 106 | 93.9 | Amarillo |
2 | Gonzales, G.F. | Perú | 83 | 56.1 | Rojo |
3 | Mayta-Tristán, P. | Perú | 61 | 47.8 | Rojo |
4 | Ochoa, T.J. | Perú | 53 | 44.5 | Verde |
5 | Gotuzzo, E. | Perú | 50 | 43.7 | Azul |
6 | Cabezas, C. | Perú | 38 | 32.1 | Azul |
7 | Sanchez, J. | Perú | 33 | 29.9 | Rojo |
8 | Ruiz, J. | España | 35 | 29.6 | Verde |
9 | Huamani, C. | Perú | 38 | 29.3 | Rojo |
10 | Miranda, J.J. | Perú | 34 | 29.2 | Rojo |
4.4. Tendencias de investigación en la RPMESP (2010-2019)
La Figura 7 muestra la red de las palabras clave incluidas en los artículos seleccionados. Estas muestran atributos específicos de un nodo de la red de acuerdo con el color que presenta. Se evidencia la evolución de las temáticas más importantes dentro de los artículos de la revista según el año promedio de publicación del documento. Se visualiza en distintos colores las palabras clave más frecuentes en artículos con años promedio de publicación que recorre desde el año 2013 hasta el 2016.
Nota: Se elaboró un tesauro de normalización de las palabras clave en formato .txt. Se usaron palabras clave con 4 ocurrencias como mínimo. De las 1509 palabras, 97 cumplen el umbral (6.4%). Método de conteo: fractional counting. Método de normalización: association strength. Attraction: 2; Repulsion: -1.
Elaboración propia, 2020. A partir de la RPMESP.La Tabla 7 muestra la evolución anual de los tópicos de investigación por año promedio de publicación. Sin tomar en cuenta la palabra clave Perú por razones obvias, se seleccionaron 24 palabras clave de acuerdo con la frecuencia de ocurrencias y la importancia de cada año promedio de estudio. Se identificaron las palabras clave más frecuentes en las publicaciones de la RPMESP, esto podría revelar las tendencias de investigaciones en la RPMESP, tales como: i) accidentes, embarazo, educación, tráfico, hospitales e investigación biomédica (2013), ii) Niño, obesidad, tuberculosis, epidemiología, infante y diabetes mellitus (2014) y iii) anemia, resistencia a las drogas, recién nacido, primeros auxilios, población indígena y reacción en cadena de la polimerasa (2015). iv), prevalencia, diagnóstico, mortalidad, betalactamasas, sistemas de información geográfica y supervivencia (2016). Estos conceptos descritos no implican que los temas cambien de un año para otro, sino muestra las tendencias de investigación de la RPMESP de acuerdo con la cantidad de ocurrencias de las palabras clave según año promedio de publicación de los documentos analizados.
Palabra clave / Año promedio de publicación | Frecuencia | Año |
Accidentes | 13 | 2013 |
Embarazo | 11 | |
Educación | 11 | |
Tráfico | 10 | |
Hospitales | 5 | |
Investigación biomédica | 5 | |
Niño | 35 | 2014 |
Obesidad | 24 | |
Tuberculosis | 22 | |
Epidemiología | 22 | |
Infante | 14 | |
Diabetes mellitus | 11 | |
Anemia | 17 | 2015 |
Resistencia a las drogas | 10 | |
Recién nacido | 9 | |
Primeros auxilios | 8 | |
Población indígena | 8 | |
Reacción en cadena de la polimerasa | 8 | |
Prevalencia | 15 | 2016 |
Diagnóstico | 12 | |
Mortalidad | 8 | |
Betalactamasas | 7 | |
Sistemas de Información Geográfica | 6 | |
Supervivencia | 5 |
5. Discusión y Conclusiones
La evaluación de revistas y el seguimiento al resultado de sus contribuciones es clave para tomar decisiones en sus políticas editoriales y de gestión. Al tener en cuenta lo anterior, el análisis a la RPMESP permitió estudiar su comportamiento a partir de indicadores de producción, de colaboración, de análisis de redes, tanto de autores como instituciones, análisis de cocitación de autores y de coocurrencia de palabras clave en los documentos publicados en el periodo 2010-2019.
El crecimiento no uniforme de la producción anual de la revista es un resultado significativo, pues la RPMESP ha cambiado su política editorial determinando un mínimo de 12 artículos por número y máximo 18 entre artículos originales y originales breves, el cual no mantiene cantidades exactas por año. El 96% de las contribuciones están en idioma español, esto refleja que la mayor cantidad de documentos publicados en la RPMESP fueron realizados por autores peruanos y latinoamericanos, con investigaciones dirigidas a la comunidad médica nacional y sociedad peruana en general. Ante esto, se sugiere mantener el español como idioma primario, insertando contribuciones en inglés en determinados números sobre temas emergentes que puedan aportar impacto. La estrategia debe estar centrada en la búsqueda de contribuciones de la región, pero igualmente en el contexto internacional.
Aunque en la revista la mayor cantidad de trabajos provienen de Perú, con alta concentración en regiones metropolitanas donde existe mayor potencial de investigación, se observa aunque incipiente, un grado de apertura internacional al recibir documentos de países como Estados Unidos, Colombia y España, tendencia que es necesario continuar trabajando en la búsqueda de mayor grado de internacionalidad, necesaria en una revista médica donde las temáticas son más globales que en las ciencias sociales.
Con relación a la productividad de los autores, se identificaron a 2011 autores que participaron en los 10 años de publicaciones y en los 565 documentos analizados, con un índice de coautoría de 3.5. Esto es un indicador importante al ser la coautoría la forma explícita de la colaboración, lo que aporta también importantes resultados a la investigación como han planteado autores como (Glänzel, 2002), además de lo expuesto por Hsu y Huang, 2011, quienes afirmaron que a mayor cantidad de firmas en los trabajos aumenta la posibilidad de ser citados, con tendencia a la multiafiliación.
El 96% de documentos fueron publicados en colaboración (dos o más autores), evidenciando que la RPMESP sigue los mismos patrones de colaboración que las ciencias médicas y disciplinas básicas (Camps, 2007). Este resultado es similar al obtenido por la Revista Mexicana de Trastornos Alimentarios (Franco-Paredes, Díaz-Reséndiz, Pineda-Lozano e Hidalgo-Rasmussen, 2016) y mayor al obtenido para las revistas multidisciplinares de psicología incorporadas en Web of Science, con un promedio de 2.5 autores por artículo (Quevedo-Blasco y López-López, 2010). Lo anterior se relaciona con el hecho que la colaboración científica, incide en el mejoramiento de la calidad de la investigación a la vez que aumenta el proceso de atracción de citas que reciben los trabajos científicos, por lo que publicar en colaboración tiene mayor interés en los últimos años.
El ARS se utilizó para identificar la naturaleza de la colaboración en los documentos analizados y para conocer las medidas de centralidad y poder (MCyP) de los países e instituciones participantes. Gracias a la red que muestra la participación de diversos países, siendo Perú el de mayor importancia (ego principal de la red que posee las mayores MCyP), la revista tiene enormes ventajas para establecer y fortalecer relaciones de colaboración con todos los miembros de la misma, e influir en aquellos en los que no existe relación, para que en un futuro dichas colaboraciones se transformen en publicaciones que fortalezcan los contenidos de la revista.
En cuanto a las instituciones con mayores MCyP destacan la UPCH, la UNMSM y el INS. Estas instituciones tienen una mayor posibilidad en un futuro de establecer relaciones de colaboración importantes con todos los nodos que conforman la red de instituciones, debido a sus altos valores de centralidad, cercanía e intermediación. Entre las instituciones extranjeras con al menos tres vínculos de colaboración, se encuentran la University of Texas School of Public Health, la University of York, la Universidad de Buenos Aires, la Universidad del Desarrollo y el Hospital Clínico Universitario de Barcelona. Cabe señalar que no existe una importante participación de instituciones extranjeras, por lo que sería importante trabajar con las instituciones más relevantes de la red (mayores MCyP) para establecer alianzas, ya que debido a su alta centralidad, cercanía e intermediación, se podría establecer una red más integrada (donde todos los nodos se conecten entre sí y no existan nodos independientes) entre instituciones nacionales e internacionales y con ello garantizar una mayor colaboración y producción de documentos.
La cocitación como técnica bibliométrica permite identificar la estructura intelectual de las disciplinas a partir de los documentos publicados (Chen, 2013). Autores como Gilman, R. H., Gonzales, C.F., Mayta-Tristan, P., Ochoa, T., Gotuzzo, E., Cabezas, C., Sánchez, J., Ruiz, J., Huamani, C. y Miranda, J.J. son los principales investigadores con mayor FTE de cocitación. Al considerar que la cocitación dentro de la bibliometría establece relaciones a partir de los contenidos de las fuentes citadas y citantes, en este análisis se muestra una mirada retrospectiva de estos autores citados en sus documentos, siendo ellos los más influyentes en el dominio de investigación de las publicaciones de la RPMESP en el período analizado. Resultados a partir de la cocitación posibilitan a las revistas realizar análisis de citas para conocer las asociaciones temáticas entre los trabajos científicos para mejorar su gestión y búsqueda de mayor impacto, siguiendo los patrones ya propuestos por McCain (1991).
El mapa de co-palabras permitió conocer aspectos relevantes como la frecuencia de aparición de temas por año que permitió analizar el comportamiento de la revista evaluada. Las principales temáticas son accidentes, embarazo y educación para el 2013; niño, obesidad, tuberculosis y epidemiología para el 2014; anemia, resistencia a las drogas y recién nacido para el 2015 y, prevalencia, diagnóstico y mortalidad para el 2016, todas orientadas a mejorar la salud de las personas del país y de la región.
La articulación del Instituto Nacional de Salud con el Consejo Nacional de Ciencia y Tecnología (CONCYTEC) cristalizado en convenios mediante el cual se brinda un acompañamiento técnico a investigadores y procesos de investigación del país ha permitido también que la revista sea una plataforma para visibilizar la presencia de la producción científica de los investigadores peruanos sobre temas de interés nacional e internacional, siendo este uno de los factores que permiten explicar el comportamiento de las redes de países e instituciones.
Aunque los indicadores empleados aportaron información clave para la evaluación de la revista y conocer tendencias relevantes para su mejoramiento, futuros estudios pueden analizar otros indicadores bibliométricos tales como los de impacto y su relación con otros indicadores, para identificar otras tendencias de los documentos publicados. Esto ayudará a la mejora de la comunicación científica y la visibilidad de los artículos publicados en la RPMESP. Asimismo, se recomienda al equipo editorial de la RPMESP que implementen estrategias acordes a las actuales Tecnologías de la Información y Comunicación (TIC) para mejorar la producción de artículos originales, descentralizando la producción nacional, incrementado la colaboración internacional de tal manera que permita mejorar su visibilidad y su prestigio.
De la misma manera, es necesario continuar con la internacionalización del comité editorial, del comité científico y de los revisores para obtener mejor indexación, reputación e impacto. Por último, se deben mejorar aspectos como el conflicto de interés, evaluar el límite de publicaciones de estudios de autores locales y promocionar la publicación en otros idiomas.
Agradecimientos
Se agradece al grupo de investigación CIGETMEN (Ciencias de la Información: Gestión, tecnologías, métricas, normas éticas y jurídicas) de la FLCH-UNMSM y a la Dirección de Gestión del Conocimiento de la UPC.
7. Referencias
Agüero-Aguilar, C. E. (2018). Collaborative and Thematic Networks in the Revista Interamericana de Bibliotecología. Periodo 2005-2016. Revista Interamericana de Bibliotecología, 41(1), 89-106. Recuperado de http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0120-09762018000100089
Aguilar-Gallegos, N., Martínez-González, E. G., y Aguilar-Ávila, J. (2017). Análisis de redes sociales: Conceptos clave y cálculo de indicadores. Chapingo, México: Universidad Autónoma Chapingo.
Ajiferuke, I., Burell, Q. y Tague, J. (1988). Collaborative coefficient: A single measure of the degree of collaboration in research. Scientometrics, 14(5-6), 421-433. doi: https://doi.org/10.1007/BF02017100
Baladi, Z. H. y Umedani, L. V. (2017). Pakistan Journal Of Medical Sciences: A bibliometric assessment 2001-2010. Pakistan Journal of Medical Sciences, 33(3), 714-719. doi: https://doi.org/10.12669/pjms.333.13258
Borrego, Á. (2017). La revista científica: un breve recorrido histórico. En: Revistas científicas: situación actual y retos de futuro (pp. 19-34). Barcelona, España: Universitat de Barcelona. Recuperado de http://eprints.rclis.org/32129/
Camps, D. (2007). Estudio bibliométrico general de colaboración y consumo de la información en artículos originales de la revista Universitas Médica, período 2002 a 2006. Universitas Médica, 48(4), 358-365. Recuperado de https://www.redalyc.org/pdf/2310/231018670002.pdf
Camps, D. (2008). Limitaciones de los indicadores bibliométricos en la evaluación de la actividad científica biomédica. Colombia Médica, 39(1), 74-79. Recuperado de http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S1657-95342008000100009
Chen, C. (2013). Mapping scientific frontiers: the quest for knowledge visualization (2° ed.). London: Springer London. doi: https://doi.org/10.1007/978-1-4471-5128-9
Codina, L. (2016). Evaluación de la ciencia: tan necesaria como problemática. El profesional de la información, 25(5), 715-719. doi: https://doi.org/10.3145/epi.2016.sep.01
Delgado López-Cózar, E. D., Ruiz-Pérez, R. y Jiménez-Contreras, E. (2006). La Edición de Revistas Científicas Directrices, Criterios y Modelos de Evaluación. Granada:FECYT. Recuperado de https://www.fecyt.es/es/publicacion/la-edicion-de-revistas-cientificas-directrices-criterios-y-modelos-de-evaluacion
Franco-Paredes, K., Díaz-Reséndiz, F. de J., Pineda-Lozano, J. E., e Hidalgo-Rasmussen, C. A. (2016). Bibliometric analysis of scientific production of Mexican Journal of Eating Disorders, 2010-2014. Revista Mexicana de Trastornos Alimentarios, 7(1), 9-16. doi: https://doi.org/10.1016/j.rmta.2016.03.001
González-Teruel, A., y Andreu-Ramos, C. (2013). Investigación del comportamiento informacional a través del análisis de redes sociales. El profesional de la información , 22(6), 522-528. Recuperado de http://eprints.rclis.org/20686/
Glänzel, W. (2002). Coauthorships patterns and trends in the Sciences (1980-1998): A bibliometric study with implications for database indexing and search strategies. Library Trends, 50(3), 461-473. Recuperado de https://www.ideals.illinois.edu/bitstream/handle/2142/8409/librarytrendsv50i3k_opt.pdf?seq
Glänzel, W. y Moed, H. F. (2013). Opinion paper: thoughts and facts on bibliometric indicators. Scientometrics , 96(1), 381-394. doi: https://doi.org/10.1007/s11192-012-0898-z
Huamaní, C. (2010). Análisis de la producción, visibilidad y citación de la Revista Peruana de Medicina Experimental y Salud Pública, 2002-2009. Revista Peruana de Medicina Experimental y Salud Pública, 27(3), 367-372. Recuperado de https://rpmesp.ins.gob.pe/index.php/rpmesp/article/view/1494/1488
Huamaní, C. y Mayta-Tristán, P. (2010). Producción científica peruana en medicina y redes de colaboración, análisis del Science Citation Index 2000-2009. Revista Peruana de Medicina Experimental y Salud Pública , 27(3), 315-325. Recuperado de http://www.scielo.org.pe/scielo.php?script=sci_arttext&pid=S1726-46342010000300003
Huamaní, C. y Pacheco-Romero, J. (2009). Visibilidad y producción de las revistas biomédicas peruanas. Revista de Gastroenterología del Perú, 29(2), 132-139. Recuperado de http://www.scielo.org.pe/scielo.php?script=sci_arttext&pid=S1022-51292009000200005
Huamaní, C. y Pacheco-Romero, J. (2011). Colaboración científica en artículos de revistas biomédicas peruanas. Anales de la Facultad de Medicina, 72(4), 261-268. Recuperado de http://www.scielo.org.pe/scielo.php?script=sci_arttext&pid=S1025-55832011000400007
Huamaní, C. y Pacheco-Romero, J. (2012). Análisis de las referencias bibliográficas en artículos científicos publicados en revistas médicas peruanas 2005-2008. Anales de la Facultad de Medicina , 73(2), 135-140. Recuperado de http://www.scielo.org.pe/scielo.php?script=sci_arttext&pid=S1025-55832012000200009
Kuz, A., Falco, M. y Giandini, R. (2016). Análisis de redes sociales: un caso práctico. Computación y Sistemas, 20(1), 89-106. Recuperado de http://www.scielo.org.mx/scielo.php?pid=S1405-55462016000100089&script=sci_arttext&tlng=pt
Martín, M. J. M., Jiménez-Fanjul, N., León-Mantero, C., y Maz-Machado, A. (2017). Revistas brasileñas de Educación en SCOPUS: un análisis bibliométrico. Biblios, 67(67), 30-41. doi: https://doi.org/10.5195/biblios.2017.344
Martorell, O., Socias, A., Otero, L. y Mulet-Forteza, C. (2019). Thirty-fifth anniversary of the International Journal of Hospitality Management: A bibliometric overview. International Journal of Hospitality Management, 78, 89-101. doi: https://doi.org/10.1016/j.ijhm.2018.10.013
Mayta-Tristán, P. (2012). Impacto de las revistas médicas peruanas según Google Scholar Metrics. Revista del Cuerpo Médico Hospital Nacional Almanzor Aguinaga Asenjo, 5(4), 6-7. Recuperado de https://imbiomed.com.mx/1/1/articulos.php?method=showDetail&id_articulo=89955&id_seccion=4614&id_ejemplar=8839&id_revista=299
McCain K.W. (1991). Mapping Economics Through the Journal Literature - An Experiment in Journal Cocitation Analysis. Journal of the American Society for Information Science, 42(4), 290-296. doi: https://doi.org/10.1002/
Miguel, S. E. (2011). Revistas y producción científica de América Latina y el Caribe su visibilidad en SciELO, RedALyC y SCOPUS. Revista Interamericana de Bibliotecología , 34(2), 187-199. Recuperado de http://sedici.unlp.edu.ar/handle/10915/89672
Minas, H., Wright, A., Zhao, M. y Kakuma, R. (2014). International journal of mental health systems: A bibliometric study. International Journal of Mental Health Systems, 8(1), 1-10. Recuperado de https://link.springer.com/article/10.1186/1752-4458-8-1
Monteserín, B., Junquera, L. M., Cordón, J. A. y Llorente, S. (2014). Análisis bibliométrico de la producción científica de la Revista Española de Cirugía Oral y Maxilofacial durante el periodo 2005-2011. Revista Española de Cirugía Oral y Maxilofacial, 36(4), 156-163. Recuperado de https://doi.org/10.1016/j.maxilo.2013.05.002
Quevedo-Blasco, R. y López-López, W. (2010). Análisis bibliométrico de las revistas multidisciplinares de psicología recientemente incorporadas en la Web of Science (2008-2009). Psicologia Reflexao E Crítica, 23(2), 384-408. Recuperado de https://www.redalyc.org/pdf/188/18815256021.pdf
Romaní, F. y Cabezas, C. (2018). Indicadores bibliométricos de las publicaciones científicas de la Revista Peruana de Medicina Experimental y Salud Pública , 2010-2017. Revista Peruana de Medicina Experimental y Salud Pública , 35, 620-629. Recuperado de https://www.scielosp.org/article/rpmesp/2018.v35n4/620-629/es/
Santillán-Aldana, J., Arakaki, M., De la Vega, A., Calderón-Carranza, M. y Pacheco-Mendoza, J. (2017). Características generales de las revistas científicas peruanas. Revista Española de Documentación Científica, 40(3), 182. doi: https://doi.org/10.3989/redc.2017.3.1419
Sanz-Valero, J., Casterá, V. T. y Wanden-Berghe, C. (2014). Estudio bibliométrico de la producción científica publicada por la Revista Panamericana de Salud Pública/Pan American Journal of Public Health en el período de 1997 a 2012. Revista Panamericana de Salud Pública, 35(2), 81-88. Recuperado de https://www.scielosp.org/article/rpsp/2014.v35n2/81-88/es/
Seglen, P. (1997). Why the impact factor of journals should not be used for evaluating research. Bmj, 314(7079), 497. doi: https://doi.org/10.1136/bmj.314.7079.497
Small, H. (1973). Co-citation in the scientific literature: A new measure of the relationship between two documents. Journal of the American Society for Information Science , 24(4), 265-269. doi: https://doi.org/10.1002/asi.4630240406
Ullah, S., Jan, S. U., Jan, T., Ahmad, H. N., Jan, M. Y. y Rauf, M. A. (2016). Journal of the college of physicians and surgeons of pakistan: Five years bibliometric analysis. Journal of the College of Physicians and Surgeons Pakistan, 26(11), 920-923. Recuperado de https://pdfs.semanticscholar.org/6326/d23511b9e6e3dc554eb341fe57cb0a19c031.pdf
van Eck N., y Waltman L. (2010). Software survey: VOSviewer, a computer program for bibliometric mapping. Scientometrics , 84(2), 523-538. doi: https://doi.org/10.1007/s11192-009-0146-3
van Eck, N. y Waltman, L. (2014). Visualizing bibliometric networks. En: Ding, Y.; Rousseau, R.; Wolfram, D. (Eds.), Measuring scholarly impact: Methods and practice. Springer. doi: https://doi.org/10.1007/978-3-319-10377-8_13
van Eck NJ, y Waltman L. (2020). VOSviewer Manual. Universiteit Leiden, CWTS Meaningful metrics. Recuperado de: https://www.vosviewer.com/getting-started
Wang, Y., Lai, N., Zuo, J., Chen, G. y Du, H. (2016). Characteristics and trends of research on waste-to-energy incineration: A bibliometric analysis, 1999-2015. Renewable and Sustainable Energy Reviews, 66, 95-104. doi: https://doi.org/10.1016/j.rser.2016.07.006