Revista Chilena de Historia Natural 83: 219-227, 2010

COMENTARIO

 

El índice-I, un nuevo estimador del impacto de la productividad científica: Los ecólogos de Chile como caso de estudio

The I-index, a new estimator of the impact of scientific productivity: Ecologists from Chile as study case

 

MARCO A. MOLINA-MONTENEGRO¹, * & ERNESTO GIANOLI^{2, 3, 4}

¹ Centro de Estudios Avanzados en Zonas Áridas (CEAZA), Facultad de Ciencias del Mar, Universidad Católica del Norte. Larrondo 1281, Coquimbo, Chile
² Departamento de Botánica, Universidad de Concepción, Casilla 160-C, Concepción, Chile
³ Departamento de Biología, Universidad de La Serena, Casilla-599, La Serena, Chile
⁴ Centro de Estudios Avanzados en Ecología y Biodiversidad (CASEB), P. Universidad Católica de Chile, Santiago, Chile

*Autor correspondiente: marcmoli@udec.cl

---

RESUMEN

Hirsch propuso en 2005 el índice-h, el cual integra en un número el impacto de la productividad científica de un investigador, considerando tanto la cantidad de artículos publicados como las citas recibidas. Se ha demostrado que el número de coautores de un artículo y la frecuencia de autocitas del investigador pueden afectar los índices de productividad científica. En este estudio proponemos un nuevo indicador del impacto de la productividad científica, el índice-I, el cual se basa en el índice-h, corrigiéndolo por el número de coautores de cada artículo y la proporción de alo-citas del investigador. Adicionalmente, presentamos la estandarización del índice por la edad científica (tiempo en años desde la primera publicación) (índice-Is). Evaluamos la variación del índice-I con la edad cronológica (clases etarias), la ubicación geográfica (Santiago vs. Regiones) y el género de los investigadores. Evaluamos también cómo varían estos patrones si solo se consideran los diez primeros de cada clase etaria, y si se usa el índice-Is. El universo muestral fue de 120 investigadores en ciencias ecológicas (sensu lato). Los resultados muestran que investigadores más longevos presentan valores de índice-I significativamente mayores y que esta diferencia se hace más evidente al considerar los diez primeros de cada clase etaria. Los investigadores de Santiago poseen valores de índice-I significativamente mayores que aquellos de regiones; sin embargo, esta tendencia se invierte al considerar los investigadores altamente productivos más jóvenes. No hay diferencias entre hombres y mujeres al considerar la totalidad de los investigadores; sin embargo, al considerar solo los diez primeros, los hombres presentan valores de índice-I significativamente mayores. La estandarización por la edad científica produce un cambio en el ranking de los investigadores más productivos. El índice propuesto tiene la ventaja de ser un estimador que: i) refleja mejor el aporte individual de un investigador, ii) no es manipulable con autocitas, iii) no es un número entero, lo cual permite discriminar con mayor precisión, y iv) en su versión estandarizada permite comparar el impacto de la productividad científica de investigadores de diferentes edades. Proponemos incluir el índice-I en las evaluaciones para contrataciones, promociones y premios académicos.

Palabras clave: Chile, indicadores, índice-h, investigación, productividad científica.

---

ABSTRACT

Hirsch proposed in 2005 the h-index, which integrates in a single number the impact of scientific output of a researcher, considering both the quantity of published articles and the citations received. It has been demonstrated that the number of coauthors in an article and the frequency of self-citations of the researcher may affect the scientific indices. In this study we propose a new indicator of the impact of scientific output: the I-index, which is based on the h-index, correcting for the number of coauthors of each article and the proportion of allo-citations of the researcher. In addition, we introduce the index's standardization by scientific age (time in years since the first publication, Is-index). We evaluated the variation of I-index with chronological age (age classes), geographical location (Santiago vs. Regions) and gender of researchers. We also evaluated how these patterns vary if only the top ten of each age class are considered, and if the Is-index is used. The sample group consisted of 120 researchers in ecological sciences (sensu lato). Results show that older researchers have significantly higher I-index values and that this difference is greater when the top ten group is considered. Researchers from Santiago have higher I-index values than those from regions. However, the opposite trend is found when the top ten young researchers are considered. Although no difference between male and female researchers was detected when the whole data set is considered, the top ten male researchers have greater I-index values. Standardization of the I-index for scientific age changes the upper ranking of scientific output. The proposed index has the advantage of being an indicator that: i) better reflects the individual contribution of a researcher, ii) it is not feasible to manipulate it via self-citations, iii) it is not an integer number, hence allowing a more precise discrimination, and iv) the standardized version allows the comparison of the research output impact of scientists of different ages. We propose to include the I-index in assessments for academic jobs, promotions and prizes.

Key words: Chile, h-index, indicators, research, scientific output.

---

INTRODUCCIÓN

En el último tiempo se han sugerido diversos índices para evaluar la cantidad e impacto de la producción científica de un determinado investigador (Hirsch 2005, Batista et al. 2006, Egghe 2006a). Entre los estimadores más utilizados están el número de artículos publicados por un autor, la producción estandarizada por tiempo y el número de citas recibidas por sus artículos (Jaksic & Santelices 1991, Hirsch 2005, Lehmann et al. 2006, Lutz & Hans-Dieter 2006, Rau 2007). Recientemente, Hirsch (2005) ha sugerido el "índice-h" como un simple número que incorpora tanto la cantidad de publicaciones como sus citas, es decir integra aspectos cuantitativos y cualitativos. Este índice ha mostrado ventajas sobre los criterios utilizados hasta la fecha para evaluar el impacto de la productividad de un investigador (Hirsch 2007). A modo de definición, un investigador tiene un determinado "índice-h" si "h" de sus N_a artículos tiene al menos "h" citas en cada uno, y el resto de sus artículos (N_a - h) tienen un índice de citas h (Hirsch 2005). Por ejemplo, si un investigador tiene un índice h = 30, quiere decir que tiene al menos 30 citas por cada uno de sus 30 artículos más citados.

Si bien el índice-h es una medida integral del impacto de un investigador, no es un estimador libre de sesgos. Por ejemplo, el índice-h de un investigador está relacionado con el tiempo de exposición de sus artículos (Hirsch 2005, Egghe 2007). Jaksic & Santelices (1991) han demostrado que algunos artículos científicos comienzan a ser citados sostenidamente solo después de una década de haber sido publicados. De esta manera, investigadores con carreras más prolongadas muy probablemente posean un índice-h más alto que investigadores jóvenes (Hirsch 2005). Variantes del índice-h permiten corregir el impacto acumulado de un determinado investigador por un factor temporal, donde se considera el tiempo en años desde la primera publicación de un determinado investigador (Hirsch 2005). Esta corrección -denominada parámetro m- permite comparar a científicos de diferentes edades y sirve para poder extrapolar la tendencia futura de los investigadores más jóvenes. Sin embargo, el parámetro m pierde precisión si los científicos jóvenes no mantienen una productividad sostenida después de las primeras publicaciones. Por otro lado, ha sido demostrado que el número de citas que recibe un artículo aumenta con el número de coautores del artículo (Egghe 2006b, Glanzel 2006). Esto se debería principalmente al aumento proporcional de las autocitas y la posibilidad de que dicho artículo sea encontrado por otros investigadores (Herbertz 1995, Goldfinch et al. 2003, Leimu & Koricheva 2005a, 2005b). Batista et al. (2006) han propuesto recientemente un índice complementario al h, el índice "h¡" que consiste en dividir el h de un investigador por el número promedio de autores de los artículos que aportan a su h (Batista et al. 2006). No obstante, considerando que la corrección por el promedio es muy sensible a los valores extremos, el utilizar esta estandarización sería demasiado drástico, ya que penalizaría fuertemente a los investigadores con eventuales artículos que presenten un alto número de coautores. Finalmente, la frecuencia de autocitas de un investigador afecta de manera positiva su tasa de acumulación de citas, repercutiendo en cualquier medición que utilice el índice de citación como parámetro (Herbertz 1995, Kelly & Jennions 2006, Schreiber 2007, Enqvist & Frommen 2008). Por ejemplo, Gianoli & Molina-Montenegro (2009) en un estudio reciente demostraron que investigadores con mayores porcentajes de autocitas aumentaron más su índice-h en un periodo de seis meses.

Considerando todo lo anterior, se propone un nuevo estimador del impacto de la productividad científica, el "índice-I". Este índice corrige el ya propuesto índice-h por el número de autores de cada artículo y el porcentaje de autocitas del investigador. Además se incluye la versión estandarizada por la edad científica de cada investigador, denominándolo índice-I_s. Para ilustrar la aplicación del índice-I como estimador del impacto de la productividad científica, se utilizó un universo muestral de los investigadores en ciencias ecológicas de Chile (sensu lato), planteando las siguientes preguntas: (i) ¿cómo varía el índice-I con la edad?, (ii) ¿varía el índice-I de los investigadores entre Santiago y las regiones?, (iii) ¿difiere el índice-I de los investigadores según su género? Adicionalmente, se evaluó cómo cambian los patrones obtenidos al comparar solo los diez primeros de cada grupo y al utilizar el índice estandarizado I_s.

MÉTODOS

El trabajo incluyó el registro de publicaciones de 120 investigadores en ciencias ecológicas (sensu lato), los cuales fueron seleccionados desde las listas de membresía de sociedades de ciencias ecológicas y naturales, así como de una revisión en sitios web de los departamentos académicos de ecología, botánica, zoología, oceanografía y biología. Este grupo debe considerase como una muestra representativa y no como el universo de investigadores en ciencias ecológicas sensu lato. Se utilizó información disponible desde las páginas personales, las bases de datos de CONICYT y de la Academia Chilena de Ciencias para la obtención de datos como fecha de nacimiento, afiliación institucional y nombres utilizados para publicar. Solamente se consideraron investigadores con al menos tres artículos ISI en los últimos tres años y con un mínimo de 10 artículos ISI publicados durante su trayectoria, hasta la tercera semana de febrero de 2008 según la base de datos de la Web of Science, con acceso a la información desde 1900 (Tabla Cl). Se revisó la base de datos durante dos semanas consecutivas en febrero de 2008 y se tomó gran cuidado en la lista exacta de publicaciones de cada investigador con el fin de evitar la inclusión de artículos publicados por individuos homónimos o la exclusión de artículos publicados por un investigador bajo diferentes combinaciones de nombres y apellidos. Por ejemplo, en el caso de una reconocida investigadora, se incluyeron los artículos publicados bajo cinco combinaciones diferentes de nombres y apellidos. De manera similar se tomó precaución que todos los registros correspondiesen a artículos científicos en general y no a correcciones o a resúmenes de congresos.

Se calculó de modo secuencial el índice propuesto en este estudio. Primero, se determina un índice pre-L De manera análoga al índice-h, un investigador tendrá un determinado "índice preT" si "I" de sus artículos tiene al menos "I" citas luego de haber dividido en cada artículo el número de citas por el número de coautores. Así, artículos altamente citados pero con muchos autores podrían quedar fuera para la estimación del índice-I, pero podrían incorporarse otros que si bien no son tan citados poseen pocos o un único autor. Seguido, una vez obtenido el número de artículos que al dividir sus citas por el número de autores es igual o mayor que su posición en el ordenamiento decreciente, este se multiplica por el logaritmo del la proporción de alocitas (alocitas: total de citas recibidas por un investigador menos las citas provenientes de artículos publicados cuyo autor principal es el mismo investigador). De esta manera se minimiza el efecto de las autocitas sobre el valor del índice. La proporción de alocitas se obtuvo desde la base de datos de la Web of Science, en la que aparece el número total de citas para un determinado investigador (auto + alocitas) y el número de citas recibidas solo por otros investigadores (alocitas). Se dividió el número de alocitas por el número total de citas obteniendo así la proporción de alocitas, cuyo logaritmo decimal fue obtenido luego de ser multiplicadas por cien. Los valores finales fueron posteriormente multiplicados por 10, para obtener valores numéricos similares en orden de magnitud a los entregados por el índice-h. El índice-I, puede ser corregido por la "edad científica" (años transcurridos desde la primera publicación), obteniendo su versión estandarizada, índice-I_s. Una vez obtenido el índice-I para la totalidad de los investigadores, para algunos análisis estos se dividieron en tres intervalos de clases etarias, < 40 Oóvenes), 40-50 (establecidos) y > 50 años (seniors), los cuales poseen edades científicas similares intraclase, permitiendo la comparación inter-clases, con el fin de evaluar tendencias futuras. El número de investigadores dentro de cada grupo etario no fue muy distinto (28, 45 y 47, respectivamente). Dentro de cada grupo, se identificó a los diez investigadores con mayor valor del índice-I (top-ten). El incluir a este subgrupo en los análisis permite dilucidar la heterogeneidad / homogeneidad de los grupos totales. Para comparar el índice-I entre clases etarias (< 40, 40-50, > 50) y según género (femenino vs. masculino) se utilizó análisis de varianza de una vía, tanto para el universo total de investigadores como para los "top-ten". Adicionalmente, para evaluar la relación entre la edad cronológica y científica de los investigadores y el índice-I, se realizaron análisis de correlación. La variación del índice-I según las clases etarias y la localización geográfica de los investigadores (Santiago vs. regiones) fue evaluada mediante análisis de varianza de dos vías.

RESULTADOS

Utilizando los criterios de selección previamente mencionados, se obtuvo un total de 120 investigadores en el área de las ciencias ecológicas. Los resultados mostraron un valor promedio de índice-I de 11.1 ± 0.7 (EE) con un máximo y mínimo de 35.6 y 2.2, respectivamente (Tabla C1). Es decir, el investigador con el valor de índice-I más alto tiene un impacto de su productividad 16.2 veces mayor que aquel con el valor más bajo.

El análisis de correlación mostró un aumento positivo y significativo (r = 0.446; P < 0.0001) del índice-I con la edad de los investigadores. No obstante, al estandarizar el índice-I por la edad científica (índice-I_s) se evidenció una disminución significativa con la edad de los investigadores (r = -0.296; P < 0.0001). De manera similar, al dividir a los investigadores en clases etarias, el análisis de varianza muestra que los investigadores más jóvenes (< 40 años) poseen valores promedios significativamente menores que aquellos de mayor edad > 50 años (F_2,117 = 8.97; P = 0.0002), pero ambos no difieren de aquellos investigadores entre 40-50 años (Fig. 1A). Por otro lado, al comparar solo los "top-ten" de cada clase etaria, se registraron diferencias significativas entre los tres grupos (F_2,27 = 52.43; P < 0.0001; Fig. 1B), siendo en ambos casos el segmento etario > 50 años, aquel que presentó el mayor impacto de la productividad. Al comparar los valores del índice-I entre los investigadores según la clase etaria, se puede evidenciar que la diferencia entre los investigadores con el valor máximo entre las clases etarias 40-50 y > 50 fue menor que el registrado entre las clases etarias 40-50 y < 40 (8.6 y 12.0 respectivamente). Por otro lado es posible notar un aumento en la magnitud de la diferencia de los impactos de la productividad entre el valor máximo y mínimo a medida que aumenta la longevidad de las clases etarias, siendo la diferencia entre el valor máximo y mínimo registrado para el índice-I de 18, 13 y 7 para las clases etarias > 50, 40-50 y < 40, respectivamente (Tabla 1).

Fig. 1: Valores calculados para el índice-I (± EE) para la totalidad de los investigadores incluidos en este estudio (A) y para los "top-ten" (B). Se muestran los valores para 3 diferentes clases etarias de investigadores: jóvenes (< 40), establecidos (40-50) y seniors (> 50 años). (Letras diferentes corresponden a diferencias significativas; test de Tukey; a = 0.05). Calculated values for the I-index (± SE) for all researchers included in this study (A) and the «top ten» (B). Shown are the values for 3 different age classes of researchers: young (< 40), established (40-50) and seniors (> 50 years). (Different letters indicate significant differences; Tukey test; a = 0.05).

El índice-I varió significativamente al considerar tanto el origen (Santiago vs. regiones) (F_1,114 = 4.76; P = 0.031) como las clases etarias (F_2,114 = 10.19; P < 0.0001) (Fig. 2A). Mientras que el valor promedio del índice-I en los investigadores jóvenes (< 40 años) fue significativamente menor que el de los investigadores seniors, este último fue similar al de los investigadores establecidos (Fig. 2A). Los investigadores de instituciones en Santiago poseen índices-I significativamente mayores que los de regiones (Fig. 2A), incrementándose esta diferencia al considerar solo el grupo de los "top-ten" (F_1,54 = 16.75; P < 0.0001) (Fig. 2B). Por otro lado, el impacto de la productividad varió de manera significativa (F_2,54 = 61.37; P < 0.0001) con las clases etarias en el grupo de los "top-ten", siendo significativamente distintos los promedios entre los tres grupos etarios (Fig. 2B). El análisis de varianza mostró un efecto significativo (F_2,54 = 10.90; P < 0.001) en la interacción clase etaria x origen para el grupo de los "top-ten", debido a que si bien el valor promedio del índice-I es mayor en los investigadores de Santiago, esta diferencia solo es significativa en los investigadores seniors (Fig. 2B). Se evidenció una clara variación en la composición de los investigadores más productivos según su ubicación geográfica en cada clase etaria. Mientras que en el grupo más joven los investigadores son mayoritariamente de regiones (70 %), en el grupo seniors la tendencia se invierte, registrándose solo un 10 % de los investigadores de regiones (Fig. 2C). Al comparar el impacto de la productividad científica entre investigadores hombres y mujeres, no se registraron diferencias significativas (F_1,118 = 0.03; P = 0.86) en los valores promedios del índice-I considerando el universo total de investigadores (Fig. 3A). Sin embargo, al considerar solo los "top-ten", el género masculino presenta índices-I significativamente mayores (F_1.18 = 38.08; P < 0.0001) (Fig. 3B).

Fig. 2: Valores calculados para el índice-I (± EE) para la totalidad de los investigadores incluidos en este estudio (A), los investigadores "top-ten" (B) y la proporción de investigadores "top-ten" (C), distribuidos en Santiago y regiones. Se muestran los valores para tres diferentes clases etarias: jóvenes (< 40), establecidos (40-50) y seniors (> 50 años). (Letras diferentes indican diferencias significativas entre clases etarias; test de Tukey; a = 0.05). Asteriscos corresponden a diferencias significativas entre la variable Santiago vs. regiones (* = P < 0.05; ** = P < 0.001). Calculated values for the I-index (± SE) for all researchers included in this study (A), researchers «top-ten» (B) and the proportion of researchers «top-ten» (C), distributed in Santiago and regions. Shown are the values for three different age classes of researchers: young (< 40), established (40-50) and seniors (> 50 years). (Different letters indicate significant differences; Tukey test; a = 0.05). Asterisks indicate significant differences between Santiago vs. regions (* = P<0.05; ** = P< 0.001).

Fig. 3: Valores calculados para el índice-I (± 2EE) para la totalidad de los investigadores incluidos en este estudio (A) y para los "top-ten" (B). Se muestran los valores para los investigadores masculinos y femeninos. (Letras diferentes corresponden a diferencias significativas; test de Tukey; a = 0.05). Calculated values for the I-index (± 2SE) for all researchers included in this study (A) and the "top-ten" (B). Shown are the values for male and female researchers. (Different letters indicate significant differences; Tukey test; a = 0.05).

Se observó un cambio de posición de los investigadores en el ranking a medida que se adicionaron las diversas variables que determinan finalmente el índice-I_s. Considerando el 10 % superior (n = 12) de los investigadores utilizados en este estudio, quedó en evidencia que de la lista inicial (en la que se consideró del índice-h) cuatro investigadores fueron reemplazados en el listado al utilizar los criterios propuestos en el índice-I y finalmente solo cuatro de los investigadores del listado inicial permanecieron al estandarizar el impacto de la productividad por su edad científica (índice-I_s; Tabla 2).

DISCUSIÓN

Durante los últimos años diversos autores han aplicado el índice-h (2005), y sus variantes, para la obtención de un estimador que cuantifique con mayor precisión la productividad e impacto de un investigador (Braun et al. 2005, Batista et al. 2006, Cronin & Meho 2006, Egghe 2006b, Egghe 2007, Saad 2006, Schreiber 2007). No obstante, pocos son los trabajos que han puesto a prueba los diversos índices o lo han realizado con un universo muestral reducido y en ventanas temporales muy restringidas (e.g., Batista et al. 2006, Schreiber 2007).

Una de las ventajas del índice-I es la incorporación de componentes que influyen en la producción e impacto de un investigador, como son el porcentaje de autocitas y el número de coautores de un artículo. Adicionalmente, la estandarización del índice-I, permitiría evaluar el impacto futuro de los investigadores más jóvenes, extrapolación que sería imposible de realizar considerando solo el número de artículos o citas recibidas. Aquí demostramos que al agrupar por clases etarias los investigadores jóvenes poseen valores significativamente menores que los investigadores seniors, pero no difieren de los investigadores establecidos. De manera similar, al analizar los "top-ten" de cada clase etaria esta diferencia se ve aumentada, lo cual sugiere que al interior de cada clase existiría una alta varianza en los valores del índice-I y que al considerar solo los más productivos de cada grupo las diferencias se expresarían con mayor claridad.

Considerando los resultados de la correlación entre la edad de los investigadores y los valores del índice-I y su posterior estandarización, se evidencia un fuerte efecto de la edad. Al estandarizar por la edad científica los investigadores jóvenes presentan valores significativamente mayores que los investigadores seniors. Esta tendencia podría estar explicada por al menos tres motivos no excluyentes entre sí: los investigadores jóvenes poseen una tasa de acumulación de artículos más rápida, poseen un porcentaje de autocitas menor o sus artículos son compartidos por un menor número de coautores.

El índice-I de los investigadores provenientes de Santiago es mayor que el de aquellos de regiones. Sin embargo, y constituyendo uno de los hallazgos principales de este trabajo, al considerar la proporción de los investigadores "top-ten" sale a la luz un patrón definido, ubicando a los investigadores altamente productivos jóvenes en regiones mientras que aquellos de mayor edad se ubican en Santiago. Cuando se considera solo los "top-ten", si bien se mantiene la tendencia de una mayor productividad en los grupos etarios más longevos y provenientes de Santiago, aparece un factor de interacción que no se registra al considerar el universo total de investigadores. El aumento del índice-I con la edad, fue mayor en los investigadores de Santiago, siendo esta diferencia significativa solo para el grupo más longevo. Asimismo, en el intervalo más joven el promedio es mayor en regiones que en Santiago. Una explicación a este patrón, se podría deber a que los primeros cargos académicos en ciencias ecológicas fueron originados en Santiago y por ende estos investigadores poseen un mayor tiempo de exposición de sus artículos. Por otro lado, en el último tiempo (< 10 años) se ha registrado un aumento en la apertura de cargos académicos en las universidades de regiones. Esto ha generado que jóvenes investigadores de gran productividad científica sin espacio en universidades tradicionales de Santiago ingresen al "sistema", desplazando la proporción de investigadores de alta productividad de Santiago hacia regiones en ese intervalo etario (Fig. 2C). El resultado de esto, al margen de políticas públicas específicas, es una descentralización efectiva de la práctica de ecología de alto nivel en Chile.

En un estudio realizado por la Academia Chilena de Ciencias (Allende et al. 2005) se muestra que en el área de ecología y ciencias ambientales, los investigadores de Santiago publican el 42 % de la totalidad de los artículos, pero esta cifra ha ido disminuyendo desde 1997 donde la productividad alcanzaba el 61 % (Kalin-Arroyo et al. 2005). En nuestro estudio, encontramos que más del 55 % de los investigadores corresponden a instituciones de regiones. Sin embargo, al considerar el 10 % superior de los investigadores (n = 12), solo uno es de regiones considerando el índice-I, pero cinco son de regiones al considerar el índice-I_s. Esto sugiere que, a pesar de que el número bruto de publicaciones proviene mayoritariamente de regiones, los investigadores de Santiago reciben en promedio más citas per capita, lo cual les proporciona finalmente un valor más alto en los índices. Por otro lado, estandarizar el índice-I por la edad científica permite el ingreso de cinco nuevos investigadores de regiones al grupo del 10 % superior. Esto se explica porque estos cinco investigadores son jóvenes pero con tasas actuales de publicación similares o mayores a la que en su momento tuvieron los investigadores hoy de mayor edad (Tabla 2).

Hay una marcada mayoría de investigadores hombres (87 %) en el listado obtenido. A pesar de esta asimetría, no hay diferencias significativas en los valores globales. Sin embargo, al comparar los "top-ten" de cada grupo, el género masculino aparece con mayores valores del índice-I. Esta variación sugiere que dentro del grupo de investigadores hombres existe una mayor heterogeneidad en cuanto al índice-I (Fig. 3A y3B).

A la fecha se han realizado algunos esfuerzos para obtener una medida objetiva de la productividad de los científicos chilenos (Jaksic & Santelices 1991, Rau 2007). No obstante, solo se ha resaltado la importancia de integrar aspectos tanto de cantidad como de calidad, sin llegar a la propuesta concreta de una métrica o índice para su comparación. Jaksic & Santelices (1991) evaluaron la productividad científica (número de artículos publicados) y su impacto (número de citas recibidas) de ellos mismos. Recientemente, Rau (2007) publicó un comentario en el cual comparó la "calidad científica" de una pequeña fracción de científicos chilenos con la "calidad científica" del comité editorial de algunas revistas científicas de corriente principal y con la de ecólogos extranjeros de reconocida trayectoria. Si bien Rau (2007) utilizó la aproximación ya formulada por Hirsch (2005), la comparación solo comprendió una pequeña fracción del universo de científicos chilenos y en una muy corta ventana temporal. Por lo tanto, los esfuerzos realizados hasta ahora no han permitido hacer un detallado análisis de la producción de los investigadores nacionales, ni menos una medición que permita la extrapolación futura.

El índice que hemos propuesto en este estudio tiene la ventaja de hacer converger en un solo valor la calidad, impacto y productividad acumulada de un determinado investigador, poniendo énfasis en su aporte individual. De manera adicional, nuestro índice al no ser un valor entero -como lo es el índice h- permite discriminar de manera más precisa el impacto de la productividad entre diferentes investigadores. El índice-I es más robusto que el índice-h frente a posibles intentos dirigidos a su aumento mediante la autocitación. La estandarización de nuestro índice (I_s) podrá ser utilizada como una medición para extrapolar la productividad científica en investigadores jóvenes o para comparar grupos de investigación o departamentos en temáticas similares pero con trayectorias científicas diferentes. Por otro lado, es importante reconocer algunos sesgos potenciales en el cálculo del índice-I. Por ejemplo, la corrección por el número de autores apunta a ponderar el aporte de un investigador individual que habitualmente publica en grupos grandes con sus pares, pero en el caso de profesores que publican con varios de sus estudiantes, a manera de estímulo a la carrera de estos, la corrección "castigaría" esta conducta altruista. Adicionalmente, la corrección por autocitas apunta a minimizar el efecto de la autocitación como conducta dirigida al aumento de los indicadores de productividad. Sin embargo, en el caso de líneas de investigación novedosas que se construyen en el tiempo, es inevitable la autocitación pues son muy pocas las referencias de partida.

El impacto de la productividad científica, traducido en estimadores cuantitativos, depende de múltiples variables, aparte de las ya señaladas en este trabajo, i.e., número de coautores y porcentaje de autocitación. Tanto el número de citas como la tasa de citación de un determinado científico pueden estar afectados por el campo de su investigación, la especie bajo estudio, la contingencia del tema de su investigación, la presencia como coautores de investigadores de prestigio (Leimu et al. 2008), entre otros factores. Reconociendo las limitaciones del índice aquí propuesto, de todas maneras se sugiere considerar el índice-I (o I_s) como uno de los elementos para la toma de decisiones al momento de evaluar contrataciones, promociones, becas y premios, al menos mientras no se configure una forma más integral para estimar la productividad científica de los investigadores en Chile.

 

MATERIAL COMPLEMENTARIO

La Base de datos usada en este artículo (Tabla C1) está disponible como Material Complementario online en http://rchn.biologiachile.cl/pdfs/2010/2/Molina-Montenegro_&_Gianoli_2010.pdf

 

AGRADECIMIENTOS

Los autores agradecen a Luis Corcuera, Mario George-Nascimento y tres revisores anónimos por las valiosas sugerencias realizadas a diferentes versiones del manuscrito, y a Patricio Camus por su prudente y sapiente manejo editorial, así como a Carlos Zamora por su trabajo editorial. También agradecen a todos los investigadores que con sus comentarios acerca de los resultados preliminares de este trabajo presentado en la LI Reunión Anual de la Sociedad de Biología de Chile, permitieron mejorar este artículo.

 

LITERATURA CITADA

ALLENDE J, J BABEL, S MARTÍNEZ & T URETA (2005) Análisis y proyecciones de la ciencia chilena. Academia Chilena de Ciencias, Santiago, Chile.

BATISTA PD, MG CAMPITELI, O KINOUCHI & AS MARTINEZ (2006) Is it possible to compare researchers with different scientific interest? Scientometrics 68: 179-189.

BRAUN T, W GLÄNZEL & A SCHUBERT (2005) A Hirsch-type index for journals. Scientometrics 69: 169-173.

CRONIN B & L MEHO (2006) Using the h-index to rank influential information scientists. Journal of the American Society for Information Science and Technology 57: 1275-1278.

EGGHE L (2006a) Theory and practice of the g-index. Scientometrics 69: 131-152.

EGGHE L (2006b) How to improve The h-index? The Scientist 20: 14.

EGGHE L (2007) Dynamics h-index: The Hirsch index in function of time. Journal of the American Society for Information Science and Technology 58: 452-454.

ENQVIST L & JG FROMMEN (2008) The h-index and self-citations. Trends in Ecology and Evolution 23: 250-252.

GIANOLI E & MA MOLINA-MONTENEGRO (2009) Insights into the relationship between the h-index and self-citations. Journal of the American Society for Information Science and Technology 60: 1283-1285.

GLÄNZEL W (2006) On the H-index - a mathematical approach to a new measure of publication activity and citation impact. Scientometrics 67: 315-321.

GOLDFINCH S, T DALE & K DEROUEN (2003) Science from the periphery: Collaboration, networks and "periphery effects" in the citation of New Zealand Crown Research Institutes articles, 1995-2000. Scientometrics 57: 321-337.

HERBERTZ H (1995) Does it pay to cooperate? A bibliometric case study in molecular biology. Scientometrics 33: 117-122.

HIRSCH JE (2005) An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences USA 102: 16569-16572.

HIRSCH JE (2007) Does the h-index have predictive power? Proceedings of the National Academy of Sciences USA 104: 19193-19198.

JAKSIC FM & B SANTELICES (1991) ¿Alguien lee a los ecólogos chilenos? Revista Chilena de Historia Natural 64: 13-18.

KALIN-ARROYO MT, J ARMESTO, F BOZINOVIC, L CAVIERES, J GUTIÉRREZ et al. (2005) Ecología y ciencias ambientales. En: Allende J, J Babel, S Martínez & T Ureta (eds) Análisis y proyecciones de la ciencia chilena: 295-331. Academia Chilena de Ciencias, Santiago, Chile.

KELLY CD & M JENNIONS (2006) The h index and career assessment by numbers. Trends in Ecology and Evolution 21: 167-170.

LEHMANN S, AD JACKSON & BE LAUTRUP (2006) Measures for measures. Nature 444: 1003-1004.

LEIMU R, CJ LORTIE, L AARSSEN, AE BUDDEN, J KORICHEVA & T TREGENZA (2008) Does it pay to have a "bigwig" as a co-author? Frontiers in Ecology and the Environment 6: 410-411.

LEIMU R & J KORICHEVA (2005a) What determines the citation frequency of ecological papers? Trends in Ecology and Evolution 20: 28-32.

LEIMU R & J KORICHEVA (2005b) Does scientific collaboration increase the impact of ecological articles? BioScience 55: 438-443.

LUTZ B & D HANS-DIETER (2006) What do we know about the h index? Journal of the American Society for Information Science and Technology 58: 1381-1385.

RAU JR (2007) Iíndice h (2000-2004) de los científicos ambientales más citados que residen en Chile. Revista Chilena de Historia Natural 80: 381-383.

SAAD G (2006) Exploring the h-index at the author and journal levels using bibliometric data of productive consumer scholars and business-related journals respectively. Scientometrics 69: 117-120.

SCHREIBER M (2007) Self-citation corrections for the Hirsch index. Journal of the American Society for Information Science and Technology 58: 1381-1385.

 

Editor Asociado: Mario George-Nascimento

Recibido el 28 de marzo de 2009; aceptado el 29 de diciembre de 2009