ENTRAR            

Evidentia 2006 mar-abr; 3(8) Documentos relacionados	Editorial   Información Científica   El autor evaluado: impacto de las publicaciones periódicas Alberto Gálvez Toro1, Manuel Amezcua2, César Hueso Montoro3. 1Coordinador de Investigación. Fundación Index. Grupo de Estudios Documentales  (Granada, España). 2Presidente de la Fundación Index (Granada, España). 3Coordinador de Docencia. Fundación Index (Granada, España) Grupo de Estudios Documentales.
Cómo citar este documento: Gálvez Toro A, Amezcua M, Hueso Montoro C. El autor evaluado: impacto de las publicaciones periódicas. Evidentia 2006 mar-abr; 3(8). En: https://www.index-f.com/evidentia/n8/217articulo.php [ISSN: 1697-638X]. Consultado el

    Hace casi una década, Jordi Camí⁽¹⁾ publicó uno de esos artículos difíciles de olvidar que, a la postre y desde su publicación, se convierten en paradigmáticos y de necesaria referencia. Con el título �Impactolatría: diagnóstico y tratamiento�, el autor realiza un análisis en profundidad de las ventajas y limitaciones del factor de impacto (FI) cuando se utiliza para la evaluación de autores y candidatos a puestos docentes o de investigación -dentro del área de las ciencias de la salud-. En su exposición, se sitúa entre dos posiciones encontradas, la impactofobia y la impactolatría. La primera, es propia de lo que  J. Camí denomina trayectorias científicas de bajo perfil. La segunda, característica de los que padecen la impactitis, es decir, de aquellos que dan un valor absoluto a la publicación⁽¹⁾ y sólo tienen en cuenta indicadores de sesgo anglosajon como los del ISI (Institute for Scientific Information). Las dudas que se nos plantean a tenor de este trabajo son: ¿qué es la ciencia?, ¿qué ciencia es evaluada con el FI del ISI?, ¿se puede investigar sin ser científico?, y si es así, ¿cómo se le puede calificar?, ¿es evaluable?, o, ¿es ciencia la investigación del clínico?

    Para continuar, es preciso matizar nuestro punto de partida a modo de respuesta a los interrogantes del párrafo anterior: a nosotros no nos interesa la CIENCIA en mayúsculas, pues ésta pertenece al mundo de una elite que debe estar en el lugar que le corresponde; a nosotros nos interesa la ciencia aplicada y cercana. La mayor parte de la actividad científica que nosotros vemos a nuestro alrededor no es fruto del trabajo de científicos, sino de profesionales que practican con recursos limitados y un enorme esfuerzo una actividad que redunda en el beneficio de lo que se hace profesionalmente. Y como lo que hacemos los profesionales de la salud tiene que ver con el paciente, nuestra actividad científica, claramente relacionada y vinculada con la profesional, pretende acercarnos a él con más acierto. Esta actividad científica, que debe ser, claro está, rigurosa, tiene que medirse en función de su origen, de sus medios y de sus beneficios sociales. Porque como clínicos sabemos que nuestra actividad local de investigación tiene efectos beneficiosos en el lugar en el que se ejecuta, pero no sólo ahí. Existen muchos ejemplos cercanos, algunos incluidos en esta misma revista, Evidentia.

    J. Camí propone un decálogo de evaluación bibliográfica en el que dice (adaptado de J. Camí, 1997): a) el factor de impacto es un indicador dirigido a la evaluación y clasificación global de las revistas, no de sus trabajos en particular, ni de sus autores; b) el factor de impacto de la revista no es un buen predictor de la calidad e importancia de sus publicaciones ni de las citas que recibirán posteriormente, sobre todo cuando se utiliza para casos aislados; c) las citas recibidas por un trabajo sólo indican su impacto actual -el cálculo del factor de impacto de una revista se basa en las citas recibidas por los documentos de esa revista en los últimos 2 años; d) en general, un 15% de los artículos acaparan el 50% de todas las citas -aproximadamente la mitad de los documentos publicados en revistas biomédicas no son nunca citados posteriormente; e) publicar en medicina no es sinónimo de publicar contribuciones científicas; f) cabe distinguir entre calidad, importancia o relevancia e impacto actual de una contribución científica -un artículo original de investigación no tiene nunca una calidad e importancia idéntica a otro original publicado en la misma revista; g) para evaluar la importancia y calidad de una contribución científica particular deben conjugarse simultáneamente técnicas objetivas y subjetivas; h) el manejo exclusivo del FI de la revista de publicación como determinante de la supuesta calidad o importancia de la investigación publicada por un individuo o grupo es un ejercicio de extrapolación muy limitado y al que, en todo caso, debe dársele sólo un valor indicativo; i) la visibilidad, por las características y limitaciones con que se producen y manejan las bases de datos del ISI, queda circunscrito a la comunidad científica de mayor influencia, la anglosajona.

    El autor coincide con Richard Smith en una observación sustantiva que nosotros suscribimos: que publicar en las ciencias de la salud no es sinónimo de aportación científica, porque, se debe añadir, los profesionales clínicos no son científicos aunque participen de la ciencia. Y no siendo científicos, sus aportaciones son necesarias para que la práctica clínica sea científica en tanto que, la investigación local o regional realizada por aquellos cuya profesión no es la de científico, es imprescindible para el desarrollo local y regional, además de ser una manifestación de su movimiento y actividad -clínica, intelectual, crítica y científica. La divulgación local y regional de aportaciones intelectuales, científicas y clínicas es un signo de dinamismo y salud profesional. Otra cuestión es que la visibilidad de esta producción raramente sea internacional. Estas aportaciones, al menos hasta ahora, carecían de impacto y, por tanto, del valor indicativo necesario para valorarlo �a pesar de sus limitaciones.

    Las cuestiones son: ¿se pueden evaluar las publicaciones excluidas del Journal Citation Report -JCR- del ISI?, ¿se puede evaluar a los autores que publican, por ejemplo, en revistas españolas de ciencias de la salud?, ¿tenemos indicadores bibliométricos que permitan la evaluación?  La respuesta en los tres casos es sí. Hasta hace poco tiempo, aunque con una respuesta afirmativa a las tres cuestiones, carecíamos de los medios para hacer la evaluación bibliométrica. Hoy día hemos avanzado bastante �a partir de ahora utilizaremos el término impacto en lugar de FI, que lo dejamos para el uso exclusivo del ISI-. Pero en cualquier caso, coincidimos con J. Camí en que para evaluar a un candidato a un puesto científico, es imprescindible, además del impacto, la evaluación cualitativa, incluso por pares, de una selección de las aportaciones que el propio candidato considere más relevantes. Esto, por ahora, es otra cuestión que todavía no ha incorporado nuestra cultura. Aún estamos inmersos en el proceso de aceptación del valor del impacto calculado en nuestro medio como instrumento útil para evaluación general de candidatos.

    Nuestro equipo lo tiene claro, las aportaciones realizadas por los profesionales de la salud cuya actividad principal no es la de científico deben ser objeto de evaluación, aun cuando no entren en los circuitos del ISI. No hay duda alguna de que el profesional que publica y se mantiene actualizado, en una primera línea en la investigación aplicada o en la revisión del conocimiento, debe ser considerado como tal. La distinción está clara: al profesional de la ciencia o científico se le debe exigir como tal, al clínico y al docente, en su justa medida. El científico español debe estar, en su línea de investigación, en el mismo nivel que los científicos de su ramo a nivel mundial. Nuestros clínicos tienen el deber de mejorar la práctica clínica e implementar las mejores evidencias disponibles. Y para esto último se han desarrollado los indicadores de impacto de CUIDEN Citación y del Instituto de Historia de la Ciencia y Documentación López Piñero (IHCD). Para poder medir su actividad de alguna manera objetiva.

    Si deseamos evaluar a los autores de enfermería y disciplinas relacionadas que publican en el área ligüística del español y del portugués �una inmensa área internacional-, debemos utilizar los indicadores de impacto de CUIDEN Citación como marcadores indirectos para evaluar a autores y directos para evaluar revistas. A diferencia del FI del ISI, estos indicadores eliminan los siguientes sesgos del cálculo de impacto:

-El idioma anglosajón. Los indicadores CUIDEN Citación seleccionan revistas fuente del área lingüística del español y del portugués. Pero además, elabora un índice de revistas citadas en el que aparecen listadas todas las revistas referenciadas, con lo cual, se evita el sesgo de autocomplacencia endogámica que evita la exclusión geográfica o ligüística.

-El área disciplinar. Se incluyen revistas invisibles para el ISI, de cuya existencia no sabríamos sin CUIDEN Citación. Estas revistas pertenecen a un área de conocimiento específica dentro de las ciencias de la salud: Enfermería.

-El sesgo de artículos fuente. A diferencia de los criterios ISI, CUIDEN Citación tiene criterios más abiertos para la selección de artículos fuente, lo que duplica en algunos casos el número de artículos susceptibles de ser seleccionados. Es artículo fuente todo artículo citable con referencias bibliográficas.

-El sesgo del tiempo. El FI del ISI se calcula para las citas de los dos años previos al estudio, cuando sabemos que el lapso de vida y citación de un artículo es mayor. CUIDEN Citación tiene un indicador histórico de impacto que mide la repercusión acumulada de una revista por unidad de producción nueva.

-El sesgo de las autocitas. Las autocitas o la inducción a la autocita es evitada en CUIDEN Citación con el cálculo de un indicador de impacto sin autocitas.

    Tenemos otro instrumento, en este caso de carácter nacional pero más exhaustivo por incluir un mayor número de disciplinas. Si deseamos medir el impacto nacional �España-, de las revistas de las ciencias de la salud, podemos utilizar la base de datos del Centro Superior de Investigaciones Científicas (CSIC) a través del Instituto de Historia de la Ciencia y Documentación López Piñero (IHCD), que ha calculado los indicadores de impacto de alrededor de 100 revistas de biomedicina, donde se incluyen publicaciones clínicas (medicina, odontología, enfermería, etc.) y experimentales (microbiología, genética, neurología, etc.).

    Está claro que ya contamos con instrumentos para la evaluación indirecta de los autores. En el caso de CUIDEN Citación, los indicadores son internacionales y circunscritos a una extensa área geográfica y ligüística. En el caso de la base de datos del IHCD, para toda la producción científica nacional �España- de biomedicina.

    Y hoy estamos de enhorabuena porque de manera implícita o explícita, distintas resoluciones publicadas en boletines oficiales hacen referencia a los indicadores de impacto como medio de valoración de la producción científica de candidatos a puestos docentes o clínicos^(2,3). Es decir, los autores que han publicado en revistas incluidas en las bases de datos CUIDEN Citación o IHCD van a ser valorados en mejores condiciones que aquellos que no están en éstas bases de datos y publicaron en revistas marginales. Esto, obviamente, no desprecia el FI del ISI, pero sí hace justicia con la producción científica recogida y evaluada en las citadas bases de datos de impacto no anglosajonas.

    Las leyes de la Cienciometría tienden a cumplirse por igual en cualquier área de conocimiento y en cualquier caso. Significa esto que, por ejemplo, en las citadas bases de datos y en el conjunto de revistas fuente y citadas que se incluyen, encontraremos un núcleo de revistas más visibles y citadas -núcleo de Bradford-, un pequeño número de artículos que se citan entre los miles de artículos citables, la existencia de una mayoría de revistas que nunca serán citadas, o un conjunto de artículos que acumulan más citas de las esperadas.

     Ya contamos, por tanto, con indicadores para evaluar a las revistas. Como indicadores indirectos, tienen utilidad para evaluar a los autores que en ellas publican, pues entenderemos, aunque el razonamiento no deba interpretarse como una extrapolación, que no es lo mismo publicar en una revista con impacto en CUIDEN Citación, que publicar en una revista sin impacto, que nunca ha sido citada y que es invisible porque no hay forma de recuperarla. Otra cosa es que un artículo concreto, publicado en una revista poco visible, sea objetivamente mejor que uno publicado en una revista con repercusión y muy visible. Con el impacto de una revista no podemos hacer esta distinción. Esta es una, entre muchas, de las limitaciones de los indicadores de impacto de las revistas^(1,5). Otras, nos llevan a posturas poco racionales que no se pueden sostener desde la lógica más básica⁽⁵⁾.

    Lo que se hace necesario en el futuro es invertir en el desarrollo de las tecnologías necesarias para calcular el impacto de autor y el impacto de un trabajo⁽⁴⁾ �indicador directo del impacto de un autor-. El impacto de autor se refiere a las citas que ha recibido un autor en sus distintas aportaciones. El impacto de un trabajo refleja las citas que un trabajo concreto ha recibido. En esta línea, la aportación más reciente se la debemos al estudio sobre  �autoría, aislamiento y autores más citados�, realizado por el Grupo de Estudios Documentales⁽⁶⁾. Ambos indicadores tienen carácter relativo y absoluto a un tiempo. Es relativo porque se limita a un conjunto de revistas fuente muy seleccionadas �en CUIDEN Citación, revistas de enfermería del área ligüística del español y del portugués; en la base de datos del IHCD, a las revistas de biomedicina de España-. Es absoluto porque los valores del impacto de autor y de un trabajo se miden tomando la referencia del consumo real que se hace de un autor o de un trabajo en el interior de una comunidad muy seleccionada �es simplemente una extensión de la Ley de Bradford aplicada a las revistas fuente, a las citas y a los autores. Es decir, estos dos indicadores de impacto serían válidos en tanto que miden con exactitud la producción de una comunidad muy delimitada y su consumo en esa comunidad, que es donde se estima tienen influencia. Además eliminan un sesgo importante: el del tiempo, pues el impacto de un autor o de un trabajo debe ser retrospectivo y sin límite de años. Se incluye en la medida de que es citado.

    Para concluir, queda por describir en pocas palabras lo conseguido y lo pendiente: tenemos medios para evaluar nuestra producción científica; se están utilizando para valorar a candidatos; carecemos de instrumentos que midan el impacto de autor y de trabajo; no se puede evaluar a un autor exclusivamente por el número de trabajos publicados, pero tampoco es suficiente con la medida del impacto de las revistas en las que publicó. En el futuro hay que apostar por un triple formato de evaluación: impacto de revista, impacto de autor y de trabajo, y, finalmente, evaluación mediante lectura completa de las aportaciones más sustantivas del candidato. Por tanto, las dimensiones de: visibilidad potencial de un trabajo según la revista en que se publicó; visibilidad real de un trabajo concreto medido con el número de citas recibidas en el futuro; visibilidad real de un candidato tomando como referencia las veces que ha sido referenciado y calidad de la aportación realizada.  

    Como reza un editorial de Gaceta Sanitaria: Mucha gente pequeña, en muchos lugares pequeños, hará cosas pequeñas, que transformarán el mundo⁽⁷⁾.

Bibliografía

1.Camí, J. Impactolatría: diagnóstico y tratamiento. Medicina Clínica 1997;109(13):515-524. [Enlace]

2.RESOLUCION de 18 de octubre de 2005, de la Dirección General de Personal y Desarrollo Profesional del Servicio Andaluz de Salud, por la que se dispone la publicación del Pacto de Mesa Sectorial de Sanidad suscrito entre la Administración Sanitaria de Andalucía- SAS y las organizaciones sindicales CEMSATSE, CC.OO., UGT y CSI-CSIF, sobre sistema selección de personal estatutario temporal para puestos básicos en el Servicio Andaluz de Salud. BOJA nº 211 de octubre de 2005. Pp. 37-61.

3.RESOLUCIÓN de 29 de noviembre de 2005, del Presidente de la Agencia de Calidad, Acreditación y Prospectiva de las Universidades de Madrid, por la que se aprueba la convocatoria de evaluación o informe positivo para la contratación como profesor universitario por las universidades de Madrid y se abre el plazo de presentación de solicitudes BOCM nº 307 de 26 de diciembre de 2005.

4.Bordons, M; Zulueta MA. Evaluación de la actividad científica a través de indicadores bibliométricos. Rev Esp Cardiol 1999; 52: 790-800. [Enlace]

5.Fernández, E; Plasència, A.Contamos contigo. ¿Contamos también con tus citas?. Gac Sanit 2002;16(4):288-90. [Enlace]

6.Gálvez Toro, Alberto; Hueso Montoro, César, Salido Moreno, MP. Autoría, aislamiento y autores más citados. Evidentia 2005 mayo-agosto; 2(5). En: https://www.index-f.com/evidentia/n5/113articulo.php [ISSN: 1697-638X]. [Enlace]

7.Fernández, Esteve. GACETA SANITARIA: nuestra revista para la salud pública local y global. Gac Sanit 2004;18(4):257-259. [Enlace]

Documentos relacionados [Cuiden Evidencia] [Cuidenplus] [Scielo España][Cantarida]

- Gálvez Toro, Alberto; Hueso Montoro, César; Salido Moreno, MP. Envejecimiento de las revistas de enfermería del área lingüística del español y del portugués. Año 2002. Evidentia. 2005 sept-dic. 2(6). Original, artículo/ Estudio descriptivo. [Enlace]

- Serrano Gallardo, Pilar; Giménez Maroto, Ana Mª ; Arroyo Gordo, Mª del Pilar. Análisis de la producción científica publicada en la revista Metas de Enfermería. Index Enferm (Gran). 2005 primavera-verano. Año XIV(48-49):78-82. Original, artículo. [Enlace]

- Gálvez Toro, Alberto; Hueso Montoro, César; Amezcua, Manuel. Revistas internacionales de enfermería: comunidad científica hispanoportuguesa (año 2002). Index Enferm (Gran). 2005 otoño. XIV(50):73-77. Original, artículo. [Enlace]

- Redacción Evidentia. Sobre lo invisible: impacto de las revistas de enfermería. Indicadores CUIDEN de Repercusión. Evidentia. 2004 sept-dic. 1(3). Comentario. [Enlace]

- Gálvez Toro, Alberto; Hueso Montoro, César; Amezcua, Manuel. Indicadores CUIDEN de repercusión de las revistas de enfermería. Index Enferm (Gran). 2004 otoño. XIII(46):76-80. Original, artículo. [Enlace]