ENTRAR            

EDITORIALES

¿Para qué sirve el Indice de Impacto de una revista?

Manuel Amezcua
Grupo de Estudios Documentales, Fundación Index

Index de Enfermería [Index Enferm] 2010; 19(2-3): 83-87

Cómo citar este documento

    Lo más sencillo sería afirmar que el impacto de las revistas científicas sirve para volver locos a autores, a editores, a evaluadores, y a todo aquel que tenga alguna relación con la ciencia, incluidos los numerosos profesionales que son evaluados en base a un concepto que a muchos resulta difícil de comprender. Pero todo es mucho más complejo. Los Indices de Impacto (II) son indicadores bibliométricos que pretenden clasificar las revistas en función de su repercusión en la comunidad científica. Y ello lo hacen midiendo el número de citas que reciben los artículos durante un periodo determinado de tiempo o a partir de su publicación [ver Cuadro 1]. La bibliometría está considerada un área de conocimiento dentro de las Ciencias Documentales, o más bien es una parte de la Cienciometría, y por tanto las operaciones que realiza gozan de la credibilidad inherente a los métodos matemáticos y estadísticos. Pero la utilización que se hace de ella está mediatizada, no por razonamientos científicos, sino por imperativos sociales. Por las políticas de gestión del conocimiento, que varían de unos territorios a otros y que se modifican con el tiempo.
    Aprovechando que Index de Enfermería publica en este número los resultados del último periodo analizado por Cuiden Citación,¹ aprovecho la oportunidad para proponer algunos elementos de reflexión sobre el papel que vienen desempeñando los II en la evaluación del conocimiento. El asunto es particularmente importante en unos momentos de eclosión de programas de formación superior en enfermería, lo que plantea la necesidad de una revisión ético-crítica del concepto de evaluación desde una racionalidad práctica que se separa de los aspectos positivistas y utilitaristas.²
    Nótese que para mayor abundamiento hablo de "Indices de Impacto", y no de "Factor de Impacto" (FI), como suele ser habitual. La sola mención de esta expresión me produce pavor, desde que en el año 2004 la empresa Thomson Scientific recordó a la Fundación Index de forma amenazante que Factor de Impacto (Impact Factor) es una denominación de su propiedad, y que por tanto, nadie sino la compañía estadounidense puede utilizarla sin incurrir en la ilegalidad. Y lo que es peor, nadie sino su firma puede calcularlo ni consultarlo sin mediar regalías.³ El FI dejó de producirse hace años por el Institute for Scientific Information (ISI) de Garfiel,⁴ hoy lo hace una empresa altamente lucrativa que no desperdicia sus oportunidades de negocio. La consideración del conocimiento como bien común ha dejado de tener sentido para convertirse en materia mercantil. Por otra parte, el FI, que en otros índices adopta diferentes denominaciones, no deja de ser uno entre otros indicadores posibles para medir la repercusión de las revistas.
    A tenor de lo mucho que se ha escrito al respecto, el FI (siempre me referiré al de Thomson Scientific), después de reconocer lo mucho que viene aportando como instrumento de evaluación del conocimiento a nivel global, representa todas las perversiones a las que puede dar lugar el uso excesivo y dudosamente científico que vienen haciendo de los indicadores bibliométricos algunas agencias de evaluación.^5,6 Una especie de talibanes de la ciencia instalados en el dogmatismo más seco, probablemente aquejados de una enfermedad aguda que sabiamente Camí ha descrito como impactolatría.⁷ Ellos fueron los que instauraron y mantienen la costumbre de evaluar la calidad de las publicaciones a través de un indicador tan indirecto como el Impacto, a pesar de las advertencias de Garfiel, a quien se tiene por su inventor.⁴ Son muchos los autores que vienen alertando sobre el daño irreparable que puede producir un uso inadecuado de los II, invisibilizando una parte importante del conocimiento, produciendo su fuga hacia espacios donde no es útil, alterando las motivaciones de los autores y editores, desmotivando a los investigadores y, en suma, empobreciendo la ciencia.^5-9 El martillo, otro instrumento generador de impacto, es eficacísimo en los múltiples usos domésticos e industriales para el que es concebido, hasta que un desaprensivo lo utiliza contra la cabeza de una criatura a la que deja sin vida de forma fulminante.

Medir, sólo medir

    En la definición que dábamos al principio de los II introducíamos dos conceptos complejos: repercusión y comunidad científica. Es al concretar estos términos donde surgen los problemas.
    La repercusión o visibilidad se calcula a partir del número de referencias bibliográficas citadas por otras revistas y por sí mismas en los artículos que publican. El resultado del análisis variará sustancialmente si una revista es analizada (revista fuente, emisora y receptora de citas) o no (revista citada, receptora de citas). Cuando una revista es analizada tiene mayores probabilidades de incrementar su impacto, pues cabe esperar un discreto porcentaje de autocitación que de otra forma perdería. A su vez incrementa el impacto de las revistas que le son afines en su área de conocimiento, a las que suele citar. La selección de revistas siempre resulta un elemento polémico, que solo conforta a quienes resultan seleccionados. Los productores de II raramente aportan información objetiva y verificable sobre el proceso de selección, lo cual favorece su posición de poder.¹⁰
    El de comunidad científica es el otro concepto polémico. Por general que sea, toda revista es encuadrable en un área de conocimiento que vendrá determinada principalmente por la disciplina y la especialidad de referencia, y lo que puede resultar más chocante, por el idioma y el área geográfica donde se ubica. Eso significa que la cuando hablamos de Comunidad Científica no nos estamos refiriendo a algo uniforme y concentrado, sino que ésta se vertebra en comunidades de conocimiento más reducidas, diversas y heterogéneas, aunque con una gran capacidad de transferencia de saberes entre unas y otras.³
    Cabe esperar que una revista de enfermería obtenga mayor impacto si es analizada junto con otras revistas de enfermería, más que si lo es junto a revistas médicas. Esto es porque las enfermeras tienden a leer y citar lo que otras enfermeras publican.¹¹ Y por ende, las enfermeras geriátricas tienden a leer y citar lo que otras enfermeras geriátricas producen. Las enfermeras anglosajonas tienden a citarse entre ellas, mientras que las enfermeras brasileñas citan principalmente los artículos que publican las revistas de su país.¹² Extiéndanse estas afirmaciones a cualesquier otras disciplinas y territorios.
    En la ciencia, todos los grupos socialmente definidos tienden a citarse endogámicamente. Aunque esto se produce con diversa intensidad: el conocimiento proveniente de las ciencias básicas fluye de forma más universal que el de las ciencias aplicadas, igual ocurre con las ciencias biomédicas y en general las ligadas a las tecnologías en relación con las ciencias sociales y las humanidades. Analizar la ciencia como una sola cosa nos ha de llevar a desajustes inevitables, favoreciendo los sectores socialmente hegemónicos en detrimento del resto, que quedaría relegado a posiciones marginales. La enfermería iberoamericana es doblemente marginada por la ciencia hegemónica: por ser enfermería y por no expresarse en inglés.¹³

¿Constatación o especulación?

    Algunas agencias evaluadoras hacen ciertamente un uso perverso de los II, que se aparta de los fines para los que en origen se diseñaron: para medir la visibilidad de las revistas. Cuando el FI es utilizado para evaluar la calidad de la producción de los investigadores, grupos o instituciones, se hace apoyándose en presupuestos sin consistencia científica: que las revistas con mayor impacto publican los mejores artículos, que el valor de un artículo es igual al valor de la revista en la que se publica, que el mérito de un autor puede determinarse a partir del valor acumulado de las revistas donde publica, entre otros. Por ende, hay que obviar algunas realidades objetivamente constatables: que hay áreas de conocimiento tan minoritarias que nunca podrán generar un impacto elevado, y a pesar de todo son socialmente necesarias; que hay artículos no citados en revistas con alto impacto; que hay revistas ampliamente utilizadas que no aparecen en los repertorios de revistas con impacto; que hay autores raramente citados que acumulan valores de impacto importantes; y por el contrario que hay autores muy citados que no publican en revistas con impacto; entre otros.⁷
    Para determinar la calidad de un artículo o la importancia de la trayectoria de un autor o grupo de investigadores hay procedimientos más idóneos que el método indirecto del impacto de la revista: la medida de las citas recibidas por un autor, el tamaño de su producción, la evaluación por pares de sus aportaciones o evaluación cualitativa y, cobrando cada vez más peso, el factor h (h-index de Hisrch) o impacto de autor.^14,15 ¿Por qué muchas agencias evaluadoras optan por utilizar los II a pesar de sus limitaciones? Posiblemente por la comodidad que supone delegar esta responsabilidad en instrumentos foráneos que se pueden adquirir. El Ministerio de Ciencia e Innovación español gestiona la licencia nacional de la Web of Knowledge (WOK) de Thomson Scientific. Consecuentemente en las administraciones públicas españolas se utiliza el FI como criterio dominante e incluso único para evaluar las publicaciones, aunque esto produzca algunas situaciones paradójicas. El Instituto de Salud Carlos III, dependiente de dicho ministerio, realiza múltiples acciones de fomento del conocimiento, entre ellas el sostenimiento de la Biblioteca Nacional en Salud, que desarrolla proyectos de la importancia del Índice Bibliográfico Español en Ciencias de la Salud (IBECS) o el repertorio Scielo España; pues bien, ninguno de ellos son utilizados como criterios de valoración en las convocatorias a redes cooperativas de investigación, que son las más importantes, mientras que sí lo es el FI. La ausencia de grupos de investigación de enfermería independientes en estas modalidades se explica en buena parte por este criterio restrictivo, que no es coherente con el nivel de producción científica de las enfermeras españolas.
    Tras la sacralización del FI por parte de algunas agencias evaluadoras¹⁶ subyace un problema más profundo: las administraciones que las sustentan muestran una falta de confianza en las posibilidades de sus investigadores, apostando solo por aquellos que logran posicionarse mejor en el panorama internacional, o sea, por los que "triunfan". Una posición dogmática e inmovilista que inutiliza toda iniciativa innovadora que intente modular o corregir los efectos excluyentes del FI. Su pregunta no es ¿cuánto y qué es lo mejor que producen nuestros investigadores?, lo que les llevaría a realizar evaluaciones cuanti-cualitativas, que a su vez les aportaría una información muy valiosa para promover acciones de mejora en su tejido investigador. El interrogante, mucho más simple y sencillo de responder es ¿qué artículos de nuestro país aparecen en las revistas con mayor FI de Thomson Scientific? Una simple consulta en el Journal Citation Report (JCR) resuelve el problema. Se da por supuesto que toda la producción no incluida en este repertorio es producción defectuosa y sin ningún valor y por tanto desechable, como lo serían todas las revistas que la sustentan.
    Evidentemente hay modelos alternativos, más flexibles y constructivos en sus planteamientos. La CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, Brasil) utiliza criterios QUALIS para clasificar las revistas científicas utilizadas por los investigadores y académicos brasileños, que son consensuados por grupos disciplinares de manera cooperativa (CA-EF en el caso de Enfermería).¹⁷ La pregunta aquí es bien diferente: ¿qué instrumentos de gestión del conocimiento hay disponibles que permitan evaluar la producción científica de Brasil? Para responderla es necesario explorar todas las bases de datos, índices de citas y otras fuentes disponibles, de forma que permite clasificar (no seleccionar) jerárquicamente las revistas en función de su visibilidad. La minoría de revistas con FI son las mejor clasificadas, pero no son excluidas las demás.¹⁸ Esta visualización de conjunto aporta una información muy valiosa para sustentar acciones de fomento de la investigación, será por ello, que en la actualidad y en el campo de la enfermería son revistas brasileñas las únicas publicadas en idioma no inglés que han logrado ser analizadas en el Science Citation Index (SCI).¹⁸

Dejar de ser, para parecer algo

    Siempre me ha llamado la atención el conformismo que muestran una buena parte de los investigadores ante el uso desvirtuado del FI. Las aportaciones de Camí y otros críticos no han logrado desembocar en respuestas de cuestionamiento ante un sistema de evaluación tenido por defectuoso.^5-9 El argumentario de la impactolatría ha quedado relegado a conversaciones informales, a instalarse en el limbo de las visiones alternativas, tan ocurrentes como poco operativas, mientras que investigadores y académicos se afanan en lograr por todos los medios publicar en revistas incluidas en los índices del JCR para incrementar sus méritos curriculares. Aunque para hacerlo sea necesario renunciar a la natural tendencia a hacer útil el conocimiento allí donde se genera. El pragmatismo domina al sentido común y traza un camino pleno de renuncias con tal que un trabajo sea valorado: renunciar al propio idioma, a revistas cercadas disciplinar y geográficamente, a que el trabajo sea citado, a que pueda ser ampliamente utilizado en el medio donde se realizó, y lo que es peor, a que los ciudadanos se beneficien de un producto que fue financiado seguramente con sus impuestos. A decir verdad, sólo una minoría queda atrapada por la quimera del FI, y gracias a la cordura de la mayor parte de investigadores se publican con normalidad las revistas excluidas, que son mayoría, o todas en el caso de la enfermería española.
    No es frecuente encontrar críticas a los modelos alternativos que intentan aportar visiones complementarias en la evaluación del conocimiento, siendo más bien que se contemplan como una esperanzadora oportunidad para compensar los efectos perversos del FI. Por ello resulta especialmente llamativa la realizada recientemente desde la Unidad de Coordinación y Desarrollo de la Investigación en Enfermería Investén-isciii (Instituto de Salud Carlos III, España), que al querer sumarse a la corriente crítica del FI, no logra más que legitimarlo frente a sus alternativas. La que más perjudicada sale es Cuiden Citación, el índice de citas producido por la Fundación Index,¹⁹ cuya validez científica pone en cuestionamiento.²⁰ Por otra parte es bien conocida la rivalidad que Investén-isciii mantiene hacia las actividades de la Fundación Index, otra paradoja, pues a tenor de su misión sería esperable una respuesta contraria, basada en la cooperación y el apoyo mutuo (así lo viene realizando el propio Instituto de Salud Carlos III a través de otras iniciativas). En este caso se da la circunstancia que la directora de Enfermería Clínica, revista que publica el artículo, es también responsable de Investén-isciii, tal vez por ello la única autora del artículo utiliza el plural al declarar que no tienen conflicto de intereses.²⁰
    El Grupo de Estudios Documentales de la Fundación Index ha publicado más de medio centenar de artículos relacionados con análisis bibliométricos en enfermería en los que explica con todo detalle su modelo de análisis (listado disponible en /bibliometria/inicio.php), una buena parte de ellos en la única revista de enfermería conocida que se declara especializada en investigación documental (Index de Enfermería, Información Bibliográfica, Investigación y Humanidades). Ninguno de ellos es citado por la autora del artículo, que afirma de los II propuestos por la Fundación Index (nunca menciona la denominación Cuiden Citación) no estar sometidos "al juicio de la comunidad científica".²⁰ Otro ejemplo de manipulación del polémico concepto de comunidad científica, que en su arrogancia, Investén-isciii confunde consigo mismo. Lo cierto es que los II de la Fundación Index se realizaron mediante un proyecto de investigación financiado por el Fondo de Investigación Sanitaria del Instituto de Salud Carlos III,²¹ que había obtenido por concurrencia competitiva en el año 2003, y por tanto previa evaluación por expertos. El resto de afirmaciones que la autora realiza en su comparación de Cuiden Citación con el FI de Thomson Scientific (tiene los mismos vicios, no considera autocitas, etc) no hacen más de reafirmar el profundo desconocimiento que posee de esta herramienta y lo publicado sobre ella.^19,22 Otros autores con amplia experiencia en el campo de la evaluación científica enfermera han considerado Cuiden Citación "destacable" por su capacidad para informar sobre la visibilidad de las revistas de enfermería en Iberoamérica.¹⁸
    Tampoco es cierto que los II de la Fundación Index sean utilizados solo por las autoridades andaluzas (comunidad autónoma donde radica la Fundación Index), sino que un número creciente de organismos públicos y universidades de Europa y de Iberoamérica, entre ellos la mencionada CAPES/QUALIS, incorporan con normalidad Cuiden Citación como fuente válida de evaluación, promoviendo su utilización por los profesionales a través de suscripciones colectivas o convenios de colaboración (en la actualidad más de una treintena de centros conforman la Red Internacional de Centros Colaboradores de la Fundación Index, ver relación en /colabor.php). A lo que sí me sumo sin reservas es al anhelo expresado por la componente de Investén-isciii de que surja como por generación espontánea un indicador omnipotente que todo lo mida y todo lo valore con objetividad suprema.²⁰ Pero mientras esto ocurre, la Fundación Index continuará esforzándose en refinar lo más posible unos indicadores, los de impacto, que cuando se aplican a un campo concreto como es la enfermería iberoamericana, tienen la propiedad de hacer visible lo que la ciencia hegemónica invisibiliza. Del uso, o del no uso, que hagan las entidades evaluadoras y teóricamente promotoras del conocimiento no nos podemos hacer responsables.

Aumentar el impacto ¿a costa de la calidad?

    Los II no sólo despiertan expectativas y discrepancias entre organismos evaluadores e investigadores, también los editores forman parte del debate. La posición en los II determina la credibilidad de la revista, influyendo sobre cuestiones tan importantes como los flujos de manuscritos e incluso las suscripciones. Si la tendencia continúa, en poco tiempo cambiará el modus operandi de los equipos editoriales, que prestarán más atención a las pautas de citación que a la calidad de los manuscritos. Los editores saben que aunque básicamente la generación de citas depende de los autores y su recuento de las productoras de II, ellos también tienen capacidad para alterar el resultado final. De hecho se sabe que hay autores y artículos más citados que otros. Algunos editores han cambiado sustancialmente las políticas editoriales con el objeto de potenciar el impacto de la revista: menos casos clínicos, más cartas al editor, más revisiones, más originales con estudios aleatorizados, más estudios financiados por la industria o realizados por grupos cooperativos, más "artículos calientes", etc.²³
    Algunas intervenciones editoriales logran un efecto tan evidente que producen una verdadera anomalía en la tendencia normal de citación. Un caso reciente es el de la Revista Enfermagem UERJ (Universidade do Estado do Rio de Janeiro, Brasil), que ha pasado de una RIC de 0,2375 en 2006 a 1,7647 en 2008, o lo que es lo mismo, ha multiplicado por 7 su impacto, pasando de un discreto puesto 21/32 en 2006 a un 1/31 en 2008, siendo por tanto la revista de enfermería con mayor impacto en Iberoamérica. El vertiginoso ascenso se ha producido a costa de las autocitas, que en el último periodo analizado alcanza el 71,98% frente a una media de 38,66%.¹ La promoción de la autocita es la estrategia más simple y eficaz que tienen los editores para aumentar el impacto. Así lo ha entendido la editora de la mencionada revista, Enfermería Clínica, que a propósito del artículo referenciado y bajo el lema "A favor o en contra del Factor de Impacto ¡¡¡¡Llenemos EC de cartas al director!!!!" (sic) ha orquestado una campaña de captación de cartas al editor que promete publicar próximamente, dando incluso partes periódicos sobre el volumen de colaboraciones recibidas (seis al cierre de este número). Sin duda resultará de interés analizar en su momento el efecto que esta medida produce en el impacto de la revista.
    Pero no hay que entender que la lógica preocupación de los editores por incrementar el impacto de sus revistas haya de traducirse necesariamente en conductas dudosamente éticas. Todo lo contrario. Las consultas que el GED recibe atestiguan que la mayor parte de ellos desean optimizar sus revistas para mejorar los resultados bibliométricos, pero siempre desde la honestidad, huyendo de la competencia desleal. Un análisis cualitativo de los indicadores publicados por el GED permite visualizar que las estrategias basadas en la cooperación son mucho más efectivas que competir entre editores. El que una revista se publique en entornos cooperativos como Cantárida, o en plataformas de acceso libre como Scielo, que incorporan motores de búsqueda integrados, garantizan el aumento de la visibilidad de la revista. Que ha de sumarse a una preocupación por la adecuada gestión de los procesos editoriales,²⁴ basada en la búsqueda de la excelencia en los artículos.

También un impacto solidario

    Seamos claros: el impacto de una revista no sirve para la mayoría de utilidades que se le suele dar. Solo sirve para conocer la visibilidad de las revistas, que no es poco, pero no para determinar la calidad de los artículos ni mucho menos la importancia de los autores. La ciencia tiene cosas más importantes en las que pensar, entre otras en aumentar el ritmo de crecimiento del conocimiento, en distribuirlo con equidad, en que sea transferido a la sociedad, en que sea capaz de resolver los problemas para los que fue generado, en que su alto coste sea traducido en niveles de bienestar de la ciudadanía. Como investigador, me gustaría ser evaluado con criterios que hagan visible mi contribución a estos fines, pero en mi curriculum no se me pide que informe de nada de ello. Las publicaciones y las patentes parecen ser la mayor preocupación de quienes deciden los recursos.
    Convertir el Impacto de las revistas en un fin por sí mismo es probablemente el mayor disparate que los gestores del conocimiento estamos cometiendo, aunque no el único. Se ha desvirtuado el sentido científico del instrumento y se ha incorporado una utilidad social que ha convertido el Indice de Impacto en un bien hartamente deseado por autores y editores: para unos determina su carrera profesional, para otros la elección de publicar. Y si el impacto se ha convertido en un bien tan preciado como los recursos para investigar, lo lógico sería buscarlo allí donde se encuentre y no reducirlo artificialmente para beneficio de una élite. Guste o no, al día de hoy el impacto de las publicaciones es analizado desde diversidad de perspectivas que son complementarias: en relación con la ciencia a nivel global, en relación con un país, en relación con una disciplina o área de conocimiento, en relación con un área geográfico-cultural, etc. Los organismos evaluadores deberían comenzar evaluando objetivamente la coherencia entre los resultados proporcionados por los diferentes productores de II, y una vez aceptados, utilizar positivamente la diversidad de perspectivas que realizan los distintos instrumentos disponibles. De esta forma aumentaría el volumen de impacto circulante y sería distribuido con mayor equidad. Si lo hacen, el impacto dejará de ser un bien escaso para convertirse en un recurso más en la búsqueda de la excelencia investigadora.
    Quisiera ilustrar esta reflexión final con un cuento. Érase una joven madre, viuda y pobre, golpeando la puerta de una ciudadela donde se celebraba una gran fiesta con derroche de provisiones y abundancia de alimentos. ¡Dadme al menos las sobras que echáis a los perros!, suplicaba mientras sostenía a sus tres hijos pequeñitos. ¡Marchaos!, gritaban los esbirros que guardaban la puerta, empujándole con malos modos. Tanto suplicó y tan obstinada se mostró aquella campesina que el señor feudal terminó asomándose por la almena para saber del alboroto: ¡Es verdad, mujer! -exclamó con ostentación y vanagloria-, aquí hay alimentos de sobra para satisfacer vuestra hambre y la de vuestros hijos. Pero hay un problema: para comerlos es necesario estar dentro, y vos estáis fuera. Y se marchó con una estrepitosa carcajada.
    [No se desanime el lector, aquella madre encontró cerca una ONG que le dio leche, pan y aceite. Sus hijos crecieron y se multiplicaron, y en poco tiempo todo el valle se pobló de gente fuerte y trabajadora que le dieron prosperidad. Los del castillo, como ya no había guerras, continuaron celebrando fiestas y derrochando el fruto del diezmo que los campesinos pagaban. Era digno de ver los otrora aguerridos caballeros, ahora obesos y cargados de achaques, esperando a los recaudadores para apaciguar sus adicciones].

Bibliografía

1. Jerez Fonseca, Lady Catalina; Montoya Sanabria, Sandra Milena. Impacto y repercusión de 37 revistas de Enfermería del Espacio Científico Iberoamericano. Año 2008. Index de Enfermería 2010; 19(2-3): 221-225.
2. Granero Molina, José; Fernández Sola, Cayetano; Aguilera Manrique, Gabriel. Evaluación frente a calificación en el nuevo Espacio Europeo de Educación Superior (EEES), una reflexión ético-crítica. Index de Enfermería 2010; 19(1): 37-41.
3. Amezcua, Manuel. Index y la construcción de una Comunidad de Conocimiento Abierta. Index de Enfermería 2007; XVI(58):7-10.
4. Garfield E. The history and meaning of the journal impact factor. JAMA 2006; 295:90-93.
5. Amin M, Mabe M. Impact factors: use and abuse. Medicina 2003; 63:347-54.
6. López Piñero JM, Terrada ML. Los indicadores bibliométricos y la evaluación de la actividad médico-científica. (I) Usos y abusos de la bibliometría. Medicina Clínica 1992; 98:64-68.
7. Camí J. Impactolatría: diagnóstico y tratamiento. Med Clin 1997; 109(13):515-524.
8. López Alonso, Sergio R; Martínez Ques, Ángel A; Quesada Ramos, Cristina. Investigar en cuidados con o sin barreras. Rev Adm Sanit. 2008; 6(4): 673-80.
9. Rizo, MM. Debemos defender nuestras revistas científicas. Index de Enfermería 2010; 19(1): 69-70.
10. Rossner, Mike; Van Epps, Heather; Hill, Emma. Show me the data. The Journal of Cell Biology, 2007; 179(6):1091-1092.
11. Gálvez Toro, Alberto; Amezcua, Manuel; Salido Moreno, Mª Paz; Hueso Montoro, César. Repercusión e impacto de las revistas de enfermería del espacio científico iberoamericano. Año 2006. Index de Enfermería 2007; XVI(57):83-86.
12. Soãres de Lima, Suzinara Beatriz; Leite, Joséte Luzia; Prochnow, Adelina Giacomelli; Pradebon, Vânia Marta; Garcia, Vera Regina Lima; Soãres de Lima, Ana Cláudia. La Calidad en los Servicios de Salud en Brasil: Una revisión bibliográfica del período 1988-2006. Index de Enfermería 2009; 18(3):214-218.
13. Gálvez Toro A. El español proscrito. Evidentia. 2007 may-jun; 4(15). Disponible en: /evidentia/n15/343articulo.php [consultado 18.08.2010].
14. Gálvez Toro, Alberto; Amezcua, Manuel. El factor h de Hirsch: the h-index. Una actualización sobre los métodos de evaluación de los autores y sus aportaciones en publicaciones científicas. Index de Enfermería, 2006; 55: 38-43.
15. Gálvez Toro A, Amezcua M, Salido Moreno MP, Hueso Montoro C. Impacto de Autor CUIDEN Citación. Trayectorias científicas relevantes y excelencia a través del Factor h (h-index) de Hirsch en el espacio científico iberoamericano. Index de Enfermería 2006; XV(55): 76-82.
16. Gálvez Toro, Alberto. El poder de una cita. Desarrollo Científ Enferm 2006. 14(7):243-244.
17. Souza EP, Paula MCS. Qualis: a base de qualificação dos periódicos científicos utilizada na avaliação CAPES. InfoCAPES 2002; 10(2):7-25.
18. Erdmann AL, Marziale MHP, Pedreira MLG, Lana FCF, Pagliuca LMF, Padilha MI, Fernandes JD. Evaluation of scientific periodicals and the brazilian production of nursing articles. Rev Latino-am Enfermagem 2009 maio-junho; 17(3):403-9.
19. Gálvez Toro A, Amezcua M, Hueso Montoro C. CUIDEN Citación y la valoración de las publicaciones científicas enfermeras. Index de Enfermería 2005; 51:7-9.
20. Contreras-Moreira, Mónica. El factor de impacto: ¿un criterio justo de excelencia investigadora en enfermería? Enferm Clin 2010;20(3):186-191.
21. Amezcua Martínez, Manuel; Gálvez Toro, Alberto; Cuesta de la Rosa, Rosa; Heierle Valero, Cristina; Poyatos Huertas, Encarnación. La Pequeña Ciencia. Producción, Repercusión y Transferencia del Conocimiento. La Enfermería del Área Lingüística del Español y del Portugués. PI03/0945. Biblioteca Lascasas. 2006. 2 (2). Disponible en: /lascasas/documentos/lc0139.php [consultado 18.08.2010].
22. Gálvez Toro, Alberto; Hueso Montoro, César; Amezcua, Manuel. Indicadores CUIDEN de repercusión de las revistas de enfermería del área lingüística del español y del portugués. Index de Enfermería 2004; XIII(46):76-80.
23. Matías-Guiu J, García-Ramos R. El factor de impacto y las decisiones editoriales. Neurología 2008;23(6):342-348.
24. Piqué Angordans, Jordi; Camaño Puig, Ramón. La investigación en enfermería y la revisión por expertos. Index de Enfermería 2008; 17(3): 222-226.