Factor de impacto, ¿una solución a la evaluación?


Primero un artículo que me encontre en El Universal.

Científicos ‘maquilan’ artículos

El número de textos publicados en revistas especializadas y en el extranjero determina el ingreso, ascenso o permanencia en el SNI

Ricardo Cerón
El Universal
Miércoles 22 de agosto de 2007

Tomar como principal requisito el número de artículos publicados para poder ingresar, permanecer o ascender dentro del Sistema Nacional de Investigadores, ha propiciado que buena parte de los 13 mil 481 científicos mexicanos miembros del SNI, publiquen en revistas sin impacto.

Bajo esos criterios de evaluación en México, donde pasa a segundo término la divulgación o vinculación científica, grandes científicos mundiales, como el inglés Frederick Sanger, dos veces ganador del premio Nobel (quien publicó sólo 17 artículos en su carrera), no habría pasado del nivel I, el más bajo de la clasificación.

En contraparte, el número de artículos anuales de científicos mexicanos que aparecen en las revistas de mayor prestigio como Science y Nature, es de alrededor de una docena.

Eso ha provocado que varios científicos se quejen de que el SNI no haga una diferenciación entre publicar en una revista excelente, buena, regular y mala, lo único que interesa es que se encuentre dentro del Social Science Citation Index, un índice internacional de revistas científicas que aglutina unas siete mil en todo el mundo, donde la gran mayoría son en inglés.

Humberto Terrones, adscrito al Instituto Potosino de Investigación Científica y Tecnológica (IPICyT), explica que si bien es importante que el SNI se preocupe porque se publique, “también debe incentivar a que se haga en las revistas de más alto parámetro y calidad en el mundo”.

Para Esther Orozco, titular del Instituto de Ciencia y Tecnología del Distrito Federal, un “artículo puede tener gran calidad independientemente de donde aparezca, pero es claro que para publicar en revistas de primer nivel como Science y Nature, el trabajo debe ser impecable, por lo que no se puede calificar igual”.

Revistas de escaso impacto

La calidad de las publicaciones científicas se puede obtener a partir de su factor de impacto, es decir, la media de veces que en un año determinado fueron citados los artículos publicados por esta revista en los dos años anteriores.

De esa forma, Science, Nature, Lancet o Cell tienen un factor de impacto de alrededor de 30, es decir, cada artículo que aparece en esas revistas es citado por otros investigadores unas 30 veces en promedio, lo que los vuelve una referencia mundial.

Sin embargo, dentro de las revistas en las que más publica la comunidad científica mexicana (ver recuadro), se observa que la mayoría tiene un nivel de impacto inferior a 3.

Incluso las publicaciones donde aparecen más seguido artículos de mexicanos en áreas como las matemáticas, ciencias de la tierra, biología, agronomía, veterinaria e ingeniería civil, tienen un factor de impacto inferior a 1. En contraparte, los científicos mexicanos en áreas como la medicina, fisiología y astronomía, publican sus artículos en revistas con un factor de impacto mayor de 4 y en algunos casos hasta 12.

A pesar de las críticas, Luis Mier y Terán Casanueva, director general del SNI, asegura que los comités evaluadores de este sistema, sí toman en cuenta los artículos publicados en revistas de gran prestigio y no les dan la misma calificación que el resto de las publicaciones del Index. Sin embargo, en los estatutos del SNI no se hace una diferencia, por lo que todo queda a criterio de los comités evaluadores.

Es cierto que el SNI está chueco, también es muy cierto que no se puede evaluar un trabajo de un investigador por el número de artículos publicados, ¿pero la solución es pesar los artículos?.

En matemáticas es muy común que los artículos sean muy técnicos y que un número muy limitado de personas se interesen en ellos, no por ello son menos importantes que la estadística de enfermos de cáncer pulmonar en la ciudad de México.

Otro problema es que una revista con poca circulación no puede tener un gran factor aún cuando su calidad sea muy buena.

Al haber problema de ‘maquila’ de artículos es muy común las auto-citas, esto no contempla el factor impacto.

La verdad es que yo creo que es difícil evaluar un trabajo como la investigación. ¿Cómo saber que esa teoría perdida renacerá con fuerza en 5 años?, ¿cómo desechar un trabajo por ‘malo’?, todas estas son preguntas que se tiene que analizar y en su caso buscar una solución. Si bien no es bueno el método de evaluar del SNI tampoco pesar los artículos se ve que sea una solución.

Por último quiero poner, lo que según la Wikipedia, son los malos usos del factor de impacto.

Misuse of impact factor

  • Academic reviewers involved in programmatic evaluations, particularly those for doctoral degree granting institutions, often turn to ISI’s proprietary IF listing of journals in determining scholarly output. This builds in a bias which automatically undervalues some types of research and distorts the total contribution each faculty member makes.
  • The absolute value of an impact factor is meaningless. A journal with an IF of 2 would not be very impressive in Microbiology, while it would in Oceanography. Such values are nonetheless sometimes advertised by scientific publishers.
  • The comparison of impact factors between different fields is invalid. Yet such comparisons have been widely used for the evaluation of not merely journals, but of scientists and of university departments. It is not possible to say, for example, that a department whose publications have an average IF below 2 is low-level. This would not make sense for Mechanical Engineering, where only two review journals attain such a value.
  • Outside the sciences, impact factors are relevant for fields that have a similar publication pattern to the sciences (such as economics), where research publications are almost always journal articles, that cite other journal articles. They are not relevant for literature, where the most important publications are books citing other books. Therefore, ISI does not publish a JCR for the humanities.
  • Even in the sciences, it is not fully relevant to fields, such as some in engineering, where the principal scientific output is conference proceedings , technical reports, and patents.
  • Since only the ISI database journals are used, it undercounts the number of citations from journals in less-developed countries, and less-universal languages.
  • Even though in practice they are applied this way, impact factors cannot correctly be the only thing to be considered by libraries in selecting journals. The local usefulness of the journal is at least equally important, as is whether or not an institution’s faculty member is editor of the journal or on its editorial review board.

Fuente: Científicos ‘maquilan’ artículos – El Universal (22/ago/07)

2 Respuestas a “Factor de impacto, ¿una solución a la evaluación?

  1. Estoy muy de a cuerdo con tu comentario. Yo conozco personalmente al Dr. Terrones a quien considero uno de los SNI III que realmente merecen el SNI III. Creo que tiene mucha razón en su comentario ahora la pregunta es como implementar lo que dice wikipedia y lo que dice el Dr. Terrones?. Por ejemplo, hay mucha gente que dice que publicar un JACS es tan bueno como un Science o un Nature la razón es que la mayoría de papers que debido al limitado espacio en las dos revistas anteriores tienen que rechazar un numero grande de papers que en muchas ocasiones ni siquiera revisan. Entonces se tienen que mandar esos papers a otras revistas que no son de la calidad de Science o Nature pero simplemente estas dos revistas no pueden publicar todo lo que les llega. Obvio, JACS es también una super revista pero tiene un factor de impacto ~5-6 veces menor a Science o Nature. Por ejemplo, si tienes un paper que relaciona desgaste, puede ser muy bueno pero la revista con el mejor factor de impacto en esa área (WEAR) tiene 1.18 de factor de impacto entonces o lo publicas en esa o en una peor. Lo triste es que muchos investigadores prefieres pasearse y terminar publicando en congresos porque ahí SIEMPRE les aceptan los papers. En particular en revistas como la Materials Forum donde la gente manda trabajos para irse a pasear, perdón a la conferencia, y les publican sus trabajos y esta dentro del ISI.

    Ahora, ¿que pasa en otra áreas? Como bien se menciona en algunas áreas (estadística, matemáticas o incluso física) el factor de impacto de las revistas es mucho menor que Science o Nature. Y el nivel de revista es muy bueno, pero a lo mejor no son de cultura general como estas otras dos. Entonces, lo que yo creo (aunque no se si tenga razón) es que se debe de contemplar en CADA área el 25-30 % de las revistas con el más alto factor de impacto con un nivel y el resto de las revistas con otro nivel. De hecho ISI tiene divisiones por áreas y claramente se puede ver cual es la mejor revista en cada área. Publicar en revistas que están dentro de “25-30%” de las mejores creo que es lo importante, poniendo un poco a lado el factor de impacto general. Eso promueve que la gente se esfuerce por publicar papers en revistas de mayor nivel.

    Por otro lado, creo que en ves de fijarse en el numero de publicaciones que tienen los diferentes investigadores; se debería de tomar mas en cuenta cuanta gente titulan. Pero mas importante, en cuanto tiempo la titulan. Es inconcebible que haya alumnos de maestría por más de 4 años o de doctorado que tarden en promedio 6-7 años. Creo que ese es el mayor problema de CONACyT que no fomente titular a la gente lo más pronto posible. A veces creo que es en contra de tu currículo titular gente porque mientras menos alumnos tienes menos acceso al dinero tienes.

  2. Puedo vivir con eso…

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s