24 de octubre de 2016

México -> Inconsistencias de Conacyt: el nuevo sistema de clasificación de revistas incluye revistas no científicas y sin revisión por pares (Capítulo III).

La revista Artes de México debe ser inmediatamente retirada, ya que no es una revista científico-académica y no tiene proceso de revisión por pares.

Recibí respuesta a mi crítica al Conacyt por parte de Atilio Bustos (Grupo Scimago). ¡Bienvenido el debate!

La respuesta es larga e inteligente, como correspondería a Atilio; se compone de cuatro partes: 1. Muestra la relevancia de Artes de México. 2. Muestra inconsistencias de Redalyc. 3. Habla de la supuesta idoneidad de WoS o Scopus para seleccionar revistas. 4. Enumera las indiscutibles credenciales académicas del Grupo Scimago.

Vamos por partes y veamos el fondo del asunto -no nos distraigamos-.

Mi afirmación central y título fue: Inconsistencias de Conacyt: el nuevo sistema de clasificación de revistas incluye revistas no científicas y sin revisión por pares.

La revista Artes de México debe retirarse inmediatamente por no ser una revista científico-académica y por no contar con revisión por pares (incumplir otros criterios puede ser importante, pero no determinante para el asunto). El punto nodal es -repito- la revista Artes de México no tiene un proceso de revisión por pares, característica central de una revista científico-académica y eje del sistema científico.

Nunca dije que no era relevante y que aun, como dice Atilio y concuerdo totalmente con él –centro de su argumento- “Estimo que estaremos de acuerdo que, en arte, como en las humanidades y en las ciencias, son relevantes las revistas que la comunidad disciplinar utiliza como fuente para construir nuevo conocimiento en su disciplina”.

Sí Atilio, estamos totalmente de acuerdo, según los datos de Harzing´s Publish or Perish, de referencia de citas (sistema por cierto nunca referido en el Manual del CRMCyT), Artes de México recibe citas. No discuto eso. Discuto y argumento que Artes de México no tiene un proceso de revisión por pares (doble ciego, simple ciego, abierto, revisión posterior a la publicación, etc.). Si lo tiene, ganemos tiempo, que lo indique la revista en el apartado respectivo, que lo ponga en su página web y listo. Retiraría mis palabras públicamente.

Pero si tengo razón, supongamos sin conceder, y Artes de México NO tiene establecido un proceso de revisión por pares, sólo hay dos conclusiones:

1. Conacyt y el nuevo sistema de clasificación acepta revistas sin proceso de revisión por pares, rompiendo y trasgrediendo su historia, sus tradicionales exigencias y las del sistema de la ciencia; rompe la regla básica del rigor científico cuando una revista está en SJR o JCR y la acepta, aunque haya plena constancia de que no realiza el proceso de arbitraje. Entonces infiero que hay una subordinación del Conacyt a las bases comerciales Scopus y WoS.

La inconsistencia es de tal magnitud que para ingresar a WoS y Scopus, un requisito indispensable es que cualquier revista realice algún proceso de Peer Review, pero no estamos cuestionando a estas bases; no nos alejemos del punto.

2. Conacyt reconoce que Artes de México no tiene un proceso de revisión por pares y la retira.

En la opción 1, sabríamos que “hay casos donde” una revista puede no cumplir para Conacyt la característica central de una revista científico-académica: tener un proceso de arbitraje por pares de los textos que publica. Que es aceptable para Conacyt, que aunque no reúna esta condición pero sí está en WoS o Scopus, podría ser eximida de tal requisito central.

Esto sería inaceptable e inconsistente en todas sus dimensiones, más cuando para ingresar a dichas bases uno de los criterios exigidos es el proceso de revisión por pares.

En la opción 2, no pasa nada, se retira y sigue Artes de México su impecable trayectoria y los académicos que escriben en ésta continuarán recibiendo el reconocimiento que obtienen en la actualidad por publicar en una revista magnífica, relevante para la comunidad académica, esencial para el rescate de nuestras tradiciones y cultura, pero que no tiene revisión por pares y no es científico-académica, con lo que Artes de México no pierde absolutamente nada y gana el reconocimiento de ser una revista relevante para la comunidad académica y listo, lo cual sólo implica reconocer lo obvio, que hay múltiples escritos que incumplen una regla de quienes pretenden denominarse revista científico-académica, que es someter los trabajos a un sistema de arbitraje por pares, y son relevantes para la vida académica y para la sociedad, pero nadie discute eso porque es obvio.

Reconocería un exceso, como bien me lo aclara Atilio, de poner en cuestionamiento un sistema por un caso. Concordaría que es “una generalización desmedida”, pero el asunto es que no se trata de un problema de cantidad; que una revista que no tiene proceso de revisión por pares sea aceptada, aunque sea una, es un cambio cualitativo en las formas de evaluación: es la transgresión de las normas básicas de evaluación de la ciencia. Esto implica un viraje, un cambio en las reglas del juego del Conacyt, de algo que se ha considerado la columna vertebral del sistema de la ciencia y diferencia a las revistas científico-académicas del resto de las publicaciones, tan importantes unas como las otras, pero diferentes.

Entonces ratifico: INCONSISTENCIAS DE CONACYT: EL NUEVO SISTEMA DE CLASIFICACIÓN DE REVISTAS INCLUYE REVISTAS NO CIENTÍFICAS Y SIN REVISIÓN POR PARES.

La exigencia permanece: LA REVISTA ARTES DE MÉXICO DEBE SER INMEDIATAMENTE RETIRADA PORQUE ES UNA REVISTA SIN PROCESO DE REVISIÓN POR PARES.

Si Conacyt no desea retirarla, le pediríamos congruencia y simplemente debe indicar que si la revista está en WoS y Scopus puede prescindir del arbitraje, aunque a todas las demás que no están en dichas bases sí se les exija. Porque no quiero ni siquiera pensar que el proceso de revisión por pares ya no es requisito obligado en el nuevo sistema de clasificación. Puesto que, simplemente entonces no sería un sistema de evaluación de revistas científicas; sería una vacilada.

El objeto de este debate, como bien dice Atilio, es que las revistas mexicanas alcancen los más “altos estándares de calidad, visibilidad e impacto”, agrego rigurosidad. En ese sentido, propongo un cambio al CRMCyT, y es que simplemente modifique la redacción “Incluye de modo automático a las revistas con indización internacional” (P. 6) por Las revistas con indización internacional (JCR-SJR) serán aceptadas, pero se revisará que cuenten con las condiciones básicas de una revista científica: a) proceso de revisión por pares, b)… Así Conacyt se cubre de un posible error u omisión de dichas bases, como pareciera ser el caso.

Para concluir el punto, no discuto su relevancia. Después de las palabras de Atilio, dije: “Eduardo, puede que hayas exagerado”. Solicité los últimos 10 números a la biblioteca de la Facultad de Artes; los estuve revisando con gusto. El Rosa Mexicano, El Chocolate I, II y III, Tarahumaras, Códices, Bibliotecas de la ciudad de los libros, Los Jesuitas, El arte del tiempo Maya, Carlos Mijares Bracho. Arquitecto, Mazahuas, Azcapotzalco. La revista es un deleite, pero no es una publicación científico-académica, no tiene proceso de revisión por pares.

Además, es importante aunque no determinante que: NO cuenta con versión electrónica; no tiene disponibilidad de título paralelo y resúmenes en inglés (aunque toda la revista está en español e inglés); no tiene aplicación de normas éticas; carece de consejo científico (sí tiene asamblea de accionistas, consejo de administración y consejo de asesores); no establece tiempo entre aceptación, revisión y aprobación, porque no realiza arbitraje; no cuenta con una plataforma de edición o gestión en línea; su contenido no está disponible on-line; no cuenta con artículos en formato XML; no está incluida en SciELO ni en Redalyc; no está calificada en el catálogo Latindex; no está incluida en DOAJ. La revista tiene (el número 111 que está en mis manos) 21 hojas de publicidad de tequilas, canales de televisión y demás. Perfecto, legítimo, pero inusual en una revista científico-académica. Comportamiento más propio de las revistas de corte periodístico o cultural, como pareciera ser el caso.

Adicionalmente, aun cuando cumpliera todos estos requisitos no podría ser aceptada si no tuviera sistema de revisión por pares, uno de los pilares en que descansa la ciencia, que además es el sistema con el cual trabaja Conacyt en todos sus casos. Los proyectos de investigación, las evaluaciones de los más de 25 mil integrantes del SNI, las revistas motivo de estas líneas son evaluadas por pares. Entonces, ¿cómo es posible que hayamos llegado a esto? Simple: Scopus no la revisó a cabalidad (una de 22 mil revistas que tiene) y como las de Scopus pasan en automático, se coló.

Su director, Alberto Ruy Sánchez, es un editor impecable que cuenta con múltiples novelas, poemas y ensayos, graduado en la Sorbona en París, bajo la dirección de Roland Barthes. A lo mejor no encontramos sus trabajos en Scopus, pero ha recibido múltiples premios. Toda mi admiración y respeto porque he disfrutado sus letras sobre el insomnio, el deseo, el placer, además del gusto por las jacarandas.

Por otro lado, curiosamente Artes de México tiene la particularidad editorial de ser dos cosas al mismo tiempo (época cuántica): revista y libro, ya que tiene como revista el ISSN 0300-4953; como libro en encuadernación rústica, el ISBN 978-607-461-146-5; y como libro en pasta dura, el ISBN 978-607-461-147-2.

Bueno, seguiré leyendo y disfrutando el trabajo de Abel Rodríguez. Los Rimuka, hilos de vida y muerte, del número 112 de Artes de México.

Respecto a las inconsistencias en Redalyc, es menester señalar lo siguiente:

Interesante que ante un cuestionamiento no nos centremos en el caso y viremos ¡cuidado, Eduardo, porque criticaremos Redalyc! Simpático.

Redalyc es un proyecto académico de acceso abierto financiado por la Universidad Autónoma del Estado de México, que exige a las revista que desean formar parte de este sistema el cumplimiento de ciertos criterios que, por cierto, están a punto de ser modificados. Para ser indizadas en Redalyc, las revistas deben ser aprobadas por el Departamento de Evaluación y por la Dirección General, y ratificadas por el Comité Científico Internacional.

Sí puede haber errores, trabajamos todos los días para hacer un proyecto lo más sólido y consistente posible. En la actualidad, Redalyc reúne 1,153 revistas y más de medio millón de artículos académicos en acceso abierto.

En Redalyc hay una sola cosa indiscutible: el proceso de revisión por pares. Todo lo demás es discutible. Las 1,153 revistas que están en Redalyc al momento de ser evaluadas documentaron someter sus artículos a un proceso de revisión por pares. Por más relevante que sea una revista para la comunidad académica, si no cuenta con un sistema de arbitraje no ingresa a Redalyc. El hecho de estar en WoS o Scopus es un elemento indicativo, mas no decisivo para Redalyc. Aunque una revista estuviera en WoS o Scopus, si no tuviera revisión por pares no ingresaría. En Redalyc somos independientes de juicio y NO subordinamos la inclusión a ninguna base, por más “reconocida” que sea.

Si la comunidad identifica una publicación que no tenga sistema de arbitraje, le solicitamos que nos lo haga saber y si es correcta su apreciación sería retirada de inmediato dicha revista.

Respecto a Teología y Vida, en el expediente consta que realiza el proceso de arbitraje, así aparece también en SciELO (http://www.scielo.cl/revistas/tv/einstruc.htm) y lo declara en la revista. Ver foto. Gracias.


Por ello, te equivocas totalmente cuando afirmas: “Ella está indizada en WoS y Scopus, por lo tanto, sería inconsistente no estuviera en Redalyc”.

Redalyc en un principio aceptó revistas con embargo –hace años que ya no las acepta- y hay menos de 10 que son resultado de esa época. Muchas había con embargo, lo han venido eliminando con el tiempo, por ello las mantenemos.

Tienes razón con Archivos Españoles de Urología, ISSN 0004-0614, ya aparece como inactiva. Solucionado, corregido. Gracias. Te agradeceremos cualquier otra corrección.

Hablemos ahora de la idoneidad de WoS o Scopus para seleccionar revistas.

Mencionas más de 126 trabajos desde 2004 que analizan las coberturas de WoS y Scopus. Lo que se te pasó decir es que no pocos de esos trabajos entre sus conclusiones afirman sesgos lingüísticos, temáticos, disciplinarios o geográficos.

Si dichas bases son idóneas, por qué encontrar la relevancia de la revista fuera de éstas. Tu perspectiva de análisis, indirectamente respalda la falta de representatividad de Scopus en diversas áreas, por ello defiendes la relevancia de Artes de México no mediante Scopus, donde la revista Artes de México recibió apenas 7 citas en 21 años, 0.33 de cita por año, lo que muestra muy poca relevancia e importancia en la construcción del conocimiento: 7 referencias en 21 años.

Pero como ahí Scopus no sirve a tu argumentación, entonces nos vamos a buscar sus citas en Harzing´s Publish or Perish, que se basa en Google Académico y obtienes un resultado de 581 citas en 28 años: 83 veces más que en Scopus. ¿Es consistente cambiar de bases según nuestros intereses?

Curioso también, ¿inconsistente?, que Harzing´s Publish or Perish no sea mencionado como instrumento de análisis en ningún momento en el Manual del CRMCyT.

Insisto en que si se tomara como criterio la citación para determinar la relevancia de una revista, pues tenemos dos panoramas muy diferentes según utilicemos Scopus o Harzing´s Publish or Perish. Como en mi opinión las citas no son determinantes para la relevancia, el resultado no tiene mayor interés. Además, nunca he cuestionado su relevancia, sino sólo que no tiene proceso de revisión por pares y que, en consecuencia, debe ser retirada del CRMCyT.

Hablemos ahora de las innumerables e indiscutibles credenciales del Grupo Scimago: 150 trabajos en revistas Q1, con un índice H25. Sin duda, una aspiración difícil para un grupo de investigación y un logro indiscutible de sus integrantes.

No Atilio, no nos confundamos, yo no dudo de la calidad y solvencia de los trabajos académicos del Grupo Scimago. Conozco sus trabajos, los valoro, aprendo académica y metodológicamente de éstos.

Mi distancia con el Grupo Scimago es de otra índole, digamos que es ético-política-ideológica. Por un lado, los veo como un referente indiscutible de la cienciometría; por el otro, como representantes de Elsevier cuando trabajan como consultores e impulsan un modelo de evaluación de la ciencia a conveniencia de Elsevier y de los grandes consorcios comerciales, lo que simplemente no comparto. Totalmente legítimo, pero no lo comparto.

Discúlpame, ahí tomo distancia porque asumo una posición por el acceso abierto no comercial y no APC (Pago por Publicación o Procesamiento). Como sabes, la UAEM, Redalyc y un servidor fuimos impulsores de la Ley de Acceso Abierto promulgada en mayo de 2014. Pero éste no es el punto a discusión y no tengo ningún interés en convertirlo. Simplemente declaro mi posición y, en consecuencia, hacia dónde voy.


Autor: Eduardo Aguado López
Email <eal123@gmail.com>
Publicar un comentario