FONDECYT (Chile) y sus criterios de evaluación editorial: desafíos de la comunidad universitaria

Manuel Loyola, editor académico / IDEA, USACH (manuel.loyola@usach.cl)
publicado con una licencia creative commons cc-by 4.0

Atender a las indicaciones que en materia de diseminación de resultados de investigaciones sustentan y promueven los Grupos de Estudio (GE) del Fondo Nacional para el Desarrollo Científico y Tecnológico (FONDECYT), es una manera bastante concreta de acercarnos a los criterios y prácticas puestos en marcha por la institucionalidad del sector respecto del crucial asunto de la comunicación de las ciencias en nuestro país, cuestión que, como se observará, está circunscrita a claras intenciones en torno al cómo y el dónde debería verificarse esa comunicación para resultar favorablemente considerada, llegado el momento de acudir a los recursos administrados por aquella institucionalidad.

Sobre el punto, señalemos que a los GE les corresponde instruir a los postulantes y ejecutantes de proyectos, respecto de los medios o canales (editoriales y revistas) y formatos (artículos, libros, monografías) que ellos deberían priorizar a fin de alcanzar los máximos puntajes cuando, por vía de las postulaciones, soliciten financiamiento al sistema público de becas y fondos dispuestos para la investigación científica y tecnológica [1].

Sin pretender generalizar, y cuidándonos de no sacar conclusiones apresuradas, la finalidad de apreciación que persigue esta nota, sólo se sustentará en un fragmento reducido de observación, es decir, no abordaremos la totalidad de los GE (25 en total), sino apenas cuatro de ellos. Siendo pequeña la muestra, estimamos que la misma de todos modos nos sirve para fundar más de alguna opinión sobre el asunto que aquí nos mueve: el tipo de exigencias de indización que se deben cumplir por parte de investigadores nuevos o en desarrollo de las áreas de las Humanidades y las Ciencias Sociales, en el evento que ellos pretendan auspicio FONDECYT para sus investigaciones.

Los GE seleccionados son los de Historia, Filosofía, Ciencias Jurídicas y Políticas, y Educación. La fuente de antecedentes corresponde a los Criterios de Evaluación Curricular, Concurso Regular 2016 que, salvo muy mínimas variaciones, aplican, a la vez, para los concursos de Postdoctorados y de Iniciación, de manera que nuestro ejercicio cubre todas las tareas asignadas a los GE.

Libros y monografías

La primera impresión que salta a la vista es la preeminencia que en todos los criterios ocupa la publicación en formato libro. En sus variadas modalidades de participación (autor único, coautor, editor, traductor), en general las monografías representan prácticamente el 60% del total de las publicaciones a ser consideradas. En particular, en las especialidades de la Historia y las Ciencias Jurídicas y Políticas (CJP), el peso relativo de este este tipo de formatos dispone de una relación de 2:1 respecto de los artículos de revistas.

Sobre por qué este comportamiento, si consideramos que en áreas como la historia y la política desde hace un par de décadas se viene mostrando una fuerte producción y movilidad temático/autoral en publicaciones periódicas, es un asunto que probablemente se vincule a la tradición que en estas disciplinas ha tenido del valor del libro, hecho que se vuelve aún más evidente en el caso de las CJP. ¿Correspondería, de todas formas, que la gravitación de las monografías siga sobreponiéndose a los artículos de una manera tan elocuente? Señalemos, a la vez, que este rol no sólo atinge al número de alternativas de puntuación que se le asigna al objeto libro –favoreciéndose, en consecuencia, a quienes participen de él- sino, a la vez, a la propia ponderación segmentada de puntos, donde la presencia del libro, en especial si se es autor único, cuenta siempre y en todos los grupos, con la mayor puntuación.

Sin duda que dar cuenta de un libro -propio o en coautoría- por un investigador, implica una presencia de suyo relevante y, en cuanto tal, debe ser relevada. Pero ello bien puede ser un sesgo que, de entrada, juega en contra de candidatos noveles que, por distintas causas, a lo sumo podrían ofrecer algunos artículos y no precisamente en revistas de corriente principal.

Ligado a lo recién dicho, está también que los mayores puntajes en libros están reservados para editoriales de “reconocido prestigio nacional e internacional” (más externas que internas, en todo caso), relevantes en el área, con comité editorial y/o referato externo, en lo posible; es decir, todas condiciones que, siendo laudables, no se hacen cargo de las realidades en que se desenvuelve la mayor parte de la academia chilena. Por supuesto, no se trata de que los GE deban mejorar la edición nacional, tanto de la comercial como de la universitaria. No es su tema, está claro. Lo que sí podrían considerar, en vistas a modificaciones en plazos variados, es ver cómo evitan o morigeran que la producción intelectual que financia el sistema público, siga estando al arbitrio de entes editoriales frecuentemente comerciales, al margen de los fines públicos de la investigación y que se apropian de derechos de autor haciendo pingües negocios a nivel internacional, como ocurre, por ejemplo, con Thomson Reuter. Ciertamente, la interrogante aquí es saber si la labor del sistema de evaluación curricular y los GE estarían en disposición de alentar o aportar a un “modelo de negocio” que efectivamente favorezca a los potenciales destinatarios directos: las comunidades científicas locales y públicos en general.

No estará demás mencionarlo, pero acerca de dicha finalidad social, resulta más que evidente que los primeros protagonistas en hacer las cosas de manera distinta, deberían ser las propias universidades y demás organizaciones científicas con aporte total o parcial de dineros del Estado. Respecto de las universidades, la necesidad de llevar a cabo un adecuado y financiado vehículo de edición del sector en términos de consorcio, sería una de las formas más atinadas de responder, tanto al provecho social ya dicho, como a la promoción de una carrera académica y de investigación con posibilidades de ingreso más parejas, en especial para la nuevas generaciones de estudiosos.

La lógica sesgada y limitada (anticuada) con que se abordan los asuntos de evaluación editorial en comento, tampoco refieren a las nuevas circunstancias de difusión y uso de datos y contenidos científicos. Esto es, criterios sobre si las obras (libros) están o no en acceso libre en línea (por ejemplo, en repositorios temático o institucionales); si cuentan con licencias copyleft (tales como creative commons) que favorecen la consulta y uso; si se ofrecen otras alternativas de medición de impacto (asociadas a Altmetrics, aparte de los inamovibles Índices de Impacto SJR o JCR); o si están o no en plataformas Open Books internacionales (PKP, OpenEdition, otras), etc., deberían ya ser parte de la cultura evaluativa en curso. De igual modo, siendo un asunto crucial, también el referato de contenidos podría variar en sus consideraciones más allá de si es propio o externo a la editorial: en el presente, la tendencia es a referatos abiertos (aun manteniendo la reserva de las identidades de quienes lo realizan). Finalmente, los mismos resultados de evaluaciones de pares, en los casos en que califiquen, son hoy tenidos como productos científicos de enorme valor, convirtiéndose en una de las formas más interesantes de vía o construcción de carrera científica de los investigadores jóvenes [2].

¿Cuáles son las editoriales relevantes o de reconocido prestigio? Salvo la lista que agrega el GE CJP [3], nada más aclara el punto ¿Por qué? ¿Es que es un asunto sabido aun por los más jóvenes? No lo creo. Tratándose de literatura especializada, y dadas las preferencias tácitas, se puede suponer que estas editoriales son Elsevier, Thomson Reuter, Sage y algunas otras, esto es, las que, de acuerdo al diseño institucional chileno, concentran o lideran la comunicación científica [4]. El listado de CJP ofrece un conjunto amplio de nombres: en un 98%, se trata de editoriales extranjeras. En el caso de las chilenas, sólo Catalonia y Lom podrían considerarse nacionales, pues se anota aquí a Fondo de Cultura Económica (mexicana) y otras ya absorbidas por la industria editorial foránea. Obviamente, no hay ninguna editorial universitaria de nuestro medio. Los sellos editoriales universitarios del país, más por descarte que por mención directa, son de alguna manera tenidos en cuenta en los criterios de evaluación, pero claramente se hace con relación a aquellas instancias con puntajes muy menores, con o sin referato.

¿Son malas las ediciones universitarias en Chile? ¿En qué fallan? ¿Se puede hacer algo con ellas? Por cierto que estas interrogantes podrán ser opinadas por los GE, pero no resueltas.

Artículos y revistas

Además de poseer –como ya fuera dicho- una proporción cuantitativa menor a las monografías, la importancia en puntaje de los artículos está, una vez más, en directa vinculación con la plataforma de indexación que los aloja: la calidad inherente de la revista (journal) no interesa; sólo da puntaje –en guarismos que varían del 3 a los 20 puntos, siendo lo más recurrente el trecho que va de los 7 a 10- el escrito científico cuyo soporte esté admitido en bases o índices definidos como los de primer orden: WoS y Scopus, seguidos de otros con menores blasones: SciELO y Catálogo Latindex. Otros recursos, si bien aceptados tácitamente, proporcionan de igual forma puntos, aunque de los niveles más escasos.

Se establece así una estratificación donde la alcurnia máxima está dada por las revistas que son parte de los core colletion de WoS y Scopus, escoltadas por otras que, si bien, no son del corpus de las notables, sí logran tener Índice de Impacto, sin duda, la contio sine qua non para obtener 10 o más puntos [5]. Peldaños más abajo, las publicaciones en Catálogo Latindex y SciELO reparten, en promedio, la mitad de los puntos que ofrecen WoS y Scopus, sin que ello cuente con una justificación amplia y clara, que vaya más allá de la rutilancia del star system de la comunicación científica.

En el plano de las bases de indexación y revistas que recogen escasos puntos sin que se las señale explícitamente, como sí ocurre con las anteriores, podemos citar a Dialnet, RedALyC, BIBLAT (CLASE y Periódica), REDIB, Revues.org, DOAJ, entre las más conocidas en nuestra región. En general, todas ellas proceden, en sus requisitos y modalidades de aceptación, de manera muy parecida que las exigencias establecidas por SciELO, WoS o Scopus, si bien pueden darse algunas diferencias metodológicas que en ningún caso son sustanciales, y más bien responden a la inevitable diferenciación de perfiles. Como se señalara respecto de los libros, no hay en los criterios de los GE otras bases que no sean las de la tradición y, aun, del conservadorismo, no poniéndose atención a la dinámica actual de la difusión científica, crecientemente favorable a la diseminación en texto completo, sin trabas legales, administrativas ni financieras, y avaladas por mediciones de impacto socialmente ampliadas, y no puramente insertas en citaciones reducidas y corporativamente determinadas. Los elementos de este nuevo modelo (modelo emergente, sin duda) aparecen altamente factibles de ser tomados en nuestro medio en la medida que, en lo que toca a la fuente de sustentación financiera aquí consultada, responde a recursos públicos, base que justifica y legitima que los procesos y resultados de la investigación (datos, textos, evaluaciones, bancos de objetos, software, patentes, etc.) sean puestos a la consulta y uso abierto, aun si, en ciertos casos, deban pasar por vedas, moratorias, autorizaciones, resguardos… que, de todos modos, no deberían obstruir indefinidamente su apertura.

Esta práctica, unida, obviamente, a políticas y apoyos públicos que involucren a las ciencias, tecnologías y estudios con numerosas otras áreas y procesos de la vida nacional, indudablemente que traería el cambio de paradigma en materias de evaluación curricular y accesos a los dineros del Estado ¿Qué justifica que los criterios de evaluación sigan atados, en su parte más decisiva, a los estrechos mecanismos de la industria editorial privada? ¿La calidad de sus procedimientos para fijar lo que es ciencia? ¿Las luces del mainstream asociado a ella? ¿La posibilidad de ser llevados a rankings y listados mundiales producidos y mantenidos por la misma industria y sus apoyos políticos transnacionales? ¿Qué aporta el star system editorial aparte de sus core collections y los beneficios de buenas relaciones con la burocracia público-privada del sector? Es sabido que el negocio en este ámbito reporta a las empresas y sus holdings miles de millones de dólares cada año. Sólo en Chile, país de tamaño minúsculo en asuntos de ciencias, los acuerdos del Estado con estos proveedores (vía consorcio CINCEL) implica varias decenas de millones de dólares.

Ni los mecanismos de aseguramiento de la calidad de los resultados a difundirse previstos por estas empresas son mejores o distintos a los de otros mecanismos de acreditación, ni los beneficios superan los costos. La racionalidad dominante es simple: la producción científica (universitaria o no) con participación estatal se nutre o sustenta en los recursos del Estado; los resultados, se someten a los dictados de las empresas internacionales, sea para su difusión con reconocimiento para efectos de concursos internos, sea para conseguir los servicios de consulta y lectura de una amplia “familia de productos”.

Desafíos

En estas páginas, en más de una oportunidad se ha referido que, en general, a los Grupos de Estudio no les corresponde, ni tienen las facultades para modificar los criterios de evaluación editorial aquí considerados; por tanto, sólo pueden ver y decidir en lo que se les asigna. Las implicancias y derivaciones del sistema de evaluación descrito no son, en última instancia, de responsabilidad de los GE y sus componentes [6].

Pero si bien no tienen la potestad para cambiar las reglas del juego, en lo que probablemente podrían incidir, es en la necesidad de promover transformaciones a las mismas para dar con mecanismos más idóneos y justos. Sin dar un listado completo, aspectos pertinentes a reconsiderar podrían ser:

  1. Incorporar a la puntuación, a otras bases, índices y plataformas de indexación de artículos y libros, tales como RedALyC, DOAJ, Dialnet, Biblat, Revues.org, Copernicus, Redib, Open Edition Books, BOAJ, Open Monograph Press, etc.
  2. Rediseñar la atribución de puntos según bases de indización y productos; en especial la biblioteca online SciELO debería contar con mayor puntuación
  3. Adoptar criterios de medición e impacto de productos y autores más allá de los índices de impacto WoS y Scimago (opciones alter-métricas, según Manifiesto de Leiden http://www.nature.com/news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351)
  4. Redefinir la condición de autor/res principales, coautores, secundarios. Alentar las autorías múltiples, variadas y, en lo posible, de más de un país.
  5. Admitir y favorecer en los criterios las publicaciones con licencias copyleft (creative commons y otras)
  6. Admitir y favorecer las publicaciones en acceso abierto (Open Access) irrestricto, en particular si ellas provienen de investigaciones financiadas con recursos públicos.
  7. Estudiar la ponderación de la apertura de datos (datasets) y su depósito en repositorios, como componente de los productos a evaluar.
  8. Acoger en igualdad de condiciones a las publicaciones post-print en repositorios institucionales, temáticos, públicos, nacionales e internacionales
  9. Considerar incorporar criterios de carrera de investigador, constatable mediante gestores de productos científicos tales como: repositorio CONICYT, Orcid; ResearchGate, Academia.edu, Mendeley, otros
  10. Prever la asunción de las anotaciones y comentarios de las evaluaciones de pares, como productos científicos de relevancia.
  11. Discutir un derrotero de acreditación (sello de calidad) para las editoriales académicas chilenas, sean o no universitarias. Existen experiencias y resultados externos (Brasil, Colombia, México) que podrían ayudar a nuestro propio trabajo.
  12. Llevar a cabo encuentros de opinión sobre estos y otros asuntos de comunicación científica y su evaluación, con especialistas nacionales y extranjeros. Se trata de que las instancias concernidas: editores, académicos, FONDECYT, etc.,  arriben a una agenda para las adecuaciones y cambios.

Con estas y otras iniciativas seguramente se conseguirían mejores procesos y resultados en general, evitándose, de paso, actuaciones tan bochornosas como la representada por la “base de indexación” denominada Actualidad Iberoamericana (http://www.citrevistas.cl/b2.htm), de evidente mala calidad. Es que en su afán por aparecer con revistas o trabajos indexados, no faltan los postulantes, y hasta académicos que, con buena o mala fe, acuden a tales bodrios, arrastrando, en su ignorancia, a más de alguna instancia formal de evaluación curricular.

Ahora bien, poco o nada se modificaría si en la perspectiva de cambios que suponemos necesaria, no entran a tañar, en primera fila, las universidades, ya como conjunto de académicos, ya como organización institucional. Los docentes e investigadores, los mismos que, en número variable, acuden a los llamados regulares de financiamiento público a sus proyectos, deberían alentar modificaciones en los modos de reconocimiento de su trabajo, cuestión que, de su parte, debe partir por colocar mayor atención a las crecientes innovaciones que se están gestando en la comunicación científica en la era del internet.  Correlacionado con ello, las estructuras institucionales de evaluación y de desempeño, también podrían abrirse a explorar las nuevas maneras de medición de la producción académica. En este punto, bien podrían ser ellas el eslabón donde se catalicen las iniciativas y prácticas surgentes, desempeñando un papel protagónico “hacia arriba” (las estructuras estatales) como “hacia abajo” (la comunidad académica y hasta los mismos estudiantes). Aspecto nodal de todo ello debería ser la habilitación de espacios de edición y difusión de la edición científicas (editoriales, revistas, líneas de libros, oficinas de edición, webs, repositorios, etc.) que materialicen y articulen lo necesario, superándose la habitual orfandad y falta de cohesión en que, de común, se debaten estos lugares cuando ellos existen.

Agradecimientos

Sin tener responsabilidad alguna en el resultado aquí expuesto, agradezco a Eduardo Devés, Felipe Cussen, Pablo Lacoste (IDEA/USACH) y Francisco Osorio (FACSO, U. de Chile), sus opiniones y sugerencias para la redacción final de esta nota.

 

Notas

[1] Esta tarea es parte de las funciones consideradas en la siguiente definición: “Los Grupos de Estudio representan un nivel de decisión intermedio entre los evaluadores externos y los Consejos Superiores de FONDECYT. Sus funciones son asesorar técnicamente a los Consejos Superiores en las tareas de selección de los proyectos que se presentan en cada concurso y evaluar los avances y resultados de aquellos en ejecución”, ver, http://www.conicyt.cl/fondecyt/grupos-de-estudios/ Para el detalle particularizado de este punto entre los GE, ver la fuente recién citada.

[2] Véase ejemplo de innovación en http://www.nature.com/news/annotating-the-scholarly-web-1.18900

[3] Ver http://www.conicyt.cl/fondecyt/files/2015/07/Ciencias-Jur%C3%ADdicas-y-Ciencias-Pol%C3%ADticas-Editoriales-de-Prestigio.pdf

[4] A nivel internacional, las editoriales anotadas no ocupan las primeras posiciones del prestigio; les anteceden otras, tales como Oxford University Press; Cambridge University Press, Routledge, Springer, entre otras.

[5] Los criterios de los GE de Cs Jurídicas y Políticas, y de Educación, son altamente exigentes al reservar los mejores puntajes a los trabajos que estén en revistas con Factor de Impacto, incluso colocando rangos específicos de los mismos, como acontece en el primero de los GE mencionados. Los GE de Historia y Filosofía no extreman tanto las cosas, conformándose con que los artículos (y revistas) estén, sin más, en Scopus y WoS. Una situación especial expresa el GE de Historia al homologar en puntos a las publicaciones adscritas a la base europea ERIH (hoy ERIH Plus), instancia, comparativamente, de muchísimo más rápido ingreso que las de Thomson y Elsevier.

[6] De acuerdo al Dr. Pablo Lacoste, las dificultades y tensiones no son privativas de los Grupos de Estudio considerados. En su desempeño en uno de los Comités de Área de la Comisión Nacional de Acreditación, menciona que la evaluación de programas de postgrado, entre otros elementos, también realiza mensuras de productividad de los académicos adscritos a ellos a base de preceptos similares a los empleados en FONDECYT, surgiendo constantes problemas. Expresamente, ilustra el tenor de los desencuentros como resultado de la ausencia de precisiones sobre quién o quiénes son autores titulares y quiénes no, o cómo se reconoce la actuación y aporte de las distintas personas que, de corriente, participan del producto final llamado investigación o publicación. Para un detalle de los Comités de Área de la CNA, ver https://www.cnachile.cl/Paginas/comite-area.aspx