III. Opiniones acerca de los criterios de evaluación de los proyectos de investigación en ciencia y tecnología
Finalmente, en la séptima pregunta se solicitó a los encuestados que expresaran sus opiniones acerca de la evaluación de los proyectos de investigación en ciencia y tecnología. Se les preguntó en forma abierta si la evaluación de la calidad académica de los proyectos debería realizarse separadamente de criterios de pertinencia y/o impacto o si debería hacerse conjuntamente, pidiéndoles que además indicaran las razones de la elección de una u otra respuesta.
Para el conjunto total de los encuestados (ver tabla 7.1 y gráfico 7.1), la evaluación de los proyectos de investigación debería hacerse:
considerando criterios de calidad conjuntamente con criterios de pertinencia e impacto: 45,8%,
considerando criterios de calidad separadamente de criterios de pertinencia e impacto: 37,7%, o
considerando criterios de calidad conjunta y/o separadamente de criterios de pertinencia e impacto según los casos: 7,3%.
En la opción de respuesta "no sabe o no contesta" se ubicó 1 de cada diez (9,2%) encuestados.
Los diversos argumentos esgrimidos por los encuestados como fundamentos giraron alrededor de tres ejes: conceptual, de política de ciencia y tecnología y de gestión de la evaluación.
Entre quienes consideraron que la evaluación debería hacerse considerando criterios de calidad conjuntamente con criterios de pertinencia e impacto, las razones mencionadas fueron (ver tabla 7.5):
cuestiones conceptuales
"Opino que deben hacerse conjuntamente, porque la calidad de la investigación es la pertinencia del proyecto y su impacto. La calidad académica de por sí, no aporta soluciones prácticas y aplicables a las necesidades de inversión en CyT" (Encuesta 525),
"Debe hacerse una evaluación conjunta: la combinación de los factores nombrados hace a la verdadera calidad del proyecto. En las condiciones en las que nuestro país está sumido, es importante que los fondos sean destinados para proyectos que tengan resultados visibles (aunque sea a largo plazo) y que ayuden a la industria, y por ende a la economía nacional, a salir adelante" (Encuesta 551),
"La evaluación debería hacerse conjuntamente porque ambos aspectos son importantes e interactuantes. La evaluación separada sacaría de contexto la justificación mutua sobre cómo está fundado un proyecto y para qué" (Encuesta 633),
cuestiones de política de ciencia y tecnología como el desarrollo de capacidades científicas y tecnológicas, la necesidad de garantizar la utilidad tanto social como productiva de la investigación, la necesidad de privilegiar la investigación aplicada relacionada con la realidad del país y la necesidad de adecuar la producción científica y tecnológica a las prioridades regionales y nacionales. Las razones que se refieren a cuestiones de política concentraron 194 menciones, entre las que cabe citar a modo de ejemplos:
"La evaluación de la calidad académica de los proyectos de investigación en ciencia y tecnología debería hacerse conjuntamente con los criterios de pertinencia y/o impacto. Los proyectos de investigación deberían responder a áreas prioritarias y estratégicas nacionales conducentes a la solución de los problemas productivos y sociales de nuestro país. La garantía del cumplimento de estos objetivos (éxito del proyecto) lo da la calidad académica del proyecto. Por esto la evaluación debería hacerse en conjunto" (Encuesta 85),
"Debe realizarse conjuntamente con criterios de pertinencia e impacto, para posibilitar el máximo aprovechamiento de conocimientos, profesionales, tecnología y demás al servicio de las prioridades nacionales" (Encuesta 363),
"Creo que debe hacerse conjuntamente, porque se trata de proyectos avalados y/o financiados por organismos públicos, en este sentido, es importante considerar los criterios de pertinencia e impacto" (Encuesta 469),
"Creo que debe hacerse conjuntamente por cuanto considero fundamental la necesidad de promoción de proyectos de investigación interdisciplinarios que contribuyan a producir en nuestro país aportes transformadores desde la ciencia, proyectos que atiendan especialmente a áreas prioritarias y estratégicas en salud, en educación, en desarrollos tecnológicos, etc. en vistas a aportar desde la construcción crítica y contextualizada del conocimiento a una distribución justa e igualitaria del bienestar social y de la calidad de vida" (Encuesta 658),
cuestiones de gestión de la evaluación, especialmente la consideración de la conveniencia de una evaluación unificada para evitar arbitrariedades. Entre las 31 menciones cabe citar:
"Deben realizarse en forma conjunta para evitar arbitrariedades. Deben conocerse explícitamente todas las reglas del juego antes del concurso. Debería asegurarse una selección al azar de proyectos y evaluadores de proyectos, sin direccionamiento previo y con igualdad de número de evaluadores para todos los proyectos" (Encuesta 81).
Entre quienes consideraron que la evaluación debería hacerse considerando criterios de calidad separadamente de criterios de pertinencia e impacto, las razones mencionadas fueron (ver tabla 7.7):
cuestiones conceptuales
"La calidad académica es la condición PRIMORDIAL, totalmente excluyente. De manera que es conveniente que se realice en forma separada y que la calidad prime por sobre la pertinencia o el impacto" (Encuesta 152),
"Debe hacerse separadamente de criterios de pertinencia e impacto. Porque no se puede juzgar anticipadamente el valor de un proyecto de investigación básico; y porque la investigación básica tiene valor de por sí, como promoción de autonomía de pensamiento científico y como ejercitación en el manejo criterioso (es decir, no meramente mecánico y repetitivo) de conocimientos" (Encuesta 298),
"Separada. El impacto de un proyecto (sobre todo en ciencia básica) no siempre es medible en el corto plazo, ni estimable al momento de desarrollar el plan" (Encuesta 554),
cuestiones de política de ciencia y tecnología que incluyeron la necesidad de no condicionar el desarrollo de la investigación básica y la importancia de preservar las capacidades científicas y tecnológicas ya existentes. Las razones que se refieren a cuestiones de política reunieron 116 menciones, entre las que cabe citar a modo de ejemplos:
"Separadamente. Porque me parece sumamente importante seguir apoyando los grupos de investigación que ya existen y son buenos, no importa en qué investiguen, más allá que se vayan destinando algunos fondos para áreas de vacancia. No podemos darnos el lujo de no apoyar a los grupos que están funcionando bien, pues tienen un efecto muy importante en la interacción con la comunidad científica internacional y en la formación de recursos humanos" (Encuesta 108),
"La pertinencia e impacto son muy importantes, pero no deben evaluarse junto con la calidad académica porque así pierden los proyectos de ciencia básica, una cuestión de importancia crucial para el país" (Encuesta 264),
cuestiones de gestión de la evaluación tales como que la calidad académica, la pertinencia y el impacto son criterios diferentes y que uno, por lo tanto, no debe condicionar al otro; la "subjetividad" adjudicada a la definición y evaluación de pertinencia e impacto, frente a la "objetividad" adjudicada a la evaluación de calidad académica; la necesidad de garantizar la existencia de evaluadores con perfiles especializados y diferentes para cada criterio; la necesidad de garantizar mayor transparencia en los procesos de evaluación. Entre las 31 menciones referidas a esta cuestión cabe citar:
"Separadamente, debido al riesgo que representa la cultura corporativa con sectores privilegiados ligados al poder o la política que existe en nuestra sociedad" (Encuesta 211),
"Cuando la evaluación por criterios de pertinencia y/o impacto se implementó en la APCyT, me pareció un criterio muy acertado. Me tocó participar de una Comisión ´ad hoc´ y apreciar como en la práctica resultó muy poco objetivo, favoreciendo proyectos de dudosa calidad científica. Lamentablemente, creo que todavía no está bien desarrollado este aspecto en el imaginario colectivo y la evaluación de la calidad por estrictos índices académicos resulta más objetiva. En consecuencia, la haría separadamente, asignando puntajes a una y otra" (Encuesta 97).
Entre quienes consideraron que la evaluación debería hacerse considerando criterios de calidad conjunta y/o separadamente de los de pertinencia e impacto según los casos, las razones mencionadas fueron (ver tabla 7.6):
cuestiones conceptuales
"Depende de las áreas que se estén evaluando. El ´impacto´ en áreas de ciencia básica no es tan importante (como sí lo es la formación de recursos humanos o el reconocimiento externo de las publicaciones en ellas). Pero en áreas cercanas a la producción o que deberían ser cercanas a ellas (ciencias experimentales, ingenierías, medicina aplicada, agrícolas), debería dársele importancia al impacto que este estudio podría tener en nuestro territorio (por ejemplo, yo le daría un poquito más de dinero a un estudio sobre el Mal de Chagas que a uno sobre el Ebola, aunque no dejaría sin dinero a un estudio serio sobre el Ebola)" (Encuesta 114),
"Esto es muy variable dependiendo de si la temática del proyecto posee baja transferencia al sector productivo en el corto plazo. Por lo tanto, considero que se debe hacer una clara diferenciación entre aquellos proyectos con una marcada transferencia en el corto plazo (a los que habría que evaluar según este criterio además de la excelencia científica) y aquellos que no lo poseen y que solo deben evaluarse desde un punto de vista científico y académico" (Encuesta 147),
cuestiones de política de ciencia y tecnología como la consideración diferencial del carácter público o privado de la inversión, de la diversidad de tipos de proyectos de investigación (en áreas estratégicas, en áreas de vacancia, en áreas consolidadas y con tradición) y de la adecuación a las orientaciones de la política de ciencia y tecnología. Entre los 9 argumentos que hicieron referencia a este tipo de cuestiones políticas, cabe citar:
"Considero que ambos temas son importantes y no se puede proponer un mecanismo general. En áreas que se pretende desarrollar por ser estratégicas y haber escasa capacidad (Ciencias Informáticas) se debería propender a generar una masa crítica. En áreas ya desarrolladas (Ingeniería Química) se debería buscar la pertinencia y/o el impacto directo de los proyectos en el ámbito productivo" (Encuesta 56),
cuestiones de gestión de la evaluación como la consideración diferencial de la evaluación ex-ante, de avance y ex-post y de la diversidad de formas institucionales de evaluación. Entre las 11 razones que aludieron a cuestiones de instrumentación de la evaluación cabe citar:
"Hay dos instancias diferenciables: a) la de la formulación y b) la de las etapas intermedias y la finalización del proyecto. En la primera debe ser conjunta. En la segunda ya no debe reaparecer el criterio de pertinencia sino la coherencia entre lo formulado y lo realizado. Naturalmente las nociones de pertinencia e impacto contienen altas proporciones de subjetividad por lo que es deseable la identificación de pautas consensuadas dentro y entre las distintas disciplinas" (Encuesta 148),
"Depende del contexto en que se realiza la evaluación, ambas alternativas son válidas. Además, de las alternativas señaladas el contexto pude determinar evaluaciones exclusivamente académicas o exclusivamente de pertinencia" (Encuesta 586).
Analizando las respuestas de los encuestados por campo disciplinario de pertenencia (ver tabla 7.2 y gráfico 7.2), cabe señalar que los académicos de ciencias exactas y médicas optaron por la modalidad "separadamente" (46,5% y 51,4% versus 37,7% del promedio), explicando en sus observaciones a esta pregunta que los motivaba el temor de que el tratamiento conjunto de los distintos tipos de criterio tuviera como efecto contaminar la evaluación por la calidad con motivaciones externas. Esta preocupación resulta consistente con las respuestas dadas a otras preguntas por estos subconjuntos de encuestados, que mostraron una preocupación mayor por los problemas internos del sistema científico y tecnológico.
Finalmente, por orientación de política (ver tabla 7.3 y gráfico 7.3), los encuestados agrupados en la concepción externalista se inclinaron fuertemente por una evaluación conjunta de criterios de calidad académica y criterios de pertinencia e impacto (58,7%), mientras que los agrupados en la concepción internalista lo hicieron por la evaluación separada de tales tipos de criterios (49,5%) y los agrupados en la concepción holística se dividieron casi equitativamente entre evaluaciones conjunta y separada (39,7% y 41,1% respectivamente). 19
19
Tampoco en esta pregunta se registraron importantes diferencias de opinión
entre los encuestados considerados por su perfil socio-demográfico.
Algunas excepciones son:
los
encuestados de nivel educativo
hasta universitario de grado completo y de posgrado incompleto se
inclinaron más fuertemente que los universitarios de posgrado completo por
la consideración conjunta de criterios de calidad académica, pertinencia e
impacto en la evaluación de los proyectos de investigación. Lo inverso
sucedió con la evaluación separada de los criterios, enfáticamente
apoyada por los encuestados de mayor formación (ver tabla 7.9 en el
Anexo I),
entre
los 14 encuestados residentes del Noroeste y los de Cuyo
fue mayor el porcentaje de adhesiones recibidas por la evaluación separada
que por la evaluación conjunta, mientras que entre los patagónicos
se produjo un “empate técnico”
entre ambas modalidades (ver
tabla 7.11 en el Anexo I),
los encuestados del sector
público, las empresas privadas y
el tercer sector y los académicos
de pertenencia compartida se inclinaron con énfasis por una evaluación
conjunta de los diferentes criterios de evaluación de los proyectos de
investigación (ver tabla 7.12 en el Anexo I).