Efectos de la evaluación en las licenciaturas de Enfermería en Portugal: Efeitos do processo de avaliaçâo nos cursos de licenciatura em Enfermagem em Portugal
- Autores: Joâo Paulo dos Santos Marques
- Directores de la Tesis: Florentino Blázquez Entonado (dir. tes.), Luciano Santos Rodrigues de Almeida (dir. tes.)
- Lectura: En la Universidad de Extremadura ( España ) en 2013
- Idioma: portugués
- Número de páginas: 608
- Tribunal Calificador de la Tesis: Joaquín García Carrasco (presid.), José Luis Ramos Sánchez (secret.), Dixe Maria Dos Anjos Coelho Rodrigues (voc.), João José Tavares Curado Ruivo (voc.), Sixto Cubo Delgado (voc.)
- Materias:
- Enlaces
- Resumen
1. Introducción A finales del 2005, se concluyó en Portugal un ciclo de evaluación (2000/2001-2004/2005) de las carreras de la enseñanza superior politécnica pública. Este ciclo de evaluación, considerado como el primer ciclo de evaluación de carreras a que fue sometida la enseñanza superior politécnica pública en Portugal, tuvo como finalidad la evaluación de todas las carreras que, durante este período, habían concluido ya un ciclo completo de formación.
Las carreras de licenciatura en Enfermería, integrados en este subsistema de la enseñanza superior portuguesa a partir de 1999, por fuerza del Decreto Ley n.º 353/99, de 3 de septiembre, proferido en la secuencia de la Resolución del Consejo de Ministros n.º 140/98, comprendidos por este proceso y, reuniendo las condiciones previstas para la evaluación, se ve este objetivo ser concretizado en el curso 2004/2005. Fueron, entonces, evaluadas 22 carreras.
Sobre este ciclo de evaluación, y en particular sobre la evaluación de las carreras de licenciatura en Enfermería, no es conocido por el autor ningún trabajo de evaluación orientado hacia los efectos que éste pueda haber provocado en la organización y funcionamiento de aquellas carreras. Algunos trabajos de reflexión producidos, nunca fueron publicados y aquéllos que fueron públicamente presentados, sobre todo en el ¿1er Encuentro Nacional sobre la Evaluación de la Enseñanza Superior Politécnica¿, cuando el proceso aún no estaba totalmente concluido ¿ las carreras de licenciatura en Enfermería, por ejemplo, aún se encontraban en proceso de evaluación ¿ tenían manifiestamente una naturaleza exploratoria.
Mayor interés factual poseen algunos trabajos publicados por personas ligadas al Consejo de Evaluación de ADISPOR, entidad coordinadora del proceso de evaluación, durante y después del proceso, en algunos casos en forma de documentos de trabajo, que constituyen documentos particularmente importantes de reflexión sobre este proceso y que, de alguna manera tienen, su corolario en el informe de autoevaluación para efectos del proceso internacional de evaluación del CNAVES ¿ Consejo Nacional de Evaluación de Enseñanza Superior, pedido por el gobierno a ENQA ¿ European Association for Quality Assurance.
Así, nuestro trabajo busca de cierta forma contribuir para colmar alguna falta de estudios sobre aquel proceso de evaluación.
Optamos, sin embargo, por enfocarlo hacia dos aspectos que para nosotros eran especialmente importantes: por razones de interés personal en las carreras de licenciatura en Enfermería, y por razones de interés científico en la problemática de los efectos de los procesos de evaluación para las carreras. Razones personales porque el autor se encuentra ligado a una Escuela Superior de Salud y, durante algunos años, a la carrera de licenciatura en Enfermería, y razones de interés científico por considerar que un proceso de evaluación logra sus objetivos si, de sus conclusiones, resulta el desarrollo de procesos en la institución, en conjunto con las carreras, visando su perfeccionamiento/mejora.
2. Nuestro problema de investigación y los objetivos de nuestro trabajo Las fuentes de los problemas de investigación pueden ser múltiplas y variadas. En nuestro caso concreto, además de la sugerencia de algunos investigadores más experimentados y de la propia revisión de la literatura, fue manifiestamente nuestra experiencia como agentes involucrados en el proceso de evaluación de carreras en apreciación que determinó las principales preguntas de investigación que presentaremos.
El sistemático cuestionar de la validez del proceso de evaluación, sin que fueran conocidas cualesquiera evaluaciones sobre el mismo, nos llevó a una serie de cuestiones que importaba aclarar:
¿ ¿Para qué sirvió el proceso de evaluación de carreras llevado a cabo en Portugal? ¿ ¿Cómo fue visto por las instituciones el trabajo de las Comisiones Externas de Evaluación? ¿ ¿Qué hicieron los responsables de las carreras con las recomendaciones de las Comisiones Externas de Evaluación? ¿ ¿Sirvieron, de hecho, para perfeccionar/mejorar las carreras? ¿ ¿Habría el proceso de evaluación contribuido para el desarrollo de una cultura de evaluación y calidad en las instituciones? Con estas interrogaciones en mente, definimos como objetivo general de nuestra laboral lo siguiente:
Saber en qué medida el proceso de evaluación de las carreras a que fueron sometidas las carreras de Licenciatura en Enfermería fue entendido cómo habiendo contribuido efectivamente para el perfeccionamiento y mejora de aquellas carreras, y para la constitución de una cultura de evaluación y calidad en las Escuelas.
Para dar respuesta a este objetivo general, desarrollamos un conjunto de objetivos más específicos que, además de permitirle responder, orientaban ya, de cierta forma, el tipo de trabajo que vendríamos a realizar. Éstos eran los siguientes:
a) Conocer la percepción global que dirigentes de las instituciones, coordinadores institucionales y coordinadores de Escuela Superior, docentes involucrados en el proceso de evaluación y docentes no involucrados en el proceso de evaluación tuvieron sobre la utilidad de éste para el perfeccionamiento/mejora de las carreras de licenciatura en Enfermería;
b) Identificar dominios, de entre aquellos en los que incidía el proceso de evaluación, para los que el proceso de evaluación había sido considerado más relevante para el perfeccionamiento/mejora de las carreras de licenciatura en Enfermería;
c) Identificar posibles diferencias, entre los tres grupos de sujetos en aprecio y para los diferentes dominios sobre los que incidía el proceso de evaluación, diferencias en la evaluación hecha sobre la utilidad del proceso de evaluación para el perfeccionamiento/mejora de las carreras de licenciatura en Enfermería;
d) Verificar si hubo una contribución del proceso de evaluación para la constitución de una cultura de calidad en las Escuelas a que pertenecían las carreras de licenciatura en Enfermería evaluadas;
e) Conocer la forma cómo fue percibida, en general y por los diferentes grupos de sujetos, la contribución de las Comisiones Externas de Evaluación para el proceso de perfeccionamiento/mejora de las carreras de licenciatura en Enfermería evaluadas;
f) Saber si hubo por parte de las instituciones/escuelas donde las carreras de licenciatura en Enfermería fueron evaluadas un esfuerzo de implementación de las recomendaciones resultantes del trabajo de las Comisiones Externas de Evaluación, y por qué;
g) Verificar si hubo diferencias de tendencia, en la apreciación de los diferentes aspectos del proceso de evaluación, entre participantes que hayan integrado Comisiones Externas de Evaluación y participantes que no hayan participado en ellas.
El segundo objetivo implicaba la definición de los dichos dominios para los que el proceso de evaluación habría, o no contribuido. Para no correr el riesgo de estar cuestionando sobre algo que no hubiera existido, era para nosotros evidente que estos dominios tendrían que ser identificados en el seno del propio proceso de evaluación. Fue así que decidimos recurrir a un documento fundamental en la modelación de toda nuestra labor: el Guión de Procedimientos para la Evaluación de Carreras (2002) de las Comisiones Externas de Evaluación de la Enseñanza Superior Politécnica, en la que los dominios definidos eran los siguientes:
a. Organización de la carrera b. Funcionamiento de la carrera c. Trabajo científico asociado a la carrera d. Recursos humanos disponibles e. Instalaciones f. Equipamientos g. Resultados obtenidos h. Ambiente laboral i. Cultura de calidad j. Difusión de la carrera k. Imagen social de la carrera Estos dominios fueron después utilizados por nosotros como base para la organización de nuestro cuestionario, para planificar las entrevistas que realizamos y todavía para la categorización del proceso de análisis de contenido que efectuamos sobre las entrevistas y los informes de evaluación de las Comisiones Externas de Evaluación.
3. Fundamento Teórico El estudio teórico que efectuamos para fundamentación de nuestro trabajo, se basó sobre tres pilares. El primero fue subordinado al concepto de evaluación. Ahí buscamos estudiar el concepto desde un punto de vista diacrónico (término que preferimos al término historia que implica un tipo de análisis más profundizado y que, no sólo no se encuadra en los objetivos de nuestro trabajo, así como no se encuadra en nuestras competencias), socorriéndonos del trabajo de Madaus & Stufflebeam (2000), los que apuntan hacia un aparecimiento de los procesos de evaluación a lo largo de los tiempos más recientes, a través de siete períodos, concerniente a los que se pueden identificar elementos diferenciadores del enfoque de los procesos de evaluación, los cuales tienen subyacentes concepciones diferentes de éste, sea cuanto a sus finalidades sea, de cierta forma consecuentemente, cuanto a las prácticas y herramientas utilizadas.
De este análisis verificamos que, en materia de evaluación, nos encontramos delante de un desarrollo que designamos de integrador (si es que existe algún tipo de desarrollo que no lo sea), dónde la asunción de nuevos modelos o prácticas que por su carácter diferenciador llevan a la identificación de una nueva etapa que, sin embargo, no representa el abandono de prácticas y modelos anteriores, sino su refinamiento o su utilización como forma complementar que permite conocer mejor, u otros aspectos, de los objetos de evaluación.
De este análisis diacrónico no podemos dejar de partir hacia un análisis de los procesos de evaluación en una perspectiva a la que llamamos de política, en el sentido de verdadero gobierno de la polis, ya que, la conclusión inmediata que retiramos es la de que los procesos de evaluación son utilizados con diversos fines, entre los que incluso podrá estar el perfeccionamiento/mejora del objeto evaluado, pero donde, frecuentemente, se pueden observar otros objetivos, sobre todo objetivos más orientados hacia optimizar una gobernabilidad economicista. Es un fenómeno ya suficientemente estudiado y que lleva a que muchas veces se saliente la oposición entre una visión académica del proceso de evaluación tendiente a la recogida de informaciones útiles para el perfeccionar/mejorar el objeto de evaluación y una posición más managerialista, privilegiando prácticas de prestación de cuentas (accountability) tendientes a procesos de regulación del sistema promovidos, en la mayor parte de los casos, a través de herramientas de naturaleza financiera, sirviéndose el poder de esta herramienta para, de forma indirecta, controlar las instituciones.
De estas reflexiones partimos para la definición del propio concepto de evaluación. El análisis que allí puede ser leído del trabajo de diversos autores nos permitió avanzar con nuestra propia definición que hicimos de la siguiente forma:
la evaluación es un proceso de recogida y tratamiento de información la cual se analiza, con base en un conjunto de criterios, de forma a emitir un juicio valorativo, que permita desencadenar un proceso de cambio en el objeto, sujeto o acción evaluados, tendiente a su perfeccionamiento/mejora.
En ella, más que su carácter nuevo (que para afirmarlo tendríamos que haber visto todas las definiciones que existen, cosa que no hicimos, como es obvio), pretendemos resaltar la cuestión relacionada con los procesos de cambio. Este aspecto, para nosotros y en contexto de este trabajo, significa que hubo efectos resultantes del proceso de evaluación y que éste no se limita a una recogida de información más o menos inocua sino a una recogida de información conducente a servir de soporte a la introducción de mejoras.
Aún en el ámbito de esta indagación profundizada del concepto de evaluación tuvimos la oportunidad de analizar diversos modelos de evaluación, con base en el trabajo de Stufflebeam (2000) y todavía una pesquisa referente a definiciones de evaluación en el contexto de las agencias de evaluación acreditadas por ENQA.
De este último análisis podemos constatar que el papel y el método más utilizado por las agencias que analizamos, es la acreditación, referidos en 19,4% y 27,8% de los casos, respectivamente. Verificamos también que, en la designación de las agencias, las palabras que más surgen son `acreditación¿ y `calidad¿, en un 27,8% de los casos.
Esto nos llevó al siguiente paso, es decir, al desarrollo de la parte teórica de nuestra laboral, que fue relacionar el concepto evaluación con otros conceptos que le están próximos: el concepto acreditación y el concepto calidad.
Del análisis realizado concluimos que, aunque diferentes en términos conceptuales, estos tres conceptos se encuentran interligados encontrándose la evaluación en la base, sea de los procesos de acreditación, que no son más que un proceso de garantía de calidad suficiente, sea de los procesos de calidad tendientes a la implementación de estrategias de mejora continua en el objeto evaluado y, concretamente en el caso que interesa, en las carreras. Fue aún posible concluir, que la postura más perjudicial, es la de la exclusión mutua. Es decir, pensar que un sistema de acreditación sustituye un sistema de mejora continua. Quedó igualmente claro que la llamada cultura de calidad es tal vez la valencia más significativa a implementar junto a instituciones y estructuras gestoras de los procesos de formación, ya que con ella se logran profundizar los procesos de mejora continua y promover el desarrollo de estrategias de evaluación cada vez más completas y adecuadas a la mejora (en el sentido de colocar a disposición más y mejor información orientada hacia aquel fin).
Terminamos el encuadramiento teórico de nuestro trabajo con un análisis reflexivo por un lado de la legislación reguladora de proceso de evaluación objeto de nuestro trabajo y del proceso de evaluación propiamente dicho. Cuanto a la primera concluimos que la legislación producida era suficiente y contenía todos los elementos necesarios no solo a la implementación del proceso de evaluación, sino para la implementación de las conclusiones del proceso por las instituciones. El hecho de no haber sido posible constatar una implementación generalizada de las conclusiones del proceso se debió, a nuestro entender, más a factores extrínsecos que a factores intrínsecos. Si es cierto que la no existencia de una cultura de evaluación y calidad en las instituciones podrá haber sido una limitación importante, el hecho de que el proceso hubiera transcurrido en un período de profunda reorganización de la enseñanza superior a nivel europeo (Proceso de Bolonia) y que en las escuelas dónde se impartían carreras de licenciatura en Enfermería están procesando también algunos cambios importantes (transformación de Escuelas Superiores de Enfermería en Escuelas Superiores de Salud y la fusión de algunas Escuelas Superiores de Enfermería), podrá explicar, en parte, algunos constreñimientos a la implementación de aquellas conclusiones. Pero, a nuestro entender, lo más grave, reflejado en algunos de los datos que recogimos, parece haber sido la falta de consecuencias para las instituciones por no haber implementado los resultados del proceso. La percepción tenida era la de que el proceso se destinaba a ser abandonado, más tarde o más temprano, lo que vino a suceder, creándose el sentimiento de que no serviría para nada.
Cuanto al proceso de evaluación propiamente dicho, éste respetaba las prácticas más comunes en los países europeos. Siendo una práctica basada en un modelo de evaluación por pares, no dejaba de parte un conjunto de informaciones recogidas de compañeros/aparceros externos que complementaban la información recogida en el seno de las instituciones donde las carreras eran impartidas. Dificultades económicas fueron las grandes responsables por la falta de visión internacional de las carreras, traducida en la no inclusión en las Comisiones Externas de Evaluación de elementos extranjeros. Todos estos problemas fueron oportunamente identificados por las estructuras implicadas en el proceso de evaluación, a saber, CNAVES y ADISPOR.
4. Metodología e instrumentos de recogida de datos Definidos el problema de investigación y los objetivos a que nos proponíamos responder, se tornaba necesario definir una metodología que les permitiera darles la mejor respuesta posible.
En un primer momento, eventualmente demasiado largo, nos dedicamos a reflexionar un poco sobre problemáticas de naturaleza epistémica, inherentes a algunos conceptos metodológicos con los que tendríamos que trabajar. Aspectos como el paradigma, la metodología, el método, la técnica y los instrumentos fueron blanco de una reflexión teórica, visando un más completo esclarecimiento conceptual, con el objetivo de poder fundamentar mejor el conjunto de opciones tomadas. El propio proceso de investigación fue analizado en detalle.
La multiplicidad de interpretaciones conceptuales (modelo o paradigma, método o abordaje...) bien como alguna variedad en relación al proceso de investigación (qué fases o etapas y cuáles) acabó por desvendar una riqueza epistémica que, aunque pasible de confundir o iniciado ¿ que asumidamente somos ¿ ofrece un grado de libertad intelectual que fuerza la reflexión posible ¿ a cada uno ¿ de forma a justificar las diferentes opciones posibles.
Buscando huir siempre de un ecleticismo poco convincente y de un fundamentalismo poco flexible, acabamos optando por una postura que no colocase las diferentes opciones en campos antagónicos, sino en campos complementares, sin escamotear algunos principios de base que importa aclarar. Así, para responder a las preguntas a que nos propusimos, asumimos como base una metodología cualitativa, sin que en momento alguno nos sintiéramos impedidos de recurrir a técnicas de naturaleza cuantitativa siempre que considerásemos que esa sería la mejor opción. Fue así que conjugamos cuestionarios con análisis de contenido y procesos de inferencia, soportados en datos de naturaleza numérica o verbal (en el sentido de usar la palabra) y conjugamos extracción aleatoria con elección de participantes.
5. Fuentes de datos, instrumentos de recogida y participantes en el estudio Para responder a las interrogaciones que nuestro problema de investigación levantaba utilizamos tres fuentes de datos: datos recogidos de las personas que, en las escuelas y en las carreras, pasaron por el proceso de evaluación, independientemente de su tipo de envolvimiento en el mismo o, incluso, de su ausencia de envolvimiento. Estos datos fueron recogidos a través de dos técnicas: cuestionario y entrevista. Por último importaba confrontar las informaciones recogidas a través de aquellos dos instrumentos con los propios resultados del proceso de evaluación, materializados en los informes de las Comisiones Externas de Evaluación, a través de las recomendaciones hechas en ellos. De este modo, a parte de términos, teníamos aún una paleta de informaciones diversificada, dándonos la posibilidad de utilizar la técnica de la triangulación para confrontar los datos obtenidos y, así, obtener mayor confianza en las conclusiones que vendrían a ser retiradas.
El cuestionario fue elaborado por nosotros y los designamos por ¿Cuestionario de Evaluación de los Efectos Percibidos del Proceso de Evaluación¿. Tenía una primera parte destinada a instrucciones y a la caracterización de los participantes. Se seguían después cuatro escalas: la primera ¿Percepción de los resultados del proceso de evaluación¿, tuvo como base el guión creado por ADISPOR para la evaluación externa de carreras y las interrogaciones constantes en él y sobre las que era supuesto que aquellas comisiones se ocuparan. Era una escala multidimensional, constituida por 11 dimensiones, a través de las cuales buscamos recoger información sobre la forma cómo fueron percibidos los resultados del proceso de evaluación en diferentes dimensiones como la organización de la carrera, el funcionamiento de la carrera, equipamientos, etc.; la segunda escala, ¿Composición y adecuación del trabajo de las CEA¿, se destinaba a evaluar la percepción sobre la composición y adecuación del trabajo de las comisiones externas y, así como las siguientes, era una escala unidimensional; la tercera escala, ¿Implementación de las recomendaciones de las CEA¿, se destinaba a cuestionar sobre la implementación de las recomendaciones de las comisiones externas de evaluación y; la cuarta y última escala, ¿Apreciación global del proceso¿, se destinaba a recoger opinión sobre la apreciación global del proceso.
El cuestionario, en su proceso de construcción, fue objeto de validación por peritos, en una primera fase y, posteriormente, de validación psicométrica, habiendo sido estudiada su fidelidad a través de la determinación del coeficiente Alpha de Cronbach.
El cuestionario fue aplicado a una muestra tendencialmente la población. Buscamos que todas las personas de las escuelas ligadas a las carreras de licenciatura en Enfermería que habían estado involucradas en el proceso de evaluación, respondieran a nuestro cuestionario. Fue igualmente pedido que respondieran al cuestionario personas que, no habiendo estado involucradas directamente en el proceso de evaluación, lo hubieran acompañado. Esta estrategia permitió la participación de un conjunto de personas (n=97) que agrupamos en tres grandes clases: dirigentes o coordinadores institucionales del proceso de evaluación (32% de los participantes); docentes directamente implicados en el proceso de evaluación (32% de los participantes); y docentes sin envolverse en el proceso de evaluación (36% de los participantes).
La entrevista fue preparada bajo los mismos principios que el cuestionario, es decir, buscando enfocarse hacia los mismos aspectos. Con ella pretendíamos sobre todo una visión más profundizada de las informaciones disponibilizadas a través del cuestionario y de las recomendaciones sobre cada carrera constantes en los informes de las comisiones externas de evaluación. La entrevista era asumidamente una entrevista de modelo semiestructurado dónde, aunque se le diera total libertad a los sujetos de abordar lo que considerasen más significativo, importaba no dejar de garantizar la recogida de alguna información que, por lo menos globalmente, nos permitiese responder a los objetivos de comparabilidad que pretendíamos garantizar con los demás instrumentos de recogida de datos.
Fueron seleccionados para participar en las entrevistas dos participantes de cada una de las categorías de participantes que anteriormente identificamos (n=6). El proceso de selección de los participantes ocurrió en dos momentos: en el primero, fue realizada una extracción aleatoria de las instituciones/carreras a la que pertenecería cada participante; en el segundo fue solicitado a alguien de la institución (habitualmente el dirigente, ya que éste no fue indicado una vez que era de nuestro conocimiento) que indicase quién consideraba que podría estar en mejores condiciones de participar en la entrevista en relación con las demás categorías de participantes.
Las entrevistas, todas realizadas por el autor, fueron grabadas y posteriormente transcritas.
Nuestra última fuente de datos eran las recomendaciones de las comisiones externas de evaluación, constantes en los informes de evaluación elaborados sobre las carreras evaluadas. Consideramos, desde el inicio, que las recomendaciones serían tal vez el elemento más importante de todo el proceso de evaluación, ya que representaban sugerencias concernientes al perfeccionamiento/ mejor de las carreras.
Fueron analizados 18 informes, referentes a carreras de licenciatura en Enfermería impartidas en instituciones de la enseñanza superior politécnica o en escuelas no integradas ¿ habiendo quedado excluida la institución donde ya se había llevado a cabo, por nosotros, en un estudio previo sobre este mismo tema.
6. Análisis de los datos Los datos recogidos, dada su naturaleza, fueron objeto de dos tipos de análisis.
Los datos recogidos a través del cuestionario fueron sometidos a un análisis estadístico descriptivo. El objetivo de este trabajo, recuérdese, era el de analizar percepciones sobre el proceso de evaluación. Se trataba, pues, de identificar tendencias. No era especialmente relevante para nuestro objetivo, por lo tanto, un análisis estadístico profundizado, por lo que optamos por no realizarlo.
Los datos recogidos a través de la entrevista (más exactamente, su transcripción) y a través del análisis de las recomendaciones sugeridas por las comisiones de evaluación externa en los informes de evaluación de cada carrera, eran datos en formato de texto, los cuales se prestaban a un tratamiento diferente de los datos numéricos del cuestionario, habiendo sido sometidos a un proceso de análisis de contenido. La base de las categorías utilizadas en el análisis de contenido de las entrevistas y de las recomendaciones de los informes de evaluación externa fue la misma y correspondió a las dimensiones definidas para la organización del cuestionario, permitiendo de esta forma un análisis comparativo casi total (hubo algunas categorías resultantes del transcurso del trabajo de análisis de contenido, y criadas a posteriori) entre los datos recogidos.
6.1 La percepción de los resultados del proceso de evaluación para las carreras El análisis global de los datos recogidos a partir de las tres fuentes de datos que utilizamos, posibilitó identificar determinadas dimensiones que fueron percibidas como habiendo sido más beneficiadas, u objeto de mayor atención por parte de las CEA.
En el siguiente cuadro, y que resume los datos presentados en el Cuadro 129, se identifican solo las tres dimensiones que en relación a cada una de las fuentes de datos, fueron identificadas como aquéllas para que el proceso de evaluación fue percibido como habiendo sido más relevante:
Posición relativa de cada dimensión/categoría cuanto a la relevancia del proceso de evaluación y al número de elementos categorizados (adaptado a partir del Cuadro 129) Dimensión/Categoría Instrumento de recogida de los datos Cuestionarios Informes de las CEA Entrevistas Organización de la Carrera 2 2 Funcionamiento de la Carrera 3 Trabajo Científico Asociado a la Carrera 3 Recursos Humanos 3 1 Instalaciones Equipamientos 1 Resultados Obtenidos Ambiente Laboral Cultura de Calidad 2 1 Difusión de la Carrera Imagen Social de la Carrera En primer lugar se verifica que, para un conjunto de cinco dimensiones, los participantes en el cuestionario y en las entrevistas, por un lado, y las CEA a través de las recomendaciones constantes en sus informes, el proceso de evaluación, en el ámbito de las carreras de licenciatura en Enfermería, no fue visto como especialmente relevante. Las dimensiones son las siguientes: instalaciones, resultados obtenidos, ambiente laboral, difusión de la carrera e imagen social de la carrera.
En segundo lugar se verifica que, para el conjunto de nuestras fuentes de datos, ninguna de las otras seis dimensiones obtuvo unanimidad cuanto a la relevancia del proceso de evaluación, aunque concerniente a tres de las dimensiones exista concordancia en por lo menos dos fuentes de datos. Así:
a) Cuanto a la organización de la carrera, los datos apuntan para que los participantes en las entrevistas hayan considerado el proceso de evaluación relevante habiendo sido también ésta una de las dimensiones que identificamos con más frecuencia en los informes de las CEA;
b) Cuanto a los recursos humanos, los datos indican que para esta dimensión el proceso de evaluación fue considerado relevante por los participantes en el cuestionario, habiendo sido, todavía, la dimensión que identificamos con más frecuencia en los informes de las CEA;
c) Para la dimensión cultura de calidad, los datos indican que para esta dimensión el proceso de evaluación fue considerado relevante por los participantes en los cuestionarios y por los participantes en las entrevistas, habiendo sido el aspecto considerado más relevante por estos últimos.
En tercer lugar se verifica la existencia de tres dimensiones para las que el proceso de evaluación fue considerado especialmente relevante sólo por una de nuestras fuentes de datos. Están en este caso la dimensión equipamientos, relevante para los participantes en el cuestionario, la dimensión trabajo científico asociado a la carrera, relevante para los participantes en las entrevistas y la dimensión funcionamiento de la carrera, la tercera dimensión más referenciada en los informes de las CEA.
6.2 La composición y adecuación del trabajo de las CEA Cualquiera una de nuestras fuentes de datos (aquí sólo existían como fuentes de datos los participantes en los cuestionarios y los participantes en las entrevistas), reveló una apreciación muy positiva del trabajo de las CEA, de su composición y de su relación con las instituciones (un 70,5% de respuestas favorables en los datos recogidos a través de cuestionario). Las apreciaciones negativas concerniente al proceso, aspecto éste que está relacionado esencialmente con alguna falta de percepción e incluso explicación con respecto al proceso de composición de aquellas comisiones.
Ambas fuentes de datos consideran fundamental esta componente externa en los procesos de evaluación.
6.3 La implementación de las recomendaciones de las CEA Con nuestro trabajo buscamos verificar si habían existido impedimentos a la implementación de las recomendaciones resultantes del proceso de evaluación. Fueron recogidos datos sea a través de los cuestionarios, sea a través del proceso de entrevistas.
Fueron adelantas un conjunto de causas pasibles de haber dificultado la implementación de aquellas recomendaciones y que estaban relacionadas con aspectos de naturaleza legislativa, relacional y financiera.
Los datos permitieron concluir que ninguno de los aspectos por nosotros indicados se constituyó como impeditivo de implementación de las recomendaciones del proceso de evaluación. A través de las entrevistas fue posible apurar alguna resistencia al cambio como el principal responsable por la no implementación de aquellas recomendaciones, traducida fundamentalmente en la afirmación que, la no obligatoriedad de implementación, por un lado y la ausencia de control frente a la implementación o no, y la no aplicación, por parte de la tutela, de las consecuencias previstas en la ley para esas situaciones, por otro, serían los principales responsables por la falta de interés y empeño de las instituciones en la implementación de aquellas recomendaciones.
Aún así, en algunas dimensiones, fue afirmado que cuando hubo la necesidad de reorganizar las carreras, fuese por la implementación del Proceso de Bolonia, fuese por el trabajo de armonización de las carreras en algunas escuelas, resultante del proceso de fusión de escuelas y carreras, se verificó el cuidado de recurrir a las recomendaciones resultantes del proceso de evaluación para elaborar y fundamentar las propuestas.
Nuestros datos apuntan hacia serias dificultades en la implementación de muchas recomendaciones en las áreas de los recursos humanos e instalaciones, fundamentalmente debidas a la escasez de recursos por parte de las instituciones.
6.4 La apreciación global del proceso Los dados recogidos por nosotros indican que el proceso fue positivamente apreciado por los siguientes motivos:
a) Para promover la introducción de mejoras en las carreras;
b) Para promover una cultura de evaluación y calidad en las instituciones;
c) Para, fundamentalmente a través de la componente externa del proceso, identificar problemas y construir soluciones.
Fue referido igualmente una contribución importante del proceso de evaluación para promover la reflexión interna con relación a la escuela y a las carreras.
Sin pretender disminuir estos datos, se verifica que, a pesar de que los participantes consideren el proceso muy
