A programme level assessment system in the Faculty of Humanities and Education of Mondragon Unibertsitatea: A qualitative study of perceptions of student teachers, teacher educators, mentors, and coordinators

Abstract

Competence-based education requires an assessment system in which the set learning outcomes will be worked on and assessed over time (Norcini et al., 2018). This necessitates constructively aligned practices and a programme level approach (Biggs, 2014). However, assessment has been found to be the biggest deficit in the implementation of the Bologna Process in Spain (Villa Sánchez, 2020). Several programme level assessment system frameworks and models have been developed (Keshmiri and Heydari, 2021; Olarte-Arias et al., 2022; van der Vleuten and Schuwirth, 2005), although the resulting picture remains limited due to the fact that they are all situated within certain programmes in the medical field. Moreover, no clear consensus has been found in the literature reviewed regarding the aspects that should intentionally be considered by assessment designers when constituting programme level assessment systems. A lack of consensus on this issue may be particularly significant within the field of teacher education, as these programmes may have a prominent role to play in educating future teachers in competence-based assessment (Coombs et al., 2020). Therefore, the main aim of this study was to analyse the programme level assessment system in teacher education degrees of the Faculty of Humanities and Education of Mondragon Unibertsitatea. For this purpose, the perceptions of key stakeholders have been explored and the main areas of agreement and disagreement across these perceptions identified. Following a qualitative research approach framed within a social constructivist worldview, 23 focus groups and 16 semi-structured interviews were conducted. In total, 45 student teachers and 35 teacher educators participated in focus groups, and six mentors and two coordinators were interviewed. Data were collected twice during the 2019/2020 academic year and a combination of deductive and inductive thematic qualitative text analysis yielded a category system made up of nine main attributes: 1) assumptions, 2) alignment, 3) organisation, 4) shared understanding, 5) process of assessment, 6) participation, 7) factors of influence, 8) future proposals, and 9) feelings. These results suggest that programme level assessment systems in teacher education should be designed and implemented considering all nine attributes. This study envisions a framework for designing, implementing, and analysing programme level assessment systems in teacher education programmes and puts forward several propositions for future consideration. In view of the identified limitations, future lines of research are outlined.

Konpetentzietan oinarritutako hezkuntzak ebaluazio sistema bat eskatzen du, zeinetan ezarritako ikaste emaitzak denboran zehar landu eta ebaluatuko diren (Norcini et al., 2018). Horrek konstruktiboki lerrokatutako praktikak eta programa mailako ikuspegia eskatzen ditu (Biggs, 2014). Hala ere, ebaluazioa izan da Espainian Bolognako Prozesua ezartzerakoan identifikatu den hutsunerik handiena (Villa Sanchez, 2020). Programa mailako zenbait ebaluazio marko eta eredu garatu diren arren (Keshmiri eta Heydari, 2021; Olarte-Arias et al., 2022; van der Vleuten eta Schuwirth, 2005), esparru hori mugatua da oraindik, guztiak baitaude osasun arloko hezkuntza programen testuinguruan kokatuta. Gainera, aztertutako bibliografian ez da adostasun argirik aurkitu ebaluazioa diseinatzen dutenek programa mailako ebaluazio sistemak diseinatzen dituztenean berariaz kontuan hartu beharko lituzketen alderdiei buruz. Gai horri buruzko adostasun argirik eza bereziki adierazgarria izan daiteke irakasleen hasierako prestakuntzan, programa horiek eginkizun nabarmena izan baitezakete etorkizuneko irakasleen heziketan, bereziki, konpetentzietan oinarritutako ebaluazioaren inguruan (Coombs et al., 2020). Hori horrela, ikerketa lan honen helburu nagusia izan da analizatzea Mondragon Unibertsitateko Humanitate eta Hezkuntza Zientzien Fakultateko irakasleen hasierako prestakuntza titulazioetako programa mailako ebaluazio sistema. Horretarako, eragile nagusien pertzepzioak esploratu eta pertzepzio horien arteko adostasun eta desadostasun eremu nagusiak identifikatu dira. Paradigma sozio-konstruktibistan kokatutako ikerketa kualiatiboaren ikuspegia jarraituz, 23 talde eztabaida eta 16 elkarrizketa erdiegituratu egin dira. Guztira, 45 ikaslek eta 35 irakaslek hartu dute parte talde eztabaidetan, eta sei tutore eta bi koordinatzaile elkarrizketatu dira. Datuak bi aldiz jaso ziren 2019/2020 ikasturtean, eta testu kualitatibo tematiko deduktibo eta induktiboaren analisi konbinazioak bederatzi atributu nagusiz osatutako kategoria sistema bat osatu du: 1) suposizioak, 2) lerrokatzea, 3) antolaketa, 4) ulermen partekatua, 5) ebaluazio prozesua, 6) parte hartzea, 7) eragin faktoreak, 8) etorkizuneko proposamenak eta 9) sentsazioak. Emaitza horiek iradokitzen dute programa mailako ebaluazio sistemak, irakasleen hasierako prestakuntzan, bederatzi atributuak kontuan hartuta diseinatu eta inplementatu behar direla. Ikerketa lan honek, irakasleen hasierako prestakuntza titulazioetan, programa mailako ebaluazio sistemak diseinatu, inplementatu eta analizatzeko marko bat eskaintzen du, eta etorkizunean kontuan hartzeko hainbat proposamen aurkezten ditu. Identifikatutako ikerketa mugen aurrean, etorkizuneko ikerketa ildo berriak proposatu dira.

La educación basada en competencias requiere un sistema de evaluación en el que los resultados de aprendizaje establecidos se trabajen y evalúen a lo largo del tiempo (Norcini et al., 2018). Para ello, se necesitan prácticas alineadas constructivamente y un enfoque a nivel de programa (Biggs, 2014). Sin embargo, se ha constatado que la evaluación es el aspecto que presenta el mayor déficit en la implementación del Proceso de Bolonia en España (Villa Sánchez, 2020). Aunque se hayan desarrollado varios marcos y modelos de sistemas de evaluación a este nivel (Keshmiri y Heydari, 2021; Olarte-Arias et al., 2022; van der Vleuten y Schuwirth, 2005), el panorama resultante sigue siendo limitado, dado que todos ellos se sitúan en programas en el ámbito de la medicina. Además, en la bibliografía revisada no se ha encontrado un consenso claro sobre los aspectos que deberían tener en cuenta los que diseñan evaluaciones a la hora de constituir sistemas de evaluación a nivel de programa. La falta de consenso sobre esta cuestión puede ser especialmente significativa en el ámbito de la formación inicial del profesorado, ya que estos programas pueden tener un papel destacado en la educación de los futuros docentes en la evaluación basada en competencias (Coombs et al., 2020). Por lo tanto, el objetivo principal de este estudio era analizar el sistema de evaluación a nivel de programa en las titulaciones de formación inicial del profesorado de la Facultad de Humanidades y Ciencias de la Educación de Mondragon Unibertsitatea. Para ello, se exploraron las percepciones de los actores clave y se identificaron las principales áreas de acuerdo y desacuerdo entre estas percepciones. Siguiendo un enfoque de investigación cualitativa enmarcado en el paradigma socio-constructivista, se llevaron a cabo 23 grupos focales y 16 entrevistas semiestructuradas. En total, 45 estudiantes y 35 docentes participaron en grupos focales, y se entrevistó a seis tutores y dos coordinadores. Los datos se recogieron dos veces durante el año académico 2019/2020 y una combinación de análisis de texto cualitativo temático deductivo e inductivo conformó un sistema de categorías compuesto por nueve atributos principales: 1) supuestos, 2) alineación, 3) organización, 4) comprensión compartida, 5) proceso de evaluación, 6) participación, 7) factores de influencia, 8) propuestas futuras y 9) sensaciones. Estos resultados sugieren que los sistemas de evaluación a nivel de programa en la formación inicial del profesorado deberían diseñarse e implementarse teniendo en cuenta los nueve atributos. Este estudio ofrece un marco para el diseño, la implementación y el análisis de los sistemas de evaluación a nivel de programa en las titulaciones de formación inicial del profesorado y presenta varias propuestas para su consideración en el futuro. Teniendo en cuenta las limitaciones identificadas, se proponen futuras líneas de investigación.