교사, 문지기, 혹은 팀원: 평가 프로그램에서 슈퍼바이저의 포지셔닝(Adv Health Sci Educ Theory Pract. 2023)

교사, 문지기, 혹은 팀원: 평가 프로그램에서 슈퍼바이저의 포지셔닝(Adv Health Sci Educ Theory Pract. 2023)
Teacher, Gatekeeper, or Team Member: supervisor positioning in programmatic assessment
Janica Jamieson1,2 · Simone Gibson1 · Margaret Hay1 · Claire Palermo1

 

소개
Introduction

프로그램식 평가는 이제 의학교육 내에서 역량 기반 평가에 대한 일반적인 접근법으로 확고히 자리 잡았으며(Pearce & Tavares, 2021), 다른 학문 분야에서도 주목받고 있습니다(Bok et al., 2018; Palermo et al., 2017). 프로그램적 평가는 학생의 학습(학습을 위한 평가)을 극대화하는 동시에 학습자에 대한 정보를 제공하여 신뢰할 수 있는 평가 결정을 내릴 수 있도록 노력합니다(Torre et al., 2021).

• 이는 여러 이해관계자(학생, 감독자, 치료 수혜자, 교육자)로부터 시간이 지남에 따라 수집한 교육학적으로 정보에 입각한 저부담의 평가 순간을 사용하여, 학생에게 맞춤형의 의미 있는 피드백을 제공하고, 학습을 촉진하는 대화를 촉진함으로써 달성할 수 있습니다.
• 이러한 저부담의 데이터 요소는 학습자에 대한 전체적인 그림을 제공하고, 고부담의 평가 결정에 정보를 제공하기 위해 의도적으로 집계됩니다.
• 고부담 평가 결정은 전문가 집단의 합의 형성을 통해 이루어지며, 이는 신뢰성과 투명성을 향상시킵니다(Heeneman 외., 2021).

이러한 원칙은 고유한 상황적 요인에 대응하는 맞춤형 평가 시스템을 구축할 수 있는 토대를 제공합니다(Torre et al., 2022). 
Programmatic assessment is now firmly established as the prevailing approach to competency-based assessment within medical education (Pearce & Tavares, 2021) and is gaining traction in other disciplines (Bok et al., 2018; Palermo et al., 2017). Programmatic assessment strives to maximise student learning (assessment for learning) whilst simultaneously providing information about the learner to enable credible assessment decisions (Torre et al., 2021).

• This is achieved using pedologically informed low-stakes assessment moments, collected over time from multiple stakeholders (student, supervisor, care recipient, educator), that provide tailored and meaningful feedback to the student and promotes a dialogue that drives learning.
• These low-stakes data points are purposefully aggregated to give a holistic picture of the learner and inform high-stakes assessment decisions.
• High-stakes assessment decisions are achieved through consensus building by a collection of experts which improves the credibility and transparency (Heeneman et al., 2021).

These principles provide the foundation on which to create a bespoke assessment system that is responsive to unique contextual factors (Torre et al., 2022).

프로그램식 평가는 역량 기반 평가를 운영할 때 직면하는 문제를 해결할 수 있는 잠재력을 가지고 있기 때문에 보건 전문가 교육 커뮤니티의 반향을 불러일으켰습니다. 최근 연구에 따르면 프로그래밍 방식 평가는 학생의 학습을 촉진하는 동시에 신뢰할 수 있는 고부담 평가 결정이라는 두 가지 목적을 달성할 수 있다고 합니다. 이는 특히 커뮤니케이션 및 전문성 영역에서 저조한 성과를 조기에 발견하고 교정할 수 있도록 지원하며, 학생의 학습 이해도에 대한 통찰력을 제공합니다(Schut 외., 2021). 감독자에게 부담을 주고, 시스템을 사소하게 만들고, 학생의 피드백 추구 행동을 무력화시키는 과도한 평가 경향이 있는 프로그램 평가에는 어려움이 있습니다. 평가 데이터의 양이 질보다 우선해서는 안 되며, 이는 신뢰할 수 있는 높은 수준의 평가 결정을 내리는 데 가장 중요한 요소입니다(Schut et al., 2021). 이러한 문제는 신중한 계획과 비판적 평가를 통해 극복할 수 있습니다. 
Programmatic assessment has resonated with the health professional education community as it has the potential to remedy challenges encountered with operationalising competency-based assessment. Emerging research indicates that programmatic assessment can achieve the dual purpose of credible high-stakes assessment decisions while also promoting student learning. It supports early detection and remediation of underperformance, notably in the areas of communication and professionalism, and gives insight into student comprehension of their own learning (Schut et al., 2021). There are challenges for programmatic assessment, with a tendency for over-assessment that burdens supervisors, threatens to trivialise the system, and negates feedback-seeking behaviours in students. The quantity of assessment data should not supersede quality, as this is paramount to credible high-stakes assessment decisions (Schut et al., 2021). These challenges are surmountable with careful planning and critical evaluation.

프로그램 평가의 시급한 문제는 실행 과정에서 이해관계자, 특히 감독자가 직면하는 변화에 대한 저항입니다(Schut et al., 2021; Torre et al., 2021). 이러한 저항은 복잡하고 종종 음성화되지 않은 이유로 패러다임 전환에서 흔히 발생하지만(Watling et al., 2020), 성공적인 교육 변화를 달성하기 위해서는 다양한 이해관계자를 통합해야 할 필요가 있습니다(Torre et al., 2021; van der Vleuten et al., 2015). 프로그램적 평가는 관련된 사람들의 동의와 믿음이 중요하며 성공은 모든 이해관계자의 검증에 달려 있다는 원칙에 기초합니다(Pearce & Tavares, 2021; van der Vleuten 외., 2012). 프로그램 평가에 대한 감독자의 인식된 입장과 반응을 이해하는 것은 실행을 지원하기 위해 필요합니다. 프로그램적 평가의 실행을 가능하게 하거나 저해하는 요인(Schut 외, 2021; Torre 외, 2021, 2022)과 시스템 내에서 활동하는 이해관계자가 평가 정보의 채택 및 사용에 어떤 영향을 미치는지 조명할 필요가 있습니다(Telio 외, 2016; Watling & Ginsburg, 2019). 

The exigent issue for programmatic assessment is resistance to change encountered from stakeholders, particularly supervisors, during implementation (Schut et al., 2021; Torre et al., 2021). Such resistance is commonplace in paradigm shifts for complex and often unvoiced reasons (Watling et al., 2020) and yet there is a need to unify the varied stakeholders to achieve successful educational change (Torre et al., 2021; van der Vleuten et al., 2015). Programmatic assessment was founded on the principle that buy-in, and belief by the people involved is crucial and that success is contingent on validation by all stakeholders (Pearce & Tavares, 2021; van der Vleuten et al., 2012). Understanding supervisors’ perceived positions and reactions to programmatic assessment is necessary to support implementation. There is a need to illuminate factors that enable or inhibit implementation of programmatic assessment (Schut et al., 2021; Torre et al., 2021, 2022) and how stakeholders operating within the system influence the adoption and use of assessment information (Telio et al., 2016; Watling & Ginsburg, 2019).

직장에서 이루어지는 평가는 평가 프로세스를 수행하고 철학을 구현하는 데 중요한 역할을 하는 직장 감독자로서 실무자의 참여에 의존합니다. 교사는 교육 전반에 걸쳐 학습자에게 강력한 영향을 미치며(Hattie, 2009; Stenfors-Hayes 외., 2010), 교사의 특성과 기술은 학생의 학습에 중요한 결정 요인입니다(Cantillon 외., 2019; Rees 외., 2020b). 안전한 학습 환경을 조성하기 위해 지지적인 학생-감독자 관계를 발전시킬 필요가 있기 때문에 학습을 위한 평가 맥락에서 감독자의 역할은 더욱 높아집니다(Konopasek 외., 2016). 보건 전문가 교육에서 이러한 관계는 단기간에 형성되며 업무 외적인 요구로 인해 복잡해집니다. 이전 연구에서는 프로그램 평가와 상호 작용하여 성공에 영향을 미치는 무언의, 그러나 영향력 있는 문화적 및 관계 역학이 밝혀졌습니다(Jamieson 외., 2021). 따라서 저희는 슈퍼바이저가 프로그래밍 방식의 평가를 어떻게 경험하는지 이해하고 실행에 미치는 잠재적 영향을 규명하고자 했습니다.  
Assessment that occurs in the workplace relies on the participation of practitioners, as workplace supervisors, who have a crucial role in undertaking assessment processes and embodying the philosophies. Teachers have a powerful influence on the learner that holds true across the educational spectrum (Hattie, 2009; Stenfors-Hayes et al., 2010) and their attributes and skills are critical determinants to student learning (Cantillon et al., 2019; Rees et al., 2020b). The role of a supervisor is further elevated within the assessment for learning context as there is a need to develop a supportive student-supervisor relationship to cultivate a safe learning environment (Konopasek et al., 2016). In health professional education, these relationships are forged over short durations and are complicated by extraneous workplace demands. Our previous research revealed unspoken, yet influential, cultural and relationship dynamics that interacted with programmatic assessment to influence success (Jamieson et al., 2021). We therefore sought to understand how supervisors experienced programmatic assessment and elucidate potential influences on implementation.

포지셔닝 이론
Positioning Theory

포지셔닝 이론은 사회심리학의 한 분야로, 사람과 집단이 사회적 상호작용에서 다른 사람과 비교하여 자신을 포지셔닝하기 위해 담화를 사용하는 방법을 탐구하고 설명하고자 합니다(Green et al., 2020). 사회 구성주의에 기반을 둔 이 접근법은 데이비스와 하레(1990)의 공동 연구에서 비롯되었으며, 언어 철학, 언어학 및 언어 행위 이론에 뿌리를 두고 있습니다(McVee et al., 2018). 포지션은 개인과 개인이 속한 환경 내에서 자신의 역할을 수행하는 방식에 따라 달라집니다. 사람들은 자신의 경험과 관련하여 내재적이지만 유동적인 포지션을 갖는 것으로 인식됩니다(McVee 외, 2018). 
Positioning Theory is a branch of social psychology which seeks to explore and explain how people and groups use discourse to situate themselves, relative to others, within social interactions (Green et al., 2020). The approach, grounded in social constructionism, arose from a collaboration between Davies and Harré (1990) and is rooted in the philosophy of language, and linguistics and speech act theory (McVee et al., 2018). Positions are responsive to the individual and how they enact their role within their environment. People are perceived as having inherent but fluid positions with reference to their own experience (McVee et al., 2018).

포지셔닝 이론은 포지션, 행동, 스토리라인이라는 삼각형으로 개념화된 상호 연관된 세 가지 기둥을 포함합니다.

• 포지션은 개인에게 채택되거나 부여된 분쟁의 여지가 있는 권리와 의무의 집합입니다.
  • 의무는 권력을 가진 한 개인이나 집단이 내재적 취약성으로 인해 다른 개인이나 집단에 대해 져야 하는 의무입니다.
  • 권리는 다른 사람 또는 그룹이 보유한 권력에 대한 취약한 사람 또는 그룹의 자격입니다.
  • 포지셔닝(권리와 의무)는 타인에 의해 부여되거나 부과될 수 있고, 개인이 채택할 수도 있습니다(Harré & Moghaddam, 2003).
• 행동은 개인이 자신의 지위와 관련하여 수행하는 관행과 내러티브입니다. 행동은 의미가 있으며 말, 움직임, 제스처로 나타날 수 있습니다. 행동은 사회적 에피소드와 개인에 따라 다르게 해석될 수 있습니다.
• 스토리라인은 사회적 상호 작용을 뒷받침하고 지시하는 논리와 관습, 내러티브의 집합입니다(Davies & Harré, 1990; Harré, 2012). 한 개인이나 집단의 권리는 다른 사람의 의무를 선동할 수 있으며, 이는 스토리라인의 맥락에서 행동으로 표현됩니다.

이 세 가지 요소는 재귀적으로 상호 작용하여 사회적 상황 내에서 개인의 포지셔닝은 자신이 할 수 있고 기꺼이 할 수 있는 일과 특정 맥락 내에서 허용되는 일 사이의 역동적인 상호작용입니다(Bourgeois-Law 외., 2020). 

Positioning Theory encompasses three interrelated pillars, conceptualised as a triangle—positions, actions, and storylines. 

• Positions are a group of disputable rights and duties either adopted or assigned to individuals.
  • A duty is an obligation owed by one person or group, who holds power, to another person or group due to their inherent vulnerability.
  • Rights are the entitlements of a vulnerable person or group with respect to the power held by another person or group.
  • Positioning (rights and duties) can be both granted or imposed to or by others and adopted by individuals (Harré & Moghaddam, 2003). 
• Actions are the practices and narratives undertaken by individuals related to their position. They are meaningful and can manifest as speech, movement, and gestures. Actions can be interpreted differently dependent on the social episode and the individual. 
• Storylines are logics and conventions, a collection of narratives, underpinning and dictating social interactions (Davies & Harré, 1990; Harré, 2012). The perceived rights of a person or group can incite the duties of another, which is expressed as actions within the context of a storyline.

The three pillars recursively interact so that one’s positioning within a social situation is a dynamic interplay between what they are capable and willing to do, and what they are permitted to do within the specific context (Bourgeois-Law et al., 2020).

포지셔닝 이론은 의료 전문직 교육에 적용되어 교육 이니셔티브(Møller & Malling, 2019), 동료 교정(Bourgeois-Law 외, 2020), 특정 의료 서비스 내에서의 실무자 포지셔닝(Andreassen & Christensen, 2018; Williams 외, 2015), 학생 정체성 형성(Monrouxe, 2010), 시뮬레이션 학습(Christensen 외, 2017; Sargeant 외, 2016), 피드백(Clarke & Molloy, 2005), 의료 교육자의 책임(Hu 외, 2019) 등을 탐구하는 데 활용되어 왔습니다. 우리가 아는 한 포지셔닝 이론은 아직 프로그램 평가에 적용되지 않았습니다. 포지셔닝 이론을 설명 도구로 사용하면 권력, 영향력, 제도적, 문화적, 사회적 규범, 가치, 내재적 및 부여된 지위에 대한 일상적인 사회적 에피소드를 조사할 수 있습니다. 이를 통해 사람들이 사회적 상황에 고유하게 반응하는 이유에 대한 통찰력을 얻을 수 있으며, 이를 통해 개입을 이해하고 갈등을 해결하여 긍정적인 변화에 영향을 미칠 수 있습니다(Green et al., 2020). 따라서 포지셔닝 이론은 직위와 책임, 개인의 가치와 문화적 관행의 영향에 대한 중요한 통찰력을 제공하므로 프로그램 평가를 탐구하는 데 매우 적합하고 참신한 렌즈입니다. 포지셔닝 이론을 바탕으로 최근 시행된 프로그램 평가에서 슈퍼바이저가 자신의 포지셔닝을 어떻게 경험하고 인식하는지 이해하고자 했습니다. 
Positioning Theory has been applied to health profession education to explore training initiatives (Møller & Malling, 2019), peer remediation (Bourgeois-Law et al., 2020), practitioner positioning within specific health services (Andreassen & Christensen, 2018; Williams et al., 2015), student identity formation (Monrouxe, 2010), simulation learning (Christensen et al., 2017; Sargeant et al., 2016), feedback (Clarke & Molloy, 2005), and medical educator responsibilities (Hu et al., 2019). To our knowledge, Positioning Theory has not yet been applied to programmatic assessment. When used as an explanatory tool, Positioning Theory allows examination of everyday social episodes for power, influence, institutional, cultural, and social norms, values, and inherent and granted status. This provides insight into why people uniquely respond to social situations which can then be used to understand interventions and address conflict, which in turn can be used to affect positive change (Green et al., 2020). As such, Positioning Theory is a well suited, and novel, lens to explore programmatic assessment as it provides critical insight into the positions and responsibility, and the influence of personal values and cultural practices. Informed by Positioning Theory, we sought to understand how supervisors experienced and perceived their positioning within recently implemented programmatic assessment.

연구 방법
Methods

연구 맥락
Research context

이 질적 연구는 이론에 기반한 귀납적 데이터 분석을 사용하여 연구 질문을 탐구하고자 했습니다. 이 접근 방식에서는 연구자가 데이터 수집 초기 단계 또는 수집 후에 이론을 적용하여 해석을 구체화합니다. 연구자는 현상에 대한 예비적 이해를 한 다음, 이론을 적용하여 데이터 탐색을 심화합니다(Varpio et al., 2020). 본 연구의 저자들은 감독자들 사이에서 저항을 드러낸 프로그램적 평가의 실행에 대한 이전 평가에 참여했습니다(Jamieson et al., 2021). 프로그램 평가 시행의 어려움에 관한 연구가 부족하다는 점을 고려할 때, 우리는 이 주제를 이론적 렌즈를 적용하여 데이터를 해명함으로써 더 비판적으로 탐구할 필요가 있다고 생각했습니다. 두 명의 저자(CP 및 SG)가 감독자를 포함한 프로그램 평가에 대한 별도의 평가에 참여했습니다(Dart et al., 2021). 이는 맥락과 참여자가 비슷한 두 데이터 세트를 결합하고 이론에 기반한 귀납적 접근 방식을 적용하여 더 큰 표본 크기를 사용하여 데이터를 비판적이고 엄격하게 탐색할 수 있는 특별한 기회를 제공했습니다.  

This qualitative study sought to explore the research question using theory-informing inductive data analysis. In this approach, researchers apply a theory in the early stages of, or after, data collection to shape interpretation. Researchers have a preliminary understanding of the phenomenon and then apply a theory to deepen the exploration of the data (Varpio et al., 2020). The authors of the present study were involved in a previous evaluation of the implementation of programmatic assessment which revealed resistance among supervisors (Jamieson et al., 2021). Given the paucity of research regarding the challenges of implementing programmatic assessment, we believed this theme warranted further critical exploration by applying a theoretical lens to elucidate the data. Two authors (CP and SG) were involved in a separate evaluation of a programmatic assessment which also included supervisors (Dart et al., 2021). This provided a unique opportunity to combine the two datasets, which had similar context and participants, and apply a theory-informing inductive approach to explore the data critically and rigorously using a larger sample size.

이 연구는 구성주의적 인식론에 기반을 두고 있습니다. 구성주의는 지식이 맥락의 영향을 받는 사회적 상호작용을 통해 가변적으로 형성되며, 이는 다양한 구성과 행동을 유발한다고 가정합니다(Rees et al., 2020a). 이러한 인식론에 따라 이 연구는 연구팀의 이전 연구에서 밝혀진 바와 같이 프로그래밍 방식의 평가 도입에 따른 입장의 변화를 더 깊이 이해하고자 하는 호기심에서 시작되었습니다. 참가자는 직장 슈퍼바이저로서의 역할에서 프로그램 평가에 대한 친밀한 경험을 바탕으로 선정되었습니다. 선택한 정성적 데이터 방법인 포커스 그룹과 인터뷰를 통해 대화, 경험, 감정, 책임에 대한 설명을 들을 수 있었습니다. 이론을 바탕으로 한 귀납적 데이터 분석 접근 방식에 따라 포지셔닝 이론을 데이터 분석에 적용하여 연구 질문에 따른 이해 패턴을 구성했습니다. 
This research is situated within a constructionist epistemology. Constructionism posits that knowledge is variably formed through social interactions, influenced by context, that give rise to different constructs and behaviours (Rees et al., 2020a). Aligning with this epistemology, this research began with a curiosity to further understand the changes in positions that occurred with the introduction of programmatic assessment, as revealed in earlier research by the team. Participants were selected based on their intimate experience of programmatic assessment in their role as workplace supervisors. The selected qualitative data methods, focus groups and interviews, allowed for conversations, recounts of experiences, emotions, and responsibilities to be elucidated. Positioning Theory was applied to data analysis, consistent with a theory-informing inductive data analysis approach, to construct a pattern of understanding in accordance with the research question.

설정
Setting

A 대학(에디스 코완 대학)과 B 대학(모나쉬 대학)은 호주에 있는 교육기관으로, 2년제 영양학 석사 과정에 100일간의 의무 배치 프로그램을 포함하여 학생들이 직장 감독자의 감독 하에 실제 학습 과제에 참여하도록 하고 있습니다. 두 과정 모두 주요 이해관계자가 참여하여 각자의 프로그램 평가 접근 방식을 점진적으로 설계하고 이후 실행에 옮겼습니다.
University A (Edith Cowan University) and University B (Monash University) are Australian institutions that have an accredited 2-year master dietetic course that included a mandatory 100-day placement program where students participated in authentic learning tasks under the supervision of workplace supervisors. Both courses engaged key stakeholders to progressively design their respective programmatic assessment approaches with subsequent implementation.

A 대학의 영양학 과정은 10년 전에 개설되어 매년 15~20명의 학생이 졸업하고 있습니다. 이 과정의 20주 배치 구성 요소에 대한 프로그램적 평가는 감독자와 교직원이 참여하는 참여형 행동 연구 접근법을 사용하여 개발되었습니다(Jamieson et al., 2021). 배치 기간 동안 학생들은 슈퍼바이저 평가, 사례 노트 및 보고서와 같은 학습 과제 결과물, 자기 성찰, 동료 피드백 및 고객 관점을 포함한 성과 증거를 수집해야 했습니다. 이러한 항목은 저부담 평가로 간주되어 학생이 대학 직원의 지원을 받아 포트폴리오로 작성했습니다. 이 포트폴리오는 대학 교직원 패널에 의해 결정되는 고부담 평가의 기초가 되었습니다. 프로그램 평가는 2016년에 시행되었으며 설명한 대로 실제로 계속 시행되고 있습니다. 
The dietetic course at University A was established 10 years ago and has 15–20 students graduate each year. Programmatic assessment was developed for the 20-week placement component of the course using a participatory action research approach which engaged supervisors and academic staff (Jamieson et al., 2021). During the placement, students were required to collect performance evidence which included supervisor appraisals, learning task artefacts such as case notes and reports, self-reflections, peer feedback, and client perspectives. These items were considered low-stakes assessments and were compiled by the student, with support from university staff, into a portfolio. The portfolio formed the basis for the high-stakes assessment which was determined by a panel of university staff. The programmatic assessment was implemented in 2016 and continues in practice as described.

B 대학은 데이터 수집 시점에 매년 55~65명의 영양학 전공 학생을 졸업시켰으며, 20년 동안 영양학 전공을 개설해 왔습니다. 프로그램 평가는 학습자, 대학 교수진 및 감독자가 참여하는 반복적이고 협의적인 접근 방식을 사용하여 22주 배치 과정을 포함한 2년 석사 과정 전체에 대해 개발되었습니다. 프로그램 평가는 2018년에 도입되었습니다(Dart et al., 2021). 프로그래밍 방식 평가는 40개의 개별 평가 과제로 구성되었으며, 개별적으로는 모두 총괄적 저부담을 차지하지만 다양한 순서로 결합하면 대학에서 학생의 진도를 판단하는 데 사용되었습니다. 두 과정 모두 시행 후 2년 이내에 각각의 프로그램 평가를 평가했습니다. 연구 및 B 대학 데이터를 사용한 2차 분석에 대한 승인은 두 기관 모두에서 획득했습니다(모나쉬 대학교 인간연구윤리위원회 승인 번호. 19967 및 에디스 코완 대학교 인간연구윤리위원회 승인 번호. 12549).
University B graduated 55–65 dietetic students each year at the time of data collection and has offered studies in dietetics for 20 years. The programmatic assessment was developed for the entirety of the 2-year masters, including the 22-week placement, using an iterative and consultative approach involving learners, university faculty, and supervisors. The programmatic assessment was introduced in 2018 (Dart et al., 2021). The programmatic assessment was comprised of 40 individual assessment tasks, all summative, low-stakes individually but when combined in various sequences were used by the university to judge student progression. Both courses evaluated their respective programmatic assessments within 2 years of implementation. Approval for the research, and the secondary analysis using University B data, was obtained at both institutions (Monash University Human Research Ethics Committee approval no. 19967 and Edith Cowan University Human Research Ethics Committee approval no. 12549).

데이터 수집
Data collection

A 대학의 참가자는 2016년 또는 2017년에 처음으로 프로그램 평가에 참여한 감독자였습니다. 참가자는 자격을 갖춘 개인에게 참여를 권유하는 이메일을 보내는 자기 선택 샘플링을 통해 모집되었습니다(n = 169). 포커스 그룹이 시작될 때 서면 동의와 인구통계학적 데이터를 확보했습니다. 반구조화된 포커스 그룹은 2016년과 2017년에 참가자의 직장에서 한 차례의 원격 회의와 수도권 외 지역에 거주하는 사람들을 위한 화상 회의 세션을 통해 진행되었습니다. 포커스 그룹 질문은 문헌(van der Vleuten 외., 2012), 워킹 그룹 우선순위(Jamieson 외., 2021), 동일한 감독자 코호트에서 작성한 설문지에서 도출되었습니다. 포커스 그룹은 30분에서 90분 정도 소요되었으며 제1저자가 진행했습니다. 모든 세션은 오디오로 녹음되었고 연구자는 메모를 작성했으며(Barbour & Flick, 2018), 이후 데이터는 그대로 전사되고 비식별화되었습니다. 
Participants from University A were supervisors who had engaged with the programmatic assessment for the first time in either 2016 or 2017. Participants were recruited using self-selection sampling whereby an email was sent inviting eligible individuals to participate (n = 169). Written consent and demographic data were obtained at the commencement of the focus group. Semi-structured focus groups were held in 2016 and 2017 at the participants place of employment with one teleconference and one videoconference session for those living outside the metropolitan area. Focus groups questions were derived from the literature (van der Vleuten et al., 2012), working group priorities (Jamieson et al., 2021), and a questionnaire completed by the same cohort of supervisors. Focus groups were between 30 and 90 min in length and conducted by the first author. All sessions were audio recorded and the researcher took notes (Barbour & Flick, 2018), data was subsequently transcribed verbatim and de-identified.

B 대학 평가는 같은 해에 프로그램 평가가 시행된 후 2019년에 실시되었으며 졸업생, 지도교수 및 대학 교직원을 대상으로 실시되었습니다. 본 연구에서는 연구 질문에 따라 수퍼바이저로부터 수집한 데이터만 포함했습니다. 22주 배치에서 프로그램 평가에 참여한 수퍼바이저를 모집하기 위해 다양한 환경과 수퍼비전 경험에서 최대 변동 샘플링을 사용했습니다. 수퍼바이저들은 이메일(n = 60)로 참여 초대를 받았으며 인터뷰에 동의한 후 참여에 동의했습니다. 연구팀(저자 SG 포함)은 인구통계학적 질문부터 시작하여 참가자의 프로그램 평가에 대한 이해와 경험을 탐색하는 일대일 전화 반구조화 인터뷰를 실시했습니다. 인터뷰는 오디오 녹음, 필사 및 분석을 위해 비식별화되었습니다. 부록 표 1에는 A 대학 포커스 그룹과 B 대학 인터뷰 질문을 연계한 질문 로직이 제시되어 있습니다. 
The University B evaluation occurred in 2019 after the implementation of the programmatic assessment in the same year and included graduates, supervisors, and university staff. For the purposes of the present study, only the data collected from supervisors was included in accordance with the research question. Maximal variation sampling was used to recruit supervisors who had engaged with the programmatic assessment in the 22-week placement from across settings and supervision experience. Supervisors were invited to participate by email (n = 60) and consented to participation upon agreeing to an interview. One-on-one telephone semi-structured interviews were conducted by the research team (which included author SG) commencing with demographic questions and then exploring participant understanding and experience of the programmatic assessment. The interviews were audio recorded, transcribed and de-identified for analysis. Supplementary Table 1 presents the inquiry logic aligning the University A focus group and University B interview questions.

데이터 분석
Data analysis

B 대학 인터뷰 기록은 NVivo™로 가져와서 한 명의 저자가 원래 연구의 A 대학 데이터에 적용된 것과 동일한 프레임워크를 사용하여 분석했습니다. 이 예비 분석을 통해 B 대학 데이터 세트에 권력, 권위, 저항 코드가 존재함을 확인하여 추가 분석이 필요함을 확인했습니다. 그런 다음 저자들은 적합한 이론을 찾기 위해 문헌 검색을 실시했습니다. 포지셔닝 이론은 프로그램 평가 이해관계자의 권리와 의무를 이해하는 설명 도구를 제공하고, 진실은 언어와 행동 안에 있으며 '개인 간의 대화적 거래'로 존재한다는 구성주의적 접근 방식과 일치하므로 적절한 선택으로 간주되었습니다(Rees et al., 2020a). 두 대학의 데이터는 프레임워크 분석 방법(Gale et al., 2013)을 사용하여 분석하기 위해 NVivo™로 가져왔고 포지셔닝 이론을 통해 정보를 얻었습니다.

• 한 명의 저자가 귀납적으로 두 대학의 성적표를 포함한 5개의 성적표를 코딩하여 설명적 진술과 예시적 인용을 포함하는 초기 분석 프레임워크를 개발했습니다. 이를 위해 코드를 직위, 의무, 권리 및 책임과 관련된 범주로 그룹화했습니다.
• 이 코딩과 프레임워크는 두 번째 저자가 검토하여 여러 하위 코드를 서로 통합하고, 다른 하위 코드는 설명과 더 잘 일치하도록 이름을 바꾸고, 4개의 새로운 하위 코드를 추가했습니다. 이러한 추가 코드에는 게이트키퍼, 문화와 차별, 권위와 통제, 평가자로서의 학생 등이 포함되었으며, 이는 결과적인 포지셔닝 이론에서 두드러지게 나타났습니다.
• 최종 프레임워크에는 7개의 코드와 29개의 하위 코드가 포함되었습니다[부록 표 2].
• 그런 다음 프레임워크를 NVivo™로 가져와서 한 명의 저자가 원래 코딩한 5개의 코드를 포함한 모든 녹취록에 적용했습니다. 각 녹취록에 코딩된 모든 텍스트가 포함된 프레임워크 매트릭스를 NVivo™를 사용하여 생성하고 Microsoft Excel로 내보냈습니다. 

The University B interview transcripts were imported into NVivo™ and analysed by one author using the same framework applied to the University A data in the original study. This preliminary analysis confirmed the presences of power, authority, and resistance codes within the University B dataset, warranting further analysis. The authors then conducted a search of the literature to identify a suitable theory. Positioning Theory was deemed an appropriate choice as it provided an explanatory tool to understand the rights and duties of programmatic assessment stakeholders and aligned with the underpinning constructionist approach that truth lies within language and actions and exists as a ‘dialogic transaction between individuals’ (Rees et al., 2020a). The data from both universities were imported into NVivo™ for analysis using the framework analysis method (Gale et al., 2013) and informed by Positioning Theory.

• One author inductively open coded five transcripts, including those from both universities, to develop an initial analytical framework which included descriptive statements and illustrative quotations. This was achieved by grouping the codes into categories with reference to positions, duties, rights, and responsibilities.
• This coding and framework were reviewed by a second author with several sub-codes collapsed into each other, others re-named to better align with the description, and the addition of four new sub-codes. These additional codes included gatekeeper, culture and discrimination, authority and control, and student as assessor, which were salient to the resultant positioning theory.
• The final framework included seven codes and 29 sub-codes [Supplementary Table 2].
• The framework was then imported into NVivo™ and applied to all transcripts, including the five originally coded, by one author. A framework matrix containing all coded text across each transcript was generated using NVivo™ and exported to Microsoft Excel.

한 명의 저자가 프레임워크 매트릭스를 한 줄씩 읽으면서 담화적 표식, 비언어적 행위, 분열적 언어, 감정을 식별했습니다. 이 단계에서는 대명사 마커의 사용에 특히 주의를 기울였습니다. 대명사에 초점을 맞추면서 참가자들이 자신과 다른 사람, 일반적으로 학생과 대학 교직원 사이에서 인식하는 힘의 균형을 조명하고자 했습니다. 대명사 사용의 전환은 권력에 대한 포지셔닝의 변화를 드러내기 때문에 주목하고 기록했습니다(Harré & Moghaddam, 2013; Loo et al., 2019).

• 대명사 I와 me는 개인적인 신념과 생각, 자아에 대한 초점 또는 타인과의 거리를 나타내기 위해 사용되었고,
• we와 us는 연대, 그룹 구성원 및 그룹 구성원을 대표하는 것으로 가정된 권위를 암시했으며,
• you는 특정 사람, 상황 또는 아이디어로부터 배제하거나 거리를 두는 것을 제안했습니다(Loo et al., 2019).
• 인터뷰와 포커스 그룹이 대학 교직원에 의해 수행되었기 때문에 you라는 사용은 연구자와 소속 대학을 지칭하기도 했습니다.

대명사에 주의를 기울임으로써 참가자들이 다른 사람들에 비해 자신을 어떻게 포지셔닝하는지, 그리고 다른 방법으로는 간과했을 수 있는 무언의 권력 역학 관계에 대한 귀중한 통찰력을 얻을 수 있었습니다. 관련성이 있는 경우, 참가자들이 대명사를 많이 사용한 부분은 결과 내에서 굵은 따옴표로 표시했습니다.

One author conducted a line-by-line reading of the framework matrix to identify discursive markers, illocutionary acts, divisive language, and emotions. Particular attention to the use of pronominal markers was given at this stage. Focusing on pronouns sought to illuminate the power balance as perceived by participants between themselves and others, with others commonly being students and the university staff. Switches in the use of pronouns were noted and recorded as these reveal changes to positioning relative to power (Harré & Moghaddam, 2013; Loo et al., 2019).

• The pronouns I and me were taken to indicate personal beliefs and ideas, a focus on the self, or distancing from others; 
• we and us implied solidarity, group membership and an assumed authority to represent group members; 
• you suggested excluding or distancing from a person, situation, or idea (Loo et al., 2019).
• The use of you also referred to the researcher and their affiliated university as interviews and focus groups were conducted by university staff.

The heeding of pronouns provided valuable insight into how participants positioning themselves relative to others and unspoken power dynamics which may have been otherwise overlooked. Where relevant, significant use of pronouns by participants has been indicated in bold in quotes within the results.

프레임워크 매트릭스를 반복적으로 읽고 원본 녹취록과 상호 참조하여 데이터를 감독자의 직위, 의무 및 책임으로 종합했습니다. 직위(1순위, 2순위 또는 3순위), 의도성(암묵적, 고의적 또는 강제적), 포지셔닝 주체(자기 또는 타인)에 주의를 기울였습니다(Dennen, 2011; Hu et al., 2019). 

• 첫 번째 순서 포지셔닝에서 개인은 도전 없이 그 위치를 수락하거나 가정하고, 
• 두 번째 순서 포지셔닝에서는 거부 또는 저항이 있으며 재포지셔닝이 발생할 수 있으며, 
• 세 번째 순서 포지셔닝은 회고적 거부 또는 재포지셔닝이 포함될 수 있는 사회적 에피소드를 회상하는 것을 수반합니다. 

포지셔닝은

• 암묵적으로 가정되거나(암묵적 의도),
• 적극적으로 의도를 가지고 발생하거나(고의적 의도),
• 다른 사람에 대한 반응으로 발생할 수 있습니다(강제적 의도). 

Through repeated readings of the framework matrix and cross-referencing with the original transcripts, the data was synthesised into positions, duties, and responsibilities of supervisors. Attention was paid to the position (first order, second order or third order), intentionality (tacit, deliberate or force), and positioner (self or others) (Dennen, 2011; Hu et al., 2019).

• In first order positioning the individual accepts or assume the position without challenge;
• in second order positioning there is rejection or resistance, and re-positioning may occur; and 
• third order positioning involves the recall of social episodes which may involve retrospective rejection or re-positioning.

Positions can

• implicitly be assumed (tacit intention), arise
• actively and with intent (deliberate intention), or
• occur in response to another (forceful intention).

결과 해석을 위해 각 참가자의 실습 환경과 소속 대학을 기록했습니다. 종합 결과는 두 번째 저자가 검토했으며, 두 저자가 함께 모여 최종 분석 및 이론에 대한 합의에 도달하기 위해 논의했습니다.
The practice setting and affiliated university for each participant was recorded for interpretation of the results. The synthesis was reviewed by a second author with both authors coming together in discussion to reach agreement on the final analysis and theory.

반사성
Reflexivity

제1저자(JJ)는 A 대학의 배치 코디네이터이자 강사였으며 다른 동료들과 함께 프로그램 평가의 개발을 담당했습니다. JJ는 자신의 경험에서 비롯된 평가를 변화시키고자 하는 동기를 가지고 A 대학의 프로그램 평가와 직업적, 개인적 관계를 맺고 있었습니다. CP와 SG는 B대학의 학자였으며 동료들과 함께 학업 및 업무 환경에서 프로그램 평가의 개발 및 실행을 주도했습니다. 이러한 성향은 연구 주제에 대한 본질적인 맥락적 이해를 제공합니다(Berger, 2015). 또한 열망과 이상, 미리 정해진 판단과 편견을 불러일으키기도 합니다. 연구자는 연구 과정에서 배제될excised 수 없으며, (우리의 신념에 따라) 배제되어서도 안 됩니다. 오히려 이러한 포지셔닝이 연구의 모든 측면에 미치는 영향을 인식하고 그 영향을 완화하기 위해 반사성을 채택해야 합니다(Soedirgo & Glas, 2020).

The first author (JJ) was a placement coordinator and lecturer at University A and was responsible, with other colleagues, for the development of the programmatic assessment. JJ had a professional and personal connection to the programmatic assessment at University A with the motivation to transform the assessment arising from her own experiences. CP and SG were academics at University B and, with their colleagues, led the development and implementation of programmatic assessment across the academic and work settings. This propinquity gives an intrinsic contextual understanding of the research topic (Berger, 2015). It also gives rise to aspirations and ideals, predetermined judgements, and biases. The person cannot, and (by our beliefs) should not, be excised from the research process. Rather the impact of this positioning on all aspects of the research should be recognised and reflexivity adopted to mitigate the impact (Soedirgo & Glas, 2020).

각 포커스 그룹과 인터뷰는 진실성을 추구하며 진행자/면접자는 대학 직원이 아니라 호기심 많은 연구자라는 성명서를 큰 소리로 읽는 것으로 시작되었습니다. 이 성명서의 의도는 두 가지였습니다.

• 첫째, 모든 당사자 간에 연구자의 역할을 명확히 하려는 것이었습니다. 이 문장의 효과와 참가자들이 어떻게 해석했는지는 추론할 수 없습니다. 참가자들은 대학의 위치에 대해 논의할 때 '당신'이라는 대명사를 자주 사용했는데, 이는 진행자나 인터뷰어를 중립적인 당사자로 인식하지 않았음을 시사합니다.
• 둘째, 가장 중요한 것은 이 문장이 진행자/면담자가 세션을 통해 자신의 판단과 편견을 인식하게 하는 역할을 했다는 점입니다. 저자들은 모두 질적 연구와 보건 전문가 교육에 대한 폭넓은 경험을 가지고 있었으며, 연구의 모든 단계에서 서로의 데이터 해석에 이의를 제기했습니다. 

 

Each focus group and interview commenced by reading aloud a statement that truthfulness was sought, and that the facilitator/ interviewer was, in that moment, not a university staff member but a curious researcher. The intent of this statement was two-fold.

• Firstly, it sought to make explicit between all parties the role of the researcher. The effectiveness of this and how it was interpreted by participants cannot be deduced. Participants frequently used the pronoun you when discussing the positioning of the university which suggests that they did not identify the facilitator or interviewer as a neutral party.
• Secondly, and most importantly, the statement served to bring awareness to the facilitator/ interviewer of their own judgements and biases through the session. As authors we all had extensive experience in qualitative research and health professional education and challenged each other’s interpretation of the data through all stages of the research.

연구 결과
Results

A 대학 수퍼바이저를 대상으로 9개의 포커스 그룹(참가자 수 32명)을, B 대학 수퍼바이저를 대상으로 12개의 인터뷰를 진행했습니다. 이를 통해 두 기관 모두에서 44명의 감독자 의견을 수집하여 데이터 분석에 활용했습니다. 참가자 특성은 표 1에 나와 있습니다. 참가자들은 대부분 병원(n = 34명) 또는 1차 예방 부문(예: 비영리, 공중보건)에 종사하는 숙련된 실무자 및 평가자였습니다(n = 10명). 여성화된 호주의 영양사 인력을 반영하듯 여성으로 확인된 참가자의 비율이 더 높았습니다(호주 보건 인력, 2014). 

Nine focus groups (n = 32 participants) were held with University A supervisors and 12 interviews for University B. This provided 44 supervisors voices across both institutions for data analysis. Participant characteristics are presented in Table 1. Participants were mostly experienced practitioners and assessors, employed in either the hospital (n = 34) or primary prevention sector (e.g., not-for-profit, public health) (n = 10). A greater proportion of participants identified as female reflecting the feminized Australian dietetic workforce (Health Workforce Australia, 2014).

프로그램 평가의 맥락에서 학생 감독에 대해 논의할 때 감독자는 세 가지 중 두 가지 방식으로 자신을 포지셔닝했습니다. 첫 번째, 교사는 모든 참가자가 설명했으며 핵심 권리와 의무를 반영했습니다. 또한 슈퍼바이저는 게이트키퍼 또는 팀원으로서 자신을 포지셔닝했는데, 이 두 가지 포지션은 서로 대립되는 상호 배타적인 입장이었습니다. 그림 1은 이 세 가지 입장을 보여줍니다.

When discussing student supervision, within the context of programmatic assessment, supervisors positioned themselves in two of three ways. The first, Teacher, was described by all participants and reflected the core rights and duties. Supervisors also positioned themselves as either a Gatekeeper or Team Member; two mutually exclusive positions which stood in opposition to one another. Figure 1 presents these three positions.

교사
Teacher

교사 직책은 병원 및 1차 예방 부문의 모든 참가자가 설명했으며 슈퍼바이저의 정체성에 내재되어 있었습니다. 이 직책에서 슈퍼바이저는 학생의 학습과 역량 개발을 지원해야 할 의무를 설명했습니다. 이는 전문 지식과 기술을 가르치고, 피드백을 제공하고, 성과를 평가하고, 학생을 위한 학습 기회를 조정하는 것으로 구체화되었습니다. 슈퍼바이저는 대학이 지시한 프로그램 평가 프로세스를 준수할 책임이 있습니다. 수퍼바이저는 대학이 수퍼바이저가 교사 포지셔닝을 시행할 수 있도록 지원할 의무가 있는 것으로 간주했습니다. 이는 대학이 공감대 형성을 위한 토론을 통해 수퍼바이저의 평가를 확인하고 지원하며, 학생과의 어려운 대화에 대한 책임을 지고, 전문 지식과 경험을 수퍼바이저와 공유하며, 성과가 저조한 학생을 위한 개선 계획을 개발하는 등의 다양한 조치를 통해 달성되었습니다. 대학을 전문적인 조언자이자 조력자로 포지셔닝함으로써 슈퍼바이저들은 자신의 교수직에 대한 자신감을 갖게 되었습니다. 대학은 이러한 포지셔닝을 수용하고 받아들이는 것으로 인식되었습니다. 
The Teacher positioning was described by all participants across both hospital and primary prevention sectors and was inherent to the identity of supervisors. In this position, supervisors described a duty to support student learning and competence development. This was enacted by teaching professional knowledge and skills, providing feedback, evaluating performance, and coordinating learning opportunities for students. Supervisors had a responsibility to abide by the programmatic assessment process as directed by the university. Supervisors positioned the university as having a duty to assist supervisors to enact their Teacher positioning. This was achieved in a range of actions including the university confirming and supporting supervisors in their evaluations through consensus building discussions, holding responsibility for difficult conversations with students, sharing their expertise and experience with supervisors, and developing a remediation plan for underperforming students. Positioning the university as an expert advisor and helper contributed to the confidence the supervisors experience in their own Teaching position. The university was perceived as being receptive and accepting of this positioning.

"저는 항상 여러분[대학]에게 문제를 제기하고, 제가 문제를 제기한다고 해서 그 학생이 퇴학당하는 것이 아니라는 것을 믿기 때문에 아주 편안하게 전화할 수 있습니다. 그냥 "제가 걱정해야 할까요... 무엇을 추천하시겠습니까?"라고 묻는 것일 뿐입니다. 저는 전문가가 아니기 때문에 당신[대학]과 당신[대학]이 추천하는 대로 따라야 한다는 입장입니다." (감독관 9, B 대학).
“I always flag the issues with you guys [the university], and I feel perfectly comfortable calling…because I also trust you guys that if I flag something it doesn't mean the student's going to be booted out. It's just flagging…“Do I need to be concerned…what do you recommend?” I also kind of come from the position that I'm not the expert, I will be guided by you [the university] and what you [the university] recommend.” (Supervisor 9, University B).

학생들은 교사의 지위에 있는 슈퍼바이저가 제공하는 피드백을 수용하고 그에 따라 행동해야 할 의무가 있다고 생각했습니다. 학생들은 개인적인 속성에 따라 슈퍼바이저의 교사 지위를 수락하거나 거부하는 것으로 인식되었습니다. 학습에 적극적으로 참여하고 주도권을 가진 학생이 선호되었으며 이러한 포지셔닝을 받아들이는 것으로 나타났습니다.  
Students were positioned as having a duty to accept and act on the feedback provided by supervisors in their Teacher position. Students were perceived to either accept or reject the supervisor’s Teacher positioning based on personal attributes. Those students who were engaged and had initiative in their learning were preferred and seen to accept this positioning.

슈퍼바이저와 실습 부문에 걸쳐 교사 포지셔닝은 공통적으로 적용되었지만, 두 가지 방식으로 시행되었습니다. 첫 번째는 병원에 고용된 수퍼바이저에서만 관찰된 것으로, 위계적 접근 방식이었습니다. 이 슈퍼바이저 그룹은 자신의 의견을 학생에게 전달하는 일방적인 대화 방식을 취했습니다. 학생은 평가 피드백과 결정을 수동적으로 받는 입장이었습니다. 데이터 내에서 이러한 하위 입장은 학생에 대해 이야기할 때 미묘한 언어 사용과 명백한 진술에서 드러났습니다.
While the Teacher positioning was common across supervisors and practice sectors, it was enacted in two distinct ways. The first, observed only in hospital-employed supervisors, was a hierarchical approach. This group of supervisors describe a one-directional dialogue whereby they communicated their opinions to the student. Students were positioned as passive recipients of assessment feedback and decisions. Within the data, this sub-position was revealed in the subtle use of language when talking about students and in overt statements.

"저는 당신의 [학생의] 능력을 평가해야 하는데..."(감독자 1, B 대학)
“I'm going to have to assess your [the student’s] ability…” (Supervisor 1, University B)

"제 학생 중 한 명이... 방금... "위임받았습니다." 그래서 저는 "아니, 그건 내년에 다 할 거야"라고 말했죠. "아니, 넌 아직 위임받은 게 아니야, 넌 하위권이야, 미안해."라고 말했죠. (감독자 4, B 대학)
“one of my students…just popped… “Entrusted.” And I’m like, “Well, no, that’s all next year.” Things like that they didn’t know… “No, you’re not entrusted, not yet; you’re at the bottom of the spectrum, sorry.” (Supervisors 4, University B)

"...[프로그램 평가]는 학생들에게 더 많은 권한을 부여합니다... 때로는 기분이 좋지만 때로는... 논쟁의 여지가 있습니다... 결국 우리[감독자]는 학생을 평가하는 것이고... 학생이 어떻게 하고 있는지에 대한 그들의 인식은 당신[감독자]의 인식과 상당히 다를 수 있기 때문입니다... 같은 페이지에 있도록 지속적으로 피드백을 주는 것이 중요하다고 생각합니다. 하지만 때때로 학생들은 그 피드백에도 불구하고 여전히 다른 인식을 가질 수 있습니다... 그래서 이런 종류의 모델[프로그램적 평가]에서 흥미로울 수 있습니다... 학생은 이전보다 조금 더 많은 권한을 갖습니다... 이전에는 조금 더 흑백이었는데... 이건 조금 더 회색으로 보입니다..."(포커스 그룹 2, A 대학)
“… [programmatic assessment] empowers the students more…which sometimes feels good but sometimes...is a…bone of a contention…because at the end of the day we [the supervisors] are assessing a student and…their perception of how they’re doing might be quite different to your [the supervisor’s] perception…I think it’s important that you continuously give them feedback so that you are on the same page. But sometimes students, even with that feedback, will still have a different perception…so that can be interesting in this kind of model [programmatic assessment] …the student has a little bit more power than they did before…it was a bit more black and white…and this one seems a little bit more grey…” (Focus group 2, University A)

감독관들은 학생을 제외한 동료들과 학생의 성과에 대해 논의하여 이 하위 포지션을 제정했습니다. 이러한 토론은 그들의 해석과 판단에 자신감을 가져다주었습니다. 이 감독관들은 학생의 성과를 파악해야 하는 의무에 초점을 맞추었고, 특히 성과 저조가 우려될 때 더욱 그러했습니다.
Supervisors enacted this sub-position by discussing student performance with their colleagues which excluded the student. These discussions brought confidence to their interpretations and judgements. For these supervisors, the focus was on their duty to identify student performance, and this became particularly true when underperformance was a concern.

"저는 항상 학생에게 그 문제[성과 문제]를 제기하여 중간 평가와 최종 평가 사이에 학생이 잘하지 못할 수 있다고 생각되는 영역에서 역량을 발휘해야 한다는 것을 그들이 알 수 있도록 했습니다." (감독관 9, B 대학)
“I'd always bring that [a performance issue] up with the student so that they can know that I've almost got them on notice and that they are to demonstrate competency in those areas that I think they might not be great at between that mid-assessment and the final assessment.” (Supervisor 9, University B)

소수의 병원 및 일차 예방 부문 감독자에서는 교사 포지셔닝에 대한 다른 접근 방식이 관찰되었습니다. 이 하위 포지셔닝은 양방향 대화로 뒷받침되는 역동적인 학생-감독자 관계와 관련된 협력적인 교사를 설명했습니다. 슈퍼바이저와 학생 모두 학습 과정에 참여할 공동의 의무를 가졌습니다. 학생은 평가의 리더로서 이러한 책임에 대한 권리가 있다는 입장이었습니다. 이러한 슈퍼바이저는 학생의 참여가 학생의 성과에 대한 통찰력을 제공한다는 점에서 학생의 참여에 가치를 두었습니다. 이는 교사가 학생의 학습 요구에 더 잘 대응할 수 있는 무언의 기대와 학생의 추론을 밝혀내어 감독자가 교사 포지셔닝을 제정하는 데 도움이 되었습니다.
A different approach to the Teacher positioning was observed in a smaller number of both hospital and primary prevention sector supervisors. This sub-positioning described a collaborative Teacher involving a dynamic student-supervisor relationship, underpinned by a two-way dialogue. Both the supervisor and the student held a shared duty to engage in the learning process. Students were positioned as being leaders in their assessment and having a right to this responsibility. These supervisors placed value on the participation of students as it provided them with insight into the student’s performance. This helped the supervisor enact their Teacher positioning as it revealed unspoken expectation and student reasoning which allowed the Teacher to better respond to student learning needs.

"...우리[슈퍼바이저]가 학생을 판단하기 위해 여기 있는 것이 아니라는 것을 그들(학생)에게 알립니다. 우리는 그들을 지원하고 육성하고 멘토링하기 위해 여기에 있으며... 더 많은 정보를 가질수록... 더 많이 이끌고 안내하고 발전하도록 도울 수 있습니다."(슈퍼바이저 3, B 대학)
“…letting them [the student] know that we're [the supervisors] not here to judge them. We're here to support them and nurture them and mentor and that…the more information you have…the more you are able to lead and guide and help them progress” (Supervisor 3, University B)

"...우리[슈퍼바이저]가 그들[학생]이 자신의 발전 영역을 파악하고 학습 목표를 개발하도록 도와주고, 그들이 계속 앞으로 나아갈 수 있도록 돕고, 그렇게 하기 위한 전략을 세우도록 도와주는 것이 도움이 됩니다..."(포커스 그룹 3, A 대학)
“…it helps us [supervisors] to help them [students] to identify their areas for development and develop learning goals and then try and help them to continue to move forward and help them put some strategies in place to do that...” (Focus group 3, University A)

게이트키퍼
Gatekeeper

수퍼바이저의 하위 그룹에서 게이트키퍼의 역할은 직업적 표준을 준수하고 직장에 들어오는 학생들이 안전하고 유능한 실무자가 되도록 보장해야 할 의무를 설명하는 것으로 강력하게 확인되었습니다. 이러한 입장은 특히 병원 부문에서 일하는 수퍼바이저들에게서 뚜렷하게 나타났습니다. 이러한 수퍼바이저들은 실패하면 대중에게 큰 위험을 초래할 수 있다고 인식했으며, 병원 부문을 역량에 대한 기준으로 여겼습니다.
A Gatekeeper position was strongly identified in a sub-group of supervisors who described a duty to uphold professional standards and ensure that students entering the workforce were safe and competent practitioners. This positioning was particularly evident for supervisors working in the hospital sector. These supervisors perceived that failure to fail carried a great risk to the public, with the hospital sector viewed as the benchmark for competence.

"임상에서 무언가를 잘하지 못하면 유능하지 않다고 생각합니다." (포커스 그룹 8, A 대학)
“if you're not competent at something in clinical, then I feel like you're not competent.” (Focus group 8, University A)

이러한 위치에서 수퍼바이저는 대중의 안전을 지켜야 할 의무가 있고 대중은 보호받을 권리가 있습니다. 감독관들은 성과가 저조한 것을 감지하는 데 경계를 늦추지 않음으로써 이러한 위치를 확보할 수 있었습니다. 이 감독자 그룹은 대학의 프로그램 평가 도입에 저항했습니다. 
In this position, the supervisors had a duty to keep the public safe and the public had a right to be protected. Supervisors achieved this positioning by being vigilant to the detection of underperformance. This group of supervisors resisted the introduction of programmatic assessment by the university.

"그들[수퍼바이저]은 대학에 대한 피드백이... 양방향 응답을 통해 검증되었다고 생각하지 않았습니다. 조직과 대학이 학생의 위치에 대해 서로 다른 페이지에 있다고 생각했기 때문입니다. 저는 그들이 [감독관들의] 피드백을 통해 자신들이 그 [높은 수준의] 평가를 내리는 사람이라는 책임이 주어지지 않는다는 사실에 약간 실망했다고 생각합니다... 결국, 그것은 그들의 평가로 귀결되지 않았습니다. 다른 방식으로 진행되었습니다." (감독자 2, B 대학)
“they [supervisors] didn’t necessarily feel like their feedback…to the university was validated by that two-way response, in that I think the organisation and the university were on different pages about where the student sat. I think their [the supervisors] feedback is that they are a bit disheartened that they are not being given that responsibility of…being the person who makes that [high-stakes] assessment…At the end of the day, it didn’t come down to their assessment. It went a different way.” (Supervisor 2, University B)

프로그램 평가는 고부담 평가 결정에 대한 책임을 감독자에서 대학으로 이전했습니다. 이러한 방식으로 대학은 스스로를 게이트키퍼로 포지셔닝하여 수퍼바이저의 권한을 박탈하고 권리를 박탈하여 불만을 불러 일으켰습니다. 이러한 변화는 수퍼바이저의 권위와 힘을 약화시키고 그들의 직업적 정체성을 위협했습니다. 이 슈퍼바이저 그룹은 대학의 이러한 입장을 거부하고 평가 결정에서 배제되었다고 느꼈을 때 실무 기준이 훼손되는 것에 대한 우려를 표명했습니다.
Programmatic assessment transferred the responsibility for high-stake assessment decisions from supervisors to the university. In this way, the university positioned themselves as the Gatekeeper which left supervisors disempowered and disenfranchised, invoking frustration. This change diminished their authority and power and threatened their professional identity. This group of supervisors rejected this positioning by the university and expressed concern for compromised practice standards when they felt excluded from the assessment decisions.

"당신[면접관]이 모델을 완전히 바꾸게 된 이유는 무엇인가요? 과거에는 우리가 의사 결정권자였기 때문입니다. 예전에는 우리가 피드백을 제공하고 대학 감독관과 협력했지만 지금은 완전히 그 반대입니다." (포커스 그룹 6, A 대학)
“what made you [the interviewer] change the model completely? Because before, in the past, we used to be the decision makers. We used to give our feedback, work with the uni [university] supervisors, but now it's totally the other way around.” (Focus group 6, University A)

이 슈퍼바이저들은 학생들이 졸업을 '강요'받아 대중에 대한 의무와 자신의 직업적 평판과 신뢰성을 위협받을 수 있다는 우려를 표명했습니다. 프로그램 평가의 도입으로 인한 권한과 권력의 변화와 그에 따른 위상 변화는 감독관과 대학 사이에 갈등의 불씨를 만들었습니다.
These supervisors expressed concern that students would be ‘pushed through’ to graduation which threated their duty to the public and their own professional reputation and credibility. This shift in authority and power, and subsequent positioning, with the introduction of programmatic assessment created a flashpoint between supervisors and the university.

"... 약간 불안하고 약간 밀리는 느낌이 듭니다. 영양학 분야에서 일할 수 있는 학위를 학생들에게 준다는 것이 조금은 부담스럽습니다. 그리고 그것은 꽤 높은 기준이어야한다고 생각합니다. 그리고 그 [평가] 옆에 제 이름이 붙는다는 것이 저를 조금 불편하게 만드는 것 같아요. 왜냐하면 저는 그런 평가가 저에게 다시 돌아오는 것을 원하지 않기 때문입니다." (슈퍼바이저 7, B 대학)
“…it just makes me feel a bit anxious and a little bit pushed. A little bit pushed that we’re giving …[students]…degrees to work in dietetics. And I think that that should be of quite a high standard. And I think having my name next to that [assessment] makes me feel a bit uncomfortable, because I don’t want that to come back on me at any point.” (Supervisor 7, University B)

수퍼바이저들은 평가를 '올바르게' 하기 위해 오류나 실수를 피하는 데 몰두하고 있다고 말했습니다. 감독자들은 평가 순간과 양식을 놓치거나 학생의 수행을 관찰한 내용을 충분히 자세히 기록하지 못할 것이라는 우려를 표명했습니다. 감독자들은 자신의 실수가 대학과 학생에게 중대한 영향을 미칠 것이라고 추측했습니다. 이러한 책임감은 일부 감독관에게 큰 부담으로 작용하여 학생들이 프로그램 평가 내에서 권한을 부여받는 데 방해 요인이 되었습니다.
The supervisors spoke of getting the assessment correct and were preoccupied with avoiding errors or mistakes as they sought to do assessment ‘right’. Supervisors expressed concern that they would miss assessment moments and forms or would not write sufficient detail on their observations of student performance. Supervisors speculated that their error would have significant ramifications for the university and student. This responsibility weighed heavily on some supervisors and was an inhibitory factor in allowing students to be empowered within programmatic assessment.

"옛날에는 우리 이름이 서명하는 것이었는데... 저는 학생에 대해 서명하는 것을 매우 꺼려했습니다. 안전하지 않을 것 같다는 생각이 들었고, 책임감도 있었으니까요..."(포커스 그룹 6, A 대학)
“Once upon a time it was our name signing off and…I was very reluctant to sign off on a student. I felt that it wouldn't be safe, and you have that sense of responsibility...” (Focus group 6, University A)

"집에 돌아가거나 저녁을 먹으면서 파트너와 이 문제에 대해 이야기하는 경우가 많았습니다. 파트너는 "그건 네 문제가 아니야"라고 말하죠. 하지만 전 이렇게 말하죠. "하지만 제 생각은 그래요. 저는 그들이 잘하기를 바라고 좋은 감독자가 되고 싶어요."라고 말하죠. 그래서 항상 신경이 쓰이죠." (슈퍼바이저 7, B 대학)
“Frequently I would be going home, or I would be eating dinner, talking to my partner about it. He’s like, “It’s not your problem.” But I’m like, “But I feel like it is. I want them to do good and I want to be a good supervisor.” So, it does play on your mind at all times.” (Supervisor 7, University B)

이 슈퍼바이저 그룹은 또한 학생이 졸업하고 직업에 진출할 준비가 되었는지를 판단하기 위해 취업 척도를 사용한다고 설명합니다.
This group of supervisors also describe using a measure of employment to determine if a student was ready to graduate and enter the profession.

팀원
Team Member

게이트키퍼와 달리 다른 감독자 그룹은 프로그램 평가의 도입으로 책임이 재분배되는 것을 받아들이고 스스로를 팀원으로 포지셔닝했습니다. 일부의 경우 이러한 포지셔닝이 즉시 이루어지지 않았습니다. 대신, 그들은 이러한 포지셔닝을 받아들이기 전에 프로그램적 평가에 익숙해지고 엄격함에 대한 확신을 가져야 했습니다. 
In contrast to the Gatekeeper, a different group of supervisors accepted the redistribution of responsibilities with the introduction of programmatic assessment and positioned themselves as Team Members. For some, this positioning did not occur immediately. Instead, they needed to become familiar with programmatic assessment and have confidence in the rigour before they accepted this positioning.

"사실 제가 한 발 물러서서 그들[학생들]이 주도권을 갖고 저에게 오도록 내버려 두었어야 했는데, 그냥 그런 변화 때문이라고 생각하죠? 학생들[학생들]이 주도권을 갖는 것에 익숙하지 않으니까...." (포커스 그룹 1, A 대학). 
“you do feel a little bit disempowered…when really I probably should have taken a step back and just let them [the students] have the initiative and come to me, but I think, yeah, just because it’s just that change, isn’t it? You’re just not used to them [the students] having control….” (Focus group 1, University A).

팀원들은 프로그램 평가의 원칙과 목적을 사용하여 학생의 성과와 역량에 대한 전체적인 그림을 구축하는 데 기여하는 팀의 중요한 부분으로 자신을 포지셔닝했습니다. 이러한 감독관은 고부담 평가 결정에 대한 권위를 포기하고, 권한을 대학에 이양하고 학생이 스스로 학습할 수 있는 권한을 갖도록 허용했습니다. 이러한 포지셔닝은 제공된 리소스를 사용하여 학생과 대학에 피드백을 제공하고, 대학과 선배 동료에게 문제를 에스컬레이션하고, 후배 감독자를 교육하고 지원하는 방식으로 이루어졌습니다.

Team Members used the principles and purpose of programmatic assessment to position themselves as an important part of a team which contributed to the construction of a holistic picture of a student’s performance and competence. These supervisors relinquished authority and deferred power for high-stakes assessment decisions to the university and allowed the student to become empowered in their own learning. This positioning was enacted by providing feedback to the student and the university using the provided resources, escalating issues to the university and senior colleagues, and teaching and supporting junior supervisors.

"우리[슈퍼바이저]가 그들[학생]이 유능하지 않다고 말했다고 해서 반드시 전체 과정에 불합격할 것이라는 의미는 아닙니다. 그것은 훨씬 더 많은 과정이며... 토론하고 전체 그림을 보는 것은 감독자의 부담을 덜어주기 때문에 이 특정 [성과가 저조한] 학생을 감독할 때 확실히 감사한 일이었습니다. 학생에게 "넌 전체 과정을 낙제했어"라고 말하는 것과는 다릅니다. "이 특정 섹션에서 당신은 역량을 충족하지 못했고, 전체 성과를 검토하는 것은 대학에 달려 있습니다."라고 말하는 것뿐입니다. (감독자 3, B 대학) 
“just because we [the supervisors] said they're [the student] not competent, doesn’t necessarily mean that they're going to fail the entire course. It’s a lot more of a process…and discussing and looking at the whole picture, which has definitely been something that I appreciated when I was supervising this particular [underperforming] student because it takes the pressure off the supervisor. It’s not like we’re saying to the student, “You've failed you [the] entire course”. It’s just saying, “In this particular section you haven't met competency and it’s up to the uni [university] then to review their entire performance.” (Supervisor 3, University B)

수퍼바이저들은 고부담 의사 결정에 기여할 권리가 있으며, 대학은 이들의 의견을 소중히 여기고 의사 결정에 반영할 의무가 있다고 설명했습니다. 
Supervisors described having a right to contribute to high-stake decisions and the university had a duty to value and include their opinions in decisions.

"... 슈퍼바이저로서 지원을 받는다는 느낌, 마지막 결정권을 갖고 있지 않다는 자신감이 생겼습니다... 마지막 결정권을 갖고 싶지는 않지만... 여러분[대학]과 함께 의견을 확인할 수 있습니다..."(슈퍼바이저 9, B 대학) 
“… it does boost my confidence that I just feel supported as a supervisor, that I don't have the last word…I don't want to have the last word but…I can have an opinion check it with you guys [the university] …” (Supervisor 9, University B)

이 수퍼바이저들은 권한과 권력의 변화로 인해 고부담 평가 결정과 관련된 부담과 스트레스가 줄어들고 지지적 교수 관계를 구축할 수 있게 되어 해방감을 느낀다고 설명했습니다. 고부담 평가 결정에 대한 책임은 이해관계의 충돌이며 학생과 감독자 관계를 손상시켜 학생을 가르치는 데 방해가 된다는 인식이 있었습니다. 이 감독자 그룹을 통해 학생은 평가 내에서 자신의 권리와 의무를 제정할 수 있었고, 대학은 고위험 평가 결정을 내릴 의무를 부여받았습니다.
These supervisors described the shift in authority and power as liberating as it reduced the burden and stress associated with high-stakes assessment decisions and enabled them to cultivate a supporting teaching relationship. There was recognition that responsibility for high-stakes assessment decisions was a conflict of interest and compromised the student-supervisor relationship, hindering their ability to teach students. This group of supervisors enabled students to enact their rights and duties within assessment and the university was given the duty to make high-stakes assessment decisions.

"이제 대학이 현장 감독자와 함께 [학생이] 충분한 증거를 제공했는지에 대한 최종 결정을 내리고 있기 때문에... 스트레스가 조금 완화되는 것 같아요..."(포커스 그룹 5, A 대학) 
“now that the university is making that final call on whether they’ve [the student] provided enough evidence, obviously in conjunction with site supervisors…I think it eases that stress a little bit...” (Focus group 5, University A)

토론
Discussion

우리는 슈퍼바이저들이 프로그램 평가에서 자신의 위치를 어떻게 경험하고 인식하는지 이해하기 위해 포지셔닝 이론의 비판적 렌즈를 적용했습니다. 수퍼바이저들은 다음 세 가지 중 두 가지 방식으로 자신을 포지셔닝했습니다: 교사, 게이트키퍼 또는 팀원.

• 모든 수퍼바이저는 학생을 교육해야 하는 고유한 의무가 있다고 설명했으며, 이는 교사에 반영되었습니다.
  • 일부 슈퍼바이저는 협력적인 교육 관계를 설명하는 반면,
  • 다른 슈퍼바이저는 학생을 수동적인 피교육자로 간주하는 위계적 접근 방식을 채택하는 등 이분법적인 포지셔닝이 이루어졌습니다.
• 게이트키퍼와 팀원이라는 상호 배타적인 두 가지 직책도 확인되었습니다.
  • 게이트키퍼 감독관은 더 넓은 커뮤니티를 보호해야 할 의무가 있으며 부적절한 학생의 성과를 감지하는 데 집중한다고 설명했습니다.
  • 반면, 팀원은 높은 수준의 성과에 기여할 권리가 있으며 평가에 대한 책임과 부담에서 자유롭다고 설명했습니다. 

We applied the critical lens of Positioning Theory to understand how supervisors experienced and perceived their positioning within programmatic assessment. Supervisors positioned themselves in two of three ways: Teacher, and either a Gatekeeper or Team Member. All supervisors described an inherent duty to educate students, reflected in Teacher. This positioning was enacted dichotomously with some supervisors describing a collaborative teaching relationship, while others adopted a hierarchical approach whereby students were disempowered passive recipients. Two alternative and mutually exclusive positions, the Gatekeeper and Team Member, were also identified. Gatekeeper supervisors described a duty to protect the wider community and focussed on the detection of inadequate student performance. In contrast, Team Members described a right to contribute to high-stakes outcomes and were liberated from the responsibility and burden of assessment.

우리의 연구는 프로그램식 평가에 저항하고 수용하는 사람들의 속성을 설명했습니다. 본 연구에서 대학 교직원들은 주요 이해관계자들과 함께 수퍼바이저의 업무가 교육 및 성과 평가로 재조정되어(1순위 포지셔닝) 고부담 평가 결정에 기여하지만 책임을 지지 않는 프로그램식 평가 전환을 주도했습니다. 일부 수퍼바이저의 경우 대학 측의 이러한 직위 부여를 거부하고(2순위 및 3순위 직위 부여) 스스로 게이트키퍼임을 드러냈습니다. 게이트키퍼는 대중과 자신의 직업적 평판을 보호해야 한다는 열렬한 의무에서 비롯된 학생의 저조한 성과를 경계할 권리가 프로그램 평가와 모순되는 측면이 있었습니다. 이러한 입장은 다른 사람들에 의해 설명되었으며(O'Connor 외., 2019), 객관성(종종 주관성을 희생시키면서), 표준화 및 환원주의에 중점을 둔 전통적인 심리측정 중심 접근 방식을 대표합니다(Hodges, 2013). 반대로, 프로그램 평가는 이러한 심리측정적 접근 방식과 상충될 수 있는 집단적이고 주관적인 구성주의적-해석주의적 인식론을 구현합니다(Govaerts et al., 2007; Hodges, 2013). 게이트키퍼 포지셔닝과 프로그램적 평가 사이에 관찰되는 긴장을 설명할 수 있는 것은 바로 이러한 이념적 불협화음입니다(Pearce & Tavares, 2021; Torre et al., 2022).

Our research expounded the attributes of those who both resist and accept programmatic assessment. In our study, university staff, coupled with key stakeholders, led the programmatic assessment transitions whereby the duties of supervisors were reoriented to teaching and performance appraisal (first order positioning) where they contributed, but did not hold responsibility, for high-stakes assessment decisions. For some supervisors, this positioning by the university was rejected (second order and third order positioning) and revealed itself as the Gatekeeper. The Gatekeepers right to be vigilant to poor student performance, derived from a fervent duty to protect the public and their professional reputation, was incongruent with programmatic assessment. Such positioning has been described by others (O’Connor et al., 2019) and typifies a traditional psychometric-focussed approach that centres on objectivity (oft at the expense of subjectivity), standardisation, and reductionism (Hodges, 2013). Conversely, programmatic assessment embodies a collective and subjective constructivist-interpretivist epistemology which can be at odds with this psychometric approach (Govaerts et al., 2007; Hodges, 2013). It is this ideological dissonance that may account for observed tensions between the Gatekeeper positioning and programmatic assessment (Pearce & Tavares, 2021; Torre et al., 2022).

이러한 긴장을 개선하기 위한 실용적인 전략으로는 모든 사용자의 참여와 권한 부여, 강력한 리더십과 비전, 인내와 인내심을 가지고 프로그램적 평가를 실행하는 것 등이 있습니다(Roberts et al., 2021; Schut et al., 2021; Torre et al., 2021; van der Vleuten et al., 2015). 이러한 전략은 대다수에게는 효과적이지만, 확고한 인식론적 차이를 극복하기에는 불충분할 수 있습니다. 대신 모든 이해관계자, 특히 반대하는 이해관계자의 견해와 신념에 대한 명시적인 인정과 담론이 필요합니다(Pearce & Tavares, 2021). 이는 암묵적 가정을 파악하고, 공통 언어를 개발하고, 공유된 이해를 구축함으로써 앞서 언급한 전략의 성공을 개선하는 데 도움이 될 수 있습니다(Tavares et al., 2021). Govaerts 외(2019)는 긴장을 인간 행동의 피할 수 없는 특성으로 간주하고, 갈등을 해결하려 하기보다는 차이를 활용하여 시스템을 최적화하는 폴라리티 씽킹™에서 유망한 접근법을 제시합니다. 연구 결과를 설명하기 위해 철학적 비교를 제시했지만, 현실은 사회적 맥락적 요인에 영향을 받는 미묘한 이념의 연속체이며(Pearce & Tavares, 2021; Schoenherr & Hamstra, 2015), 포지셔닝은 개인의 경험과 사회적 상황 사이의 역동적인 상호작용에 반응하는 고정된 것이 아니라 유동적인 구성요소라는 점을 인정합니다(McVee et al., 2018). 이는 현재와 진화하는 사회문화적 결정 요인이 모두 프로그램 평가 내에서 감독자의 포지셔닝에 영향을 미칠 수 있는 역량을 가지고 있음을 시사합니다. 프로그램 평가를 실행하려는 사람들은 자신의 세계관과 신념, 이해관계자의 세계관을 고려하고, 격차를 해소하고 교육 변화에 대한 공동의 지원을 창출하는 전략을 사용하는 것이 현명할 것입니다. 

Pragmatic strategies to ameliorate such tensions include involving and empowering all users, having strong leadership and vision, and patience and perseverance when implementing programmatic assessment (Roberts et al., 2021; Schut et al., 2021; Torre et al., 2021; van der Vleuten et al., 2015). While effective for the majority, such strategies may be insufficient to overcome staunch epistemological differences. Instead, explicit recognition and discourse of the views and beliefs held by all stakeholders, particularly those in opposition, is required (Pearce & Tavares, 2021). This may go some ways to improve the success of the aforementioned strategies through the identification of implicit assumptions, developing a common language, and building shared understanding (Tavares et al., 2021). Govaerts et al. (2019) presents a promising approach in Polarity Thinking™ which frames tensions as an inescapable trait of human behaviour and rather than trying to solve the conflict, differences are leveraged to optimise the system. While we have presented here a philosophical comparison to unpack our research findings, we acknowledge that reality is a nuanced continuum of ideologies influenced by socio-contextual factors (Pearce & Tavares, 2021; Schoenherr & Hamstra, 2015) and that positioning is a fluid construct, rather than fixed, responsive to the dynamic interplay between a person’s own experience and the social situation (McVee et al., 2018). This suggests that both current and evolving socio-cultural determinants have capacity to influence supervisor positioning within programmatic assessment. Those seeking to implement programmatic assessment would be wise to consider their own worldview and beliefs, and those of stakeholders, and employ strategies to bridge the gaps and create shared support for educational change.

우리의 연구에 따르면 임상 병원 부문에서 일하는 수퍼바이저는 위계적 교사 및 게이트키퍼 포지션을 설명하는 경향이 있는 것으로 나타났습니다. 특정 집단이 공유하는 고유한 이념과 가치로 정의되는 문화는 개인과 팀의 태도와 행동을 형성하기 때문에 의료 교육 변화의 실행 가능성에 중요한 기여를 합니다(Bearman 외., 2021; Govaerts 외., 2007; Pearce & Tavares, 2021; van der Vleuten 외., 2015; Watling 외., 2020). 문화는 보건 전문직 교육 내에서 복잡하고 종종 잘 이해되지 않는 현상입니다. 최근 Sheehan과 Wilkinson(2022)은 사회, 조직, 실무, 자아 및 정체성, 전문가 및 교육 제공자를 포괄하는 학습 환경 문화에 대한 다층적 개념화를 제시하여 우리의 이해를 넓혔습니다. 이 연구는 교육 기관과 의료 현장의 문화적 요구를 수용해야 하는 보건 전문직 교육 이니셔티브가 직면한 복잡성과 문화적 불일치 및 불협화음의 위험을 강조합니다(Govaerts et al., 2019; Sheehan & Wilkinson, 2022). 이러한 위험을 완화하려면 관찰된 문제에 대해 단순히 문화에 책임을 묻기보다는 특정 맥락에 존재하는 다양한 문화를 이해하고 포용하며 그 안에서 협력해야 합니다. 이는 문화와 문화를 구성하는 사람들 사이에 존재하는 상호적인 파트너십을 인정하는 것입니다(Bearman et al., 2021; Sheehan & Wilkinson, 2022). 문화적 외부인이 주도하는 단기적인 변화 시도는 제한적인 성공에 그칠 가능성이 높습니다. 오히려 성공적인 변화를 위한 맥락을 조성하기 위해서는 특정 문화를 구성하는 사람들의 지지와 리더십이 필요합니다(Pearce & Tavares, 2021; Torre et al., 2021; Watling et al., 2020). 또한 '문화적 반사성'도 필요한데, 이는 특정 문화의 뉘앙스를 이해하기 위해 시간이 지남에 따라 그 구조 내에서 사람들을 참여시켜 행동을 조절하는 조건을 드러내는 것입니다(Aronowitz et al., 2015). 우리의 연구 결과에 따르면 일부 직장에서 프로그램 평가에 대한 교육 기관의 우선순위와 신념이 기존의 사회적, 문화적 태도와 맞지 않아 긴장이 관찰되었을 수 있습니다. 이러한 문제는 다른 연구자들에 의해 관찰되었으며(Torre 외, 2021), 프로그램 평가를 시행할 때 '문화적 반성성'이 필요하다는 것을 보여줍니다. 최근 Torre 등(2022)은 프로그램적 평가의 실행을 촉진할 수 있는 복잡한 맥락적 요인을 탐색하고 이에 대응할 수 있는 '지식 브로커'에 대해 설명했습니다. 이러한 결과는 미묘한 문화적 요소를 수용하고 활용하여 성공적인 실행을 지원하기 위해 프로그래밍 방식의 평가의 유연한 원칙을 고유하게 구현할 수 있는 방법을 강조합니다. 

Our research revealed that supervisors working within the clinical hospital sector had a propensity to describe the hierarchical Teacher and the Gatekeeper positionings. Culture, defined as the shared and unique ideologies and values held by a particular group of people (Peterson & Spencer, 1990), is a significant contributor to the viability of medical educational change as it shapes the attitudes and behaviours of individuals and teams (Bearman et al., 2021; Govaerts et al., 2007; Pearce & Tavares, 2021; van der Vleuten et al., 2015; Watling et al., 2020). Culture is a complex and often poorly understood phenomenon within health professions education. Recently Sheehan and Wilkinson (2022) presented a multilayered conceptualisation of the learning environment culture which encompasses society, organisational, practice, self and identity, professional and education providers that broadens our understanding. This work highlights the complexities facing health professions education initiatives which need to accommodate cultural demands of both the educational institution and the health care workplace or risk cultural misalignment and discordance (Govaerts et al., 2019; Sheehan & Wilkinson, 2022). Mitigating against such risks involves understanding, embracing, and working within the spectrum of cultures that exist for a particular context rather than simply holding culture accountable for observed problems. This recognises the reciprocal partnership that exists between culture and the people that make up a culture (Bearman et al., 2021; Sheehan & Wilkinson, 2022). Short term attempts at change, led by cultural outsiders, will likely be met with limited success. Rather, advocacy and leadership from the people who constitute a particular culture are needed to create a context for successful change (Pearce & Tavares, 2021; Torre et al., 2021; Watling et al., 2020). ‘Cultural reflexivity’ is also required whereby we come to understand the nuances of a particular culture by engaging the people over time, within their structures, to reveal the conditions that moderate behaviours (Aronowitz et al., 2015). Our findings suggest that in some workplaces the educational institution priorities and beliefs about programmatic assessment may have been misaligned with established social and cultural attitudes leading to observed tensions. Such challenges have been observed by others (Torre et al., 2021) and illustrate the need for ‘cultural reflexivity’ when implementing programmatic assessment. Recently, Torre et al. (2022) described ‘knowledge brokers’ that could navigate, and be responsive to, complex contextual factors that enabled them to drive the implementation of programmatic assessment. These results highlight how the malleable principles of programmatic assessment can be uniquely implemented to accommodate and leverage nuanced cultural factors to support successful implementation.

최근 문헌 검토에서 Schut 등(2021)은 대부분의 경우 슈퍼바이저가 효과적인 학습 환경을 조성하고 역할 갈등을 해결하기 위해 프로그래밍 방식의 평가를 수용한다는 사실을 보여주었습니다.

• 팀원 포지셔닝에서도 슈퍼바이저가 역할 갈등의 부담에서 해방감을 느끼고 시스템 내에서 가치를 인정받는다고 느끼는 비슷한 패턴을 발견했습니다. 이러한 포지셔닝은 안전하고 최적의 학습 환경을 조성하는 슈퍼바이저와 학생 간의 동맹을 가능하게 했으며, 이는 학습에 필수적인 것으로 관찰되었습니다(Telio 외., 2015).
• 소수의 수퍼바이저인 게이트키퍼의 경우, 프로그램식 평가는 고부담 평가 결정에 대한 권한을 약화시키고 전문가로서의 정체성에 도전하여 좌절과 저항으로 이어졌습니다.

In a recent literature review, Schut et al. (2021) demonstrated that for the most part, supervisors embraced programmatic assessment as it created effective learning environments and resolved role conflicts.

• In Team Members positioning, we also found a similar pattern whereby supervisors described a feeling of liberation from the burden of role conflict and felt valued within the system. This positioning enabled an alliance between supervisor and student that created a safe and optimal learning experience, which has been observed as a necessity for learning (Telio et al., 2015).
• For a minority of supervisors, the Gatekeepers, programmatic assessment diminished their authority over high-stakes assessment decisions and challenged their professional identity, leading to frustration and resistance.

권력은 개인의 행동과 행동에 복합적으로 영향을 미치기 때문에 학생-감독자 관계를 형성하는 중요한 요소입니다(Janss 외., 2012; Rees 외., 2020b). 권력은 '다른 사람을 통제하거나 영향을 미칠 수 있는 개인의 상대적 능력'으로 광범위하게 정의됩니다(Janss 외, 2012). 학생들이 무력하고 상사의 권위를 묵인한다는 통념은 최근 학생들이 다양한 은밀하고 명백한 행동을 통해 권력을 행사(및 저항)하는 미묘한 역학 관계와 방식을 밝히는 연구로 인해 도전을 받고 있습니다(Rees et al., 2020b). 공유된 권력과 공동 구성 학습은 생산적인 학습 환경을 형성하는 가치 있는 대인 관계를 만들어냅니다. 공유된 권력은 학생의 자기 성찰, 피드백 대화, 자신의 성과에 대한 피드백을 잘 받아들이는 공감적 감독자(친근함, 취약성, 정직성 등의 속성을 가진)를 통해 달성됩니다(Castanelli 외, 2022; O'Connor 외, 2018; Rees 외, 2020b). 이러한 전략은 프로그래매틱 평가의 원칙에 반영되어 있습니다(Heeneman 외., 2021; Torre 외., 2020; van der Vleuten 외., 2012). 이를 바탕으로 우리는 다음의 이론을 세웠습니다(Cantillon 외, 2016; de Jonge 외, 2017; Meeuwissen 외, 2019; Torre 외, 2021).

• 프로그램식 평가의 도입이 학생-감독자 관계에 만연한 '권력 비대칭성'을 파괴하고 권한과 책임의 재분배를 촉진하여 교육 결과를 최적화하는 학생의 주체성과 상호성을 선호한다

우리 연구와 다른 연구자들(복 외, 2013; 슈트 외, 2021)의 연구에 따르면 이러한 변화에 저항하는 감독자 중 일부인 게이트키퍼는 평가 시스템을 불신하고 프로그램적 평가에 지속적인 도전을 제시합니다(칸틸롱 외, 2016; 슈트 외, 2021). 프로그램 평가를 시행하는 사람들은 프로그램 평가에서 게이트키퍼의 역할(있는 경우)을 고려해야 할 수 있습니다. 

Power is a significant factor shaping the student-supervisor relationship through its complex influence on an individual’s behaviours and actions (Janss et al., 2012; Rees et al., 2020b). Power is broadly defined as the ‘relative ability of an individual to control or influence others’ (Janss et al., 2012). The prevailing belief that students are powerless and acquiesce their authority to supervisors has recently been challenged with research revealing the nuanced dynamics and ways by which students exert power (and resistance) using a range of covert and overt actions (Rees et al., 2020b). Shared power and co-constructed learning create valuable interpersonal relationships which form productive learning environments. Shared power is achieved through student self-reflection, feedback dialogue, empathetic supervisors (with attributes including friendliness, vulnerability, and honesty) who are receptive to receiving feedback on their own performance (Castanelli et al., 2022; O'Connor et al., 2018; Rees et al., 2020b). These strategies are reflected in the principles of programmatic assessment (Heeneman et al., 2021; Torre et al., 2020; van der Vleuten et al., 2012). On this basis, we theorise that

• the introduction of programmatic assessment disrupted the prevailing ‘power asymmetry’ within the student-supervisor relationship and precipitated a redistribution of authority and responsibility, favouring student agency and mutuality which optimises educational outcomes (Cantillon et al., 2016; de Jonge et al., 2017; Meeuwissen et al., 2019; Torre et al., 2021).

Our research, and that of others (Bok et al., 2013; Schut et al., 2021) has revealed the subset of supervisors that resist this shift, the Gatekeepers, who mistrust the assessment system and present an ongoing challenge to programmatic assessment (Cantillon et al., 2016; Schut et al., 2021). Those implementing programmatic assessment may need to consider the role, if any, that Gatekeepers have in programmatic assessment.

우리가 아는 한, 포지셔닝 이론을 프로그램적 평가를 탐구하는 프레임워크로 사용한 연구는 이번이 처음입니다. 우리는 포지셔닝 이론을 보건 전문가 교육에 보다 광범위하게 활용하고 그 잠재력을 지지하는 제한적이지만 통찰력 있는 연구 풀에 기여해 왔습니다. 이 연구에 적용된 해석적 또는 이론에 기반한 귀납적 데이터 분석의 실용적 접근 방식은 데이터 분석에 이론적 렌즈를 적용하여 연구 결과에 깊이를 더할 수 있게 해주었습니다(Varpio 외., 2020). 우리는 이것이 연구 과정의 초기 단계에서 이론의 잠재적 영향력을 제한한다는 것을 인식했으며, 보건 교육에 이론을 채택하여 문제에 대한 더 큰 통찰력을 제공해야 한다는 요구를 반영합니다(Varprio et al., 2017). 한 국가에 있는 두 기관에서 참가자를 모집했기 때문에 연구의 표본 크기가 더 커졌지만 이전 가능성은 제한적이었습니다. 우리는 독자의 이해를 돕고 각자의 환경에 대한 적용 가능성을 높이기 위해 풍부한 설명을 제공했습니다. 배치 구조와 환경이 유사하고 이해관계자 기반 접근 방식을 활용하여 프로그램 평가를 설계한 두 교육 과정은 유사했지만, 다른 고유한 맥락적 요인이 조사 결과에 영향을 미쳤을 가능성이 있습니다. 이는 다양한 환경에서 프로그램 평가의 설계 및 채택에 대한 문화의 영향에 대한 추가 조사의 필요성을 강조합니다. 감독자의 포함은 프로그램적 평가에 대한 이야기의 일부에 불과합니다. 학생, 대학, 치료 수혜자 등 모든 이해관계자의 목소리를 포함하는 향후 연구를 통해 이해의 폭을 넓힐 수 있을 것입니다. 
To our knowledge, this is the first study that has used Positioning Theory as a framework to explore programmatic assessment. We have contributed to the limited, but insightful, pool of research that uses Positioning Theory more broadly within health professional education and advocate for its potential. The interpretive, or theory-informing inductive data analysis, pragmatic approach applied in this research enabled a theoretical lens at data analysis to give depth to the findings (Varpio et al., 2020). We recognised that this limits the potential influence of the theory on the earlier stages of the research process and we echo calls for theory to be adopted in health education to provide greater insight into challenges (Varprio et al., 2017). Transferability was limited as participants were derived from two institutions in one country, although this provided a larger sample size for the research. We have provided the reader with a rich description to assist understanding of the context and enhance transferability to their own settings. Although the courses were similar in placement structure and setting, and utilisation of a stakeholder-based approach to design the programmatic assessments, it is feasible that other unique contextual factors may have influenced the findings. This highlights a need for further exploration into the influence of culture on the design and adoption of programmatic assessment across different settings. Inclusion of supervisors tells only part of the programmatic assessment story. Future research that includes the voices of all stakeholders including students, university, and care recipients, will expand our understanding.

결론
Conclusion

포지셔닝 이론은 프로그램 평가가 전통적인 의학교육 구조와 이념에 도전하고 성공에 영향을 미치는 감독자의 권리와 의무를 어떻게 재조정했는지 밝혀냈습니다. 프로그램적 평가는 진공 상태에서 발생하지 않습니다. 오히려 다양한 신념과 가치관을 가진 이해관계자들이 서로 조화를 이루어야 성공할 수 있는 문화적으로 복잡한 공간에 존재합니다. 이해관계자는 개인적, 문화적 요인에 의해 형성되므로 시간이 지나고 저항에 직면하더라도 지속 가능한 프로그램 평가를 구현하기 위해서는 사려 깊고 유연하며 상황에 민감한 접근 방식이 필요합니다. 이 연구는 프로그램적 평가로 나아갈 때 감독자를 지원하고 참여시키는 방법에 대한 새로운 통찰력을 제공합니다. 

Positioning Theory revealed how programmatic assessment reorientated supervisor rights and duties which challenged traditional medical education structures and ideologies, and influenced success. Programmatic assessment does not occur in a vacuum. Rather, it inhabits a culturally complex space that requires a symphony of stakeholders, with differing beliefs and values, to succeed. Stakeholders are shaped by individual and cultural factors, warranting a considered, flexible, and context-sensitive approach to implementing programmatic assessment that is sustained over time and in the face of resistance. This research provides new insights into how to support and engage supervisors when moving towards programmatic assessment.

 

 

---

Adv Health Sci Educ Theory Pract. 2023 Aug;28(3):827-845. doi: 10.1007/s10459-022-10193-9. Epub 2022 Dec 5.

Teacher, Gatekeeper, or Team Member: supervisor positioning in programmatic assessment

Janica Jamieson 1 2, Simone Gibson 3, Margaret Hay 3, Claire Palermo 3

Affiliations

1Monash University, Melbourne, Australia. j.jamieson@ecu.edu.au.

2School of Medical and Health Sciences, Edith Cowan University, 270 Joondalup Drive, Joondalup, WA, 6027, Australia. j.jamieson@ecu.edu.au.

3Monash University, Melbourne, Australia.

PMID: 36469231

DOI: 10.1007/s10459-022-10193-9

Abstract

Competency-based assessment is undergoing an evolution with the popularisation of programmatic assessment. Fundamental to programmatic assessment are the attributes and buy-in of the people participating in the system. Our previous research revealed unspoken, yet influential, cultural and relationship dynamics that interact with programmatic assessment to influence success. Pulling at this thread, we conducted secondary analysis of focus groups and interviews (n = 44 supervisors) using the critical lens of Positioning Theory to explore how workplace supervisors experienced and perceived their positioning within programmatic assessment. We found that supervisors positioned themselves in two of three ways. First, supervisors universally positioned themselves as a Teacher, describing an inherent duty to educate students. Enactment of this position was dichotomous, with some supervisors ascribing a passive and disempowered position onto students while others empowered students by cultivating an egalitarian teaching relationship. Second, two mutually exclusive positions were described-either Gatekeeper or Team Member. Supervisors positioning themselves as Gatekeepers had a duty to protect the community and were vigilant to the detection of inadequate student performance. Programmatic assessment challenged this positioning by reorientating supervisor rights and duties which diminished their perceived authority and led to frustration and resistance. In contrast, Team Members enacted a right to make a valuable contribution to programmatic assessment and felt liberated from the burden of assessment, enabling them to assent power shifts towards students and the university. Identifying supervisor positions revealed how programmatic assessment challenged traditional structures and ideologies, impeding success, and provides insights into supporting supervisors in programmatic assessment.

Keywords: Assessment; Competency-based assessment; Health education; Higher education; Learner educator partnership; Power; Programmatic assessment; Supervisors.