평가의 문화 바꾸기: 총괄평가 패러다임의 우위성(BMC Med Educ, 2017)

평가의 문화 바꾸기: 총괄평가 패러다임의 우위성(BMC Med Educ, 2017)

Changing the culture of assessment: the dominance of the summative assessment paradigm

Christopher J. Harrison1* , Karen D. Könings2, Lambert W. T. Schuwirth3, Valerie Wass1

and Cees P. M. van der Vleuten2

배경

Background

평가 프로그램의 설계자는 프로그램 방식 평가의 이론적 개념에 이끌릴 수 있지만, 현실에서의 구현은 어려운 것으로보고되기 때문에 평가 문화의 급진적인 변화 진행을 주저 할 수 있습니다.

Although designers of assessment programmes may be attracted by the theoretical concepts of programmatic assessment, they may be hesitant to proceed with a radical change of assessment culture because of the reported difficulties in implementation.

예를 들어, 문제 기반 학습 (PBL)과 같은 구성주의적 접근법이 지난 30 년 동안 점차 대중화되었지만, 그 변화는 종종 논란의 여지가 있어왔으며, 모든 임상 교사들에게 보편적으로 받아들여지지는 않았다 [9, 10] .

For example, although constructivist approaches to learning, such as problem-based learning (PBL), have gradually become more popular over the last 30 years, the change has often been controversial and not universally accepted by clinical teachers in particular [9, 10].

조직의 문화를 수정하는 데 따르는 어려움은 엄청난데, 조직이 급격한 변화에 내재적으로 내성을 갖기 때문이다. 조직 변화에 사회 문화적 관점을 적용한 Johnson [11]에 따르면, 이러한 관성의 원인 중 하나는 변화에 대한 책임을 갖는 관리자가 조직 문화에 대한 공통적 핵심 신념과 가정을 공유하기 때문입니다. Johnson은 이것을 패러다임으로 정의합니다. 가정assumption이란 [당연한 것으로 간주되는 조직의 가치]이기 때문에 일반적으로 암묵적입니다. 모든 잠재적 변화는 이 '패러다임'이라는 필터를 통해 보여지는 경향이 있습니다.

The challenges involved in modifying an organisation’s culture are immense, as organisations are typically inherently resistant to radical change. According to Johnson [11], who applies a socio-cultural perspective to organisational change, one of the reasons for this inertia is because the managers responsible for change share common core underlying beliefs and assumptions about the organisational culture. Johnson defines this as a paradigm. The assumptions are typically implicit as they are the organisation’s values which are taken for granted. Any potential change tends to be viewed through the filter of the paradigm.

이 신념의 패러다임은 그 자체로 조직의 더 넓은 '문화적 그물'의 일부입니다. Johnson [11, 12]은 문화적 그물을 구성하는 많은 요소를 정의합니다.

• 조직의 권력 구조는 핵심 패러다임과 밀접한 관련이 있습니다. 조직의 가장 강력한 구성원이 핵심 가정과 가장 밀접하게 관련되어 있기 때문입니다.

• 공식 및 비공식 조직 구조는 권력 구조를 반영하는 경향이 있으며, 특정 관계 또는 구조가 조직 내에서 특히 중요하다는 것을 확인시켜준다.

• 조직은 일반적으로 구성원이 따르는 많은 의식과 루틴을 갖고 있으며, 대부분의 사람들은 특별한 고민 없이 이를 따른다.

• 이야기(서사)는 조직을 통해 전수되는relay down 경우가 많으며, 조직의 역사에서 중요한 사건과 사람들을 상기시킵니다. 이것들은 조직이 가치롭게 여기는 것이 무엇인지를 보여주는 역할을합니다.

• 마찬가지로 기호 역시 조직의 가치에 대한 중요한 통찰력을 제공 할 수 있습니다. 기호는 로고와 같이 단순한 형태일 수도 있지만, "지정 주차공간"과 같은 권력의 표시자기이도 하다.

• 조직은 또한 특정 측면에서 진행 상황을 모니터링하는 공식적인 통제 시스템을 갖추고 있으며, 이를 통해 관심을 갖는 것이 무엇인지를 확인시켜준다.

This paradigm of beliefs is itself part of a wider ‘cultural web’ of an organisation. Johnson [11, 12] defines a number of elements which make up the cultural web. 

• The power structures of an organisation are often closely linked to the paradigm, as the most powerful members of the organisation are likely to be most closely associated with the core assumptions. 

• The formal and informal organisational structures tend to reflect power structures and ensure that certain relationships or structures are particularly valued within the organisation. 

• Organisations typically adopt a number of rituals and routines that members follow, often without thinking. 

• Stories are often relayed down through an organisation, recalling significant events and people from the organisation’s history. These serve as demonstrations of what the organisation values. 

• Similarly, symbols can provide important insights into an organisation’s values; at their simplest, symbols may be logos, but they can also be indicators of power, such as reserved car-parking spaces. 

• Organisations also have formal control systems which monitor progress in certain aspects and therefore ensure where attention is focussed.

전반적으로, 패러다임과 더 넓은 문화적 그물 사이의 상호 작용은 "이것이 여기서 일이 돌아가는 방식"[11]이라는 가정에 이르게한다. 관리자가 변화에 대한 압박에 직면하면, 일반적으로는 (변화의 방향이) 조직의 일반적인 패러다임 및 더 넓은 문화적 그물과 일치하는 방식으로 재설계 할 것입니다.

Overall the interaction between the paradigm and the wider cultural web leads to an assumption that “this is the way things are done around here” [11]. If managers are faced with pressure to change, they will typically redesign in a way which is consistent with the prevailing paradigm and the wider cultural web of the organisation.

Johnson [11]은보다 급진적 인 변화가 고려되기 전에 문화적 그물을 명시화해야 한다고 주장한다.

Johnson [11] argues that the cultural web needs to be made explicit before more radical change can be contemplated.

일단 조직 문화를 이해하고 나면, 성공적인 변화는 다른 요소들에 달려있다. 특히 개인게 미치는 결과는 신중하게 고려해야합니다. 문화를 바꾸는 것만으로 개인의 행동을 바꿀 수는 없다 [13]. 대신, 개인이 개인적으로 참여할 수 있도록 '심리적으로 안전한' 분위기를 조성해야합니다. 그들은 새로운 문화에 내재되어있는 신념과 가치를 스스로 평가할 수 있어야하며, 개인으로서의 어떠한 결과에 직면할 것인가를 알아볼 수 있어야 한다.

Once an organisational culture has been understood, successful change also depends on other factors [13]. In particular, the consequences for the individual must be considered carefully. It is not possible to change an individual’s behaviour simply by changing the culture [13]. Instead, a climate of ‘psychological safety’ needs to be created in order to allow individuals to feel personally involved. They need to be able to evaluate for themselves the beliefs and values inherent in the new culture, and to examine the consequences for themselves as an individual [13].

교육자들은 때때로 변화 관리 문건에서 이미 확인된 이러한 증거를 마치 모르는 것처럼 행동하는 경향이있다. 예를 들면, 학생의 관점을 포함시킴으로써 교육과정 재설계를 개선할 수 있다는 증거에도 불구하고, 교육적 재설계에서 학생을 파트너로 참여시키는 것이 중요하다는 사실은 종종 간과됩니다. 대신, 학생들의 의견은 종종 [교사의 질에 대한 평가]를 고려하는 것으로 끝나고 만다. 학습 환경을 재설계 할 때 학생들의 관점을 포함시키기 못하면 학생들 사이에서 소외감과 실망감이 발생하고, 결국 동기 유발에 부정적인 영향을 미친다.

Educationalists have sometimes tended to act as if they were unaware of this evidence from the change management literature [14]. The importance of involving students as partners within instructional redesign is often overlooked despite evidence that incorporating students’ perceptions can improve redesign [15]. Instead, students’ input is frequently limited to evaluations about the quality of teachers. Failure to incorporate students’ perceptions when redesigning a learning environment leads to feelings of alienation and disempowerment among students, with resultant adverse effects on motivation [16].

교사는 교육 혁신을 설계 할 때 고려해야 할 중요한 이해 관계자이며, 이들이 실제 학습 환경을 재설계 할 것으로 기대하면서도, (교육) 설계 프로세스에 완전히 참여하지 못하곤 한다. 디자이너와 교사 간의 상호작용의 작용 부족으로 인해, 교사는 지원을 받지 못하는 상태에서 이상적이지 못한 맥락 속에 교육 혁신을 구현할 것만 요구받곤 한다[17].

Teachers are also important stakeholders to be considered when designing instructional innovations, yet they are often not fully involved in the design process, even though they are expected to enact the redesigned learning environment in practice [17]. A lack of interaction between designers and teachers can leave the latter group unsupported while expected to implement educational innovations in contexts which may be less than ideal [17].

이미 과거에 새로운 평가 방법의 탑다운 방식의 구현이 교사나 학생의 행동에 원하는 변화를 가져 오지 못했습니다 [18].

Top-down implementation of new assessment practices has failed in the past to bring about a desired change in the behaviour of teachers or students [18].

학생, 교사 및 교수 설계자 간의보다 긴밀한 협조를 돕기 위한 COOP (Combination Of Perspective) 모델은 다양한 이해 관계자를 시각화하는 방법으로 제안되었습니다 [19]. 학습 환경을 (재) 설계 할 때 여러 이해 관계자의 인식을 통합하는이 프로세스는 보통 참여적 설계 (participatory design) [20]라고 불린다. 참여적 디자인이 학생들이 설계 프로세스를 완전히 제어해야한다는 것을 의미하지는 않는다. 학생들이 최적화된 학습 환경을 설계 할 수있는 전문 지식을 갖고 있지 않기 때문이다. 대신 참여적 설계란 교사와 교수설계자가 전문 기술을 사용하는 설계 프로세스에서 학생도 파트너가되어야한다고 제안됩니다.

To aid a much closer collaboration between students, teachers and instructional designers, the Combination Of-Perspectives (COOP) model has been proposed as a way of visualising the different stakeholders involved [19]. This process of incorporating multiple stakeholders’ perceptions when (re)designing a learning environment is usually referred to as participatory design [20]. Participatory design does not imply that students should have full control over the design process as they do not necessarily have the expertise to design an environment which is optimal for their learning. Instead it is proposed that they should be partners in a design process that also uses the expertise of teachers and instructional designers.

그러나 이해 관계자의 관점을 인정하는 것 만으로 변화가 성공적으로 진행될 수 있다고 가정하는 것 역시 너무 단순하다. 변화가 어려운 이유 중 하나는 이해관계자의 인식이란 단순한 아이디어 이상의 것이기 때문이다. 대신 그들은 그들 자신의 개인적 인식론epistemologies을 대표한다 [22]. 개인적 인식론이란 개개인의 직관적이면서 확고하게 잡힌 신념으로서, 우리 모두가 우리 주변의 세계에 대해 인식론을 가지고 있습니다. 환자에게 더 건강한 생활 방식을 채택하도록 설득하려고 했던 경험이 있는 의사라면, 강한 의학적 증거에도 불구하고 이와 직접적으로 충돌하는 개인적 인식론의 힘이 있으며, 이것이 얼마나 잘 바뀌지 않는 것인지 잘 알 것이다. 즉, 의사들은 종종 임상연구에서 쌓인 근거가 있음에도 불구하고, 이것이 환자의 근본적인 신념과 원활히 드러맞지 않다는 이유로 그 근거를 일상 진료업무에 반영하지 못하곤 한다

It would, however, be simplistic to assume that change can proceed successfully once stakeholders’ perceptions are acknowledged. One reason why change is so difficult is that many of the stakeholders’ perceptions are much more than mere ideas; instead they represent their own personal epistemologies [22]. These are intuitive but firmly-held beliefs which we all hold about the world around us. Any clinician who has tried to convince a patient to adopt a healthier lifestyle will recognise the strength, and often fixed nature, of personal epistemologies, which are frequently in direct conflict with strong medical evidence [23]. Similarly, clinicians themselves often fail to incorporate evidence from research trials into their daily practice because the evidence does not sit comfortably with their underlying beliefs [24].

서로 다른 평가 문화에서 피드백에 대한 수용성에 대한 이전의 연구는 현재의 평가 및 피드백 관행에 관한 학생들의 인식론뿐만 아니라 교사의 신념에 대한 관점도 제공했다 [25, 26].

The previous studies about receptivity to feedback in different assessment cultures provided some evidence about students’ epistemologies regarding current assessment and feedback practices, as well as their perceptions about their teachers’ beliefs about these matters [25, 26].

조직 문화의 변화를 가져 오는 것이 어렵기 때문이, 종종 점진적 변화가 선호되곤 한다(11). 평가 프로그램을 '학습의 평가AOL'에 기초한 평가 프로그램에서 '학습을 위한 평가AFL'원칙을 포함하는 평가 프로그램으로 전환하기 위해서는 여러 단계가 필요합니다. 중요한 초기 단계는 학생들이 평가후 피드백을 더 많이 활용할 수 있도록하는 것입니다.

Given the difficulty in bringing about organisational culture change, incremental change is often preferred [11]. There are a number of steps which would need to occur to convert an assessment programme from one based on ‘assessment of learning’ to one which incorporates ‘assessment for learning’ principles. A key initial step would be to ensure that students make more use of post-assessment feedback.

따라서 우리는 조직이 학습 문화에 대한 평가로 옮겨가는 데 도움이되는 초기 변화를 채택 할 준비가 된 기관을 모색하고 싶었습니다.

We therefore wanted to explore an institution’s readiness to adopt initial changes which would help an organisation move towards an assessment for learning culture.

Method

Context

• 
  

The study took place at Keele University School of Medicine, which has approximately 130 students per year. It is one of the newest British medical schools, graduating its first cohort of doctors in 2012. 

• Progression through, and exit from, the course relied on a series of summative assessments. There is a focus on the provision of feedback to all students following highstakes assessments, although there is no obligation for students to make use of the feedback. 

• The school has a tradition of respecting the student voice in a number of ways. Student representatives serve on all the major school committees (including for assessments). They also provide feedback about the course on a regular basis, via online surveys and face-to-face interactive group meetings with faculty members. At these meetings, students learn what has changed in the course as a result of their feedback. They also make suggestions for further changes.

Participatory redesign meeting

We conducted a small-group meeting based on the principles of participatory design. Participants were purposively sampled to recruit 

• five medical students (from Years 3 to 5 of the programme), 

• two clinical teachers (with responsibility for Years 3 to 5) who are also experienced OSCE assessors and 

• two senior members of the faculty, who have responsibility for overall curriculum design (and who were known to already have an awareness of the broad concepts of ‘assessment for learning’). 

By aiming to have more than half the participants as students, it was hoped to minimise hierarchical power issues within the group. 

• Potential students were approached by members of the School’s academic and administrative team (not involved in the research) solely on the basis of their likely confidence to cope in a meeting with senior members of faculty. 

• Previous involvement in faculty structures or curriculum development was not considered in the recruitment process.

A joint meeting was held to include all participants. 

• The lead researcher provided a short presentation explaining why the educational research evidence would support a change in assessment processes to ensure that feedback was used, along with evidence demonstrating the difficulties in ensuring that students make use of the feedback. 

• The problem with feedback following OSCEs was used as a concrete example, but the participants were encouraged to consider the wider problem of feedback following assessments as a whole. 

• They were challenged to use blue sky thinking to design radical solutions for this problem. 

• Participants spent some time alone writing their own ideas on Post-it notes. 

• They then formed pairs of a clinician or faculty member and student (or in one case a trio comprising two students and a clinician) to share ideas and develop agreed priorities. 

• Participants then formed mixed groups of 4 or 5 to further develop ideas and priorities for change. 

• The group then reformed as a whole to compare proposed solutions and discuss them in more detail. 

• Once they had come up with their suggestions, the group members were then encouraged to critically challenge their proposals in order to explore the underlying factors which would support (or hinder) successful practical implementation of the assessment change. 

• The meeting lasted approximately two and a half hours.

개별 후속 인터뷰

Individual follow-up interviews

자료 수집

Data collection

• The post-its completed by individuals and pairs were collected and transcribed. 

• Those completed by individuals were labelled as being written by students or clinicians (to incorporate both faculty members and clinical teachers). 

• This was done to achieve sufficient anonymization. 

• The outputs from the sub-groups were written on flip charts to facilitate sharing with the whole group. 

• These were also transcribed. 

• The participatory redesign meeting as a whole, and the individual meetings, were audio-recorded and transcribed. 

• These were supplemented by field notes collected by an experienced observer, who had a specific remit to observe interactions between group members.

자료 분석 및 해석

Data analysis and interpretation

Data were analysed from a sociocultural perspective, using Johnson’s cultural web as a lens [11], in order to understand aspects of the organisational culture as well as individual beliefs. 

• Although the proposed changes to the assessment culture were interesting in themselves, the interaction between participants, and in particular the relative influence of students in moulding the proposals, was of specific interest. 

• The transcripts and field notes from the group meeting were analysed carefully to understand how the proposed changes were developed (or blocked) within the group. 

• We aimed to identify collective and personal epistemologies held by the group as a whole and by individual members.

Coding of all data was performed by the lead researcher. 

• In order to validate emerging concepts, the participatory design meeting transcript was also thoroughly read by a second researcher, while the individual interview transcripts were analysed by a third researcher. 

• Regular videoconference discussions with the wider research team helped modify the coding and the conceptual analysis arising from

결과

Results

평가후 피드백을 더 잘 활용하기 위한 제안

Proposals to enable greater use of post-assessment feedback

진실성

Authenticity

현재의 평가가 종종 authentic하지 못하고, 의료 커리어에 필요한 속성을 발견하지 못했다는 광범위한 합의가있었습니다.

There was broad agreement that current assessments, were often inauthentic and failed to detect the attributes that will be needed for a medical career:

학생들로부터 임상 근무지 학습과의 연계가 평가에 반영되지 않은 것에 대한 광범위한 분노가있었습니다.

There was widespread resentment from students that engagement with clinical workplace learning failed to be reflected in assessment performances:

병동에는 가지도 않은 다음에 시험을 치른 학생들과 이야기를 나눠보면, 그들은 OSCE에서 더 잘했고 "어떻게 이럴 수 있지?"라고 생각했다. 나는 일년 내내 slaved했기 때문이다. '학생 3, 그룹 회의.

I think definitely you really do notice the people who don’t go to wards and then you talk to them after exams and they did better in the OSCEs and you think, ‘How did that work? I slaved all year.’ Student 3, group meeting.

학생들은 최후의 피상적 학습을 하면 시험에서 과정에서 보상을 받았지만, 이것은 지속적인 근무지 학습을 위한 기술을 갖추게 해주지는 못했다.

The perception was that students were able to do last minute superficial learning which was rewarded by the assessment processes but which failed to equip them with skills for ongoing workplace learning:

시간 제약으로 학생들은 자신의 능력을 충분히 발휘할 수 없다는 좌절감을 갖게되었습니다.

Time constraints left students frustrated that they were unable to adequately demonstrate their abilities:

시간에 대한 제한은 또한 학생들을 구별하는 평가자의 노력도 좌절 시켰습니다.

Restrictions on time also frustrated examiners’ efforts to differentiate between students:

OSCE 형식으로 평가할 수있는 시나리오는 임상 작업장의 현실을 반영하지 못했습니다. 이 문제를 해결하려는 시도는 어색했다.

The scenarios that could be assessed in an OSCE format failed to reflect the realities of the clinical workplace; attempts to address this were clumsy:

OSCE 스테이션에서 내가 한 일 중 대부분은 나 혼자 하는 일이지만, 실제로 의료현장에서 나는 팀에 속해있다. 그리고 이러한 팀워크가 OSCE 스테이션에서 광범위하게 평가되는 것 같지는 않다. 임상 교사 2, 그룹 회의.

In OSCE stations it tends to be you on your own whereas most of the work I’ve ever done is being part of a team. And that doesn’t seem to be assessed very widely in OSCE stations, the team working. Clinical teacher 2, group meeting.

진실성이 결여됨으로 인해서 OSCE후에 받은 피드백은 평가절하되었다.

The lack of authenticity led to feedback from OSCEs being discounted:

그러나 이러한 한계에도 불구하고 평가를 보다 authentic하게 만드는 방법에 대한 합의는 이루어지지 않았습니다. 평가를 재설계하려는 시도는 급진적이기보다는 사소한 것들이 었습니다.

However, there was no consensus about how to make the assessments more authentic. Attempts to redesign were typically minor rather than radical:

제안에는 OSCE 스테이션의 시간 연장, 

각 임상 로테이션 말미에 긴 케이스로 돌아가는 것, 

근무지 기반 평가를보다 엄격하고 객관적인 것으로 만드는 것 등이 포함되었다. 

OSCE 스테이션의 시간을 늘리는 것은 지식과 기술 평가의보다 나은 통합을 지원하는 것으로 생각되었다.

Suggestions considered included lengthening OSCE stations, a return to long cases at the end of each clinical attachments, or a desire to make workplace-based assessments more rigorous and ‘objective’. Increasing the time for OSCE stations was thought to support better integration of knowledge and skills assessment.

또한 평가전 근무지기반 학습을 지원할 것으로 생각되었습니다.

It was also felt likely to support pre-assessment workplace-based learning:

그러나 [더 높은 authenticity 필요성]과 [공정성을 보장하기 위해 표준화 및 신뢰성을 유지 또는 강화해야한다는 필요성] 사이에는 해결되지 않은 긴장이 있었습니다.

However, there was an unresolved tension between the need for greater authenticity and the belief in the need to maintain or enhance standardisation and reliability to ensure fairness:

나는 긴 경우가 표준화하기가 훨씬 더 어렵다고 생각한다. 그러나 병동에 들어갔을 때 그들이 실제로 병상에 닿는 것은 처음으로 사람들을 만나는 것입니다. 병력청취를 충분히 하고, 충분한 진찰을하고, 결과로 무언가를 생각해냅니다. 이런 의미에서 long case가 그들이 할 일을 더 잘 반영할 것이다. 그러나 현실에서는 단지 8 분 동안 업무의 작은 한 가지 요소만 하도록 요구받지 않을 것입니다.

I guess the long cases are much harder to standardise . But what they’re actually going to bedoing when they hit the wards is see people for the first time, taking a full history, doing a full examination, trying to come up with something as a result of it aren’t they. So in that sense a long case is more reflective of what they’re going to do, they’re not going to be asked to just go in and do one tiny little bit of somebody for eight minutes.

또한 현재의 평가 형식을 버리는 것의 명백한 위험이 있습니다. 학습자가 나중에 시험을 치르는 데 도움이되는 준비 였기 때문입니다.

There were also apparent dangers in abandoning current assessment formats as they were seen as helpful preparation for examinations later in the learners’ careers:

성적 없는 피드백

Feedback without grades

성적없이 피드백을 제공하자는 한 학생의 제안은 상당한 그룹 토의를 야기했습니다. 이러한 방식은 내재적 동기를 강화시키는 방법으로 옹호되었다.

A single student’s suggestion of providing feedback without grades generated significant group discussion. It was advocated as a way of enhancing intrinsic motivation:

그러나 많은 사람들은 이것이 피드백에 대한 수용성에 악영향을 미칠 것이며, 학생은 평가를 통과했는지 여부를 판단하기 위해 내러티브 피드백을 숫자로 변환하게 될 것이라고 생각했습니다.

However, many felt that this would result in them converting the narrative feedback into a numerical mark, in order to determine whether or not they had passed the assessment, with adverse effects on their receptivity to feedback:

서술 피드백과 수치 점수 사이에 불일치가 있기 때문에 이 접근법은 misleading할 가능성이 있다.

This approach could be potentially misleading as there were mismatches between the narrative feedback and numerical marks:

서술형 피드백과 수치 점수 사이의 불일치는 특히 수행능력이 합격선을 갓 넘는 수준인 학생의 경우에 더 문제가 된다. 이러한 학생들에 대해서 평가자는 (더 중요한 문제로 여겨지는) 점수에 우선적으로 초점을 맞추게 되며, 피드백은 부차적인 문제가 된다.

The mismatch was exacerbated by a focus on the pass-fail mark, especially for those students whose performance was only just satisfactory. Examiners needed to focus primarily on the mark, which was seen as the more important issue, with feedback of secondary priority.

경계선에있는 사람들, 당신은 그들에 대해 오랜 시간 고민하게 된다. 그러고나면 피드백을 줄 시간이 몇 초 밖에 남지 않아서, 정작 피드백이 필요한 사람들에게 제공되는 피드백이 엉망이 된다. 임상 교사 2, 그룹 회의.

The ones who are borderline, you’re fretting about them and then you’ve only got a few seconds to give the feedback and so it messes up the feedback to those who particularly need it. Clinical teacher 2, group meeting.

성적을 부여하지 않는 것은 평가의 기본 목적과 양립 할 수없는 것으로 여겨졌습니다.

Failure to award grades was seen as incompatible with one of the fundamental purposes of assessments:

성적은 (학생들에게) 명확성과 확신을 주었습니다.

Grades provided clarity and reassurance:

나는 성적을 통해서 내 위치가 어디이며, 내가 잘 하고 있는지에 대한 확고한 정보를 얻는다. 그리고 성적은 학생들에게 훨씬 더 이해하기 직관적이다.

I think they give you some security in knowing that you’re doing well and where you’re at. And I think grades are a lot easier to process in student’s mind

근본적으로, 성적 없이 피드백만 제공하는 것을 뒷받침하는 근거에 대한 믿음이 부족했습니다.

More fundamentally, there was a lack of belief in the evidence underpinning the provision of feedback without grades:

나는 피드백이 성적 없이는 더 효과적이라는 합리적으로 좋은 증거가 있음을 알고 있지만, 사실 잘 믿기지 않는다.

I know that there’s reasonably good evidence that feedback is more effective without the grades but I can’t quite believe it.

멘토링

Mentoring

멘토링의 이론적 이점에 관해 많은 논의가있었습니다. 토론 내용은 주로 장기간의 지지적 코칭보다는 일대일 사후 시험 피드백 (미래 시험에서 더 잘하는 방법)에 주로 집중되었습니다. 멘토링은 학생들이 피드백에 의미있게 참여하도록 유도하는 방법으로 간주되었습니다.

There was much discussion about the theoretical benefit of some form of mentoring. The discussion concentrated mostly on one-to-one post-exam feedback (how to do better in future exams) rather than long-term supportive coaching. Mentoring was seen as a way of encouraging students to engage meaningfully with the feedback.

나는 누군가와 이야기를 나눔으로써 피드백을 조금 더 이성적으로 생각해볼 수 있다고 생각합니다. 왜냐하면 나쁜 피드백을 받으면 우선은 좀 우울해지기 때문입니다.

I think talking to someone can first of all make you think about it more rationally, because if you get bad feedback it can just seem a bit oppressive.

멘토링을 도입하는 것에 관한 많은 어려움이 확인되었습니다. 멘토링의 시기는 사후 평가 피드백을받은 직후면서 동시에 그 길이는 의미가 있을만큼 길어야 했습니다. 학생들은 진료 스케줄 때문이 이런 것은 실현되기 어려울 것이라고 인식했습니다.

Many barriers to successful implementation were identified. The timing of any mentoring needed to be soon after receiving post-assessment feedback, but also needed to be long enough to be meaningful. Students recognised that clinical service commitments meant this would be unlikely to be achievable.

적합한 멘토는 평가 요구 사항을 잘 알고있는 사람으로 보았으며, 반드시 학생과 지속적인 관계가 있을 필요가 있다고 생각되진 않았다.

A suitable mentor was seen as someone who was familiar with the requirements for the assessments, not necessarily one with an ongoing relationship with the student.

그들이 반드시 우리를 잘 알아야 할 필요가 있는 것은 아니다. 그보다 멘토는 시험 시스템을 알아야하고, 시험에서 다루는 여러 분야에 능숙하여 통합적이어야 한다. 학생 3, 개별 면접.

No they don’t have to know us at all they just have to know the exam system and be rounded enough to be familiar with all areas of the exam possibly. Student 3, individual interview.

[자신의 영역에서 신뢰할 수있는 피드백을 줄 수있는 세부전문가]와 [평가의 모든 측면을보다 광범위하게 지원할 수 있는 교사]는 서로 긴장 관계에 있었습니다. 어떤 경우에는 세부전문가의 의견이 더 귀중 해 보였습니다.

A tension existed between having a specialist who could give credible feedback in their own area versus a tutor who could help more broadly with all aspects of assessment. On the one hand feedback from a specialist was seen as more valuable:

반대로 전문가의 피드백은 평가 준비에 방해가 될 수 있습니다.

In contrast, feedback from specialists could impair preparation for assessments:

학생들과 충분한 시간을 보내기에 충분한 멘토를 찾으려면 조직 문화에 커다란 변화가 필요했습니다.

The challenges involved in finding enough mentors to spend enough time with students needed a huge change in organisational culture:

그것을 극복하려면, 의대 교수가 가진 우선 순위와 의대 학교 문화의 근본적인 변화가 있어야 할 것입니다. 교수진 2, 그룹 회의.

I think in terms of overcoming it, it would mean a fundamental shift in the culture of a medical school faculty and in the priorities that faculty had. Faculty member 2, group meeting.

그러한 변화가 인기가 있겠지만, 임상 진료능력이 아니라 평가에서 잘 하도록 향상시키는 것이 주요 목적이라면 그러한 목적의 문화 변화는 가치있다고 여겨지지 않았습니다.

While there was recognition that such a change would be popular, it was not thought to be worth the culture change if the main aim was to improve assessment performance rather than clinical practice:

당신이 시험에서 더 잘할 수 만드는 것에 목적을 둔다면 나는 거기에 의문의 여지가 있다고 생각합니다. 그러나 실제로 그 피드백의 결과로 임상 실습에서 더 잘 수행한다면, 그 주장은 설득력이 있을 것입니다.

If it’s just so that you can do better in exams I think that has to be questioned. But if actually you perform better in clinical practice as a result of that feedback then the argument for me would be compelling.

타협안은 멘토링 제공을 자발적 활동으로 만들거나, 특정 학년 그룹만을 목표로 삼는 것이 있었다:

Compromises considered making the mentoring available on a voluntary basis or targeting certain year groups:

그것에 대해 조금 생각해 보았을 때, 5 년 동안 그것을 수행하는 물류는 매우 어려울 것이라고 생각합니다. 대신 5년 동안 두 번씩 이런 경험을 쌓게 해주는 것은 괜찮을 수 있다. 교수진 2, 개별 면접.

Having thought about it a bit, the logistics of doing it for all five years, I think, would make it very hard . It may be that that each student has thissort of experience twice during their five years. Faculty member 2, individual interview.

결국 popular하더라도 이러한 변화는 쉽게 구현 될 수 없을 것이라는 것이 합의점이었다.

The consensus was that, while popular, this change could not easily be practically implemented:

평가 재설계에 대한 개인적, 집단적 신념

The influence of personal and collective beliefs on assessment redesign

그룹 토의와 개별 인터뷰에서 총괄평가의 패러다임이 지배적 요소였다. 참가자의 사전 평가 경험은 재설계 제안에 영향을 미쳤습니다. 그룹 내에서, 더 많은 영향력을 행사하는 선임 멤버들과의 위계구조의 증거가 확인되었다.

Within both the group discussion and the individual interviews, the summative paradigm was a dominant factor. Participants’ prior experiences of assessment influenced redesign proposals. Within the group, there was evidence of a hierarchy with senior members exerting more influence.

총괄평가 패러다임이 대세

The summative paradigm was dominant

참가자들이 드러낸 신념의 대부분은 총괄 평가 패러다임에 확고하게 뿌리를두고 있습니다. 토론의 주요 내용은 좋은 의사가 되는 것 보다는, 평가 장애물을 극복해야 할 필요성으로 보는 관점이 지배적이었습니다. 평가의 주안점은 pass-fail을 구분하는 것과 unsafe한 학생들이 의사 자격을 얻지 못하도록 방지해야한다는 것입니다.

Most of the beliefs expressed were firmly rooted within the summative assessment paradigm. Discussions were dominated by the need to get through assessment hurdles, rather than becoming a good doctor. The primary focus of assessment was the pass-fail mark and the need to prevent unsafe students qualifying as doctors:

이 패러다임에는 [인식된 객관성] 또는 [인식된 엄격함]의 한 가지 형태로서 숫자 및 성적의 필요성에 대한 믿음이 깔려있었다. 평가 모델이 엄격함과 객관성을 잃는 것으로 보이면 변화에 ​​부정적인 태도가 유발되었다. 이 패러다임 내에서 피드백의 목적은 주로 학생이 이후 이어지는 평가에서 더 잘 수행하도록 돕는 것 또는 점수의 정확성을 확인할 수있는 기회를 더 많이 제공하는 것이 었습니다.

The paradigm included a belief in the need for numbers/ grades as a form of perceived objectivity or rigour. There were negative attitudes to changes to assessment models if this rigour and objectivity were to be lost. Within this paradigm, the aim of the feedback was principally that it should help the student do better in future assessments, or allow more chance to check on the accuracy of the marking.

과거 평가경험의 영향

Influence of prior assessment experience

기존 평가 및 피드백 경험은 제안 된 변경 사항을 검토하는 또 다른 필터 역할을했습니다. 참가자들은 종종 평가에 대한 자신의 개인적 이야기를 인용했습니다. 이들은 전형적으로 총괄 평가 프레임 워크내에서 작동했기 때문에, 그들은 총괄 패러다임을 한층 강화하는 역할을 수행했다. 예를 들어, 평가에서 보다 나은 authenticity에 대한 논의는 결국 표준화의 필요성에 대한 논의로 되돌아갔습니다.

Prior experience of assessment and feedback, acted as another filter through which proposed changes were viewed. Participants frequently re-cited stories of their own personal assessments. As these typically occurred within a summative assessment frame-work, they acted as a further reinforcement of the summative paradigm. For example, discussion about the need for greater authenticity in assessments reverted to the need for standardisation: 

그러나 다른 평가 문화에 대한 기존 경험은 변화에 대한 열망을 뒷받침했다. 대부분의 참가자들은 멘토링이 실용적이지 않다고 생각했지만, 한 회원은 자신의 경력에 ​​영향을 미쳤기 때문에 강력한 지지자였습니다.

However, prior experience of a different assessment culture supported desire for change. While most participants felt mentoring was impractical, one member was a strong advocate because of the impact on his own career:

그룹 내에서 권력 자체가 갖는 설득력

Power was persuasive within the group

표면적으로는 그룹 구성원들 간의 상호작용이 빈번하였으며, 학생들이 세부적으로도 많은 기여를 했음에도 불구하고, 전체적으로 그룹의 의견에 주는 영향은 크지 않은 것으로 나타났습니다. 반대로, 어떤 clinician이 더 많은 authenticity에 대한 필요성에 대해 제안했을 때, 이것은 다른 대부분의 그룹에 'strike a chord'하였다. 결과적으로 사실상 모든 구성원이 평가가 종종 authentic하지 못하며, 특히 학생들은 이를 지지하는 목소리를 내었다.

Although superficially there was good interaction between group members, with students contributing frequently and in detail, they appeared less able to influence the group’s opinion as a whole. In contrast, a single clinician’s suggestion about the need for greater authenticity appeared to ‘strike a chord’ with most of the rest of the group. In the end, virtually every member seemed broadly in agreement that assessments are often inauthentic, with students particularly vocal in support.

그룹 토론에서 참가자들은 평가 문화에 대한 변화 제안 논의를 encourage하거나 discourage하는 다양한 기술을 사용하였다. 

• 학생들은 일반적으로 아이디어를 표현하는 다른 학생들을 명백하게 지지했지만, 임상의들은 이러한 명백한 지지를 거의 사용하지 않았으며, 대체로는 암묵적 지지를 사용했다. 

• 다른 그룹 멤버들과 동의하지 않을 때, 학생들은 다른 학생들과 의견이 다르다는 것을 명확히 드러내는 경향이 있었으나, 임상의사들에 대해서는 그렇게 하지 않는 경향이 있었습니다. 

• 반면에 임상의와 교수진은 종종 학생들에게는 명시적으로 반대의견을 표현하지 않았으며, 암묵적 접근을 보다 선호했고, 종종 질문을 하거나 "중립적 태도를 취하는sitting on the fence" 방식을 선호했습니다.

Within the group setting, a variety of techniques were deployed by participants to encourage or discourage discussion of proposed changes to the assessment culture. Students commonly provided explicit support to other students expressing ideas, but this behaviour was rarely used by clinicians, who tended to express more implicit support. When disagreeing with other group members, students tended to disagree explicitly with other students but rarely with clinicians. On the other hand clinicians and faculty members rarely expressed explicit disagreement, especially towards students, preferring a more implicit approach instead, often combined with a questioning style or “sitting on the fence”:

임상의와 교수진은 개인 인터뷰에서 자신의 신념을 표현하는 더 분명히 드러냈다.

The clinicians and faculty members were more explicit in expressing their beliefs in the individual interviews.

특정 아이디어가 논의되었을 때 그룹에서 침묵을 지킨 학생들이, 후속 인터뷰에서는 자신의 견해를 더 솔직하게 표현했다.

Students who remained silent in the group when certain ideas were discussed were much more forthright in expressing their opinion in the follow-up interviews:

임상의는 그룹 내에서 토론의 흐름을 제어하기 위해 몇 가지 기술을 사용했습니다. 첫째로, 그들은 때로는 논쟁중인 주제를 갑자기 변화 시켰습니다. 이것은 대개 제안 된 변경에 대한 그룹의 논의를 끝내는 데 성공적이었습니다. 다른 기술은 그룹에 초점을 맞춘 질문을 하는 것이 었으며, 이는 그룹 토론을 다른 방향으로 옮기는데도 효과적이었습니다.

Clinicians used a couple of techniques to control the flow of discussion within the group. Firstly, they sometimes abruptly changed the topic being discussed. This was usually successful in ending the group’s discussion of a proposed change. Another technique employed was to ask the group a focussed question, which was also effective in moving the group discussion in a different direction.

후속 인터뷰에서 개별 신념의 표현이 훨씬 명확 해졌지만 그룹 토의의 결과로 신념이 바뀌 었다는 증거는 거의 없었다.

While the expression of individual beliefs was much clearer in the follow-up interviews, there was little evidence that the beliefs had been changed by what they had heard in the group setting.

고찰

Discussion

• 우리는 참여자들이 총괄평가 패러다임의 중요성에 대한 공통의 가정과 신념을 공유한다는 것을 발견했다.

• 평가 재설계에 대한 토론은 주로 [학생의 더 나은 의사가 될 수 있도록 피드백을 사용]하는 것보다는, [학생들이 향후 평가를 통과하는 데 도움이되도록 피드백을 사용하는 것]에 초점을 맞추었다

• 장기 멘토링이나 성적 없는 피드백 제공과 같은 '학습을 위한 평가AFL'의 요소는 고려되었지만, 실제 실행가능한 아이디어로 여겨지지 않았습니다.

• 참가자는 주로 자신의 이전 평가 및 학습 경험에 의존하여 변화가 바람직하거나 바람직하지 않다는 견해를 이끌어 냈습니다.

• 서로 다른 배경을 가진 참가자 들간의 토론이 그룹 토의에 좋은 참여를 보였음에도 불구하고, 불일치는 암묵적인 방식으로 종종 표출되었고, 수석 임상의와 교수진은 학생들보다 영향력이 더 많았다.

• 후속 인터뷰를 통해 기본 개인 신념은 그룹 토의에서 크게 변하지 않았음을 입증했습니다.

• 존슨 (Johnson, 11 번)의 말을 인용하면 "총괄평가는 여기서 일이 돌아가는 방식이다"라는 공통된 공통된 가정이있는 것처럼 보입니다.

• We found that participants shared common assumptions and beliefs about the importance of the summative assessment paradigm. 

• Discussion about the redesign focussed on the use of feedback to help students pass future assessments, rather than using the feedback to help students become better doctors. 

• Elements of an ‘assessment for learning’ culture, such as long-term mentoring and the provision of feedback without grades, were considered but not seen as practical ideas for implementation. 

• Participants relied heavily on their own prior assessment and learning experiences to guide their views on what changes were possible or desirable. 

• Although discussion between participants from different backgrounds demonstrated good participation in the group discussion, disagreement was often voiced in an implicit manner and senior clinicians and faculty members appeared to exert more influence than students. 

• Follow up interviews demonstrated that underlying personal beliefs were largely unchanged by the group discussion. 

• There appeared to be a shared common assumption that (to paraphrase Johnson [11]) “summative assessment is the way things are done around here”.

총괄평가 패러다임의 지배력, 그리고 기존의 패러다임을 방해하지 않으면서 작은 변화를 이루려는 욕구는 [조직이 변화의 필요성에 직면했을 때 넘어야 하는 개념적 도전]에 대한 Johnson의 연구와 일치합니다. Johnson은 조직의 전략이 조직의 구성원이 공유하는 공통된, 때로는 암묵적인 가정에 근거한다고 주장합니다. 결과적으로 조직의 문화적 요소는 '당연한 것으로 간주됩니다'.

The dominance of the summative assessment paradigm, and the desire to make small changes without disrupting the paradigm, is consistent with Johnson’s work on the conceptual challenges organisations face when confronted with evidence of the need to change [11]. Johnson argues that an organisation’s strategy is based on common, often unspoken, assumptions which are shared by members of the organisation. As a result, elements of an organisation’s culture are ‘taken for granted’.

모든 참가자의 공헌에도 불구하고, 수석 임상의와 교수진이 토론의 결과에 더 많은 영향을 줄 수있는 것으로 보인 것은 놀랄 일이 아닙니다. 임시적으로 구성된 의료팀 구성원은 일반적으로 이전 경험이나 고정 관념을 바탕으로 권력의 분배에 관한 선입견을 갖는 경향이 있기 때문이다.

Despite contributions from all members, it is unsurprising that the senior clinicians and faculty members appeared more capable of influencing the outcome of the discussion. Members of a medical team formed on an ad hoc basis typically have preconceptions regarding the distribution of power, based on prior experiences or stereotypes [30].

참가자들이 그룹에서 서로에 대해 동의하지 않는 것을 함축적으로 표현하는 방식은 언어적 화용론 분야에서 설명 된 Brown과 Levinson의 예절 이론과 유사하다. 이 이론에서, 화자는 원하는 것을 의사 소통하려고 시도하면서 공격을 피하기 위한 전략을 사용한다. 예를 들면 간접적 표현의 사용, 일반론적 규칙이나 질문을 사용하는 것 등이 있습니다.

The implicit ways in which participants disagreed with each other in the group has similarities with Brown and Levinson’s theory of politeness, as described in the field of linguistic pragmatics [31]. In their theory, they describe how speakers employ strategies to avoid causing offence while still trying to communicate what they desire. Examples include the use of indirect language, statements of general rules or questions.

최근 Ginsburg와 동료들은 이러한 상황에서 비문자 언어non-literal language의 사용이 일반적이며 교수진이 "체면을 차릴" 수 있음을 발견했습니다. 상호 작용에서의 정치성은 필연적으로 혼란을 야기하며 어떤 상황에서는 위험 할 정도로 도움이 되지 않는다. 이번 연구에 따르면, 그룹 토론에서 의견을 공손하게 표현하거나 침묵했던 것이 확고하게 유지 된 개인적 신념을 적절히 대표하지 못했다는 것이 분명했음이 개별 인터뷰에서 드러났다

Recently, Ginsburg and colleagues found the use of non-literal language was common in these circumstances and enabled faculty members to “save face”. Politeness in interactions inevitably causes confusion and can even be dangerously unhelpful in certain situations [33]. It was clear from our study that politely-expressed comments, or even silence, in the group did not adequately represent more firmly-held personal beliefs which became evident in the individual interviews.

의학교육에 대한 함의

Implications for medical education

대부분의 참가자가 총괄평가의 문화에 확고하게 뿌리를 내리고 있는 개인적인 신념을 강하게 가지고 있다는 것은 이해할 수 있습니다. 임상가와 학생 모두 AFL 평가 경험은 거의 없거나 아예 없었기 때문에 지배적인 평가 문화는 고부담 평가를 기반으로했을 가능성이 큽니다.

It is understandable that most participants had strongly held personal beliefs which kept them firmly rooted in the summative assessment culture. For both clinicians and students, it is likely that the prevailing assessment culture had been based on high-stakes assessments, with little or no experience of an assessment for learning culture.

프로그램적 평가 또는 AFL에 기초한 평가 문화의 변화를 가져오기 위한 필수 요소는 학생과 교수진의 평가 방법에 대한 개념변화일 것이다. 변화를 수용하기 위해서, 그들은 총괄적 고부담 평가의 우선성에 대한 믿음을 멈추어야 할 필요가 있습니다. 이것은 신념의 근본적인 변화를 필요로 할 것이며, 이를 쉽게 보아서는 안 될 것이다.

In order to bring about a change in assessment culture towards one based on programmatic assessment or assessment for learning, the vital factor would appear to be a change in how both students and faculty conceptualise assessment. To accept change, they would need to stop believing in the primacy of summative high-stakes assessments. This requires a radical change in belief and the challenge of how to bring this about should not be underestimated.

믿음의 근본적인 변화라는 점에서, 아마도 과학 교육 분야에서 얻을 수 있는 교훈이 있을 것입니다. 학교 과학 교사는 지구가 구형임을 이해하기 위해 세계가 평평하다는 학생의 굳은 선입견을 바꿀 필요가 있습니다. 절대 반박 할 수 없는 지구가 둥글다는 증거를 학생들에게 제시하는 것 만으로는 학생들로 하여금 신념을 바꾸게 하지 못하였다 [34]. 대신, Vosniadou [35]는 과학 교육 내에서 개념적 변화에 대한 종합 모델synthetic model 접근법을 주장한다. 이 접근법에서 학습자는 자신의 삶의 경험에 기초하여 초기 단계에서 pre-conceptions을 형성한다고 주장한다. 다수의 pre-conception이 모여서, 비록 협소한 설명틀이더라도 일관성을 갖게 되는데, 이것을 naive theory라고 한다.

When considering such a fundamental change in belief, perhaps we could learn from the field of science education. School science teachers are required to change children’s firmly held preconceptions that the world is flat to an understanding that the earth is spherical. Simply presenting pupils with the apparently irrefutable evidence of a globe fails to convince students of the need to change their beliefs [34]. Instead, Vosniadou [35] argues for what she calls a synthetic models approach to conceptual change within science education. This approach argues that learners form pre-conceptions at an early stage, based on their experience of life. A number of pre-conceptions typically combine together to form a coherent if narrow explanatory framework, sometimes called naïve theory. 

Vosniadou [35]는 개념 변화라는 것은 한 개념을 다른 개념으로 갑자기 대체하는 방식으로 이뤄지지 않음을 인식하고 있었다. 대신 그것은 상호 연관된 개념의 대규모 네트워크가 서서히 변화하는 과정이며, 이 과정에서 새로운 구조가 발달하여 개인적 신념이 급진적으로 변화하는 과정이다. 이 때 새로운 개념이 부분적으로만 이해됨으로써 preconception이 misconception으로 대체될 위험이 있습니다. Vosniadou는 신념이 challenged 됨으로써 그것을 반박불가능한 과학적 사실로 보기보다는 검증될 수 있는 가설로 생각되어야 한다고 주장한다.

Vosniadou [35] recognises that conceptual change is not a sudden replacement of one concept with another. Instead it is a slow process that involves a large network of interrelated concepts and which requires the development of new constructions that involve radical changes in personal beliefs. There is a risk with conceptual change that new conceptions are only partially understood, so that preconceptions are replaced by misconceptions. Vosniadou argues for beliefs to be challenged so that they are not seen as undisputed scientific facts, but instead as hypotheses to be tested.

평가 문화의 변화를 적극적으로 추진하는 기관은 총괄평가 패러다임에 대한 믿음을 유지시키는 상호 관련된 preconception을 이해할 필요가있다. 이러한 선입견에는 

• 학생이 배우게 하기 위해 시험이 필요하다는 믿음, 

• 총괄 평가를 통해 대중으로 하여금 '안전하지 않은 의사'를 진료하지 못하게 막아준다는 믿음,

• 점수, 숫자 및 성적이 피드백보다 중요하다는 믿음,

등이 포함된다.

Institutions enthusiastic to implement a change in assessment culture would need to understand the inter-related preconceptions maintaining belief in the summative assessment paradigm. Such preconceptions include 

• the belief that exams are necessary to make students learn, 

• the belief that summative assessments reassure the public that potentially unsafe doctors are prevented from practice and 

• the belief that marking, numbers and grades are more important than feedback.

Québec에서는 변화의 enactment는 리더들이 [기존 교과 과정의 결점에 대한 조직의 공통된 신념]을 토대로하는 것으로 나타났습니다. 이것은 다른 곳에서 일어나는 교육 변화에 대한 (몇 년에 걸친) 점진적인 노출과 관련이 있었으며, 그 결과 기관 내부의 변화과정이 과도하게 급진적으로 보이지 않게 하였다.

In Québec, the enactment of change appeared to work as the faculty leaders built on the organisation’s shared beliefs about the faults with the existing curriculum. This was linked to a gradual exposure (over several years) to educational changes occurring elsewhere, which meant that the institution’s own proposed changes did not seem unduly radical [36].

환자가 건강에 좋지 않은 건강에 해로운 생활 방식을 바꾸도록 매일 투쟁하는 임상 환경에서 배울 만한 교훈이있을 수도 있습니다. 건강 행동 변화에 관한 문헌을 보면, 환자를 주의 깊게 경청하고, 환자가 건강에 대해 가지고 있는 신념을 nonjudgemental하게 탐색할 시간을 가지면, 환자로 하여금 변화에 대한 자신의 양면성을 해결하는 데 도움이 될 수 있음이 분명합니다 [37].

There may also be lessons to learn from clinical settings, where there are daily struggles to encourage patients to change unhealthy lifestyles which are contributing to ill health. From the developing literature on health behaviour change, it is clear that listening carefully to patients, and taking time to explore their health beliefs in a nonjudgemental manner, can help patients to resolve their own ambivalence about change [37].

Limitations

그룹이 여러 차례에 걸쳐 만난다면 이해 관계자 간의 상호 작용은 시간이 지남에 따라 바뀔 수도 있습니다. 우리는 데이터 포화를 달성했다고 주장하지 않습니다. 그러나 대부분의 의대가 종합 평가를 실시하기 때문에 연구가 진행된 배경은 드문 일이 아닙니다. 사실, 의대의 피드백 전달에 대한 의과 대학의 기록은 우리 참가자들이 다른 곳보다 더 변화의 가능성에 대해 개방되어 있음을 의미 할 수 있습니다.

If the group had met on a number of occasions, interactions between stakeholders may well have changed over time. We do not claim to have achieved data saturation. However, the context in which the study took place is not unusual, as most medical schools conduct summative assessment. Indeed, the medical school’s record of innovation in the delivery of feedback may mean that our participants were more open to the possibility of change than might be the case elsewhere.

Suggestions for further research

Conclusion

32. Ginsburg S, Van der Vleuten C, Eva KW, Lingard L. Hedging to save face: a linguistic analysis of written comments on in-training Adv Health Sci Educ. 2016;21(1):175–88. 

33. Bonnefon JF, Feeney A, De Neys W. The risk of polite misunderstandings. Curr Dir Psychol Sci. 2011;20(5):321–4.

38. Cilliers F, Schuwirth L, Van der Vleuten C. 13 health behaviour theories: a conceptual lens to explore behaviour change. Res Med Ed. 2015;8:141. XXX

---

BMC Med Educ. 2017 Apr 28;17(1):73. doi: 10.1186/s12909-017-0912-5.

Changing the culture of assessment: the dominance of the summative assessment paradigm.

Harrison CJ1, Könings KD2, Schuwirth LWT3, Wass V4, van der Vleuten CPM2.

Author information

1

Keele University School of Medicine, Keele, Staffordshire, ST5 5BG, UK. c.j.harrison@keele.ac.uk.

2

Faculty of Health, Medicine and Life Sciences, Maastricht University of Maastricht, Maastricht, The Netherlands.

3

Flinders Medical School, Adelaide, Australia.

4

Keele University School of Medicine, Keele, Staffordshire, ST5 5BG, UK.

Abstract

BACKGROUND:

Despite growing evidence of the benefits of including assessment for learning strategies within programmes of assessment, practical implementation of these approaches is often problematical. Organisational culture change is often hindered by personal and collective beliefs which encourage adherence to the existing organisational paradigm. We aimed to explore how these beliefs influenced proposals to redesign a summative assessment culture in order to improve students' use of assessment-related feedback.

METHODS:

Using the principles of participatory design, a mixed group comprising medical students, clinical teachers and senior faculty members was challenged to develop radical solutions to improve the use of post-assessment feedback. Follow-up interviews were conducted with individual members of the group to explore their personal beliefs about the proposed redesign. Data were analysed using a socio-cultural lens.

RESULTS:

Proposed changes were dominated by a shared belief in the primacy of the summative assessment paradigm, which prevented radical redesign solutions from being accepted by group members. Participants' prior assessment experiences strongly influenced proposals for change. As participants had largely only experienced a summative assessment culture, they found it difficult to conceptualise radical change in the assessment culture. Although all group members participated, students were less successful at persuading the group to adopt their ideas. Faculty members and clinical teachers often used indirect techniques to close down discussions. The strength of individual beliefs became more apparent in the follow-up interviews.

CONCLUSIONS:

Naïve epistemologies and prior personal experiences were influential in the assessment redesign but were usually not expressed explicitly in a group setting, perhaps because of cultural conventions of politeness. In order to successfully implement a change in assessment culture, firmly-held intuitive beliefs about summative assessment will need to be clearly understood as a first step.

KEYWORDS:

Feedback; Programmatic assessment; Summative assessment

PMID:

 

28454581

 

PMCID:

 

PMC5410042

 

DOI:

 

10.1186/s12909-017-0912-5

[Indexed for MEDLINE] 

Free PMC Article