평가 문화에 따른 학생들의 형성적 피드백 수용에 영향을 주는 요인(Perspect Med Educ, 2016)

평가 문화에 따른 학생들의 형성적 피드백 수용에 영향을 주는 요인(Perspect Med Educ, 2016)

Factors influencing students’ receptivity to formative feedback emerging from different assessment cultures

Christopher J. Harrison1 · Karen D. Könings2 · Elaine F. Dannefer3 · Lambert W. T. Schuwirth4 · Valerie Wass1 · Cees P. M. van der Vleuten2

도입

Introduction

최적의 임상 수행 능력 개발을 위해서는 피드백을 deliberate practice과 연결하는 것이 중요하다는 것이 일반적으로 인정되고있다 [1-3]. 규제 당국은 의료 훈련에 강하게 기능하는 피드백을 요구했다 [4, 5]. 의대생은 평가 후 더 많은 피드백을 요구하며, 교수들에게는 피드백 전달에 대한 많은 조언들이 있다[8, 7]. 그러므로 학습자가 때때로 평가 후 피드백의 기회를 소홀히하는 것은 놀라운 일입니다. 한 연구에서 학생의 50 %가 에세이 시험에 대한 피드백에 액세스하지 못했으며 [9], 또 한 가지로 OSCE (summative Objective Structured Clinical Examination)에서 최소한의 역량을 달성 한 학생은 피드백을 가장 적게 사용했습니다 [10].

For the development of optimal clinical performance, the importance of linking feedback with deliberate practice is generally acknowledged [1–3]. Regulatory authorities have called for feedback to feature strongly in medical training [4, 5]. Medical students demand more feedback after assessment [6, 7] and much advice is available for faculty on feedback delivery [8]. It is therefore surprising that learners sometimes neglect opportunities for feedback after assessment. In one study, 50% of students failed to access feedback on an essay examination [9], and in another, students just achieving minimal competence in a summative Objective Structured Clinical Examination (OSCE) made least use of feedback [10].

피드백은 여러 가지 이유로 실제 잠재력에 도달하지 못할 수도 있습니다. 

• 교수진은 피드백 프로세스가 복잡하다고 느끼고, 학습자에게 불친절한 것으로 인식되는 것을 두려워합니다. 피드백은 학습자의 미래 성과를 향상시키고 자신감을 키우는 목표와 상충되기 때문이다.

• 학습자는 자신의 자기 평가에 대한 어려움을 두려워한다. [12] 

• 종종 올바른 결함이 아닌 자신감을 높이기 위해 피드백을 원한다. 학습자의 인식과 일치하지 않는 피드백은 무시 될 수 있습니다 [14, 15]. 

• 의학의 학습 문화 또한 피드백 수용을 제한 할 수 있습니다. 음악, 육상 및 교사 교육에 관한 연구에서 조형 비판적 피드백은 학생들을 우수성으로 이끌 것으로 예상되었지만 의학 내에서는 그다지 기대되지 않았습니다 [16-19].

Feedback may not reach its full potential in practice for several reasons. 

• Faculty find it a complex process and fear being perceived as unkind to learners, as they struggle with conflicting aims of improving learners’ future performance and building their confidence. [11] 

• Learners fear challenges to their own self-assessments, [12] often wanting feedback to boost their confidence, not correct deficiencies.[13] 

• Feedback not aligned with a learner’s perception may be ignored [14, 15]. 

• Medicine’s learning culture may also limit receptivity. In studies of music, athletics and teacher education, formative critical feedback was expected to push students towards excellence, whereas this was less expected within medicine [16–19].

일부 의과 대학은 학습 기간 전반에 걸쳐 풍부하고 서술적인 피드백과 결합 된 여러 가지 저부담 평가에 중점을 둔 '학습 평가 및 프로그램 평가'로 전환했습니다. 그러나 최근의 연구에 따르면 학생들은 저부담 평가를 학습 기회이기보다는 극복해야 할 학습 장애로 생각함이 보고되고 있습니다.

Some medical schools have shifted towards ‘assessment for learning’ and programmatic assessment with a focus on multiple low-stakes assessments combined with rich, narrative-based feedback throughout the period of study [21–23]. However, Recent studies have demonstrated that students may still regard the low-stakes assessments as summative hurdles to be overcome instead of learning opportunities [24, 25].

우리의 연구 질문은 '학생들의 피드백에 대한 수용성을 방해하거나 방해하는 의과 대학 평가 시스템의 요소는 무엇입니까?'

Our research question was: ‘what are the factors within medical schools’ assessment systems which aid or hinder student receptivity to feedback?’

방법

Method

맥락

Context

We purposively selected three medical schools known to have different assessment and feedback systems.

자료 수집

Data collection

• We chose focus groups in order to seek a range of views and to enable expressed ideas to be developed through interaction between participants. 

• We conducted six focus groups in April to June 2014 (two at each school) to gather the perceptions of the student cohort on their feedback at different points in their studies. 

• A faculty member from the local school, unconnected with the research project, recruited students by email. 

• A convenience sampling approach was taken based on the students’ availability at pre-determined times. Incentives to participate were not offered. 

• To encourage discussion of potentially challenging areas, each group deliberately consisted of a small number of students from a single year. 

• More details of the groups are shown in Table 2.

• The focus groups took place in the respective institutions with a single facilitator (CH) and lasted 60–120 min. 

• A semi-structured approach was underpinned by open-ended questions designed to elicit students’ perceptions of their institution’s assessment system, their interpretation and use of feedback and any effect of grades on their aspiration to excellence. 

• Questioning evolved according to the participants’ responses. 

• We recorded and transcribed discussions maintaining student anonymity.

자료 분석

Data analysis

• We used a constructivist grounded theory approach. This approach to qualitative data analysis encompasses the notion that interpretation of the data is co-constructed by both researchers and participants [30]. 

• By studying the experiences and perspectives of the participants described in the transcripts, we aimed to identify thematic categories of factors that aid or hinder the uptake of feedback. 

• Consistent with grounded theory, analysis occurred alongside data collection and was able to inform the questioning in the later groups. 

• The lead author (CH) coded all transcripts in order to organize the data and identify key themes and concepts. 

• A second researcher (VW) separately coded three transcripts (one from each school). 

• There was close agreement; minor discrepancies were discussed and could be quickly resolved. 

• At regular intervals, the research team conducted Skype teleconferences to refine the conceptual analysis. 

• As our analysis framework assumes that data are co-constructed by interactions between researchers and participants, we provide the following contextual information: 

• CH, LS, VWare medical doctors with a major involvement in medical education research and development; 

• CvdV, KK have backgrounds in psychology and ED in sociology with a major involvement in medical education research and development.

결과

Results

네 가지 주요 주제

Four principal themes emerged: 

(1) 개인의 주체성 Personal agency; 

(2) Authenticity and relevance of assessment; 

(3) Grades and comparative ranking; 

(4) Scaffolding of feedback.

개인의 주체성

Personal agency

모든 학교의 평가 시스템 내의 요소는 학생들의 개인적 agency, 즉 자신의 능력을 사용하여 행동하고 선택하는 능력을 촉진하거나 방해하며, 맥락의 제약과 가능성 내에서 개인의 능력을 사용합니다. 에이전시는 (강제 평가 또는 선택 평가 사이에서의) 선택을 제공함으로써, 학생들이 지식 습득을 자신과 교사에게 보여주는 방식으로 촉진되었다. 대조적으로, 의무적 객관식 시험지는 학생들이 자신의 지식을 충분히 보여주지 못하게함으로써 개인의 에이전시를 줄였습니다. 이러한 시험은 구체적인 '무작위적' 사실에 초점을 맞추는 것으로 인식되었습니다.

Factors within the assessment systems across all schools promoted, or hindered, students’ personal agency, their capacity to act and make choices using their personal abilities within the constraints and possibilities of their context. Agency was promoted by providing choice, either within compulsory assessments or by providing optional assessments, which enabled students to demonstrate knowledge acquisition to themselves and their tutors. In contrast, compulsory multiple-choice question papers reduced personal agency by preventing students from fully demonstrating their knowledge; the questions were perceived to focus on specific ‘random’ facts.

학생들은 피드백의 상당 부분을 향후 학습이나 평가와 관련이없는 것으로 낮춰보았다. 자율성을 제한하는 것보다 개인 에이전시를 지원하는 것이 (학생들이 독립적으로 행동 할 수 있게하는 피드백 방법으로) 더 도움이되었습니다. 예를 들어 온라인 문항과 피드백은 언제든지 다시 방문 할 수있는 능력과 결합되어, (revisit을 제공하지 않는) 그룹 세팅에서 전달된 강의식 교사 주도 피드백 세션보다 선호되었습니다. 평가 및 피드백 시스템 내에서 자율성을 충분히 제공하면 수월성에 대한 포부가 촉진되었습니다.

Students discounted much of the feedback as irrelevant for future learning or assessments. Feedback methods enabling students to act independently were more conducive to supporting personal agency than those restricting autonomy. For example, online questions and feedback, combined with the ability to revisit these at any time, were preferred to didactic tutor-led feedback sessions delivered in a group setting without provision to revisit later. Providing significant autonomy within the assessment and feedback systems fostered an aspiration towards excellence:

대조적으로, 고부담 평가에 의해 지배 된 평가 시스템은 개선을위한 포부를 꺾어놓는다

By contrast, an assessment system dominated by highstakes assessments discouraged aspiration to improve:

저부담 평가로부터의 피드백이 고부담 평가에서 미래의 성과를 예측하는 것으로 나타난다면, 학생들은 통제감이 있다고 느꼈습니다. 저부담 평가가 '실제real thing'와 너무 다른 것처럼 보이는 경우에는 반대 느낌을 주었다.

Students felt in control if feedback from low-stakes assessments appeared predictive of future performance in high-stakes assessments. The feeling was the opposite if low-stakes assessments were seen as too dissimilar from the ‘real thing’.

평가를 위한 기관의 요구 사항 (예 : 포트폴리오 완성을위한 포맷팅 규칙)은 주체성agency을 제한하고 많은 좌절감을 불러 일으키고, 학습의 가치를 떨어뜨릴 위험을 일으킨다. 학생들은 때로는 학습을 극대화하기 위해 마킹 기준을 뒤집으려고 노력하는데, 이는 학생 주체성과 기관의 통제 사이의 긴장감을 보여준다.

Institutional requirements for assessments (e. g. formatting rules for completing a portfolio) limited agency and provoked much frustration and risked devaluing learning. Students sometimes tried to subvert the marking criteria to maximize learning, demonstrating tension between student agency and institutional control.

마찬가지로, (progress을 보여주기 위해 전체 집계 된 피드백 중) 기관이 특정 항목을 선택하기 위한 기준을 정하는 경우에도 주체성은 위협을 받습니다. 학생들은 도움이 안되며, 개성없고, generic한 경우에조차 개인적이고 긍정적인 피드백을 희생시켜가면서 critical feedback을 강요받는다고 인식했습니다. 그들은 '평가 게임'을 하도록 강요 받았습니다.

Similarly, agency was threatened when institutions set criteria for selecting specific items from overall aggregated feedback to demonstrate progress. Students perceived being forced to include critical feedback, at the expense of detailed, personal and positive feedback, even if it was unhelpful, bland and generic. They felt forced to play the ‘assessment game’.

학생들은 자율성에는 한계가 있음을 인식했습니다. 미래의 환자의 안전은 평가 과정이 학생들의 약한 영역이나 자기 평가의 결함을 식별 할 것을 요구했습니다. 평가의 표준화는 일반적으로 자율성을 제한하더라도 받아들여졌지만, 의사로서의 미래의 역할에 직접적으로 관련이없는 것으로 받아 들여지면 수용률은 훨씬 낮았다.

Students recognized that autonomy should have limits. The safety of future patients necessitated that assessment processes identify students’ weaker areas or flaws in self-assessment. Standardization of assessments was generally accepted, even though it limited autonomy, but acceptance was much lower if it was perceived to lack immediate relevance to their future role as doctors.

평가의 Authenticity와 관련성

Authenticity and relevance of assessment

많은 평가는 authenticity가 부족하거나 의사로서의 학생들의 미래 업무에 직접적으로 관련이없는 것으로 나타났습니다. 평가가 부적절한 것으로 인식되면 의견은 무시됩니다.

Many assessments were seen to lack authenticity or direct relevance to students’ future work as doctors. Feedback was often ignored if assessments were perceived as irrelevant.

성적과 상대적 순위

Grades and comparative ranking

코호트 내의 성적과 상대적 순위는 피드백에 대한 수용성에 여러 가지 영향을 미쳤습니다. 성적은 학생이 자격요건을 충족한 경우 그들을 안심 시켰습니다.

Grades and comparative student rankings within the cohort had mixed effects on receptivity to feedback. Grades reassured students they were achieving the standards required for qualification:

성적은 예상되는 성과 수준에 대한 명확성을 제공하고 서술 피드백에 의해서 성과 수준이 오도될 가능성을 줄여준다.

Grades provided some clarity on the expected level of performance and avoided the potential for narrative feedback to mislead:

글쎄, 내 말은, 당신은 따뜻하고 피드백을 받으면서도 4/10점을 받을 수 있습니다. 당신이 4 점을 얻는다면 당신은 6 점을 얻기 위해 뭔가를해야한다는 것을 알게됩니다. 나는 따뜻하고 모호한 느낌보다 열심히 일해야한다는 것을 많이 알고 있습니다. (학교 B, FG2)

Well, I mean, you can get a warm and fuzzy description and be four out of ten. If you get a four then you know you need to do something to get to the six that is required to make the grade. I would much rather know that I need to work harder than have a warmand fuzzy feeling. (School B, FG2)

동료들과 비교한 정보는 피드백을 진지하게 받아들이게 만드는 추가적인 자극이었습니다.

Information comparing performance with peers was an additional stimulus to take feedback seriously:

총괄평가에 이어지는 성적은 충분한 정보를 제공했습니다. 더 자세한 피드백은 불필요한 것으로 여겨졌다.

Grades following summative, end-of-year assessments gave sufficient information; more detailed feedback was seen as superfluous:

어떤 경우에 네러티브 피드백이 없는 성적만으로는 개선을 자극하기에 충분한 정보 또는 동기 부여를 제공하지 못했습니다. 한 학교에서 많은 학생들이 '기대 수준에 합당함'으로 등급이 매겨져 우수성을 향한 열망을 느끼지 못했습니다.

At other times within a programme, grades without narrative feedback failed to provide sufficient information or motivation to stimulate improvement. At one school, so many students were graded ‘at the level expected’ that it was felt futile to aspire towards excellence.

이전 프로그램의 성적 기반 시스템에서 성적표기가 없는 서술형 피드백만을 기반으로 한 성적 시스템으로의 전환은 학생들이 '옳은 궤도를 따라가는지'를 확인하는 방법을 찾는데 어려움을 유발한다

The transition from a grade-based system in a previous programme to one based on narrative feedback without grades presented a challenge for students to then find ways of checking they were ‘on track’.

전환transition이 계속되면서, 점수나 순위가 없는 것이 동료 학생들이 강점과 약점에 대해보다 예민한 시각을 갖게 해준다. 이것은 그들에게 자신의 자부심을 유지하면서, 피드백을 사용하는데 있어서 더 많은 자유를주었습니다. (점수로 드러나는) '충분히 좋은' 성적이 주는 reassurance가 없다는 것은 학생들로 하여금 수월성을 목표로 갖게끔 격려했습니다.

As the transition continued, the absence of grading or ranking forced students to take a more nuanced view of their peers’ strengths and weaknesses. This gave them more freedom in using the feedback while preserving their own self-esteem. The lack of reassurance from ‘good enough’ grades incentivized students to aim for excellence:

우리는 하한선이 무엇인지 모릅니다. 차라리 슬램 덩크를 해버리는 것이 좋습니다. (학교 A, FG1)

We don’t know what the bare minimum is. You better have a slam-dunk to make sure. (School A, FG1)

모든 학교에서 교사가 모호한 긍정적 인 피드백을 제공하는 경향은 학생들을 좌절 시켰습니다. 그것은 성과를 향상시키기위한 포부를 충족시키지 못했습니다.

The tendency for tutors at all schools to provide vague positive feedback frustrated students; it failed to meet aspirations to improve performance.

맨날 이러한 '참 잘했어요'만 받는 것은 별 의미가 없다. 내가 더 발전할 방법을 알려주는 사람이 더 낫다(스쿨 A, FG2)

It means very little to me to always get these ‘great job, great job, great job’ versus someone who is trying to find ways to help me get better. (School A, FG2)

일반적으로 교사들은 비판적인 피드백을 두려워하는 것으로 인식되었습니다. School A의 학생들은 건설적으로 중요한 피드백에 대해 교사에게 적극적으로 도전 한 방법을 설명했습니다. 다른 사이트에서 feedback-seeking 행동에 대한 증거는 거의 없었습니다.

It was also commonly perceived that tutors feared giving critical feedback. Students at School A described how they had actively challenged tutors for more constructively critical feedback. There was little evidence of feedback-seeking behaviour at the other sites:

피드백 스캐폴딩

Scaffolding of feedback

멘토가 제공 한 스캐폴딩은 피드백에 대한 수용성을 돕거나 가끔 방해하는 중요한 역할을했습니다. 성공적인 멘토링은 학생들이 피드백을 해석하는 데 도움을 주었고 학생들에게 통제력을 주었다. 학생들의 피드백 환경에 대한 의존도를 줄이기 위한 준비 과정을 진행하는 과정에서, 스캐폴딩을 줄여나갈 때 agency가 높아졌다.

Scaffolding, as provided by mentors, played a significant role in assisting, or occasionally hindering, receptivity to feedback. Successful mentoring helped students interpret feedback while allowing them to remain in control. Agency was promoted by reducing the scaffolding as the course progressed to prepare students for a working environment reducing dependency on feedback:

장기간 감독 (수년에 걸쳐)을 제공하고 멘토가 학생의 전체 피드백을 볼 수있게 해주는 학생 멘토링 시스템은 신뢰 개발을 가능하게했습니다. 이전 피드백에 대한 인식은 새로운 정보의 해석을 돕습니다 :

A student mentoring system which provided long-term supervision (over several years), and allowed mentors to see the student’s entire feedback, enabled trust to develop. Awareness of previous feedback aided interpretation of new information:

고찰

Discussion

학생이 '충분히 좋은 점수'를 받을 때 성적과 비교 순위 표식은 외면적으로 reassured했다. 성적을 제공하지 않은 경우, 초기에는 불확실성이 발생했지만, 나중에는 자기와 동료 모두 쉽게 분류 할 수없는 여러 가지 강점과 약점이 있음을보다 확실하게 인정했습니다. 이것은 수월성에 대한 열망을 격려했다. 장기적 멘토 관계는 학생들이 의견을 해석하는 데 도움을 주었고, 멘토가 학생의 선택 의지를 감소시키는 가부장적 태도만 피한다면, 멘토링은 부정확한 자기평가의 문제를 깨우쳐주었다. 학생들은 신뢰성이나 품질이 부족한 피드백을 무시했습니다.

Grades and comparative ranking marks superficially reassured students they were ‘good enough’. Not providing grades caused initial uncertainty, but later promoted more authentic recognition that both self and peers had a complex set of strengths and weaknesses which could not easily be labelled. This encouraged an aspiration to excellence. Long-term mentor relationships assisted both students’ interpretation of feedback and enabled inaccurate self-assessment to be challenged, as long as mentors avoided paternalistic attitudes which reduced students’ agency. Students ignored feedback lacking credibility or quality.

의학교육에 함의

Implications for medical education

최근 수십 년 동안 수동적 지식 습득에 의존하는 학습에 대한 행동주의적 접근으로부터 구성주의적 접근과 능동적 학습 전략으로 옮겨 갔다. 그러나, 평가에 대한 근본적인 접근법은 여전히 ​​행동주의적으로 남아 있습니다. 학생들은 실패로 인해 처벌을 받거나 보상을받습니다.

In recent decades behaviourist approaches to learning, relying on passive knowledge acquisition, have moved towards constructivist approaches and active learning strategies [32]. By contrast, the fundamental approach towards assessment has remained behaviourist. Students are rewarded for passing or punished for failing.

우리의 연구는 세 가지 핵심 구성주의 원칙의 잠재적 이점을 입증합니다.

(i) 평가의 신뢰성을 향상시키고, 

(ii) 학생들이보다 적극적으로 역할을하도록 권한을 부여하며, 

(iii) 성취 지향에서 학습 지향으로 전환 할 수 있도록 점진적으로 설명해야 한다

Our study demonstrates the potential benefits of three key constructivist principles: (i) improving the authenticity of the assessment, (ii) empowering students with a more active role and (iii) gradual descaffolding to enable transformation from a performance orientation towards a learning orientation.

장기적인 멘토링 관계는 효과적인 학습을 촉진하기위한 피드백 제공에 필수적입니다. 그것은 학습자가 도전받을 수있는 안전한 환경에서 신뢰를 발전시킬 수 있습니다. 그러한 관계가 다른 직업에서 흔히 발생하기는하지만, 의학 교육은 종종 여러 개의 단기간의 임상실습과 관련이있다 [19, 31].

A long-term mentoring relationship appears essential for feedback provision to stimulate effective learning. It enables trust to develop in a safe environment in which learners can be challenged. Although such relationships are common in other professions, medical education often involves multiple short-term clerkships [19, 31].

Suggestions for further research

Conclusions

우리는 가능한 한 진실 된 평가를하기 위해 노력해야하며, 성적 수여의 이점과 위험을주의 깊게 고려하고, 학생들이받은 피드백에 의해 지원되고 도전받을 수 있도록 장기 멘토링을 사용해야합니다.

we should strive to make the assessments as authentic as possible, consider carefully the benefits and risks of awarding grades and use long-term mentoring to enable students to be both supported and challenged by the feedback they receive.

Limitations

---

Perspect Med Educ. 2016 Oct;5(5):276-84. doi: 10.1007/s40037-016-0297-x.

Factors influencing students' receptivity to formative feedback emerging from differentassessment cultures.

Harrison CJ1, Könings KD2, Dannefer EF3, Schuwirth LW4, Wass V5, van der Vleuten CP2.

Author information

1

Keele University School of Medicine, Keele, UK. c.j.harrison@keele.ac.uk.

2

Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, The Netherlands.

3

Cleveland Clinic Lerner College of Medicine of Case Western Reserve University, Cleveland, USA.

4

Flinders Medical School, Adelaide, Australia.

5

Keele University School of Medicine, Keele, UK.

Abstract

INTRODUCTION:

Feedback after assessment is essential to support the development of optimal performance, but often fails to reach its potential. Although different assessment cultures have been proposed, the impact of these cultures on students' receptivity to feedback is unclear. This study aimed to explore factors which aid or hinder receptivity to feedback.

METHODS:

Using a constructivist grounded theory approach, the authors conducted six focus groups in three medical schools, in three separate countries, with different institutional approaches to assessment, ranging from a traditional summative assessment structure to a fully implemented programmatic assessment system. The authors analyzed data iteratively, then identified and clarified key themes.

RESULTS:

Helpful and counterproductive elements were identified within each school's assessment system. Four principal themes emerged. Receptivity to feedback was enhanced by assessment cultures which promoted students' agency, by the provision of authentic and relevant assessment, and by appropriate scaffolding to aid the interpretation of feedback. Provision of grades and comparative ranking provided a helpful external reference but appeared to hinder the promotion of excellence.

CONCLUSIONS:

This study has identified important factors emerging from different assessment cultures which, if addressed by programme designers, could enhance the learning potential of feedback following assessments. Students should be enabled to have greater control over assessment and feedback processes, which should be as authentic as possible. Effective long-term mentoring facilitates this process. The trend of curriculum change towards constructivism should now be mirrored in the assessment processes in order to enhance receptivity to feedback.

KEYWORDS:

Feedback; Programmatic assessment; Summative assessment

PMID:

 

27650373

 

PMCID:

 

PMC5035283

 

DOI:

 

10.1007/s40037-016-0297-x