부담은 갖는 자의 것: 학습자의 프로그램적 평가 인식에 대한 국제연구(Med Educ, 2018)

부담은 갖는 자의 것: 학습자의 프로그램적 평가 인식에 대한 국제연구(Med Educ, 2018)

Stakes in the eye of the beholder: an international study of learners’ perceptions within programmatic assessment

Suzanne Schut,1,2 Erik Driessen,1,2 Jan van Tartwijk,3 Cees van der Vleuten1,2 & Sylvia Heeneman1,4

도입

INTRODUCTION

평가의 학습과 의사결정 기능을 모두 최적화하기 위한 평가 프로그램을 설계할 때 프로그래밍 평가를 프레임워크로 사용할 수 있다.7

Programmatic assessment can be used as a framework when designing assessment programmes that are aimed at optimising both the learning and the decision-making function of assessment.7

비록 기존 연구에 다르면 이 평가 접근법이 자기조절학습 개발을 지원하는 데 도움이 될 수 있다는 긍정적인 결과를 보여주지만, 이 접근법을 시행하는 것은 도전이고, 현실적으로 많은 원칙들은 여전히 불확실하다.

although research shows the first positive results that this assessment approach might be beneficial for supporting the development of self-regulated learning,5,8,9 implementing this approach is a challenge and many of the principles are still uncertain in practice.4,5,10

프로그램 평가에서 중요한 개념 중 하나는 평가는 평가의 부담stake와 개별 평가의 수 사이의 비례 관계를 갖는 연속체로서 제안된다는 것이다.7 각 개별 평가 자체는 학습자에게 제한된 결과(즉, 낮은 부담)를 가지지만, 평가 결과가 통합되면 졸업 또는 진급에 대한 결정에 사용될 때 평가가 중대해질 수 있다(예: 높은 부담).

One of the important concepts within programmatic assessment is that assessment is proposed as a continuum with a proportional relationship between what is at stake and the number of individual assessments.7 Each individual assessment itself has limited consequences for the learner (i.e. is low stakes) but the consequences of the evaluation of the aggregated assessments can be substantial when they are used for a decision about, for instance, graduation or promotion (i.e. high stakes).

개별 평가의 부담을 낮추는 것은 프로그램 평가의 학습 잠재력을 최적하기 위해 필요하며, 학습자에게는 자신의 성과에 대한 지속적인 정보의 흐름을 제공할 수 있다. 그러나 연구자들은 학습을 자극하고 최적화하기 위해 [저부담 평가를 개발하려는 설계자의 의도]와 [이러한 평가를 총괄평가로 생각하여 학습자들이 갖는 고부담 인식]이 사이에 불일치를 보고하였다. 이는 잠재적으로 학습자가 평가를 학습 기회가 아닌 장애물로서 생각하게 되고, 각각의 개별 평가에 집중하게 만든다.

Lowering the stakes of the individual assessment is supposed to optimise and benefit the learning potential of programmatic assessment, and provide learners with a continuous flow of information about their performance.11 However, researchers have reported a mismatch between the designers’ intentions to develop low-stakes assessments to stimulate and optimise learning, and learners’ perceptions of these assessments as high stakes and summative.4,5 This potentially leads learners to focus on each individual assessment as a hurdle and not as a learning opportunity.12,13

모든 평가 시스템이 학습에 미치는 영향은 학습자의 인식에 의해 매개된다.13,14

The impact of any assessment system on learning is mediated by learner’s perceptions.13,14

METHODS

표본

Sample

우리는 구성주의 기반 이론에서 영감을 받아 데이터 수집과 분석에 개방적이고 질적인 접근법을 사용했다.15,16 포함 기준은 다음과 같다. 

• (i) 학습자에게 진행 상황에 대한 정보를 제공하는 것을 목표로 하는 저점 평가와 복수의 저점 평가 통합 평가에 기초한 높은 수준의 의사결정을 포함하여 평가에 대한 프로그래밍 방식을 사용한다. 

• (ii) 최적의 구현 문제로 인한 평가 이해에 대한 간섭을 최소화하기 위해 프로그램 평가의 장기적인 안정적 구현이 있다.

We used an open and qualitative approach to data gathering and analyses, inspired by constructivist grounded theory.15,16 The inclusion criteria were: 

• (i) a programmatic approach to assessment is used, including low-stakes assessments aiming to provide learners with information about their progress, and high-stakes decisions regarding learners’ progress are based on the evaluation of the aggregation of multiple low-stakes assessments; and 

• (ii) there is a stable implementation of programmatic assessment over a longer period to minimise interference in the perceptions of assessment stakes due to suboptimal implementation issues.

Table 1.

자료 수집

Data collection

A convenience sampling approach was taken based on learners’ availability at predetermined times. 

자료 분석

Data analysis

Interview data were analysed using a constant comparative approach.15 

• Independent analysis of the first four transcripts using an open coding strategy was carried out by SS and SH. During this process, coding results and relations between codes were discussed constantly. Differences were discussed until consensus was reached. 

• This process resulted in initial codes and preliminary themes, which were used by the first author (SS) for coding of the next four transcripts. 

• When new codes and themes emerged, these transcripts too were independently analysed by the second researcher (SH) to test the fit and relevance of the new codes and themes. 

• Necessary adaptations to the interview questions were made for the subsequent interviews. 

• Through coding and constant comparison, data were organised around two main categories: programme factors and (inter) personal factors.

• Several discussions with all members of the research team were organised in order to reach consensus on the themes that emerged, on the depth of the preliminary analysis and on the relationships between codes and categories in order to raise the analytical level from categorical to conceptional.

Furthermore, two members of the research team (ED and JvT) read two additional transcripts to review the data and to ensure a fit with the codes and discussed themes. Data collection and analysis continued until theoretical sufficiency was reached, defined as ‘the stage at which categories seem to cope adequately with new data without requiring continued extensions and modifications’.17

포화의 기준

Theoretical sufficiency was proposed by Dey17 and offers a more nuanced alternative to saturation to deal with issues concerning the sense of completeness and certainty implied by theoretical saturation.18 The following criteria were used: 

• (i) new data could be fitted in categories that were already developed; 

• (ii) no new insights, themes, issues or counter-examples or cases arose; and 

• (iii) consensus within the research team was reached about the notion of sufficiency with the collected and analysed data.15–17 

All interviews were then re- read by the first researcher to ensure that no relevant information was missed.

반성성

Reflexivity

• We acknowledge that data in this study are co- constructed by interactions with the participants, as are the interpretations and meaning we gave to these data.15 

• To prevent biases as much as possible, we brought together a multidisciplinary research team: SS and ED have a background in educational sciences, CvdV in psychology, JvT in sociology and SH in biomedical sciences. SS, ED, CvdV and SH all have involvement in programmatic assessment in medical education. 

• To avoid tunnel vision in our interpretation of the data, we brought in an outsider perspective: JvT works in the social sciences and in teacher education and is not directly involved in medical education.

결과

RESULTS

전반적으로, 학습자들은 '부담'에 대해서 프로그램 평가 모델 내에서 정의된 것과 동일한 정의를 내렸다. 즉 평가에 뒤따르는 결과라고 보았다. 그러나 이러한 결과는 주로 프로그램 평가 모델에서 제안된 연속체로 간주되지 않고 이분법으로 간주되었다. 평가는 부담이 있거나(즉, 결과가 있음), 전혀 부담이 없었다(즉, 결과가 없음), '평가되지 않는 것은 아무도 관심을 갖지 않는다. 재교육 또는 재시험이 있는 것과는 완전 다르다(A2).

Overall, learners shared the same definition of stakes as defined within the model of programmatic assessment; that is, the consequences following an assessment. However, these consequences were not primarily considered as the proposed continuum in the programmatic assessment model, but rather as a dichotomy. Assessment comes with stakes (i.e. with consequences) or no stakes at all (i.e. no consequences); ‘It doesn’t count, nobody cares, it’s not like you have to remediate or take a resit or whatever’ (A2).

모든 프로그램에서, 연속체로서의 평가 부담의 개념은 [학습과 평가 환경 내에서 행동, 통제 및 선택을 할 수 있는 학습자가 스스로 인식한 능력]과 강하게 관련되어 있었다. 평가 프로그램의 몇 가지 설계 요인은 통제력을 행사할 수 있는 학습자의 기회에 영향을 주었다. 학습자가 이러한 기회에 행동했는지는 경험과 자신감 사이의 상호 작용과 교사 같은 평가 환경의 다른 사람과의 관계에 달려 있다.

In all different programmes, learners’ conceptualisation of assessment stakes as a continuum was strongly related to their perceived ability to act, control and make choices within the learning and assessment environment. Several design factors of the assessment programme influenced learners’ opportunities to exercise control. Whether or not learners acted upon these opportunities depended on the interplay between experience and confidence, as well as the relationship with others in the assessment environment such as teachers.

평가 프로그램 내에서 통제의 기회

Opportunities for control within the assessment programme

몇몇 프로그램 설계 요인은 통제력을 행사할 수 있는 학습자의 기회와 이해관계에 영향을 미쳤다.

Several programme design factors influenced learners’ opportunities to exercise control and with that the perception of stakes.

결과에 영향을 줄 수 있는 기회

Opportunities to influence outcomes

일반 역량(예: 커뮤니케이션, 협업 및 전문성)에서 진보progress를 하는 경우, 학습자는 이러한 역량의 요구사항에 대해 여러 가지 관점을 경험했고, 이는 종종 명확한 표준이나 규범 없다고 인식되어, 요구 성과에 대해 자신이 더 큰 영향을 미칠 수 있다고 인식하게 되었다.

In the case of making progress in generic competencies (e.g. communication, collaboration and professionalism), learners experienced multiple perspectives on the requirements of these competencies, often without a clear standard or norm, resulting in a perception of more influence on the required outcomes.

대조적으로, 대부분의 학습자들은 표준화된 지식 시험을 고부담 평가로 간주했고, 이러한 평가 과제를 달성해야 할 고정된 규범norm과 연관시켰다. 학생들은 과거에 이와 비슷한, 사전에 구성된 시험 및 답안에 따라 '정답 찾기'를 하는 평가에서 성공해왔으며, 학생들은 그 결과가 시험의 내용, 품질 및 관련성에 크게 의존한다는 느낌을 받고 있었다. 이 때문에 평가와 결과에 대한 자신의 통제권이 거의 없다는 인식이 생겼으며, 특히 이러한 유형의 평가로 인해 학점(성적)이 매겨질 경우 더욱 그러하다.

By contrast, most learners considered standardised knowledge tests as high stakes and associated these assessment tasks with a fixed norm to be achieved. They experienced success in such assessments as being able to ‘find the correct answer’, according to a pre-constructed test and answer key, which led to a feeling of being highly dependent on the content, quality and relevance of the specific test. This caused a perception of little to no control over the assessment and outcomes, especially when this type of assessment resulted in grades:

또한, 평가자와 상호작용할 수 있는 기회(예: 구술 검사 중 또는 평가자가 직접 관찰하는 동안 학습자와 상호작용할 때)는 학습자가 평가 결과에 잠재적으로 영향을 미칠 수 있는 것으로 인식되었다. 학습자들은 심사원과의 상호작용이 있으면 자신의 진행과 능력을 보여줄 수 있는 더 많은 기회가 있다고 보았고, 평가 과정과 결과에 대한 통제력을 더 많이 느끼게 되었다고 지적했다. 이것은 인지된 부담을 낮췄다.

Furthermore, the opportunity to interact with the assessor (e.g. during an oral examination, or when an assessor would interact with the learner during direct observation) was perceived as a potential influence on the assessment outcome. Learners indicated that interaction with the assessor provided more opportunities to show their progress and abilities, and made them feel more in control over the process and the outcome of the assessment. This lowered the perceived stakes.

그러나 반대로, 평가자와의 상호작용이 인지된 부담을 높일 수도 있다. 학습자들은 이것이 특히 평가자가 위협적일 때라든가, 평가자가 중요한 역할 모델이라든가, 자신의 관심 분야에 종사할 때  체면을 잃을 위험이 있다고 생각했다

However, interaction with the assessor could also raise the perceived stakes: learners thought this carried the risk of losing face, especially when the assessor was intimidating, an important role model or worked in a discipline of interest. 

근거를 수집할 기회

Opportunities to collect evidence

모든 프로그램에서 학습자들은 자신의 진행 상황을 모니터링하고 보여주기 위해 포트폴리오 내에서 증거를 수집했다. 그러나 프로그램마다 학습자가 증거를 수집하고 선택하는 자유가 달랐다. 일부 프로그램은 (형성평가용 자가 테스트를 하거나, 학습자가 스스로 직접 관찰받을지를 결정하고 요청하도록 함으로써) 학습자에게 평가를 시작할 기회를 주었다. 이러한 통제의 느낌은 인식된 부담을 낮췄을 뿐만 아니라, 더 중요하게는 평가를 더욱 목적적합하게 만드는 것처럼 보였다.

In all programmes, learners collected evidence within a portfolio, with the aim of monitoring and showing their progress. However, programmes varied in the freedom learners had to collect and select evidence. Some programmes gave learners the opportunity to initiate an assessment, by taking formative self- tests or encouraging learners to ask for direct observation on the learners’ own terms. This feeling of control not only lowered the perceived stakes, but more importantly also seemed to make the assessment feel more relevant:

결과나 후속 조치에 다른 사람이 자동으로 접근할 수 없고, 어떤 내용을 공유할지 학습자가 통제할 수 있을 때, 부담 인식은 더 낮았다. 학습자들은 포트폴리오에 대한 자신의 증거를 선택할 기회가 주어졌을 때, 더 많은 선택권을 경험했고, 더 많은 통제권이 있다는 느낌을 받았다. 

The perceived stakes were lower when results or follow-ups were not automatically accessible to others and learners could control what was shared. Learners experienced more choice and felt more in control when given the opportunity to select their own evidence for the portfolio: 

개선의 기회

Opportunities to improve

불충분한 성능performance을 개선하기 위해 프로그램이 제공하는 절차는 각 개별 평가의 영향에 대한 학습자의 통제능력 인식에 영향을 미쳤다. 중요한 요소는 개선의 기회가 교육 프로그램에 통합되는지 여부였다. 이것이 정규 커리큘럼이나 평가 활동과 별도로 이루어져야 할 때, 개선에 필요한 시간 투자는 과부하처럼 느껴졌고, 부담은 높아졌으며 학습자들은 이를 피하고자 더욱 동기부여를 받았다.

The procedures offered by programmes to improve earlier insufficient performance influenced learners’ perceived control of the impact of each individual assessment. An important factor was whether or not opportunities for improvement were integrated into the educational programme. When this had to be done next to the regular curriculum or assessment activities, the time investment needed for improvement felt like an overload, the stakes became higher and learners were more motivated to avoid this:

대부분의 프로그램은 학습자가 진보와 개선을 보여줄 수 있는 더 많은 기회를 촉진하기 위한 다중 보완적 평가를 제공했다. 이로써 개별 평가의 부담이 낮아졌다. 한 개인의 '스냅샷'에만 의존하지 않는 것은, 특히 평가가 경향성이나 피드백 메시지에 초점을 맞추었을 때, 자신의 성과를 보여주고 개선할 수 있는 여러 기회 때문에 학습자가 더 많은 통제권을 갖는다는 느낌을 주었다.

Most programmes provided multiple complementary assessments that were meant to facilitate more opportunities for learners to show progress and improvement. This lowered the stakes of the individual assessment. Not being solely dependent on one individual ‘snapshot’ gave learners more feeling of being in control, because of multiple opportunities to show and improve on their performance, especially when the focus was on trends or reoccurring feedback messages:

보완적 평가의 수가 평가 이해에 긍정적인 영향을 미쳤지만, 이것이 너무 늘어날 경우, 평가가 무의미해지고 프로그램의 요건을 충족하기 위한 checkbox activity가 되는 소위 '오버킬'의 지점에 도달하기도 하였다.

Although the number of complementary assessments influenced the perception of assessment stakes positively, this also came with reaching a point of so-called ‘overkill’, in which the assessment became meaningless and a checkbox activity to meet the requirements of the programme:

그것은 거의 평가에 대한 사냥이 된다. 그리고 더 이상 품질이나 그 유용성에 관한 것이 아니라 그저 양에 관한 것이다.(B1)

It almost becomes a hunt on evaluations. And it’s not about the quality or their usefulness anymore, but just about the quantity. (B1)

점수를 개별 평가에 사용하고 학습자가 여러 결과를 평균하는 방법으로 불충분한 성과를 수정할 수 있을 때, 이는 학습자가 일관성coherence을 이해하는 데 기여했다. 하지만, 성적을 받는 것은 또한 학습자들 사이의 경쟁, 불안감 그리고 성적 지향에 기여했고, 이것은 부담을 높였다.

When grades were used for individual assessments, and learners could correct insufficient performance by ways of averaging multiple results, this contributed to learners’ understanding of the coherence. However, receiving grades also contributed to competition amongst learners, anxiety and a performance orientation, which raised the stakes.

통제능력에 대한 신념에 영향을 미치는 요인

Factors influencing learners’ believed ability to exercise control

학습자들은 통제력을 행사할 수 있는 능력이 있다고 믿었을 때, 평가 프로그램에서 제공한 기회를 통제용으로 사용했다.

Learners used opportunities provided by the assessment programme for control, when they believed they had the ability to exercise control.

경험과 자신감의 상호작용

The interplay between experience and confidence

과거의 평가 경험은 모든 프로그램에서 학습자의 부담 인식에 영향을 미쳤다. 대부분의 학습자들은 '성공'이란 최고가 되는 것이라고 정의하는 것에 익숙했고, 높은 점수나 성적을 받는 데 익숙했다.

Previous experience of assessments influenced the perceived stakes within all programmes. Most learners were accustomed to defining success as being top of their class and getting high scores or grades:

과거에 학생들은 종종 그러한 성과에 대해 보상을 받았고, 심지어 그런 성과를 필수품이라 여겨기도 했다. 의과대학에 입학하려면 높은 중등학교 성적 평균이 요구되었던 상황이 그 예다. 그 후 평가는 높은 성적에 대한 압박, 불안감, 실패에 대한 두려움과 연관되었다. 그러한 평가 경험은 강한 영향을 미쳤다. 이러한 연관성이 보다 학습 지향적인 평가 인식으로 대체되기 위해서는 새로운 경험이 필요했다. 학습자들은 저부담 평가의 의미와 결과에 대한 자신감을 얻어야 했고, 이는 부담에 대한 인식에 크게 기여했다. 최초의 저부담 평가는 모든 학생에게 고부담 평가로 인식되었고, 이는 특히 학습자들이 기대되는 사항이나 요구를 충족시킬 수 없을 때, 만약 그 요건을 충족하지 못하면 무엇이 일어나는지 완전히 이해하지 못했을 때 발생했다: '나는 [만약 우리가 나쁜 성과를 거둘 경우] 일어날 일을 정확히 알지 못함으로써 많은 불안이 야기되었다고 생각한다. ' (A1). 학습자들은 점차 친숙해져서, 그런 평가에 더 익숙해 질수록 불안감이 덜해졌다.

In programmes previously attended, this was often rewarded and even viewed as a necessity. An example is the situation when admission to a medical school required a high secondary school grade point average. Assessment was then associated with pressure for high performance, insecurities and fear of failing. Such assessment experiences had a strong impact. New experiences were required before these associations were replaced with a more learning-oriented perception of assessment. Learners had to gain confidence in the meaning and consequences of the low-stakes assessment, which contributed significantly to the perception of stakes. First-time experiences with low-stakes assessments were unanimously perceived as high stakes, especially when learners did not fully understand what was expected, or what could happen when they were unable to meet the demands: ‘I think a lot of the anxiety was caused by us not knowing exactly what was going to happen [if we would perform poorly on an OSCE]’ (A1). The more familiar learners became with such assessments, the less anxious they felt.

교사의 영향

The influence of teachers

통제력을 행사할 수 있는 능력과 그에 따른 저부담 관계라는 평가에 대한 인식은 학습자들과 교사들의 관계에 크게 의존하고 있는 것처럼 보였다. 학습자들이 교사가 자신의 옹호자라고 느끼고, 학습을 용이하게 하고, 실험과 통제를 할 수 있게 했을 때, 그들은 저부담 평가를 진정으로 저부담으로, 그리고 학습에 의미 있는 것으로 해석할 수 있었고 안전하다고 느꼈다. 그제서야 평가 환경은 안전한 학습 및 실험 장소로 이해되었다: '나는 멍청해 보여도 괜찮다' (A1) '실패의 공포를 느끼기 힘들 것 같다' (C1)

The believed ability to exercise control and therefore the perception of assessment as low stakes seemed strongly dependent on learners’ relationship with their teachers. When learners felt the teacher was their advocate, facilitated learning, and allowed them to experiment and to take control, they felt safe and able to interpret low- stakes assessments as low stakes and meaningful for learning. The assessment environment was then described as a safe place to learn and experiment: ‘I feel very comfortable looking stupid’ (A1) and ‘I think it’s hard to feel the fear of failing’ (C1).

그래서 그는 모든 힘을 가지고 있다. 그런 느낌이야. 그는 그것에 대해 할 말이 많다. 그가 중요하게 여기는 것들은, 그는 그것들을 골라서 그것에 초점을 맞춘다. 그리고 그들이 가지고 있는 결과는, 나는 그러한 시험이 실제로 가져야만 하는 결과보다 훨씬 더 크다고 생각한다. (B

So he [the teacher] has all the power. That’s how it feels to me. He has a lot to say about it. The things he considers important, he picks themout and focuses on them. And the consequence they have, I think are much bigger than the consequences such a test should actually have. (B1)

고찰

DISCUSSION

프로그램적 평가가 제안하는 평가부담연속체의 기초가 되는 이론적 가정은 저부담 평가들이 학습 기회를 창출하고, 학습자의 학습을 자기조절하는 데 사용될 수 있도록, 학습자에게 지속적인 정보의 흐름을 발생시킨다는 것이다.7,11 이를 위해서 평가는 저부담으로 의도되거나 설계되어야 하며, 학습자가 저부담으로 인식해주어야 한다.

The theoretical assumption underlying the proposed continuum of assessment stakes within programmatic assessment, is that low-stakes assessments create learning opportunities and generate a continuous flow of information for learners that can be used to self-regulate their learning.7,11 This requires assessment that is intended or designed to be low stakes, to be perceived as such by the learner.12–14

통제권을 갖는다는 느낌은 학습 및 평가 환경 내에서 행동, 통제 및 선택을 할 수 있는 학습자의 인식 능력이라고 불리는 기관의 개념과 강하게 연계된다.12,13,19

the feeling of being in control is strongly linked to the concept of agency, referred to as learners’ perceived ability to act, control and make choices within the learning and assessment environment.12,13,19

평가를 이용한 지속적인 개발을 위한 학습자의 agency의 중요성은 이미 다른 연구에서도 강조되었다.

The value and importance of learners’ agency for continuous development using assessment has already been highlighted by others1,8,12,19–21

표준화된 평가는 학습자에게 agency의 기회를 거의 제공하지 않는다. 필요하며 이해할 수 있지만, 표준화는 개별 학습자가 제어권을 행사할 수 있는 공간을 거의 남겨두지 않고 프로그램 레벨에서 통제한다. 이는 학습자가 학습 및 평가 경험으로부터 멀어지게 할 수도 있다.23,24

Standardised assessments provide little opportunity for learners’ agency. Although necessary and understandable, standardisation places the control at the programme level, leaving little space for the individual learner to exercise control. This might even alienate learners from their learning and assessment experience.23,24

그러나 프로그램에서 학습자에게 스스로의 평가를 시작할 수 있는 기회를 허용했을 때, 그리고 학습자가 progress의 증거를 선택할 수 있게 되었을 때, 주인의식agency이 장려되었다.

A sense of agency was, however, encouraged when the programme allowed learners to initiate their own assessment, and when learners were enabled to select evidence of progress.

그러나 일부 학습자들은 이 관계가 [불평등한 힘의 균형]으로 특징지어지며, 결국 평가 부담에 대한 인식을 악화시켰다고 느꼈다. 

However, some learners felt that the relationship was characterised by an unequal power balance thatinfluenced their perception of assessment stakes: 

표준화된 지식 시험을 사용하더라도, 학습자가 진보progress를 모니터하고 보여줄 수 있는 기회를 늘리는 것이 부담을 낮추는 또 다른 전략이 될 수 있다. 그러나 프로그램 설계자는 학습자와 교수진 모두에게 평가 과부하가 발생하지 않도록 주의해야 한다.

Increasing the number of opportunities for learners to monitor and show progress, even with standardised knowledge tests, can be another strategy to lower the stakes. Programme designers should take care, however, not to create an assessment overload for both learners and faculty members.

성적grades과 보상 기회를 사용하면 보완적 평가 간의 일관성coherence을 강조할 수 있지만, 이는 덜 바람직한 학습 전략과 행동을 장려하는 역효과를 가져올 수 있다.27 성적을 주는 방식은 지속적 개선에 초점을 둔 자극보다는 성과와 경쟁에 초점을 맞추도록 유도하는 암묵적 위험을 가질 수 있다..12,28 성적을 제공하지 않는 것은 학습자의 목표가 개선되는 것으로 설명되는 학습 지향점으로의 전환을 가능하게 하는 것으로 보였다.29,30

Although using grades and opportunities to compensate can highlight the coherence amongst complementary assessments, this may have the adverse effect of encouraging different, less desirable, study strategies and behaviours.27 Providing grades has the implicit risk of encouraging a focus on outcomes and competition rather than stimulating a focus on continuous improvement.12,28 Not providing grades seemed to enable a shift to a learning orientation, described as one in which the learner’s goal is to improve.29,30

초점은 [학습 진행 상황을 분석하고 반성하기 위해 저부담 평가에서 생성된 정보를 사용하는 것]과 이것이 [미래 학습을 어떻게 지시해야 하는지]에 초점을 맞추어야 한다. 우리는 학습자에게 단순히 quantity 요건을 설정하기 보다는, 진행률과 개선을 보여주기 위해 필요한 적절한 수의 평가를 제어할 수 있는 더 많은 기회를 주는 것을 고려할 수 있다. 이것은 평가 경험을 보다 personal inquiry로 만들 수 있고, 개선 계획에 대한 주인의식ownership을 창출할 수 있다.

The focus should be on using information generated by low-stakes assessment to analyse and reflect upon learning progress and how this should direct future learning. We could consider giving more opportunity for the learner to control the appropriate number of assessments needed to show progress and improvement, rather than setting up quantity requirements. This can make the assessment experience a more personal inquiry and create ownership over the plan of improvement.

이런 식으로 생각하는 것이 결과consequence가 불필요하다고 말하는 것은 아니다: 학습자들이 자신의 약점을 다루거나 자신의 장단점에 관한 정보에 따라 행동할 동기를 거의 느끼지 않았을 때, 저부담 평가는 좀처럼 개선에 초점을 맞추지 못했다. 그러므로 소위 사후 평가 프로세스(후속 활동 또는 성찰 작업)의 구현은 지원 프로그램 구조의 설계(즉, 개선의 여지가 용이함)와 교사의 역할(즉, 개선 대 성과 평가) 모두에서 필수적이다.

Thinking this way does not take away the need for some type of consequences: when learners perceived little incentive to address their weaknesses or to act upon information concerning their strengths and weaknesses, low- stakes assessment rarely led to a focus on improvement. The implementation of the so-called post-assessment process (the follow-up activities or reflective tasks) is therefore essential,31 both in the design of a supportive programme structure (i.e. facilitating room for improvement) and in the role of the teacher (i.e. valuing and stimulating improvement versus performance).

마지막으로, 학습자들의 자신감과 통제력을 행사할 수 있다는 능력에 대한 신념은 시간이 지나면서 증가하는 것처럼 보였다. 프로그램 평가 내의 초심자는 새로운 평가 접근법에 적응하고 익숙해지기 위한 시간이 필요했다. 고부담 평가와 관련된 경험은 차차 단계적으로 잊혀져야 하며, 교사는 학습자의 경험 수준으로 지도와 방향을 조정할 필요가 있다.32 또한 교사-학습자 관계가 안전하며 학습자의 자율성으로 특징지어질 수 있을 때 학습자는 평가를 사용하여 학습자를 지원support할 가능성이 더 높다. 프로그램적 평가 내에서 학습자는 평가 과정에 대한 독립성과 통제권을 허가받아야 한다. 그렇게 해야만 학습자들은 평가를 저부담으로 인식할 것이다.

Last, learners’ confidence and their believed ability to exercise control seemed to increase over time. Novices within programmatic assessment needed time to adjust to and get familiar with the new assessment approach. Associations and experiences with high-stakes assessment need to be phased out and teachers need to adjust the level of guidance and direction to the experience level of learners.32 Moreover, when the teacher–learner relationship can be characterised as safe and with autonomy for the learner, learners are more likely to use assessment to support their learning. Within programmatic assessment, learners should be allowed independence and control over the assessment process. Only then, will learners perceive assessment as low stakes.

우리의 결과는 평가 과정1,33 내에서 학습자와 교사가 공동의 책임을 지라는 요구와 잘 들어맞고, 학습자가 피드백과 평가를 통해 적극적으로 참여할 수 있도록 대화가 번창할 수 있는 학습 환경을 만들어야 한다.21,34

Our results fit well with the calls to create a shared responsibility between learners and teachers within the assessment process1,33 and with the need to create a learning environment where dialogue can flourish to engage learners actively with feedback and assessment.21,34

교사들은 이러한 안전한 학습 환경을 조성하고 프로그램적 평가의 잠재력을 활용하는데 있어 기본적이다.

Teachers are fundamental for creating this safe learning environment and utilising the potential of programmatic assessment.

한계

Limitations

이 연구는 몇 가지 한계가 있다. 첫째, 의학 교육 내 학습자는 일반적으로 엄격한 과정 입학 절차를 통해 선발되는 높은 성취도의 학생으로 특징지어진다. 평가 부담에 대한 인식이 저성취 학습자에게는 다르게 작용할 수 있다.

This study has several limitations. Firstly, learners within medical education are typically characterised as high achievers, selected through rigorous course admission procedures. The perception of assessment stakes might work differently for low- achieving learners.

마지막으로, 교사 역할의 중요성을 고려할 때, 미래 연구는 평가의 이해관계에 대한 교사들의 인식을 탐구함으로써 학생들의 자기 보고된 인식을 삼각측량화해야 한다.

Finally, given the importance of the role of the teacher, future studies should triangulate students’ self-reported perceptions by exploring the perceptions of teachers regarding the stakes of assessment.

결론

CONCLUSION

8 Altahawi F, Sisk B, Poloskey S, Hicks C, Dannefer EF. Student perspectives on assessment: experience in a competency-based portfolio system. Med Teach 2012;34 (3):221–5.

20 Watling C. The uneasy alliance of assessment and feedback. Perspect Med Educ 2016;5 (5):262–4.

31 Eva KW, Munoz J, Hanson MD, Walsh A, Wakefield J. Which factors, personal or external, most influence students’ generation of learning goals? Acad Med 2010;85 (10 Suppl):S102–5.

---

Med Educ. 2018 Jun;52(6):654-663. doi: 10.1111/medu.13532. Epub 2018 Mar 24.

Stakes in the eye of the beholder: an international study of learners' perceptions within programmatic assessment.

Schut S1,2, Driessen E1,2, van Tartwijk J3, van der Vleuten C1,2, Heeneman S1,4.

Author information

1

Faculty of Health, Medicine and Life Sciences, School of Health Professions Education, Maastricht University, Maastricht, the Netherlands.

2

Department of Educational Development and Research, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, the Netherlands.

3

Department of Education, Utrecht University, Utrecht, the Netherlands.

4

Department of Pathology, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, the Netherlands.

Abstract

OBJECTIVES:

Within programmatic assessment, the ambition is to simultaneously optimise the feedback and the decision-making function of assessment. In this approach, individual assessments are intended to be low stakes. In practice, however, learners often perceive assessments designed to be low stakes as high stakes. In this study, we explored how learners perceive assessment stakes within programmatic assessment and which factors influence these perceptions.

METHODS:

Twenty-six learners were interviewed from three different countries and five different programmes, ranging from undergraduate to postgraduate medical education. The interviews explored learners' experience with and perception of assessment stakes. An open and qualitative approach to data gathering and analyses inspired by the constructivist grounded theory approach was used to analyse the data and reveal underlying mechanisms influencing learners' perceptions.

RESULTS:

Learners' sense of control emerged from the analysis as key for understanding learners' perception of assessment stakes. Several design factors of the assessment programme provided or hindered learners' opportunities to exercise control over the assessmentexperience, mainly the opportunities to influence assessment outcomes, to collect evidence and to improve. Teacher-learner relationships that were characterised by learners' autonomy and in which learners feel safe were important for learners' believed ability to exercise control and to use assessment to support their learning.

CONCLUSIONS:

Knowledge of the factors that influence the perception of assessment stakes can help design effective assessmentprogrammes in which assessment supports learning. Learners' opportunities for agency, a supportive programme structure and the role of the teacher are particularly powerful mechanisms to stimulate the learning value of programmatic assessment.

© 2018 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

PMID:

 

29572920

 

PMCID:

 

PMC6001565

 

DOI:

 

10.1111/medu.13532

[Indexed for MEDLINE] 

Free PMC Article