평가의 긴장 관리: 이것 또는 저것의 사고방식을 넘어서(Med Educ, 2018)
Managing tensions in assessment: moving beyond either–or thinking
Marjan J B Govaerts,1 Cees P M van der Vleuten1 & Eric S Holmboe2
도입
INTRODUCTION
궁극적으로 보건 전문 교육 (HPE)의 목적은 학습자를 [전문직과 지역 사회가 받아 들일 수있는 능력 기준을 달성]했을뿐만 아니라 무엇보다 먼저 [수월성, 평생 학습, 자기 분야의 지속적 발전, 고품질 의료 서비스에 헌신할 수 있는] 자격을 갖춘 전문가로 전환시킴으로써 건강 시스템의 질을 향상시키는 것입니다. .1,2 다른 교육 시스템과 마찬가지로 HPE에서도 이러한 교육 목표를 달성하는 데 있어 평가는 그 토대가 된다.3
Ultimately, the purpose of health professions education (HPE) is to benefit the quality of health systems by transforming learners into qualified professionals who not only have achieved standards of competence that are acceptable to the profession and the community, but are first and foremost committed to excellence, lifelong learning and the ongoing advancement of the field and high-quality care.1,2 In HPE, as in any other education system, assessment is seen as fundamental to achieving these education goals.3
CBE의 틀 내에서 평가는 일반적으로 [전문 역량 개발을 촉진]하고 [학습자와 의사의 실습 적합성에 대한 강건한 의사 결정을 보장]하는 데 중점을 둡니다. 역량 기반 평가 시스템은 일반적으로 복잡한데, 왜냐하면 CBME에서의 평가는 평가 프로그램에 의존하고 있으며, [의료 시스템]뿐만 아니라 [고도로 복잡한 교육]에 embed되어있기 때문이다.
Within the framework of CBE, assessment typically focuses on fostering the development of professional competence and ensuring robust decision making about learners’ and physicians’ fitness for practice. Competence-based assessment systems are typically complex as they rely on programmes of assessment and must be embedded in highly complex education as well as health care systems.6,7
따라서 평가 시스템은 상당한 긴장tension속에 있게 되는데, 왜냐하면 이 시스템은 형성적 목적과 및 총괄적 목적을 달성해야 하고, 효율적이면서 효과적이어야하며, 학습자, 교육 기관, 환자 및 의료 기관의 요구를 충족시켜야 하기 때문이다. 이러한 상충하는 요구를 해결하기 위해서는 표준화되고 authentic한 평가시스템이 필요합니다. 이 평가 시스템은 통제와 동시에 신뢰를 가능케 해야하며, 고품질의 퍼포먼스를 보여줌과 동시에 학습을 가능하게 하면서 학습에 가치를 부여하는 문화를 육성해야 한다.
Assessment systems are thus bound to be rife with tensions as they must fulfil formative and summative assessment purposes, be efficient and effective, and meet the needs of learners, education institutes, patients and health care organisations. Addressing these competing demands requires systems that are standardised as well as authentic, that allow for control as well as trust, and that foster cultures that enable and value learning as well as high-quality performance.
HPE를 개선하려는 압력이 커지면서 현대의 평가 프로그램에 내재 된 이러한 여러 극성polarities이 강조되고 있기 때문에, 그 결과로서 생기는 긴장은 [희소성 (비용 절감과 동시에 고품질 성능에 대한 요구 증가)]과 [다양성(예 : 교육 개혁에서 '무엇'과 '어떻게'에 관한 여러 관점)]으로 인해서 더욱 두드러진다. 이러한 희소성과 다양성은 건강 전문가를 교육하고 평가하는 올바른 방법이 무엇인가에 대한 논의에서도 나타난다.
As increasing pressures to reform HPE accentuate these multiple polarities inherent in modern assessment programmes, the resulting tensions seem to become even more salient in times of scarcity (increasing demands for high- quality performance while reducing costs) and plurality (e.g. multiple perspectives on the ‘what’ and ‘how’ in education reform), as illustrated by ongoing debates about what is right about how to educate and assess health professionals.8,9
이러한 긴장에 대응하는 방식이 곧 평가 관행과 개혁의 운명을 결정하는 중요한 요소가 될 수 있습니다.
The way we respond to these tensions may very well be a fundamental determinant of the fate of assessment practices and reform.
조직 시스템의 긴장감에 대한 흔한 대응은 연구원들이 [완벽하고 내적으로 일관된 이론을 통해 다각적인 현실을 포착하려고하는] 소위 '우연성 접근법contingency approach'의 적용으로서, 실무자는 긴장을 '고쳐야 하고 고칠 수 있는 문제'로 바라본다.
A common response to tensions in organisational systems is the application of the so-called ‘contingency approach’ whereby researchers seek to capture a multifaceted reality with a perfect, internally consistent theory, and practitioners look upon tensions as ‘problems that need [to] and can be fixed’.14,15
우연성 렌즈contingency lens를 통해 평가 시스템을 바라보게 되면, 평가에서 해결해야 하는 문제는 [하나의 정답에 동의 할 수 있다면] 해결되고 사라질 수있는 문제가됩니다. 그런 다음 우리는 일반적으로 어떤 조건에서 A와 B 중 어느 것을 선택해야하는지를 파악하기 'if-then'통찰력을 탐색하기 시작합니다.
Through the contingency lens, challenging tensions in assessment systems become problems that will be solved and disappear if we can agree upon the single right answer. We then typically start searching for ‘if–then’ insights, striving to identify under which conditions either A or B needs to be selected
이 접근 방식은 일반적으로 '이것 또는 저것' 방식의 토론을 통해 평가 설계 및 구현에 대한 합리적인 의사 결정을 가능하게합니다.
This approach typically results in ‘either–or’ discussions, enabling rational decision making about assessment design and implementation.
이러한 논의를 통해 제시되는 해결책은 일반적으로 이상적 평가를 성공적으로 수행하기 위해 또는 다른 사람들의 견해와 사고의 오류 가능성을 설명하기 위해 어떻게 장벽을 '극복'할 것인지에 대한 수단을 다루게 된다.
Proposed solutions then typically include measures to ‘overcome’ barriers to the successful implementation of the assessment ideal or to provide arguments to illustrate the fallibility of others’ views and thinking.
그러나 이러한 전통적인 '문제 해결'방식은, 다양한 긴장을 해결하는 데에는 부적절한데, 왜냐하면 일반적으로 조직의 양극성 및 복잡성을 지속가능하게 address하지 못하기 때문이다. 마찬가지로, HPE 공동체에서 지속적으로 반복되는 논쟁은 평가와 관련된 많은 긴장을 [해결할 수 있는 문제]로 보기보다는, [조심스럽게 관리되어야하는 polarities]로 봐야 한다고 제안한다. 이것이 Polarity ThinkingTM의 핵심 전제입니다.
It is increasingly recognised, however, that traditional ‘fix-the-problem’ approaches to coping with multiple tensions are generally inadequate as they fail to sustainably address the quantity and complexity of polarities in organisations. Likewise, the widespread ongoing and recurring debates in the HPE community suggest that many assessment tensions do not represent problems that can be resolved, but polarities that need to be carefully managed. This is the core premise of the Polarity ThinkingTM
문제를 '극성' 으로 재구조화하기
REFRAMING PROBLEMS AS POLARITIES
Polarity ThinkingTM의 기본 전제는 [긴장이란 복잡하고 역동적이며 모호한 시스템에서 인간의 행동에 내재되어 있기 때문에] 장기적인 성공과 지속적인 변화를 달성하기 위해 긴장을 수용해야 한다는 것이다.15,27-30이 관점을 뒷받침하는 핵심 원칙 박스 1에 요약되어있다.
The foundational premise of Polarity ThinkingTM is the view that tensions must be accepted in order to achieve long-term success and sustained transformation because they are inherent to human behaviours in complex, dynamic and ambiguous systems.15,27–30 Key principles underpinning this perspective are summarised in Box 1.
Box 1 Adapted from Johnson, and Wesorick and Shaha
기본 원칙
Basic polarity principles
1 극성은 서로 다른 값 또는 관점의 상호 의존적인 쌍 (소위 '극')입니다.
2 서로 다른 가치관이나 극은 더 높은 목표에 도달하기 위해 시간이 지나면서 서로를 필요로 한다. 비록 둘 사이에 긴장감이 있더라도 둘 중 하나만으로 목표를 성취할 수는 없습니다
3 양극은 긍정적 인 결과 또는 '장점'이 있다.
4 양극은 잠재적 인 '단점'을 가지고있다.
5 한 극을 무시하면 부정적인 결과가있을 것입니다
6 극성은 복잡계complex와 조직에 내재되어 있습니다. 극성은 해결해야 할 문제가 아닙니다. 양 극 사이의 긴장은 피할 수 없는 것이며, 따라서 레버리지되어야한다.
1 Polarities are interdependent pairs of different values or points of view (so-called ‘poles’)
2 The different values or poles need each other over time to reach the higher goal neither can achieve alone, even though there is tension between them
3 Both poles bring positive outcomes or an ‘upside’
4 Both poles have a potential ‘downside’
5 If one pole is neglected, there will be negative outcomes
6 Polarities are intrinsic to complex systems and organisations. Polarities are not problems to be solved; tensions between poles are unavoidable and must be leveraged
기본적으로 양극은 서로 반대되거나 경쟁하는 것처럼 보일 수 있지만, 사실 이 둘은 상호 의존적이며 목표를 달성하기 위해 서로를 필요로 하는 두 개 (또는 그 이상)의 값 또는 대안적 관점 ( '극poles')입니다. 각 극은 달성해야 하는 목표에 대해서 긍정적인 결과를 가져오지만, 한 극을 희생시키면서 다른 극을 강조하면 부정적인 결과가 발생합니다. 조직 체계에서, 서로 다른 상호 관계를 가지는 양극의 공존은 일반적으로 '긴장'으로 경험된다.
Basically, polarities are two (or more) values or alternative views (called ‘poles’) that may appear as opposite or competitive but are interdependent and need each other to achieve a goal neither can reach alone.28 Each of the poles brings positive outcomes to the overarching goals to be achieved, whereas emphasising one pole at the expense of the other will result in negative outcomes. In organisational systems, the coexistence of these different yet interrelated poles is commonly experienced as ‘tension’.
Polarity ThinkingTM은 이러한 긴장이나 딜레마를 관리 할 때 'if-then'이나 'either-or'사고 방식이 아닌 'both-and' 사고 방식을 필요로합니다. 평가 시스템 내에서 학습을위한 평가 (형성)와 학습의 평가 (총괄)는 극성의 전형적인 예입니다
Polarity ThinkingTM entails a ‘both–and’ mindset rather than ‘if–then’ thinking or ‘either–or’ solutions in managing these tensions or dilemmas. Within assessment systems, assessment for learning (formative) and assessment of learning (summative) are typical examples of polarities
양질의 환자 치료를 위한 강건한 판단과 높은 수준의 학습 보장이라는 궁극적 인 목표를 모두 달성하려면 두 가지가 모두 필요합니다. 평가에서, 총괄평가가 없는 형성평가는 존재할 수 없다 :
We need both, however, to achieve our ultimate goals of ensuring robust judgements and high-quality learning for high-quality patient care. In assessment, there can be no formative assessment without summative assessment:
총괄평가는 암묵적으로든 명시적으로든 형성평가에 항상 포함된다. 마찬가지로 형성평가 없이는 학습의 타당하고 공정한 (총괄)평가가 불가능하다고 주장 할 것이다.
Summative assessment is thus always embedded in formative assessment, either implicitly or explicitly.31 Likewise, people will argue that valid, fair assessment of learning is not possible without ongoing formative assessment.
양극화 (또는 역설) 문제를 재구성하는 것은 조직 과학에서 상당히 잘 정립되어 있습니다
Reframing problems as polarities (or paradoxes) is fairly well established in organisation science
보다 최근에는 Polarity ThinkingTM 모델이 헬스케어개혁을 최적화하기 위해 성공적으로 도입되었는데, 이는 전통적인 변화 노력이 원하는 결과의 지속 가능한 성취로 이어지지 않았기 때문입니다 .30,35
More recently, Polarity ThinkingTM models have been successfully introduced to optimise health care reform, as traditional change efforts did not result in the sustainable achievement of desired outcomes.30,35
평가에서 극성과 긴장: 분류와 논쟁
POLARITIES AND TENSIONS IN ASSESSMENT: CATEGORISATION AND DEBATES
평가 시스템의 많은 긴장은 핵심 요소들 간의 복잡한 상호 관계 및 상호 작용을 반영하는 것으로 보이며, 많은 경우 책무성과 비용 효율성에 대한 압력 증가로 인해 발생한다.
many tensions in assessment systems seem to reflect the complex interrelationships and interactions among these core elements, not infrequently driven by increasing pressures for accountability and cost-effectiveness.
수십 년 동안 학습을위한 강력한 동인으로서의 형성 평가의 중요성이 인정되었습니다 .17,36-38 피드백, 학습 과정 및 평가에의 학생 참여를 강조하면서, 학생 및 연수생을 효율적 학습자, 평생 학습자로 발전시키는 것을 목표로합니다 .
For many decades, the significance of formative assessment as a powerful driver for learning has been acknowledged.17,36–38 With its emphasis on feedback, learning processes and student engagement in assessment, it aims to develop students and trainees into efficient, lifelong learners.
(CBME에서는) 개개인에 맞는 학습 궤적이 등장하면서 유연한 커리큘럼과 작업 프로세스의 재구성이 발생하게 되는데, 이로 인해 학교 및 보건 의료 기관의 (부족한) 재정적, 물질적, 관리적 자원뿐만 아니라 퀄리티에까지 영향을 미치는 경우가 발생하게 되고, 이것이 AFL과 연관된 긴장이 salient해지는 상황이다. 교육과 헬스케어가 서로 얽혀있는 시스템에서 [안정된 근무 절차를 유지]하면서 동시에 [유연하고 역동적인 학습을 창출]하고 [효율성과 효과성]이라는 목표가 서로 상충할 때 평가 전략에 관한 갈등('긴장')과 모호성이 발생할 수 있습니다.
Assessment for learning tensions may become salient if the emergence of individual learning trajectories involves flexible curricula and the reorganisation of work processes, impacting not only on the (scarce) financial, material and administrative resources of schools and health care institutions, but also on the quality of patient care.39–41 The need to create flexible and dynamic learning while maintaining stable working routines in the interwoven systems of education and health care and competing goals of efficiency and effectiveness may then create conflict (‘strain’) and ambiguity regarding assessment strategies.
학습의 평가AOL는 오랫동안 평가 내용과 접근법을 거의 독점하고 있었다. 최근까지도 총괄평가의 맥락에서 책무성, 공정성, 동등성의 문제가 HPE의 평가 개발 및 연구를 지배해오고 있다. AOL과 관련된 긴장은 양질의 진료를 보장하기 위해 무엇을 평가할 필요가 있는지를 정의함에 있어서 이해 관계자의 관점이 다양하다는 것에서 비롯 될 수 있습니다.
Assessment of learning has for long been the almost exclusive focus of assessment content and approaches; issues of accountability, fairness and equivalence in the context of summative assessment have dominated assessment development and research in HPE until very recently. Tensions within assessment of learning may stem from the plurality of stakeholders’ views on how to define what needs to be assessed in order to ensure high-quality care.
마찬가지로 비록 환자 치료의 복잡성을 보면, 팀워크와 조직 성과가 환자 성과에 크게 기여하지만, 동시에 의료에서는 개개인의 능력도 일정 수준 이상으로 보장해야하기 때문에 개인과 집단 간의 긴장을 유발할 수있다 .45,46 마찬가지로 CBE에서 평가를 개혁하다보면, [비용 효율성('의료행위에 대한 적합성'- '충분 함')과 수월성] 그리고 [역량에 대한 전체론적 접근과 분석적 접근] 사이에서도 긴장이 발생할 수 있다.
The complexity of patient care may drive tensions between the individual and the collective because individual competence needs to be assured although teamwork and organisation performance largely contribute to patient outcomes.45,46 Similarly, efforts to reform assessment in CBE may drive tensions between cost- effectiveness (focus on ‘fitness for practice’ – being ‘good enough’) and excellence47,48 and/or between holistic and analytic approaches to competence.
예를 들어 '전문 역량은 개별 역량을 입증하는 것 이상이며, (지역 사회의 건강요구를 충족시키기 위해서는) 전문 역량은 지식, 기술, 규범, 가치, 판단, 추론으로 분리 할 수없고, 통합적으로 정의되어야 함'은 널리 인정되고 있음에도, 전문 역량 개발은 별도의 역량 또는 역량 영역에 대한 기술 및 평가를 요구할 수있다.
Although it is widely acknowledged, for example, that ‘professional competence is more than a demonstration of isolated competencies’ and that professional competence is to be defined as the inseparable and integrated use of knowledge, skills, norms, values, judgement and reasoning to serve the health care needs of the community,49 the development of professional competence may require the description and evaluation of separate competencies or competency domains
평가 설계(구조화 및 조직화)에서도 긴장이 발생할 수 있는데, 원하는 결과 달성이 서로 상충하면서 공존하는 프로세스와 시스템을 필요로 할 경우에 그러하다.
Tensions when designing (structuring and organising) assessment will surface if the achievement of the desired outcome requires different competing, yet coexisting processes and systems.
일반적인 긴장은 [표준화와 authenticity] 사이에서, 또는 [(외부) 통제 (예 : 규제 기관)와 로컬 평가 전문성에 대한 신뢰] 사이에서 평가 결정의 중요한 자원으로 작용합니다. 내부 및 외부 이해 관계자들의 경쟁 요구는 [동등성 (예 : 국가 면허 시험 실시)과 의대 또는 직장 커리큘럼] 간의 긴장을 야기 할 수 있습니다.
Common tensions operate between standardisation and authenticity, or between (external) control (e.g. regulatory bodies) and trust in local assessment expertise as a critical resource in assessment decisions. Competing demands of internal and external stakeholders may raise tensions between equivalency (such as through the implementation of national licensing tests) and alignment with the medical school’s or workplace curriculum.
이로 인해서 심각한 딜레마가 발생할 수 있는데, 책무성에 대한 평가의 질을 보장하려는 [하향식, 처방식 (국가적) 강제사항이나 시험]과 같은 노력이 [프로그램 자율성과 전문적 integrity]의 훼손을 의미하는 것으로 해석되는 반면, 그것에 따르지 않을 경우 [프로그램 인증을 잃는 결과]를 초래할 수있는 상황에서 발생할 수 있습니다 52.53
Serious dilemmas may then arise in contexts in which efforts to ensure quality of assessment for accountability through top-down, prescriptive (national) mandates or tests are interpreted to signify loss of programme autonomy and professional integrity, whereas non-compliance may result in the loss of programme accreditation.52,53
AFL과 AOL 사이의 긴장은 [정성적 대 정량적 평가 접근법에 관한 논쟁], [주관적 대 객관성]의 역할, 평가 설계에 대한 [심리측정 대 교육측정]의 접근 등에서 발생할 수 있다.
tensions between assessment for and of learning surface in debates around qualitative versus quantitative assessment approaches,26 the role of ‘objectification’ (objectivity) versus subjectivity54,55 and a psychometric versus ‘edumetric’ or educational approach to assessment design.56
특히 책무성과 비용 효율성의 요구 사항은 등급화 및 표준화 된 평가를 선호하는 객관화 된 양적 평가를 더 유도할 수 있다.
The requirements of accountability and cost-effectiveness in particular may push towards objectified quantitative assessment outcomes, favouring grades and standardised assessments.
결과적으로, 긴장은 서로 다른 모호하고 때로는 상충되는 평가 전략을 통해서도 나타날 수 있습니다.
본질적으로 표준화되지 않은 평가 (예 : 진정한 평가를위한 표준화 된 서술)를 표준화하려는 것, 57,58
세부 평가 척도 및 작업 별 체크리스트의 사용을 통한 performance-in-context의 '측정'
EPA와 Milestones을 통한 역량 개발의 '대상화' 및 역량 개발
As a consequence, tensions may surface through differing, ambiguous and sometimes conflicting assessment strategies such as
the ‘standardisation’ of inherently unstandardised assessments (e.g. standardised narratives for authentic assessments),57,58
‘measurement’ of performance-in-context through the use of detailed rating scales and task-specific checklists,59,60 or
the ‘objectification’ of competence and competence development through the use of entrustable professional activities and milestones.61,62
또한 교육적 책무성은 '시간제어 기능'을 동반할 수 있는데, 왜냐하면 평가는 (암시 적으로 또는 명시 적으로) 학습의 속도를 높이기 위해 사용되기도 하기 때문이다. 빈번한 평가는 개별 진행 상황과 학습 과정의 효율을 제어하는 '초시계'가됩니다.
In addition, education accountability may entail a ‘timekeeping function’ of assessment as assessment may (implicitly or explicitly) serve to increase the rate of learning: frequent assessments become ‘stopwatches’, controlling individual progress and the efficiency of learning processes.63
평가 설계와 AFL 간의 긴장은 [의미있는 피드백을 기반으로 한 개별화 된 학습을 가능하게 하려는 필요성]과 [효율성 및 책임 성을 찾아 구조화 및 표준화하려는 욕구] 사이의 갈등을 동등하게 반영 할 수 있습니다.
Tensions between assessment design and assessment for learning may equally reflect conflicts between the need to enable individualised learning on the basis of meaningful feedback and the desire to structure and standardise in search of efficiency and accountability.
이 점에서 숫자 (성적) 대 단어 (내러티브)의 사용에 대한 토론이 실례 일 수 있습니다. 일반적으로 성적은 가장 정보가 부족한 피드백 유형으로 간주되는 반면, 피드백은 단어 사용을 통해 전달되는 것이 고품질로 여겨집니다. 그러나 비록 퍼포먼스 개선을 위한 피드백에서 질적 서술의 역할은 명백하지만, 연구 결과에 따르면 평가의 표준화와 능력 향상을 반영하는 성적점수를 제공하는 것도 학습자의 자기 효능감 및 역량 감각을 향상시킬 수 있으며, 여기에는 공정성과 동등성에 대한 학생의 인식도 포함한다. 20,24,70,71
Discussions about the use of numbers (grades) versus words (narratives) may be illustrative in this respect. In general, grades are considered to be the poorest form of feedback, whereas high-quality feedback is believed to be conveyed through the use of words. However, although the role of quality narratives in feedback for performance improvement is undisputed, research findings show that the standardisation of assessment and provision of grades that reflect progress towards competence may enhance learners’ sense of self-efficacy and competence, as well as perceptions of fairness and equivalence with respect to levels of competence upon graduation.20,24,70,71
숫자 역시 학습자와 학습자의 진도에 대한 개별화 된 프로파일로 매우 효율적으로 모여서 자기 평가를 지원하고, 변화를 위한 성찰과 행동을 자극 할 수 있습니다 .72 Tekian et al. "적절한 상황에서 숫자는 수천 장의 그림보다 더 의미가있을 수있다."라고 말했다. 따라서 다양한 이해 관계자는 수치 평가 데이터를 제공하는 것이 수월성의 문화를 유지하는 데 필수적이라고 인식할 수 있습니다. 수치 데이터는 학습자에 대해서 효율적이고 심리측정학적으로 타당하게 순위를 정할 수 있게하며, 고도로 경쟁이 치열한 환경에서 '객관적으로' 수월성을 보여줄 수 있고, 이해 관계자들로 하여금 나중에 defensibly 입학 결정에 대해 '최고 성능'개인을 선택할 수 있습니다.
Numbers can be very efficiently aggregated into individualised profiles of learners and learners’ progress, supporting self-assessment and inciting reflection and action for change.72 As Tekian et al. state: ‘Under appropriate circumstances, numbers can be more meaningful than a thousand pictures.’72 Various stakeholders may thus perceive the provision of numerical assessment data to be essential in maintaining a culture of excellence: numerical data enable the efficient and psychometrically sound ranking of learners, allowing learners to ‘objectively’ demonstrate excellence in a highly competitive environment and allowing stakeholders to defensibly select the ‘best-performing’ individuals for later admissions decisions.
건강 관리 및 건강 관리 시스템은 분명히 complex context이다. 분명히 고품질의 효율적인 환자 진료와 고품질의 효율적인 교수 및 학습 제공에있어 상충하는 목표 사이의 긴장은 제한된 자원과 책임에 대한 압박의 조건 하에서 더욱 두드러 질 것입니다.
Clearly, health care and health care systems represent complex contexts . Obviously, the tensions of competing goals in the delivery of high-quality, efficient patient care, as well as high-quality, efficient teaching and learning, are likely to become more salient under conditions of limited resources and increasing pressures for accountability.73
보건 의료 환경에서, 전공의가 학습자이면서 보건 의료 제공자가 되고, 의사는 건강 관리 제공자, 코치, 평가자의 여러 역할을 수행해야 할 경우 학습과 수행 사이의 긴장이 발생할 수 있습니다. 직장 환경에서 연수생은 직업을 통해 배우며 학습의 평가는 필연적으로 작업의 질에 대한 판단과 관련됩니다. 따라서 비판적 피드백은 학습자에게 불편함을 갖게 만들 수 있다 .74 마찬가지로 평가자는 헤징 (hedging)과 같은 언어 전략을 사용함으로써, trainee에게 건설적인 피드백을 제공하면서도 원활한 사회적인 상호 작용과 관계를 유지하고자 하는데, 이것은 supervisor가 내부 (학습자쪽으로)와 외부 (기관 및 대중에 대한)에 대한 책무성 사이의 상충과 긴장을 드러낸다.
In health care settings, learning–performance tensions may surface if an individual is required to fulfil the multiple roles of learner as well as health care provider (trainees), or health care provider, coach and assessor (clinicians). In workplace settings, trainees learn through and for work, and assessment of their learning inevitably involves judgement of the quality of their work. Critical feedback can thus feel uncomfortable to learners.74 Similarly, assessors’ use of linguistic strategies, such as hedging, in attempts to maintain smooth social interactions and working relationships with their trainees while providing constructive feedback may reflect supervisors’ competing goals and conflicts between internal (towards learners) and external (towards institutions and the public) accountability.75,76
교육 기관 수준에서, management 측에서는 직업의 문지기 역할을 하는 교사의 역할을지지 할지라도, 학생의 retention과 교육 기관이나 훈련 프로그램의 관련 자금에 대한 우려가 있음을 직원에게 알리곤 한다.77 또한 일부 조직 (HPE 및 건강 관리 환경 포함)에서 trainee의 rating이 낮거나 평균 이하인 것은 (비록 그것이 정확한 평가일지라도) 받아들일 수 없는 것이고, 암묵적인 조직의 규범 및 적합성에 대한 압력이 임상 환경에서 rating을 부풀리기에 중요한 요소가 될 수 있다 79
At the level of the education institution, although management may support the role of teachers as the profession’s gatekeepers, it may at the same time tell staff that there is concern about the retention of students and the related funding of the institution or training programme.77 In addition, low or below average ratings are considered unacceptable in some organisations (including in HPE and health care settings) even if they are accurate, and implicit organisational norms and pressures for conformity may be a significant factor in inflating ratings in clinical settings.78,79
문화적 맥락과 평가 간의 상호 작용은 현재의 의료 문화의 핵심 가치인 [자율과 독립] 대 [일상적인 직접 관찰과 피드백을 근본적으로 소중히 여기는 학습 문화] 사이의 갈등을 유발할 수 있다 .73,74,80
Interactions between the cultural context and assessment may also spur conflicts between autonomy and independence – core values in the current culture of medicine – and a learning culture that fundamentally values routine direct observation and feedback seeking.73,74,80
[성과(보기 좋음)와 학습(실패를 인정하고 약점을 보이기를 기꺼이하는) 사이의 갈등]은 학습자가 개발 및 전문성을 육성하기위한 신뢰 관계, 상호 의존성 및 협력에 관여해야 할 필요성 사이에서 고심하게 만들수 있으며, 이 때 학습자는 경쟁이 치열한 레지던트 훈련 프로그램이나 최상위 병원 및 의료 기관에 자리를 잡기 위해 다른 사람들보다 우위를 점해야 한다.81,82
Tensions between performance (looking good) and learning (being willing to show weaknesses, to admit and learn from failure) may additionally result in learners grappling with the need to engage in trustful relationships, interdependence and collaboration to foster development and expertise, while being competitive and seeking to outperform others in the battle for placements in residency training programmes or top-tier hospitals and health care organisations.81,82
프로그램 방식 평가 접근법에서, [빈번한 저부담 성과 평가와 피드백을 통한 발달적 평가]는 [이 평가자료를 활용하여 강력한 의사 결정을 보장하려는 총괄적 사용]과 충돌한다. 학습자와 교사는 mixed 메시지를 경험할 때 심리적 안전과 책임감 사이의 긴장에 직면 할 수 있습니다. 결과적으로, 학습자와 교사는 저부담 평가를 고부담 평가로 인식하여 학습과 학습 전략에 부정적 영향을 주게 된다.69,83 85
In programmatic assessment approaches, enhancing developmental assessment functions through frequent low-stakes performance evaluation and feedback conflicts with the summative use of these assessment data to ensure robust decision making. Learners, as well as teachers, may then face tensions between psychological safety and accountability when experiencing mixed messages . As a result, learners and teachers may perceive low- stakes assessments as high stakes, which impacts negatively on learning and learning strategies.69,83 85
조직 수준에서도 유사한 긴장이 발생할 수있다. [효율적이고 자기 통제적인 평생 학습의 강화]가 교육 개혁의 최우선 과제이지만, 책무성 압력은 교육 기관이 [선발, 규율, 통제의 목적을 위한 평가]에 집중하게 만든다.
Similar tensions may occur at organisational levels: while the enhancement of efficient, self- regulated lifelong learning is a pressing priority in education reform, accountability pressures may result in education institutions focusing on assessment for the purposes of selection, discipline and control.
극성 사고: 평가에 적용
POLARITY THINKING: APPLICATION TO ASSESSMENT
책무성 및 비용 효과에 대한 압력 증가로 인한 긴장감이 발생한다.
increasing pressures for accountability and cost-effectiveness drive tensions
이러한 긴장감은 상충하거나 상반되는 목표, 신념, 가치 사이에서의 복잡한 상호 작용으로 인해 발생하며, 각각은 평가 현실에 대한 동등하게 타당한 견해를 나타냅니다.
tensions arise from the complex interplay among competing or conflicting goals, beliefs and values, each of which represent equally valid alternative views of assessment reality.
복잡한 평가 시스템에서 단순한 'ifs'를 찾는 것은 어려울 수 있기 때문에, 단순한 'either-or' 해결책 또는 'if-then' 전략을 통해 핵심 딜레마를 관리하려는 시도는 효과는 제한적일 수 있습니다 (또는 실패 할 수도 있습니다). 오히려 평가 및 평가 개혁에서 많은 만성적인 문제는 시간이 지남에 따라 필요한 모든 극과 극성 간의 긴장을 반영하며, 지속 가능하고 긍정적 인 성과를 달성하기 위해 관리되어야합니다.
Attempts to manage key dilemmas through simple ‘either–or’ solutions or ‘if–then’ strategies are likely to have limited effectiveness (or might even fail), purely because simple ‘ifs’ may be hard to find in complex assessment systems. Rather, the many chronic issues in assessment and assessment reform reflect multiple tensions between poles and polarities that are all necessary over time and should be managed to achieve sustainable and positive outcomes.
Polarity ThinkingTM 모델을 사용하여 극성을 관리하는 데는보고, 매핑 및 탭핑 / 레버리지 세 가지 필수 단계가 필요합니다.
Use of the Polarity ThinkingTM model to manage polarities involves three essential steps – seeing, mapping and tapping/leveraging
Polarity ThinkingTM을 사용하려면 프로세스에 모든 주요 이해 관계자의 참여가 필요합니다 .28-30
Use of the Polarity ThinkingTM requires the engagement of all key stakeholders in the process.28–30
첫 번째 단계(seeing)는 극성이 있다는 것을 알고 받아들이며, 극성을 식별하고 작동 방식을 이해하는 것입니다. 주요 극성은 평가 문헌을 검토하고 (예 : 본 백서에 제시된 바와 같이) 일상적인 평가 관행에서 직면하는 어려움과 딜레마에 대해 이해 관계자와의 대화를 통해 파악할 수 있습니다.
The first step (seeing)is to know and accept that there are polarities, and to identify them and understand how they work. Key polarities can be identified by reviewing the assessment literature (e.g. as presented in this paper) and by holding conversations with stakeholders about the challenges and dilemmas they face in day-to-day assessment practice.
다음 단계 (매핑)는 각기 다른 가치 또는 관점 (즉, 극)에 딜레마의 근본적인 이름을 부여하고 협업을 통한 대화를 통해 각 pole과 관련된 긍정적인 (위쪽) 결과와 부정적인 (아래쪽) 결과를 식별하는 것입니다. 이를 통해 이해 관계자는 다양한 관점과 전체적으로 딜레마를 탐색 할 수 있습니다.
The next step (mapping)is to give a name to the different values or points of view (i.e. poles) underlying a dilemma and, through collaborative conversation, to identify the positive (upside) and negative (downside) outcomes associated with each of the poles. This will encourage stakeholders to explore the dilemma from multiple perspectives and as a whole.
3 단계 (두드림 / 레버리지)에는 이해 관계자들이 각 극의 단점을 피하면서 두 극의 힘을 최대화하기 위해 채택해야하는 전략이나 행동에 대한 토론을 포함합니다. 동시에 각 극마다 조기 경고 신호가 식별되어 하나의 극점이 다른 극점의 무시에 지나치게 초점을 맞추고 있음을 나타낼 수 있습니다.
Step 3 (tapping/leveraging) involves engaging stakeholders in discussions about strategies or actions that need to be adopted to maximise the upsides of both poles while avoiding the downsides of each pole. At the same time, for each of the poles, early warning signs can be identified to indicate that one pole is being overly focused on to the neglect of the other.
그림 2는 공통 평가 극성에 대한 극성지도의 가상의 예를 나타냅니다. 표준화와 진정성 사이의 딜레마입니다.
Figure 2 presents a (fictitious) example of a Polarity Map for a common assessment polarity: the dilemma between standardisation and authenticity.
이 그림은 한 극이 집중되고 다른 한 편이 무시 된 경우 (사분면) 양성 결과의 상실과 각 극의 잠재적 한계를 보여줍니다 (낮은 사분면).
The figure also shows the potential limitations of each pole (lower quadrants) and the loss of positive outcomes when one pole is focused on and the other neglected (diagonal quadrants).
그림 3의지도는 양적 (숫자) 평가 방법과 질적 (단어) 평가 방법 간의 극성을 관리 할 수있는 방법의 예를 제공합니다.
The map in Fig. 3 is filled in to provide an example of how the polarity between quantitative (numbers) and qualitative (words) assessment approaches can be managed.
극성지도는 반드시 포괄적 인 것은 아니며 오히려 편향 요소 (즉, 편익)와 단점 (즉, 잠재적 인 해악)을 포함하여 각 극의 가장 영향력있는 핵심 요소에 초점을 둡니다.
Polarity maps are not necessarily comprehensive, but, rather, focus on the key, most impactful elements of each pole, including both the upsides (i.e. benefits) and downsides (i.e. potential harms).
결론
CONCLUSIONS
교육 및 보건 의료 조직의 복잡성과 변화가 계속 커지면서 양 극성과 긴장 상태가 나타날 가능성이 큽니다.
Assessment polarities and tensions are likely to surface with the continued rise of complexity and change in education and health care organisations.
우리는 Polarity Thinking의 렌즈를 통해 평가의 모든 문제를 검토하는 척하지 않습니다. 그것의 "양자 및"접근법은 연구원들이 존재하는 긴장감, 논쟁과 평가 개혁을 촉발하는 방법, 그리고 바람직한 결과를 얻기 위해 배우들이 이러한 긴장을 어떻게 탐색 하는지를 도울 수 있습니다.
We do not want to pretend that all problems in assessment are to be viewed through the lens of Polarity Thinking. Its ‘both–and’ approach may help researchers to clarify the tensions that exist, how they fuel debates and assessment reform, and how actors navigate these tensions to achieve desirable outcomes.
3 Eva KW, Bordage G, Campbell C, Galbraith R, Ginsburg S, Holmboe E, Regehr G. Towards a program of assessment for health professionals: from training into practice. Adv Health Sci Educ Theory Pract (4):897–913. 2016; 21
5 Harris P, Bhanji F, Topps M, Ross S, Lieberman S, Frank JR, Snell L, Sherbino J; ICBME Collaborators. Evolving concepts of assessment in a competency- (6):603–8. based world. Med Teach 2017;
6 Lockyer J, Carraccio C, Chan MK, Hart D, Smee S, Touchie C, Holmboe ES, Frank JR; ICBME Collaborators. Core principles of assessment in competency-based medical education. Med Teach (6):609–16. 2017;
8 Boyd VA, Whitehead CR, Thille P, Ginsburg S, Brydges R, Kuper A. Competency-based medical education: the discourse of infallibility. Med Educ (1):45–57. 2018;
9 Holmboe ES, Sherbino J, Englander R, Snell L, Frank JR; ICBME Collaborators. A call to action: the controversy of and rationale for competency-based (6):574–81. medical education. Med Teach 2017;
10 Krupat E. Critical thoughts about the core entrustable professional activities in undergraduate medical (3):371–6. education. Acad Med 2018;
30 Wesorick B, Shaha S. Guiding health care transformation: a next-generation, diagnostic remediation tool for leveraging polarities. Nurs (6):691–702. Outlook 2015; XXX
Egener BE, Mason DJ, McDonald WJ, Okun S, Gaines 51 ME, Fleming DA, Rosof BM, Gullen D, Andresen ML. The charter on professionalism for health care (8):1091–9. organizations. Acad Med 2017;
Price T, Lynn N, Coombes L, Roberts M, Gale T, 53 Regan de Bere S, Archer J. The international landscape of medical licensing examinations: a typology derived from a systematic review. Int J Health (9):782–90. Policy Manag 2018; 7
39 Nousiainen MT, Caverzagie KJ, Ferguson PC, Frank JR; ICBME Collaborators. Implementing competency- based medical education: what changes in curricular structure and processes are needed? Med Teach (6):594–8. 2017;
44 Tekian A, Hodges BD, Roberts TE, Schuwirth L, Norcini J. Assessing competencies using milestones (4):399–402. along the way. Med Teach 2015; 37
61 Carraccio C, Englander R, Gilhooly J, Mink R, Hofkosh D, Barone MA, Holmboe ES. Building a framework of entrustable professional activities, supported by competencies and milestones, to bridge the educational continuum. Acad Med 2017; 92 (3):324–30.
76 Sebok-Syer SS, Klinger DA, Sherbino J, Chan TM. Mixed messages or miscommunication? Investigating the relationship between assessors’ workplace-based assessment scores and written comments. Acad Med (12):1774–9. 2017;
Massie J, Ali JM. Workplace-based assessment: a 65 review of user perceptions and strategies to address the identified shortcomings. Adv Health Sci Educ (2):455–73. Theory Pract 2016;
Harrison CJ, K€onings KD, Schuwirth L, Wass V, van 67 der Vleuten C. Barriers to the uptake and use of feedback in the context of summative assessment. Adv (1):229–45. Health Sci Educ Theory Pract 2015;
69 Schut S, Driessen E, van Tartwijk J, van der Vleuten C, Heeneman S. Stakes in the eye of the beholder: an international study of learners’ perceptions within (6):654– programmatic assessment. Med Educ 2018; 52 63.
72 Tekian A, Watling CJ, Roberts TE, Steinert Y, Norcini J. Qualitative and quantitative feedback in the context of competency-based education. Med Teach 2017; 39 (12):1245–9.
Med Educ. 2018 Oct 5. doi: 10.1111/medu.13656. [Epub ahead of print]
Managing tensions in assessment: moving beyond either-or thinking.
- 1
- Department of Educational Development and Research, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, the Netherlands.
- 2
- Accreditation Council for Graduate Medical Education, Chicago, Illinois, USA.
Abstract
CONTEXT:
In health professions education, assessment systems are bound to be rife with tensions as they must fulfil formative and summative assessment purposes, be efficient and effective, and meet the needs of learners and education institutes, as well as those of patients and health care organisations. The way we respond to these tensions determines the fate of assessment practices and reform. In this study, we argue that traditional 'fix-the-problem' approaches (i.e. either-or solutions) are generally inadequate and that we need alternative strategies to help us further understand, accept and actually engage with the multiple recurring tensions in assessmentprogrammes.
METHODS:
Drawing from research in organisation science and health care, we outline how the Polarity Thinking™ model and its 'both-and' approach offer ways to systematically leverage assessment tensions as opportunities to drive improvement, rather than as intractable problems. In reviewing the assessment literature, we highlight and discuss exemplars of specific assessment polarities and tensions in educational settings. Using key concepts and principles of the Polarity Thinking™ model, and two examples of common tensions in assessment design, we describe how the model can be applied in a stepwise approach to the management of key polarities in assessment.
DISCUSSION:
Assessment polarities and tensions are likely to surface with the continued rise of complexity and change in education and health care organisations. With increasing pressures of accountability in times of stretched resources, assessment tensions and dilemmas will become more pronounced. We propose to add to our repertoire of strategies for managing key dilemmas in education and assessmentdesign through the adoption of the polarity framework. Its 'both-and' approach may advance our efforts to transform assessment systems to meet complex 21st century education, health and health care needs.
© 2018 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.
