완전학습에서의 평가: 타당도와 합리화의 핵심 이슈(Acad Med, 2015)

Making the Case for Mastery Learning Assessments: Key Issues in Validation and Justification

Matthew Lineberry, PhD, Yoon Soo Park, PhD, David A. Cook, MD, MHPE,

and Rachel Yudkowsky, MD, MHPE

교육연구 사업 영역에서 타당도와 정당화Validation and justification 는 중요한 활동이다. 새롭게 나타난 근거가 오랫동안 해온 평가의 타당성을 반박할 수도 잇으며, 검사점수의 해석과 활용에 관한 논란이 highest courts of law가 되기도 한다.

Validation and justification are important activities in the educational research enterprise; new evidence may show long-standing assessment practices to be invalid,8 and controversies about interpretations and uses of test scores have risen to the highest courts of law.9

그러나 완전학습에서의 평가는 점수의 해석과 활용이 표준적 평가와 다르며, 타당도와 정당화 과정에도 변화가 필요하다.

However, mastery learning assessments entail interpretations and uses of scores that differ from those of standard assessments, requiring changes in validation and justification practices.

완전학습 평가의 해석과 활용

Interpretations of and Uses for Mastery Learning Assessments

'완전'이 의미하는 의미는 무엇인가? 구어적으로는 높은 수준의 전문성을 말한다. 그러나 '완전학습'에 있어서 '완전(마스터)'란 단순히 '다음 교육 단계로 넘어갈 수 있게 준비되었음'을 말한다. 의과대학생이 돌연변이를 잘 이해하여 genetic transmission에 대해 배울 준비가 되어있다고 하더라도, 일반적인 관점에서 그 주제를 '마스터'했다고 볼 수는 없고, 다음 단계로 넘어갈 준비가 되었음을 말한다.

What does “mastery” mean? Colloquially, it suggests a high level of expertise. However, for mastery learning, it only means readiness to proceed to the next phase of instruction. A medical student who understands mutagenesis enough to learn about genetic transmission has almost certainly not “mastered” mutagenesis in the lay sense but may have mastered it enough to move on to the next educational unit.

학습자들은 얼마나 오래 '마스터' 수준을 유지해야 할까? 완전학습 모델에서 성취도는 종종 훈련이 종료된 직후에 평가된다. 대부분의 의학교육에서의 학습단위unit가 이후에 배울 많은 학습단위unit과 연결되어 있는 반면, 학습자의 성취도는 시간이 지나면서 종종 쇠퇴한다. 더 나아가서, 단기적 성취mastery를 최대화하기 위한 여러 학습활동이 오히려 그 성취의 장기적인 유지와 일반화에는 반대로 작용하기도 한다.

How long are learners expected to retain “mastery”? In mastery learning models, achievement is often assessed immediately after the completion of training. Yet most learning units in medical education are connected to many later units, and achievement often decays rapidly following training.13 Moreover, many learning activities that maximize short-term mastery are precisely the opposite of those that support long-term retention and generalization of mastery.14

완전학습 평가를 훈련 직후에 시행되는 평가로만 제한하는 것은 (균일하고, 오래 지속되는 역량을 갖추게 하려는) 완전학습 시스템의 의도를 전복시킬 수도 있는 것이다.

limiting mastery learning assessment to the period immediately following training could subvert the intent of the mastery system, which is to ensure uniform, enduring competence.15

'마스터'는 지식이나 스킬의 완전성을 의미할 수도 있다. 어떤 맥락에서는 '마스터'는 학습자가 해당 영역의 모든 하위영역subunit에서 충분한 역량을 갖췄음을 의미하기도 한다.

Mastery also may connote a completeness of knowledge or skill. In some contexts, mastery means that a learner has achieved sufficient competence in all the subunits of a content area

그러한 경우에 있어서, 만약 학습자가 90%를 달성하고, 10%를 놓친 것은 심각한 문제일 수 있으며 '마스터'를 수여해서는 안된다. 이러한 비보상적noncompensatory(conjunctive) 점수 계산 방식에서, 학습자의 수행능력은 각각의 subunit에 대해서 최소 기준을 달성하였는지를 평가해야 하며, 모든 subunit에서 통과했을 때야만이 '마스터'를 받을 수 있다.

In such situations, for example, if a learner scores 90% on a procedural task but the missed 10% reflect a serious error, the designation of mastery would be inappropriate.16 In such noncompensatory (i.e., conjunctive) scoring, learners’ performance on each subunit would be evaluated against a minimum standard, and mastery would be achieved only when the learner passes all subunits.

완전학습 모델의 핵심적 전제는 통과하고 다음으로 넘어가거나, 실패하고 현 과정을 반복하거나 이 두 가지 중 하나라는 것이다. 중간 지점은 없다. 따라서 '통과'기준은 반드시 엄격하게 설정되어야 한다.

the central inference in the mastery model is pass and advance or fail and repeat; there is no middle ground. Thus, the passing standard must be established with great rigor.

진점수가 '마스터 판정 기준'에 걸쳐 있는 학습자에 대해서는 (합격점수의 1SD 이내), 정밀한 측정이 우선되어야 한다. 이 범위 내에서 변별도가 높은 문항은 과도표집oversampled 되어야 하며, 이는 비록 이러한 문항을 찾거나 만드는 것이 psychometric하게 복잡하더라도 그렇게 해야 한다.

for learners whose true scores are within range of the mastery standard, perhaps within one standard error of measurement from the cut score, precise measurement becomes the priority. Assessment items that discriminate well in this range should be oversampled, though identifying such items may require sophisticated psychometric approaches, such as item response theory.17

고부담 시험을 위해서 그러한 문항은 보안을 철저히 해서 부적절하게 학생들에게 노출되는 것을 방지해야 한다(선배 학생이 후배 학생에게 물려주는 것 등). 이는 해당 문항에 대한 측정 정밀도를 떨어뜨릴 수 있다. 문항의 노출disclosure를 방지하는 방법으로는, 무엇을 맞추고 틀렸는지, 왜 그런 점수를 받았는지 알려주지 않는 것이 한 방법이 될 수 있다. 대신 학생들은 총점만 알게 된다. 이렇게 할 경우에, 이러한 범위에 있는 문항에 대해서는 측정의 정밀성을 위하여 '평가에 기반한 피드백'을 희생해야 할 수도 있다.

For high-stakes examinations, such items also need to be kept secure from inappropriate disclosure to examinees (e.g., senior students sharing test items from previous years with junior students), which would compromise the measurement precision of those items. Preventing such disclosure likely requires that, for any given item, educators not divulge which answers are correct versus incorrect nor the reasons they are so scored; instead, examinees are likely only to be told their total score across many items. As such, for items in this range, beneficial assessment-based feedback will often need to be sacrificed to maintain measurement precision.

이러한 평가를 반드시 사용하게 되는 시점은 학습자들이 다음 단계로 넘어갈지를 결정하는 시점이다. 이 결정에 대해서 두 가지 핵심 디테일 있다.

(1)통과하지 못한 학습자들에게 들어가는 자원과 이들을 위한 정책,

(2)마스터 기준을 계속 충족하지 못하는 학생들에 대한 특별한 조치consequences.

완전학습 평가점수를 다른 방식으로 사용하면 의도하지 못한 결과가 나올 수도 있다. 예컨대, '빨리 교육과정을 마스터한 학생에게 dean's letter를 수여'하는 경우 "마스터까지 걸리는 시간"이 새로운 성취지표가 되면서 학습자들로 하여금 교육과정을 '마스터'하기보다는 빨리 해치워rush through버리게끔 만들기도 한다.

The most obvious use of such assessments is for deciding when to advance learners in the curriculum. Two key details related to this decision are (1) the resources and policies in place for learners who do not pass, and (2) any special consequences for learners who fail persistently to meet mastery standards. Other uses of mastery scores exist but may have unintended consequences. For instance, a dean’s letter to a residency program that extols a medical student who quickly mastered the curriculum inadvertently makes “time to mastery” a new achievement indicator, perhaps encouraging learners to rush through the curriculum rather than truly mastering it.

타당도 근거: 내용

Sources of Validity Evidence: Content

완전학습 시스템에서 재시험은 내용에 관한 보안에 위협이 될 수도 있고, 학습자가 어떻게 평가문항에 응답하는지에 영향을 준다.

Retesting in mastery learning systems could in some cases create a content security threat that may be evident in how learners respond to assessment items. 

요령이 좋은 학습자들은 'test-wise'해지기 위해서 완전학습평가시험을 일부러 치른 다음에, 부족한 부분만 재빨리 채워서 재시험을 볼 수도 있다.

Savvy learners might deliberately take a mastery examination for which they are not prepared to become “test-wise,” and then study only enough to briefly regurgitate the required information on a retest.

답안을 암기해가는 학습자들에 대한 가장 직접적인 해결책은 (비록 자원이 많이 드나) 충분히 큰 문제(내용)은행을 만드는 것이다. 또는 학습자의 추론과정을 묻는 방법 역시 가능하다. 예를 들어, '정답이 무엇이냐'를 묻기보다는 '왜 그것이 정답이냐'를 물을 수도 있다. 그러나 이러한 더 심화된 이해는 '정답을 고르는 능력'과는 다른 구인을 대변하고 있음이 증명된 바 있기도 하다. 다행히도, 내용의 보안문제는 일부 영역에서는 문제가 되지 않는다. 예를 들어 임상스킬 절차의 체크리스트는 모든 단계를 만족스러운 수준으로 수행할 수 있도록 학습자들에게 제공되기도 한다.

The most straightforward solution to the problem of learners memorizing answers is to build larger content banks (e.g., more items, more scenarios), though this is admittedly resource intensive. Probing learners’ reasoning for the answers they select to detect superficial memorization also may be possible; for instance, one may ask not only what the correct answer is on a multiple-choice examination but also why it is correct. However, such deeper understanding is a demonstrably different construct than the ability to recognize correct answers.22 Fortunately, content security is not a concern for some types of content; for instance, procedural checklists are given freely to learners with the expectation that they will be able to demonstrate all procedural steps satisfactorily.

즉, 동일 수행능력 영역에서의 점수는 평가 상황에 무관하게 신뢰성있어야reliable across 한다.

namely, scores reflecting the same dimension of performance should ideally be reliable across each test condition.

만약 학습자가 언제 마스터평가 시험을 치를지 선택할 수 있다면, 학생들의 시험점수는 매우 비슷할 것이다(대부분이 합격선에 있음). 이러한 경우에는 점수의 variance가 작아지고, 신뢰도 추정계수가 약화attenuate될 것이다. 완전학습시스템의 목표는 - 모든 학습자가 균일한 성취를 하는 것으로 - 전통적인 신뢰도 추정과는 잘 맞지 않는다. 동시에, remediation과 retraining이 문항 수준의 점수 variation에 영향을 미칠 수 있으며, 신뢰도를 상승시킬 수도 있다. 따라서, 재시험의 빈도에 따라 완전학습평가는 안정적이지 못한 신뢰도 추정reliability estimates을 보여줄 수도 있다.

If learners can choose when to take the mastery assessment their total test scores will be very similar (i.e., very near the passing score). In situations of such reduced score variance (i.e., restriction in range), reliability estimates will be attenuated. The very goal of mastery learning systems—uniform achievement from all learners—is thus at odds with classical reliability estimation. At the same time, remediation and retraining can affect item-level score variation and may actually increase reliability. Therefore, depending on the frequency of retesting, mastery learning assessments can show unstable reliability estimates. 

연장선상에서, 이 이슈는 요인분석을 통한 내적 구조 분석도 어렵게 만드는데, 왜냐하면 요인분석을 하려면 subject와 item 사이에 일정정도의 variance가 존재해야 하기 때문이다.

By extension, these issues may limit one’s ability to assess internal structure using methods such as factor analysis, which also requires a reasonable degree of variance between subjects and items.

마지막으로, 평가 운영의 차원에서 완전학습평가를 비보상적noncompensatory 으로 진행할 수 있는데, 이 때 학습다는 다수의 서로 다른 subunit에서 '마스터'를 받아야 한다. 이러한 점수체계에서 전체 측정오차는 각 subunit의 측정오차의 지수함수가 되며, 그 결과 매우 통과/탈락 결정이 unreliable해질 수 있다. 예컨대, 다섯 개 subunit이 각각 0.8의 통과/탈락 신뢰도를 가진다면, 전체적으로는 0.8^5 = 0.33이 되어서 최악으로 낮은 신뢰도가 나온다.

Finally, as with credentialing examinations generally, administrators may choose to score mastery learning assessments in a noncompensatory fashion, whereby learners must demonstrate mastery on many different subunits before progressing.27 In noncompensatory scoring, overall measurement error is an exponential function of the measurement error for each subunit and thus can “balloon” into very unreliable overall pass/fail decisions. For instance, if learners must pass each of five procedural skill stations, which each have a pass/fail reliability of 0.8, overall pass/fail decision reliability would be only 0.8*0.8*0.8*0.8*0.8 = 0.33, an abysmally low reliability coefficient.28

타당도 근거: 다른 변인과의 관계

Sources of Validity Evidence: Relationships to Other Variables

완전학습 시스템에서 평가결과와 가장 중요한 관계에 있는 것은, 평가점수가 뒤따라오는 교육유닛에서의 성공과 관련되어 있는지에 대한 것이며, 여기에는 궁극적으로 진료로의 이행transition to practice도 포함된다.

the most important relationship to evaluate in a mastery learning system is whether assessment scores relate to learners’ success in their subsequent educational unit(s), including their eventual transition to practice.

완전학습평가에서 점수분포범위의 제한(restriction of range)으로 인한 신뢰도 추정에 손상이 있을 수 있기에, 다른 변인과의 관계를 추정하는 것도 어렵게 된다. 그러나 완전학습시스템을 도입하기 이전에 수집된 상대적으로 제한이 덜 되는unrestricted 평가자료와의 완계를 보는 것이 가능하다.

As it impairs the estimation of reliability, the restriction of range in mastery learning assessment scores makes estimating relationships to other variables difficult. However, correlating relatively unrestricted assessment data obtained prior to implementing a mastery learning system with other variables is possible.

타당도와 정당화 근거: 평가결과 활용에 따른 여파consequences

Sources of Validity and Justification Evidence: Consequences of Assessment Use

평가가 의도한 추론desired inference를 지지할 수 있느냐에 초점을 둔 타당도근거와 달리, 여파(결과, consequences)근거는 '의도한/의도하지 않은 결과', '평가의 도입절차가 논리적이고 바람직한가' 등을 고려하여 점수를 활용하고 적용하는 것을 정당화하는 것을 목적으로 한다. 여파근거는 기준을 설정하는 프로세스, 학습 프로세스/학습 성과 평가에 따른 영향impact, 헬스케어 수행practice of health care에 대한 정보 등을 포함한다.

In contrast to validity evidence that focuses on whether the assessment can support desired inferences, consequences evidence seeks to justify the uses or applications of scores by considering the intended and unintended consequences of the assessment and whether implementation of the assessment is reasonable and desirable.6,7 Consequences evidence includes information about the process of setting standards and the impact of the assessment on the learning process, learning outcomes, and the practice of health care.12

완전학습은 교육과정과 교육훈련 프로그램에 큰 영향을 줄 수 있다. 충분한 교육시간과 재교육, 재연습, 재시험을 위한 자원을 필요로 하며, 역량바탕접근을 강화한다.

The mastery model potentially could widely influence curricula and training programs. Mastery standards mandate sufficient curricular time and resources for repeated practice, remediation, and retesting, thus reinforcing a competency- based approach to education.5

개별 학습자 수준에서 다음을 찾아볼 수 있다.

On an individual learner level, one can seek evidence of

• increased efficiency and effectiveness of study and practice strategies,
• increased attention to the critical elements of the assessed domain,
• more functional motivational orientations,32 and
• improved self- regulation of learning.

그러나 완전학습 시스템은 정기적으로 '마스터' 여부를 재평가하지 않기에 학습자가 '마스터'수준을 단기적으로만 유지하지, 전체 커리어에 걸쳐 유지하게끔 하는 것에 초점을 두지 않을 수도 있다.

However, mastery learning systems that do not periodically reassess mastery may lead learners to focus on demonstrating mastery in the short term rather than maintaining mastery throughout their careers.

완전학습시스템은 학습자가 다음 단계로 넘어갈 준비가 되었을 때에만 넘어갈 수 있게끔 하는 것을 의도한다. 따라서 다음 교육유닛에서 학습자의 성과가 가장 주요한 관심의 대상이 되는 결과이다. 그러나 학습자가 이후에 보이는 progress를 가지고 완전학습평가에 관한 inference를 하는 것은 어렵다.

• 만약 학습자가 이후 교육유닛에서 보이는 수준이 평균 이하라면, 앞서서 수여한 '마스터' 기준중 하나 이상이 너무 느슨했음을 뜻한다.
• 반대로, 이후 교육유닛에서 학습자가 만족스러운 수준을 보인다면, 앞서 수여한 '마스터' 기준이 지나치게 엄격했기 때문이 약간 느슨하게 만들어서 시간은 덜 들이고 동등한 결과를 낼 수도 있다.

Mastery learning systems are meant to ensure that learners progress only when they are ready to do so; thus, learner outcomes in subsequent educational units are a primary consequence of interest. However, drawing inferences about mastery learning assessments from learners’ later progress can be challenging. If learners’ progress in later educational units is found to be subpar, it may be that one or more of the previous mastery standards were too lenient. If learners’ subsequent progress is satisfactory, the preceding mastery standards were arguably stringent enough, though more lenient standards may have yielded comparable results in less time.

systematic하게 기준을 실험하고, 어떻게 이후 성과가 영향을 받는지 실험하는 것은 logistic하게, 그리고 종종 윤리적으로 문제가 된다.

to systematically experiment with the standards and observe how later outcomes are affected can be logistically and sometimes ethically challenging.

마지막으로, 환자/보건의료시스템/사회 전체 에 미치는 영향에 대한 근거를 볼 수도 있다.

Finally, one can seek evidence of an impact on outcomes for patients, the health care system, and society as a whole.

8 Lineberry M, Kreiter CD, Bordage G. Threats to validity in the use and interpretation of script concordance test scores. Med Educ. 2013;47:1175–1183.

11 Cook DA, Beckman TJ. Current concepts in validity and reliability for psychometric instruments: Theory and application. Am J Med. 2006;119:166.e7–166.16.

22 Williams RG, Klamen DL, Markwell SJ, Cianciolo AT, Colliver JA, Verhulst SJ. Variations in senior medical student diagnostic justification ability. Acad Med. 2014;89:790–798.

23 Stansfield RB, Kreiter CD. Conditional reliability of admissions interview ratings: Extreme ratings are the most informative. Med Educ. 2007;41:32–38.

Making the case for mastery learning assessments: key issues in validation and justification.

프로페셔널리즘에 대한 도전: 사회적 책무성과 글로벌 환경 변화(Med Teach, 2015)

Challenges to professionalism: Social accountability and global environmental change

DAVID PEARSON1, SARAH WALPOLE1 & STEFI BARNA2

1Hull York Medical School, UK, 2Norwich Medical School, UK

배경: 변화, 개념, 도전

Background: changes, concepts and challenges 

전문직업성은 value-driven concept 으로서, 헌장/선언문/테스크포스에 따라서 다양하게 정의되나 본질적으로 의료전문직과 그들이 serve하는 사회와의 "사회적 계약"이다. 이러한 목적에서 우리는 프로페셔널리즘을 "대중이 의사에게 가지는 신뢰의 근간이 되는 가치/행동/관계의 집합"으로 정의하고자 한다.

Professionalism is a value-driven concept, variously defined in charters, statements and by task forces, but essentially offering a ‘‘social contract’’ between health profes-sionals and the society that they serve (Cruess & Cruess 2008;Cruess et al. 2010). For the purpose of this discussion, we will use the definition of professionalism as a ‘‘set of values, behaviours and relationships that underpin the trust the public has in doctors’’ (Royal College of Physicians 2005). 

의-프로페셔널리즘 문헌의 systematic review를 보면 프로페셔널리즘의 세 가지 주요 주제가 드러난다.

A systematic review of the medical professionalism litera-ture (Van de Camp et al. 2004) identified three key themes in professionalism: 

• Interpersonal professionalism: 환자의 요구에 부응하는 것, 이타성, 봉사
  meeting patient demands,altruism and service delivery. 
• Public professionalism: 책무성, 윤리 원칙과 자기조절에 대한 헌신submission
  accountability, submission to an ethical code and self-regulation. 
• Intrapersonal professionalism: 표준을 유지하고 평생학습을 하는 것
  maintaining standards and life-long learning. 

사회적책무성Social accountability 은 의과대학에서 지난 30년간 중요한 개념이었다. 일련의 최근의 리뷰와 보고서들은 이 개념을 강화하기 위해서 의과대학에서는 명시적으로 그들의 사명mission이 그들이 serve하는 커뮤니티의 건강요구와 합치align할 것을 요구하고 있다.

Social accountability has been an important concept for medical schools for 30 years. A series of recent reviews and reports have strengthened the concept by recommending that the mission of medical schools should be explicitly aligned with the health needs of communities (and regions) they serve

의과대학의 GCSA를 보면 사회적 책무를 다하는 의과대학이란 아래와 같다.

The Global Consensus for Social Accountability of Medical Schools (2010) defines a socially accountable medical school as one which 

• 사회의 건강요구와 건강 과제에 대응respond하는 것
  Responds to society’s health needs and challenges. 
• 교육, 연구, 봉사service의 우선순위를 이러한 요구 해소에 따라 재정비reorient하는 것
  Reorients its education, research and service priorities to address these needs. 
• 이 목표를 달성하기 위해 다른 이해관계자들과 협력work in partnership하는 것
  Works increasingly in partnership with other stakeholders to meet these goals.
• 이 목표에 따른 수행과 그 영향력을 평가하는 것
  Assesses performance and impact against the above goals.

이 토론을 위하여 우리는 WHO의 '사회적 책무성'의 개념을 사용하고자 한다.

For the purpose of this discussion, we use the definition of social accountability used by the World Health Organisation since 1995

"의과대학이 그들의 교육/연구/봉사(진료)활동을 그들의 serve해야 하는 커뮤니티/지역/국가의 최우선 건강 문제health concerns에 따라 수행한다. 최우선 건강문제는 정부, 보건의료조직, 의료전문직, 대중이 함께 정해야 한다"

‘‘...the obligation (of medical schools) to direct their education, research and service activities towards addressing the priority health concerns of the community, region and the nation that they have a mandate to serve. The priority health concerns are to be identified jointly by governments, health-care organizations, health professionals and the public’’. (Boelen & Heck 1995).

WHO의 정의는 더욱 발전하여 아래의 세 가지를 포함하게 되었다.

The WHO definition has been further developed to include social responsibility, social responsiveness and social account- ability (Boelen & Woollard 2011):

• Social responsibility: 최우선 건강문제와 과제를 인식하나, 교육/연구/진료가 반드시 여기에 부합alignment하지는 않음
  an awareness of society’s priority health needs and challenges but not necessarily an alignment of educational, research or service outcomes to these needs 
• Social responsiveness: serve하는 커뮤니티의 건강요구를 적극적으로 밝혀내는 것, 이 요구에 부응하는 사명, 프로그램과 그 목표가 이 요구에 부응하기 위하여 align된 것.
  an active identification of health needs of the community served, a mission to address these needs and programmes and outcomes aligned to address these needs. 
• Social accountability: (의과대학이) serve하는 커뮤니티와 적극적 파트너십을 맺고, 어떻게 의과대학이 (교육/연구/진료활동을 통해) 의료서비스와 그들의 serve하는 커뮤니티의 건강을 향상시킬 수 있을지에 초점을 두는 것
  an active partnership with the community served (including the public voice) and a focus on how the schools (through their education, and research service activities) improve the health services and health of the communities they serve.

우리의 환경 변화

We are increasingly..

• informed about (through media and travel),
• connected to (through trade and migration) and
• reliant on (for food and other goods and services) other parts of the globe.

의사의 활동은 다른 사람에게 영향을 준다.

As doctors and as citizens, our actions affect other people:

• their environment (through climate change),
• working prospects and conditions (through the international labour market) and
• living conditions (via the development of new technologies, products and services).

사회적 책무성Social accountability 과 프로페셔널리즘

Social accountability and professionalism

사회적 책무성에 관한 모든 프레임워크는 의과대학이 그들이 serve하는 커뮤니티의 요구에 부응할 수 있는 기술과 자질을 갖춘 의사(졸업생)을 양성할 것을 강조한다.

All social accountability frameworks emphasise the need for medical schools to produce graduates with skills and the disposition to meet the needs of the communities they serve.

The GCSA suggests 10 strategic directions,

Interpersonal professionalism: 

도덕적 계약의 기초

The element of profession- alism which includes altruism, integrity and meeting patient demand (Van de Camp et al. 2004) constitutes the basis of a moral contract between the medical profession and society (RCP 2005; Cruess & Cruess 2008, Cruess et al. 2010).

커뮤니티/환자/대중의 목소리가 의료전문직의 목소리와 조화co-ordinate되었을 때 의료와 교육이 강화될 수 있음.

Community, patient and public voices co-ordinated with the voices of health professionals can strengthen health delivery and education. In the most socially accountable schools, such voices will be clear, explicit and central to schools planning and governance.

사회적책무성을 위해서 의과대학이 커뮤니티에 초점을 두고 성과척도와 교육훈련방식을 결정할 때 유연성을 가져야하는 것처럼, 의사들도 점차 환자에 초점을 두고, 역할/기술/접근법에 유연성을 가져야 한다.

For doctors, professionalism increasingly implies patient focus and flexibility in roles, skills and approaches just as social accountability implies that medical schools must develop a community focus and flexibility in determining outcome measures and delivery of training.

Public professionalism: 

자율, 자기조절, 윤리에 대한 복종submission 등과 같은 프로페셔널리즘의 핵심 주제들이 사회적 책무성 개념에 의해 challange되고 있다. 두 가지 모두 사회적 요구와의 관계를 인정하나, 전문직으로서의 자율성과 사회적 책무성이 충돌하는 지점에 대해서 의견이 다르다.

Key professionalism themes such as autonomy, self- regulation and submission to an ethical code (Van de Camp et al. 2004) are challenged by social accountability concepts: both accept a relationship to societal needs, but disagree at the sites where professional autonomy and social accountability clash.

환경의 변화, 사회적 책무성, 프로페셔널리즘

Environmental changes, social accountability and professionalism

GCSA는 새로운 사회적 변화에 대하여 반응responsiveness하는 것의 중요성을 강조한다. 우선 생태계를 보호하는 것이다.

The GCSA (2010) highlights the importance of responsiveness to new societal challenges. Foremost is the need to protect ecosystems which provide the foundations of life and health.

만약 사회적 책무성이 커뮤니티의 요구와 의과대학 사이의 alignment라면, 프로페셔널리즘은 사회적 요구와 개인 사이의 alignment에 대한 것이다. 사회적 책무성과 프로페셔널리즘에 대한 고려시에는 늘 글로벌 환경 변화로부터 오는 새로운 도전과제들을 고려해야 한다. 건강의 환경적 결정요인과 그것이 사회적 결정요인에 미치는 영향에 대해서 진솔한 토론을 할 수 있게 의과대학이 장려해야 한다. 미래의 의사는 그들이 serve할 커뮤니티에 닥친 사회적/환경적 과제를 해결할 수 있어야 하고, 생태계에 미치는 영향을 완화mitigate시킬 수 있게 도와야 한다.

If social accountability is best understood as an alignment of the medical school with the needs of the community served, professionalism can be seen as an individual’s alignment with society’s needs. Any consideration of social accountability and professionalism must consider new challenges arising from global environmental change. As a first step, medical schools should encourage honest discussions about environmental determinants of health (e.g. water, land, air, and climate change) and their effect on social determinants (e.g. social injustice, nutrition, conflict, and migration). Tomorrow’s doc- tors must understand and address the social and environmen- tal challenges faced by the communities they serve, helping them to mitigate their own impact on the ecosystem. In that way, they can help ensure that the health services,

Interpersonal professionalism...

의사는 그들이 제공하는 (의료)서비스의 지속가능성에 있어서 responsible, responsive and accountable 해야 한다. 지속가능한 의료시스템은 미래 의사들이 미래 세대의 건강요구를 충족시키기 위한 능력을 과하게 희생시키지 않으면서 현 세대의 건강요구를 충족시켜야 한다. 지속가능한 헬스케어 서비스는 다음이 필요하다.

requires doctors to be of the responsible, responsive and accountable in terms sustainability of services that they deliver. Sustainable health- care systems meet the health needs of the current generation without overly compromising the ability of tomorrow’s doctors to meet their generation’s health needs. A sustainable healthcare service

• uses resources more efficiently,
• focuses on prevention,
• avoids low value procedures,
• streamlines care to avoid waste,
• chooses low-carbon technologies wherever possible and
• fosters patient autonomy to manage their own care (Mortimer 2010).

Public professionalism... 

의사들은 ethical and professional codes에 충실하여야 한다. 

requires doctors to adhere to ethical and professional codes. The UK Royal College of Physicians (RCP 2010), the UK Academy of Medical Royal Colleges Nursing (Maughan & Gibbs 2014) and the American Association (2010) are among professional bodies highlighting that health professionals must exhibit environmental respon- sibility and environmental stewardship.

health advocate 이 된다는 것은 점차 우리를 유지sustain시켜주는 생태계ecosystems의 건강을 advocate한다는 것을 의미하게 될 것이다.

Being a health advocate will increasingly mean being an advocate for the health of the ecosystems which sustain us.

Recommendations

핵심 교육과정

Core curriculum

세 개의 큰 틀에서의 학습목표가 제시된 바 있으며, GCSA에 매핑될 수 있다.

three overarch- ing learning objectives have been proposed (Thompson et al. 2014) which can be mapped to the strategic directions from the Global Consensus statement on social accountability (Table 1).

선택 교육과정

Optional or student-selected components

교육과정에서 SSC는 동기부여가 되어 있는 학생들이 기업가적 아이디어를 개발할 수 있게 해주며, (사회적 책무성이나 환경 변화에 대해서) 다른 학생과 전문직의 인식 변화도 일으킬 수 있다.

Student-selected components of the curriculum allow moti- vated students to develop entrepreneurial ideas and also shift the awareness of other students and professionals, including develop ideas of social accountability and environmental responsiveness (Lausten 2005).

교육과정에서 학생이 선택가능한 또 다른 영역인 일렉티브는 프로페셔널리즘 교육, 사회적 책무성, 환경적 책무성을 강화하고 통합할 수 있게 해준다. 의과대학은 일렉티브의 근원이 되는 윤리적으로, 환경적으로 타당sound한 원칙을 만들게끔 도울 수 있다. 또한 개인적으로는 크게 도움이 될지 몰라도, 환경적으로는 파괴적일 수도 있으며, 그 호스트 커뮤니티에 poorly integrated 되어 있을수도 있다. 의과대학은 학생들이 일렉티브의 영향(사회적, 윤리적, 환경적)을 성찰해보고, 프로페셔널리즘과 사회적 책무성을 일렉티브 보고서에서 다루게끔 권장해야 한다.

Medical electives are another student-selected area of the curriculum where schools can help reinforce and merge the teaching of professionalism, social accountability and envir- onmental responsiveness. Schools can help shape the prin- ciples underlying electives to ensure that they are ethically and environmentally sound (Johnson et al. 2012). While often of profound individual benefit, electives can be both environ- mentally destructive (not least through the carbon footprint of international travel) and locally poorly integrated into host communities. Medical schools should encourage students to reflect on their impact (socially, ethically and environmentally) and consider professionalism and social accountability along- side medical learning and personal development in electives reports.

Policy

The UK’s Sustainable Development Unit has produced a practical guide for sustainable meetings (SDU 2013) and Green Impact (NUS 2015) offers universities a framework to analyse and reduce their environmental impact, and the opportunity to involve staff and students in doing so.

Further debate

사회적 책무성과 환경적 책임의 개념이 규범적인normative한 것이므로, 다양한 의견은 도움이 되기도 하겠지만, 조금 불편할 수도 있다.

Because the concepts of social accountability and environ- mental responsibility are normative, a diversity of opinions is both useful (to promote discussion and engagement with new issues) and potentially uncomfortable.

각 의과대학이 이러한 토론을 장려할 책임이 있다.

We suggest that each medical school has a duty to encourage such debates among its staff, stakeholders and students.

Challenges to professionalism: Social accountability and global environmental change.

학습스타일 활용하기[Teaching Anatomy: A Practical Guide, 2015, Chapter 13]

Applying Learning Styles to Engage a Diversity of Learners and Behavioral Problems in Anatomy Education

Mark Terrell

Introduction

학습스타일이란..

A learning style is a set of biologically based and sociologically developed cognitive, affective, and psychosocial characteristics influencing how learners perceive, interact with, and respond to a learning environment or task [ 2 , 3 ]. 

학습스타일에 대한 두 가지 모델

The study of learning styles can be organized into two models.

• Cognitive models emphasize differences between how learners process, encode, and retrieve information in the brain.
• Psychosocial models are based on personality preferences and the nature of interactions between the educator and learner.

Cognitive Models of Learning Styles

다중지능이론

Multiple Intelligence Theory

고등교육은 언어지능과 수학지능을 선호하는 단일한 교육 설계를 선호한다.

Higher education has a preponderance of singular instructional designs that favor linguistic and mathematical intelligences [ 7 ].

콜브의 경험학습이론

Kolb’s Experiential Learning Styles

초창기의 연구는 많은 학생들이 그들의 학습스타일이 그들의 전공과 맞지 않아 생기는 스트레스를 관찰한 것으로부터 시작했다.

Initial research was based on the observation of dis-tress encountered by many students whose learning styles seemed mismatched to their dis-ciplinary majors [ 9 ]. 

네 개의 학습 스타일

The per- ceiving and processing dimensions combine to form quadrants representing four different learning styles (Fig. 13.1 ):

• Diverging learners perceive new information through concrete experience and process through refl ective observation. They observe things from different perspectives, gather infor- mation, and are sensitive and imaginative. These learners prefer to work in groups, listen with an open mind, and value personal feedback.

• Assimilating learners perceive new information through abstract conceptualization and pro- cess using refl ective observation. They have a preference for a concise, logical approach focused on ideas and concepts. These learners require a good clear explanation rather than practical opportunity. They excel at under- standing wide-ranging information and orga- nizing in a clear logical format.

• Converging learners perceive new information through abstract conceptualization and pro- cess using active experimentation. They have a preference for solving problems to practical issues. They prefer technical tasks, experi- ment with new ideas, simulate, and work with practical applications.

• Accommodating learners perceive new infor- mation through concrete experience and pro- cess using active experimentation. They have a preference for “hands-on” activities and rely on intuition or “gut instinct” rather than logic. They use other people’s analysis and are attracted to new challenges and experiences.

Psychosocial Personality-Preference Models of Learning Styles

VARK

VARK설문지

The VARK questionnaire ( http://www.vark- learn.com ) is a free, easy-to-use, online instru- ment that gives users a quick profi le of their VARK preferences.

Grasha’s Learning Styles

Anthony Grasha 의 학습스타일. 여섯개의 학습스타일과 그에 따른 교육스타일

Anthony Grasha [ 13 ] observed interactions between educators and students to develop six learning styles with corresponding teaching styles (Table 13.3 ).

"문제적" 학습행동

“Problematic or Diffi cult” Learning Behaviors

문제학생을 대하는 가장 좋은 방법은 patient centeredness의 원칙에 따라 생동하는 것이다. patient centeredness란 다음과 같은 것을 생각하여 행동하는 것이다.

The best approach to dealing with the problem or diffi cult learner is to relate the behav- ior to the principle of patient centeredness [ 14 ]. Healthcare professionals who func- tion using the principle of patient centeredness exhibit behaviors consistent with

• (1) what is good for the patient (versus what is not good for the patient),
• (2) the primacy of patient needs (versus the primacy of self-needs), and
• (3) the integrity of the profession (versus the disintegration of the profession) [ 14 ].

많은 교육자들이 학생들의 전문직답지 못항 행실에 대해 토론하는걸 꺼리거나 눈감아버리곤 하는데, 왜냐하면 "나쁜 사람이 되기 싫어가" 학생들이 "다시는 안 그러겠지"라고 생각하거나 "그냥 갈등이 싫어서" 등의 이유를 댄다. 사실, 언프로페셔널한 행실을 찾아내지 않고 이를 다루지 않는 것 자체가 언프로페셔널한 것인데, 왜냐하면 이는 교육자 자신의 니즈를 환자나 전문직으로서의 니즈보다 우선시하는 것이기 때문이다.

Many educa- tors avoid confl icts and discussions of or have a blind eye for unprofessional behaviors because “they don’t want to be the bad guy” or the student “won’t do it again” or they “just don’t like con- fl ict.” In fact, the issue of not identifying and deal- ing with an observed unprofessional behavior is in itself unprofessional because it puts needs of the educator over that of the patient or the profes- sion. Clarity and constructive feedback coupled with descriptions of service to patients (patient centeredness) is crucial [ 14 ].

학습스타일 원칙에 관한 여섯 가지 토론

Discussion of Six Learning Style Principles for Anatomy Educators

1. Learning styles and teaching styles should be refl ected upon and identifi ed. Knowing one’s learning style can be benefi cial if learners take the next step and consider how and when they learn, as part of a refl ective, metacognitive process, with action to follow. 

2. Learning styles are preferences and are not the only way a learner can learn. Learners should initially have the opportunity to learn through their preferred style and then be advanced toward other, less developed styles. Strengthening students’ less preferred learning styles helps them become more ver- satile learners and amendable to the requi- sites of real world of the health professions [ 15 ]. 

3. Learning styles should drive the selection of teaching styles. It is more effective for the educator to match their teaching style with their learners than learners to adjust their learning style to the teaching style. 

4. Learning styles are equal; one is not superior to the other. Educators should develop specifi c educational activities that support each learn- ing style. Using only one strategy selectively excludes many learners. Educators that teach in a multi-style fashion reach the greatest diversity of students and challenge all stu- dents to grow [ 16 ]. 

5. Learning styles should drive multimodal assessment. This allows students to demon- strate competency in alignment with their pre- ferred style of learning. 

6. Problematic learning behaviors impede devel- opment toward competency. Applying the principle of patient centeredness to the prob- lematic learning behavior is powerful approach to discuss the behavior’s impact on patient care.

Conclusion

Mark Terrell 

Abstract

The integration of learning styles helps anatomy educators meet the diverse needs of healthcare students who can later apply these learning styles to learn about and teach to diverse patients they encounter in the clinic. A learning style is a set of cognitive and psychosocial characteristics influencing how learners perceive, interact with, and respond to a learning environment. The study of learning styles uses two models of thought. The cognitive model examines how learners process information in the brain and extrapolates educational strategies to the classroom and includes Gardner’s multiple intelligences and Kolb’s experiential learning styles. The psychosocial model uses classroom observations of interactions between educators and learners to derive learning styles, including the VARK learning styles and the work of Grasha. Some learners exhibit problematic behaviors that prevent learning, requiring the educator to apply the principle of patient centeredness to address the behavioral deficiencies. Finally, six learning style principles specific for anatomy education are synthesized from the analysis of the aforementioned learning styles.

강의하기[Teaching Anatomy: A Practical Guide, 2015, Chapter 8]

Giving a Lecture 

Lap Ki Chan

강의는 "정보가 교수자와 학습자의 생각minds of either은 거치지 않은 채로 강의자의 노트에서 학생의 노트로 넘어가는 과정"

A lecture has been defi ned as “a process by which information is transferred from the notes of the lecturer to the notes of the student without going through the minds of either” (by Sir Joseph Barcroft, cited by Book [ 2 ]).

강의 전에 할 것

What to Do Before a Lecture

ILO 작성

Formulate the Intended Learning Outcomes

성과-바탕 접근 도입

Adopt the Outcome-Based Approach

우리가 무엇을 하느냐가 아니라 학생이 무엇을 하느냐가 중요하다.

“It’s not what we do, but what students do that’s the important thing” [ 3 p. 19].

This alignment of activities and assessments with the intended learning outcomes is called constructive alignment

ILO작성

Write Intended Learning Outcomes

Bloom’s taxonomy

Bloom’s taxonomy [ 4 ] provides a useful list of such verbs for cognitive learning,

강의 내용 결정

Determine the Content of a Lecture

학생이 성과를 달성하게 돕기

Help Students to Achieve the Outcomes

강의의 내용은 학생이 ILO를 달성하게 도와주어야 하며, 모든 다른 목표는 부수적인 것이다.

The content of a lecture should help students to achieve its intended learning outcomes. All other goals are secondary.

강의를 맥락 안에 두기

Put the Lecture in Its Context

교수자는 자신의 강의가 전체 프로그램 내에서 어떻게 위치하는지 알아야 한다.

The teacher needs to know how his/her lecture fi ts into the course or the whole program:

오버패킹 지양하기

Avoid Overpacking

강의를 정보로 오버패킹 하는 것은 학습을 저하시킬 수 있다. Russell 등은 정보밀도가 낮은 강의에서 학생들이 오히려 더 잘 배운다는 것을 발견했다. 그들은 수업시간의 절반을 새로운 내용을 전달하는데introducing 쓰고, 나머지 절반은 설명/강화/적용explana- tions, reinforcement, and applications 해야 할 것을 권고했다.

Moreover, overpacking a lecture with information may actually decrease learning. Russell et al. [ 5 ] found that students in lectures with low informa- tion density actually learned more than those in lectures that conveyed more information. They suggested that only half of the time in a lecture should be used for introducing new information and the other half should be devoted to explana- tions, reinforcement, and applications.

연습

Rehearse

준비가 덜 된 것은 교수자에게도 부정적인 영향을 준다. 교수자가 강의 슬라이드를 리드하는 것이 아니라, 강의슬라이드에 교수가 끌려다니게 된다.

Such a lack of preparation refl ects negatively on the teacher, who is now being led by the slides, instead of leading the slides and the lecture.

슬라이드를 왔다갔다 할 수 있다.(숫자 누르고 엔터)

They can even jump from one slide to another in response to the audience’s needs or questions (by pressing the slide number and then “enter”).

강의 도중에 해야 할 것

What to Do During a Lecture

어떻게 스스로를 프리젠테이션 할 것인가.

How to Present Yourself

열정 보여주기

Show Enthusiasm

열정적으로, 명확하게 말하기

Speak Enthusiastically and Clearly

• 1. Conveying enthusiasm. Variations in the tone and speed, among other things, convey enthusiasm. 
• 2. Emphasizing points. You can emphasize important points by saying them more loudly, at a higher pitch; by lengthening certain syl- lables; or by pausing before and after the important words. 
• 3. Speaking clearly. A good teacher should avoid halting speech, false starts, redundancy, and fi llers (e.g., um er ah uh eh right like you know ). The best way to self-diagnose fi ller is to listen to a recording of one’s own lecture. 
• 4. Pausing appropriately. Pauses are important, not only for emphasis but also to leave room for students to think, to digest, and to raise questions. Pausing is also important after you ask a question. Most teachers do not pause long enough before they give the answers themselves. Such self-answering behavior indicates to the students that they do not need to answer your questions since they know you will give them the answers. 
• 5. Being humorous. Appropriate use of humor can relax both the teacher and the student and shorten the perceived psychological distance between them. 
• 6. Using a wireless microphone. When the audi- ence is large, you need a microphone. However, speaking into the microphone fi xed to the podium immobilizes and limits your performance on stage. A wireless microphone is much preferred.

눈맞춤

Make Eye Contact

제스쳐

Gesture

돌아다니기

Walk Around

연단은 전쟁에서 터렛과 같다. 연자를 청중으로부터 보호해준다.

A podium can be compared to a turret during battle: it defends the speaker from the audience.

적절한 복장

Dress Appropriately

여러 차례 연속된 강의를 하는 것이라면, 처음에는 보다 포멀하게 입고(신뢰 구축), 점차 보다 편안한 복장을 입음으로서 power distance를 줄일 수 있다.

If you are giving a series of lectures, you can wear more formal clothing for the fi rst few lectures to establish your credibility and then switch to more relaxed attire when you want to decrease the perceived power distance between you and the students.

도구 사용

Use Tools

• 1. A pointer allows the teacher to indicate the point of interest on the slide.
• 2. A presenter (or remote presentation clicker) remotely controls the progression of computer slides.
• 3. A visual presenter (or document camera) con- sists of a video camera connected to the pro- jector or a computer.
• 4. An on-screen drawing device allows the teacher to digitally draw on the screen of the computer at the podium or even on the pro- jected image.
• 5. Audience response systems (ARS) or clickers allow all students in a lecture to indicate their responses to, say, a question.

강의의 각 부분별로 무엇을 하면 좋을까

What to Do in Different Parts of a Lecture

도입부

The Introduction of a Lecture

첫 몇 분이 학생과의 관계 형성에 중요

The fi rst few minutes of the lecture are very important since you establish your relationship with the students and prepare them for learning.

중간부

The Body of a Lecture

1. 핵심 포인트 중심으로 나누기

Divide it into key points.

• In the classical method a lecture is divided into sections and each section into subsections, each with its own key points. In anatomy lectures delivered using this method, a region is divided into subregions or a struc- ture into its parts, each with its own elabora- tion and summary.
• The problem-centered method starts with a problem that forms the focus of the lecture, with the solutions form- ing the parts of the lecture. This method can be intellectually stimulating and motivating, can stimulate students to refl ect on their prior knowledge, and can be used for illustrating the clinical aspects of anatomy.
• The sequential method consists of a series of linked state- ments, eventually leading to the conclusions. This method is commonly used in lectures on management of clinical problems.

These three methods of organizing a lecture are not mutu- ally exclusive. One can have a classical lec- ture, with one of the sections being organized by the problem-centered method or the sequential method.

2. 핵심 포인트 설명하기

Elaborate the key points.

이야기, 자격요건(qualifications), 사진, 적용사례 등

A well-delivered lecture should not be completely packed with key points. Each key point needs elaboration, which can be explanations, examples, stories, qualifi cations, photos, applications, etc.

3. 핵심 포인트 연결하기

Link the key points.

by using such words as “thus,” “there- fore,” “consequently,” etc.

4. 속도 조절하기

Manage the pace.

The best way to avoid getting into this situation of being forced to go fast at the expense of student learn- ing is to avoid overpacking the lecture.

강의 마무리

The Conclusion of a Lecture

강의는 갑작스럽게 끝나서는 안된다. 학생의 집중력은 강의 종료 직전 몇 분간 가장 높다.

A lecture should not end abruptly. The attention of the students is usually the highest in the last few minutes of the lecture.

학생과 교사의 상호작용

Interaction Between the Teacher and Students

심리적, 물리적 거리가 작다고 느낄 때 학생들은 더 상호작용하게 됨(teacher immediacy)

Interactions are possible and should be encour- aged in lectures. But students are more likely to interact with teachers who are perceived as hav- ing less physical and psychological distance from them (called teacher immediacy ),

1. 질문

Questions.

질문을 한 다음 10초간 기다림. 대답이 없으면 질문을 다시 말해주거나(다른 방식으로) 더 구체적으로 말해줌. 학생에게 더 가까이 다가갈 수도 있음 답이 나오면 지지적이어야 하며 nonjudgemental해야 함

But after asking a question, the teacher should pause for at least 10 s, to allow students to think and prepare the answer. If there is no response, the teacher should restate the question differently or more specifi cally. The teacher can move closer to the students, lean forward, and open his/her arms to invite answers. When an answer comes, the teacher should be supportive and nonjudgmental ( verbally and in your facial expression and gestures),

2. Think–pair–share and write–pair–share.

2~3분간. 그룹지어서.

the students form groups of two to exchange their responses. After 2 or 3 min,

3. Demonstration.

5. One-minute paper.

마지막 몇 분간 학생들에게 다음에 대해서 종이에 써서 제출하게 함.

In the last few minutes of a lecture, the teacher asks the students to write down on a piece of paper their answers to such questions as follows:

(a) 가장 중요한 부분은? What are the most important points that you learned today?

(b) 가장 어려웠던 부분은? What are the most confusing points?

(c) 명확하지 않았던 부분은? Are there points that are not clear to you?

PPT슬라이드 만들기

How to Prepare Presentation Slides

배경

Background

solid color 배경이 가장 좋다.

Therefore, a solid color background is the best. A picture should not be used as a background. When a picture must be used, it should be dimmed or blurred.

텍스트

Text

Short Bullet Points

메시지는 교수자가 전달해야지 슬라이드가 전달해서는 안된다.

The messages of the lecture should be delivered by the teacher, not by the presentation slides.

6 x 6 법칙. (6줄, 줄당 6단어)

PPT노래방 이 되어서는 안됨

But the “six-by-six” rule, which states that a slide should contain at most six lines of text, each with at most six words, should not be taken too literally in presenting complex content to students. On the other hand, one should not put everything one wants to say on the slides and use them as script (a presenta- tion style jokingly referred to as “PowerPoint karaoke”).

Simple and Consistent Text Format

두 개 이하의 포트만 사용. Sans serif 사용

Therefore, a teacher should use only one or at most two fonts. Sans serif fonts are pre- ferred,

Platform Compatibility

맥과 윈도우 모두에서 가능한 것으로. 폰트도 Arial, Times New Roman, or Courier등 사용

If the slides are created on a Mac but will be pre- sented on a PC (or vice versa), it is best to use a font which is available on both platforms, such as Arial, Times New Roman, or Courier.

멀티미디어

Multimedia

Use Good and Relevant Graphics

Elaborate and Progressively Reveal Complex Graphics

Chart junk 표에서 메시지 전달에는 도움이 되지 않고 방해만 되는 것.

Chart junk is elements of a chart that do not con- tribute to its message and therefore serve only to distract.

Junk charts 는 잘 그려지지 않아서 의도한 메시지를 전달하지 못하는 표

Junk charts are charts that are poorly designed to convey their intended message.

슬라이드

Slides

텍스트와 멀티미디어의 통합

Integrate Text and Multimedia

근접성 원칙con- tiguity principle : 텍스트와 관련 그래픽을 인접하게 두어서 학생이 머리속으로 그 작업을 하지 않게 하는 것.

Integrating text and graphics means doing this mental integration for the students by putting the parts of the text next to the corre- sponding parts of the graphic. This recommendation is called the con- tiguity principle [ 14 ].

그래픽을 말로 설명하기

Explain Graphics Orally

modality principle:

The modality principle tells us that students learn better when the graphics are explained in spoken words than with written text accompanying the graphics [ 14 ].

redundancy principle:

The redundancy principle says that when a graphic is explained orally and is accompanied by textual explanation, student learning may be impaired [ 14 ]. The reason is that the graphic and the textual explanation are both jammed into the visual component of the working memory, which may thus be overloaded.

Leave Space

Use a Consistent Layout

The layout refers to the position of the text, graphics, titles, etc., on the slide.

Use B and W Keyboard Functions

Avoid Fancy Slide Transitions

결론

Conclusions

Chapter

• Lap Ki Chan 

Abstract

Lectures, when appropriately delivered, can promote effective student learning. During preparation of a lecture, an outcome-based approach helps the teacher to plan the content and activities to help students achieve the intended learning outcomes. The teacher also needs to consider the relationship of the lecture to the rest of the course or program so that the lecture builds on what students have learned and prepares them for further study. In the introduction of a lecture, the teacher needs to establish a closer relationship with the students and prepare them for learning. In the body of a lecture, the teacher needs to organize the content into key points and link them to give students the big picture. But the teacher must not pack excessive information into a lecture, sacrificing elaborations. There should also be an effective conclusion in which the teacher can summarize the key points and outcomes and stimulate further self-directed learning. Apart from the careful organization of the lecture content, the teacher’s enthusiasm will also significantly affect student learning and attitude toward the subject, and it is reflected in the way that the teacher speaks, moves, makes eye contact, and interacts with the students. The teacher also needs to prepare the presentation slides carefully, if he/she chooses to use them, so that they do not distract the students from the content and the interactions with the teacher.

성공적인 성인학습의 요소[Teaching Anatomy: A Practical Guide, 2015, Chapter 1]

Elements of Successful Adult Learning

Lap Ki Chan and Miriam Uhlmann

노울즈는 성인학습과 아동학습을 비교하면서 아동학습을 "아이들을 가르치는 예술과 과학"이라고 부르며, 학습자들이 무엇을 어떻게 배울지에 대해서 선생님에게 의존하며, 학습절차에 대한 개인적 경험이 거의 없고, 학습요구를 다른 사람이 대체로 결정해주며, 대상-중심적subject centered 라고 했다. 그러나 성인학습과 아동학습은, 서로 다른 상황에 놓였을 때, 동일한 학습자에 대해서도 적용될 수 있는 두 가지 서로 다른 가정assumption으로 보아야 한다.

Knowles [ 1 ] contrasted andragogy with peda- gogy, which he defi ned as “the art and science of teaching children” (note that it is different from the general usage of the term nowadays) wherein the learners are assumed to be more dependent on the teachers in determining what and how they learn,have little personal experience to bring to the learn-ing process, have learning needs largely deter-mined by someone other than themselves, and are more subject centered. However, andragogy and pedagogy should be considered as two separate sets of assumptions that can sometimes be applied to learners of any age under different situations [ 1 ]. 

요구에 기반함

Based on Needs

Abraham Maslow 의 욕구 피라미드

A theory of motivation based on human needs was described by Abraham Maslow and is known by many as Maslow’s pyramid/hierarchy of human needs [ 2 ].

노울즈가 묘사한 것과 연관지어보자면..

The relation to edu- cation was described by Knowles in 1980 [ 1 ]:

“These basic needs have relevance to education in that they provide the deep motivating springs for learning, and in that they prescribe certain conditions that the educators must take into account if they are to help people learn…. An educational need, therefore, is the discrepancy between what individuals (or organizations or society) want themselves to be and what they are; the distance between an aspiration and a reality.”

동기

Motivation

동기는 교육적 요구가 있을 때 생긴다. 그리고 동기에는 '인식'이 중요한 역할을 한다. 인식은 "왜 의료전문직들이 유사한 주제와 프로그램에 대해서 서로 다른 요구를 갖는지를 이해하는 핵심"이다.

Motivation to learn arises from an educational need. Perception plays a major role in motivation and “…is the cornerstone of understanding why health professionals may have different levels of motivation related to similar topics and pro-grams…” [ 4 ].

Table 1.1 Advantages/disadvantages of several need assessment methods (adapted from Kern et al. [ 3 ])

현실적으로 적용하기 위해서, 학습자의 동기부여를 위해서는 다음의 두 가지를 고려해야 한다.

For practical application, it is crucial to consider the following two points to motivate your learners:

1. 학습자들이 지식과 수행능력의 gap을 인식하게 하라
Help your learners to realize their gaps in knowledge and performance by, for example: 

• Online self-assessments: Based on your defi ned outcomes, ask your learners about their perceived present level and their desired level. This can easily be done with an online survey tool. It is important that learners can see their results to recognize their gaps. 
• On-site small group discussions: During small group discussions, you can fi nd out about the present level of knowledge, and you can help learners to understand where they are and where they should be. This is important in situations where learners think they already know a lot (although they in fact do not) and would therefore not be highly motivated to learn. 
• Reflection (see also section on “Refl ection”): Refl ective practice helps learners to identify their gaps.

2. 다양한 교육법을 활용하여 학습자들이 동기부여된 상태로 유지되게끔 하라

Help your learners to stay motivated by using a variety of teaching methods: 

• Use interactive methods for teaching such as interactive lectures and small group discussions. 
• Use new technologies to allow for self- directed learning, e.g., provide online resources such as readings or recorded lec- tures/webinars. 
• Provide learners with clear goals and outcomes. 
• Provide time and opportunities for reflection. 
• Blend traditional strategies with technology, e.g., self-assessment tests can be completed online and linked to discussion forums.

성과

Outcome Driven

한 가지는 SOLO(Structure of Observed Learning Outcomes) taxonomy가 있다.

One is the SOLO (Structure of Observed Learning Outcomes) tax- onomy [ 5 ], which describes several levels of complexity in the learner’s understanding of a subject:

• 전-구조 prestructural (learners have unconnected information),
• 단일-구조 unistructural (learners are able to make simple and obvious connections between facts),
• 다(층)-구조 multistructural (learners see more connec- tions but miss the signifi cance to the whole),
• 관계적 relational (learners appreciate the signifi cance of the parts to the whole), and
• 확장된 추상 extended abstract (learners make connections beyond the subject and are able to generalize).

또 다른 것으로 Bloom’s taxonomy가 있다.

Another model is the revised Bloom’s taxonomy [ 6 ], which identifi es six sub- categories in the cognitive domain of learning activities:

• knowledge,
• comprehension,
• applica- tion,
• analysis,
• synthesis, and
• evaluation. 

밀러의 피라미드도 있다.

Miller’s pyramid can also help teachers to formulate learning outcomes for their learners(Fig. 1.3 ) [ 7 ].

평가방법은 의도한 성과를 염두에 두고 결정하여야 한다. 이러한 교수/학습 활동과 평가의 alignment를 constructive alignment라 한다.

They also need to decide on the assessment meth-ods and standards with the intended outcomes in mind. Such an alignment of teaching/learning activities and assessment with the outcomes is called constructive alignment [ 8 ] 

'이해한다'는 적절한 동사가 아니며, 관찰가능하지 않고, 간접적으로만 평가가능하기 때문이다.

On the other hand, “under- stand” will not be an appropriate verb, because it is not observable and can only be indirectly assessed.

능동 학습

Active Learning

능동학습에서 성인학습이 더 잘 배운다는 근거가 있으며, 능동학습이란 일반적으로 '학습자가 유의미한 학습활동에 참여하고, 그들이 무엇을 하고 있는가에 대해서 mindful한 학습 프로세스'로 정의할 수 있다.

There is evidence that adults learn better with active learning, which can generally be defi ned as a learning process in which the learners are engaged in meaningful activities in the classroom and are mindful of what they are doing [ 12 13 ].

전통적 강의는 일방향적으로 이뤄지며 상호작용어 없어서 '능동학습이 빠져있을 때 학습이 어떠한가'를 보여주는 예시로 쓰인다.

A traditional lecture, which is delivered in a unidirectional manner without interactions between the teacher and the learners, is often used to illustrate what learning is like when active learning is absent.

성찰

Reflection

성찰이 먼저 정의되어야 한다.

Before a meaningful discussion can proceed, “refl ection” must fi rst be defi ned because this term is used in everyday life and has different meanings in specifi c circumstances.

• Moon [ 17 ] defi ned it as “a form of mental processing with a purpose and/or anticipated outcome that is applied to relatively complex or unstructured ideas for which there is no obvious solution,” while
• Boud et al. [ 18 ] defi ned it as “a generic term for those intellectual and affective activities in which indi- viduals engage to explore their experiences in order to lead to a new understanding and appre- ciation.” A more inclusive defi nition is given by
• Sanders [ 19 ]: “Refl ection is a metacognitive pro- cess that occurs before, during and after situations with the purpose of developing greater under- standing of both the self and the situation so that future encounters with the situation are informed from previous encounters.”

학습에 있어서 성찰이 중요함을 고려하면, 성찰이라는 것이 필요한 만큼 자연스럽게 일어나는 것이 아니고, 적극적으로 장려(촉진)되어야 하는 것이라는 사실은 놀랍다. Moon 은 과제가 challenging하고 ill-structured 되어 있을 때, ordering of thougths를 필요로 할때, 평가가 동반될 때, 이전 학습에 새로운 것을 통합해야 할 때 성찰이 더 잘 일어난다.

Given the important role of refl ection in learn- ing, it is surprising that it does not spontaneously occur as often as desired and needs to be actively promoted. Moon [ 23 ] pointed out that learner refl ection can be promoted when the tasks are challenging and ill structured (e.g., real-life examples), demand ordering of thoughts (e.g., following exposure to disorganized data), involve evaluation, and require integration of the new into previous learning.

흔한 피드백의 모델은 Pendleton 모델

A common model for giving feedback in clini- cal education settings was developed by Pendleton [ 27 ]. Pendleton’s rules consist of the following steps:

Elements of Effective Feedback

• 1. Check if the learner wants and is ready for feedback. 
• 2. Allow the learner to give comments/back- ground to the material that is being assessed.
• 3. The learner states what was done well.
• 4. The observer states what was done well.
• 5. The observer states what could be improved.
• 6. The teacher states how it could be improved.
• 7. An action plan for improvement is made together.
  

샌드위치 모델

One of these is the “sandwich” model, which

• starts with identi- fying the learner’s strength, is
• followed by identi- fying the learner’s areas in need of development, and
• concludes by reinforcing the strengths again.

• Lap Ki Chan 
• , Miriam Uhlmann

Abstract

Most adult learners are self-directed, attach high value to learning through experience, prefer learning that helps them to deal with real-life situations or problems, are more interested in immediate, problem-centered approaches, and are more motivated to learn by internal drivers than by external drivers. To promote successful adult learning, faculty needs to understand the needs of learners and to motivate them by enabling them to perceive any gaps that exist between their present level of ability (what is) and their desired level (what ought to be). Motivation and learning can be improved by informing learners about the intended outcomes of learning activities and how achieving these outcomes will help them to bridge the gap between their present and desired levels of ability. Teaching and learning activities and assessment methods and standards should all be designed to help learners to achieve these outcomes. Learners should be actively engaged in the learning process, instead of passively receiving information. They should be given frequent, accurate, and specific feedback at the appropriate time and should be given time and opportunities for reflection.

완전학습: 의학교육이 21세기에 합류할 시대(Acad Med, 2015)

Mastery Learning: It Is Time for Medical Education to Join the 21st Century

William C. McGaghie, PhD

전통적인 임상의학교육은 Sir William Osler 가 New York Academy of Medicine 에서 1903년 발표한 19세기적 '임상역량의 습득'에 대한 생각에 기반을 두고 있다. 이 발표의 제목은 “The hospital as a college,” 로서 이후 'Aequanimitas'라는 제목으로 발표되었다. 1903년의 강연은 오슬러의 유럽의학교육에 대한 이전 경험을 반영하고 있으며, 오슬러는 유럽의학교육이 미국의 모델보다 우월하다고 판단했다. 오슬러는 이렇게 말했다.

Traditional clinical medical education is grounded in 19th-century thinking about the acquisition of clinical competence expressed by Sir William Osler in an address to the New York Academy of Medicine in 1903. The address, titled “The hospital as a college,” was published later in a collection of Osler’s essays titled Aequanimitas.2 The 1903 lecture reflects Osler’s earlier experience with European medical education which he judged superior to the extant American model. Osler states,

이 나라의 clinical clerk 시스템에는 급진적 개혁이 필요하다. 학생을 가르치는 자연적 방법natural method은 환자로부터 시작하고, 환자와 더불어 이어지고, 환자에 대한 의사의 연구로서 종결된다. 학생에게 어떻게 관찰할 것인가만 가르치면, 팩트로부터 교훈이 저절로 나올 것이다.

“The radical reform needed is in the introduction into this country of the system of clinical clerks.…” Osler continues: “In what may be called the natural method of teaching the student begins with the patient, continues with the patient, and ends his studies with the patient [emphasis added]. Teach him how to observe, and the lessons will come out of the facts themselves.”

'natural method of teaching'에 대한 오슬러의 생각은 존스홉킨스의 외과의사 동료인 William Halsted 역시 지지하게 되는데, 그는 1904년 “the training of the surgeon” 를 기술한 바 있다. 오슬러와 할스테드는 임상의학교육이 환자에 내제embodied 되어 있다고 보았다. 즉, 학생이 환자에 노출되어 오랜 시간 함께하게 되면, 이것으로 역량있는 의사가 되기에 충분한 훈련을 받은 것이다. 이는 수동적인 임상교육과정모델이며, 온전히 지속적 환자 경험에만 의존하고 있는 것이다. 오슬러와 할스테드는 구조화된, 단계화된 교육과정을 언급한 바가 없다. 피드백을 동반한 객관적 평가, 초심자 의사가 마스터가 되기 위한 guided reflection 등도 없다.

Osler’s idea about the natural method of teaching was endorsed by his Johns Hopkins surgeon colleague William Halsted,3 who described “the training of the surgeon” in 1904. Osler and Halsted argued that the clinical medical curriculum is embodied in patients—that is, student exposure to patients and experience over time is sufficient to ensure that physicians in training will become competent doctors. This is a passive clinical medical curriculum model based solely on longitudinal patient experience. Osler and Halsted made no place for structured, graded educational requirements; skills practice; objective evaluation with feedback; accountability; and guided reflection for novice physicians to master their craft.

오슬러의 natural method of teaching 에 대한 구조와 조작적 표현은 오늘날 의과대학/레지던트/펠로우/CME에서도 흔하게 볼 수 있는 것이며, "시간이 중요한time honored" 방식이 여전히 보존되고 지속되고 있다.

Structural and operational expressions of Osler’s natural method of teaching are seen every day at medical schools, residencies, fellowship programs, and continuing education where “time honored” practices (e.g., morning report, professor and grand rounds) are preserved and sustained.

완전학습 프로그램에 대한 메타분석 결과는 no intervention과 비교했을 때, 스킬 영역에 효과가 크고, 환자outcome에 대해서 중등도의 효과가 있다.

The meta-analytic results show that mastery learning programs are associated with large effects on skills and moderate effects on patient outcomes compared with no intervention.

저자들은 "완전학습 모델이 역량중심교육에 특히 관계가 깊으며, 이는 규정된 학습시간이 아니라 규정된 목표를 공동으로 강조shared emphasis하기 때문이다"라고 결론지었다.

The authors conclude, “The mastery model may be particularly relevant to competency-based education, given the shared emphasis on defined objectives rather than defined learning time.”6

Clinical experience alone is insufficient to guarantee the acquisition and maintenance of clinical competence. Osler’s natural method of teaching based solely on longitudinal clinical experience without curriculum objectives and measurement, performance expectations, learner practice with supervision, rigorous assessment with feedback, high achievement standards, and clear educational milestones is obsolete and simply does not work.

완전학습

Mastery Learning

완전학습은 여러 교육과학자들, 그리고 John Carroll이 1963년 연구하고 저술한 교육적 접근법으로부터 유래한다. 완전학습의 중심 교리는 다음과 같다.

Mastery learning is an educational approach that originates from research and writing beginning with John Carroll7 in 1963 and other early educational scientists including Fred Keller,8 James Block,9,10 and Benjamin Bloom.11 The central tenets of mastery learning are that

(1) 모든 학습자에게 교육 수월성을 기대하고 학습자는 이를 달성한다.

educational excellence is expected and can be achieved by all learners, and

(2) 완전학습에 있어서 학습자간 성과의 차이는 거의 없다.

little or no variation in measured outcomes will be seen among learners in a mastery environment.

완전학습은 K.A. Ericsson이 언급한 교육공학(educational engineering)의 문제로서 시작되었다. 핵심 질문은, '높은 교육적 태도와 강력한 성취동기를 가진 유망한 학습자들이 있을 때(의과대학생과 레지던트 등), 어떻게 교육환경을 설계해야 최대한의 학습성과를 얻을 수 있을까?' 였고, 이에 대한 대답은 모든 학습자가 완전(수준)성취를 이루게끔 촉진하는 교육조건을 만들고 관리하는 것이었다.

Mastery learning starts as an educational engineering problem, as articulated by K.A. Ericsson12 in his contribution to this thematic cluster. The key question is, given prospective learners with high educational aptitude and strong achievement motivation (e.g., medical students and residents), how shall we design an educational environment that produces maximum learning outcomes among all trainees? The answer is to create and manage a set of educational conditions—a curriculum and assessment plan—that promotes mastery level achievement among all learners.

Mastery Learning Cluster

Future Directions

Conclusion

Thomas Kuhn은 정상과학을 다음과 같이 정의했다.

Writing in The Structure of Scientific Revolutions, Thomas Kuhn27 defined normal science as

the activity in which most scientists inevitably spend almost all of their time, [which] is predicated on the assumption that the scientific community knows what the world is like. Much of the success of the enterprise derives from the community’s willingness to defend that assumption, if necessary at considerable cost.

12 Ericsson KA. Acquisition and maintenance of medical expertise: A perspective from the expert performance approach and deliberate

17 Inui TS. The charismatic journey of mastery learning. Acad Med. 2015;90:1442–1444.

20 McGaghie WC, Barsuk JH, Cohen ER, Kristopaitis T, Wayne DB. Dissemination of an innovative mastery learning curriculum grounded in implementation science principles: A case study. Acad Med. 2015;90:1487–1494.

21 Yudkowsky R, Park YS, Lineberry M, Knox A, Ritter EM. Setting mastery learning standards. Acad Med. 2015;90:1495–1500.

22 Eppich WJ, Hunt EA, Duval-Arnould JM, Siddal VJ, Cheng A. Structuring feedback and debriefing to achieve mastery learning goals. Acad Med. 2015;90:1501–1508.

23 Cohen ER, McGaghie WC, Wayne DB, Lineberry M, Yudkowsky R, Barsuk JH. Recommendations for reporting mastery education research in medicine (ReMERM). Acad Med. 2015;90:1509–1514.

24 Griswold-Theodorson S, Ponnuru S, Dong C, Szyld D, Reed T, McGaghie WC. Beyond the simulation laboratory: A realist synthesis of clinical outcomes of simulation based mastery learning. Acad Med. 2015;90:1553–1560.

25 Berwick DM. Disseminating innovations in health care. JAMA. 2003;289:1969–1975.

Acad Med. 2015 Nov;90(11):1438-41. doi: 10.1097/ACM.0000000000000911.

Mastery learning: it is time for medical education to join the 21st century.

완전학습 기준 설정하기(Acad Med, 2015)

Setting Mastery Learning Standards

Rachel Yudkowsky, MD, MHPE, Yoon Soo Park, PhD, Matthew Lineberry, PhD, Aaron Knox, MD, and E. Matthew Ritter, MD

완전학습은 학습향상educational progress를 교육과정 시간이 아니라 학생이 보여주는 수행능력을 기반으로 판단하는 교육적 접근법이다.

Mastery learning is an instructional approach in which educational progress is based on demonstrated performance rather than curricular time.1

완전학습의 핵심 특징은 "완전" 수준에 도작하기 위하여 수 차례의 재시험을 치를 수 있는 것이며, 최종 성취 수준은 모든 학생에서 동등하다.

A key characteristic of mastery testing is the ability to retest on multiple occasions to reach a designated “mastery” level; the final level of achievement is the same for all learners,

전통적인 기준설정법이 최소역량minimal competence를 타겟으로 한다면, 완전학습의 목적은 모든 학습자가 다음 이어지는 훈련단계에 잘 준비되게끔 하는 것이다.

Whereas traditional standards target minimal competence, the goal of mastery learning is to ensure that all learners are well prepared to succeed in subsequent stages of training.

역량바탕 교육과정에서 종종 전통적 기준-설정 방법인 Angoff,8 Hofstee,9 borderline, or contrasting groups.6을 사용한다. 비록 전통적인 준거-기반 방법이 완전학습 세팅에서 적절하긴 하나, 완전학습에서는 근본적으로 "완전학습이 이후 교육 또는 수행의 성공을 예측한다" 라고 추정하고 있기에 근거-기반 접근법이 필요하다. "근거"에는 다음과 같은 것이 들어간다.

기준 설정 절차

Standard-Setting Procedures

판단의 기준이 되는 정보는 '미래 수행능력에 대한 예측'에 초점을 둬야 한다.

the information on which judgments are based should be focused on predicting future performance,

문항-기반 기준설정 절차: 수행능력예측자료

Item-based standard-setting procedures: Predictive performance data

완전학습에서 기준을 설정할 때 문항의 난이도보다는 '관련성' 이나 '중요도'가 더 중요하다.

When setting standards in the context of a mastery learning approach, item difficulty is less important than item relevance or importance.

과거의 시험에서 어떤 문항을 50%의 학생만 맞춘다는 것이 그 문항을 덜 중요하게 만드는 요인은 아니었다.

knowing that in the past only 50% of learners accomplished that item does not make the item any less important.

완전학습에 있어서의 근거-기반 접근법이 함의하는 것은 "'수행능력 자료'는 앞선 단계에서 학습자의 성공 혹은 실패가 이후 단계에서의 학습경험에 대한 정보를 제공해줄 수 있을 때 가장 가치롭다"라는 것이다.

An evidence-based approach to mastery standards implies that performance data are most valuable when the data include information about past examinees’ success or failure in subsequent learning experiences.14

어떤 분석에서 '시뮬레이션 기반 평가가 학습자가 어떻게 실제 환자에서의 수행능력을 예측해주는지'를 보여준다면 매우 유용할 것이다.

Analyses showing how scores on the simulation-based assessment predict examinees’ performance on actual patients could be very useful to judges—

특정 시험에서 가장 좋은 기준은 두 그룹을 가장 잘 구분해주는(contrasting-group) 점수이거나, 경계선상그룹(marginal)의 중간값(median score)점수이다(borderline-group method).

The standard for a particular exam is obtained by determining the test score that best discriminates between the two groups (contrasting-groups method) or the median score of the marginal group (borderline-group method).

전통적인 피시험자-기반 방법을 완전학습에 적용하려면 "다음 단계로 넘어succeed가기에 충분한 준비가 되었다"라는 것으로 수정되어야 한다. 전통적인 방법으로 정의된 경계선상그룹의 수행능력은 완전학습의 최종 목표에는 부적절하다.

Traditional examinee-based methods generally need to be modified to support the “well prepared to succeed” inferences of a mastery setting. The marginally acceptable performance of peers identified by the traditional borderline-group method is not an appropriate final goal for mastery learners;

"숙달그룹"접근법은 발달적으로 적합한 발달을 이루고 있는 그룹의 점수를 기준 설정에 활용한다. 숙달그룹은 매듭짓기와 같은 것을 계장화instrumented 환경(가상현실 시뮬레이터 등)에서 수행할 수 있다.

The “proficient group” approach18,19 uses the performance scores observed from a developmentally appropriate benchmark group to guide standard setting. The proficient group performs a task such as knot tying in an instrumented environment (e.g., a virtual reality simulator).

고도로 숙달된, 혹은 심지어 전문가 그룹이 '독립적 수행'으로 이행하는 학습자에게는 적합한 기준이 될 수 있다. 그러나 '전문가'는 어떤 과제를 수행할 때 절차적 변이procedural variants를 활용할 수 있고, 이것은 임상적 판단과 기술이 부족한 초기 단계의 학습자에게는 안전하지 못할 수 있다.

A highly proficient or even expert benchmark group may be appropriate for learners transitioning to independent practice. However, experts may perform the task using procedural variants that would be inappropriate and unsafe for early trainees with limited clinical judgment and skills.

경험 그 자체만으로는(몇 년간 경험했는가) 합당한 수준의 수행능력을 갖추었는지를 예측하지 못한다. 개개인이 적절한 수준으로 숙달하였는가는 임상경험의 기간과 객관적 수행능력 측정의 점수를 종합해야만 판단할 수 있다.

Measures of experience alone, such as years of practice, do not well predict acceptable performance.20 Suitably proficient individuals are best identified on the basis of a combination of clinical experience and scores on an objective measure of performance.

contrasting- groups methods 에서의 대조그룹의 설정은 조심해야 한다.

Comparison groups for contrasting- groups methods used in mastery settings must be chosen with care.

완전학습에서, 우리는 '초심자'를 '전문가'와 구분하는 평가를 필요로하는 경우가 별로 없다. 대신, 우리는 '그 다음단계로 충분히 넘어갈 역량을 갖춘 초심자'와 그렇지 않은 초심자 사이에 구분이 필요하며, 관리감독 없이 수행할 준비가 되지 못한 피훈련자와 안전하게 수행할 준비가 된 피훈련자 사이의 구분이 필요하다.

in mastery learning we rarely need assessments that can tell novices from experts; instead, we need assessments that discriminate between novices who are sufficiently competent to move on versus novices who are not, or that distinguish trainees who are not quite ready for unsupervised practice from those who can graduate and practice safely.

전문가 혹은 숙달 그룹의 수행능력이 기계적인 기준 생성의 근거가 되지는 못한다(임의로 전문가 점수 빼기 1.5SD를 한다거나, 전문가 점수의 분포와 초심자 점수의 분포간의 교점 이라든가)

Performance data of expert or proficient groups should not form the basis for a mechanistic generation of a standard (e.g., arbitrarily choosing “expert score minus 1.5 standard deviations,” or “the point of intersection between experts’ and novices’ score distributions”).

시험-기반 절차

Test-based procedures

시험-기반 Hofstee method은 규범-기반 과 준거-기반 기준을 복합적으로 활용하여 어느 정도 숫자의 학습자가 탈락하는 것이 수용가능한지 판단하고, 이에 따라 설정한 준거가 도입가능한지 판단한다. 최소 합격선과 최대 합격선을 정하고, 최소 합격률과 최대 합격률을 정한다. 최종 합격점수는 피시험자들의 실제 수행능력에 따른다.

The test-based Hofstee method6,9 (also called the whole-test method or compromise method) uses a combination of normative and criterion-based standards to ensure that the number of failed learners will be acceptable and the standards therefore implementable. Judges are asked to bracket the cut score by specifying the minimum and maximum acceptable passing scores and the minimum and maximum acceptable failure rates; the final cut score is based on the actual performance of the examinees.

Hofstee method 는 완전학습에 있어서 거의 분명희 부적합한 방법이며, 완전학습에서는 사실상 모든 학습자가 궁극적으로 정해진 기준에 도달하여 다음 단계로 나아가야 하기 때문이다.

The Hofstee method is arguably inappropriate for setting standards in a mastery context, in which practically all learners are expected to eventually achieve the specified standard and advance to the next phase of training.

환자 안전을 위한 완전학습

Mastery Standards to Support Patient Safety

전통적인 기준-설정에 있어서 흔히 해야 하는 일은 '학습자가 다음 단계로 나아가기 위해서는 '얼마나 많은' 내용content를 습득해야 하는가'를 정하는 것이다. 예컨대, 객관식 시험에서 맞춰야 하는 문항의 숫자와 같은 것이다. 그러나 환자안전을 고려한다면, 결정해야 하는 것은 학습자가 그 내용을 '얼마나 잘' 습득해야 하는가이다.

The usual task in traditional standard-setting exercises is to specify how much of the content learners must master to proceed to the next learning experience—for example, the number of multiple- choice or procedure checklist items accomplished. However, in consideration of patient safety consequences, judges may wish to specify process variables that indicate how well learners must master that content—for example,

• how quickly knowledge can be retrieved
• , the time frame in which a procedure must be performed, or
• evidence of overlearning and automaticity that help predict long-term retention.21,22,28–30

전통적인 기준-설정 절차는 시간에 따라 보상적compensatory이다. 일단 피시험자가 합격선을 통과하면, 어떤 문항을 맞췄고 못 맞췄는지는 중요하지 않다. 그러나 임상환경에서 특정 수행능력을 잘못 하고 있거나 어떤 항목을 맞추지 못한 것은 환자 안전이나 환자 성과에 심각한 영향을 줄 수도 있다. 기본적 절차적 기술에 있어서 완전학습의 접근법은 근거자료에 기반하여 환자안전/환자의 편안함comort/절차적 결과procedure outcome 등에 미치는 영향을 고려해서 각 아이템을 평가하는 것이다. 즉, (완전학습에서는) 어떤 것을 잘 수행할 수 있고 그렇지 못하고가 환자안전 등에 영향을 미칠 수 있다면 그 문항은 "중요critical"한 것이다.

Traditional standard-setting procedures are compensatory across items: As long as examinees achieve the cut score, it does not matter which individual items are missed and which are accomplished. In clinical settings, however, the omission or incorrect performance of individual items may have a significant impact on patient safety and outcomes. One approach to setting mastery standards for basic procedural skills is to have judges rate each item as to its impact on dimensions such as patient safety, patient comfort, or procedure outcome, relying on evidence based data when available; an item whose performance or nonperformance has an impact on one of these dimensions can be considered “critical.”27 

이러한 방식의 '중요' 항목에 대한 기준 결합conjunctive standard을 만드는 것은 초기 검사 이후 지연 검사delayed test를 통해서 그 기술의 유지maintenance를 평가할 때도 중요하다. 즉, 중요하지 않은 항목에서 높은 retention을 보이는 것이 중요한 항목에서의 쇠퇴decay를 가려서는 안되기 때문이다.

Setting this type of conjunctive standard for critical items is also important when assessing maintenance of skills from initial testing to a delayed retest, to avoid having retention of noncritical items mask the decay of critical skills.

시뮬레이션을 통한 임상스킬의 평가는 언제나 일정 수준 구인의 과소대표성(construct underrepresentation)을 포함하고 있다. 즉, 임상환경에서의 스트레스나 집중을 방해하는 요소들이 실제 환자를 보는 세팅에서는 수행능력의 저하로 이어질 수 있는 것이다. 시뮬레이션 환경에서 전통적인 수준의 "최소 역량"에만 도달하고자 하는 학습자는 실제 환경에서는 최소 역량에 미치지 못할 가능성이 높다.

Assessment of clinical skills in a simulated environment almost always involves some degree of construct underrepresentation31 that, combined with the stress and distractions inherent in clinical environments, often leads to a decrement in performance in live-patient settings.32,33 Learners who aim for and reach only the traditional standard of “minimal competence” in a simulated environment are at risk of falling below minimal items.world. competence on the task as a whole when they attempt to perform it in the real

기준의 퀄리치와 영향력 평가

Evaluating the Quality and Impact of Standards

완전학습에 있어서 설정한 기준의 퀄리티를 평가하는 것은 쉽지 않다. 일단 완전학습 시스템이 도입되면, 합격선을 통과한 학습자는 다음 단계를 잘 해내고, 합격선을 통과하지 못한 학습자는 다음 단계를 잘 해내지 못하는 식의 (학습자간) 비교 데이터를 얻기가 어렵다. 학습자의 통과 기준이 마련되면, 그 기준을 낮추더라도 충분히 기대하는 효과를 얻을 수 있는지를 알기가 어려운데, 왜냐하면 그 기준을 통과하지 못한 학습자를 다음 단계로 넘어가게 하는 것이 가능feasible하지 않거나, 윤리적이지 못하기 때문이다.

Evaluating the quality of mastery for the standards can be challenging. Once a performance.mastery learning system is implemented, it is difficult to obtain comparative data showing that learners who achieve the cut score are successful in the next stage of training and practice while learners who do not reach the passing score are likely to struggle or to be unsafe. When learners who pass the standard are successful, it is difficult to know whether a lower standard might have been sufficient to obtain the desired effect because allowing learners who did not achieve the standard to progress may not be feasible or, in patient care settings, ethical.

완전학습에 있어서 신뢰도 계산 역시 어려운데, 수행과 재시험을 반복함으로서 완전학습의 가능성은 높아지고, 시험성적의 variance는 작아진다. 그 결과 신뢰도는 높아지고, standard error는 작아진다.

Reliability metrics for mastery tests are complex, Each round of practice and retesting increases the learners’ probability of mastery and decreases the variance of test scores (see Figure 1), resulting in a higher reliability and a decreased standard error of measurement;

반면, 학습자간 variance가 작아지는 것은 - 시험이 반복되면 거의 0에 수렴하게 되는데 - 전통적인 신뢰도 계산metrics으로는 완전학습에 대한 것을 해석하기도 어렵고 적절relevant하지도 못할 수 있다.

On the other hand, the decreased variance across learners— which may approach zero with repeated testing because all are achieving the mastery standard—means that traditional reliability metrics will be difficult to interpret and may not be relevant in a mastery setting.

34 Lineberry M, Park YS, Cook D, Yudkowsky R. Making the case for mastery learning assessments: Key issues in validation and justification. Acad Med. 2015;90:1445–1450.

'블랙박스' 다르게 보기: 세 가지 관점에서 보는 평가자의 인식(Med Educ, 2014)

Seeing the ‘black box’ differently: assessor cognition from three research perspectives

Andrea Gingerich,1 Jennifer Kogan,2 Peter Yeates,3 Marjan Govaerts4 & Eric Holmboe5

INTRODUCTION

수행능력 평가의 한 가지 형태는 workplace-based assessment (WBA)로서 매일매일의 진료현장에서 복잡한 임상과제에 대한 수행능력을 피훈련자가 실제로authentically 환자와 실제 임상 상황에서 상호작용을 하는 모습을 직접 관찰하여 평가한다.

One type of performance assessment, workplace-based assessment (WBA), incorporates the assessment of complex clinical tasks within day-to-day practice through direct observation of trainees as they authentically interact with patients in real clinical settings.

WBA가 중요하고 필요하지만, 이러한 형태의 평가는 측정상 한계가 있다. 낮은 평가자간 신뢰도와 같은 한계는 종종 평가자의 판단이 잘못된 것으로 그 책임을 돌리곤 한다. 실제로 수행능력 평가를 분석하는데 psychometric을 사용하여 평가자에 의한 variance가 피훈련자에 의한 variance보다 크게 나타나곤 한다.

Despite the importance and necessity of their use, WBA and other performance assessments have mea- surement limitations.7–9 These limitations, such as low inter-rater reliability, are often attributed to flaws in assessors’ judgements.10–12 In fact, when psycho- metrics are used to analyse performance assessments, often a greater amount of variance in ratings can be accounted for by the assessors (i.e. rater variance) than the trainees (i.e. true score variance).13–15

이 논문에서는 rater라는 단어보다 assessor라는 단어를 사용하고자 하며, 이는 평가가 단순히 rating(점수의 수치화)뿐 아니라 서술형 코멘트/피드백/supervisory 결정 등과 관련되기 때문이다.

In this paper, the term ‘assessor’ will be used rather than ‘rater’ to emphasise that assessment involves not only rating (numerical scores), but the provision of narrative comments, feedback and supervisory decisions.

방법

METHODS

결과

RESULTS

비록 상호베타적이지는 않지만, 평가자의 인식에 대한 세 가지의 구분되는 관점이 있다.

There appear to be three distinct, although not mutually exclusive, perspectives on assessor cogni- tion within the research community.

• 행동학습이론, 통제가능한 인지과정으로 보는 관점.
  The first per- spective describes potentially controllable cognitive processes invoked during assessment and draws on components of behavioural learning theory to help frame an approach to reduce unwanted variability in assessors’ assessments through faculty training.
• 사회 심리학 연구에서 흔히 다뤄지며, 자동적이고 회피불가능한 인간 인식의 오류에 대한 것
  The second perspective draws on social psychology research and focuses on identifying the automatic and unavoidable biases of human cognition so that assessment systems can compensate for them.
• 사회 문화적 이론에 기반하며, 판단의 다양성이 유용한 정보를 제공할 수 있다는 관점
  A third perspective draws from socio-cultural theory and the expertise literature and proposes that variability in judgements could provide useful assessment infor- mation within a radically different assessment design.

처음 두 가지 관점은 어떤 주어진 수행능력에는 단일한 '참'기준이 있으며, 비록 평가자간 변동성(variability)을 설명하는 방식에는 차이가 있지만, 둘 모두 이것을 에러로 바라본다. 반면, 평가자간 변동성이 다양한 합리적 진실에 의해서 생긴다는 관점에서는 이것을 '오류'로 보지 않는다.

Importantly, the first two perspec- tives assume that any given performance exhibits a singular ‘true’ standard of performance; although they differ in their explanations of assessor variabil- ity, both perspectives view it as error. Conversely, the third perspective argues that variability may arise as a result of multiple legitimately different truths, which may not represent error.

관점 1. 평가자는 훈련가능하다

Perspective 1. The assessor as trainable

이 관점에서 WBA의 평가자간 변동성은 평가자가 평가 준거를 '잘 알지 못하거나' '정확하게 적용하지 못함으로써' 나타나는 결과이다. 따라서 평가에 있어서의 변동은 평가자가 제공하는 정보가 부정확함을 의미하고, 이 변동은 반드시 최소화되어서 평가 정보의 퀄리티를 향상시켜야 한다. 이러한 변동을 줄여서 평가의 측정결과를 향상시키기 위한 실행 가능한 해결책은 목표를 정해서 평가자를 훈련시키는 것이다.

From this perspective, inter-assessor variability in WBA is seen as the result of assessors not ‘knowing’ or correctly ‘applying’ assessment criteria. There- fore, variability in assessment judgements reflects inaccuracy in the information provided by assessors and this variability must be minimised to improve the quality of assessment information. A viable solution to reduce variability in judgements and improve measurement outcomes in assessments is the provision of targeted training for assessors.

또 다른 흔한 FOR은 평가자 자신이다. 피훈련자가 환자를 대하는 모습을 볼 때 평가자는 자기 자신의 스킬을 비교대상으로 삼는다('자신'이 FOR이 됨). 이는 평가에 있어서 큰 문제가 되는데, 왜냐하면 임상스킬에 있어서 의사마다 차이가 크고, 심지어 어떤 경우에는 핵심 임상스킬 수행 능력이 부족한 경우조차 있기 때문이다. 스스로의 임상스킬이 떨어질 경우 제대로 평가를 할 수 있을 가능성이 낮다. 많은 평가자에게 있어서 피훈련자를 평가할 때 사용하는 준거는 경험적으로 개발되며, 동일한 수행에 대해서도 사람마다 관심을 가지고 바라보는 지점이 다르기 때문에 평가의 퀄리티를 결정하는 평가자간 변동성을 야기한다.

Another particularly prevalent frame of reference that assessors use is themselves. While observing trainees with patients, assessors commonly use their own skills as comparators (the ‘self’ as the frame of reference).32,37 This is problematic for assessment because practising physicians’ clinical skills may be variable, or sometimes even deficient, in core skill domains such as history taking, physical examina- tion and counselling.38–41 They may be less able to do this if their own clinical skills are insufficient. For many assessors, the criteria they use to assess trainees develop experientially and different individuals subsequently come to focus on different aspects of performance, which results in variable definitions among assessors of what determines quality.32,33

오류의 근원이 되는 두 번째는 평가자가 직접 관찰을 하면서 '평가'가 아니라 '추론'을 하는 경우에 발생한다. 평가자는 그러나 자신이 이러한 '추론'을 내리고 있다는 사실을 인지하지 못하며, 그 추론의 정확성을 validate하지 않는다. 검증되지 않은 추론은 정확한 평가를 '왜곡'할 위험이 있으며, 왜냐하면 이러한 평가자의 추론은 관찰되거나 측정될 수 없기 때문이다.

A second potential source of measurement error arises when assessors make inferences during direct observation rather than assessing observable behaviours.32,42 Assessors do not recognise when they are making these infer- ences and do not validate them for accuracy.32 Unchecked inferences risk ‘distorting’ the accurate assessment of the trainee because the assessor’s inferences cannot be observed and measured;

이러한 관점에서 앞서 언급된 오류의 원인들은, 적어도 일부분은, 교수개발을 통해서 극복될 수 있으며, 어떤 행동학습이론의 원칙은 '훈련을 통한 문제해결'을 지지한다.

From this perspective, the aforementioned sources of error can, in part, be addressed through faculty development (i.e. the assessor is trainable) and cer- tain principles of behavioural learning theory can be invoked to support proposed ‘training solutions’.

피훈련자에 대한 평가는 그들이 달성해야 하는 역량을 기준으로 이뤄져야 하며, 이것을 달성하기 위해서 평가자는 준거-기반 접근법을 익혀야 한다. 준거기반 평가에서는 피훈련자의 수행능력이 의료행위에 대한 근거에 기반하여 사전에 정의된 준거에 따라 평가된다.

assess- ment of trainees should be based upon those com- petencies needed to achieve. To accom- plish this, assessors will need to learn a criterion- based approach to assessment in which trainee per- formance is compared with pre-specified criteria that are ideally grounded in evidence-based best practices.

그러나 제대로 이뤄지지 않으면 문제가 되는데, 학습자가 평가를 거치며 혼란스러운 뒤섞인 메시지나 피드백을 전달받게 되면 어떤 행도을 강화해야 하는지에 대한 비일관성이 학습에 오히려 안 좋은 영향을 미칠 수 있다.

This situation creates problems for learners, assessors and patients. Learners receive mixed mes- sages during assessment, as well as discrepant feed- back, which can interfere with their learning because there is inconsistency in what is or is not being reinforced.

관점 2. 평가자는 오류에 빠지기 쉽다.

Perspective 2. The assessor as fallible

논리적으로, 관점 1에서 드러난 어떤 평가의 문제도 더 명확한 프레임워크를 제시하고 더 평가자를 훈련시켜서 더 정확한 관찰을 하게 하면 향상될 수 있다. 그러나 수십년의 연구 결과는 이러한 접근법으로는 거의 차이를 만들어내지 못함을 알려준다. 왜 그럴까? 여러 문헌에서 이 '정밀한 분석기계' 가설에 도전하였다. 두 번째 관점은 평가자간 변동성을 인간 인지과정의 근본적 한계에서 기인한다고 본다. 간략히 말하자면, 낮은 평가자간 신뢰도는 훈련을 해도 계속 있을 것이며, 그 이유는 평가자가 평가에 대한 준비가 잘 안되었기 때문이 아니라, 인간의 판단이 원래 불완전하고, 여러 요인에 의해 쉽게 영향을 받기 때문이다.

Logically, any difficulties with this approach should be improved through clearer frameworks or through training in more accurate observation. Yet decades of research tell us that these approaches make comparatively little differ- ence.49 Why? A different body of literature chal- lenges this ‘precise analytical machine’ assumption. This second perspective sees assessor variability aris-ing from fundamental limitations in human cogni- tion. In short, low inter-rater reliability persists despite training, not because assessors are ill pre- pared, but because human judgement is imperfect and will always be readily influenced. 

인지심리학과 사회심리학 연구들은 평가자가 단순히(수동적으로) 관찰하고 특징을 잡아내는 것이 아님을 주장한다. 인간의 작업기억과 처리용량은 제한되어 있다. 정보는 매우 빠르게 소실되거나, 그렇지 않으려면 처리과정을 통해 기존에 가지고 있던 지식구조에 연결되어야 유지되고 사용될 수 있다. 그 결과, 수행능력에 대한 '객관적' 관찰이란 애초에 존재하지 않는다.

Cognitive and social psychology assert that assessors cannot simply (passively) observe and capture per- formances.50 Human working memory and process- ing capacity are limited.51 Information is either lost very quickly, or must be processed and linked to a person’s pre-existing knowledge structures to allow it to be retained and used.52 As a result, there can be no such thing as ‘objective’ observation of per- formance.

인지와 관련한 무수한 bias들이 있지만, 몇 가지가 유용하다. 정보를 인지적으로 관리가능하게 만들기 위해서 사람들은 'schema' 혹은 관련 정보의 네트워크를 활성화시켜야 한다. 예를 들면 '심장 마비'라는 용어는 '전형적인' 환자의 이미지를 떠올리게 한다. 이러한 '전형적인' 환자에 대한 개념은 우리가 사람을 카테고리화하는 경향으로부터 발생하는 것이며, 종종 '대표성 오류representativeness bias'에 빠지게 한다.

Although numerous biases in cognition exist, some illustration is useful. To make information cogni- tively manageable, people activate ‘schemas’ or net- works of related information. Thus, for example, the phrase ‘heart attack’ might also activate a mental image of a ‘typical’ heart attack patient. The notion of a ‘typical’ patient, or person, arises from our tendency to categorise people,55 which leaves us open to ‘representativeness bias’,56

이러한 과정은 정신적 노력을 매우 절감시켜주나, 중요한 정보를 놓치게 하는 원인도 되고, 판단을 비뚤게 할 수도 있다. 이러한 유형의 bias는 '고정관념stereotype'에 대한 문헌에서 잘 연구되어 있다.

This saves a lot of mental effort, but means we tend to ignore important information, and this can bias our judgements. This type of bias is well illus- trated by the literature on stereotypes.

고정관념은, 일단 발동되기만 하면, 개개인이 어떤 특징에 관심을 갖게 되는지, 어떤 판단을 내리게 되는지, 어떤 기억을 회상할 것인지를 왜곡distort시킨다. 후자가 특히 중요한데, 평가자가 방금 관찰한 것을 '객관적으로' 회상하기 보다는, 사람들은 무의식적으로 자신이 기존에 가지고 있던 고정관념적 신념에 기반해서 '빈 칸을 채우는'식으로 작동하기 때문이다. 이는 WBA에서 특히 중요한데, 왜냐하면 단순히 점수를 왜곡시키는 것이 아니라 피훈련자에게 제공되는 피드백에 영향을 주기 때문이다.

Once active, stereotypes can distort which features individuals pay attention to,57 the judgements they reach58 and their recall of what occurs.59 The latter is particu- larly important: rather than ‘objectively’ recalling what they have just observed, people may uncon- sciously ‘fill in the blanks’ based on what their stereotypical beliefs suggest.60 This is particularly important in WBA because it will distort not just scores, but also the feedback given to trainees.

중요한 점은, 고정관념의 영향이 의식의 통제 아래 있지 않다는 점이다. 맥락의 변화는 어떤 고정관념이 활성화될지를 결정한다. 또한 사람들은 그들의 인식이나 행동에 영향을 미치는 무의식적 사고를 잘 인식하지 못한다. 정서/시간 압박/주기 리듬/동기부여/편견의 정도/개인의 인식 선호 등이 영향을 준다

Importantly, the influence of stereotypes is often not under conscious control: changes in context determine which stereotypes are activated,61 and people are often unaware of the unconscious thoughts that influence either their cognition62 or behaviour.63 Emotions,64 time pressure,59 circadian rhythms,65 motivation, pre-existing levels of preju- dice66 and individual cognitive preferences67

고정관념을 회피하게 만들려는 목적의 지침이 오히려 역설적으로 그것을 더 악화시킨다.

Instructions to avoid stereotyping can make their influence para- doxically worse,68

우리는 시니어 의사들이 학생들에 대한 고정관념을 가지고 있어서, 소수인종 학생들의 수행능력이나 행동에 대해서 무의식적으로 낮게 보는 경향이 있음을 안다. 또한 의사들이 피훈련자의 수행능력을 판단함에 있어서 스스로의 판단에 과도한 자신감을 보이는 것으로 드러났다. 스스로의 판단에 대한 과도한 자신감은 흔히 대표성 편향representativeness bias의 결과로 나타난다고 본다.

However, we do know that senior doctors possess well-developed stereotypes of the way that ethnic minority students may perform or behave69 and that, in other aspects of education, unconscious stereotyping of ethnic minorities can be seen to account for the reduced academic achievement of these students.70 It has previously been shown that doctors judging performances of trainees are over-confident in their judgements (they are right less often than they think).71 Judge- mental overconfidence is thought to typically arise as a result of representativeness bias,56

인간은 절대적 수치를 계량하거나 판단을 내리는 것에 취약하다고 알려져 있다. 판단은 매우 쉽게 맥락적 정보에 의해 영향을 받으며, 이는 assimila- tion or contrast effects로 알려져 있다.

Humans are known to be poor at judging or scaling absolute quantities; judgements are easily influenced by contextual information72 through processes known as assimila- tion or contrast effects.73

실제로 더 많은 구체적인 체크리스트를 만드는 것은 평가자의 인지부담을 증가시키고, 이러한 접근법은 역설적으로 개선하고자 하는 문제를 악화시킨다.

In fact, as making more detailed checklists might increase the cognitive load experienced by assessors, this approach could poten- tially (paradoxically) worsen the very problem it hopes to improve.75

따라서, 이러한 관점에서 내리는 결론은 평가-기반 판단의 허무주의로 빠지게 된다. 인간의 판단은 애초에 문제가 있으며 교정될 수 없는 것이 아닐까? 그렇지 않다. 대신, 이것이 시사하는 바는 인지적 개입이 가능한 도구 속에 해결책이 있다. 최근의 연구를 살펴보면, 사람들은 한 사람에 대한 판단을 내리기 전 평등주의자적 동기egalitarian motivation가 있다. 이는 고정관념의 활성화를 줄여줄 수 있으며, 행동의 의도나 대인관계 상호작용에 관한 고정관념의 영향을 줄여줄 수 있다.

It would be easy, therefore, to conclude that this perspective demands a nihilistic view of judgement- based assessments: judgement is flawed and cannot be fixed. It does not. Instead, it suggests that pro- gress may lie within a toolbox of possible cognitive interventions. Recent research indicates that people can be induced to adopt an ‘egalitarian motivation’ prior to making judgements of a person.78,79 This reduced the cog- nitive activation of stereotypes78,79 and lessened the influence of stereotypes on behavioural intentions and interpersonal interactions.79

말할 필요도 없이, 더 많은 연구가 필요하며, 비록 이러한 인터벤션이 성공적이더라도, 맥락적 영향이 판단에 미치는 영향을 완전히 극복할 수는 없다. 한 가지 함의는 인간의 판단을 알고리즘을 활용한 측정으로 대체해야 하는가이다.

Needless to say, much further work is required before any claims can be made about the potential benefits of these approaches. Even if these interven- tions are successful, they are unlikely to completely overcome contextual influences on judgements.74 One possible implication of this perspective would be to seek ways to replace human judgement with algorithmic measurement.

알고리즘을 활용한 측정에는 인간의 판단이 개입되지 않으며, 아마 인간의 판단을 점차 대체할지도 모른다.

No human judgement is involved.80 Perhaps further develop- ments of this sort will gradually replace human judgement.

관점 3. 평가자의 특이성은 나름의 의미가 있다.

Perspective 3. The assessor as meaningfully idiosyncratic

만약 평가자간 변동성이, 적어도 일부분이나마, 서로 다르긴 해도 분명히 (피평가자와) 관련되어 있고 합당한, 그러나 서로 다르고 종종 상반되는 해석을 낳는다면 어떨까? 라는 의문을 가질 수 있다. 이러한 관점에서는 평가자 인식의 독특성idiosyncrasy가 유의미한 평가정보를 제공해줄 수 있으면서, 동시에 평가자간 변동성과 불일치를 야기하고, 더 나아가 낮은 평가자간 신뢰도에 이르게 한다고 본다.

One of its fundamental questions con- cerns what happens if variability, at least in part, derives from the forming by assessors of relevant and legitimate but different, and sometimes con- flicting, interpretations. This perspective examines potential sources of idiosyncrasy within assessor cog- nition that could provide meaningful assessment information, but also lead to variability, assessor dis- agreement and low inter-rater reliability.

WBA가 표준화되지 않은 상태에서, 평가자의 idiosyncrasies에 따르는 변동은 맥락특이성에 따른 변동에 비견outmatch 될 수 있다. psychometric한 측정관점에서 보자면, 이 두 가지 중 어떤 것도 피평가자의 역량에 대해서 알려주는 바가 없으며, 일반적으로 측정오류로 여겨진다. 그러나 상황인지이론situated cognition theory와 사회-문화 (학습)이론에 따르면, 맥락-특이적 variance는 오류error가 아니다. 이 이론에 따르면 맥락은 비활성inert한 것이 아니며, 피훈련자의 수행능력과 분리되어서 여러 맥락이 서로 상호교환가능한 것이 아니다. 대신 맥락은 피훈련자가 어떤 의도한 스킬을 수행하는데 있어서 그것을 가능하게 하거나 제약시키는 요인으로 여겨진다. 이는 왜냐하면 '맥락'이라는 것이 모든 사람과 모든 환경 사이에서 가능한 모든 역동적 상호작용을 포괄하기 때문이며, 단순히 물리적 환경에 대한 이름표가 아니기 때문이다. 맥락을 이렇게 이해한다면, 피훈련자는 그들이 접하는 임상상황이나 임상사건에 대한 완전한 통제를 가지고 있지 않으며, 그들의 역량은 독특한 맥락에 의해서 형성되고, 그 맥락과 연결되어 드러나는 것이다.

In the non-standardised reality of WBA, variance attributable to the idiosyncrasies of assessors is only outmatched by variance attributable to context spec- ificity.81–83 From a psychometric measurement standpoint, neither of these sources of variance reveal anything about the trainee’s competence and are generally assumed to contribute to measure- ment error. Viewed from situated cognition theory and socio-cultural (learning) theories, however, con- text-specific variation is not ‘error’. According to these theories, context is not an inert or inter- changeable detail separate from a trainee’s perfor- mance, but instead is viewed as enabling and constraining the trainee’s ability to perform any intended or required skills.84–86 This is because con- text is understood to encompass all the dynamic interactions between everyone and everything within an environment, and is not just a label for the physi- cal location.84,85,87,88 Based on this understanding of context, trainees will not have full control over the events within a clinical encounter and their compe- tence will instead be shaped by, revealed within, and linked to that unique context.89,90

이러한 관점에서 맥락을 '무시되어야 할 것' 혹은 여러 맥락이 '평균내어질 수 있는 것'으로 보는 것이 어렵다. 또한 역량에 대해서 평가자에게만 내재된reside solely within 것으로 보는 관점, 역량이 서로 다른 장소/환자/시간에 걸쳐 안정적으로 유지된다는 관점에 대해서도 의문을 표한다. 반대로 역량은 사회적으로 구성되고, 다른 사람에 의해서 보여지고 인지될demonstrated and perceived 필요가 있다. WBA에서 한 사람이 다른 사람의 역량을 '인지'한다는 관점이 특히 중요한 이유는 많은 핵심 구인들이 직접적으로 관찰가능하지 않기 때문이다. 대신 환자-중심, 프로페셔널리즘, 휴머니즘 등과 같은 여러 구인이 관찰가능한 행위로부터 추론되는 것이다.

Viewpoints such as these make it more difficult to think of context as something to be disregarded or averaged across. They also call into question the idea of competence as something that resides solely within each trainee and remains stable across differ- ent places, patients and time.91 On the contrary, competence has been described as being socially constructed and needing to be demonstrated and perceived by others.92–94 The idea of perceiving oth- ers’ competence is especially important for WBA because many of the key constructs that must be assessed are not directly observable.95 Instead, con- structs such as patient-centredness, professionalism, humanism and many others must be inferred from observable demonstrations.89,93

여러 연구로부터 평가자의 전문성은 임상에서 진단의 전문성과 닮아있음을 제시한다. 경험이 많은 의사는 신속하고 자동화된 패턴 인식을 통해서 진단을 내린다diagnostic impression. 정보의 집합을 빠르게 유의미한 패턴으로 묶고, 빠르고 정확하게 진단적 추론을 한다. 이들은 구체적인 체크리스트를 사용하지 않으며, 오히려 환자를 만나는 맥락에 따른 사소한 차이들을 반영해내는 방식으로 정보를 사용한다. 추가적으로 전문가는 '기대'에 위배되는 '이상anomalies'를 인지하며, 즉각적 사건을 넘어서 배경이 가지는 중요성을 알고, ...등등

Research increasingly suggests that assessor expertise resembles diagnostic expertise in the clini-cal domain to a remarkable extent.43,100,101 Experi- enced clinicians use rapid, automatic pattern recognition to form diagnostic impressions; they very rapidly cluster sets of information into mean- ingful patterns, enabling fast and accurate diagnos- tic reasoning.102 They do not use detailed checklistswith signs and symptoms based on textbook knowl- edge as novices would do, and more than that, they use information reflecting (subtle) variations in the context of the patient encounter.103 In addition, experts can

• recognise anoma- lies that violate expectancies,
• note the significance of the situation beyond the immediate events,
• iden- tify what events have already taken place based on the current situation, and
• form expectations of events that are likely to happen also based on the current situation.105–107

WBA에 대한 연구결과는 경험 많은 평가자는 평가 과제의 상황-특이적 신호를 인지해서, 과제-특이적 신호를 과제-특이적 수행요건과 수행능력 평가에 연결시킬 수 있다.

In WBA, research findings indicate that experienced assessors are similarly able to note situation-specific cues in the assessment task, link task-specific cues to task-specific performance requirements and performance assessment,

경험이 많은 임상 평가자는 복잡한 과제에 대한 수행능력을 평가할 때에도, 시간의 압박이 있어도, 목표들이 서로 상충하고 잘 정의되어있지 않아도, 피훈련자의 수행능력에서 미래의 수행능력과 관련된 신호를 잡아낼 수 있다. 이들은 핵심을 짚어낼 줄 안다.

Even when experienced clinical assessors are engaged in complex tasks, often under time pressures and with conflicting as well as ill-defined goals, they seem to be capable of identifying cues in trainees’ performances that correlate with future performances.100 They spot the gist.

평가 전문가는 어떤 전문직의 전문가와 마찬가지로, 특정 맥락에 immersio을 통해 발달한다. 각 평가자의 전문성은 그들의 독특한 경험에 의해서 만들어지고, 다양한 맥락..등등 에 따라 영향을 받아서 독특한 인지 필터unique cognitive filter를 발달시킨다.

Assessor expertise, as with any professional expertise, develops through immersion within specific contexts.108 As each asses- sor’s expertise will have been influenced by

• differ- ent contexts and shaped by unique experiences,
• different mental models of general performance,
• task-specific performance and person schemas might be expected,
• with each assessor inevitably developing a unique cognitive filter.42,43

평가자는 gist를 잡아낼 줄 안다.

Consequently, assessors may spot different ‘gists’ or underlying concepts within a complex performance and con- struct different interpretations of them.89,109 Variations in assessor judg- ements may very well represent variations in the way performance can be understood, experienced and interpreted.

이러한 관점에서 평가자간 차이는 제거해야 할 무언가가 아니다. 오히려, 평가자간 차이가 존재한다는 것은 평가가 이상적이지 못한 것을 의미한다기보다는 이러한 불일치가 수행능력의 복합성, 그 수행능력이 평가자의 이해를 거칠 때 본질적으로 따라오는 해석의 '주관성' 등을 보여준다. 평가자 간 차이가 다양한 사람이 수행능력 다양하게 인식한다는 방식으로 인정될 수 있다면 평가자들의 해석은 상호보완적이며 모두 동등하게 유효하다.

From this perspective, differences in assessor judge- ments are not something to eliminate. However, rather than reflecting subop- timal judgements, inconsistencies among assessors’ interpretations may very well reflect the complexity of the performance and the inherently ‘subjective’ interpretation of that performance filtered through the assessor’s understanding. If differences in assess- ment judgements were to come from differences in the way the trainee’s performance can be perceived and experienced by others, then the inconsistencies among assessors’ interpretations might be comple- mentary and equally valid.

어떤 유형으로든 정보가 포화될 때까지 의도적으로 수집된 것이라면 심지어 서로 모순되는 정보조차 도움이 될 수 있다. '신뢰도' 대신 '포화'를 활용하는 것의 핵심 이점은 대다수의 해석majority interpretation과 다르지만 여전히 레지던트의 행동이 인식될 수 있는 중요한 변종들variants이 무엇인지 알려주기 때문이다.

Even contradictory judgements might be informa- tive if judgements were collected purposefully until some type of information saturation was reached.113 A key benefit of using saturation, rather than reli- ability, to analyse assessors’ judgements is that it provides the power to capture pockets of repeated interpretations that may differ from the majority interpretation yet represent important variants of how that resident’s behaviour can be perceived.

경험이 많은 평가자는 WBA에서 중요한 평가도구이다. 따라서 평가자의 전문성을 함양하는 것은 지속적 피드백을 제공하고 평가 결정을 내리는데 중요하다. 체크리스트나 관찰가능한 하위요소로 과제를 나눔으로써 평가자간 변동을 최소화하고자 하는 목적의 해결책은 반드시 지양되어야 하며, 왜냐하면 평가자가 전문가적인 판단을 내리는데 방해가 되기 때문이다.

If experienced assessors are viewed as poten- tially important assessment instruments for WBA, then it will be important to cultivate expertise in assessors through the provision of ongoing feedback and deliberate practice in making assessment judge- ments. Solutions that aim to minimise assessor vari- ability, such as checklists and the reduction of tasks into observable subcomponents, would be best avoided as they may interfere with assessors making expert judgements.91,114,115

피훈련자들에게 있어서, 그들은 상충되는 평가정보를 받기 때문에, 어떻게 다른 사람들이 그들의 행동을 해석했고 애초의 본인의 의도와 어떻게 다른지에 관한 guided reflection이 필요할 것이다.

As for trainees, because they may receive conflicting assessment information from assessors, guided reflection may help them to reconcile how others can derive an interpretation of their behaviour that differs from how it was intended.

반대로 두 번째 관점에서 평가자간 변동성은 서로 다른 전문성을 개발하고 서로 다른 전문가 판단을 사용하는 평가자들로부터 나오는 유용한 평가정보의 원천이다.

By contrast with the second perspective, vari- ability has been described as a potentially useful source of assessment information that stems from assessors differently developing expertise and using expert judgement.

DISCUSSION

세 관점의 공통점

Areas of concordance

첫째로, 모든 세 가지 관점이 평가자가 객관적으로 피평가자를 관찰할 것을 요구하며, 모든 관점이 현재의 UME와 PGME에서 관찰-기반 평가의 빈도와 양quantity가 이상적인 수준보다 못 미침을 지적한다. 이것은 즉각적 관심이 필요한 평가 프로그램에 있어서의 심각한 결핍이다. 따라서 WBA를 향상시키기 위한 첫 번째 단계는 교수들이 실제로 그것을 할 수 있게끔 지원해주고, 그렇게 확실히 하도록 만드는 것이다.

Firstly, all three perspectives require assessors to actually observe trainees interacting with patients and all recognise that the current quantity and fre- quency of observation-based assessment of under- graduate and postgraduate medical trainees is less than ideal. This is a serious deficiency in assessment programmes, which requires immediate atten- tion.36,116–124 Hence, the first step to improving WBA requires institutions to provide support and to ensure that faculty staff actually do it.

두 번째 공통점은 교수들이 스스로의 임상역량을 기르고 유지해야 한다는 것이며, 동시에 평가자로서의 전문성도 길러야 한다. 피훈련자 스킬의 퀄리티를 평가하는데 있어서 장애물은 특정 과제를 수행할 때 그 특정 스킬이 필요하다는 것을 평가자가 인식하지 못하는 것이다. 따라서 평가자를 위한 교수개발은 임상 스킬을 어떻게 평가할지 뿐만 아니라, 스스로 그 임상스킬을 어떻게 개발할 수 있는지도 포함되어야 한다.

A second area of concordance among the three per- spectives concerns the need for faculty members to achieve and maintain their own clinical compe- tence, while concomitantly developing expertise as assessors. An impediment to assessing the quality of specific skills performed by a trainee is an assessor’s lack of awareness of the specific skills required to competently perform that task. Therefore, faculty development for assessors may need to include training that refers to their own clinical skills devel- opment in addition to training in how to assess those skills.

마지막으로, 각 관점에 대해서 강점을 강화하고 약점을 줄이는데 도움이 될 두 가지 메커니즘이 있다.

Finally, there are two mechanisms common to each perspective that may help to maximise the strengths and minimise the weaknesses of assessor cognition.

• Robust한 피평가자 샘플링과 평가자 샘플링
  One concerns the robust sampling of tasks per- formed by each trainee and assessed by an equally robust sample of assessors and is intended to improve the reliability, validity, quality and defensi- bility of assessment decisions.
• 모든 활용가능한 정보를 종합하여 피평가자의 총괄적 수행능력에 대한 완전한 그림을 명확히 보여줄 수 있게 하는 평가자간 그룹토론
  The other is facili- tated group discussions among assessors and assessment decision makers that provide opportuni- ties to synthesise all available assessment data to cre- ate a clearer composite picture of a trainee’s overall performance.125 Group discussions allow both con- sistent and variable judgements to be explored and better understood.126

세 관점의 차이

Areas of discordance

세 관점의 차이에는 과연 하나의 진실이 존재하는지 다수의 진실'들'이 존재하는지에 대한 것, 교수개발의 목표, 추론을 하는 것의 효용성, 신뢰성reliability의 추구 등이 있다. 관점의 차이를 극복하고 완전히 통합하여 하나의 이론을 만들려고 노력하기보다는 상황에 따라 도움이 되는 관점을 적용하는 것이 좋을 것이다.

There are also areas of discordance, or incompati- bilities, among the three perspectives that cannot be ignored. For example, whether there exists one or multiple ‘truths’, the goals of faculty development, the utility of making inferences and the pursuit of reliability have been previously discussed. Rather than trying to overcome the discordances and fully integrate the different perspectives into a unified theory, it may be useful to identify circumstances in which the strengths of a particular perspective may be especially advantageous.

단순한 축구와의 비유가 도움이 될 수 있다. 축구선수는 반드시 공을 골대에 넣어서 점수를 내야 하며, 골대를 벗어난 것은 모두 miss이다. 보건의료서비스도 비슷하다. 안전하고 효과적인 환자-중심 진료를 제공하는 방법이 무한하지는 않다. 어떤 임상업무는 좀더 타이트한 경계가 있다(골대와 비슷). 예를 들어서 CVC 삽입이나 Mech Vent 관리 등이 그러하다. 이러한 임상행위는 반드시 최신의 근거와 절차적 체크리스트에 기반하여 이뤄져야 한다. 기준에서 벗어나는 것이 매우 제한된다. 따라서 이러한 수행에 관한 평가는 변동성이 적다.

그러나 피훈련자의 수행능력이 훨씬 더 많은 숫자의 맥락적 요인에 달려 있는 경우도 있다. 예를 들면 나쁜소식을 전하기는 가이드라인이 있지만(SPIKE framework), 그 경계boundary zone은 CVC삽입과 달리 더 넓고, 그러나 둘 모두 그 가지수가 무한한 것은 아니다. 맥락적 요인에 의해서 심하게 영향을 받을 수 있는 임상과제의 경우 평가자 판단의 변동성과 전문성을 수용할 수 있는 시스템이 적합할 것이다.

A simple football (soccer) analogy might help to illustrate how different perspectives on assessor cog- nition could be purposefully matched to fundamen- tally different assessment situations to improve WBA. A football player must place the ball into the net in order to score a goal and anything outside the boundary of the net is a miss. The delivery of health care is similarly bounded; there are not limit- less ways for trainees to provide safe, effective patient-centred care. Some clinical tasks have tighter boundaries, or a smaller ‘net’. For example, the insertion of central venous catheters and the management of mechanical ventilators to prevent pneumonia should be performed within the bound- aries specified by the latest evidence-based medicine or procedural checklists. Variance from the stan- dards in these cases should be limited. Correspond- ingly, it would be advantageous for assessor judgements of these performances to have less vari- ability. However, there are situations in which deter- mining the quality of the trainee’s performance depends on a larger number of contextual factors For example, although there are guidelines for delivering bad news (e.g. the SPIKES127 framework), the boundary zone (i.e. the size of the net) is wider for breaking bad news than it is for central venous catheter insertion, but nei- ther is infinite. For clinical encounters that can be highly influenced by contextual factors, an assess- ment system that can accommodate variability and expertise in assessors’ judgements may be appropri- ate and valuable.

Moving forward

Seeing the 'black box' differently: assessor cognition from three research perspectives.

문화권별 의-전문직업성: 의료와 의학교육의 과제(Med Teach, 2014)

Medical professionalism across cultures: A challenge for medicine and medical education

Vikram Jha, Michelle Mclean, Trevor J. Gibbs & John Sandars

의과대학 교육과정에서 프로페셔널리즘을 졸업 성과로 기술하지 않은 곳을 찾기는 어려운 반면, 어떻게 프로페셔널리즘을 가르치고 평가할 것인가에 대해서는 차이가 크다. 이는 부분적으로는 프로페셔널리즘을 정의하는 것 자체가 애매한 특성elusive nature를 갖기 때문이다.

While it would be rare to find a medical curriculum in which professionalism was not a stated graduate outcome, there is a wide variation in how profes- sionalism is taught and assessed (Hodges et al. 2011). This is, in part, due to the elusive nature of a definition of profession- alism (Jha et al. 2010; Passi et al. 2010; Aguilar et al. 2011; O’Sullivan et al. 2012),

현재 프로페셔널리즘에 대한 이해는 여러 문헌에서 프로페셔널리즘에 대해서 주로 서구의(앵글로-색슨) 개념을 반영하기 때문에 보다 복잡해지기도 한다. 여러 연구자들은 프로페셔널리즘이 복잡하고 다차원적인 사회적 구인complex, multi- dimensional social construct 으로서, 모든 프로페셔널리즘에 대한 토론에서 맥락/지리적 위치/문화적 주요 고려사항 등을 고려해야 한다고 주장한다.

Our current under- standing of professionalism is further complicated by the fact that the literature largely reflects a Western (Anglo-Saxon) notion of professionalism(Hodges et al. 2011). Several authors have, however, identified professionalism as a complex, multi- dimensional social construct (Ginsburg et al. 2000; Stern 2006; Martimianakis et al. 2009; Cruess et al. 2010; Ho et al. 2011), making context, geographical location and culturally important considerations in any discussion of professionalism (Cruess et al. 2010; Chandratilake et al. 2012).

맥락이 특정하게 제한된 상황에서 프로페셔널리즘을 측정가능한 구인으로 정의하고자 하는 노력은 엄청나게 어려운 것은 아니지만, 지난 수십년간 의과대학생들과 의사들이 국경을 넘나드는 일이 잦아지면서 어떻게 프로페셔널리즘을 정의하고 평가할지가 점차 더 문제가 되어왔다.

If trying to define professionalism as a measurable construct within a particular context is not sufficiently difficult, the increased movement of medical students and qualified health practitioners across the globe over the last few decades has further challenged how we define and assess professionalism.

• 의학교육자들과 의사들의 이동 medical educators and clinicians are also on the move (Hodges et al. 2009; Gibbs & McLean 2011; McKimm & McLean 2011),
• 국제 학생들, 해외 위탁 의과대학 international students and offshoring of medical campuses in, the Middle East and the Caribbean

대중들이 의사와 의대생을 막론하고 점차 더 비전문직업적 행위에 대해서 엄격한 판단을 내리는 성향을 보임에 따라, 문화마다 다양한 의사 환자 관계 혹은 교사-학생 상호작용의 방식들이 "서로 다른" 행동이나 태도가 "전문직답지 못한 것"으로 인식될지를 상상하는 것은 어렵지 않다. 사례로는..

With reports that the public appears to be more judgemental of unprofessional behaviour than either doctors or students (Brockbank et al. 2011), it is not difficult to imagine how in a cross-cultural doctor–patient or a teacher–student interaction, perceptions of a ‘‘different’’ behaviour or attitude might be perceived as ‘‘unprofessional’’. Examples of this include:

• IMG사이의 의사소통 perceived barriers in communication skills amongst International Medical Graduates,
• 효과적 커뮤니케이션을 막는 언어 장벽 language barriers impeding effective communication, 
• 사회적으로 용납되지 않는 행동에 관한 문화적 차이 cultural differences leading to socially unacceptable practices and
• 하나 혹은 그 이상의 집단에 대한 오해와 잘못된 해석 misunderstanding or misinterpretation by one or more parties (Yao & Wright 2001; Dorgan et al. 2009).

Rothwell 등은 해외에서 수련받은 의사들이 환자-의사 관계에 있어서 다른 의사들과 차이를 보이며, 특히 그들의 고국에서보다 위계구조에 있어서 보다 부드러운fluid 태도를 보임을 보고한 바 있다.

In Rothwell and colleagues’ (2013) paper, overseas-trained doctors reported differences in patient–staff relationships, with more fluid hierarchical struc-tures than they were used to in their home countries.

Chandratilake 등은 프로페셔널리즘을 구성하는 것으로 생각하는 태도/신념/행동에 지리적, 지역적 차이가 있다는 근거를 제시하였다. 이들은 전문직으로서 갖춰야 할 자질에 대해서는 어느 정도 합당한 합의가 있지만, 그 자질 중 무엇이 필수적인가에 대해서는 지역적 차이가 있다고 하였다. 이들은 이러한 차이가 사회문화적 요인에 기인해씅ㄹ 것이라고 결론지으며, 반-문화적 반응counter-cultural response의 존재를 제안하였다.

In a study by Chandratilake et al. (2012), there was the evidence of geographical and regional variations in attitudes, beliefs and behaviours believed to constitute profes-sionalism. They found that while there was a reasonable consensus on professional attributes, there were regional differences as to which of the attributes were essential. The authors concluded that differences may be due to socio-cultural factors and suggested the existence of a counter-cultural response, first reported by Schmidt et al. (2004) to explain medical students’conventional perceptions of holism. 

물론 이 분야의 연구가 여러 이해관계자들의 관점을 반영해야 하겠지만, 문화에 대한 어떤 설명을 할 때 '개인'에 초점을 맞춰야 한다는 의견에 동의한다. 여기에 깔린 전제는 문화는 개인이 표현하는 가치/신념/행동을 보여주는데, 이것이 사회적으로 구성된다는 것이다. 예컨대, 더 넓은 범위의 사회에서 하나의 지배적인 문화가 존재한다면, 그 환경 내에 있는 의사는 사회화를 통해 그 문화를 내면화할 것이다. 반대로 지배적 문화가 다양한 경우, 다양한 가치/신념/행동이 학생이나 의사에게 제시될 것이다.

Whilst we agree that future research in this area should include canvassing the views of other stakeholders, e.g. patients and students (Chandratilakeet al. 2012), we are also of the opinion that any exploration of culture pertaining to interactions between medical students and their teachers, doctors and patients, and amongst member of the multiprofessional team should focus on the individual(Goldie 2012). The underpinning rationale is that culture represents the values, beliefs and behaviours expressed by an individual, which are socially constructed. For example, if there is a particular dominant culture in the wider society, then doctors within that context will internalise the culture through socialisation. Diversity in dominant cultures may, on the other hand, result in differing values, beliefs and behaviour being presented to students or doctors (Bennett & Bennett 2004). 

1993년 Bennett 은 문화간 민감성의 발달모델Developmental Model of Intercultural Sensitivity 을 통해서 개인의 문화적 차이에 대한 반응을 묘사하였다. 이 모델은 문화간 발달 연속체intercultural development con-tinuum로 진화하였으며, Hammer는 2011년 "더 넓은 문화간 역량/민감성을 향한 움직임으로서, 문화적 공통점과 차이점에 관한 보다 덜 복잡한 인식과 행동으로부터(monocultural mindset orien-tations), 보다 복잡한 상태로 나아가는 것(intercultural/global mindset)."이라고 하였다. 이는 이(종)문화간 정체성intercultural identity을 구성하기 위해 다음의 단계를 거치게 된다.

In 1993, Bennett proposed a Developmental Model of Intercultural Sensitivity to describe a person’s reactions to cultural differences (Bennett 1993). This model evolved into the intercultural development con-tinuum, described by Hammer (2011) as ‘‘a movement towards greater intercultural competence/sensitivity, from a less com-plex set of perceptions and behaviours around cultural commonalities and differences (monocultural mindset orien-tations) to a more complex set of perceptions and behaviours This continuum therefore(intercultural/global mindset)’’. involves an individual potentially moving from

• 거부 단계 the initial stages of denial,
• 양극화/대립 through polarisation,
• 최소화 minimisation,
• 수용 accept-ance and
• 적응 finally to adaptation,

which involves the construction of an intercultural identity. 

문화적 적합성

Cultural fit

Lu 에 따르면, 사회적 수준의 문화는 주류의 경향을 반영하나 모든 개인의 모든 행동을 반영하지는 않는다. 저자는 개인의 문화적 적합성은 그들의 웰빙을 보여준다고 주장한다. 만약 한 개인이 공동의 가치나 행동과 잘 부합하면 그/그녀의 사회환경과의 상호작용은 보다 부드러울 것이고, vice versa.

According to Lu (2006), the culture at a societal level involves mainstream tendencies but does not involve all behaviours  of all individuals. The author contends that an individual’s cultural fit has implications for their well-being. If an individual is in accord with the shared values or behaviours, his/her interactions with the social environment are likely to be smooth

앞으로는?

Moving forward?

만약 Bhawuk and Brislin 이 제안한 바와 같이 "(무언가가 혹은 사람이) 다른 문화권에서도 효과적이려면 반드시 다른 문화에 관심을 가져야 하며, 문화적 차이를 인식할 수 있을 만큼 민가해야 하고, 다른 문화의 사람들이 가리키는 방향에 맞춰서 행동을 변화시키고자 하는 의지가 있어야 한다"면, 이는 문화적으로 다른 곳에서 일을 하기로 마음을 먹은 사람들의 책임이며, 그러한 결정이 마주할 도전을 설명하는 것이다.

If, as Bhawuk and Brislin (1992) have suggested that ‘‘to be effective in another culture, people must be interested in other cultures, be sensitive enough to notice cultural differences, and then also be willing to modify their behaviour as an indication of respect to the people of other cultures’’ (p. 416), this places an onus on the individual who has chosen to study or work in a culture different to contemplate the implications of their decision, particularly in terms of the potential challenges they may face.

스스로 자신이 얼마나 tolerant 한지 생각해봐야 한다. 즉, 자신의 문화적 민감성과 역량에 대해서 생각해봐야 하며, 얼마나 자신이 새로운 사회, 문화적 맥락에 적합fit할 것인지 생각해봐야 한다.

One would need to question how tolerant one might be, i.e. one’s intercultural sensitivity/competence (Hammer 2011) and one would also have to project how one might ‘‘fit’’ into a new social and cultural context (Lu 2006).

• 기관의 다양성 프로필diversity profile을 인정하고 다양한 가치와 신념의 차이가 존재함을 인식함
  Acknowledging the institution’s diversity profile and recognising that differences in values and beliefs will exist. 
• 문홪거 선입견에 따른 라벨링 지양
  Avoid labelling in terms of cultural stereotypes. 
• 다양성 프로필이 그 지역의 지배적 사회/정치/법적 맥락과 잘 맞게끔 하는 것에 발달 초점을 둠(합목적성) 
  Ensuring a development focus to ensure that the diversity profile fits with the dominant local socio-political/legal culture (i.e. fit for purpose).
• 이문화간 발달 연속체를 따라 훈련과 오리엔테이션 제공
  Providing training and orientation that takes into account that individual students and employees may be some- where along the intercultural development continuum, ranging from denial and defence and so not tolerating difference in culture (ethno-centricism) to being able to adapt to the different cultural context (ethno-relativism). The ethno-centric stance may culminate in anger and attempts to control the situation while ethno-relativism will involve tolerance and understanding, allowing for negotiation and discussion so that both parties can learn from each other.

결론

Conclusions

시나리오 1

Scenario 1

Dr A, a Canadian-born gastroenterologist, starts working at a hospital in the Middle East. During his first month, a young man brings his 80-year-old widowed mother to the hospital because she has noticed bloody stools. During the consult- ation, it is the son who communicates with Dr A, rather than the mother, who is not able to speak English. Dr A accepts this, knowing that many elderly patients in the region have a poor command of English.

Consent for a colonoscopy is obtained from the patient via her son. The result reveals advanced colorectal cancer. At the follow-up consultation, the young man brings a younger male sibling but not his mother. They ask Dr A for the colonoscopy results, suspecting that the news is not good and not wanting their mother to know. They also state that if their mother requires surgery, they consent. Dr Ais not sure how to proceed.

원칙: 고지에 입각한 동의, 환자의 권리, 비밀유지

Principles: Informed consent, patient rights and confidentiality

코멘터리

Commentary

고지에 입각한 동의, 환자의 권리, 비밀유지는 서구에서는 잘 받아들여지고 소중하게 여겨지는 것이지만, 가족 관계와 사회적 규범을 보존하는 것이 개인의 자율성보다 더 가치로운 것으로 여겨지는 사회에서는 반드시 그렇지는 않다. 이러한 사회에서는 여러 의사결정이 집단적collective이며, 가족/부족/커뮤니티 수준에서 결정된다. 이 시나리오의 사회-문화에서 아들은 가족 내에서 여성(어머니)를 보호하고자 한다.

Informed consent, patient rights and confidentiality, accepted and enshrined Western constructs, are not always given the same weight in some societies in which preserving family relationships and social norms are valued more than individual autonomy. Many decisions are collective, being made at the family, tribal or at community level (Berg et al. 2001; del Carmen & Joffe 2005). In the socio-culture depicted in this scenario, the son is expected to protect the women in his family.

Recommendations

시나리오 2

Scenario 2

Dr B, who was born in South East Asia, has completed her medical degree in her home country. She was a diligent student, always following her seniors’ advice. In particular, the professors at her medical school were treated with utmost reverence and, in the eyes of students and patients, they could do nothing wrong. In her first job in the UK, Dr B is placed on a team to work with Professor P, a very senior Professor of Medicine who is also the Head of Department. He is known to have a bad temper. During a ward round one morning, Professor P is rude to the senior nurse. When he finds a patient who he has specifically come to see is not on his bed, he turns to Dr B, shouting: ‘‘It is your job as a house officer to ensure that all patients are ready to be seen once I am on the ward’’. The patient concerned needs his warfarin dose adjusted. Professor P snatches the prescription chart and increases the dose of warfarin. When Professor P leaves, Dr B realises that the dose is too high. She decides not to question Professor P’s decision. He is, after all, the expert and a senior colleague and, back home, she would not challenge him.

원칙: 위계구조와 위계에 대한 도전

Principles: Hierarchical structures and challenging senior colleagues

Commentary

많은 서구 국가(캐나다, 미국)와 달리 아시아 국가들은 임상 근무환경에서 특히 엄격한 위계구조를 보여주고 있으며, 이는 서구적 맥락에서 '프로페셔널한 행동'으로 여겨지는 일부 측면의 발달이나 발현을 억제한다. Kobayashi 등의 연구에서 일본에서 시니어를 향해 목소리를 높이는speaking up 것은 받아들여지지 않으며, 이것이 개개인들이 다른 사람의 전문직답지 못한 행동을 목격하고도 이에 대응하지 못하는 요인이라고 지적했다 또한 일본 의사와 달리 미국 시니어 의사는 주니어 의사의 질문을 보다 더 장려하였다.

Compared with many Western countries, e.g. the USA and Canada, Asian countries in particular, have a stricter hierarchical reporting structure in the clinical workplace, impede which may the development/exhibition of some aspects of what would be considered professional practice in a Western context. In Kobayashi et al.’s (2006) study, the unacceptability of speaking up in front of seniors in Japan was a factor inhibiting individuals from challenging unprofessional behaviour they had witnessed. In addition, compared with their Japanese colleagues, US seniors were much more encouraging of questions from juniors.

시나리오 3

Scenario 3

Student C, a fourth year medical student in the UK, chooses to undertake an elective in a far Eastern country, staying with his parents’ family friends who are doctors. Their son, Student M, is a medical student and a friendship develops between the two. Whilst studying together, Student C is shocked to find that Student M copies and pastes large sections froma standard text into his assignment without referencing the original.

원칙: 표절

Principles: Plagiarism

Commentary

인도에서의 연구가 보고한 바와 같이 학업적 부정직행위와 관련한 교육이 없는 것이 부정행위가 발생하는데 기여했을 수 있지만, 어떤 문화권에는 북미나 영국에서 수련받은 사람이 보기에는 unprofessional한 행동임에도 그 문화권에는 "문화적으로 뿌리내린" 행동이 있다. 예컨대, 부정행위나 학업적 비정직행위는 크로아티아 학생들에게 흔하고 받아들여진다. Taradi 등의 연구에서 표절은 경고할 만한 수준으로 퍼져 있었다. 이러한 현상은 국가의 빈곤한 사회경제적 구조에 따른 것으로 볼 수 있는데, 전쟁과 더 큰 사회적 수준에서의 부패가 만연한 것에서부터 생기기 때문이다 또한 잡혔을 때 적절한 제재가 없는 것도 한 이유이다.

While the lack of training around academic misconduct may contribute to cheating, as reported for medical students in India (Babu et al. 2011), there is ‘‘culturally engrained’’ behaviour in some contexts that would be deemed unprofessional by someone trained in North America or the UK. For example, cheating and academic dishonesty appears to be commonplace and acceptable amongst Croatian medical students (Bilic´-Zulle et al. 2005; Kukolja et al. 2010; Taradi et al. 2012). In Taradi et al.’s paper (2012), the prevalence of plagiarism was alarming, with most of the 761 students surveyed admitting to educational dishon- esty. Possible reasons for these high figures were the country’s poor socio-economic structures as it emerged from war and the prevalence of corruption within the wider society. Also, a perceived lack of sanctions for those caught cheating meant that students persisted with the practice.

언어 능력이 부족한 일부 학생에게 복사-붙이기는 외국어로 작문을 하는 것보다 쉽다. Vance의 관점에서 "표절은 문화적으로 구성되는 다양한 인식을 포함하는 실로 복잡한 주제이다"라고 썼다. 또 다른 것으로는 유교의 영향을 받은 사회에서는 어떤 "생각"을 그것을 처음 한 사람이 소유권을 가지는 것으로 보지 않고, 그 사회의 총체적인 지식의 한 부분으로서 보기 때문에, 이러한 타인의 생각을 원문 그대로 사용하는 것은 그것을 소유한 사람에게 존중을 표하는 것으로 인식되며, 그 출처를 밝히는 것은 독자의 지적능력을 모욕하는 것으로 인식되기도 한다(정보를 아는 것은 그 정보의 출처를 아는 것으로 이해되므로) .

For some students with poor language skills, copying and pasting was easier than writing in a foreign language (Taradi et al. 2012). In Vance’s (2009) view, however, ‘‘plagiarism is actually a complex subject that involves many culturally constructed notions’’. In other instances, such as in Confucian- influenced societies, rather than perceiving ideas as the property of the originator, they are seen as being part of the collective knowledge of the society and so reproducing these ideas in the original format is perceived as paying respect to the owner and citing the source might be an insult to the intelligence of the reader as knowing the information is recognised as knowing the source (Vance 2009).

Recommendations

시나리오 4

Scenario 4

Student D was born in a country in Eastern Europe that was previously a part of the Soviet Block. He moved to the UK as a child, to be brought up by his uncle. Unfortunately, he does not secure a place in a medical school in the UK despite good grades. He decides to go to Eastern Europe to study medicine in a school where his father’s friend is a Professor of Medicine. Student D’s father has always been proud of his son and takes an active interest in his medical studies. It is no surprise, therefore, to find that two weeks before his final examinations, his father arrives from his hometown. What surprises Student D, however, is that his father has already presented the Dean with a Rolex watch, thanking him for looking after his son. Even worse, the Dean has accepted the watch! His father has also asked his friend, a professor, to find out the questions to the examination Student D is due to take.

원칙: 호의의 댓가로 선물 받기

Principle: Accepting gifts in return for favours

Commentary

SES가 낮은 조건에서는 부패가 더 일어나기 쉽고 더 쉽게 받아들여진다. 의사들이 경제적으로 부유하지 못한 일부 개발도상국에서 그러한 비전문직업적 행위의 원인이 될 수 있다. 예컨대, 가난한 에스토니아 의사들 일부는 환자들에게 선물을 받는 것을 당연하게 받아들였다considered acceptable. 남아프리카 연구에서 Rooyen은 의과대학생들은 이타적이 되면서 전문직으로서 경재적으로 우아한 삶을 사는 것의 균형을 잡는 것이 어려움을 표했다.

Low socio-economic conditions make corruption more likely and acceptable in some countries. The relative lack of financial well-being of doctors in some developing countries may contribute to an unprofessional behaviour. For example, amongst poorly paid Estonian doctors, accepting gifts from patients was considered acceptable (Barr 1996). In a South African study, van Rooyen (2004) reported that medical students expressed the opinion that being altruistic and achieving a balance between being professional and making a decent living financially was difficult because of the tension between running the business of medical care and earning a decent living.

Recommendations

Chandratilake M, McAleer S, Gibson J. 2012. Cultural similarities and differences in medical professionalism: A multi-region study. Med Educ 46:257–266.

Cruess SR, Cruess RL, Steinert Y. 2010. Teaching professionalism across cultural and national borders: Lessons learned from an AMEE workshop. Med Teach 32(5):371–374.

Medical professionalism across cultures: a challenge for medicine and medical education.

미국 의과대학생의 번아웃과 전문직다운 행실의 관계(JAMA, 2010)

Relationship Between Burnout and Professional Conduct and Attitudes Among US Medical Students 

Liselotte N. Dyrbye, MD, MHPE / F. Stanford Massie Jr, MD / Anne Eacker, MD / William Harper, MD / David Power, MD, MPH / Steven J. Durning, MD / Matthew R. Thomas, MD / Christine Moutier, MD / Daniel Satele, BA / Jeff Sloan, PhD / Tait D. Shanafelt, MD

기존 연구에서 의과대학생들이 사회적으로 전문직에게 요구하는 기대에 부합하는 전문가적 정체성 발달에 실패하고 있음을 지적한다. 이러한 결과가 우려스러운 이유는 의과대학 기간의 일부 비전문직업적 행동이 이후 의사가 된 이후의 비전문직업적 행동을 예측하기 때문이다.

Research suggests that medi- cal students may fail when attempting to develop a professional identity con- sistent with the expectations of soci- ety and the profession.3-9 These find- ings are concerning because evidence suggests that some unprofessional be- haviors during medical school predict subsequent unprofessional conduct once in practice.10

프로페셔널리즘의 중요성은 널리 인정되고 있지만 어떻게 개인적 스트레스(우울, 낮은 QOL)나 전문직으로서의 스트레스(탈진) 이 프로페셔널리즘과 어떻게 연결되는지는 거의 알려진바가 없다. 기존 연구에서 과도한 스트레스(distress)는 공감능력의 저하 및 의료의 질 저하와 관련됨을 보고한 바 있으며, 이는 과도한 스트레스가 비전문직업적 행동과 태도로 귀결된다는 개념적 프레임워크를 상정posit한다.

Despite the widely acknowledged importance of professionalism, how personal distress (such as depression or low mental quality of life [QOL])and professional distress (such as burnout) relate to professionalism is largely unexplored. Previous studies suggest that distress is associated with decreased empathy11-14 and decreased quality of care,13,15-17 which has led to a conceptual framework that posits that distress can lead to unprofes-sional behaviors and attitudes.14 

METHODS

참여자

Participants

자료 수집

Data Collection

all letters indicated that partici- pation was voluntary, responses were confidential, and data would be ano- nymized. 

Informed consent was im- plied upon return of the survey. No incentive was provided for participa- tion.

연구 척도

Study Measures

탈진, 우울증상, QO

Burnout, Symptoms of Depression, and QOL.

탈진척도: Maslach Burnout Inventory (MBI),

Burnout was measured by the Maslach Burnout Inventory (MBI),18 which is considered the criterion stan- dard.19 Burnout encompasses 3 do- mains

• 정서적 탈진 emotional exhaustion [score range 0-54],
• 비인간화 depersonalization [score range 0-30],
• 개인적 성취 personal accomplishment [score range 0-48]

which have been confirmed in factor analyses.18

RESULTS

프로페셔널리즘과 번아웃

Professionalism and Burnout

Table 2. Self-reported Behaviors and Attitudes Among Medical Students With and Without Burnout

프로페셔널리즘과 과도한 스트레스

Professionalism and Personal Distress

Multivariable Analysis에서 프로페셔널리즘과 관련된 요인

Factors Associated With Professionalism on Multivariable Analysis

Table 3. Multivariable Analysis of Factors Independently Associated With Self-reported Cheating/Dishonest Clinical Behaviors and Less Altruistic Professional Values

COMMENT

본 대규모의 다기관 연구에서, 자기보고식 cheating and dishonest clinical behaviors 가 번아웃과 직접적으로 관련이 있음을 보여주었다. 한편 의사의 사회적 책임과 관련한 전문직의 이타적 가치는 번아웃과 역의 관계에 있었다.

번아웃의 ...

• 비인간화 영역은 AMA의 정책과 부합하지 않는 산업계와의 관계를 맺는 것을 받아들이는 것과 관련되어 잇었다.
• 반대로 우울 영역이나 정신적/신체적 QOL은 임상에서의 부정행위/부정직행위, 산업계에 대한 태도, 이타적인 전문직으로서의 가치와 관계가 거의 없었다.

이러한 결과는 번아웃이 주로 프로페셔널 영역에 영향을 주는 한편 개인 수준의 과도한 스트레스는(낮은 정신적 QOL) 개인적 영역(인간관계의 어려움, 약물 남용)에 보다 더 큰 영향을 미친다는 이론적인 프레임워크와 부합하며, 이 때 프로페셔널 역역의 이차적 효과는 그 만성화 정도chronicity나 심각도severity에 따라 달려 있다.

In this large, multi-institutional study, self-reported cheating and dishonest clinical behaviors showed a direct as- sociation with burnout, while altruis- tic professional values regarding phy- sicians’ responsibility to society showed an inverse relationship with burnout. The depersonalization domain of burn- out was also associated with the belief that it is acceptable to engage in rela- tionships with industry that are incon- sistent with the AMA policy state- ment. In contrast, there were few relationships between depression or mental/physical QOL and cheating/ dishonest clinical behaviors, attitudes toward industry, or altruistic profes- sional values. These findings are in keeping with the theoretic frame- work18 that burnout primarily affects the professional domain, whereas per- sonal distress (such as a low mental QOL) often has greater initial effect on personal domains (eg, relationship dif- ficulties or substance abuse), with a sec- ondary effect on the professional do- main depending on chronicity and severity.

학생들이 부정직한 행위에 대해서 그것의 부적절성을 알면서도 그러한 행위를 하는 것은 부정직을 촉진하는 학습 환경의 요소와 관련이 있을 수 있다. 학생들은 신체검진을 충분히 하지 않고도 신체검진 결과를 거짓으로 보고하는 것 등의 상황을 만들 수 있다. 학생들의 평가에 대한 두려움과 팀에 들어맞기fit in 위한 열망에 더하여, 본 연구에서는 번아웃이 전문직답지 못한 행위에 기여하는 중요한 변인일 수 있음을 제기한다.

The fact that students fre- quently engage in dishonest behaviors despite knowing they are inappropri- ate may imply that some elements of the learning climate foster dishonesty. This could lead to a situation in which stu- dents are more willing to falsely re- port physical examination findings than admit they performed an incomplete ex- amination. In addition to students’ fear of poor evaluations and a desire to fit in with the team,9 this study suggests that burnout may be another impor- tant variable contributing to unprofes- sional behavior.

번아웃된 학생은 의사의 사회적 책무성에 대해서 이타적 관점을 보다 덜 가지며, 이는 프로페셔널한 태도와 advocacy가 professional distress에 취약할 수 잇음을 보여준다.

Students with burnout were also less likely to hold altruistic views regard- ing physicians’ responsibility to soci- ety, suggesting that professional atti- tudes and advocacy may be vulnerable to professional distress.

Relationship between burnout and professional conduct and attitudes among US medical students.

학업적 비정직성과 윤리적 추론: 뉴질랜드 약대생과 의대생 연구(Med Teach, 2013)

Academic dishonesty and ethical reasoning: Pharmacy and medical school students in New Zealand

MARCUS A. HENNING, SANYA RAM, PHILLIPA MALPAS, BOAZ SHULRUF, FIONA KELLY & SUSAN J. HAWKEN

University of Auckland, New Zealand

학업적 비정직성(Academic dishonesty)는 cheating, fabrication and falsifying, and plagiarism 등을 포함한다. 학업적 비정직행위가 널리 확산되면서 이 현상의 결정인자에 대한 관심이 촉발되고 있다. Jurdi 등은 학업적 비정직행위에 관한 태도가 실제 비정직행위에 가담할지를 결정한다고 주장했으며, 이는 theory of planned behavior와 일관된 것이다. 더 나아가, 그들의 모델에 따르면 학업적 비정직행위에 대한 태도나 그것에 가담할지를 결정하는 것은 인구통계학적/심리사회적/학업적/상황적 요인이 있다고 했다. 추가적으로, 도덕 및 윤리적 발달이 있는데, 비록 이론적이지만 학문적 진실성과 관련된다고 보고된 바 있다.

Academic dishonesty encompasses the areas of cheating, fabrication and falsifying, and plagiarism (Guthrie 2009). The prevalence of academic dishonesty has prompted an increas- ing interest into the determinants of this phenomenon (Jurdi et al. 2011). Jurdi and colleagues (2011) suggested that attitudes with respect to academic honesty determined actual engagement in dishonest behavior; this is consistent with established theories such as the theory of planned behavior (Ajzen 1991). Furthermore, according to their model, the antecedents that predetermine attitude to, and engagement in, academic dishonesty can be considered in terms of demographics, and psychosocial, academic, and situational factors (Jurdi et al. 2011). In addition, the area of moral and ethical development, albeit theoretically, has been linked to academic integrity (Hardigan 2004; Jurdi et al. 2011)

또한 남학생과 여학생 사이에 학업적 비정직 행위에 대한 차이에 대한 근거도 잇으나, 일부 연구에서는 남성과 여성 간 차이가 없다고 한 것도 있다.

There is also evidence suggesting differences with respect to engagement in academic dishon-esty between male and female medical students (Babu et al.2011). However, other studies have not found differences between male and female students in terms of engaging in academic dishonesty (Rennie & Rudland 2003; Bilic-Zulleet al. 2005; Jurdi et al. 2011). 

방법

Method

참가자와 샘플링

Participants and sampling

절차

Procedure

현실적 시나리오를 기반으로 함으로써 학생들이 그들의 professional context를 고려할 수 있고, 그 시나리오에 친숙함을 느끼게끔 했다. 구체적 문장은 다음과 같다.

Distinct from Hauser et al. (2007), this scenario was based on a realistic scenario so that students could consider their professional context and thus be familiar with this case. The wording the scenario was as follows:

스테픈스 의사는....Z라는 약이...

‘‘Dr Stephens is in charge of a patient who is seriously ill. All this patient needs in order to return to his good health is a small dose of drug Z. Unfortunately drug Z is extremely hard to get hold of. However, Dr Stephens knows a source. In order to get the drug she will have to steal it for her patient.’’

학생에게 질문은 다음과 같다.

Students were asked,

스테픈스 의사가 약을 훔치는 것을 인정할 수 있는가?

‘‘Is it ethically permissible for Dr Stephens to steal the drug for her patient?’’

6점 척도로 (절대 동의하지 않음 - 언제나 동의함) 평가하였고, 주관식으로 판단의 이유를 설명할 수 있게 했다.

Students were asked to appraise the case using a six-point Likert scale (from never agree to always agree). A commentary box was state their available below the case to allow students to reasons for their decision.

학업적 비정직행위에 대해서는 문헌에 등장한 구체적인 행동을 가지고 32개의 문항을 만들었다. 학생들은 "전혀 사실이 아님 - 매우 사실임"으로 6점 척도로 응답.

To measure self-reported engagement in academic dishon- esty, students were asked to respond to 32 items regarding specific behaviors often cited in the literature in the area of academic dishonesty Students were asked to rate each of the items in terms of a six-point Likert scale of ‘‘never true’’ to ‘‘very true.’’ For example,

• ‘‘using abbreviations written on arm during a written examination,’’
• ‘‘using hidden notes in written examinations,’’ and
• ‘‘copying from a neighbor during an examination without the person realizing.’’

좀더 해석을 명확하게 하기 위해서 32개 문항으로 EFA 수행

To provide greater clarity to the interpretation, this intial set of 32-items was examined using exploratory factor-analysis.

Incidence of academic dishonesty.

A multiple analysis of covariance model (MANCOVA) was used to appraise the level of association between the dependent variables (incidence of academic dishonesty) and the independent variables case responses, gender and course of study. Several covariates were also entered into the analytical model to control for potential confounding influences (SDE, age, and year of study). Both age and year of study were converted to two sets of dummy variables. For age, two dummy variables were coded, coding over 25 as 1 and all else 0 (older group) and 15–19 age group as 1 and all else 0 (younger group). In addition, to annul any problems with assumptions related to the cumulative effect of year of study we created a similar set of dummy variables. Henceforth, two dummy variables weregenerated: first year two was coded as 1 and all else 0 (younger year) and then year 4 was coded as 1 and all else 0 (older year).

Results

Participants

예비 분석

Preliminary analyzes

EFA에서는 학업적 비정직행위의 구체적 영역이 발견되었다.

The exploratory factor analysis revealed three identifiable factors that relate to specific areas of academic dishonesty.

• (1) copying relating to items that explicitly probed the notions of copying with or without crediting the source or manipulation of data;
• (2) cheating referring to items related to intentional engagement in the use of unauthorized material by deceptive or dishonest means; and
• (3) collusion in reference to items that imply collaborating withor aiding other students or ignoring actions by other studentsin relation to academic dishonesty.

이 영역에 따르면, 91% 학생이 copying에, 34%가 cheating에, 60%가 collusion 경험이 있음을 밝혔다.

According to these domains, 91% of students disclosed some form of engagementin copying, 34% in cheating, and 60% in collusion. 

학업적 비정직행위

Incidence of academic dishonesty

허용성permissibility 수준에 따라 고허용 그룹과 저허용 그룹으로 구분함

To explore the possibility of interactions, the responses tothe case scenario were converted to a categorical variable by considering the contrast between higher levels of permissibil-ity (ratings 4–6) versus lower levels of permissibility (1–3).Additionally, an inspection of the right skewed distribution of the response scores to the cases scenarios suggested that it would be sensible to create a dichotomous variable. Genderand course of study were also entered as independent variables. 

고찰

Discussion

가장 두드러지는 결과는 학생들이 학업적 비정직행위를 한 적이 있다고 밝힌 정도와(copying, collusion) 의사의 비도덕적 행위에 대해서 평가한 수준이 밀접하게 연관되어있었다는 점이다. 더 나아가서 collusion(공모, 결탁)은 성별/학년/전공에 따른 차이가 나타났다.

The foremost findings suggested that the way students disclosed engagement in academic dishonesty,namely copying and collusion, was linked to the way they rated a cases scenario related to a doctor stealing a drug for a patient in need. Moreover, a further aspect of academic dishonesty, collusion, was seen as a differential element with respect to gender, year, and course of study; 

학업적 비정직 행위에 가담Engagement

Engagement in academic dishonesty

전문직으로서의 행동은 지조있는principled 자세를 개발하고, 윤리적, 도덕적 딜레마를 해결하는 방식에 토대를 두고 있음을 시사하는 강력한 근거가 있다. 이 연구에 따르면 학업적 비정직행위에 가담하는 것은(copying, collusion) 학생들이 시나리오 사례에 응답한 것과 관련되어 있었다.

There is a strong argument implying that professional activities are likely grounded in the way people develop principled positions and solve ethical and moral dilemmas (Latif 2000). In reference to this study, engagement in copying and collusion were related to students’ responses to a case scenario

Granitz and Loewry 는 학생들이 다양한 윤리적 frames of reference 에 따라서 행동함을 보여주었다.(예컨대 rational self- interest 혹은 Machiavellianism (ethical egoism)) 내용 분석으로 표절 사례를 분석하여 이들은 대부분의 학생들이 deontology 와 유사한 frame of reference를 적용함을 밝혔다. 그러나 Granitz and Loewry 는 또한 많은 학생들이(18%) 잡힐 가능성이 매우 낮다는 전제 하에서는 다른 사람이 지불하는 비용을 통해 자신의 이익을 강조하는 시스템으로 frame되어 있음을 밝혔다.

Granitz and Loewry (2007) have suggested that students operate from varying ethical frames of reference such as rational self- interest or Machiavellianism (ethical egoism). By appraising plagiarism cases using content analysis, they found most students apply a frame of reference akin to deontology through fundamental considering duty and respect for human rights. However, Granitz and Loewry also determined that many students (18%) were framed according to a system that emphasized self-interest at the expense of others, with the proviso that they have a high probability of not getting caught.

성별과 전공에 따른 차이

Gender and course differences

본 연구의 결과는 성별에 따른 차이도 보여주는데, 남학생에서 collusion형태의 학업적 비정직행위가 더 흔하게 나타났다.

The findings of this study also indicated a gender difference whereby male students disclosed higher levels of academic dishonesty in the form of collusion than female students.

• 남학생이 동료들과 더 비정직한 학습환경에서 공부하고 있을 가능성
  This implies that male students are more likely to be working with others in a dishonest learning environment whether by engaging ignoring behaviors or in peer-related behaviors.
• 남학생이 더 tolerant하다는 근거
  This finding supports evidence to suggest that male students are more tolerant towards unacceptable behavior, as noted during group work activities, than female students and this may be related to differences in sensitivity towards context (Underwood 2003).

성별 간 차이에 따른 또 다른 설명

Several other explanations for gender differences have also been posed in the literature, including

• 동기 차이 motivational differences (male students are more extrinsic compared the intrinsic nature of female students) (Hardigan 2004),
• 여자 비율 높음 female dominance in pharmacy (Aggarwal et al. 2002),
• 여학생이 더 위험-회피적 female students may be more risk-averse (Baker Jr & Maner 2009; Gupta et al. 2009), and
• 남학생이 더 사회적 이미지에 쉽게 영향을 받음. 상대적으로 여학생은 독립적 male students are more easily affected by social image compared to the independent nature of female students (Aggarwal et al. 2002).

Jurdi 등은 남학생과 여학생 간에 사회적 책무성에 대한 인식이 다르나, 이 차이가 명확히 이해되거나 설명되고 있지는 않다고 하였음. 선택과 고집choice and persistence과 관련한 설명도 있는데, 예컨대 여학생이 선택에 있어서 좀 더 보수적이고, 남학생보다 전통적인 규범을 고집하는 경우가 많다.

Even though they did not find a significant gender result in their study, Jurdi and colleagues (2011) identified that there are different notions of societal responsibility between male and female students and the impact of these differences are not clearly understood or explained in the literature. There may also be an explanation related to choice and persistence (Pintrich & Zusho 2007); for example, female students may be more conservative in their choice and may likely persist with conventional norms than male students (Hardigan 2004).

어린 학생들이 더 비정직한 행위를 할 가능성이 높다는 것을 보여준 다른 연구들도 흥미로우나 이번 연구에서는 그렇지는 않았다.

It was interesting to note that other studies have suggested that younger students may be more predisposed to dishonest behaviors than older students (Hardigan 2004), but in this study no age effects were noted.

결론과 권고

Conclusion and recommendations

Granitz and Loewry 는 학생들은 서로 다른 ethical frames of reference를 가지고 있으며, 따라서 학생들이 어떻게 복잡한 윤리적 딜레마를 풀기 위하여 서로 상호작용work하는지 초기에 발견하는 것은 교육자들이 위험의 소지가 있는 학생들을 찾아내거나 단체상황에서 어떤 행동을 할 것인지 예측gauge할 수 있어서 향후의 행동을 미연에 방지할 수 있기에 중요함. 더 나아가서 케이스 시나리오는 윤리/도덕적 추론 수준을 측정하는데 활용할 수 있어서 대학기간 뿐 아니라 미래 행동의 implication으로서 사용될 수 있다. 학생들이 윤리적 도덕적 딜레마에 공모collude하는 방식은 교육 초기에 다뤄져야 하며, 이를 통해서 학생들이 전문직으로서 행동을 엄격하게 하도록  잘 준비하여야 한다.

A useful study, Granitz and Loewry (2007) suggest that students employ different ethical frames of reference, and therefore, early detection in relation to how students work with each other in solving complex ethical dilemmas may alert educationists to at-risk students or to gauge how students construct behavior in group situations, thus pre-empting later disciplinary action. Moreover, the case scenario approach could be used to gauge levels of ethical and moral reasoning (Kohlberg 1975; Hauser et al. 2007), which can then be discussed in line with professional conduct both at university as well as implications for future practice (Papadakis et al. 2004). The ways in which students collude to address ethical and moral dilemmas need to be discussed early in their training so that they are adequately prepared for the rigors of professional practice whether it is medicine or pharmacy.

Granitz N, Loewy D. 2007. Applying ethical theories: Interpreting and responding to student plagiarism. J Bus Ethics 72(3):293–306.

Hauser M, Cushman F, Young L, Jin RK-X, Mikhail J. 2007. A dissociation between moral judgments and justifications. Mind Lang 22(1):1–21.

Simkin MG, McLeod A. 2010. Why do college students cheat? J Bus Ethics 94:1–13.

Med Teach. 2013 Jun;35(6):e1211-7. doi: 10.3109/0142159X.2012.737962. Epub 2012 Nov 12.

Academic dishonesty and ethical reasoning: pharmacy and medical school students in New Zealand.

학부의학교육에서 EPA의 활용 사례(Acad Med 2015)

The Case for Use of Entrustable Professional Activities in Undergraduate Medical Education

H. Carrie Chen, MD, MSEd, W.E. Sjoukje van den Broek, MD, and Olle ten Cate, PhD

AAMC는 최근 전공의 입학생을 위한 13개의 EPA의 draft set을 발표하였으며, 의과대학들로 하여금 이것을 졸업생들의 성과를 평가하는 기준으로 삼게끔 권고하였다.

The Association of American Medical Colleges (AAMC) recently published a draft set of 13 core entrustable professional activities (EPAs) for entering residency and encouraged medical schools to consider them in determining outcomes for graduating students.1

성과-바탕 접근법을 의학에서의 교육과정 설계와 운영, 학습자 평가와 교육과정 개발에 활용할 것에 대한 제안은 1970년대부터 있어왔으며, 1990년대부터 점차 많은 관심을 받고 있다. 국제적으로 학습자 성과에 대해 점차 더 강조가 되는 이러한 현상은  CBME라고 불리며, 의학에서 수련을 마칠 때 기대되는 수행능력을 좀더 명확히 규정할 것을 강조하는 것이다.

The idea of an outcomes-based approach to curricular design and implementation as well as learner assessment and curriculum development has been proposed in medicine since the 1970s, and it has gained increasing attention since the 1990s.3 This international movement towards greater emphasis on learner outcomes is known more widely as competency-based medical education (CBME) and is compelling the delineation of clearer performance expectations for graduates of medical training.3,4

ACGME의 core competency domain과 같은 CBME 프레임워크를 도입하는 교육자들이 갖는 한 가지 우려는, 이것이 환자를 돌보는데 있어서 실제 수행능력에 대한 성과를 잘 잡아내지 못한다는 것이다. 이들 저자들은, 부분이, 즉 개인이 가지는 개별 역량 영역들의 합이, '진료'라는 전체를 이루지 못한다고 지적한다.

One concern of educators is that the adopted CBME frameworks, such as the Accreditation Council for Graduate Medical Education core competency domains in the United States, do not fully capture or focus on the actual performance outcome of caring for patients.3–8 These authors argue that the parts, or the abilities within individual competency domains, do not add up to the whole of practice.4

또한, 한 가지 상황에서 환자 진료를 잘 할 수 있다는 것이 다른 상황이나 맥락에 반드시 적용translate되는 것도 아니다.

Also, the capability to provide patient care in one context or clinical circumstance may not necessarily translate to other contexts and circumstances.

마지막으로, '객관적으로 측정가능한' 학습자 능력에 대한 평가에 초점을 맞추면서, 오히려 어떻게 학습자가 다양한 임상환경에서 실제로 환자를 보는가에 대해서는 멀어질 수도 있다. 교육자들은 '수행능력 성과performance outcome'란 임상진료가 이뤄지는 맥락 안에서 구성framed 되어야 하며, 전문가로서의 발달과정은 다양한 영역의 역량에 걸친 통합과 보건의료환경에 대한 적용이 요구된다고 주장한다. EPA라는 개념은, CBME관련 프레임워크에서는 비교적 새로운 개념이며, 이러한 우려를 해소하기 위하여 도입되었다.

Lastly, the focus on objective assessment of measurable learner abilities may detract attention from the assessment of how learners actually care for their patients in a variety of clinical contexts. Educators have argued that performance outcomes should be framed in the context of clinical care, recognizing that professional development requires the integration of abilities across multiple competency domains and application within the health care environment.3,6,8–10 The concept of EPAs, a relatively new CBME- related framework, was introduced as a potential solution to these concerns.9,11

EPA란 한 전문직에게 신뢰하고 수행을 맡길 수 있는 전문직으로서의 필수적 활동을 의학교육의 성과로 조작화operationalize하는 것이다. 예를 들어 “care of complicated pregnancies.”라는 EPA가 있다면, 여기에는 다양한 역량영역이 관여되고(지식, 의사소통, 프로페셔널리즘), 이 지식/술기/태도의 통합을 필요로 한다. 전통적 역량 프레임워크에서 개개인의 퀄리티에 초점을 맞췄담ㄴ, EPA는 완수되어야 하는 업무의 퀄리티에 초점을 둔다.

EPAs operationalize medical education outcomes as essential professional activities that one entrusts a professional to perform.12 An example of such an activity is “care of complicated pregnancies.”5 Each EPA is a synthesis of multiple competency domains (e.g., medical knowledge, communication skills, and professionalism) and requires the integration of knowledge, skills, and attitudes.12 Whereas traditional competency frameworks focus on qualities of the person, EPAs focus on qualities of the work to be completed.5

우리의 답은 '그렇다'이다. EPA는 UME에 나름의 자리가 있고 도움이 될 것이다.

We believe the answer is yes; EPAs do have a place in and can be advantageous for UME.

근무지(기반)학습은 근무현장에서의 참여를 통한 경험적 학습으로 정의할 수 있으며, 임상교육의 핵심이다. GME에서는 근무지(기반)학습이 가장 중요한 부분으로 여겨지고 있는데, 우리는 UME에서도 이것이 필수적이라고 주장하고자 한다. 혹자는 전임상시기의 학습은 교실-기반의 지식에 초점이 맞춰져 있어서 ,EPA의 역할이 없을 것이라고 말한다. 그러나, 교육자들은 오래 전부터 다음을 주장해왔으며, 의과대학도 점차 이것들을 반영하고 있다.

Workplace learning, defined as experiential learning through participation in the workplace, is at the heart of clinical education.19,20 While workplace learning has been recognized as the crux of GME, we would argue that it is also essential for UME. One could argue that preclerkship learning is knowledge- focused classroom-based learning in which workplace learning and therefore EPAs (which are workplace activities) do not have a role. However, educators have called for, and medical schools have increasingly incorporated,

• early/preclerkship workplace-based clinical education to help students in their professional identity formation,
• provide exposure to aspects of patient and community health, and
• develop student–patient communication skills.21

조기임상노출과 임상에서의 책임을 점진적으로 증가시키는 방식으로 수직적으로 통합된 임상교육과정이 졸업생의 임상역량을 향상시키는 것으로 나타나며, 레지던트로서의 이행을 더 잘 준비하게 해주는 것으로 나타난다. 또한 의과대학 1학년 학생들도 기회가 주어지고, 역할이 명확하고, 적절한 support가 있다면 임상 현장에서 참여하고 기여할 수 있음이 보여진 바 있다.

Vertically integrated clinical curricula with early clinical experiences and increasing clinical responsibilities over time have been shown to improve clinical capabilities in graduates and their preparation for transition to residency.22 In addition, students in even the first year of medical school have demonstrated the ability to participate in and contribute to the clinical workplace when given the opportunity, clear roles, and adequate support.23

임상근무환경에서 신뢰trust는 학습자를 관리감독supervision하는데 있어서 핵심 요소이다. 이 '신뢰'는 다양한 요소(supervisor, learner, supervisor– learner relationship, situational and workplace context, and activity to be performed)에 기반을 둔 판단이다.

In the clinical workplace, trust is a key element of the supervision of learners. This trust is a judgment grounded in multiple factors related to the supervisor, learner, supervisor– learner relationship, situational and workplace context, and activity to be performed.24

학생이 맡는 업무에 대한 인정과 질 관리

Recognition and quality assurance of student work

임상근무환경에서의 활동을 중심으로 학생의 능력을 바라보는 것은 장점이 있다.

Attention to student abilities framed around clinical workplace activities has several advantages.

EPA는 학생들의 조기임상참여의 특성을 명확히 해주며, 시간에 걸쳐 책임을 점진적으로 증가시켜준다. 이는 의과대학을 갓 시작하는 시점에서부터 학생들어 어떻게 진료에 기여할 수 있는가를 명확하게 설명해주며, 학생들의 기여와 그들이 진료에 더하는 가치value add to patient care를 볼 수 있게visible해준다. 이와 같이 학생의 역할work에 대해서 '정의'하고 '인정'해주는 것은 교육자들로 하여금 학생들의 성과output을 학생들의 학습목표goals와 동기부여, 기관 차원에서의 기대, 사회적 요구 등과 합치align될 수 있게 해준다. 학생들의 참여 수준을 명시적으로 인정해주고, 학생이 위탁받아entrusted 할 수 있는 활동을 명확하게 해주는 것은 임상근무환경의 quality와 safety를 향상시켜준다 또한 하여금 어떻게 우리가 안전한 진료를 위한 의무를 다하고 있는지 대중들에게 투명하게 보여줄 수 있고, 교육병원에 있어서는 규제사항regulatory needs를 지키는 것에도 도움이 된다.

EPAs can help clarify the nature of students’ early clinical engagement and increasing responsibilities over time. They also allow articulation of how students can contribute to the care of patients from the very beginning of medical school, and make visible these student contributions and the value they add to patient care. This definition and recognition of student work can help educators align student output with student learning goals and motivation, institutional expectations, and societal needs. Explicit recognition of levels of student participation and clarity around activities that can be entrusted promote quality and safety in the clinical workplace. It can increase transparency for the public about how we are addressing our obligation to provide safe care and may even be helpful for teaching hospitals to meet regulatory needs.

추가로, 이해관계자들이 학생들에 의한 기여가 안전하고, 충분한 가치를 더한다고 확신했을 때, 학생들에게 환자 진료에 대한 더 많은 책임과 참여가 주어질 수 있다.

In addition, when stakeholders are able to ensure that the contributions made by students are safe and value-added, students may be allowed to assume greater responsibility and participate even more actively in the provision of patient care.

고려사항

Considerations

UME학습의 상당부분이 지식과 기초적 skill-building에 집중되어 있고, 교실에 제한되어 있어, 이에 대해서는 EPA가 직접적 역할을 하지 못함을 인정한다. 그러나 UME의 최종 성과는 EPA로 잘 확인할 수 있다.

We acknowledge that a significant amount of UME learning is focused on knowledge and foundational skill- building and limited to the classroom, where EPAs do not have a direct role. However, the final expected outcomes of UME training can be captured by EPAs

EPA는 Lave and Wenger 가 말한 professional community of practice에 들어온 초기 학습자들을 위한 정당한 주변부 참여legitimate peripheral participation의 핵심이 될 수 있다.

We believe that EPAs may be an excellent key to the legitimate peripheral participation recommended by Lave and Wenger for early learners in a professional community of practice.28

따라서 또 다른 접근법은 UME 특이적 EPA를 개발하는 것이다. 이 EPA는 궁극적으로 서로 통합되어 더 큰 EPA를 구성하거나, 더 큰 EPA내에 nest되어있어서 GME 수준의 활동의 토대가 되는 것들로 이뤄질 수 있다.

Therefore, another approach would be to develop UME- specific EPAs that represent subsets of activities that will eventually integrate together and nest within broader EPAs to provide the foundation for GME- level activities.

대안적으로, GME를 시작하는 모든 의사들은 시작하는 바로 첫 날 특정 활동에 대한 위임enstrusted를 받을 수 있는데, 이것이 UME의 core EPA를 정의하는 시작점이 되고, AAMC의 접근법이기도 하다.

Alternatively, all beginning GME learners are entrusted with certain activities on day one of their training, such as gathering a history and performing a physical examination appropriate to the clinical situation. These can serve as a starting point for defining core EPAs for UME. This is the approach taken by the AAMC.

전공과별로 요구되는 EPA가 다를 수도 있다. 외과 레지던트 vs 정신과 레지던트. 의과대학에서 보다 일반적인generic 준비를 시켜야 하는지, 아니면 보다 특화된specialized 준비를 시켜야 하는가에 대한 토론은 현재진행형이다. 현재로서는 의과대학 졸업새은 초기 단계의 전공과-특이적 skill과 함께 core skill을 갖추어 졸업하게 되며, 전공과-특이적 skill은 의과대학 4학년의 일렉티브를 통해서 습득한다.

For instance, the expectations for a beginning surgical resident are generally different from those for a beginning psychiatry resident. Discussion about whether medical school should prepare graduates in a generic or in a more specialized approach is ongoing.2,17 At the moment, medical students graduate with core skills as well as early specialty-specific skills, mostly gained through electives in their final year of medical school.32

이러한 전공과-특이적 EPA는 GME수준의 EPA와 보다 직접적으로 연결될 수 있으며, level of entrustment의 달성 수준은 학생의 진로에 따라 다를 수도 있다. 조작화가 잘 된다면, 이러한 전공과-특이적 EPA는 다음에 도움이 될 수 있다.

These specialty-specific EPAs would link more directly to GME-level EPAs, and the level of entrustment that should be achieved would differ by student based on career path. If operationalized properly, these specialty- specific EPAs could

• 4학년 상담에 도움 ease advising during the fourth year,
• 레지던트 들어가기 위한 준비에 도움 ensure more adequately prepared entering residents, and
• 정규과목 외의 'boot camps'의 필요성을 낮춰줌 obviate the need for extracurricular “boot camps”33–35 before or during residency.

마지막으로,

• 모든 학생들에게 요구되는 basic core EPA와
• 일부 특정과를 지망하는 학생들에게 요구되는 specialty- specific EPAs 외에,
• 개인의 흥미와 관심에 따라 달성할 수 있는 optional EPAs

를 정의할 수도 있다.

Lastly, in addition to the basic core EPAs mandatory for all students and specialty- specific EPAs mandatory for students preparing for specific GME programs, we could define optional EPAs that individual students could achieve on the basis of their capacities and interest.

GME에서 entrustment and supervision scale 는 5단계로 구분된다. 의과대학생은 supervision 없이는 진료를 할 수 없을 것이다. 따라서 GME 스케일을 그대로 쓰면 level 1부터 level 3까지만 가능할지도 모른다. 따라서 UME에서는 더 레벨을 추가하여 세세한 발전granular progression을 볼 수 있게 해야 할 것이다.

The GME entrustment and supervision scale uses five different levels of supervision to define the levels of entrustment, providing few levels of gradation for the beginning learner19 (see Table 2). As noted previously, medical students may never practice without supervision. Under the GME entrustment and supervision scale, students would only progress from level 1 (not allowed to practice EPA) to levels 2 (practice EPA under proactive/full supervision) and 3 (practice EPA under reactive/on-demand supervision) for most activities. Therefore, it may be helpful and more practical for UME to include additional levels resulting in more granular progression in the decrease in supervision.

현재의 entrustment and supervision scale 를 그대로 사용하되, 하위 레벨에서 더 gradation을 두는 것을 권고한다.

We therefore recommend using the current entrustment and supervision scale but expanding the lower levels of the scale to include more gradations of supervision, allowing additional layers of progressive learner autonomy.

AAMC가 권고한 바와 같이 UME특이적 EPA를 개발한다면 UME에도 EPA가 작동할 수 있을 것이다. 그러나 AAMC의 권고안을 넘어서는 것이 필요하며, 여기에는 전공과-특이적, 그리고 일렉티브 EPA를 포함하고, entrustment scale을 확장하여 추가적 gradations of supervision을 넣어야 한다.

We believe EPAs can be operationalized for UME if we develop UME-specific EPAs, as suggested by the AAMC. However, we should expand beyond the AAMC recommendations to include EPAs that represent specialty- specific and elective professional activities and further refine and expand the entrustment scale to include additional gradations of supervision.

1 Association of American Medical Colleges. Core Entrustable Professional Activities for Entering Residency (CEPAER). AAMC CAPAER Drafting Panel Report. Washington, DC: Association of American Medical Colleges; 2014. https://www.mededportal. org/icollaborative/resource/887. Accessed September 30, 2014.

The case for use of entrustable professional activities in undergraduate medical education.

의학교육의 차 우려내기 또는 아이-닥터 모델(Acad Med, 2010)

A Tea-Steeping or i-Doc Model for Medical Education?

Brian David Hodges, MD, PhD

중요한 보고서들 Appendix 1

(In the Appendix, I have listed some of the recent reports that I think are particularly important.)

현재, 역량개발과 관련하여 두 가지의 영향력 있는 모델이 서로 조화하지 못하는 살태로 존재하고 있다. 전통적인 모델은 시간-기반 모델로서 입학이나 교육과정 설계와 같은 프로세스에 초점을 둔다. 더 새롭게 등장한 모델은 성과-기반 모델로서, 최종 산출물product의 기능적 역량에 더 초점을 둔다.

Currently, two powerful models of competence development are operating at odds with one another. The traditional one is time-based and directs attention to processes such as admissions and curriculum design. The newer one is outcomes-based and focuses more on the functional capabilities of the end product (the graduate student, resident or practicing physician).

플렉스너의 유산

The Flexner Legacy

플렉스너가 전례없는 범위의 프로젝트를 수행하고, 20세기 초 대규모의 개혁을 불러온 보고서를 쓴 것은 맞지만, 그의 보고서를 유심히 보면 플렉스너가 권고한 것 중 일부만 실제로 도입되었음을 알 수 있다.

While there is no question that Flexner carried out a project of unprecedented scope and wrote a compelling report that led to large-scale reform in the early twentieth century, a careful read of his report reveals that only some of his recommendations were actually adopted.

여전히 2010년 플렉스너의 유산은 몇 개자 핵심적 요소로 축소되어 있다; 의과대학이 대학의 한 부분으로서 운영되고 있으며, 과학에 초점을 두고, 전임상 기초과학과 임상수련의 이분 구조로 되어있는 것이다. 그러나 그의 보고서에서 의료전문직에 대한 사회적 요구와  기대에 대한 여러 이슈를 다뤘다. Whitehead는 예를 들어, 플렉스너의 1910년 주장에 대해서 "의사의 기능은 빠르게 (개인적, 치료적인 것으로부터) 사회적, 예방적으로 바뀌고 있다." 라고 재발견하면서 1925년에는 심지어 플렉스너 그 자신조차 지나치게 의학의 "실증주의적, 과학적 측면"만 강조되는 것에 그다지 만족하지 못한다고 하면서 의사들이 "슬프게도 문화적, 철학적 background가 부족하다" 라고 말했다. 플렉스너의 진단이 과학적으로 rigor하진 않고 그가 과학에 굳건한 토대를 둘 것을 권고했지만, 의사 교육에 관한 그의비전은 그 외에도 다른 많은 영역을 포함하고 있다.

Yet in 2010, the Flexner legacy is often reduced to a few core elements: the move of medical schools to universities and the focus on science and the binary structure of preclinical basic science study followed by clinical training. However, in his report he discussed many issues related to societal needs and expectations of the medical profession. Whitehead,2 for example, uncovered Flexner’s 1910 argument that “the physician’s function is fast becoming social and preventative, rather than individual and curative”1 and points out that by 1925 even Flexner himself was unhappy with the way an overemphasis on the “positivist and scientific aspects” of medicine had become completely dominant, rendering doctors “sadly deficient in cultural and philosophic background.”3 While Flexner’s diagnosis was a lack of scientific rigor, and his prescription was a strong grounding in science, his vision for physician education included many other dimensions.

예를 들어서, 플렉스너 시기에 이미 의학과 관련하여 과학에 대한 담론이 진행중이었고, 의학교육과 과학을 합치시켜야할 필요성이 주장되고 있었다. 따라서 이러한 측면에서 플렉스너의 권고는 비교적 쉽게 시행되었다.

For example, it has been argued that scientific medical discourse was already prominent by the time Flexner articulated the need to align medical education with science.4 Thus his recommendations in this regard were adopted with relative ease.

African American이나 여성 의사 교육에 특화된 의과대학의 문을 닫게 한 결정도 있다. 21세기에는 놀랄 일이지만, 페미니스트 역사학자들은 1910년 당시 여성이 지적으로 열등하고 과학 공부에 부적절하며 의학교육과 의료에서 요구되는 것을 감당하지 못한다는 주장이 있었다. 평등한 입학을 지지하는 주장은 1970년대에 이르기 전까지는 등장하지 않았다. 따라서 뉴욕타임즈가 1910년 "카네기 재단의 전국적으로 다수의 저질 의사가 양성되고 있음을 보고함"이라는 제목을 단 것도 놀랍지 않은데, 왜냐하면 문제있는inferior 의과대학을 닫는다는 말에는 , 적어도 일부분은 , AA나 여성을 교육하는 기관을 닫는다는 것을 포함했기 때문이다. 마지막으로, inferior 학교들이 기준을 올리도록 하는 대신 그것들을 폐쇄시킨다는 것은 20세기 초반 기관의 개혁과 대중의 통제가 '향상' 보다는 '폐쇄'에 더 관심이 있었던 것을 반영한다. 100년이 지난 후, 우리는 '평등'과 'CQI/인증'을 논하고 있다.

One such outcome was the closing of medical schools specializing in the education of African American or women doctors.5 Though shocking in the 21st century, feminist historians have documented the arguments of 1910 that women were intellectually inferior, inadequately adapted to the study of science, and unable to cope with the demands of medical education and practice.5 A discourse that supported more equitable admission to medical schools did not fully emerge until the 1970s.6 So when a New York Times 1910 headline screamed “Carnegie Foundation’s Startling Report [shows] That Incompetent Physicians are Manufactured Wholesale in This Country,” it is not surprising (though no less tragic) that closing inferior medical schools meant, at least in part, closing those educating African Americans or women. Finally, the fact that inferior schools were be closed, rather than helped to raise their standards, is also reflective of an early 20th-century discourse about institutional reform and public regulation that was more about closure than improvement. One hundred years later, we use new discourses about equity and continuous quality improvement/ accreditation that would make responses to a Flexner-like report much different.

역량 개발 관련 모델

Models of Competence Development

의학에서 '역량'이란 용어를 꺼내는 것은 그렇게 단순하지 않은데, 왜냐하면 역량이라는 용어가 '만능god term'으로 사용되기 때문이다. "레토릭상으로 최고 패trump card이다. 어떻게 의료전문직 교육이 작동해야 하는가에 대한 토론에서 맨 마지막 용어로 정기적으로 등장한다". 이 용어는 무수히 다양한 의미로 어찌나 널리 사용되는지, 거의 아무것도 의미하지 않는 위험에 있을 지경이다. 다른 곳에서 나는 어떻게 역량에 관한 담화가 언어/행위/역할/기관에 따라 다를 수 있는지를 지적한 바 있다. 이러한 담화는 지식으로서/수행능력으로서/성찰로서/psychometric하게 신뢰도있는 시험점수로서/산출물로서의 역량 등이 포함된다.

Simply broaching the subject of medical competence is a challenge because the term competence has become what Lingard has called, after Burke, a god term: “a rhetorical trump card, regularly played as the last word in debates about how health professions education should function.”7 The termis so widely employed, with so many different meanings, that it risks meaning nothing at all. Elsewhere I have characterized how different discourses of competence make possible specific language, practices, roles, and institutions. These discourses include competence as knowledge,as performance,as reflection,as a psychometrically reliable test score, and as a product.8,9

역량에 관한 다양한 담론은 역량개발에 대한 다양한 모델이 등장하게 했다.

Various discourses about competence also lead to different models of competence development.

전통적인 시간-기반 모델에서, 역량의 담화는 '지식'과 뗄 수 없는 것이었으나, 이것은 1970년대에 '수행능력'으로서의 역량으로 진화하였으며, 최근에는 '성찰'로서의 역량이라는 아이디어가 도입되었다. 대조적으로 성과-기반 모델은 psychometric 담화에 토대를 두고 있으며, 최근에는 효율성과 표준화의 개념을 강조하는 '제품생산production' 담화를 들여오고 있다.

The traditional time-based model, originally tied to a discourse of competence as knowledge, evolved to competence as performance in the 1970s and more recently incorporated the idea of competence as reflection. The outcomes- based model, by contrast, has roots in psychometric discourse and has recently incorporated a production discourse that emphasizes notions of efficiency and standardization.

우리가 오늘날 해결하려는 문제는 무엇인가?

What Problems are We Trying to Solve Today?

미국에서 카네기 재단과 Cooke, Irby, and O’Brien 연구진은 최근 'Educating Physicians: A Call for Reformof Medical School and Residency' 보고서를 발표했다. 이 보고서는 현재 의학교육을 심층적으로 분석하고 있다.

• In the United States, the Carnegie Foundation and a team led by Cooke, Irby, and O’Brien recently released Educating Physicians: A Call for Reformof Medical School and Residency.6 The report contains an in-depth analysis of the current state of medical education based on literature reviews and extensive consultation, including visits to American medical schools.

The Future of Medical Education in Canada Project 보고서는 최근 1차 보고서를 완료했다.(UME)

• The Future of Medical Education in Canada Project has recently completed phase one (undergraduate education), including literature reviews, key informant interviews, and focus groups held across the country. A postgraduate phase is under way and will be followed by a third phase on continuing education.10

미국 보고서의 네 영역

The U.S. report describes four key areas for reform:

• standardizing outcomes and individualizing training,
• integrating knowledge and clinical skills,
• developing “habits of mind” that include inquiry and innovation, and
• putting an emphasis on professional identity formation.

캐나다 보고서에서 제안하는 변화영역

The Canadian report also calls for substantial changes in medical education, including

• revisiting the social responsibility of medical schools,
• adapting admission processes,
• integrating basic and clinical sciences,
• addressing the hidden curriculum,
• fostering inter- and intraprofessional collaboration,
• encouraging generalism and community focus, and
• moving toward outcomes-based education.

둘 모두 다음의 것들을 요구한다.

Both reports call for

• new and innovative pedagogy,
• learning in context,
• mentoring/ coaching models that involve extensive feedback, personal reflection, and a continuum of learning based on a flexible and developmental approach.

이 새로운 보고서들은 의사들의 adaptability, flexibility, and alignment with social need 부족을 지적하고 있다.

These new reports appear to focus more on physicians’ lack of adaptability, flexibility, and alignment with social need.

두 보고서 모두 CME를 깊이 다루고 있지는 않지만, CME 관련 교육자들은 사회적 요구에 부응하기 위해서 더 장차 큰 역할을 하게 될 CME의 중요성을 설명하기 위해노력하고 있다. 두 가지 모델 사이에서 고군분투중이다.

While neither report dealt with continuing education in depth, educators working in that domain are also elaborating priorities for a future in which there will be a much greater role for lifelong learning that responds to social need.11 Continuing educators are also struggling with a tension between a vision of competence that is

• 자기주도/자기평가/자기조절 self- directed and based on internal self- assessment/self-regulation and
• 제3기관의 평가에 기반한 외부평가(재인증) a model of external assessment (including recertification) that is based on third-party assessment of knowledge and skills.12

이에 따라 '과도한 외부시험'과 '자기평가의 오류와 한계'를 조화시킨 guided self-assessment의 개념이 떠오르고 있다.

Thus a concept of guided self-assessment is emerging in continuing education as an attempt to reconcile the distorting effects of too much external testing with an honest appraisal of the limits and fallibility of self-assessment.13

의학의 과학적 기초를 강화하고자 했던 플렉스너가 그렸던 비전과 달리, 오늘날의 개혁은 context, culture, professional socialization에 관한 것이다.

Unlike the reforms that Flexner envisioned to bolster the scientific basis of medicine, the reforms proposed today are about context, culture, and professional socialization.

미국의 보고서에서 '학습성과의 표준화'와 '학습과정의 개별화'라는 것을 모두 찾을 수 있다. 아래에서 말할 것이지만, '성과의 표준화'는 도입될 것이 거의 확실한데, 왜냐하면 '성과모델'과 '제품생산'담화가 지배적이기 때문이다. 그러나 두 번째인 '과정의 개별화'는 전혀 다른 것이다.

In the U.S. report’s recommendations we find “standardization of learning outcomes” and “individualization of the learning process” bundled together. As I will argue below, it seems almost certain that the first—standardization of outcomes—will be adopted, because it is aligned with both the outcomes model and a dominant production discourse. But the second— individualization of the learning process—is something else entirely.

역량개발의 두 가지 대립되는 모델

Two Competing Models of Competence Development

시간-기반 모델: 티백 담그기

A time-based model of competence development: Tea-steeping

플렉스너가 의학교육이 강력한 과학적 토대를 갖춰야 한다고 주장하던 시절, 제멋대로였던 길드를 엘리트 의과대학으로 들여오는 것은 어렵지 않았다. 그러나 한 번 그렇게 들어온 이후, 의과대학은 사실적 지식의 축적과 학생의 정보 재생산능력을 시험함으로써 역량을 개념화 오랜 전통을 가진 기관에 들어온 것이 되었다.

By the time Flexner argued that medical education should have a strong basis in science, Bringing an unruly guild into elite universities was certainly not without its difficulties.16 But once there, medicine joined an institution with a long tradition of conceptualizing competence as the accumulation of factual knowledge and of examining students’ ability to reproduce information.

대학에 자리를 잡은 이후 UME는 기초과학을 일정 기간 학습(전통적인 대학 모델과 잘 맞음)한 뒤 임상경험을 일정 기간 쌓는(보건의료기관 및 다른 비학문세팅과의 파트너십을 요구하는 약간은 어색한 학문적 arrangement) 식으로 구성되게 되었다. 연속된 이 두 가지의 교육훈련 기간은 약간씩 변해왔는데 20세기 중반 북미에서는 3:1이었던 반면, 이제는 2:2로 변화하였고, 유럽에서는 나라마자 조금씩 다르나 대략 4:2정도 된다. 이러한 변화에도 불구하고 본질적으로 이분화된 UME는 거의 100년간 그대로 유지되어왔다.

When it found a home in universities, undergraduate medical education came to consist of a fixed period of training in foundational and basic sciences (something that fit well with a traditional university model) followed by a fixed period of clinical experience (a slightly more awkward academic arrangement that required partnerships with health care institutions and other nonacademic settings). The duration of these two sequential training periods has varied slightly over time and place: 3 1 until the mid 20th century in North America, moving to 2 2 in most schools; roughly 4 2 in Europe with variations by country. Despite these changes, the essential binary nature of undergraduate medical curricula has remained largely the same for a century.

PGME는 일정 기간의 훈련을 거친다는 면에서 비슷하나, 대체로 대학과는 약간 거리를 둔arms-length 병원affiliated health care institutions에서 진행된다.

Postgraduate education similarly is organized around a fixed number of years of training (two to six years depending on specialty) but has remained largely at arms-length from universities by creating a series of clinical rotations in affiliated health care institutions.

• early clinical exposure,
• problem-based learning schools
• integrate basic sciences into clinical clerkship and residency rotations.

그러나, 여전히 졸업을 할지 말지 결정하는 일차적 요인은 (거의 100%의 경우에) 교육훈련 프로그램에 소비한 시간이다.

However, the primary determination of graduation (almost 100%of the time) remains the length of time spent in the training program.

지난 수십년간, 시간-기반 모델은 두 가지 요소에 초점을 맞춰왔다. 하나는 입학기준이고 다른 하나는 교육과정 내용이다. 이 두가지 접근법 모두, 앞의 비유를 확장하자면, 어떻게 차를 우려내는지에 대한 방법을 바꾸는것이다. 처음에 '입학'은 찻잎을 바꾸는 것이다.

Over the past few decades, changes in time-based models have focused on two elements: admission criteria and curriculum content. Both of these approaches, to extend the metaphor, relate to changing the way the tea is made. The first – admission – is about changing the tea leaves.

이러한 논란의 극단적 사례는 프랑스인데, 의과대학 입학에 있어서 매우 rigorous한 평가를 시행한다. premed과정을 마친 학생 중 17%만이 의학교육을 이어서 받게 되며, 졸업시험/인증/면허시험 등은 존재하지 않는다. 따라서 거의 모든 관심의 초점은 입학기준과 premed학생의 좋은right 자질에 맞춰져 있다.

An extreme example of this debate goes on in France, a country with a very rigorous assessment process for admission to medical school. Only 17%of those who complete the first premedical year continue studies, and there is no exit assessment, certification, or licensure examination. Thus a great deal of attention is focused on the criteria for admission and the right qualities of a premedical student.17

또 다른 방식인 교육과정 내용을 바꾸는 것은, 찻잎이 담겨지는 물의 특성과 온도를 바꾸는 것이다. '찻잎은 따뜻한 물을 부을 때까지는 그들의 진짜 향을 드러내지 않는다'라는 오랜 격언이 있다. 여기에는 잠재적 교육과정과 의과대학에서 이뤄지는 다양한 사회화 프로세스 등도 포함된다.

The other popular thrust – changing curricular content – is about adjusting the nature and temperature of the water, the environment into which the tea leaves are immersed. An old adage has it that tea leaves do not reveal their true flavor until put into hot water. This includes attention to the hidden curriculum18 and the various socialization processes that take place.

역량을 평가하는 것은 시간-기반 모델에서 언제나 문제였다.

Assessment of competence has always been a problem in the time-based models.

고부담 결정은 항상 로테이션이 끝나는 시점, 학년이 끝나는 시점, 심지어는 의과대학 졸업시점으로 미뤄졌다. 이러한 접근법의 문제는 이러한 고부담 시험에서는 의미있는 피드백이 거의 완전히 결여된다는 점이다.

hard decisions are often deferred to end-of-rotation, end-of- year, or even end-of-program high-stakes examinations. The problem with this approach is the near complete lack of meaningful feedback fromhigh-stakes exams.

그 결과 대부분의 의과대학생은 지식을 유지retention하는데 문제를 겪어왔으며, 나중에 임상상황에서 필요한 지식을 활성화하는 것이 불가능해졌다. 연구를 통해서 기초과학은 그것이 임상에서 적용되는 시점과 매우 근접해서 교육되어야 함이 명백해졌다.

The result is that most medical students have knowledge- retention problems and later are unable to activate their knowledge in clinical settings. Research is clear that the teaching of basic sciences should occur very close in time to application at the bedside.21

변화는 왜 이렇게 어려울까? 한 가지는, 한 편에서는 기초과학만 가르치고, 다른 편에서는 임상실습만 돌리던(기초과학과 사회과학이 전혀 없이) 아주 오랜기간이 그 이유이다. 이러한 상황에서는 전통/여러 교실의 job security등과 관련한 레토릭적, 정치적 포지셔닝이 뒤죽박죽으로 섞이게 된다.

Why is change so difficult? One explanation is that in the rather thin soup of evidence for long years of sequestered basic biological science teaching on one hand, and clinical rotations devoid of recourse to the underlying basic and social sciences on the other, there is a thick admixture of rhetorical and political positioning that relates to tradition, job security for various professionals and departments, and the struggles for legitimacy of various biological, social science, and clinical domains.22

전 세계의 모든 학장들은 지속적으로 교육과정에 무언가를 더 넣으라는 요구를 받는다. 그러나 한 번도 무언가를 빼라는 요청을 받는 적은 없다. 따라서 어떤 구조와 고정된 시간을 요구하는 현재 교육과정에 근본적ㅇ니 변화가 있지 않는 한 변화는 매우 천천히, 소극적으로 일어날 것이다.

Deans everywhere complain about the constant pressure to add to the curriculum– ethics, communications, scientific method, genetics, population health, social science – but never about a proposal to remove anything, since such proposals seldom occur. So without a fundamental change to the architecture and fixed time requirements of current curricula, change will likely be incremental and modest.

전통적으로, 모든 의과대학과 전공의 교육과정 위원회에게는 한 가지 불가침 영역이 있는데, 바로 교육훈련 기간에 간섭할 수가 없다는 것이다. 이러한 제약으로 인한 좌절은 지속적으로 성과-기반 모델에 대한 요구를 더 강화할 것이다.

Traditionally, curriculum committees in every medical school and residency program have had one inviolable constraint: they cannot tamper with the number of years of training. Frustration with these constraints will continue to enhance the appeal of an outcomes-based model.

역량개발의 성과-기반 모델

An outcomes-based model of competence development

Whitehead 는 '성과기반교육에서는 만약 기대하는 제품이 정의되기만 하면, 적절한 평가법이 등장할 것이고 이를 통해 피훈련자들이 이 역량을 달성하게 될 것이며, 그러면 문제는 다 끝난 것이다' 라고 말했다.

Whitehead has remarked that “outcomes-based education hypothesizes that if the desired product can be defined, and appropriate assessment tools developed to ensure that trainees have achieved these competencies, then the job will be done.”2

플렉스너의 시기에, 역량은 거의 전적으로 '지식축적'으로 이해되어왔고, 졸업한다는 것은 의료행위를 하는데 적함함을 의미했다. 따라서 대부분의 교육과 모든 평가는 학생들에게 '그들이 누군지'에 대해서는 거의 묻지 않고 그들이 아는 것이 무엇인가를 평가하는데 집중되었다. 역량에 관한 지배적인 담화는 지식에 관한 것이었다. 1960년대 중반부터 역량의 개념은 여러 요소에 의해서 변화하기 시작했다. 그리고 20세기 후반부에 점차 의사소통/협력 등을 포함하였으며 스킬과 같은 것을 더 강조하게 되었다. 이 시기는 Miller의 피라미드의 형태로 특징지을 수 있으며, '수행능력'이 순수한 '지식'보다 더 높은 것으로 인정된다. 20세기 말, 미국과 캐나다는 지식과 스킬을 '역할roles'에 박아 넣는embed 행동주의적 접근법을 새로운 프레임워크로 채택했다.

In Flexner’s time, competence was understood almost entirely as the accumulation of knowledge, though graduating also meant showing oneself to be suitable to practice medicine. Thus most teaching and all assessment targeted what students knew with a little dab of who they were. The dominant discourse was one of competence as knowledge. Beginning in the mid-1960s, conceptions of competence were shifted by a number of factors: In the latter half of the 20th century competence gradually came to include communication, collaboration, and a greater focus on skills. The era was marked by the appearance of Miller’s Pyramid,23 in which performance was considered to be of a higher order than pure knowledge. Toward the end of the 20th century, in the United States and Canada, new frameworks for competence were developed that took the behaviourist approach further by embedding knowledge and skills into roles.

성과-기반 교육의 사례

Case Studies of Outcomes-Based Education

아래의 세 가지 사례. 이들은 사회적 요구를 밀접하게 반영하는 교육과정/구체적 스킬 훈련의 모듈화/평가빈도 증가/순차적 발전/시작시 스킬과 이후 스킬 습득에 따른 교육훈련의 기간 다변화 등을 반영한다.

The three cases discussed below illustrate some common features of outcomes-based education. These include

• curricula closely related to social need,
• modularized training of specific skills,
• frequent assessment,
• stepwise progression, and
• variable length of training depending on entry skills and rate of skill attainment.

Case 1: Curriculum adapted to social need: nurse practitioner training in Ontario, Canada

Case 2: Modularized endoscopic training programs in London, United Kingdom

Case 3: Modularized, outcomes-based medical education: The University of Toronto Orthopedics Residency ProgramExperiment

이 사례까 보여주는 것

What the three cases show

성과-기반 교육은 교육적 특성때문에 도입된 것도 있지만, 그 외에도 교육의 효율성을 높이고 보건의료와 교육훈련의 비용을 줄여줄 가능성도 보여주고 있다.  그러나 다른 고려사항보다 효율성과 비용절감에 초점을 두면 다음과 같은 부정적인 less positive한 것도 우려된다.

As we see in these examples, outcomes- based education is being adopted not only because of its pedagogical properties but also for its potential to improve efficiency and reduce the costs of health care and of training. However, as we shall see in the next section, something a little less positive can arise when educational reform elevates efficiency and cost savings above other considerations.

제품생산 담화에 따른 성과-기반 모델: 아이-닥터 생산

The Outcomes-Based Model Meets the Production Discourse: Manufacturing i-Docs

성과에 대해서 말하고 쓰는 사람들은 종종 '제품생산manufacturing'의 언어와 개념을 가져다쓴다.

Individuals who speak and write about outcomes sometimes draw on language and concepts from manufacturing.9

제품생산의 핵심 요소를 잡아내기 위해서 나는 '아이-닥터'라는 용어를 사용하고자 한다.

To capture the essence of production discourse in relation to medical education I have coined the term i-Doc.

다른 말로는, 아이-닥터 생산을 위한 제조모델을 사용하자면, 더 나은 제품을 더 낮은 가격으로 만들 수 있을지도 모른다.

In other words, by using manufacturing concepts to produce i-Docs, we might hope to get a better product at a lower cost.

도요타의 사례가 보여주듯, 효율성을 추구하고 비용을 절감하는 것은 퀄리티와 관련하여 더 많은 문제들을 야기할 수도 있다. 의과대학이 불량품의 '리콜'요청에 직면하게 될까?

As the Toyota example so clearly illustrates, finding efficiencies and cutting costs in the context of a manufacturing model may be the source of more problems with quality. Might medical schools be faced with recalls if their products were defective?

우리가 보아온 바와 같이, 미국과 캐나다의 명확한 성과기준을 만드라는 explicit한 요구가 있다. 그러나 그러한 역량을 서로 다른 속도로 개발할 수 있게끔 하는 유연하고 개별화된 교육 프로그램에 대한 요구는 어떨까?

As we have seen, recommendations from the United States and Canada both explicitly call for clear outcomes standards. But what of the call for flexible, individually tailored programs that can adapt to variable rates of competence attainment?

맞춤형 성과-기반 교육은 어떤 모습일까? 특정 역량을 달성하기 전까지는 그 모듈에 머물러 있어야 한다.

What would an individually adapted outcomes-based model look like in medical education?

• For communication skills, if a desired outcome were taking a complete and accurate history from a wide range of patients with different problems, students would stay in the communication module until they could do so.
• For a diagnostic decision making outcome of regularly arriving at a correct diagnosis in a range of clinical situations, students would receive training and practice until they could.

실제 상황authentic setting에서의 성과를 문서화하는 것에 있어서 한 가지 어려움은, '성과'를 한 개인의 특성이나 능력으로서 인식하는 개념과 맞닿아 있기 때문이다. 반면 대부분의 보건의료성과는 실제로 어떤 팀워크의 결과물이다. Reeves 등은 다양한 유형의 효과적인 팀들이 보이는 특징을 묘사한 바 있으며36, 이는 개개인의 역량과 상당히 달랐다. Lingard는...

One particular challenge to documenting outcomes in authentic settings is that medical education remains wedded to the notion that outcomes are individual traits or abilities,7 while most health care outcomes are actually a result of teamwork. Reeves et al. have described the elements that characterize various kinds of effective teams, features that are quite different from individual competence.36 And as Lingard has written,

우리의 개인주의적 보건의료시스템과 교육문화는 개별 학습자들과 그들의 머리/손/심장에 있는 지식/능력/가치에 초점을 맞춰 왔다. "역량을 갖춘 전문직 개인들이 합해져서 역량이 없는incompetent 팀을 구성할 수 있고, 실제로 그런 모습을 자주 보여준다. 전통적인 역량의 '개인주의적 담화'는 더 이상 현실과 맞지 않는다.

Our individualist health care system and education culture [focuses] attention on the individual learner and the knowledge, abilities and values they possess in their heads, hands and hearts” [but] “competent individual professionals can—and do, with some regularity—combine to create an incompetent team. The conventional [individualist] discourse of competence doesn’t really help us grapple with this reality.7

결과는 우리가 현재 목도하고 있는 여전히 개인의 역량이 우선이라고 잠정적으로 가정하고 있는 시스템에 전문직간interprofessional 교육성과를 이식하고자 하는 우스꽝스러운 시도이다. 개인-맞춤형 성과-기반 교육의 완전한 패러다임 변화가 필요하며, 따라서 팀-기반 성과와 평가의 도입이 기다리고 있다.

The result is that we are currently witnessing a rather awkward attempt to graft new interprofessional outcomes onto a system that still assumes the primacy of individual competence. A complete paradigmshift to individually adapted outcomes-based education therefore must also await the adoption of team-based outcomes and methods of assessment.

요약하자면, 여전히 다수가 제품생산 담화에 기반하고 Taylorist적 효율성 개념에 근거하여 성과를 생각한다. 대조적으로, 의학교육개혁에 대한 제안들은 유연하고 개별화된 교육훈련을 요구한다. 이러한 교육은 우리의 현재 교육모델에서 뛰쳐나와서 개혁적 변화를 요구하며, 시간이 걸리고 많은 비용이 들 것이다. 따라서 '표준화된 성과'가 적용되는 것은 거의 확실해보이지만, 동시에 '유연하고 개별화된 교육훈련'은 그렇지 않을 것이다. 후자가 진정으로 성과-기반 교육에 중요한 것이라면, 의학교육자들은 효율성과 비용절감에 반하는 모델을 지지하기 위한 주장을 잘 다듬어야 할 것이다.

In summary, there is a popular way of thinking about outcomes that is based on production discourse and Taylorist concepts of efficiency. By contrast, the outcomes envisioned in proposals for medical education reform appear to require flexible, individualized training. Such pedagogy would be an innovative departure from our current model of education, but it might also be time-consuming and expensive. Thus while the adoption of “standardized outcomes” is almost a certainty, the concurrent implementation of “flexible, individualize training” is not. If the latter element is an important dimension of meaningful outcomes-based education, medical educators will need to be clever in crafting arguments to support models that run counter to the imperatives of efficiency and cost savings.

성과기반모델이 널리 도입될까?

Will Outcomes-Based Models be Widely Implemented?

• For licensure and certification organizations, a move to outcomes-based models, and particularly ones tailored to individuals, would require themto become more involved in ensuring the attainment of competencies in training,
• For faculty teachers, an outcomes-based model that required coaching, feedback, and repeated practice would be labor- intensive. There could be no more “see one, do one, teach one.”37 Rather the phrase would have to be updated to something like “watch until you are ready to try, then practice in simulation until you are ready to performwith real patients, thenperformrepeatedly under supervision until you are ready to practice independently.”
• Individualized, variable length programs could be a nightmare for institutions that rely on a steady supply of medical students and residents to provide service delivery in predictable rotations.
• For international medical graduates, issues of compatibility/comparability to domestic graduates would become increasingly difficult if some countries adopted outcomes-based models and others did not.

성과 기준은 개발될 것이다. 그리고 많은 techinical procedure 교육이 모듈화될 것이다. 교육훈련 기간의 단축도 곧 이뤄질 수 있다. 그러나 개별화된 맞춤형 성과-기반 모델과 피드백을 충분히 제공하는 코칭 모델이 도입될지는 그리 확실하지 않다.

I predict that the development of outcomes standards will occur, as will a move toward modularizing many technical procedures. Shortening of training times may also come about. But whether individually tailored outcomes-based model of training and feedback-rich coaching models evolve is much less certain.

의학교육자들은 무엇을 해야 하는가? 시간-기반 모델에 무비판적으로 매달리는 것은 분명 문제가 있다. 우리가 본 바와 같이, 중요한 것은 어떤 성과-기반 모델을 도입하느냐이다. 과도하게 경쟁적으로 평가에서 제품생산 담화를 도입하는 것overzealous adoption of production discourse in assessment의 문제를 지적한 바 있다.

What should we medical educators do? There seems little doubt that clinging uncritically to a time-based approach is problematic. As we have seen, it is the kind of outcomes-based model that matters. Elsewhere I have described the adverse effects of an overzealous adoption of production discourse in assessment.9

아마 가장 중요한 것은, 우리는 시간에 대해서 잊어서는 안된다. Whitehead 는 이렇게 말했다. "성과-기반 모델로 나아가고 그러한 용어를 쓰는데 있어서 핵심적 변화는 시간과 프로세스의 가치를 평가절하하는 것이다" '시간'과 '성과'를 대체하는 것에 초점을 두고 있는 지금, 일부 교육자들은 달성하는데 실제로 시간을 필요로 하는 역량이 무엇인지에 대해 고민하고 있다.

Perhaps most importantly, we should not forget about time. Whitehead has written that “a key shift in the language and approach of outcomes-based models of education is devaluing of time and process”2 It is only now, with the focus on replacing time with outcomes, that some educators are questioning which elements of competence indeed require time to attain.

시간은 개인의 개발과 관련되어 있다. Whitehead가 제안한 바와 같이 '제품생산 담화'는 "개인을 프로세스에서 제거remove한다. 제품생산 담화를 성과기반 언어와 합하면서 개인과 시간, 그리고 모든  sense of journey가 사라진다"

Time has a relationship to personal development, and as Whitehead has suggested, the production discourse “removes the person fromthe process. By combining the production discourse with outcomes- based language, both person and time, and hence any sense of journey, vanish.”2

Appendix Selected Recent Key Reports and Articles on the Future of Medical Education 

1. The Medical School Objectives Writing Group. Learning objectives for medical student education: Guidelines for medical schools: Report I of the Medical School Objectives Project. Acad Med. 1999;74:13–18.

2. American Medical Association. Initiative to Transform Medical Education. Recommendations for Change in the System of Medical Education. Chicago: AMA; June 2007. 

3. The Future of Medical Education in Canada. A Collective Vision of MD Education. Ottawa: The Association of Faculties of Medicine of Canada; 2010. 

4. Awasthi S, Beardmore J, Clark J et al. The Future of Academic Medicine: Five Scenarios to 2025. The International Campaign to Revitalise Academic Medicine. New York: The Millbank Memorial Fund; 2005. 

5. Cooke M, Irby D, Sullivan W, Ludmerer KM. American medical education 100 years after the Flexner Report. NEJM. 2006; 355:1,399–1344. 

6. Cooke M, Irby D, O’Brien B. Educating Physicians: A Call for Reform of Medical School and Residency. San Francisco: Jossey-Bass; 2010. 

7. Cooke M, Irby D, O’Brien B. Future Directions for Medical Education: Educating Physicians: Professional Formation and Insistence on Excellence. San Francisco: Jossey-Bass; 2009. 

8. Flegel KM, He´ bert PC, MacDonald N. Is it time for another medical curriculum revolution? CMAJ. 2008; 178:11. 

9. Fundacio´ n Educacio´nMe´ dica. The Physician of the Future. Me´ dica, Spain: Fundacio´n Educacio´ n, 2009. 10. General Medical Council. Tomorrow’s Doctors: Outcomes and Standards for Medical Education. London: United Kingdom, 2009.

학부의 CBME에서 학생의 지식습득/임상수행능력/진료준비도인식의 차이: 비교 연구(BMC Med Educ. 2013)

The effect of implementing undergraduate competency-based medical education on students’ knowledge acquisition, clinical performance and perceived preparedness for practice: a comparative study

Wouter Kerdijk1*, Jos W Snoek2, Elisabeth A van Hell2 and Janke Cohen-Schotanus1

Background

현대 의학에서 의사의 역할에 대한 사회적 우려에 대하여, CBME는 점차 전 세계적인 관심을 받고 있다. 여기에 깔린 전제는 BME가 의료에 더 잘 준비된 의사를 만들 것이라는 기대이다.

In response to societal concerns about the role of doctors in contemporary healthcare, competency-based medical education is receiving increasing attention worldwide [1-9]. Its underlying assumption is that competency-based medical education results in doctors who are better prepared for medical practice [10].

• 캐나다와 미국 PGME 프로그램 In Canada and the United States, the national accreditation councils have implemented competency-based criteria for postgraduate medical education [1,11].
• 학부 CBME Additionally, a competency framework has been proposed and guidelines have been developed for undergraduate competency-based medical education [5,12,13].
• EU, 볼로냐 프로세서의 일부로서 모든 의과대학 학부 교육과정은 명확하게 정의된 역량에 기반해야 함.
  In the European Union, as part of the Bologna process, all medical schools are required to base their undergraduate curricula on a clear and well-defined set of competencies [14].

CB교육과정의 주된 관점은 학생의 역량 개발을 촉진하는 것이며, 지식/술기/전문직적 자세로 구성된 능력을 보여줄 수 있게 하는 것이다. 그 결과 CBME를 도입할 때, 학생들의 역량개발competency development를 위한 교육시간을 따로 잡아놓게 된다. 이는 기존 교육과정을 가르칠 시간이 줄어든다는 것을 의미하고, 따라서 그러한 시간의 재분배가 역량개발을 촉진하는 결과와 더불어 다른 분야에서의 학생의 발전에 손상을 줄 수 있다.

A major focus of competency- based curricula is to facilitate students’ development of competencies, demonstrable abilities consisting of know- ledge, skills and professional behaviour. Consequently, when implementing competency-based medical education, curriculum time has to be reserved for students’ compe- tency development [2,15]. This means there will be less time available for existing activities of preceding curricula. Therefore, such a reallocation of time may not only result in the facilitation of competency development but may also impair students’ development in other areas.

CBAL과 AL 교육과정을 비교함(지식 습득, 임상 수행, 진료준비도인식)

Therefore, we examined undergraduate medical students’ knowledge acquisition, clinical perform- ance and perceived preparedness for medical practice for – two curricula a competency-based active learning (CBAL) curriculum and its predecessor, a regular active learning (AL) curriculum.

학부 교육과증은 정해진 기간이 있다. CBME를 도입할 때, 학생들이 역량을 개발시킬 수 있는 시간을 따로 잡아놓게 된다 역량개발을 목적으로 하는 여러 활동에 쓰이는 시간은 결국 예전에 지식 습득에 쓰였던 시간을 비용으로 하게 된다. 이러한 시간의 재배분은 학생의 지식습득에 안좋은 방향으로 영향을 줄 수 있다. 비록 학생의 지식이 임상수행능력의 즉각적 예측인자는 아니지만 간접적으로 임상수행능력에 영향을 줄 수 있다.

Undergraduate medical curricula usually have a set duration. When implementing competency-based educa- tion, curriculum time has to be reserved so students can develop their competencies. The time reserved for activ- ities aimed at competency development will usually come at the expense of time previously reserved for knowledge acquisition [15]. This reallocation of time may negatively affect students’ knowledge acquisition in a competency-based curriculum. Although medical stu- dents’ knowledge has not been found to be an immedi- ate predictor of clinical performance, it does impact clinical performance indirectly [16].

CBME를 이끄는 한 가지 힘은 대중들이 의과대학 교육과정이 현대의 진료와 관련된 needs를 반영하기 원하는 것이다.

One of the key forces behind competency-based medical education is the public call for medical curricula to reflect the needs of contemporary medical practice [1,15,17,18].

Methods

맥락

Context

University of Groningen에서 수행

The AL and the CBAL curriculum were developed and implemented at the University of Groningen,

CBAL은 2003년 9월 도입, 7개 역량에 촛점

The CBAL curriculum was implemented in September 2003 and focuses on seven areas of competence:

• communication,
• clinical problem-solving,
• using basic knowledge and science,
• patient investigation,
• patient man- agement,
• social and community contexts of health care and
• reflection [22].