의학교육 개선, 그들만의 잔치(KJME, 2006)

서울대학교 의과대학 의학교육실

이 윤 성

우리 대학에서 새 교육과정을 제시하였을 때에 교수들이 가장 많이 던진 질문은 “현 교육과정에 무엇이 문제인가?”였다. 지금의 교육과정으로 의사와 의학자를 훌륭하게 양성하였는데 “그런 교육과정에어떤 치명적인 결함이 있는가? 있다면 객관적인 자료를 제시해 보라.”거나 “그렇게 바꾸면 더 나은 졸업생을 배출한다는 근거가 있느냐?”는 질문도 있었다. 급기야 교육 개선이란 의학교육을 한다는 인사들이 자신의 성과를 과시하기 위하여 만든 일거리라는 비난도 있었다. 이른바 의학교육 전문가들만의 잔치일 뿐이라는 비아냥거림도 들었다.

그렇더라도 이제 의학교육이 바뀌어야 한다는 데에 의문을 가진 교수는 많지 않다. 의학교육은 정말바뀌어야 하는가? 그 답은 의학교육을 둘러싼 여러 분야의 변화에서 찾아야 한다. 

① 환자들이 의사에게 기대하는 바가 달라졌다. 

② 건강보험과 같은 관련 제도가 바뀌어 관리의료 (managed care)로 변환하였다. 

③ 의학 지식이 진화하였다. 

④ 의사가 할수 있는 일과 할 일이 변하였다. 그리고 

⑤ 학생들의 요구가 이전과 같지 않다 (Dent et al., 2001). 

의사가 활동하는 사회가 변하였다면, 그리고 사회가 원하는 의사의 역할이 변하였다면, 의사 양성을 목표로 삼은 의과대학의 교육은 변하여야 한다. 몇 가지만 설명한다.

생명과학은 숨 가쁘게 진화하고 발전하고 있다.교육 내용도 당연히 많아졌다. 그러나 의사 양성 기간은 예나 지금이나 4년이다. 모든 지식을 쏟아 부을 수도 없다. 스스로 문제를 해결하는 능력을 갖추도록 교육 방법을 바꾸어야 한다. 반세기 전만 하더라도 지식을 얻을 수 있는 길은 교수의 강의가 거의 전부였다. 이제 지식은 정보라 부르고 정보는 너무많다. 의사는 정보를 찾아 가치를 판단하고 적용할수 있어야 한다.

국민에게 의료가 “혜택의 의료”에서 “권리의 의료”로 바뀌었는데도 의사만 의료시혜자로 남을 수없다. 의사는 보건의료의 공급자로서 역할이 강조된다. 다른 용역 제공과 다른 것은 사람의 건강과 생명을 대상으로 한다는 점과 전문가정신 (professionalism)이 강조된다는 점이다. 세계보건기구는 

• ① curer가 아닌 care provider, 

• ② 윤리성과 효율성을고려한 보건의료의 decision maker, 

• ③ 개인과 집단의 건강 증진을 도모하는 교육자로서 communicator,

• ④지역사회 건강을 위한 community leader, 

• ⑤ 보건의료 시스템에서 manager

...를 21세기 의사의 역할로써 제시하였다 (World Health Organization, 1996).

어떻게 변하여야 하는가? 의학교육 전략을 수립하는 원칙으로 이른바 SPICES model이 제시되었다.즉 

• ① 교수보다는 학생을 중심으로 (Student-centered),

• ② 지식과 정보를 제공하기보다는 문제나 업무를 바탕으로 (Problem-based/Task-based), 

• ③ 교과목이나 학문보다는 통합하고 전문직간 교육으로 (Integrated and interprofessional), 

• ④ 병원보다는 지역사회를 바탕으로 (Community-based), 

• ⑤ 일률적인 교육과정보다는 선택 과정으로 (Elective), 

• ⑥ 우연한 기회에 맡기기보다는 체계적으로 (Systemic) 

....교육전략을 마련하도록 권유한다 (Harden et al., 1984).그런 까닭에 PBL, OSCE, subintern, CPX, Skill Lab등이 교육과정에 거론되었다.

교수의 교육법은 어떠한가? 자기의 전공에서 남보다 깊은 지식을 많이 지니면 교수의 자질이 충분하다고 인정되던 때도 있었다. 지식이 일부 학자에게 집중되었던 시절이다. 학생들에게 필요한 지식은 교수가 독점 (?)하던 지식이 아니라 무한히 넓은 정보의 바다에서 찾아야 한다. 교수는 지식도 많아야 하지만 잘 가르쳐야 한다. 오히려 대단한 학자보다는학문은 덜 깊어도 쉽게 학습할 수 있도록 이끌어주는 선생이 더 좋은 교수이다. “Teacher must teach to learn. Teacher must learn to teach.” 요컨대 교육에서 가르침 (teaching)보다 배움 (learning)이 더 중요하다. 의학교육 변화는 학생에 맞추어야 한다. 꼭 알아야 할 내용을 되도록 즐겁게 배워 몸에 지녀야 한다.

교육은 여러 면에서 변하여야 한다. 이런 변화를 주도하는 교수를 의학교육 전문가라 한다면, 의학교육은 의학교육 전문가만의 잔치일 수 없다. “그들만의 잔치”라는 비아냥거림은 무엇 때문일까? 그 해결방법을 모색해 본다.

(1) 변화의 방향과 범위와 속도를 정확하고 바르게 기획하여야 한다. 그러려면 ‘의학교육 전문가’는공부해야 한다. 단편적인 지식이나 용기만으로는 또는 다른 나라, 다른 대학의 변화를 단순히 복사하는것만으로는 부족하다. 자신감을 가지고 지식과 경험을 습득하기 위하여 부단히 노력하여야 한다.

(2) 결국 교육을 담당하는 인력은 교수들이다. 교수들에게 끊임없이 교육 개선의 필요성이나 범위와 방법 등에 대하여 지속적으로 알리고 부추기고 강조하여야 한다. 또 교육에 관한 교수 개발 (faculty development)은 절대로 소홀히 할 수 없다.

(3) 지원 세력이 필요하다. 아무리 일기당천의 실력과 패기가 있더라도 큰 변화에는 반드시 지원이 필요하다. 학장과 의학교육에 뜻을 가진 핵심 교수들의 지원은 필수이고, 나아가 지지 세력과 후원 세력이 필요하다.

(4) 교육 변화는 정당한 절차를 거쳐야 한다. 예를들어 학장이 교육의 변화를 선언하고, 주임교수회나전체교수회에서 범위와 방향과 방법을 합의하도록하고, 여러 단계에 걸쳐 하나씩 결정하는 방법이 정당하다.

(5) 의학교육학회는 전문가를 양성하고 이들의 네트워크를 형성하여야 한다. 한 대학에 모든 분야의전문가를 확보할 수는 없다. 교육과정, 교육 방법,교육 평가, 교수 개발 등 여러 분야에 다양한 수준의 전문가가 필요하다. 이런 분야를 연구하고, 전문가를 양성하고 지원하는 프로그램을 개발하여야 한다.

이 세상에 변하지 않는 것은 없다. 다가오는 변화를 선도할 것인가, 그냥 따를 것인가, 아니면 무시할것인가는 각자의 판단에 맡길 수밖에 없다. 그러나 변화 자체를 부인하지는 못 한다. 의학교육과 관련된 논의와 활동이 ‘그들만의 잔치’로 끝나지 않으려면, ‘그들만’이 아닌 ‘우리’의 잔치로 바꾸어야 할 ‘그들’의 노력도 적지 않다.

의학교육에서 측정과 평가의 토대(AMEE Guide No. 119) (Med Teach, 2017)

The foundations of measurement and assessment in medical education

Mohsen Tavakola and Reg Dennickb

도입

Introduction

모든 공식 교육의 DNA는 평가다. 평가라는 것은 [시험자료에서 파생된 정보를 수집해 해석하여 수험내용과 학생점수를 정당화하는 체계적인 과정]이다.

The DNA of any formal education is assessment. It is a systematic process that collects and interprets information derived from exam data to legitimize examination content and student marks

[평가는 학습의 측정]이며, 측정 과정의 정확성, 신뢰성 및 타당성에 영향을 미치는 요인에 대한 이해가 고품질 평가의 생성에 필수적이라는 점을 강조해야 한다.

It should be emphasized that assessment is the measurement of learning and that an understanding of the factors that influence the accuracy, reliability, and validity of the measurement process are essential for the creation of high quality assessments

측정과 평가

Measurement and assessment

측정

Measurement

측정이란 [규칙에 기반하여 개체, 사건, 속성, 특성에 숫자를 할당하는 것]으로 정의되었다(Miller et al. 2013). 이 정의에서 특성은 숫자로 분류된다. 예를 들어 명확한 "규칙"은 이런 것이 있다. 동일한 지시와 시행, 문제, 채점방식에 따라 시험을 치르게 되면 학생들의 점수를 서로 비교할 수 있다.

It has been defined as the assignment of numbers to objects, events, attributes, and traits according to rules(Miller et al. 2013). In this definition these characteristics are labeled by numbers. An example may clarify the “rules”.If students take an exam with the same instructions, administration, assessment questions, and scoring system, we can compare students’ marks with each other.

평가

Assessment

평가는 "개인이 얼마나 잘 수행하는가?"와 관련이 있다(Miller 등, 2013).

Assessment is concerned with “How well does the individual perform?” (Miller et al. 2013).

학생들의 능력을 측정하는 타당하고 신뢰할 수 있는 평가에는 세 가지 주요 목표가 있다. 

• "향후 학습의 동기와 방향을 제공함으로써 모든 학습자와 실무자의 능력을 최적화한다. 

• 무능한 의사를 확인함으로써 대중을 보호한다. 

• 지원자 또는 상위단계 교육을 받을 사람을 선발할 근거를 제공한다"(Epstein 2007).

Valid and reliable assessments that measure the ability of students have three main goals: 

• “to optimize the capabilities of all learners and practitioners by providing motivation and direction for future learning; 

• to protect the public by identifying incompetent physicians; and 

• to provide a basis for choosing applicants or advanced training” (Epstein 2007). 

의학교육에서 평가는 개별 과목의 학습성과에 기초해야 한다.

In medical education, assessment should be based on the learning outcomes of the individual courses

형성평가와 총괄평가

Formative and summative assessment

형성평가

Formative assessment

학생들은 자신의 역량 격차나 교육적 필요성, 현재 상태와 원하는 목표의 차이를 알아야 하며, 그 격차를 줄이기 위한 조치를 취해야 한다(Black and William 1998).

Students should be aware of their competency gaps or educational needs, the difference between their current status and their desired goals, and they should take action in order to achieve this (Black and Wiliam 1998).

이러한 판단에 기초하여, 의학 교사들은 학생들이 원하는 학습 목표를 달성하기 위해 교육 자료를 조정하고 학습 성과를 명확히 한다. 학생과 교육자에 대한 건설적 피드백은 형성적 평가의 초석이다(Shepard 2006).

Based on these judgments, medical teachers adjust educational materials and clarify learning outcomes in order for students to achieve the desired learning goals. Constructive feedback to students and educators is the cornerstone of formative assessment (Shepard 2006).

총괄평가

Summative assessment

종합평가에 의해, 우리는 대중에게, 우리 학생들이 환자의 진단과 치료에 대한 최소한의 기준을 충족했다고 보장한다(Norcini and Dawson-Sunders 1994).

by summative assessment, we assure the public that our students have minimum standards for the diagnosis and treatment of patients (Norcini and Dawson-Saunders 1994).

규준지향 평가와 준거지향 평가

Norm-referenced and criterion-referenced measurement

규준지향 해석은 코호트의 학생들의 성적 분포에 학생 간 상대적 성적 분포와 관련이 있다.

Norm-referenced interpretations are concerned with a student’s mark relative to the distribution of marks of a cohort of students.

규준지향 평가에는 높은 성과 낮은 성과를 차별화하기 위해 어려운 질문이 포함될 수 있다. 이것은 자리가 제한되어 있을 때 지원자를 선발하는데 유용하다.

norm-referenced assessments can contain hard questions in order to differentiate high and low performers. This is useful for selecting applicants when there are limited positions available,

기준 참조 해석은, 때로는 객관적 참조라고 부르기도 하며, 과정 학습 결과를 형성하는 기준과 관련이 있다. 이 접근법에서, 학생의 마크는 학습 결과의 달성에 근거하여 해석된다.

Criterion-referenced interpretations, sometimes called objective referenced, are concerned with the criteria forming the learning outcomes of a course. In this approach, a student’s mark is interpreted based on the achievement of learning outcomes

기준설정

Standard setting

대부분의 기준설정 방법은 합격과 불합격의 경계선에 있는 학생이 보였을 수행능력을 추정하는 방식으로 이루어지며, 이를 통해 최소한의 수행능력 수준을 합격선으로 설정한다.

Most standard setting methods use the estimated performance of a borderline student who is on the border between pass and fail to identify a pass mark that establishes the minimum level of performance,

시험 중심 방법은 가장 인기 있는 방식으로, 안고프 방식(및 그 변형), 에벨 방식, 네델스키 방법이 있다. 이러한 접근법은 두 가지 이유로 비난을 받아왔다. 

• 첫째, 표준 설정자들이 어떤 항목에 정확히 답할 확률을 추정하기 위해 경계선 학생들의 지식과 기술 수준을 상상하는 것은 매우 어렵다. 

• 둘째로, 표준 설정자가 바뀌면 합격선도 바뀐다(Cizek 1993).

The most popular test-centered methods are the Angoff method (and its modifications), the Ebel method, and the Nedelsky. These methods have been criticized for two reasons. 

• First, it is very difficult for standard setters to imagine the knowledge and skill levels of borderline students in order to estimate the probability that they answer an item correctly. 

• Secondly, if standard setters are changed, the pass mark will change (Cizek 1993).

학생 중심의 방법에서 합격 점수는 특정 평가에 기초한 학생들의 실제 성적에 기초한다.

In student-centered methods, the pass mark is based on students’ actual performance on a specific assessment.

성능(표준) 데이터 표시

Presentation of performance (normative) data

학생들의 수행능력이 패스 마크에 미치는 영향을 둘러싼 논란이 있다. 메타 분석 결과, 표준 설정자에게 항목 난이도 값을 제시하여 Angoff's method를 사용하면 합격 점수가 낮게 나타난 것으로 나타났다. 항목 난이도 값을 제공하는 경우, 합격선보다는 표준 설정자 사이의 변동성에 영향을 미친다는 주장이 제기되었다. 또한, 표준 설정자는 "토론과 피드백이 있는 경우에, 최종적으로 정한 합격선에 대해 더 확신을 갖는다"고 느낀다(Hombton et al. 2012).

there is controversy surrounding the influence of performance data on the pass mark. A meta-analysis showed that presenting the item difficulty values to standard setters resulted in low pass mark using Angoff’s methods (Hurtz and Auerbach 2003). It has been argued that providing item difficulty values impacts on the variability among standard setters rather than on the established pass mark. In addition, standard setters “feel more confident about the resulting performance standards if there has been discussion and feedback” (Hambleton et al. 2012).

일부 연구에서는 표준 설정자에게 학생 점수데이터를 제공하면, 합격점 표시가 증가하거나 감소한다는 것을 보여준다.

Some studies show that the pass mark increases or decreases by providing performance data to standard setters.

보상 및 결합 표준 설정 전략

The compensatory and conjunctive standard-setting strategies

보상적 채점은 합격/불합격 판단을 위해 특정 합격/불합격 표시를 비교한 평가 배터리의 합계를 의미한다. 스테이션이 모두 [임상 수행능력]과 같은 단일 구인을 측정하는 경우, 스테이션 점수의 평균은 관심구인을 유의미하게 대표하며, 따라서 하나 또는 두 개 스테이션의 점수가 낮더라도, 전체 수행능력이 적절하다면 무시할 수 있다(Haladyna 및 Hess 1999).

Compensatory strategy/scoring refers to the sum of a battery of assessments which are compared with a particular pass mark to make a pass/fail judgment. If stations all measure a single construct, such as the construct of clinical performance, the average of the station scores meaningfully represents the construct of interest, and hence a low score on one or two stations can be overlooked if overall performance is adequate (Haladyna and Hess 1999).

결합적 채점에서, 각 스테이션은 별도의 합격기준이 있는 단일 구인을 구성하며, 각 스테이션이 환자 안전을 위해 필요하기 때문에 하나의 스테이션을 실패하는 것도 용인되지 않는다. 전문 인증 및 면허 시험의 경우, 평가를 통해 자격증을 받은 사람은 관심 구인construct of interest에 역량을 갖추어야 한다고 믿기 때문에 결합적 채점을 사용할 수 있다.

In conjunctive scoring, each station constitutes a single construct with a separate pass mark, and failing these stations is not tolerated since each station is necessary for patient safety. For professional certification and licensure tests, assessment leads can use conjunctive scoring as they believe that a licentiate should be competent in the construct of interest.

결과적으로, 결합적 채점에서 스테이션 점수의 합계는 무의미하다. 분명히, 탈락자는 보상적 채점보다 결합적 채점에서 더 많을 것이다. 결합적 접근법이 의사의 역량과 능력의 정당화에 중요하지만, 이 전략은 잠재적으로 더 많은 실패를 초래할 수 있으며, 이는 전문직 집단에는 문제가 될 수 있다(Haladyna and Hess 1999). 

Consequently,the sum of the stations scores does not make sense in conjunctive scoring. Clearly, fails will be greater in conjunctive scoring than in compensatory scoring. Although the conjunctive approach is central to the legitimation of a physicians' competency and capability, this strategy will potentially result in more failures, which might be professionally problematic (Haladyna and Hess 1999). 

신뢰도, 타당도

Reliability and validity

신뢰도를 이해하기 위한 유용한 비유는 시험의 "소음"이다. 시험 재시험 신뢰성, 병렬형태, 분할형태, 계수 알파 및 Kuder-Richardson, Hoyt의 방법(분석 분산 접근법을 사용하여 추정), 계수 세타(요소 분석 사용), 오메가, 계량간 신뢰성(합의) 및 일반화성 이론.

A useful analogy for understanding reliability is that of “noise” in a test. 

• test-re-test reliability, 

• parallel form, 

• split-half, 

• coefficient alpha, and 

• Kuder–Richardson, 

• Hoyt’s method (which is estimated using the analysis variance approach), 

• Coefficient theta (using factor analysis), 

• Omega, 

• Inter-rater reliability (agreement), and 

• Generalizability theory.

타당도

Validity

타당도는 "시험의 제안된 사용에 의해 자격이 있는 시험 점수의 해석을 뒷받침하는 증거와 이론의 정도"와 관련이 있다(AERA(American Educational Research Association, AERA) 1999). 이러한 점을 고려할 때, 평가자는 점수를 어떻게 해석하였으며 어떻게 사용할 것인지에 대해 명확히 해야 한다.

Validity is concerned with “the degree to which evidence and theory support the interpretation of test scores entitled by proposed uses of tests” (American Educational Research Association (AERA) 1999). Given this, assessors should be clear about the proposed interpretation and use of student marks.

타당성은 평가 질문이나 평가 결과와 무관하다는 점을 강조해야 한다. 평가 결과의 추론 및 결정과 관련이 있다(Kane 2002).

It should be emphasized that validity is neither concerned with assessment questions nor the assessment results. It is concerned with the inferences and decisions of the assessment results (Kane 2002).

평가 내용에 기반한 근거

Evidence based on assessment content

평가 질문은 잠재적으로 가능한 모든 평가 질문의 샘플이다.

Assessment questions are a sample of all potential assessment questions

따라서 우리는 가능한 모든 평가 질문에 대해, 평가 질문의 샘플을 얼마나 잘 일반화할 수 있는지 조사할 필요가 있다.

hence we need to investigate how well the sample of assessment questions can be generalized to all possible assessment questions.

평가 질문이 학습 목표와 얼마나 잘 일치하는가?

How well do the assessment questions align with the learning objectives?

평가 질문은 관심 영역을 얼마나 잘 나타내고 있는가?

How well do the assessment questions represent the domain of interest?

콘텐츠 영역에 전문성을 가진 사람은 콘텐츠에 기반한 증거를 제공할 수 있다.

Those who have expertise in the content domain can provide evidence based on content.

응답 프로세스에 대한 근거

Evidence based on response process

이러한 유형의 타당성은 측정하려는 구인이 학생들이 실제로 수행하거나 실제로 보이는 반응의 성격에 얼마나 적합한지에 대한 증거를 요구한다.

This type of validity requires evidence on how much the construct being measured fits the nature of performance or response in which students are engaged.

우울증을 평가하려고 한다면, 

• 평가 질문이 우울증의 구조에 부합하는지 여부(즉, 구인 대표성)

do the assessment questions fit the construct of depression, i.e. construct representation.

• 평가 질문은 우울증 구조와 관련이 없는 다른 요인과 관련있지는 않은가? (즉, 구인-무관 변동)

Do assessment questions associate with other factors which are not concerned with the construct of depression, i.e. construct-irrelevant variance?

따라서 측정하려는 구인이 충분히 표현되지 않았거나, 무관한 요인에 의해 영향을 받는 경우 시험의 타당성은 위협받을 것이다.

Therefore, the validity of a test will be threatened, if the construct of interest is underrepresented or influenced by irrelevant factors.

응답프로세스에 대한 타당성 근거얻는 방법은 다양하다. 이러한 방법은 think aloud interview나 focus group interview와 같은 질적 데이터 수집 방법을 기반으로 한다. 예를 들어, 이러한 방법을 통해 OSCE에서 평가자들을 관찰하면 그들이 학생들의 성적을 어떻게 평가하고 해석하는지를 이해할 수 있다. Assessor는 Examiner가 학생을 평가할 때 관련 없는 요인이 아니라, 의도된 기준에 따라 학생을 평가하도록 보장해야 한다.

There are different methods for obtaining validity evidence for the response process. These methods are based on qualitative data collection methods such as think aloud interview and focus group interviews. For example, observing examiners in OSCEs allows us to understand how they rate and interpret the performance of students. Assessors should ensure that the examiners rate students based on the intended criteria rather than irrelevant factors.

내적 구조에 기반한 근거

Evidence based on internal structure

우리는 [문항 및 평가 결과]와 [측정 중인 구인] 사이의 연관성에 대한 증거를 제공하기를 원한다. 평가는 단일 구성(단차원) 또는 다중 구성(다차원)을 측정할 수 있다.

We want to provide evidence of the association between items and assessment results and the construct being measured. An assessment may measure a single construct (unidimensional) or multiple constructs (multidimensional).

내부 구조에 근거하여 증거를 확립하기 위해 다양한 방법을 적용할 수 있다. 

• 예를 들어, Rasch 분석은 우리가 평가 질문의 정신 구조를 식별할 수 있게 하는 한 가지 방법이다. 

• 요인 분석을 통해 평가의 내부 구조를 파악할 수 있다. 

• 또 다른 접근법은 대조군 접근법이라고 하며, 때로는 알려진 집단 접근법이라고도 한다. 여기서, 시험은 관심의 구조에 대해 서로 다른 지식을 가진 두 그룹의 사람들에게 관리된다(극도로 높고 매우 낮은).

An assortment of methods can be applied to establish evidence based on internal structure. 

• For example, Rasch analysis is one method that enables us to identify the psychometric structure of assessment questions. 

• Using factor analysis, we can identify the internal structure of assessments. 

• Another approach is called the contrasted groups approach, sometimes also called the known-group approach. Here, the test is administered to two groups of people who have different knowledge of the construct of interest (extremely high and extremely low).

외부 변인과의 관계에 기반한 근거

Evidenced based on relations to external variables

타당성 증거를 제공하기 위해 AERA가 제안한 또 다른 접근방식은 시험 점수와 외부 변수 사이의 연관성을 확인하는 것이다. 두 평가의 점수는 두 평가 모두 동일한 구조를 측정하는 경우 서로 상관관계가 있다.

Another approach suggested by the AERA for providing validity evidence is to identify the association between test scores with external variables. The scores of two assessments are correlated with each other if both measure the same construct.

예를 들어, 입학 과정에서는 물리학 및 수학의 성과에 대한 점수가 의학에서의 후기 성과와 높은 상관관계가 있는 경우, 입학 지도자는 물리학과 수학을 의학의 진입 요건으로 간주할 수 있다. 이 때, 물리학과 수학 점수를 criterion이라고 하고, 이러한 접근법을 criterion-related validity 이라고 한다.

For example, in the admission process, if scores on performance in physics and mathematics are highly correlated with the later performance in medicine, the admission leaders may consider physics and mathematics as entry requirements for medicine. Here, this physics and mathematics are called criteria and approach is called the criterion-related validity.

CRV에는 두 가지 유형이 있다. 즉 동시 타당도와 예측 타당도. 

• 동시 타당도는 시험과 기준을 동시에 평가한다. 

• 예측 타당도는 미래 학생들의 행동을 예측하기 위해 시험 점수를 사용하는 것을 포함한다.

two types: concurrent and predictive. In concurrent validity, the test and the criterion are administered simultaneously. Predictive validity involves using the test scores to predict the behavior of students in the future.

시험의 후속결과에 기반한 근거

Evidence based on consequence of testing

이 기준서에서 설명하는 마지막 유형의 유효성 증거는 평가 결과의 의도된 의도된 의도하지 않은 결과에 기초한다. 평가 문제가 교육 시스템 전체에 어떻게 영향을 미칠 수 있는가? 형성평가와 총괄평가의 의도는 학생들의 능력을 향상시키는 것이다. 

• 평가는 학생들의 능력을 향상시키는가? 

• 평가는 학생들의 동기를 강화시켜 줍니까? 

• 평가는 교육을 향상시키는가?

The last type of validity evidence explained in the Standards is based on the intended and unintended outcomes of assessment results. How can assessment questions influence the education system as whole? The intention of both formative and summative assessments is to improve student ability. 

• But do they improve the ability of students? 

• Do they enhance student motivation? 

• Do they improve teaching?

평가 문항의 분석

The analysis of assessment questions

평가항목의 분석은 학생들이 시험에서 받은 점수에 대한 유용한 정보를 제공한다. 그러나 시험점수에 오류가 있다면, 잘못된 결론을 내릴 수 있다.

The analysis of assessment items provides useful information about the marks that students have received from their exams. Student marks can be misleading if errors are attached to them.

일반적으로 두 가지 통계가 낮은 항목, 즉 난이도 및 변별도를 식별하는 데 사용된다. 항목 난이도는 질문을 제대로 응답한 학생의 비율을 말한다. 변별도는 항목별로 상위 및 하위 성과자를 구분하는지 여부를 나타낸다.

Two common statistics are usually used to identify the underperforming items: item difficulty and the item discrimination index. Item difficulty refers to the proportion of students who get the question right. Item discrimination indicates whether or not the items differentiate high and low performers.

너무 쉽거나 너무 어려운 문항은 성적 면에서 학생들을 구별하지 못한다.

Too easy and too difficult items do not differentiate students in terms of the performance being measured.

평가항목의 질은 어떻게 판단해야 하는가? 심리측정적 관점에서 보면, 변별도가 높으면 품질이 좋다. 변별도를 계산하기 위해 다양한 접근법을 사용한다. Point-biserial 상관관계(항목점수와 항목점수를 제외한 총점 사이의 상관관계)가 항목 품질에 대한 최상의 지표를 제공한다는 것은 충분히 문서화되었다(Kelley et al. 2002). 좋은 문항이라면 이 상관관계가 0.25 이상이어야 한다. 차별지수의 부정적인 가치는 평가에서 나쁜 성적을 보인 사람들이 그 항목에 정확하게 대답했다는 것을 나타낸다.

How should we judge the quality of assessment items? From a psychometric perspective, an item has good quality if it has a high item discrimination index. A variety of approaches are used to calculate the item-discrimination index. It has been well documented that the point-biserial correlation (the correlation between item score and the total mark excluding the item score) provides the best indicator of the item quality (Kelley et al. 2002). A good item has a point-biserial correlation of 0.25 or above. A negative value of the discrimination index indicates those who performed poorly on assessment answered the item correctly.

Item characteristic curves (ICC)

ICC는 시험의 학생 능력과 항목 난이도 사이의 관계를 설명한다. (그림 1 참조). 이 수치에서 알 수 있듯이, 이 항목은 전체 시험에서 성적이 좋지 않은 학생들이 그 문항을 틀렸음을 의미하므로, 학생을 잘 변별하였다.

ICC illustrate the relationship between student ability and item difficulty (the proportion of students answering an item correctly) of a test. (see Figure 1). As you can see from this figure, this item has discriminated students soundly meaning that those who performed poorly on the whole test answered the item incorrectly.

Option characteristic curve

기능적 오답보기(틀릴 수 있을 정도로 부정확한 항목)는 실제로 적절한 답가지일 경우 전체 시험 점수와 부정적인 상관관계를 가진다. 학생이 잘못된 선택(고교생과 저학력자)을 선택하지 않을 경우, 이 선택사항은 문제에서 제외되어야 한다. 제대로 된 보기라면, 학생 중 5% 이상에서 응답해야 한다(Haladyna 및 Downing 1988).

A functional distractor (plausibly incorrect item) has negative correlation with the total test score, if it is indeed a distractor. If a wrong option is not chosen by students (high and low performers), the option should be excluded from the question. A functional distractor should have a distribution frequency of greater than 5% for a cohort of students (Haladyna and Downing 1988).

그림 2는 여러 학생들로부터 객관식 질문의 추적선을 보여준다. 보기 A는 학생 능력이 증가함에 따라 이 대안을 선택하는 경향이 줄어들었음을 보여준다. 보기 B, C, D는 이 세 가지 부정확한 대안들이 타당하지 않다는 것을 반영하는 소수의 학생들에 의해 선택되었고, 이 항목이 상위 성과자와 하위 성과자를 구분하지 않는다는 것을 쉽게 제거했다. 올바른 보기 E는 대다수의 학생들에 의해 선택되었고 이 대안들을 선택하는 것은 학생들의 능력이 증가함에 따라 높게 되었다.

Figure 2 shows that the trace lines in a multiple-choice question from a cohort of students. Alternative A shows that the tendency towards the selection of this alternative was decreased as student ability was increased. Alternatives B, C and D were selected by few students reflecting that these three incorrect alternatives were not plausible and easily eliminated meaning that this item did not discriminate between high and low performers. Correct alternative E was selected by the majority of students and selecting this alternative became high as student ability increased.

Conclusions

Med Teach. 2017 Oct;39(10):1010-1015. doi: 10.1080/0142159X.2017.1359521. Epub 2017 Aug 2.

The foundations of measurement and assessment in medical education.

의학교육에서 동기부여(AMEE Guide No. 115) (Med Teach, 2016)

Motivation in medical education 

Thierry Pelacciaa,b and Rolland Viauc

도입

Introduction

오랫동안, 실제로, 특히 헬스케어과 같은 매우 전문적인 분야에서 이 수준의 학생들은 동기부여되어있을 것으로 가정되었다. 따라서 보건과학과정의 동기 부여에 관한 구체적인 연구는 21세기 이후 증가하였지만 드물다(Kusurkar, Ten Cate, et al. 2011).

For a long time, it was indeed assumed that students at this level must be motivated, particularly in highly professional areas such as health sciences. Therefore, specific studies on motivation in health science courses are rare, although they have increased in number since the turn of the twenty-first century (Kusurkar, Ten Cate, et al. 2011).

이러한 연구의 대부분은 동기부여가 학습의 측면에서, 유익한 효과와 연관되어 있다는 것을 입증했다.

Most of these studies have demonstrated that motivation is linked to beneficial effects in terms of learning

비록 교사들이 학생들의 학습 동기에 대한 모든 책임을 지지 않지만, 여전히 교사의 책임은 매우 높다. (Viau 2009)

although teachers do not bear full responsibility for their students’ motivation to learn, their responsibility is very high (Viau 2009).

고등교육에서, 특히 의과대학에서, 학생들은 대부분 무언가를 배우는 것에 동기부여되어있기보다는 성공적으로 졸업하는 데 동기부여 되어있으며, 이것은 선발과정에서 더 강화된다 (Holland 2016).

Students in higher education are indeed mostly motivated to successfully graduate, especially in medical schools, where the selection process enhances such motivation, rather than the motivation to learn (Holland 2016).

동기부여란

What is motivation? 

매우 일반적으로 말해서, 그레이엄 & 웨이너(1996, 페이지 63)는 "동기motivation란 사람들이 왜 그렇게 생각하고 행동하는가에 대한 연구"라고 생각한다. 그러나 그 개념을 중심으로 만들어진 수십 개의 이론에 관해서는 동기에 대한 합의된 정의는 없다.

In a very general way, Graham & Weiner (1996, p. 63) consider that “motivation is the study of why people think and behave as they do”. However, there is no consensual definition of motivation, in regard to the dozens of theories that have been built around the concept.

이 중에서, 사회적 인지적 접근은 동기에 대한 연구에서 상당한 중요성을 얻었다. 사회인지적접근법에 따르면, 학습 동기는 개인 자신과 환경에 의해 결정된다. 더 정확히 말하면, 이것은 [자신의 학습 환경, 학습 행동, 그리고 환경 요인에 대한 학생들의 인식] 사이의 지속적인 상호 작용에서 비롯된다(Bandura 1997; Viau 2009).

Among these, the social cognitive approach has gained considerable importance in the study of motivation . According to this approach, motivation to learn is determined by both the individual himself and by the environment. More precisely, it results from constant interaction between a student’s perceptions of his learning environment, learning behavior, and environmental factors (Bandura 1997; Viau 2009).

사회적 인지적 접근법에 따르면, 동기라는 것은 단순히 어떤 활동을 수행할지 말지의 선택이 아니다. 동기라는 것은 일단 선택을 내린 이후에 한 사람이 취하는 행동의 방향, 강도, 지속성을 가리키는 것이다. 또한 동기란 시간, 상황 및 분야에 따라 달라지며, 성격 특성도 아니며, 항구한 개인 특성도 아니라는 사실을 강조한다(Murpy & Alexander 2000; Kusurkar et al. 2012). 이러한 이유로, 비아우(2009년)는 '동기' 보다는 '동기적 역동(motivational dynamic)'이라는 용어를 선호한다.

The social cognitive approach helps to understand that motivation does not simply refer to the choice of undertaking one activity or another, but also to the direction, intensity, and persistence of a person’s behavior once the choice has been made. It also highlights the fact that motivation varies according to the time, context and field within which it is studied, being neither a personality trait nor a permanent personal characteristic (Murphy & Alexander 2000; Kusurkar et al. 2012). This is why Viau (2009) prefers the term “motivational dynamic” rather than motivation.

우리는 다음과 같이 동기부여를 정의한다. 

"동기는 [학생]이 자신과 환경에 대해서 가지고 있는 인식에서 비롯되는 현상으로서, 동기에 따라 학생은 학습을 목적으로 하는 어떤 교육활동을 수행할지, 얼마나 꾸준히 할지, 얼마나 참여할지를 결정한다."(Viau 2009, p.12)

These considerations lead us to the following definition of motivation: 

“[Motivation is] a phenomenon originating in the perceptions that [the student] has of himself and his environment, which lead to his choosing to carry out the educational activity proposed, persevere and engage with it, with the aim of learning from it” (Viau 2009, p.12).

동기부여 역동 모델

“motivational dynamic model”,

imte_a_1248924_sm6170.docx

동기가 되는 동적 모델에 따르면, "동기부여된 학생"은

• 주어진 교육 활동이 유용하거나 흥미롭다고 생각함(교육 활동의 가치에 대한 인식) 

• 스스로 만족할 정도로 활동을 완료할 수 있다고 느낌(인식된 자기효능). 

• 자신의 학습 활동의 진행에 책임이 있다고 느낌(관리가능성에 대한 인식).

According to the motivational dynamic model, a “motivated student” 

• finds the proposed educational activities useful or interesting (perception of the value of an educational activity), 

• feels capable of completing the activities to his own satisfaction (perceived self-efficacy) and 

• has the impression of being responsible for the progress of his learning exercises (perception of controllability).

How can you act positively on your students’ motivation to learn?

Table 1 (available online as Supplemental Material),

교육활동의 가치에 대한 인식 향상

Enhance the perception of the value of the activity

학생들의 기대치와 프로젝트 탐색

Explore students’ expectations and projects

학생들은 자신의 목표, 기대 및 프로젝트와 일치할 때, 주어진 활동에 더 많은 가치를 부여한다(Lens & Decruyenaere 1991; Pelacia et al. 2008). 따라서 학생들이 이러한 것들을 정의하도록 탐구하고 돕는 것이 중요하다(Kusurkar, Croiset, et al. 2011). 이 목표를 달성하기 위해, 당신은 라운드 테이블로 훈련 세션을 시작할 수 있다. 또한 참가자에게 질문하거나 서면 설문지를 제공하기 위해 개별 또는 포커스 그룹 인터뷰를 개최할 수 있다. 강의의 맥락에서, 예를 들어, 참가자들에게 "이 강좌에서 기대하는 것은 무엇인가"라는 질문을 하고, 그것에 대해 말하기 전에, 답을 공식화하고 적을 수 있는 충분한 시간을 줄 수 있다(McKeachie & Svinicki 2013).

Students give more value to a given activity if it is in line with their own objectives, expectations and projects (Lens & Decruyenaere 1991; Pelaccia et al. 2008). It is therefore important to explore and help students define these (Kusurkar, Croiset, et al. 2011). To achieve this goal, you may start the training session with a round table. You may also hold individual or focus group interviews to question participants or give them a written questionnaire. In the context of lectures, you could, for instance ask participants the question “What do you expect from this course” and give them enough time to formulate and write down their answer, before speaking about it (McKeachie & Svinicki 2013).

연결고리를 설정함으로써 학습 목표를 학생들의 기대와 프로젝트와 연관시키는 것이 중요할 것이다. 또는, 왜 학생들이 주어진 학습 순서의 맥락 안에서 그들의 기대를 충족시킬 수 없는지 설명하는 것도 유용하다.

it will be important to associate learning objectives with the students’ expectations and projects, by setting up links. Otherwise, it is useful to explain to the students why their expectations cannot be met within the context of the given learning sequence.

학습자료의 목적 설명

Explain the purpose of the material taught

특히 학습 목표를 정의함으로써 학습자료의 유익성과 유용성을 설명하는 시간을 갖는 것은 학생들이 주어진 활동에 가치를 부여하는데 도움이 된다(Hopstock 2007; Viau 2009). 이는 학생들이 강의, 특히 생물의학 과목과 관련된 강의에 대해 강의의 가치를 식별하는 데 어려움을 겪는 경우가 많기 때문에 더욱 중요하다(Barker & Olson 1997; Ten Cate et al. 2011; McKeachie & Svinicki 2013). 학습 목표는 이상적으로 학생들의 미래 직업 활동과 연결되어야 한다.

Taking the time to explain the benefit and usefulness of the course material, particularly by defining the learning objectives, helps students to give value to a given activity (Hopstock 2007; Viau 2009). This is all the more important as students often have difficulties in identifying the value of a course, particularly for lectures, especially those related to biomedical subjects (Barker & Olson 1997; Ten Cate et al. 2011; McKeachie & Svinicki 2013). The learning objectives should ideally be connected to the students’ future professional activity,

생물의학 과학에 관해서, 덴트와 하든(2001)이 "수직 통합"이라고 부르는 맥락에서, 이른바 "임상 지향적" 접근법과 환자와의 접촉의 조기 촉진(텐 케이트 등, 2011년)에서도 동기적 이득이 있다.

Concerning biomedical sciences, there is also a motivational benefit in a so-called “clinically oriented” approach and early promotion of contact with patients (Ten Cate et al. 2011), in a context of what Dent and Harden (2001) call “vertical integration”.

학생들에게 도전적인 활동을 장려한다.

Promote activities that challenge students

많은 교사들은 쉽게 성취할 수 있는 목표를 가지고 교습회를 시작하는 것이 학생들의 학습 동기를 증진시킬 수 있다고 잘못 믿고 있다. (Viau 2009) 

• 그러나 너무 쉽게 성취할 수 있는 목표들은 지루함을 유발한다(Paris & Turner 1994) 

• 반면에 너무 복잡한 목표는 활동은 포기하게 된다.

Many teachers wrongly believe that starting a teaching session with easily achievable objectives may enhance their students’ motivation to learn further (Viau 2009). Objectives that are too easy to achieve quickly lead to boredom with the activity (Paris & Turner 1994); on the other hand, objectives that are too complex can lead to the activity being abandoned.

학습을 문제 해결 작업으로 설정

Make learning a problem-solving task

학생들이 1학년 과목 내용을 실제 의료행위/의료현장과 연결시키는 과정에서 겪는 어려움은 동기부여의 감소를 가져온다(Barker & Olson 1997). PBL 접근법과 같이 주제를 문제 해결로 전환하게 되면, 학생들이 미래의 전문적인 활동을 바탕으로 문제를 이해하거나 해결함으로써 생물의학 과학과 임상 학문 사이의 연관성을 떠올려볼 기회를 준다. 이는 문제가 어느 정도 authenticity를 갖고 연관되어 있다면 활동의 가치에 대한 학생의 인식이 향상될 것이다.

The difficulties experienced by students in linking the content of first-year courses to the practice of medicine lead to a decrease of their motivation (Barker & Olson 1997). The fact of turning a topic into problem solving – such as in the PBL approach – give students the opportunity to draw links between biomedical sciences and clinical disciplines by understanding or even solving problems based on their future professional activity. This improves their perception of the value of the activity (Pedersen 2003), provided that the problem is linked to a certain degree of authenticity,

(활동의 가치를 높게 인식한다면) 평가 활동은 처벌이 아니라 학습 활동으로서 인식되기 때문에 학생들에 의해 높이 평가될 것이다. 왜냐하면 학생들은 자신이 수행한 학습 연습이 그들의 미래 직업과 관련된 문제를 해결하는 데 유용하다는 것을 알게 될 것이기 때문이다. (Viau 2009)

the assessment activities will be appreciated by the students other than as a source of penalization, because they will be aware that the learning exercises they have done have been useful in solving the problems linked to their future professional life (Viau 2009).

이론과 실천 사이의 연계성 강화

Strengthen the links between theory and practice

몇몇 연구는 링크 활동의 가치에 대한 인식에 영향을 보여주는 경향이 있는데, 초기 또는 진행 중인 훈련 중 건강 학생이 이론과 실습 사이에서 할 수 있다(Hopstock 2007; 펠라키아 등). 2009). 이러한 연결고리는 학생이 교육자료와 과련한 임상 활동에 대한 사전 지식을 가지고 있을 때 establish하기가 더 쉽다(위그필드 & 에클스 2000; 펠라키아 외). 2009). 따라서, 임상 로테이션과 대학 과목 사이의 연결은 동기부여와 관련하여 잠재적으로 흥미롭다(Cottin et al. 2002).

Several studies tend to show the influence on the perception of the value of the activity of links, which a health student during initial or on-going training can make between theory and practice (Hopstock 2007; Pelaccia et al. 2009). These links are easier to establish for students with prior knowledge of the clinical activity corresponding to the material being taught (Wigfield & Eccles 2000; Pelaccia et al. 2009). Therefore, making connections between clinical rotations and university courses is potentially interesting with respect to motivation (Cottin et al. 2002).

하지만, 많은 학생들이 스스로 이러한 연결을 만들지 못할 것이라는 점을 염두에 두는 것이 중요하다. 따라서, 교사들은 [강의 중에 가르치는 자료]와 [임상 환경에서 사용되는 자료] 사이의 연관성을 설명하기 위해 시간을 할애할 책임이 있다. 앞 단락에서 설명한 전략은 이 목적을 달성하는 데 도움이 될 것이다.

However, it is important to consider that many students will not manage to make this connection on their own. Therefore, teachers are also responsible for devoting time, during their lectures, to explain the links between the material being taught and its use in the clinical setting. The strategies described in the previous paragraphs should help you achieve this objective.

인식된 자기 효능감 향상

Enhance perceived self-efficacy

성공 촉진 및 평가 동기 부여, 실패 지원

Promote success and motivating assessments, and support failure

성공은 자기효능감을 높이는 반면, 실패는 감소시킨다(Bandura 1997; Holland 2016). 그러므로 교수는 나쁜 점수를 줌으로써 학습자를 벌주는 것에 만족하지 말고, 먼저 어떤 학습이 있었는지 강조한 다음, 그들이 어떻게 잘못되고 있는지를 인식하도록 돕는 것이 중요하다. 이 지원에는 특히 학생들에게 사용할 평가 기준을 명확히 하고 설명하는 것이 중요하다(Viau 2009).

Successes enhance perceived self-efficacy, whereas failures reduce it (Bandura 1997; Holland 2016). It is therefore important not to be contentwith penalizing learning by giving poor marks, but first to emphasize the learning that has taken place, and then helpthemto recognize where they are going wrong. This support notably includes the importance of clarifying and explaining the assessment criteria you will use to the students (Viau 2009).

점수와 코멘트를 최대한 빨리 연결시키고(Viau 2009), 학생의 성공 능력에 대해 안심시키는 것도 좋은 생각이다. 마지막으로, 학생의 학습 전략, 발전 정도, 끈기 등과 같은 학습의 다른 차원을 평가하는 것이 중요하다.

It is also a good idea to link the mark to comments as soon as possible (Viau 2009) and reassure the student about his ability to succeed, as soon as this is realistic. Finally, it is important to value other dimensions of the learning achieved, e.g. learning strategies used by the student, progress made and persistence (Mann 1999; Viau 2009; Kusurkar, Croiset, et al. 2011; Stegers-Jager et al. 2012).

대리 경험의 결과 고려

Take into account the consequences of vicarious experience

반두라(1997년)에 따르면, 누군가가 행동을 취하여 그가 수행하고 있는 임무에서 성공하거나 실패하는 것을 관찰하는 것은 관찰자의 동기부여에 영향을 미칠 가능성이 있다. 이 "대리적 경험"은 자신의 능력에 관해 자기진단을 내릴 수 있는 하나의 원천이며, 사회적 비교에 근거한 추론을 바탕으로 한다(반두라 1997).

According to Bandura (1997), observing someone take action and succeed or fail in the task he is carrying out is likely to influence the motivation of observers. This “Vicarious experience” is based on inferences made by the observers on the basis of social comparisons, which are the source of a type of self-diagnosis with respect to one’s own abilities (Bandura 1997).

선의의 피드백 제공

Provide well-meaning feedback

선의의 피드백은 단순히 최종 점수를 제공하는 것에 국한되지 않는다. 구두 설명은 실제로 학생의 자기효능감 인식을 높일 수 있는 지렛대 중 하나이다. 피드백을 바탕으로 학생을 동기부여하기 위해서는 학생들의 프레젠테이션의 긍정적인 요소들을 포함시키는 것이 중요하다. 물론 성과에 대해서는 현실적이어야 한다(반두라, 1997년). 이것은 종종 의식적인 노력을 필요로 할 것이다. 왜냐하면 자연적으로, 교사들은 종종 학생들이 저지른 실수에만 전적으로 집중하는 경향이 있기 때문이다.

Well-meaning feedback is not restricted to simply providing a final mark. Oral persuasion is indeed one of the levers likely to build a student’s perceived self-efficacy (Bandura 1997). To make such feedback motivating, it is important to include the positive elements of a student’s presentation while, of course, remaining realistic about the performance (Bandura, 1997). This will often require a conscious effort, because spontaneously, teachers often tend to focus exclusively on errors committed by students.

동기부여 피드백은 또한 건설적이어야 하며 위협적이지 않아야 한다. 즉, 학습 질문을 목표로 하고, 그 자신이 아닌, 훈련의 다음 단계에서 학생을 어떻게 도울 것인가에 초점을 맞추어야 한다(Van de Ridder et al. 2008; Kusurkar, Croiset et al. 2011). 이는 때로 학생을 판단하지 않고 학생이 조치를 수행한 상황을 의미하며, 복잡한 활동과 관련하여 코스 초기에 나타날 때와 같은 특정 실패를 표준화한다(Ten Cate et al. 2011). 사용된 단어 또한 중요하다. 예를 들어, "오류"보다는 "개선점"이라는 용어가 낫다.

Motivating feedback should also be constructive and not threatening, i.e. it must target learning questions and focus on how to help the student during the next stages of his training, and not on the person himself (Van de Ridder et al. 2008; Kusurkar, Croiset, et al. 2011). This will sometimes mean not judging the student but the context in which the action was carried out by the student, which will standardize certain failures, such as when they appear early in the course, with respect to complex activities (ten Cate et al. 2011). The words used are also important . For example, prefer the term “points for improvement” rather than “errors”

학생들이 교무 업무를 수행하도록 허용

Allow students to undertake teaching duties

학생들이 특정한 경우에 가르치는 역할teaching duties을 수행하도록 허용하는 것은 또한 자기효능감에 긍정적으로 작용할 수 있다.

Allowing students to undertake teaching duties on certain occasions can also act positively on their perceived self-efficacy.

관리 가능성에 대한 인식 향상

Enhance the perception of controllability

학생들의 관리 능력에 대한 인식에 긍정적으로 작용하기 위해 사용되는 주요 전략은 학생들에게 선택기회를 주는 것이다. 그러나 모든 선택이 동기부여를 하는 것은 아니다(Flowerday et al. 2004). 동기부여 선택은 학습자에게 목적적합하고 흥미롭거나 중요한 것으로 보이는 것(즉, 자기 실현의 기회를 제공하는 것)이며, 학생들의 능력과 양립하고 그들에게 그들을 안심시키고 중요한 학습을 촉진할 수 있는 감독을 제공하는 것이다(Katz & Assor 2007).

The main strategy used to act positively on your students’ perception of controllability is to give them the opportunity to make choices. However, not all choices are motivating (Flowerday et al. 2004). Motivating choices are those that appear to be relevant, interesting or important for the learners—i.e. that provide an opportunity for self-realization—while being compatible with the students’ abilities and providing them with supervision which will reassure them and promote significant learning (Katz & Assor 2007).

또한 이러한 선택에는 평가 방법과 시간을 선택하는 것과 같은 평가 유형도 포함될 수 있다(Reeve 등, 2003; Ten Cate 등, 2011).

The choices may also concern types of assessment, e.g. by choosing the methods and times of assessment (Reeve et al. 2003; Ten Cate et al. 2011).

Conclusion

Med Teach. 2017 Feb;39(2):136-140. doi: 10.1080/0142159X.2016.1248924. Epub 2016 Nov 21.

Motivation in medical education.

다중역할 멘토링: 멘토의 개념화, 행동, 역할 충돌(Med Educ, 2019)

Multiple-role mentoring: mentors’ conceptualisations, enactments and role conflicts

Stephanie N E Meeuwissen, Renee E Stalmeijer & Marjan Govaerts

도입

INTRODUCTION

전통적으로 멘토링의 정의는 다음과 같은 것에 집중되어 왔다. 

Traditionally, definitions of mentoring have focused on: 

(i) 멘티 개발 및 학습 지원 

(i) supporting mentees’ development and learning, and 

(ii) 비판단적인 멘토-멘티 관계제공을 통한 멘티에게 안전한 환경 제공

(ii) providing a non-judgemental mentor–mentee relationship and thus a safe environment for mentees.

그러나, 멘토링의 정의와 개념은 종단적 평가와 프로그램적 평가(PA) 접근법의 도입에 따라 변화하고 있는 것으로 보인다.

However, definitions and conceptualisations of mentoring seem to be changing in light of the introduction of longitudinal and programmatic assessment (PA) approaches.7–9

프로그램적 평가는 시간이 지남에 따라 그리고 다양한 맥락에서 학생들의 역량 개발 평가를 지원하는 것을 목표로 한다.

Programmatic assessment aims to support the evaluation of students’ development of competence over time and across various contexts

PA에서는 포트폴리오를 사용하여 개별 학습 프로세스를 지도하고 학생 성과에 대한 종합 결정을 지원하는 것을 목적으로, 피드백과 학습 성과의 사이클cycles을 수집한다. 멘토의 역할은 PA의 성공에 필수적이다: 멘토는 의미 있고 성찰적 대화에 멘티를 참여시킬 수 있고, 상담과 후속 조치와 피드백 사용을 지원할 수 있다.10 따라서 멘토는 학생들을 지도하고 포트폴리오의 성과 데이터를 사용하여 그들의 역량 개발을 촉진해야 한다.

In PA, portfolios are used to collect cycles of feedback and learning outcomes aimed at guiding individual learning processes as well as supporting summative decisions about student performance.10,11 The role of the mentor is essential to the success of PA: mentors can engage mentees in meaningful, reflective dialogues, provide counselling and support the use of follow-up and feedback.10 The mentor is thus tasked with coaching students and stimulating the development of their competences through use of the performance data in the portfolio.12,13

그러나, PA에서 멘토는 동시에 학생들의 발전과 역량 수준에 대한 독립적인 평가 위원회에 조언을 제공한다. 이것은 멘토들이 코치와 평가자라는, 이중적이고 잠재적으로 충돌가능성이 있는 역할을 수행해야 하는 멘토링의 새로운 모델을 낳았다.

However, in PA, the mentor is also asked to advise an independent assessment committee on the students’ progress and competency level. This has resulted in new models of mentoring in which mentors have to fulfil the dual and potentially conflicting roles of coach and assessor.14,15

그러나 멘토링과 PA에 관한 문헌은 코치와 평가자의 역할을 분리하여 유지할 것을 일관되게 권고한다. 이러한 역할을 결합하는 것은 멘토, 멘토 및 멘토링 프로그램의 의도된 결과에 부정적인 영향을 미칠 수 있기 때문이다.

The literature on both mentoring and PA, however, consistently recommends keeping the roles of coach and assessor separate,1,10,16,17 as combining these roles may have a negative impact on the mentee, the mentor and the intended outcomes of the mentoring programme.18,19

예를 들어, 카발칸티와 데츠키는 멘티들이 성능 향상을 위한 중요한 기회를 놓칠 수 있다고 말했다. 마찬가지로, 버드베르크 피셔와 헤르타의 검토 결과들은 멘토들의 지속적인 점검checking이 학생들의 높은 불안감을 초래한다는 것을 보여주었다.

멘토 입장에서는 멘티의 성공여부에 대한 평가권한을 갖는데서 잠재적인 이해충돌이 생길 수 있다. 

• 멘토들은 그들의 학생들을 '실패'하는 것을 꺼릴 수 있으며, 그 결과, 학생들의 성적에 대한 개인적인 판단과 학생들의 최종 평가 사이에 불일치를 야기할 수 있다.21 

• 초기 연구에서도 멘토가 멘티를 평가함에 있어서 기밀 정보를 이야기해야 하거나, 나쁜 소식을 전해야만 하는 상황에서 강력한 관계에 대한 위협 문제를 겪는다고 밝혔다.

From the mentor’s perspective, potential conflicts of interest may arise from having a vested interest in the mentee’s success.19,20 

• Like clinical supervisors, mentors may feel reluctant to ‘fail’ their students, potentially resulting in discrepancies between their personal judgements of students’ performance and the students’ final evaluation.21 

• Earlier research also indicated a strong threat of relational problems  when mentors involved in their mentees’ assessments were forced to disclose confidential information or had to break bad news.22

평가자 역할을 맡아야 하는 것은 멘토 역할로 무엇을 해야하는지에 대한 불확실성과 혼란을 야기했다.23,24

Having to take on the assessor role caused uncertainty and confusion regarding the expectations of the mentor role.23,24

방법

METHODS

세팅

Setting

이 연구는 네덜란드 마스트리히트 대학의 MiM(Company Master in Medicine, MiM) 프로그램 내에서 수행되었다. 2013년, PA는 MiM 프로그램의 주요 특징 중 하나로 소개되었다. MiM은 3년간의 임상 회전으로 구성되며, 캐나다 의료 전문가 교육 지침(Canadian Medical Education Directives for Specialists, CanMEDS) 역할을 중요한 프레임워크로 사용하여 역량 기반 교육과 평가의 원칙에 따라 설계된다.25

The study was conducted within the undergraduate Master in Medicine (MiM) programme at Maastricht University, the Netherlands. In 2013, PA was introduced as one of the key features of the MiM programme. The MiM comprises 3 years of clinical rotations and is designed according to principles of competency-based education and assessment, using the Canadian Medical Education Directives for Specialists (CanMEDS) roles as its overarching framework.25

모든 학생들은 MiM 기간 동안 내과의사와 짝을 이룬다. 학생과 멘토는 매년 3~4차례 만날 것으로 예상된다. 멘토는 학생들을 지도하고 그들의 역량 개발을 지원하며 학생들의 진보와 성취 수준에 대한 독립적인 평가 위원회에 조언을 구한다. 이 조언은 포트폴리오의 성능 데이터에 대한 해석을 지원하는 세부 지침, 성능 표준(비료) 및 채점 논문에 기초해야 한다. 자세한 내용은 부록 S1을 참조하십시오.

Every student is paired with a physician-mentor for the duration of the MiM. Student and mentor are expected to meet three to four times each year. The mentor is asked to both coach students and support their development of competence, as well as advise an independent assessment committee on the student’s level of progress and achievement. This advice is to be based on detailed guidelines, performance standards (milestones) and scoring rubrics supporting interpretation of performance data in the portfolio. For more detailed information, please see Appendix S1.

방법

Methodology

우리는 CGT 접근법26,27을 사용하여 멘토들이 어떻게 멘토 역할을 개념화하고 제정하고 다중 역할 멘토링 시스템에서 발생가능한 역할 충돌을 경험하는지를 탐구했다.28 반복 프로세스에 따른 데이터 수집 및 분석.29 우리의 결과는 샘플링된 참여자와의 상호작용, 연구 프로세스 참여 및 결과 데이터에 대한 팀 해석 후 생성된다.27

We used a CGT approach26,27 to explore how mentors conceptualise and enact the mentor role and experience possible role conflicts in a multiple role mentoring system.28 Data collection and analysis followed an iterative process.29 Our results are constructed after interaction with the sampled participants, engagement in the research process and team interpretations of the resulting data.27

참여자

Participants

MiM 프로그램의 멘토는 다양성을 보장하기 위해 의도적으로 선별되었다.

Mentors in the MiM programme were purposively sampled to ensure variety

자료수집

Data collection

반구조적 인터뷰를 사용하여 멘토들의 

(i) 멘토 역할에 대한 개념화, 

(ii) 학생 진보의 코치 및 평가자로서의 구체적인 경험, 

(iii) 여러 역할을 결합한 경험 등을 탐구했다(최초 인터뷰 가이드의 부록 S2 참조). 

Using semi-structured interviews, we explored mentors’: 

(i) conceptualisation of the mentor role; 

(ii) specific experiences as a coach and assessor of student progress, and 

(iii) experiences of combining multiple roles (see Appendix S2 for the initial interview guide). 

인터뷰 가이드에는 다중역할 멘토링 시스템에서의 멘토링의 주요 개념27 및 프로그래밍 평가에 대한 정보를 제공하였다.10

The design of the interview guide was informed by key concepts27 of mentoring in a multiple-role mentoring system19,20,23 and programmatic assessment.10

본 연구의 목적상, '역할분쟁'을 "멘토들이 멘티의 학습과 개발에서 코치 역할과 더불어 학생의 발달과정에 대한 평가자로서의 역할에 대해 불편함을 표명한 상황으로 정의"했다.

For the purpose of this study, we defined ‘role conflict’ as situations in which mentors expressed feeling uncomfortable with their role as assessor of a student’s progress alongside being a student’s coach in learning and development.

자료 분석

Data analysis

SNEM과 MG는 처음 다섯 개의 성적표를 한 줄씩 독립적으로 읽고 코드화했다.30 오픈 코딩과 축 코딩을 사용하여 SNEM과 MG가 주제와 하위 테마를 생성하기 위해 초기 코드를 비교하고 논의하였다.31 인터뷰 11과 12의 분석과 코딩은 최종 코딩 계획을 확인했다. 분석의 마지막 단계에서 선택적 코딩을 위해 모든 기록을 함께 취하였다.31

SNEM and MG independently read and initially coded the first five transcripts line by line.30 Using open and axial coding, the initial codes were compared and discussed by SNEM and MG in order to generate themes and sub-themes.31 The analysis and coding of interviews 11 and 12 confirmed the final coding scheme. In the final phase of analysis, all transcripts were taken together for selective coding.31

반성성

Reflexivity

멘토들은 SNEM이 데이터 수집 당시에 이 멘토 시스템 내에서 멘토링도 받고 있다는 것을 알고 있었기 때문에 부정적인 경험을 공유하는 것을 꺼려했다고 주장할 수 있다. SNEM이 피드백 및 평가 시스템의 설계와 구현에 관여하지 않았기 때문에 멘토들도 더 개방적이고 정직하게 느낄 수 있었다. PA 시스템 시행 중에 직원들은 코치와 평가자의 이중 역할을 맡기를 꺼려하는 것처럼 보였다. 하지만, 멘토 제도가 어떻게 실제로 작동했는가에 대한 의문은 남아 있었다. 본 연구의 시작에서, 우리는 PA 내의 멘토링 프로그램의 이론적 목적과 잠재적인 함정에 대한 견해 외에 다른 견해를 갖지 않았다. 기존 문헌을 바탕으로 이 설정에서 갈등이 있었는지, 언제 일어났는지 궁금했다.

It could be argued that mentors felt reluctant to share negative experiences, because mentors knew SNEM was also receiving mentoring within this mentor system at the time of data collection. Mentors could have also felt more open and honest, as SNEM was not involved in the design and implementation of the feedback and assessment system. During the implementation of the PA system staff appeared reluctant to take on the dual role of coach and assessor. However, questions remained regarding how the mentor system worked in practice. At the start of this research, we held no views other than those on the theoretical aims and potential pitfalls of mentoring programmes within PA. Based on the existing literature, we were curious to discover if and when conflicts were experienced in this setting.

윤리적 고려

Ethical considerations

결과

RESULTS

(i) 권한부여적

(ii) 점검적

(iii) 지시적 ...이라는 세 가지 주요 멘토링 접근방식을 데이터에서 구성했다.

Three predominant mentoring approaches were constructed from the data: (i) empowering; (ii) checking, and (iii) directing.

이러한 결과의 요약은 표 2에 제시되어 있다.

A summary of these results is presented in Table 2.

권한부여적 접근

Empowering mentoring approach

이 접근방식을 가진 멘토들은, 협력관계에서 일하는 것과 유사하게 학습 방향에 대해 학생들과 공유된 이해와 합의를 발전시키는 것을 목표로 했다. 이러한 권한 부여 접근방식은 학생들의 발전을 위한 성찰전략으로 특징지어졌는데, 이는 모든 피드백, 시험 결과 및 개인적인 문제들이 학생에게 다시 mirrored back되었다는 것을 의미한다: 권한부여적 접근법을 가진 멘토들은 답을 제공하지 않고 대신 질문을 했다.

Mentors with this approach aimed to develop a shared understanding and agreement with students on the directions of their learning, similar to working in a partnership. This empowering approach was characterised by a reflective strategy for students’ development, meaning that all feedback, test results and personal issues were mirrored back to the student: mentors with an empowering approach did not provide answers, but asked questions instead.

하지만 나는 또한 그들이 어떻게 자신을 사람으로 보는지 물어본다. "누구세요?" "어떤 의사가 되고 싶으며 그런 생각을 해 본 적이 있는가?" (참여11)

But I also ask how they see themselves as a person. “Who are you?” “Do you have any idea what kind of doctor you want to be and have you ever thought about that?” (Participant 11)

권한부여적 멘토와 함께 학생들은 앞장서서 자신의 목표를 설정하도록 자극을 받았고, 이러한 목표를 달성하기 위한 전략을 선택하고, 그들 자신의 성과와 발전을 모니터했다.

With mentors who were empowering, students were in the lead and stimulated to set their own goals, select strategies to achieve these goals and monitor their own performance and development.

권한을 부여하던 멘토들은 평생학습능력의 개발을 촉진하고, 직업적 정체성의 발전을 위한 학생들의 개별학습 궤적을 지원함으로써 멘토들이 그들의 최대 잠재력에 도달하는 것을 목표로 삼았다.

Mentors who were empowering aimed for their mentees to reach their full potential through stimulating the development of lifelong learning skills and supporting students’ individual learning trajectories for the development of their professional identity.

학생들이 경험했던 문제적 상황을 토론할 때에도 권한을 부여하는 접근법이 유지되었다.

The empowering approach was maintained even in discussing problematic situations students had experienced.

권한부여 접근법을 가진 멘토들은 자신의 멘토링에서도 공유된 의사결정shared decision making 원칙을 적용하는 방법을 설명했으며, 이러한 접근방식은 자신의 전문적 배경(예: 일반 실무자[GP])의 핵심 가치에서 영향을 받았다.

Mentors with an empowering approach explained how they applied principles of shared decision making in their mentoring, sometimes influenced by the core values of their professional background (e.g. as a general practitioner [GP]).

나는 GP이기 때문에 항상 철저한 질문을 하고 맥락을 고려하려고 노력한다. 그리고 물론, GP로서, 나는 항상 환자들이 그들의 능력 안에서 문제를 스스로 해결하도록 노력해왔다. 그리고 그것이 이 학생들과 함께 하려고 노력하는 것이다. (참가자 5)

I am a GP, so I always try to ask thorough questions and consider the context. And of course, as a GP, I have always tried to let patients solve the issue themselves, within their competences. And that is what I also try to do with these students. (Participant 5)

이러한 멘토들은 학생들에게 학습 과정에 상당한 자율성을 주었지만, 그들은 사전에 제공된 성과 평가 지침을 따라 학생들의 발전을 모니터했다. 디지털 포트폴리오는 학생 개개인이 개인적으로나 전문적으로 최적으로 발전할 수 있도록 하는 정보를 위임받은 독특한 도구로 여겨졌다.

Although these mentors gave students a great degree of autonomy in their learning process, they monitored students’ development by following the offered guidelines for performance assessment. The digital portfolio was seen as a unique tool with entrusted information that empowered each student to develop optimally, both personally and professionally.

점검적 접근

Checking mentoring approach

주로 멘토링 접근법을 점검하는 우리의 표본에 있는 5명의 멘토들은 

(i) 학생들의 역량 개발을 모니터링하고 판단하고, 

(ii) 학생들이 이러한 문제에 초점을 맞추도록 하기 위한 지식, 기술 또는 전문적 개발의 취약점을 식별

...함으로써 그들의 역할을 수행했다. 

The five mentors in our sample with a predominantly checking mentoring approach fulfilled their role by: 

(i) monitoring and judging students’ competence development against performance standards, and 

(ii) identifying students’ problems, and weaknesses in knowledge, skills or professional development to ensure students focused on these issues. 

이러한 접근은 학생들이 졸업 시 요구되는 모든 성과 기준을 충족하도록 하는 것을 목표로 하는 멘토-멘티 관계를 이끌어 냈다.

This approach led to a mentor– mentee relationship that was largely instrumental, and aimed to ensure that students met all the required performance standards at graduation:

이 멘토들은 그냥 지나칠 수도 있었던 문제들을 탐지하는 데 책임을 느꼈다.

These mentors felt responsible for detecting problems that would otherwise go unnoticed.

점검적 멘토들은 학생들의 개인적personal 발전에 어떠한 개입도 언급하지 않았다. 오히려, 그들은 학생들이 그들의 학습과 발전에 대해 모든 책임을 지도록 요구하면서 관계에 있어서 일정한 거리를 두는 것처럼 보였다. 그들은 평가 시스템의 규칙과 지침이 그들의 멘토링 접근법을 결정했으며, 포트폴리오의 정보에 대한 평가 조언에 기초했다고 언급하였다.

Checking mentors did not mention any involvement in students’ personal development. Rather, they seemed to keep a relational distance, requiring students to take full responsibility for their learning and development. They stated that the rules and guidelines of the assessment system determined their mentoring approach and that they based their assessment advice on the information in the portfolio.

지시적 접근

Directing mentoring approach

멘토들에게 권한을 부여하는 것에 비해, 지시적 멘토들은 더 권위적으로 행동했고 어떤 조치를 취해야 하는지 그리고 상황을 어떻게 처리해야 하는지에 대해 학생들에게 가르치는 것처럼 보였다.

Compared to empowering mentors, the two directing mentors acted more authoritatively and seemed to instruct students on which steps to take and how to handle situations.

이 멘토들은 멘티학생에 대한 기득권을 가지고 있는 듯 보였고, [임상 환경에서의 개인적인 업무 경험]과 [훌륭한 의사는 무엇이고, 의사는 무엇을 할 수 있어야 하는지]에 대한 개인적인 신념을 바탕으로, 학생들이 '냉혹한 현실'에 대비하는 데 초점을 맞추고 있다.

These mentors seemed to have a vested personal interest in their student-mentees and focused on preparing their students for the ‘harsh reality’ of a physician’s working life, framed by their personal work experiences in the clinical setting and their personal beliefs on what constitutes a good doctor and what a doctor should be able to do.

이러한 멘토들은 학생들의 성과에 대해 책임을 느꼈고, 그들의 영역에서 의사가 되는 전문적인 기준을 유지하려는 근본적인 동기 부여를 느꼈다. 그들은 workplace based assessment and learning의 맥락에서 전략적인 행동을 인식하고 분명히 고려했다.

These mentors felt responsible for the performance of students, with the underlying motivation to maintain the professional standards of being a physician in their domain. They were aware of and explicitly took into account strategic behaviours in the context of workplace-based assessment and learning both from supervisors and students.

따라서 지시적 멘토들은 평가 시스템에 대해서 신뢰하지 못했고, 포트폴리오의 피드백이 유용하지 않다고 보았으며, 그들은 멘티가 실제 일상 실무에서 어떻게 하는지를 직접 보는 것을 선호하여, 자기 스스로가 멘토들의 성과에 대한 의견을 형성할 수 있도록 하였다.

Therefore, the directing mentors in our sample seemed to lack trust in the assessment system and the usefulness of feedback in the portfolio, and they preferred actually seeing their mentees function in daily practice, so that they themselves could form an opinion about the mentees’ performance.

역할갈등의 경험

Experiences of role conflicts

권한부여적, 점검적 멘토들은 평가자와 코치 역할의 조합을 학생의 발전에 가치를 더하는 것으로 인식하였으며, 두 역할을 수행함에 있어서 피드백과 평가 시스템에 의해 촉진되었다고 느꼈다. 접근방식은 다르지만, 권한부여적 멘토와 점검적 멘토들은 코칭 프로세스가 평가를 포함한다고 인식했다. 왜냐하면, 코칭이란 학생들과 정기적으로 피드백 대화를 나누며, 과거의 성과를 되돌아보고, 현재의 성과와 달성해야 할 목표 사이의 차이를 좁히기 위한 행동을 정의하는 것이기 때문이다

The predominantly empowering and checking mentors perceived the combination of the assessor and coach roles as added value for the student’s development and felt that they were facilitated by the feedback and assessment system in performing both roles. Although differing in approach, empowering and checking mentors perceived assessment to be embedded in the coaching process, as their coaching entailed having regular feedback conversations with the student, looking back on past performance and defining actions to close the gap between current performance and goals to be achieved.

전반적으로, 이 멘토들은 디지털 포트폴리오에 수집된 종합적인 증거에 기초하여 학생들의 성적을 평가하는데 자신감을 가졌다. 결론적으로, 코치와 평가자의 역할을 하는 것은 권한부여적, 점검적 멘토 역할에 필수적인 것으로 간주되었다.

Overall, these mentors felt confident in making judgements of students’ performance based on the aggregated evidence gathered in the digital portfolio. To conclude, the roles of coach and assessor were seen as integral to the mentor role of empowering and checking mentors:

역할 충돌은 주로 지시적 접근법을 가진 멘토들이 경험할 가능성이 더 높은 것 같았다. 이 멘토들은 평가자 역할이 전체적으로 불쾌한 경험이었다고 진술했다. 여기서 평가 조언을 제공하는 것은 코치로서의 그들의 업무를 방해하고 멘토-멘터리 관계에 거리감을 생기게 하는 것으로 보였다.

Role conflicts seemed more likely to be experienced by mentors with a predominantly directing approach. These mentors stated that the assessor role as a whole was an unpleasant experience, where providing assessment advice was seen as disrupting their task as coach and creating distance in the mentor–mentee relationship.

또한 이들 멘토들의 성과기준이 항상 평가시스템에서 정한 성과기준을 충족하지는 못했다. 대신에, 그들은 학생들에게 중요한 것에 대해 강한 개인적 신념을 가지고 있었다. 따라서 그들은 그들 자신의 경험을 토대로 하여 직접적인 관찰에 근거하여 판단을 내리는 것을 선호하였다. 그들은 학생들의 포트폴리오에 있는 '세컨더리 정보'를 신뢰하지 않았다. 그들은 이 정보를 신뢰성이 낮다고 생각했다.

Also, these mentors’ performance standards did not always meet the performance standards as prescribed by the assessment system. Instead, they had strong individual beliefs on what was important for students. They thus built upon their own experiences and preferred to make judgements based on direct observations. They mistrusted ‘second-hand information’ in the students’ portfolio, which they regarded as low in credibility:

나는 흰 코트를 입은[나의 멘티]를 본 적이 없다. 어쩌면 내 학생은 상황을 엉망으로 만들고 있고, 다른 모든 사람들은 "쟤 여기서 뭐하는거야?"라고 생각하고 있을 가능성이 있다. 그러나 나는 그것을 볼 수 없다. (3 참가)

I have never seen [my mentee] in a white coat. And it’s possible that he is making a mess of it and everyone else is thinking “wow what is he doing here in the hospital?” But I am not able to see that. (Participant 3)

지시적 멘토들은 부정적인 조언이 학생들의 발전과 미래 직업에 부정적인 영향을 미칠 수 있다고 걱정했다. 그들은 평가를 형성적 과정(학습에 대한 평가)이 아니라 총괄적 과정(학습의 평가)으로 계속 보았다. 이러한 멘토들의 책임감과 학생의 전문적 발전에 대한 vested interest을 가졌다는 사실은 평가행동으로도 드러났다. 이 멘토들은 포트폴리오에 관련된 개인 정보를 문서화하지 못하였다.

The directing mentors in our sample were worried that negative advice could have a negative impact on the student’s development and future career. they kept seeing assessment as a summative process (assessment of learning) and not a formative process (assessment for learning). These mentors’ feelings of responsibility and having a vested interest in students’ professional development were reflected in specific assessment behaviours such as failing to document relevant personal information in the portfolio:

솔직히 말하면, [나의 멘티 학생]에 대해, 나는 그의 포트폴리오에 그런 [부정적인 논평]을 넣지 않았다.[......]나는 이렇게 말했다. "너도 알다시피, 나는 지금 너에게 이것을 말하고 있는 중이다. 그리고 나는 이것을 너의 포트폴리오에 넣지 않을 것이다. 왜냐하면 그것은 너를 괴롭힐 수 있기 때문이다." 그래서 나는 가끔 그에게 개인적인 정보를 주고 싶다, "이것과 당신의 평가에 있어서, 그것에 대해 알아라." (참가자 3)

Let me be honest, with [my mentee student], I did not put that [negative comments] in his portfolio. [...]Isaid“you know, I am just telling you this now. And I am not going to put this in your portfolio, because it might haunt you”. So I like to give him some personal information now and then, “be aware of this and in your assessment, be aware of that”. (Participant 3)

이러한 멘토들은 경험 있는 역할 충돌에 대처하기 위해 다른 추가적인 메커니즘을 사용했다. 그들은 멘토로서 판단을 자제하고 학생들의 자기 평가에 크게 의존했다. 게다가,  포트폴리오에 있는 증거가 아니라, 멘티와의 미팅에서의 대화가 평가의 소스가 되었다. 그 후 포트폴리오를 다른 사람(즉, 포트폴리오 평가위원회)에게 넘겨 증거 검토를 직접 하지 않았다.

These mentors used different additional mechanisms to cope with their experienced role conflict. They refrained from making advisory judgements themselves and heavily relied on student’s self-assessment. In addition, the conversations during mentor meetings became a source of assessment rather than the evidence in the portfolio itself. The portfolio was then passed on to others (i.e. the portfolio assessment committee) to review the evidence instead of doing it themselves.

이 한 가지 사례로 나는 실제로 그 학생이 스스로 결정하도록 했다. 내가 그런 결정을 내려야 한다면, 나는 그것이 몹시 불편하다고 생각할 것이다. (참가자 3)

With this one case I actually let the student decide herself. If it would have been expected from me to make that decision, I would find that extremely uncomfortable. (Participant 3)

고찰

DISCUSSION

세 가지 멘토-멘터리 관계: 

• 권한부여적 멘토는 멘티와 함께 협력적으로 일했고

• 점검적 멘토는 도구적 멘토-멘토 관계를 발전시켰고

• 지시적 멘토는 전형적으로 그들의 멘티들과 더 교수-중심적 관계를 발전시켰다.

three mentor–mentee relationships: 

• empowering mentors worked together with their mentee-students in partnership, 

• checking mentors developed more instrumental mentor– mentee relationships, whereas 

• directing mentors typically developed more faculty-centred working relationships with their mentees.

역할 충돌의 정도는 멘토들이 선호하는 멘토링 접근법과 관련이 있는 것으로 보였다.

The extent to which a conflict of roles was experienced, seemed to be related to mentors’ preferred mentoring approach:

어떤 멘토링 접근법을 선택하느냐는 멘토들의 전문직업적 배경과 작업 환경과 관련이 있는 것처럼 보였다. 이와 같이 멘토가 멘토링을 어떻게 개념화하고 실천하는가는 현재 직업적인 환경에서의 요구나 환자에 대한 행동과 유사한 것으로 보였다.

The adopted mentoring approach seemed to be associated with mentors’ professional background and work setting. As such, mentors’ conceptualisations and enactments seemed to be either informed by demands of their current work settings or similar to their behaviour towards patients

또한, 학습에 대한 신념과 평가시스템에 대한 신뢰(또는 불신)이 멘토링 접근법에 영향을 미쳤다. 예를 들어, 지시적 멘토는 학습을 위한 평가 대신에 학습의 평가를 추구했다.

Additionally, deeply rooted beliefs about learning and (dis)trust in the assessment system influenced mentoring approaches. For example, the directing mentors in our sample seemed to be driven by assessment of learning, instead of assessment for learning priciples.9

Buell33은 네 가지 멘토링 모델(복제, 견습생, 양육 및 우정)을 설명했는데, 이는 우리 연구의 결과와 매우 유사하다(복제 – 지시, 견습생 – 점검, 육성 – 권한 부여). 

Buell33 described four different mentoring models (cloning, apprentice, nurturing and friendship), which to a large extent resemble findings from our study (

• cloning – directive, 

• apprentice – checking, 

• nurturing – empowering). 

부엘의 연구 결과와 달리, 우리의 참가자들은 멘토-멘티 관계가 개인적인 우정으로 간주되는 접근방식인 우정 모델은 채택하지 않은 것 같다.33 오히려 이번 연구의 멘토들은 모두 전문적인 관계를 발전시키고 유지하는 것처럼 보였다.

Contrary to Buell’ s findings, our participants did not seem to adopt the friendship model – an approach in which the mentor–mentee relationship is considered to be a personal friendship.33 Rather, the mentors in our study all seemed to develop and maintain a professional relationship.

데카스트로 외 개별 멘토들이 의학의 맥락에서 특정 멘티-학생과의 관계에 따라 어떻게 다른 멘토 역할을 채택할 수 있는지를 강조하였다. 마찬가지로, Buell은 멘토-멘티의 상호작용 연속체에서 멘토링 모델이 발생할 수 있다고 설명했다. 멘티가 발전함에 따라 멘토의 역할이 진화한다는 것도 이미 언급되었다.

DeCastro et al.34 highlighted how individual mentors may adopt different mentoring roles depending on the relationship with the particular mentee-student in the context of medicine. Likewise, Buell33 described that mentoring models could take place in a continuum of mentor–mentee interactions. It has also been previously stated that as the mentee develops, the role of the mentor evolves.35

이전의 문헌과 대조적으로, 우리의 연구 결과는 다중 역할 멘토링 시스템이 반드시 역할 충돌과 연관되어 있는 것은 아니라는 것을 보여준다. Heeneman 등은 역할 충돌을 [멘토 경험의 부족, 멘티와의 개인적 관계, 학생들의 최종 수준에 대한 불확실성] 등과 연결시켰는데, 우리의 결과는 역할충돌에 대한 멘토링 접근법의 영향을 더 강조한다.

In contrast to previous literature,1,10,16,17 our findings show that multiple-role mentoring systems are not necessarily associated with role conflicts. Whereas Heeneman et al.15 linked role conflicts to a lack of mentor experience, the personal relationship with the mentee and uncertainties about students’ end level, our results point more towards the influence of the mentoring approach,

교수 중심의 관계에 가까운 지시적 멘토링 접근법이 멘토들의 부정적인 경험과 더 강하게 연관되어 있음을 확인했다. Arntfield 등도 학생-교육자 참여와 긍정적 경험의 피드-포워드를 위해서는 [학생의 주체성agency와 양방향적,순환적 프로세스]가 중요함을 강조했다. Student agency의 중요성은 학습과 평가 경험을 통제하는 것을 배우는 데 도움이 되기 때문에 학생 스스로 목소리를 높인다는 점에서 주목할 만하다.37

Our finding that a more directing mentoring approach, linked to a faculty-centred relationship, is more strongly related to the negative experiences of mentors, does align with the findings by Arntfield et al.36 They emphasised the importance of student agency and a ‘bi-directional and cyclical’ process to achieve student–mentor engagement and feedforward in positive experiences.36 It is noteworthy that the importance of student agency has been voiced by students themselves as it helps them learn to take control of their learning and assessment experience.37

우리의 연구에서 역할 충돌을 경험한 멘토들은 몇 가지 극복 메커니즘을 설명했다. 이러한 메커니즘은 부분적으로 프로그래밍 방식, 작업장 기반 평가에 대한 신뢰 부족과 '보조 정보'를 판단해야 하는 것과 관련이 있었다. 자신의 관찰에 의존하기를 원하는 평가자들은 이전에 Hawe38과 Driessen과 Shellle에 의해 보고되었다. 이전 연구에서는 평가자들이 어떻게 '직관적'이었는지 묘사했는데, 이들은 포트폴리오에 정보를 사용하는 대신에 그들의 '직감'을 신뢰하기를 원했다.

The mentors who experienced role conflict in our study described several coping mechanisms. These mechanisms were partly related to a lack of trust in programmatic, workplace-based assessment and having to judge ‘second-hand information’. Assessors wanting to rely on their own observations were previously reported by Hawe38 and Driessen and Scheele,39 who described how assessors were ‘intuitive’ and wanted to trust their ‘gut feelings’ instead of using the information in a portfolio.

우리의 연구는 멘토가 무엇이어야 하고 해야 하는가에 대한 개인적 믿음이 얼마나 뿌리 깊은지를 분명히 지적하며, 이러한 개인적 신념이 외부 지침과 성과 기준의 채택과 사용을 방해할 수 있음을 보여준다.

Our study, clearly points out how deeply rooted personal beliefs about what a mentor should be and do may hinder adoption and use of external guidelines and performance standards.

특히, 우리의 연구는 멘토링에 대한 오래된 정의와 개념(멘티의 발달을 지원하고, 비판단적 멘토-멘터리 관계 제공)에서 벗어나는 것이 문제가 없다는 것을 보여준다. 

• 멘토링의 기존 정의는 비판단적 측면을 강조하고 있지만, 

• 권한부여적 멘토링과 검검적 멘토링에서 평가 프로세스란 학습/발전/목표달성을 가이드하기 위하여 수행하는 개인의 교육적 계획-수행-학습-행동 사이클에 부합하며, 지속적인 형성평가에서 얻은 정보를 활용한다.

Notably, our study shows that moving on from the old definition and conceptualisation of mentoring – supporting mentees’ development and providing a non-judgmental mentor–mentee relationship1,6 – does not need to be problematic. 

• Whereas the old definition of mentoring incorporated the nonjudgemental aspect,6,10 

• both the empowering and checking mentoring approaches are in line with current developments in medical education in which the assessment process is seen as a personal educational plan-do-study-act cycle, informed by ongoing formative assessments to guide learning, improvement and goal achievement.41

한계

Limitations

첫째, 우리의 연구 결과를 다른 국가 환경으로의 이전 가능성에 대해 거의 언급할 수 없다. 그러나 데이터를 수집한 문맥에 대한 두꺼운 설명을 제공함으로써 전송 가능성을 높이기 위한 모든 시도가 이루어졌다.

First, Little can be said about transferabilityof our findings to other (inter)national settings  . However, every attempt was made to augment transferability by providing a thick description29 ofthe context in which data were collected.

함의

Implications for practice and future research

PA 시스템의 멘토에 대한 교수진 개발은 PA를 뒷받침하는 핵심 원칙, 포트폴리오 기반 학습 및 평가뿐만 아니라 멘토 신념과 멘토링 접근방식, 멘토-멘티 관계 및 멘토링의 잠재적 결과 사이의 상호작용에 어떻게 영향을 미칠 수 있는지에 초점을 맞추어야 한다.

Faculty development for mentors in PA systems should not only focus on key principles underpinning PA, portfolio-based learning and assessment, but also on mentor beliefs and how these may affect the interaction between mentoring approach, mentor–mentee relationships and potential outcome of mentorships.

결론

CONCLUSIONS

자율적인 멘토링 접근법을 통해 평가가 학습 과정과 통합되는 학습 문화를 개발할 수 있다.

With the empowering mentoring approach, a learning culture can be developed in which assessment is integrated with the learning process.

부록 S1. 멘토에 대한 요구사항 및 멘토 판단 위치.

Appendix S1. Requirements for mentors and positioning of mentor judgements.

Med Educ. 2019 Jun;53(6):605-615. doi: 10.1111/medu.13811. Epub 2019 Feb 5.

Multiple-role mentoring: mentors' conceptualisations, enactments and role conflicts.

멘토십만으로는 부족하다: 대학의학에서 커리어 개발에 대한 스폰서십의 역할(Acad Med, 2019)

Mentorship Is Not Enough: Exploring Sponsorship and Its Role in Career Advancement in Academic Medicine

Manasa S. Ayyala, MD, Kimberly Skarupski, PhD, MPH, Joann N. Bodurtha, MD, MPH, Marlís González-Fernández, MD, PhD, Lisa E. Ishii, MD, MHS, Barbara Fivush, MD, and Rachel B. Levine, MD, MPH

대학의학에서 멘토링은 오래 전부터 커리어 발전을 위해 가장 중요한 직업적 관계의 한 유형으로 여겨져 왔다.1

In academic medicine, mentorship has long been considered the most important type of professional relationship for career development.1

멘토는 멘티에게 조언, 피드백, 코칭 등을 제공하며, 종단적 인간관계를 통해 발전을 촉진한다. 성공적인 멘토링은 멘토와 멘티 모두에게 변혁적이다. 비록 주된 초점은 멘티에게 있다.2

Mentorship fosters development through a longitudinal personal relationship in which the mentor provides advice, feedback, and coaching to the mentee. Successful mentorship is transformative for both the mentor and mentee, though the primary focus is on the mentee.2

멘토링은 멘티들의 직업 만족도 향상 뿐만 아니라, 멘티들의 개인 발전, 학문적 진로, 연구 생산성에 중대한 영향을 미치는 것으로 나타났다.5 비효율적인 멘토링은 주니어 교수진의 유지retaining에 어려움을 초래할 수 있고, 대학의학에 대한 환멸과 보조금 지원의 감소로 이어질 수 있다.6 효과적인 멘토링과 학문적 생산성의 연관성을 고려할 때, 많은 기관들이 구조화된 멘토링 프로그램을 개발했다.8–10

Mentorship has been shown to have a significant impact on mentees’ personal development, academic career path, and research productivity,4 in addition to improving their career satisfaction.5 Ineffective mentorship can lead to difficulty in retaining junior faculty, disillusionment with academic medicine, and decreased grant funding.6 Given the link between effective mentorship and academic productivity,7 many institutions have developed structured mentoring programs.8–10

그러나, 특히 여성에 대해서는 멘토만으로는 커리어 발전에 충분하지 않을 수 있다는 인식이 증가하고 있으며, 특히  소수집단UIM 교수진에서 불충분하게 대표되고 있다.11,12 스폰서십이라는 개념은 대학의학에서 인정을 받고 있다. 

이는 의료계와 비슷하게, 멘토링이 중요하지만 advancement를 보장하기에 충분하지 않다고 여겨지는 비지니스 환경에서 스폰서십의 인기가 높기 때문이다. 이는 특히 높은 자리와 여성과 소수민족에서 더 그렇다.

There is increasing awareness, however, that mentorship may not be sufficient for career advancement, particularly for women and underrepresented in medicine (UIM) faculty.11,12 The concept of sponsorship is gaining recognition in academic medicine, in part due to its popularity in the business setting where mentorship is similarly viewed as important but not sufficient to guarantee advancement, specifically to high levels of leadership and for women and minorities.

비즈니스 맥락에서, 스폰서십은 다음과 같이 정의된다.

In the business context, sponsorship is defined as

의사결정 프로세스 또는 구조에 상당한 영향을 미치는 누군가의 적극적인 지원. 이 사람은 스폰서하는 대상의 경력 향상을 위해 옹호, 보호, 투쟁한다.

active support by someone appropriately placed in the organization who has significant influence on decision-making processes or structures and who is advocating for, protecting, and fighting for the career advancement of an individual.13

스폰서십을 받으며, 프로테제는 높은 visibility를 얻게 되고, 경력 향상 기회를 얻게 된다.14 학술의학에서 이것은 높은 자리, 상, 인지도를 높힐 기회를 위해 추천받는 것을 포함할 수 있다.15

With sponsorship, a protégé is put forward by a sponsor for high-visibility, career-advancing opportunities.14 In academic medicine this may include being recommended for a leadership role, an award, or a high-profile speaking opportunity.15

방법

Method

연구설계와 표본

Study design and sample

2016년 존스홉킨스대 의과대학(JHSOM)에서 후원자 및 피후견인 샘플을 대상으로 1대1의 반구조화 인터뷰를 활용한 정성적 연구를 실시했다. 우리는 스폰서를 다른 교직원의 경력을 발전시킬 수 있는 영향력이나 권력의 자리에 있는 교직원으로 정의했다.

We performed a qualitative study using one-on-one, semistructured interviews with a sample of sponsors and protégés at the Johns Hopkins University School of Medicine (JHSOM) in 2016. We defined a sponsor as a faculty person in a position of influence and power who would be able to advance the careers of other faculty.

우리는 프로테제를 리더십 잠재력이 높은 교직원이라고 정의했다.

We defined a protégé as a faculty person with high leadership potential.

우리는 이번 연구를 위해 10~15명의 스폰서와 10~15명의 프로테제를 모집하는 것을 목표로 했다. 스폰서들과 프로테제들은 스폰서-프로테제 페어로 모집하지는 않았다.

We aimed to recruit 10 to 15 sponsors and 10 to 15 protégés to interview for the study. Sponsors and protégés were not recruited as sponsor–protégé pairs.

자료 수집

Data collection

우리는 각각 30분에서 40분 동안 일대일, 반체제 인터뷰를 실시했다. 인터뷰 가이드는 연구 저자들 사이의 반복 과정을 이용하여 멘토 1,6,16 및 스폰서십13,17에 관한 기존 문헌을 기반으로 개발되었다. 4차례 시범면접(후견인 2명, 프로토인 2명)을 실시해 인터뷰 길이를 측정하고 질문의 명확성을 확보했다. 우리는 이러한 시범 인터뷰에 근거하여 수정하였으며, 최종 인터뷰 가이드는 스폰서 및 프로테지에 대해 약간 달랐다(부록 1).

We conducted one-on-one, semistructured interviews lasting 30 to 40 minutes each. An interview guide was developed based on the existing literature on mentorship1,6,16 and sponsorship13,17 using an iterative process among the study authors. We conducted four pilot interviews (two with sponsors and two with protégés) to gauge the length of the interview and to ensure clarity of questions. We revised on the basis of these pilot interviews, and our final interview guides varied slightly for sponsors and protégés (Appendix 1).

자료 분석

Data analysis

모든 기록은 세 명의 연구자(M.S.A., K.S., R.B.L)가 읽었는데, 그들은 "편집 분석 스타일"18을 사용하여 텍스트의 의미 있는 부분을 식별하고 데이터에서 임시 코딩 템플릿으로 초기 범주를 개발했다.

All transcripts were read by three researchers (M.S.A., K.S., R.B.L.), who used an “editing analysis style”18 in which they read the transcripts to identify meaningful segments of text and to develop initial categories from the data into a provisional coding template.

결과

Results

우리는 5가지 주제를 인터뷰로부터 확인했다. 

We identified five themes from the interviews: 

(1) 멘토는 다르다: 스폰서은 간헐적이며, 특정한 기회에 초점을 맞춘다. 

(1) Mentorship is different: Sponsorship is episodic and focused on specific opportunities; 

(2) 효과적인 스폰서는 경력 확립 및 연계성이 뛰어난 인재 스카우터이다. 

(2) Effective sponsors are career-established and well-connected talent scouts; 

(3) 효과적인 프로테제들은 그 일에 착수하여 충성을 유지한다. 

(3) Effective protégés rise to the task and remain loyal; 

(4) 신뢰, 존중 및 평가 위험은 성공적인 스폰서십 관계의 핵심이다. 

(4) Trust, respect, and weighing risks are key to successful sponsorship relationships; and 

(5) 스폰서십은 진로에 중요하다. 

(5) Sponsorship is critical to career advancement. 

We describe each theme below and include representative quotes.

멘토십은 다르다: 스폰서십은 간헐실적이고 특정한 기회에 집중한다.

Mentorship is different: Sponsorship is episodic and focused on specific opportunities

참가자들은 스폰서십을 멘토링과 구별되는 것이라고 설명했지만, 몇 가지 중요한 중복되는 특징도 언급했다(그림 1). 두 가지 관계는 대학의학에서 필수적인 것으로 간주되었다. 멘토십은 사람의 전체적인 종단적 경력 개발을 다루는 것으로 설명되는 반면, 스폰서십은 간헐적인 것으로 특징지어졌고 진로발전를 위해 프로테제를 포지셔닝하고 종종 제도적인 필요에 맞춰 특정한 높은 visibility획득 기회에 초점을 맞추었다.

Participants described sponsorship as distinct from mentorship, but they also named some key overlapping features (Figure 1). Both relationships were viewed as essential in academic medicine: Mentorship was described as addressing one’s overall longitudinal career development, whereas sponsorship was characterized as episodic and focused on specific high-visibility opportunities that position protégés for career advancement and often meet an institutional need.

오랫동안 유지되온 개인적 관계는 부차적인 것이거나 불필요했었다. 그보다는 재능 있는 사람을 기회와 연결시키는 것이었다.

An ongoing personal relationship was viewed as secondary, or not necessary, to connecting a talented person with an opportunity.

멘토가 길고 지속적인 발전 관계를 가지고 있는 반면, 스폰서는 ... 재능 있는 사람을 위한 기회를 만들 수 있는 위치에 있다. (남성 스폰서)

Whereas a mentor has a long, ongoing developmental relationship, a sponsor is … in a position where they can create an opportunity for a talented person. (Male sponsor)

[A] 스폰서는 멘토링보다 더 직책(자리)과 관련이 있으며, 멘토링은 스폰서십에 비해 매우 개인적인 것이라고 생각한다. 행정적인 위치에서, 나는 내가 멘토로서 하는 것보다 더 많은 사람들에게 스폰서 역할을 한다. 왜냐하면 나는 정말로 나와 관계가 없는 사람들의 직업을 발전시킬 의무가 있기 때문이다. (남성 스폰서)

[A] sponsor is more position-related [than what] I think of as mentoring, which I think is deeply personal. In an administrative position, I act as sponsor to many more people than I act as mentor to because I’m obligated to advance careers of people that I really have no relationship with. (Male sponsor)

한 스폰서는 그가 전국 회의에서 총회에서 플레너리로 선정된 경험을 설명했다. 그러나 그 기회를 준 스폰서와 현재는 관계가 없었고, 그럼에도 그 기회가 경력에 미치는 영향은 상당했다고 설명했다.

One sponsor described an experience in which he had been selected to present a plenary at a national meeting. He explained that he did not have an ongoing relationship with the sponsor who put him up for this opportunity, yet the impact on his career was significant.

참가자들은 멘토와 후원 관계가 다양한 커리어 단계에서 어떻게 다른 중요성과 영향을 미쳤는지를 설명했다. 한 경력 동안 여러 명의 후원자가 있는 것이 유용하게 여겨졌다. 

• 경력 초기에 멘토로부터의 조언과 코칭은 진로를 개척하는데 가장 유용하게 여겨졌다. 

• 경력 후기에는 스폰서의 지원을 수반하는 경력 개발 기회에 대한 접근은 매우 중요한 것으로 간주되었다.

Participants described how mentorship and sponsorship relationships had differing importance and impact at various career stages. Having multiple sponsors throughout one’s career was seen as useful. Early in one’s career, advice and coaching from a mentor were viewed as most useful in forging a career path. Later on, access to career-advancing opportunities accompanied by the backing of a sponsor was viewed as critical.

한 스폰서는, 프로테제가 조직의 사다리의 상층으로 올라가기 시작할 때 어떻게 후원이 필수적이 되는지를 설명하면서, 이 단계쯤 되면 멘토는 권력과 영향력을 발휘할 수 있어야 효과적이라고 말했다.

One sponsor, explained how sponsorship becomes essential as a protégé begins to move up the organizational ladder, noting that mentors need to be in positions of power and influence to be effective at this stage.

한 프로테는 높은 자리와의 연결고리가 있는 멘토가 스폰서가 될 수 있다고 말했다.

One protégé noted that a mentor who is highly placed and well connected can also be a sponsor.

유능한 후원자는 경력 쌓기와 연계성이 뛰어난 인재 스카우트다.

Effective sponsors are career-established and well-connected talent scouts

Because a sponsor has to consider departmental and institutional needs and success, a protégé must be fully committed to the task in addition to his or her personal success.

신뢰, 존중, 그리고 위험 부담이 성공적인 후원 관계의 핵심이다.

Trust, respect, and weighing risks are key to successful sponsorship relationships

참가자들은 성공적인 스폰서 관계는 신뢰와 존경을 바탕으로 한다고 언급하였으며, 양 당사자에게 분명한 이익이 있어야 한다고 언급했다. 이러한 특징들은 스폰서가 자신의 명성을 이용하여 프로테제들을 옹호하는 역할을 하도록 동기를 부여할 수 있다. 또한, 프로테제는 스폰서가 프로테제의 최대 이익을 염두에 두고 있으며, 스폰서는 프로테제가 성공할 기회를 제공할 것이라고 느낄 필요가 있다. 후원자의 신뢰와 평판이 걸려 있기 때문에, 신뢰는 프로테제로 하여금 책임감을 느끼게 했다.

The successful sponsorship relationship was described by participants as based on trust and respect, with clear benefits for both parties. These features can motivate the sponsor to leverage his or her reputation to act as an advocate for the protégé. In addition, the protégé needs to feel that the sponsor has his or her best interests in mind and will offer opportunities in which the protégé can succeed. Trust ensures that the protégé feels accountable, as the sponsor’s credibility and reputation are on the line.

그들은 내가 하려는 일을 이해하고 나의 시간을 존중하며 이것은 매우 특별한 것이라는 것을 존중한다. 상호 존중이 매우 중요하다고 생각한다.(남성 스폰서)

There’s a mutual respect, that they [the protégé] understand what I’m trying to do and respect my time and respect that this is something very special. I think that mutual respect is very important. (Male sponsor)

한 프로테제는 잠재적으로 위험할 수 있는 경력증진 기회를 제공받았던 것을 돌이켜보며, 스폰서-프로테제 관계에 대한 신뢰의 개념을 되풀이했다.

One protégé echoed the concept of trust in the sponsor–protégé relationship when reflecting on being offered a potentially risky career-advancing opportunity.

네가 나에게 큰 일을 부탁하는 것이니 나는 실패하고 싶지 않다. 그래서 스폰서를 신뢰한다고 해서 비참하게 실패하지 않게 되지는 않을 것이다. 만약 실제로 실패한다면, 그들은 그 이유를 알아내도록 도움을 줄 것이고, 다시는 그런 일이 일어나지 않도록 할 것이다.

This is a big thing that you’re asking me to do and I don’t want to fail. And so trusting this sponsor is not going to put you in a position where you would fail miserably, or if you did fail, they would help to figure out why, so that it doesn’t happen again. (Female protégé)

스폰서와 프로테스 둘 다 스폰서의 잠재적인 단점을 인정했다. 스폰서가 감수하는 위험이란 프로테제가 기대에 미치지 못하거나 실적이 저조할 가능성을 감수하고 지원하는 것이다.

Both sponsors and protégés acknowledged the potential downsides to sponsorship. A risk for sponsors is backing a protégé who does not meet their expectations and performs poorly.

대부분의 프로테제들은 스폰서가 제공하는 기회에 감사를 표했지만, 거절하는 것도 어려운 일임을 인정했다. 또 프로테제가 단순히 스폰서의 수족extension 처럼 여겨질 수 있다는 위험을 언급했다.

Although most protégés expressed appreciation of the opportunities that sponsorship provides, they also recognized the challenge of saying no. In addition, they raised the risk of being viewed only as an extension of their sponsor.

만약 당신이 프로테이고, 당신에게 기회를 주는 스폰서가 있다면, 그들은 당신에게 아마 원래는 스폰서에게 제공되었을 기회를 줄 것이다. 그러나 위험한 것은, 당신이 그 사람의 더 하위호환버전이라고 인식될 것이라는 것이다.

If you’re a protégé, and you have a sponsor who’s giving you opportunities, they’re going to give you opportunities that probably were offered to them. The risk is that you would just be perceived as the younger version of that person. (Male protégé)

참가자들이 공유하는 또 다른 위험은 후원자가 프로테의 잠재력에 관계없이 자신의 역할을 수행하지 못할 수도 있다는 것이었다.

Another risk shared by participants was that the sponsor may not be able to fulfill his or her role regardless of the protégé’s potential.

후원은 진로에 중요하다.

Sponsorship is critical to career advancement

참석자들은 스폰서십이 높은 자리의 리더 역할로 나아가는 데 중요하다는 데 의견을 같이 했다.

Participants agreed that sponsorship is critical to advancing to high-level leadership roles.

스폰서들과 프로테제들은 또한 특정 프로테제의 advancement 이상의 혜택을 언급했다. 여기에는 조직의 전반적인 인재를 늘리고 리더십 개발, 리더십 계승 및 전환transition 계획을 촉진하는 것이 포함되었다.

Sponsors and protégés also described benefits of sponsorship beyond the advancement of a particular protégé. These included increasing the overall talent in an organization and facilitating leadership development, leadership succession, and transition planning.

참가자들은 후원과 공로merit라는 개념 사이의 긴장감을 학문적 진보의 토대라고 인정했다. 한 스폰서는 다른 사람들을 홍보하는데 있어서 자신의 맹점을 인정했다.

Participants acknowledged a tension between the concepts of sponsorship and merit as the foundations of academic advancement. One sponsor acknowledged his own blind spot in promoting others.

덜 반짝이는 사람들, 덜 화려한 사람들은 내가 들판을 가로질러 보고 있는 후원자로서의 역할에서 무시당할 위험이 있다. 나는 나 같은 사람을 찾는 경향이 있다고 생각한다. 리더로서의 어려운 점은 말없이 조용한 사람들의 후원자가 되는 것이라고 생각한다.(남성 스폰서)

I think that the less glittery people, the less showy people, tend to have a risk of being ignored in a sponsorship sort of role where I’m looking across a field and I tend to find one like me.… I think the challenge as a leader is to become a sponsor for the more quiet folks. (Male sponsor)

한 프로테제는 스폰서십을 받는 것이 항상 순전히 실력에서 비롯된 것은 아니라고 우려를 표시했다.

One protégé expressed concern that sponsorship does not always stem purely from merit.

성별에 관해서도 누가 후원을 받고 누가 후원을 받느냐에 대한 불협화음 나타났다. 스폰서들과 프테제들은 여성들이 남성과 다르게 후원을 경험할 가능성이 있다는 데 동의했다. 참가자들은 여성들이 후원을 받을 가능성은 낮지만 성공하기 위해 제공되는 추가적인 지원이 필요하다고 보았다.

Our participants recognized that sponsorship is critical to high-level advancement in academic medicine. Professional networks are critical for career success and are a fundamental feature of sponsorship.22 A sponsor’s effectiveness relies on his or her access to and influence in professional networks.

사업 환경에서 여성멘토들은 남성멘토보다 '조직적 영향력organizational clout'이 적어서 여성 경력 개발에 필요한 스폰서 역할을 덜 하는 경향이 있다.  그러나 여성 멘토들이 조직에 많이 배치될 때 여성은 승진할 남자 못지않다.17

In business settings, mentors of women tend to have less “organizational clout” than those of men and therefore to be less able to serve as sponsors and advance women’s careers; however, when women’s mentors are highly placed in the organization, women are just as likely as men to be promoted.17

대학의학에서, 주니어 여성 교수들은 멘토 관계에 있어 같은 성별인지를 중시할 가능성이 높으며, 그들 자신의 부서나 기관 외부의 지도자와 멘토들로부터의 지원의 필요성을 인식하지 못할 수 있다. 이로 인해 여성의 성공이 제한될 수도 있는데, 권력과 영향력을 갖춘 고위직에는 여성이 남성보다 적기 때문이다.

In academic medicine, junior faculty women are more likely than male colleagues to value gender concordance in mentoring relationships and may fail to recognize the need for support from more senior faculty and from leaders and mentors outside their own department or institution.23,24 This may limit women’s success as there are many fewer women than men in high-level leadership positions with power and influence.25

게다가, 프로테즈는 높은 잠재력을 가진 스폰서들에 의해 "눈에 띌 필요"가 있다. 그러나 자신을 눈에 띄도록 만드는 것은, 자기 홍보와 관련된 잠재적인 부정적인 결과에 대해 불편하거나 우려하는 교수에게는 어려울 일일 수 있다. 비즈니스 환경에서의 스폰서를 지지하는 사람들은 스폰서들이 자신을 홍보하는 여성이 너무 야심차게 보이거나 자기를 홍보하는 것처럼 보여서 불이익을 받는 현상, 즉 이중 구속double bind을 해소하기 위한 방법일 수 있다고 말한다.

In addition, protégés need to be “seen” by sponsors as having high potential. This may be challenging for faculty who are uncomfortable or concerned about potential negative consequences associated with self-promotion. Advocates of sponsorship from business settings view sponsorship as a way to address the so-called double bind that women face in which women who promote themselves are penalized for appearing too ambitious or self-promoting.13

우리 연구의 참가자들은 여성들이 남성들과는 다른 방식으로 스폰서십을 경험할 가능성이 있다는 것을 인정했다. 대학의학에 대한 최근의 연구는 여성들이 남성들과 비교했을 때, 전국회의에서 연설하거나, 논평을 작성하거나, 편집 위원회나 국가 위원회에서 활동하도록 제안되는 것과 같은, 직업에 도움이 되는 기회를 덜 제공받았다고 보고함을 보여주었다. 대학의학의 리더들은 리더십의 성별 다양성을 해결하기 위한 하나의 전략으로서 스폰서십을 언급했다.11,

Participants in our study acknowledged that women likely experience sponsorship differently than men do. Recent research in academic medicine demonstrated that women are less likely to report having been the recipient of career-advancing opportunities—defined as being offered invitations to speak at a national meeting, to write an editorial, or to serve on an editorial board or a national committee—compared with their male counterparts.15 Many thought leaders in academic medicine have pointed to sponsorship as one strategy for addressing gender diversity in leadership.11,26–29

한계점

Limitations

셋째, 우리의 연구 선택 과정 때문에, 우리는 스폰서로부터 혜택을 받지 못한 사람들의 중요한 추가 관점을 놓치고, 후원자와 원생들의 견해만 포함시켰다. 넷째, 우리 연구의 후원자는 모두 남자였다. 그러나, 이것은 우리의 정의에 근거하여 학술의학에서 후원자의 대다수를 정확히 나타내고 있다.

Third, because of our study selection process, we included only the views of sponsors and protégés while missing the important additional perspectives of those who have not benefited from sponsorship. Fourth, all of the sponsors in our study were men. However, this likely accurately represents the majority of sponsors in academic medicine based on our definition.

Conclusions

Acad Med. 2019 Jan;94(1):94-100. doi: 10.1097/ACM.0000000000002398.

Mentorship Is Not Enough: Exploring Sponsorship and Its Role in Career Advancement in Academic Medicine.

언제 조언자, 코치, 멘토가 되어야할지 선택하기(J Grad Med Educ, 2018)

Choosing When to Advise, Coach, or Mentor

Karen Marcdante, MD (@KMarcdante)

Deborah Simpson, PhD (@debsimpson3)

현 상황

The Challenge

학습자는 간단한 조언을 구할 의도였는데, 교수진은 지속적인 성능 향상의 필요성을 느꼈을 수 있다. 반대로, 학습자는 멘토링을 원했는데, 교직원은 한 가지 조언만 제공할 계획이었을 수 있다. 이처럼 잘못 조정된 기대는 교수진과 훈련생에게 좌절감을 줄 수 있다(교수에게 좌절이란 trainee가 조언을 듣지 않거나 가이드를 무시할 때도 일어난다)

While a learner may be looking for a quick piece of advice, faculty may see a need for ongoing performance improvement. Alternatively, the learner may want mentoring, while the faculty member plans to offer a single bit of advice. Misaligned expectations can be frustrating for faculty (when a trainee does not appear to listen or act on the guidance offered) and for a trainee

알려진 것

What Is Known

교수진과 연수생들은 다양한 형태의 지도guidance를 둘러싼 공통적이고 명확한 용어가 부족하다.

Faculty and trainees lack common, clear terminology surrounding various forms of guidance.

조언, 코칭, 멘토링은 지도guidance 제공에 대한 3가지 접근방식이다.

Advising, coaching, and mentoring are 3 distinct approaches to providing guidance.

각 접근방식은 특정한 목적을 가지고 있으며, 서로 다른 전문지식을 필요로 하며, 다른 전략을 사용한다.

Each approach has a specific purpose, requires different (but overlapping) expertise, and uses different strategies.

• 조언은 학습자가 따를 수도 있고 따르지 않을 수도 있는 특정 사건에 대한 전략을 제공한다. 

• 멘토링은 학습자의 커리어의 많은 측면을 형성하는 데 도움이 되는, 경험적 지혜가 제공되는 장기적인 관계를 의미한다. 

• 코칭은 비지시적인nondirective 질문을 통해 학습자가 목표를 확인하고 해결책을 개발하는 데 도움을 준다는 것을 의미한다.

• An advisor offers strategies about a specific event, which the learner may or may not follow. 

• Mentoring implies a long-term relationship in which experiential wisdom is offered to help build the many aspects of a learner’s career. 

• Explicitly stating that your role is to ‘‘coach’’ means that you will help the learner identify a goal and develop solutions through nondirective questions.

오늘 바로 할 수 있는 일

How You Can Start TODAY

Guidance의 연속성을 이해하고 조언과 멘토링을 구분한다.

Understand the continuum of guidance and differentiate advising from coaching from mentoring.

테이블

TABLE

학습자가 어떤 guidance를 원하는지 명확하게 묻고, 접근 방식을 조정하고, 무엇을 제공할 것인지 설명하십시오. 학습자가 늘 자기가 무엇을 원하는지(또는 무엇을 필요로 하는지)를 알고 있는 것은 아니다. 단기 및 장기 목표를 명확히 하는 것은 올바른 전략을 선택하고 기대에 더 잘 부응하는 데 도움이 될 수 있다. 전략이 선택되면 학습자와 대화에서 무엇을 다루고 무엇을 다루지 않을지 토론하십시오.

Explicitly ask the learner what guidance he or she is seeking, align your approach, and explain what you will be providing. Learners do not always know what they want (or need). Clarifying short- and long-term goals can help you select the right strategy and better meet expectations. Once a strategy is selected, discuss with the learner what will and what will not be covered in your interactions.

상호작용을 즐기세요. '전구에 불이 들어오는 것'을 지켜보는 것, 즉 발전과정과 커리어 개발을 지켜는 것은 많은 사람들이 의학교육을 하는 이유이다.

Enjoy the interaction. Watching the ‘‘light bulb go on,’’ seeing progress being made and careers developing, is why many are involved in medical education.

상호 작용 중 역할 전환에 주의하십시오. 코칭에서 학습자는 질문을 통해 자기만의 계획을 개발한다. 만약 그 영역에 대한 전문지식을 가지고 있다면, 멘토 역할로 전환하는 것은 어렵지 않다. 어떤 사람들은 "coaching with wisdom"이라고 부른다. 예를 들어, "나는 지금 너를 멘토링하고 있다."라는 말로서 역할이 바뀌었다는 것을 매우 명확히 하라. 그리고 나서 필요하다면 적절할 때 다시 코칭으로 전환하라.

Be cautious about switching roles during an interaction. In coaching, the learner develops an individualized plan through questioning. When you have expertise in the area, it is easy to switch into the mentor role. Some call that ‘‘coaching with wisdom.’’ Be very clear that you have switched roles by saying, for example, ‘‘I am mentoring you now.’’ Then switch back to coaching when appropriate.

더 나은 조언자/멘토/피드백이 되는데 필요한 피드백을 요청하면서 마무리하라. 역할을 얼마나 잘 수행했는지 반성하고 학습자에게 직접 물어보십시오. 당신의 기법이 얼마나 유용했는지에 대한 피드백을 받는다면, 다양한 guidance 전략의 신중한 실행이 가능해질 것이며, 당신이 이 역할을 수행하는데 있어 개선하는데 도움을 준다.

Close each interaction by soliciting feedback to help you improve your use of all strategies. Reflect on how well you stayed in the role, and ask the learner directly. Feedback on the usefulness of your technique allows for deliberate practice of the various guidance strategies and helps you improve in carrying out this role.

장기적으로 할 수 있는 일

What You Can Do LONG TERM

소속된 프로그램에서 조언, 코칭, 멘토링이라는 용어가 어떻게 사용되고 있는지 검토하십시오. 동료와 정의를 공유하십시오. 특히 학습자와 대화할 때 모든 조언자, 멘토, 코치라는 용어의 개념을 명확하게 하라.

Review your program’s use of the terms advising, coaching, and mentoring. Share the definitions with colleagues. Make sure that all advisors, mentors, and coaches clarify terms, especially when talking with learners.

다양한 환경에서 다양한 수준의 학습자와 주제/초점을 가진 다양한 기술을 의도적으로 연습할 수 있는 기회를 모색한다. 도움을 요청받는다면, 어떤 전략을 사용할지 생각해보라. 적절한 용어를 고르라. 조언인가 코칭인가 멘토링인가? 

• 조언: '너는 이렇게 해야 한다'

• 코칭: '무엇을 할 수 있겠는가?'

• 멘토링: '내 경험에 따르면, 이렇게 하는 것이 좋더라'

Seek out opportunities to deliberately practice different skills with different levels of learners in different settings and with different topics/focus. When asked for your input, think about what strategy to use. Select words that differentiate advising versus coaching versus mentoring (eg, 

• advising, ‘‘You should . . .’’

• coaching, ‘‘What could you do?’’

• mentoring,‘‘In my experience, this has worked.’’

교수, 학생에게 guidance의 범위에 걸친 차이에 대해 교육한다. 각 방법의 주요 특징을 정의하고 역할극 중에 역할을 명시적으로 정의하는 연습을 한다. 학습자가 자주 찾는 사람에게 효과가 있는 기술과 그렇지 않은 기술을 공유하도록 격려한다. 저부담 환경에서 피드백을 통해 연습할 수 있는 기회를 활용하십시오.

Provide training to faculty and learners on the differences across the spectrum of guidance. Define key features of each method and practice explicitly defining roles during role-plays. Encourage those who are frequently sought out by learners to share techniques that work and those that do not. Take advantage of opportunities to practice with feedback in a low-stakes environment.

J Grad Med Educ. 2018 Apr;10(2):227-228. doi: 10.4300/JGME-D-18-00111.1.

Choosing When to Advise, Coach, or Mentor.

특권과 편향 인식하기: 보건의료제공자의 개인적 인식 확장을 위한 상호작용적 연습(Acad Med, 2017)

Recognizing Privilege and Bias: An Interactive Exercise to Expand Health Care Providers’ Personal Awareness

Amanda L. Holm, MPH, Marla Rowe Gorosh, MD, Megan Brady, MPH, MSW, and Denise White-Perkins, MD, PhD

문제

Problem

특권의 편재성을 고려할 때, 우리는 특권이 의료에서의 상호작용과 결과에도 영향을 준다고 믿는다. 예를 들어, 명백한 인종 차별은 감소했지만, 사회적 특권의 혜택을 받는 집단은 여전히 암묵적인 편견을 보이며, 의료 불균형을 부추기고 있다.2

Given the ubiquity of privilege, we believe, also influence health care interactions and outcomes. For example, though overt racism has declined, groups that benefit from social privilege still exhibit implicit biases, feeding into health care disparities.2

공감을 촉진하는 개입은 [무의식적인 인종적 태도와 그들의 해로운 영향에 대한 의료제공자의 인식]을 높이는데 초점을 둔다.6 자신의 문화적 경험의 보편성에 대한 참가자들의 확신에 균열을 일으켜서 타인의 다양하고 타당한 경험에 눈을 뜨게 할 수 있다.7

Interventions that foster empathy increase providers’ awareness of unconscious racial attitudes and their detrimental effects.6 Challenging participants’ certainty about the universality of their cultural experiences can open their eyes to the different and valid experiences of others.7

헨리 포드 건강 시스템(Henry Ford Health System, HFHS)은 미시간 주 디트로이트에 본사를 둔 수직 통합 의료 기관이다.

Henry Ford Health System (HFHS) is a vertically integrated health care organization headquartered in Detroit, Michigan.

접근

Approach

HFHS의 다문화 건강 연구소와 함께 일하는 직원들은 보건 시스템 전반에 걸쳐 인식-향상 활동을 수행했다. 참가자들의 질문, 논평, 평가를 분석한 결과, 특권 및 무의식적 편향이 환자 치료에 미치는 영향에 대한 교육의 필요성이 드러났다.

Staff members working with HFHS’s Institute on Multicultural Health conducted awareness-raising activities throughout the health system. Participants’ questions, comments, and evaluations indicated a need for training on the impact of privilege and unconscious bias on patient care.

따라서 우리는 우리의 필요에 맞춘 독창적인 도구인 양방향 권한 및 책임 커리큘럼 연습(PRCE)을 개발했다.

PRCE의 목적은 참가자들이 일상생활과 작업 환경에서 특권에 대한 인식을 높이고 특권이 자신과 타인의 살아있는 경험에 미치는 영향에 대한 이해를 향상시키는 것이었다.

The PRCE’s aim was to raise participants’ awareness of privilege in their everyday lives and work environments and to improve their understanding of the impact privilege has on their own and others’ lived experiences.

따라서 우리는 PCE를 Peggy McIntosh의 "보이지 않는 배낭" 작업에 기초했는데, 이 작품은 미국 문화 내에서 백인이라는 사회적 신분을 가진 사람들에게 부여되는, [흔히 잘 인식하지 못하지만, 노력으로 얻은 것도 아닌unearned 특권]을 해명하는 데 도움을 주었다.1 PRCE는 참가자들에게 자신에게 적용되는 특권의 진술들을 스스로 선택하라고 요구했다. 우리는 이것들 중 일부를 백인 특권에 초점을 맞춘 McIntosh의 리스트에서 수정했고, 다른 것들은 사회적 정체성을 포함하도록 만들었다. 22개의 진술은 각각 하나 이상의 사회적 범주와 지배적인 사회 규범을 반영한 경험을 참조했다(표 1).

We therefore based the PRCE on Peggy McIntosh’s “invisible knapsack” work which has helped elucidate the unearned, frequently unrecognized privileges that accrue within American culture to people with white social identities.1 The PRCE asked participants to self-select statements of privilege that apply to them. We adapted some of these from McIntosh’s list focused on white privilege,1 and we created others to encompass additional social identities. Each of the 22 statements referenced one or more social categories and experiences reflecting dominant societal norms (Table 1).

우리는 전형적으로 약 25명의 참가자들과 함께 PRCE를 수행했지만, 때로는 훨씬 더 큰 그룹들과 함께 PCE를 수행하기도 했다. 우리는 22개의 스테이션을 교실위에 배치했고, 각각의 스테이션에는 각각의 진술문이 카드에 인쇄되어 있었고, 참가자 숫자 만큼의 페니가 들어 있는 그릇이 들어 있었다. 참가자들은 각 스테이션에 작은 '배낭'을 들고 가서 진술문을 읽고, 자신들에게 해당한다고 느끼는 진술 하나하나에 대해 1페니를 챙겼다. 그룹이 커서 이동이 어려운 경우, 참가자들은 22개의 성명서와 함께 유인물을 받았고, 그들 자신의 경험을 설명했다고 느끼는 것에 동그라미를 쳤다.

We typically conducted the PRCE with about 25 participants, but sometimes with much larger groups. We placed 22 stations around a classroom, each with one statement printed on a card and a bowl containing the same number of pennies as participants. Participants took a small “knapsack” to each station, read the statements, and took a penny for each statement that they felt was true for them. In larger groups, for which moving around would have been difficult, participants received handouts with the 22 statements and circled those that they felt described their own experiences.

그런 다음 참가자들은 얼마나 많은 동전을 모았는지(예: 0–5, 6–12, 13–18, 19–22페니)를 기준으로 그룹을 이루어 서 있었다. 그룹은 참가자 수에 따라 유동적이었다.

The participants then stood in groups based on how many coins they had gathered (e.g., 0–5, 6–12, 13–18, and 19–22 pennies). Groupings were flexible depending on the number of participants.

그런 다음 퍼실리테이터는 참가자들에게 "0이나 1개의 문이 동그라미를 친 경우, 앉으십시오."와 같이 동그라미를 친 문장이 몇 개인지에 따라 앉도록 요청했다. 그런 다음 진행자는 참가자가 앉도록 잠시 멈추고 "5개 이하의 문장이 동그라미 쳐져 있으면 앉으십시오."라고 묻고 10, 14, 18, 20개 문항까지 계속하여 22개 문장이 동그라미 쳐진 상태로 끝났다.

The facilitator then asked participants to sit down according to how many statements they circled, requesting, for example, “If you had zero or one statement circled, please sit down.” The facilitator would then pause for participants to sit before asking, “If you had five or fewer statements circled, please sit down,” and continuing through 10, 14, 18, and 20 or fewer statements, finally ending with all 22 statements circled.

소그룹(약 5명의 참가자)으로 진행된 디브리핑은, 참가자들 간의 차이를 강조하기 위한 간단하고 편안한 질문으로 시작되었다. 우리는 개개인이 자신의 행동과 특권을 더 잘 이해할 수 있도록 돕기 위해 소그룹 설명 질문(표 2)을 설계했다. 우리는 소규모 그룹 논의가 더 안전한 환경에서 개인적인 경험을 공유할 수 있게 해주었다고 본다.

Debriefing in small groups (of about five participants) began with simple, comfortable questions that graduated toward highlighting differences among participants. We designed the small- group debriefing questions (Table 2) to help individuals better understand the exercise and their own privileges. We believed small-group discussion increased the safety of sharing personal experiences.

성과

Outcomes

PRCE는 다양한 사회적 범주에 부여된 특권에 대한 인식을 높이는 자기 발견의 과정이었다. 일반적으로, 더 많은 특권을 가진 사람들은 자신이 지배적인 문화 그룹에 속해있음을 깨달았고, 다른 사람들에게 일상적인 활동이 더 어려울 수 있다는 것을 인식하게 되었다. 아래에 기술된 바와 같이, 높은 점수를 받은 참가자들에게는 익숙하지 않지만, 특권을 거의 경험하지 못하는 사람들에게는 익숙한 경험이 무엇이지 모두 깨닫게 되었다.

The PRCE engaged participants in self-discovery that increased their awareness of the privileges conferred upon various social categories. In general, those with more privileges gained insight into their membership in dominant cultural groups, recognizing that everyday activities might be more difficult for others. As described below, experiences unfamiliar to high-scoring participants but well known to those who claimed fewer privileges became accessible to all.

토론을 하다보면, 사회적 편견의 존재를 의심하는 부정, 우회, 일화가 등장한다. 퍼실리테이터는 이러한 분열적 반응에 대응해야 했다. 이에 대해 퍼실리테이터들은 참가자들들 모두가 의료 분야에서 고용되어있는 것 만으로도 어느 정도의 특권을 가지고 있음을 상기시켰다. 진행자들은 공정하고 공평한 방법으로 특권을 사용하는 것이 중요하다고 강조했다. 즉, 

• 모든 사람을 회의에 포함시키고, 

• 특권과 편견의 렌즈를 통한 임상적 질적 차이를 조사하고, 

• 환자에 대한 문화적 겸손함을 보여주는 등 .

Discussions would sometimes unearth divisive responses that facilitators had to challenge, such as denial, diversion, or anecdotal accounts questioning the existence of societal bias. In response, facilitators reminded participants that they all had some degree of privilege related to being employed in the health care field. Facilitators emphasized the importance of using privilege in just and equitable ways: 

• including everyone in meetings; 

• examining gaps in clinical quality through the lens of privilege and bias; and 

• exhibiting greater cultural humility toward patients.

일부 참가자들, 특히 전통적으로 비특권층이었던 참가자들은, 높은 "점수"를 자신감, 외향, 노력, 결단력 같은 개인적 특징 덕분이었다고 언급했다. 이러한 코멘트는 "더 적은 특권을 가진 사람들이 구조적인 불평등의 환경에서 성공하려면 어떻게 더 많은 노력을 기울이거나 대처 능력을 개발해야 하는지"를 보여주었했다.

Some participants, particularly those from groups that traditionally lack privilege, attributed their high “scores” to personal characteristics like confidence, extroversion, hard work, and determination. Such comments reflected the ways in which people with fewer privileges must put forth increased effort or develop coping abilities to succeed in an environment of structural inequities.

역사적으로 특권층(dominant) 그룹의 일부 참가자들은, 그들이 성명을 주장할 수 없다는 것을 공유할 때, 그들이 특권을 주장할 수 없다는 사실이 사회적 정체성의 중요성을 반증한다고 느꼈다. 이런 반응은 "공항 보안검색대를 향해 걸어간다면 용의자로 비춰지지 않을 것이라는 것을 느낄 수 있다"는 진술에 대해 가장 자주 일어났다. 특권층 그룹의 참가자들은 그들이 thorough check을 위해 자주 선택되었다고 느낀다고 주장했다. 이러한 경우, 퍼실리테이터는 먼저 참가자들이 민족이나 종교와 같이 그들이 소유하고 있는 특성 때문에 수색을 위해 선별되었다고 느끼는지를 탐구하는 것으로 응답했는데, 참여자들은 전형적으로 그렇지 않다고 인정했다. 그러고 나면, 퍼실리테이터는 '검문의 이유'를 '자신의 사회적 정체성에 귀속시켰던 사람들'이 그 상황을 전혀 다르게 경험함을 보았다.

Some participants from historically dominant groups, when sharing that they could not claim a statement, felt the fact that they could not claim a privilege disproved the importance of social identities. This response happened most frequently in reaction to the statement “If I walk towards a security checkpoint in the airport, I can feel that I will not be looked upon as suspect.” Participants from historically dominant groups asserted that they felt they were routinely chosen for more thorough checks. In these instances, the facilitator responded by first exploring whether these participants felt singled out for a search because of characteristics they possessed, such as ethnicity or religion, which, the participants admitted, was not typically the case. The facilitator then observed that those who attributed searches to their social identities may experience them quite differently.

• [가장 적은 특권을 가진 참가자]들은 그들이 직면하고 있는 장벽과 도전의 인식을 인정해주었다는 감정과 그 이슈에 대한 관심에 대한 감사의 마음을 표현했다. 

• 반대로, [가장 많은 특권을 가진 사람들]은 자기네들이 극복해야 할 장벽이 적은 것에 대한 감사와 당황과 죄책감이 혼합된 감정을 표현했다. 

우리는 새로 훈련된 대사들 사이의 이러한 유형의 개인적 폭로를 문화적 겸손과 시스템 변화를 촉진하는 새로운 동기 부여로 보았다.

• Participants with the fewest privileges expressed feelings of validation for the recognition of the barriers and challenges they face and of gratitude for the attention brought to the issue. 

• Conversely, those with the most privileges expressed a mixture of appreciation for having fewer barriers to overcome and of embarrassment and guilt. 

We viewed these types of personal revelations among newly trained ambassadors as precursors to both cultural humility and a fresh motivation to promote systems changes.

다음 단계

Next Steps

PRCE는 참가자들이 특권 인식에 대해 반성하고 다음을 통해 불평등을 해결할 것을 고려하도록 허용했다.

The PRCE allowed participants to reflect on their recognition of privilege and to consider addressing inequity through:

1. 상대적 사회적 지위에 대한 개개인의 인식 증가,

1. Increased personal awareness of their relative societal position,

2. 이런 활동의 결과를 타인과 논의한 후, (동료들, 심지어 표면상으로는 같은 전문직이거나 또는 사회적 지위가 비슷한 동료들 사이에서도) 경험이 불평등하고 부당하다는 것을 깨닫는다.

2. A realization, after discussing the results of the exercise with others, that the experiences of peers—even those with ostensibly similar professional or societal standing—are unequal and unjust,

3. 그룹 간에 불균등하게 특권을 부여하는 사회적 구조에 대한 민감성 증가

3. An enhanced sense of societal structures that bestow privilege unequally across groups, and

4. 격차를 해소하기 위해 특권을 자원으로서 활용하는 방법 탐구.

4. An exploration of ways to capitalize on privilege to address disparities.

의료는 사회적 불평등에 면역이 되어있지 않다; 특권과 권력의 사회체계는 일상적으로 의료 종사자들에게 영향을 미친다. 그리고 이러한 영향은 우리를 병원, 클리닉, 연구실 그리고 그 너머에까지 동반한다. 전문직업성은 우리가 이러한 영향을 얼마나 잘 무시하느냐가 아니라, 특권이 우리의 직업에 미치는 영향을 우리가 얼마나 용감하게 마주하느냐에 의해 측정된다. 의료 전문가들은 모두에게 평등을 보장하기 위해 특권과 무의식적인 편견에 대한 개선된 인식이 필요하다. 우리는 PRCE가 이 필수적인 목표의 확대에 대한 약속을 가지고 있다고 믿는다.

Health care is not immune to societal inequities; social systems of privilege and power influence health care workers every day, and this influence accompanies us into the hospital, the clinic, the research laboratory, and beyond. Our professionalism is not measured by how well we ignore these influences, but by how courageously we confront their impact on our work. Health care professionals need an improved awareness of privilege and unconscious bias to ensure equity for all. We believe the PRCE holds promise for the furtherance of this essential goal.

Acad Med. 2017 Mar;92(3):360-364. doi: 10.1097/ACM.0000000000001290.

Recognizing Privilege and Bias: An Interactive Exercise to Expand Health Care Providers' Personal Awareness.

의과대학 1학년 학생에서 임상추론능력 보정시 생기는 편향과 보정 정확도(Adv Health Sci Educ Theory Pract, 2019)

First‑year medical students’ calibration bias and accuracy across clinical reasoning activities

Timothy J. Cleary1,5 · Abigail Konopasky2 · Jeffrey S. La Rochelle3 · Brian E. Neubauer4 · Steven J. Durning2 · Anthony R. Artino Jr

도입

Introduction

이러한 형태의 자기 주도 학습에 성공적으로 참여하려면, 개인은 강력한 메타인지 능력(Cleary et al. 2013), 특히 자신의 학습이나 성과를 평가하는 능력(즉, 자기 평가 또는 교정)이 필요하다. 그러한 기술은 개인이 속도를 늦추거나, 도움을 요청하거나, 더 많은 것을 배우기 위해 노력할 필요가 있는 때를 알 수 있게 해준다(Eva and Regehr 2011; Moulton et al. 2007).

to successfully engage in this form of self-directed learning, individuals need strong metacognitive skills (Cleary et al. 2013), particularly the ability to assess their learning or performance (i.e., self-assessment or calibration). Such skills enable individuals to know when they need to slow down, ask for help, or strive to learn more (Eva and Regehr 2011; Moulton et al. 2007).

의료 전문가의 미흡한 보정능력은, 특히 자신의 역량과 기술을 과대평가할 가능성이 높은 숙련되지 않은 의사들로 인한 환자 안전에 대한 우려가 제기되었다(Blanch-Hartigan 2011; Davis et al. 2006; Ehrlinger et al. 2008; Kruger and Dunning 1999). 그러나 최근의 연구는, 이러한 부족한 보정능력은 부분적으로는 [측정의 크기granularity]와 [특정 임상 활동의 복잡성]의 함수일 수 있음을 시사한다(Blanch-Hartigan 2011; Bol and Hacker 2012; Davis et al. 2006; Eva and Regehr 2007, 2011).

Poor calibration among medical professionals has led to concerns regarding patient safety, especially when considering less-skilled practitioners who are more likely to overestimate their competencies and skill sets (Blanch-Hartigan 2011; Davis et al. 2006; Ehrlinger et al. 2008; Kruger and Dunning 1999). Recent work, however, suggests that poor calibration may be, in part, a function of the granularity of measurement and the complexity of a given clinical activity (Blanch-Hartigan 2011; Bol and Hacker 2012; Davis et al. 2006; Eva and Regehr 2007, 2011).

Granularity of calibration: the importance of sub‑tasks

특히 의료전문직 교육에서 자기평가 또는 교정 문헌의 대부분은 해당 과제의 특정 요소보다는 (시험 점수, 목표 구조 임상 시험(OSCE) 성과 또는 등급 등급과 같은) 직무 또는 활동에 대한 전반적인 성과에 초점을 맞춘 방법론에 기초한다(Blanch-Hartigan 2011; Bol). Hacker 2012; Davis et al. 2006).

Much of the self-assessment or calibration literature, particularly in health professions education, is grounded in a methodology that focuses on overall performance on a task or activity—such as test score, Objective Structure Clinical Exam (OSCE) performance, or class grade—rather than on specific elements of that task (Blanch-Hartigan 2011; Bol and Hacker 2012; Davis et al. 2006).

이러한 세분화 부족에 대응하여, Eva와 Regehr(2005, 2007, 2011)는 자기 평가나 교정의 구성 요소와 그것을 개선하기 위한 방법을 이해하기 위한 일련의 조사를 실시했다. 그들은 자기 평가란, 

• 사전 추정Prediction(즉, 성과 이전에)에서

• 평가와 조정(즉, 퍼포먼스 중)에서

• 사후 추정Post-diction (즉, 성과 후 판단)에 이르는 과정으로 설명한다. 

In response to this lack of granularity, Eva and Regehr (2005, 2007, 2011) undertook a line of inquiry to understand the components of self-assessment or calibration and ways to improve it. They describe self-assessment in terms of a process, ranging 

from prediction (i.e., before performance) 

to assessment and adjustment (i.e., during performance) 

to post-diction (i.e., judgments after performance). 

이러한 과정의 조사를 통해, 그들은 인지적 판단의 정확성은 부분적으로 그 세분성에 달려 있다고 판단했다.

Through these investigations of process, they determined that the accuracy of metacognitive judgment depends in part on its granularity.

또한 자가 평가는 (더 제한적 범위를 확인하는 지필평가(Eva 및 Regehr 2005, 2007, 2011)보다) 개방형 임상적 encounter (이 때는 하위 작업이 명백하게 기술되지 않음)에서 정확도가 떨어지는 경향이 있다. 따라서 활동이 광범위하고 모호할수록 개인이 자신의 성과를 덜 정확하게 판단할 가능성이 커진다.

Self-assessment also tends to be less accurate in open-ended clinical encounters (with fewer clearly delineated subtasks) relative to more narrow, written assessments (Eva and Regehr 2005, 2007, 2011). Thus, the broader and more ambiguous an activity, the greater the likelihood that individuals will make less accurate judgments of their performance.

다른 교육적 맥락의 유사한 경향에 대응하여, 교육 심리학자들은 보다 세밀한 방법으로 보정판단을 평가하기 시작했다. 즉, 보정을 특정 학습 활동에 대해 개별 하위 작업에서 평가하였다.

In response to similar trends in other educational contexts, educational psychologists have begun to assess calibration judgments in a more fine-grained manner. That is, calibration has been assessed across distinct subtasks for a given learning activity

예를 들어, Pressley와 Ghatala는 광범위한 과제 내에서 서로 다른 유형의 질문에 걸쳐 학생들의 성과 추정치의 정확도를 조사했고 교정 정확도에서 차이를 발견했다(즉, 질문 유형이 더 복잡하거나 모호한 것일수록 정확도가 낮음; Pressley와 Ghatala 1988). 의학교육 연구자들은 또한 많은 일반적인 임상 활동이 다면적이고 복잡하기 때문에 임상적 만남의 다른 부분(예: 신체 검사 또는 면담의 여러 지점에서)에서 교정을 검사하는 것의 관련성을 인식하기 시작하고 있다.

For example, Pressley and Ghatala examined the accuracy of students’ performance estimates across different types of questions within a broader task and found differences in calibration accuracy (i.e., less accuracy for more complex or ambiguous question types; Pressley and Ghatala 1988). Medical education researchers are also beginning to recognize the relevance of examining calibration at different parts of a clinical encounter (e.g., at different points during a physical exam or interview; Eva and Regehr 2007, 2011), in part, because many common clinical activities are multi-faceted and complex.

임상 추론 보정 및 진단 오류 방지

Calibration of clinical reasoning and avoiding diagnostic error

의학교육에서 측정의 세분성을 높이는 것은 임상 추론 연구의 증가와 진단 오류의 결과를 고려할 때 특히 중요하다(국립과학의학협회 2016; Singh and Graver 2015). 진단 오류는 현재 심장병과 암에 이어 세 번째 사망 원인으로 꼽히고 있다(Makary와 Daniel 2016). 

Enhancing the granularity of measurement in medical education is particularly important given the growing body of research in clinical reasoning and the consequences of diagnostic error (National Academies of Sciences and Medicine 2016; Singh and Graber 2015). Diagnostic errors are now cited as the third leading cause of death behind heart disease and cancer (Makary and Daniel 2016). 

사실, 최근의 한 연구는, 오보정miscalibration이 이러한 오류의 주요 원인이 된다는 것을 시사한다. 연구 참가자(즉, 일반 내과의사)가 그들의 성과를 과대평가했을 때, 불행하게도 더 높은 오류율로 이어질 수 있는 추가 진단 테스트를 확인할 가능성이 적었다(Meyer et al. 2013). 임상적 추론은 상호 연관되어 있지만 일련의 뚜렷한 활동을 포함한다. 여기에는 일부는 의식적이고 분석적이며, 일부는 직관적이고 비분석적(예: 패턴 인식, Norman 등 2017)이다. 이들을 종합하여 의사는 정확한 진단과 환자별 관리 계획을 수립해야 한다(Cook et al. 2018; Young et al. 2018).

In fact, a recent study suggests that miscalibration is a key contributing factor to these errors; when study participants (i.e., general internists) overestimated their performance, they were less likely to seek additional diagnostic tests which, unfortunately, may have led to higher error rates (Meyer et al. 2013). Clinical reasoning involves a series of distinct, albeit interconnected, activities—some conscious and analytical, some more intuitive and non-analytical (e.g. pattern recognition, Norman et al. 2017)—needed to arrive at a correct diagnosis and a case-specific management plan (Cook et al. 2018; Young et al. 2018). 

임상적 조우 중에 의료 전문가는 일반적으로 가장 가능성이 높은 진단을 식별하기 위해 정보를 합성하고 통합하는 동시에 환자 기록(Hx)을 취하고, 신체진찰(PE)를 수행하고, 일련의 진단 테스트를 실행할 수 있다. 가장 중요한 것은 의사는 외부 기준(즉, 사례별 진단 및 치료)에 따라 접근법을 적극적으로 조정해야 한다는 점이다. 이러한 복잡성을 고려할 때 임상적 추론은 정의, 평가 및 연구가 어려울 수 있다.

During a clinical encounter, a medical professional will typically take a patient history (Hx), perform a physical exam (PE), and possibly run a series of diagnostic tests, all while concurrently synthesizing and integrating information to identify the most likely diagnosis. Most importantly, clinicians must actively adjust their approach in line with an external criterion (i.e., a case-specific diagnosis and treatment). Given this complexity, clinical reasoning can be difficult to define, assess, and study.

이러한 순간순간의 조정을 최적으로 이해하고 이를 개선하기 위한 인터벤션을 제시하기 위해 연구자들은 충분히 세분화된 수준에서 인지적 판단과 전략의 사용을 검토examine해야 한다(Pieschl 2009). 그러기 위해서는 평가를 [데이터 수집, 자기 인식, 해석, 비판적 성찰 및 전문적 분위기(환경 및 관계 긴장 포함)를 포함한 "많은 구분된discrete 활동으로 구성된 다면적 구조]"로 개념화해야 한다(Sargeant et al. 2010, 페이지 1212). 

In order to optimally understand these moment-by-moment adjustments and offer interventions to improve them, researchers must examine metacognitive judgments and use of strategies at a sufficient level of granularity (Pieschl 2009). This entails conceptualizing assessment “as a multifaceted construct comprising numerous discrete activities” (Sargeant et al. 2010, p. 1212), including data collection, self-awareness, interpretation, critical reflection, and professional climate (and including environmental and relationship tensions). 

그러한 접근법은 임상 추론의 전체적이고 통합된 과정을 특정 하위 작업으로 분리하고 이러한 하위 작업 전체에 걸쳐 개인의 사고 프로세스 및/또는 조치의 성격과 패턴을 조사하는 데 가치가 있음을 시사한다. 이렇게 하면 교정 정확도가 향상될 수 있으며, 아마도 자가 평가를 가치 있는(예측적인) 임상 기술로 보충redeem할 수 있다.

Such an approach suggests that there is value in de-aggregating the holistic, integrated process of clinical reasoning into specific subtasks and examining the nature and pattern of individuals’ thought processes and/or actions across these subtasks. In this way, calibration accuracy might improve, perhaps redeeming self-assessment as a valuable (and predictive) clinical skill.

현재 연구의 목적

Purpose of the current study

이 연구에서 우리는 하위작업으로서 병력청취(Hx)와 신체검사(PE)에 초점을 맞춘다. 왜냐하면 그것들은 의학 교육에서 일반적으로 구별되는 요소로 가르쳐지기 때문이다. 또한 

• Hx는 진단 생성(예: 종종 모호한 주요 불만 사항을 해결하기 위한 질문)에 더 중점을 두기 때문에 더 복잡하고 모호할 수 있으며, 

• PE 일반적으로 진단 확인(예: 역사에서 제기된 것을 확인하기 위한 물리적 피동 또는 육안 검사)에 더 중점을 두는 경향이 있다.

In this study, we focus on the clinical subtasks of history (Hx) and physical exam (PE) because they are commonly taught as distinct elements in medical education . Further, 

• the Hx component may be more complex and ambiguous as it often focuses more on diagnostic generation (e.g., questioning to address an oftentimes vague chief complaint) while 

• the PE typically tends to be more about diagnostic confirmation (e.g., physical palpation or visual inspection to confirm something raised in the history).

따라서, 임상의사들은 종종 PE가 Hx 다음에 이뤄지기 때문에 PE에 도달할 때쯤에는 더 정교한 가설을 갖게 될 것이다. 또한, (Hx에서와 같이) 잠재적으로 관련성이 있는 범주에 대한 선별screening은 (PE에서와 같이)식별된 범주들 사이의 구별discremination보다 교정이 더 어렵다고 주장한다.

Thus, clinicians will often have more refined hypotheses by the time they reach the PE since it follows the history. Further, Fischer and Budescu (2005) argue that screening for potentially relevant categories (as in the Hx) is more difficult to calibrate than discrimination among identified categories (as in the PE; Fischer and Budescu 2005).

교정을 검사하기 위한 두 가지 일반적인 지표는 편향과 정확성이다. 

• 교정 편향은 학습자가 만드는 성능 판단 오류(즉, 과대 평가 또는 과소 평가)의 밸런스(또는 방향)를 나타내며 

• 교정 정확도는 이러한 오류의 크기를 반영한다(Bol and Hacker 2012; Pajares and Graham 1999; Pieschl 2009). 

본 연구에서는 가상 환자 시뮬레이션에 포함된 임상 추리 활동의 Hx 및 PE 하위 작업 전반에 걸쳐 의대생의 인지적 판단(즉, 교정 정확도 및 교정 편견)의 변화를 조사했다.

Two common metrics for examining calibration are bias and accuracy. 

• Calibration bias represents the valence (or direction) of performance judgment errors that learners make (i.e., overestimation or underestimation), while 

• calibration accuracy reflects the magnitude of those errors (Bol and Hacker 2012; Pajares and Graham 1999; Pieschl 2009). 

In the current study, we examined variations in the metacognitive judgments (i.e., calibration accuracy and calibration bias) of medical students across Hx and PE subtasks of a clinical reasoning activity embedded in a virtual-patient simulation.

방법

Method

(1) 장기-시스템 기반 접근방식에서 기초 과학 지식과 임상 기술을 통합하는 5개의 개별 모듈을 포함하는 18개월 전임상 단계 

(1) an 18-month pre-clerkship phase that included five distinct modules integrating basic science knowledge and clinical skills in an organ-system based approach; 

(2) 12개월의 필수 임상실습 단계 

(2) a 12-month core clerkship phase; and 

(3) 6주간의 advanced didactics 기간과 12개월의 advanced 임상 로테이션 기간을 포함하는 18개월 임상실습 단계(즉, 임상 선택, 군사 분야 연습 및 학술적인 캡스톤 프로젝트를 완료할 기회).

(3) an 18-month post-clerkship phase that included a six-week period of advanced didactics and a 12-month period of advanced clinical rotations (i.e., clinical electives, a military field exercise, and an opportunity to complete a scholarly capstone project).

참여자 및 교육 컨텍스트

Participants and educational context

의대 1학년 학생들의 견본이 이 연구에 참여하도록 초청되었다. 학생들은 ICR(Inference of Clinical Reasoning) 과정으로부터 모집되었다. 자원 봉사자들은 참여하기 위해 추가 점수를 제공받았고, 비 참여자들은 대체 수단을 통해 동일한 추가 점수를 얻을 수 있었다(즉, 짧은 성찰적 글쓰기). 

A sample of first-year medical students was invited to participate in the study. The students were recruited from an Introduction to Clinical Reasoning (ICR) course. Volunteers were offered extra credit points for participating, while non-participants could earn the same extra credit points through an alternate means (i.e., a short, reflective writing assignment). 

ICR 과정 이전에, 학생들은 임상 추론에서 어떠한 공식적인 교육이나 임상 경험도 받지 못했다. 따라서, 이 연구의 목적을 위해, 참가자들은 초보 학습자novice로 간주되었다. 과정 자체는 크고 작은 일련의 활동들로 구성되었다. 각 과정 구성 요소는 학생들을 다양한 증상, PE 결과, 실험실 테스트 이상 및 신드롬에 노출시키도록 설계되었다.

Prior to the ICR course, the students had not received any formal didactic or clinical experience in clinical reasoning. Therefore, for the purpose of this study, the participants were considered novice learners. The course itself was comprised of a series of large- and small- group activities. Each course component was designed to expose students to various symptoms, PE findings, laboratory test abnormalities, and syndromes.

절차

Procedures

학생들의 관찰된 성과와 성과에 대한 메타인지적 판단은 환자 조우 Hx와 PE 하위 작업 모두에 걸쳐 평가되었다.

Students’ observed performance and metacognitive judgments of performance were assessed across both the Hx and PE subtasks of the patient encounter.

측정

Measures

Hx에 대한 학생 성과는 효과와 효율이라는 두 가지 방식으로 평가되었다. 

• Hx 효과성은 이 사례에 대한 전문가-기준 질문의 총 수와 비교하여 학습자가 질문하는 필수(예: 전문가 지원) 질문의 백분율로 정의되었다. 예를 들어, 60%의 효과성 점수는 Hx에서 질문해야 하는 모든 전문가 지원 질문의 효과성을 나타낸다. 학습자는 이러한 질문의 60%를 질문했다. 

• 반대로, Hx 효율성은 학습자가 질문하는 총 질문 수(필수 및 비필수)에 상대적인 필수 질문의 백분율로 정의되었다. 따라서 효율 점수는 25%로 학습자가 질문한 모든 질문의 4분의 1이 전문가에 의한 질문을 반영했음을 나타낸다.

Student performance on Hx was assessed in two ways: effectiveness and efficiency. 

• Hx effectiveness was defined as the percentage of essential (i.e., expert-endorsed) questions asked by the learner (selected via a drop-down menu) relative to the total number of expert-endorsed questions for this case. For instance, an effectiveness score of 60% indicates that of all the expert-endorsed questions that should be asked during the Hx, the learner asked 60% of those questions. 

• Conversely, Hx efficiency was defined as the percentage of essential questions asked relative to the total number of questions (essential and non-essential) asked by the learner. Thus, an efficiency score of 25% indicates that one quarter of all questions asked by the learner reflected expert-endorsed questions.

병력 청취

Patient history

학생들이 Hx 과목을 마친 후에, 그들은 다음과 같은 사후예측post-diction 질문을 받았다. "전문의라면 이 경우에 학생이 했던 질문 중 몇 퍼센트를 필수 질문이었다고 판단할 것 같습니까? (0 ~ 100% 사이의 백분율을 표시한다.)" 측정판단의 2차원(교정 편향과 교정 정확도 점수)이 계산되었다. 이전의 연구(Cleary and Chen 2009; Pajares and Graham 1999)와 일관되게 교정 편향을 실제 성능(즉, 효율성 점수 사용)과 성능 판단(즉, 사후 관할권)의 차이로 계산하였다. 보정 편향 점수는 성능 과대 평가를 나타내는 양의 값과 성능 저하를 나타내는 음의 값을 가진 - 100 - + 100이었다. 

After students completed the Hx section, they were asked the following post-diction question, “Approximately what percentage of the questions that you asked would an expert clinician say were essential questions for this case? (Indicate a percentage between 0 and 100%.)” Two dimensions of metacognitive judgments were calculated: calibration bias and calibration accuracy scores. Consistent with previous research (Cleary and Chen 2009; Pajares and Graham 1999), calibration bias was calculated as the difference between actual performance (i.e., using efficiency score) and a judgment of performance (i.e. post-diction). Calibration bias scores ranged from − 100 to + 100 with positive values indicating overestimation of performance and negative values indicating underestimation of performance.

예를 들어, 학습자가 자신이 했던 병력청취 질문한 질문의 95%가 사례에 필수적이라고 생각했지만(사후예측) 실제로 40%만 전문가에 의해 승인되었다면, +55(예: 95 - 40)의 양성 교정 편향 점수를 보일 것이다. 그러한 점수는 과대평가(0은 완벽한 교정이 됨)의 지표일 것이다.

As an example, if a learner estimated that 95% of the questions that she asked during Hx were essential to the case (post-diction) but only 40% were actually endorsed by the experts, then she would exhibit a positive calibration bias score of + 55 (i.e. 95 − 40). Such a score would be an indicator of overestimation (with 0 being perfect calibration).

교정 정확도는 판정 오차의 크기를 나타내며, 성능 척도의 최대값에서 Hx 바이어스 점수의 절대값을 빼서 계산했다(즉 100점 만점; 파자레스 및 그레이엄 1999). 예를 들어, 학습자가 (이전 예와 같이) + 55의 편향 점수를 받은 경우, 그녀의 정확도는 45(예: 100 - 55)가 될 것이다. 다른 참가자가 Hx 수행 능력을 과소평가하는 수준을 나타내는 -20의 편향 점수를 가지고 있다면, 그녀의 정확도는 80(100 - 20)이 될 것이다. 정확도 점수 100은 완벽한 정확성(판단 오류 없음)을 나타내는 반면, 0은 완전한 오판을 나타낸다.

Calibration accuracy represented the magnitude of the judgment error and was calculated by subtracting the absolute value of the Hx bias score from the maximum value on the performance scale (i.e. 100; Pajares and Graham 1999). For example, if the learner received a bias score of + 55 (as in the previous example), her accuracy score would be 45 (i.e., 100 − 55). If a different participant had a bias score of − 20, which represents a level of underestimation of her ability to conduct a Hx, her accuracy score would be 80 (100 − 20). An accuracy score of 100 denotes perfect accuracy (no error in judgment) whereas a score of 0 represents complete misjudgment.

신체 진찰

Physical exam

신체검사 구성요소에 대해서도 효과와 효율성 점수가 계산되었다. 

• PE 효과성는 전문가에 의해 이 경우에 필수적인 것으로 확인된 총 검사 수와 비교하여 학습자가 수행한 필수검사의 백분율로 정의되었다. 

• 반대로, PE 효율성은 학습자가 수행한 잠재적 검사의 총 수(필수 및 비필수)와 비교하여 전문가가 인정한 검사의 백분율로 정의되었다. 

Effectiveness and efficiency scores were also calculated for the physical exam component. 

• PE effectiveness was defined as the percentage of essential exams administered by the learner (selected via a drop-down menu) relative to the total number of exams identified by experts as essential for this case. 

• Conversely, PE efficiency was defined as the percentage of expert-endorsed exams administered by the learner relative to the total number of potential exams (essential and non-essential) administered by the learner. 

학생들은 PE를 마친 후, 성과 질문에 대한 다음과 같은 판단에 응답하도록 요청 받았다. "이제 신체검사를 마쳤으니, 전문의가 보기에 당신이 실시한 시험의 대략 몇 퍼센트가 이 경우에 필수적이라고 판단할 것 같은가? (0%에서 100% 사이의 비율을 표시한다.)" PE에 대한 교정 편향 및 교정 정확도 점수는 Hx에 대한 것과 동일한 절차를 사용하여 계산되었다.

After students completed the PE, they were asked to respond to the following judgment of performance question, “Now that you have completed the physical examination, approximately what percentage of the exams that you conducted would an expert clinician say were essential in this case? (Indicate a percentage between 0 and 100%).” Calibration bias and calibration accuracy scores for PE were calculated using procedures identical to those for Hx.

분석

Analysis

결과

Results

Hx와 PE의 그룹 내 차이 

Within‑group differences across Hx and PE

표 1은 1차 변수에 대한 기술 통계를 나타낸다. 쌍으로 구성된 t 시험 분석에 기초해, 참가자들은 낮은 효과와 효율성 점수로 입증된 것처럼 PE보다 임상적 만남의 Hx 부분에서 낮은 성과를 보였다. 효과 면에서, 학생들은 평균적으로 PE 동안의 필수 시험 조치(M = 71.63%)보다 훨씬 낮은 Hx 질문(M = 43.07%)을 사용했다. t(156) = 19.85, p < 05. 이 관측된 차이는 매우 큰 것으로 간주된다(코헨의 d = 1.57). 

Table 1 presents the descriptive statistics for the primary variables. Based on paired t test analyses, the participants showed weaker performance on the Hx portion of the clinical encounter than PE, as evidenced by lower effectiveness and efficiency scores. In terms of effectiveness, the students used, on average, a significantly lower percentage of essential (i.e., expert-endorsed) Hx questions (M = 43.07%) than essential exam actions during PE (M = 71.63%): t (156) = 19.85, p < .05. This observed difference is considered very large (Cohen’s d = 1.57). 

효율성에 대해서도 유사한 패턴이 나타났다(즉, 필수 질문이나 시험/총 문제 또는 시험). 그 결과 학습자가 질문한 모든 Hx 질문의 17%만이 필수 Hx 질문으로 간주되는 반면, 학습자가 실시하는 모든 PE 조치의 34%는 필수로 식별되었다. 따라서, 학생들은 PE 활동보다 Hx 질문의 사용에서 덜 효율적이었다. 이 차이는 통계적으로 유의했고 t(156) = 19.05, p < 05, d = 2.21로 간주되었다.

A similar pattern emerged for efficiency (i.e., essential questions or exams/total questions or exams). The results revealed that only 17% of all Hx questions asked by the learners were considered essential Hx questions, whereas 34% of all exam actions conducted by learners were identified as essential. Thus, the students were less efficient in their use of Hx questions than in the PE actions. This difference was statistically significant and considered extremely large: t (156) = 19.05, p < .05, d = 2.21.

인지적 판단의 Hx-PE 차이도 조사되었다. 거의 모든 참가자가 Hx(n = 154, 98%)와 PE(n = 149, 95%)에서 어느 정도 성과를 과대평가했지만, Hx(M = 63.23%)보다 PE(M = 69.83%)가 훨씬 높았다. 즉, 그들은 Hx 하위 작업보다 PE 하위 작업에서 더 잘 수행했다고 인식했다. 이 차이는 소형에서 중형(Cohen의 d = 0.33)으로 간주된다.

Hx-PE differences in metacognitive judgments were also examined. Almost all participants overestimated their performance to some degree on both Hx (n = 154; 98%) and PE (n = 149; 95%), but participants exhibited significantly higher performance estimates for PE (M = 69.83%) than Hx (M = 63.23%), t (156) = 4.19, p < .05. That is, they perceived that they performed better on the PE subtask than the Hx subtask. This difference is considered small to medium (Cohen’s d = .33).

마지막으로 참가자의 성과 판단에 대한 보다 미묘한 이해를 도출하기 위해 두 가지 유형의 교정 점수(즉, 편향과 정확도)를 계산했다. 편향의 경우, 학습자가 Hx(M = + 45.99%)와 PE(M = + 35.64%) 모두에서 자신의 능력을 과대평가했지만, Hx에 대해 더 높은 수준의 과대평가를 보였다고 관찰했다. 이 차이의 크기는 중간정도(코헨의 d = .48)로 간주된다.

Finally, we calculated two types of calibration scores (i.e., bias and accuracy) to generate a more nuanced understanding of the participants’ performance judgments. For bias, we observed that although the learners overestimated (i.e. positive calibration bias) their skills on both Hx (M = + 45.99%) and PE (M = + 35.64%), they showed a greater level of overestimation for Hx, t (156) = 5.89, p < .05. The magnitude of this difference is considered medium (Cohen’s d = .48).

교정 정확도 측면에서 100점 만점은 완벽한 정확도를 나타내며 0점 만점은 완전한 부정확성을 나타낸다. 참가자가 Hx(M = 53.95%)와 PE(M = 62.72%) 모두에서 부정확함을 보였지만, Hx, t(156) = 5.30, p < .05에 대한 정확도는 상당히 낮았다. 이 관측된 차이는 중간정도(코헨의 d = .40)로 간주된다.

In terms of calibration accuracy, scores of 100 indicate perfect accuracy whereas scores of 0 represent complete inaccuracy. We found that although participants showed inaccuracy across both Hx (M = 53.95%) and PE (M = 62.72%), they showed significantly lower accuracy scores for Hx, t (156) = 5.30, p < .05. This observed difference is considered medium (Cohen’s d = .40).

보정 점수 간의 관계

Relations among calibration scores

Pearson과 Point-biserial 상관관계는 교정 점수 사이의 관계를 조사하기 위해 계산되었다(표 2 참조). 우리는 특히 Hx와 PE 편향 점수 사이의 상관관계와 Hx와 PE 정확도 점수 사이의 상관관계에 관심이 있었다. 실질적으로 범위가 제한되었던 편향 점수(과대 추정 또는 과소 추정)의 정확한 해석을 용이하게 하기 위해, 우리는 이분법 변수(즉, 과소 평가 = 0, 과대 평가 = 1)를 생성하기로 결정했다. 그 결과 Hx와 PE 바이어스 점수(r = .18, p < .05)와 정확도 점수 사이의 양성 관계(r = .41, p < .05) 사이에 작은 양의 연관성이 나타났다. 따라서 

• Hx에서 자신의 성과를 과대평가한 참가자는 PE에서 과대평가할 가능성이 높았다. 마찬가지로, 

• Hx에서 높은 수준의 부정확성을 보인 학생들은 PE에서 높은 수준의 부정확성을 보고할 가능성이 더 높았다.

Pearson and point-biserial correlations were calculated to examine the relations among calibration scores (see Table 2). We were specifically interested in the correlations between the Hx and PE bias scores and between the Hx and PE accuracy scores. To facilitate accurate interpretation of the bias scores (over-estimation or under-estimation), which were substantially range restricted, we elected to create a dichotomous variable (i.e., underestimation = 0, overestimation = 1). The results revealed a small, positive association between Hx and PE bias scores (r = .18, p < .05) and medium, positive relation between accuracy scores (r = .41, p < .05). Thus, participants who overestimated their performance on Hx were more likely to overestimate on PE. Similarly, students who exhibited high levels of inaccuracy on Hx were more likely to report high levels of inaccuracy on PE.

Discussion

Hx와 PE 사이의 차이점

Differences between Hx and PE

가설과 마찬가지로, 이 연구의 주요 결과는 학생들의 성과와 인지 프로세스가 가상 환자의 Hx 및 PE 하위 작업에 따라 상당한 변화를 보인다는 것이었다. 표 1에 나타난 바와 같이, 이러한 차이는 모든 성과(즉, 효과, 효율성)와 인지적 측정(즉, 사후 관할권에서의 편견과 정확도)에서 관찰되었다. 따라서, 우리의 연구에 고용된 특정 사례(즉, 철분결핍성 빈혈)에 대해서는, Hx 하위 작업이 PE보다 더 어렵고 복잡한 활동인 것으로 밝혀졌다. 성과 측면에서, 참가자들은 "이상적" 또는 전문가가 제시한 Hx 질문을 적게 사용했으며, PE 하위 작업 중 시험 조치의 사용과 효율성에 비해 Hx 동안 질문의 사용 효율성이 현저히 낮았다. 또한 참가자는 PE보다 Hx에 대한 성과 판단에 있어 유의적으로 높은 수준의 과대평가와 전반적인 부정확성을 보였다.

As hypothesized, the primary finding in this study was that students’ performance and metacognitive processes showed significant variation across the Hx and PE subtasks of a virtual-patient encounter. As reflected in Table 1, these differences were observed across all performance (i.e., effectiveness, efficiency) and metacognitive measures (i.e., bias and accuracy in post-diction). Thus, for the particular case employed in our study (i.e., iron deficiency anemia), the Hx subtask was found to be a more challenging and complex activity than PE. In terms of performance, the participants used fewer of the “ideal” or expert-endorsed Hx questions and were significantly less efficient in their use of questions during Hx, relative to their use and efficiency in exam actions during the PE subtask. In addition, participants showed significantly higher levels of overestimation and overall inaccuracy in their judgments of performance on Hx than on PE.

비록 이러한 인지적 판단 차이의 원인을 탐구하지는 않았지만, 우리의 결과는 (PE에 비해서) Hx가 실제로 더 복잡한 작업이고/또는 더 많은 수의 관련 부분parts을 포함할 수 있다는 것을 의미하는 것처럼 보인다 (Lin and Zabrucky 1998; Pieschl 20)09). Hx 하위 작업은 임상적 조우 초기에 발생하여 학생들이 다수의 조건을 해결하거나 증상을 제시하기 위해 많은 잠재적인 질문 중에서 선택할 필요가 있었다. 이와는 대조적으로, PE는 환자 encounter의 후반부에서 이뤄지며, 자유도나 PE finding이 서로 어떻게 관련되는지 측면에서 더 제한적인 경향이 있다. 즉, PE 과제는 보다 작은 대상 집합(Fischer와 Budescu 2005)을 구별하는 데 있으며, 이는 Hx에서 경험했던 모호성과 전반적인 부담demands를 감소시킬 가능성이 있다.

Although we did not explore the causes of these metacognitive judgment differences, our results appear to convey that Hx is indeed a more complex task and/or may involve a greater number of associated parts; features which may make it more challenging to accurately assess performance on this subtask relative to PE (Lin and Zabrucky 1998; Pieschl 2009). The Hx subtask occurred at the beginning of the clinical encounter and thus necessitated students to select from a large number of potential questions to address a multitude of conditions or presenting symptoms. In contrast, PE activities occur towards the end of the encounter and tend to be more fixed in terms of degrees of freedom and how physical findings relate to one another. In other words, the PE task is more about discriminating among a smaller set of targets (Fischer and Budescu 2005), which likely cuts down on the ambiguity and overall demands experienced during Hx (Lin and Zabrucky 1998).

참가자의 오보정 특성에서 기술분석 결과, 거의 모든 개인이 Hx(n = 154; 98%)와 PE(n = 149; 95%) 모두에서 자신의 성과를 과대평가한 것으로 나타났다. 따라서, 평균적인 참가자들은 그가 실제로 했던 것보다 더 잘했다고 믿었다. 과대평가는 복잡한 작업을 수행하는 초심자에게 흔히 있는 함정이지만, 예측(즉, 하위 작업 이전에 내린 메타인지적 판단)보다는 사후적 판단(즉, 하위 작업 이후에 내린 메타인지적 판단)을 통해 측정했다는 점이 주목할 만하다. 일반적으로, (참가자들이 인지적 판단을 요구 받기 전에 주어진 활동의 성격과 요구에 대한) 정보에 접근할 수 있기 때문에 사후적 판단post-diction은 사전적 판단pre-diction보다 더 정확해야 한다(Pieschl 2009). 우리의 결과는 주목할 만한데, 이렇게 많은 수의 사람들이 비록 활동을 막 마쳤지만 두 하위 작업 모두에서 자신들의 성과를 과대평가했기 때문이다. 과대평가(Overestimation)는 개인이 실제로 활동에서 어려움을 겪거나 성과가 저조할 때 적응하거나 개선할 필요가 없다고 믿게 할 수 있기 때문에 매우 문제가 많다(Blanch-Hartigan 2011; Chen and Bembenutty 2018).

In terms of the nature of the participants’ miscalibration, descriptive analysis revealed that almost all individuals overestimated their performance on both Hx (n = 154; 98%) and PE (n = 149; 95%). Thus, the average participant believed that he performed better than he had actually performed. While overestimation is a common pitfall for novices performing complex tasks, it is noteworthy that we measured metacognitive judgments via post-dictions (i.e., metacognitive judgments made following a subtask) rather than predictions (i.e., metacognitive judgments made prior to a subtask). Typically, post-dictions should be more accurate than predictions because participants get access to information about the nature and demands of a given activity before they are asked to make a metacognitive judgment (Pieschl 2009). Our results are noteworthy because such a large percentage of individuals overestimated their performance on both subtasks even though they had just completed the activities. Overestimation is highly problematic because it can lead individuals to believe that they do not need to adapt or improve when they are in fact struggling or underperforming on an activity (Blanch-Hartigan 2011; Chen and Bembenutty 2018).

앞에서 언급한 바와 같이 임상추론은 내용(내용 특이성)과 상황의 특정성(맥락 특이성)에 의해 영향을 받는 전체론적 과정으로 인식되는 경우가 많지만, 그러나 의료 교육자들은 또한 우선순위 평가, 진단 및 치료 계획 결정 및 정제 등과 같은 [임상 추론의 하위 작업을 분류하는 것의 가치]를 인정한다.(Juma and Goldszmidt 2017). 이 연구에서 예시된 바와 같이 임상적 추론을 하위 작업으로 바꾸는 것은, 특히 경험이 없거나 초보 임상의사가 자신의 gap을 거의 알지 못하는 경우가 많다는 점을 감안할 때, 의학교육자가 연습생 기술의 지식 격차gap를 식별하는 데 도움이 될 수 있다(Blanch-Hartigan 2011; Davis et al. 2006; Kruger and Dunning 1999). 

As mentioned previously, clinical reasoning is often recognized to be a holistic process that is impacted both by content (content specificity) and the specifics of the situation (context specificity, Durning et al. 2012); yet, medical educators also recognize the value of categorizing the subtasks of clinical reasoning, such as assessing priorities and determining and refining diagnosis and treatment plans (Juma and Goldszmidt 2017). As illustrated in this study, breaking clinical reasoning into subtasks may help medical educators become better equipped to identify knowledge gaps in the skills of trainees, particularly given that inexperienced or novice clinicians are often largely unaware of these gaps (Blanch-Hartigan 2011; Davis et al. 2006; Kruger and Dunning 1999). 

또한, 하위 작업이나 임상 활동의 구성요소를 검사하면 복수의 추론작업을 저글링할 수 있고, 따라서 높은 인지 부하 또는 높은 정신적 노력을 경험할 수 있는 의대생이나 임상의사를 식별하는 데 도움이 될 수 있다(Juma and Goldszmidt 2017). 이러한 어려움을 겪고 있는 개인을 확인할 수 있는 능력은 현재 이 나라의 의사들이 보여주고 있는 의료 오류의 위기로 볼 때 시기적절하고 긴급한 것이다(Makary and Daniel 2016).

Moreover, examination of subtasks or components of a clinical activity may help to identify medical students or clinicians who may be juggling multiple reasoning tasks and, hence, experiencing high cognitive load or high mental effort (Juma and Goldszmidt 2017). The ability to identify such struggling individuals is both timely and emergent given the current crisis of medical errors exhibited by physicians in this country (Makary and Daniel 2016).

교정 척도와 퍼포먼스의 관계

Relations among calibration measures and performance

Hx와 PE 편향 점수(r = .18)와 Hx와 PE 정확도 점수(r = .41) 사이의 통계적으로 유의한 관계를 관찰했지만, 정확도 점수의 경우 효과 크기가 더 컸다. 따라서 Hx에서 높은 정확도를 보인 학생들은 PE에서 높은 정확도를 보일 가능성이 비교적 높았다.

Although we observed statistically significant relations between Hx and PE bias scores (r = .18) and between Hx and PE accuracy scores (r = .41), the effect size was larger for accuracy scores. Thus, students who displayed high levels of inaccuracy on Hx were moderately more likely to show high levels of inaccuracy on PE.

편향 점수, 이러한 결과는 부분적으로 두 편향 범주(즉, 과대평가 및 과소추정)에 걸친 범위의 제한에 기인했을 수 있다. 실제로 우리는 Hx 바이어스의 경우 3개(즉, 2%)와 PE 바이어스의 경우 8개(5%)만 과소평가를 관찰했다. 따라서 대다수의 참가자가 자신의 성과를 과대평가했다는 결과가 이전 연구(Blanch-Hartigan 2011; Davis et al. 2006)와 일치하지만, 범위의 제약이 관측된 관계의 크기에 부정적인 영향을 미쳤을 수 있다.

bias scores, these results may have been due, in part, to a restriction of range across the two bias categories (i.e., over- and under-estimation). In fact, we only observed 3 under-estimators (i.e., 2%) for Hx bias and 8 under-estimators (5%) for PE bias. Thus, although the finding that the large majority of participants overestimated their performance was consistent with prior research (Blanch-Hartigan 2011; Davis et al. 2006), the restriction of range may have adversely affected the size of the observed relation.

초보 학습자가 임상 하위 작업 전반에 걸쳐 유사한 부정확성 패턴을 보이는 경향이 있지만, 그 부정확성의 수준은 하위 작업에 따라 다양할 것이다. 따라서 학습자의 메타인지적 판단의 정확도는 어떤 subtask에 대해서든 대체로 비슷할 수 있지만, 얼마나 성공적으로 수행했느냐는 subtask에 따라 다양할 수 있다.

it appears that there is a tendency for novice learners to exhibit similar patterns of inaccuracy across clinical subtasks, but that the level of that inaccuracy will vary as a function of the subtask. Thus, although the accuracy of the learners’ metacognitive judgments may be somewhat stable across subtasks, students may experience varying levels of success across those subtasks.

한계

Limitations

또한 본 연구에서 목표로 한 메타인식과 자기조절의 전체 범위가 상당히 좁았다는 점도 주목할 만하다. 다른 조절적(예: 전략 사용, 계획, 자가 평가) 및 동기부여적(예: 자기 효율성) 프로세스와 함께 동시적으로 메타 인식 판단을 검토하는 것은 임상 활동의 하위 작업 전반에서 차이를 더 완전히 이해하는 데 유용할 수 있다.

It is also noteworthy that the overall scope of metacognition and self-regulation targeted in this study was fairly narrow. Concurrently examining metacognitive judgments along with other regulatory (e.g., strategy use, planning, self-evaluation) and motivational (e.g., self-efficacy) processes can be useful for more fully understanding differences across subtasks of clinical activities.

함의, 미래 방향

Implications and future directions

우리의 결과는 임상적 추론을 전체론적 과정으로 개념화할 수 있지만, 일련의 하위 작업으로 보는 가치도 있다는 것을 나타내는 최근의 의학 교육 연구를 뒷받침한다(Juma and Goldszmidt 2017). 

Our results support recent research in medical education indicating that while clinical reasoning can be conceptualized as a holistic process, there is value in also viewing it as a series of subtasks (Juma and Goldszmidt 2017). 

또한, 의료 교육자와 연구자가 다음을 인지하는 것이 중요하다. 

• 일반적으로 대부분의 임상 활동을 성공시키기 위해 다양한 기술이 필요하다(증상 식별, 상황 요인 고려, 데이터 통합, 환자와 마주치는 동안 진단 비교 및 대조 등)  

• 초보 학습자는 그러한 활동의 다른 부분 또는 상황마다 기술, 신념 및 행동에 대한 뚜렷한 차이를 보일 수도 있다(Sargeant et al. 2010).

Further, it is important for medical educators and researchers to recognize that a range of skills is typically needed to succeed on most clinical activities, such as identifying symptoms, considering contextual factors, integrating data, and comparing and contrasting diagnoses during a patient encounter, and that novice learners may exhibit a distinct profile of skills, beliefs, and behaviors across different parts or situations of such activities (Sargeant et al. 2010). 

따라서 의학교육 연구자들은 임상 추론에서 하위 작업마다 임상의사의 성과가 어떻게 다른지 이해하고자 할 뿐만 아니라, 그 성과에 대해 생각하고 평가하는 품질도 모색해야 한다.

Thus, medical education researchers should not only seek to understand how clinicians’ performance differs across subtasks in clinical reasoning, but also the quality with which they think about and evaluate that performance.

의료 교육 연구에 사용된 평가 방법론의 발전이 있었다(Andrews et al. 2016; Artino et al. 2014; Clearary et al. 2015). 예를 들어 클리어리, 동, 아티노는 마이크로 분석 평가 프로토콜을 사용하여 가상-환자 만남 동안 의대생의 동기적 믿음과 규제 프로세스의 변화를 검토했다(Cleary et al. 2015). 이 방법론은 저자들이 임상적 만남 동안 그들의 차등 진단의 정확성에 관한 부정적인 피드백에 대응하여 학생들의 자기효능감과 자기조절 프로세스에서 통계적으로 유의한 변화를 식별할 수 있게 했다. 우리는 마이크로 분석 프로토콜, think alouds, 또는 기타 세밀한 평가 유형(즉, 교정 평가)을 사용하면 일반적인 자기조절 프로세스에 대한 귀중한 정보를 얻을 수 있다고 믿는다.

there have been advances in assessment methodologies used in medical education research (Andrews et al. 2016; Artino et al. 2014; Cleary et al. 2015). For example, Cleary, Dong, and Artino used a microanalytic assessment protocol to examine shifts in the motivational beliefs and regulatory processes of medical students during a virtual-patient encounter (Cleary et al. 2015). This methodology enabled the authors to identify statistically significant shifts in the students’ self-efficacy and regulatory processes in response to negative feedback regarding the accuracy of their differential diagnosis during a clinical encounter. We believe that using microanalytic protocols, think alouds, or other types of fine-grained assessments (i.e., calibration assessment) can yield valuable information about regulatory processes in general.

연구자는 (이번 연구에서 그랬던 것처럼) 학생이 과제를 완수할 때까지 기다렸다가 뭉쳐진aggregated 판단을 내리는 것보다, 과제가 진행되는 중간중간에 여러 차례 이러한 도구를 활용하여 자료를 수집하는 것이 더 유용할 것이다. 그렇게 함으로써, 그러한 접근방식은 복잡한 임상 활동을 수행하는 과정 동안 학습자에게 보다 미묘한 맥락적 피드백을 제공하는 데 도움이 될 수 있다(Andrews et al. 2016).

it would be useful for researchers to administer such tools at multiple points during a given subtask rather than wait until after a task is completed to gather a more aggregate judgment (as was the case in the current study). In doing so, such an approach can also help educators provide more nuanced and contextualized feedback to learners as they work through any complex clinical activity, including clinical cases that are incorporated into high-stakes assessments (Andrews et al. 2016).

이러한 초점은 의료 교육에서 측정의 미묘한nuanced 특성과 세분성을 높이는 데 초점을 맞추고 있으며, 진단 의료 오류의 위기를 고려할 때 특히 중요하다(Makary 및 Daniel 2016). 사실, 최근의 한 연구는 오보정이 이러한 오류에 중요한 기여 요인임을 시사한다. 연구 참가자(일반 내과의사)가 그들의 성과를 과대평가했을 때, 그들은 추가 진단 테스트를 추구할 가능성이 적었고, 이것은 결국 불행하게도 더 높은 오류율을 야기하게 만들었다(Meyer et al. 2013).

This focus on enhancing the nuanced nature and granularity of measurement in medical education is particularly important considering the crisis of diagnostic medical errors (Makary and Daniel 2016). In fact, a recent study suggests that mis-calibration is a key contributing factor to these errors; when study participants (general internists) overestimated their performance, they were less likely to seek additional diagnostic tests which, unfortunately, may have led to a higher error rate (Meyer et al. 2013).

잘못된 교정을 해결하기 위해 의료 교육자와 연구자는 두 가지 중요한 이니셔티브에 초점을 맞추어야 한다. 

• (a) 의대생이나 임상의사가 수행하는 핵심 임상 추리 활동의 기본 하위 과제를 명확히 구분하는 것과 

• (b) 행동, 인지, 메타인지 프로세스를 대상으로 하는 평가 접근방식을 사용하는 것이다. 

In order to address mis-calibration, medical educators and researchers should focus on two critical initiatives: 

• (a) clearly demarcating the underlying subtasks of core clinical reasoning activities performed by medical students or clinicians, and 

• (b) using assessment approaches that target the behavioral, cognitive, and/or metacognitive processes during the activities. 

활동 중에 의료 교육자가 학생이나 임상의가 수행할 것으로 기대하는 업무나 활동의 성격에 전략적으로 초점을 맞추지 않는다면, 그들은 학습 최적화를 위한 데이터 정보 교정 또는 개입 지원을 식별하고 제공하는 것이 상당히 어렵다는 것을 알게 될 것이다.

If medical educators do not strategically focus on the nature of the tasks or activities that they expect students or clinicians to perform, they will find it quite challenging to identify and provide data-informed remedial or intervention supports to optimize learning.

학습자 중 많은 수가 기술 부족을 보이고 일반적으로 스스로 수정하고 개선할 수 있는 적절한 자기 인식이 결여되어 있다는 점을 감안할 때, 이는 연습생에게 특히 중요하다(Kruger and Dunning 1999). 따라서 향후 연구는 성과와 규제 과정을 의미 있게 평가할 수 있도록 전략적으로 임상 과제를 "해결"하는 방법을 신중하게 고려할 필요가 있다. 이를 위해 연구자들은 특정 임상 활동의 전문가들과 협력하여 가장 목적적합하고 중요한 하위구성요소를 파악한 후 이들 구성요소를 평가하기 위한 프로토콜을 구성해야 한다.

This is an especially important initiative for trainees, given that many of these learners exhibit skill deficits and typically lack adequate self-awareness to self-correct and improve on their own (Kruger and Dunning 1999). Thus, future research needs to carefully consider how to strategically “break up” clinical tasks so that performance and regulatory processes can be meaningfully assessed. To this end, researchers should collaborate with experts in a specific clinical activity to identify the most relevant and important subparts and then to structure the assessment protocols around these component parts.

Andrews, M. A., Kelly, W. F., & DeZee, K. J. (2016). Why does this learner perform poorly on tests? Using self-regulated learning theory to diagnose the problem and implement solutions. Academic Medicine, 94(4), 612–615.

Adv Health Sci Educ Theory Pract. 2019 May 16. doi: 10.1007/s10459-019-09897-2. [Epub ahead of print]

First-year medical students' calibration bias and accuracy across clinical reasoning activities.

졸업후의학교육의 교수학습에 교육이론의 실용적 가치(J Grad Med Educ, 2018)

The Practical Value of Educational Theory for Learning and Teaching in Graduate Medical Education

Anthony R. Artino Jr, PhD

Abigail Konopasky, PhD

"좋은 이론만큼 실용적인 것은 없다." —커트 르윈, 19431.

‘‘There is nothing as practical as a good theory.’’ —Kurt Lewin, 19431

'좋은 선생님이 되기 위해 교육 이론에 대해 알 필요는 없다. 가르치는 것은 과학보다 예술이고, 그래서 정말로 필요로 하는 것은 내용 지식, 연습, 약간의 타고난 재능뿐이며, 나는 거의 모든 것을 아무에게나 가르칠 수 있다."

‘‘I don’t need to know anything about educational theory to be a good teacher. Teaching is more art than science, and so all I really need is content knowledge, practice, and a little bit of natural talent, and I can teach anyone almost anything.’’

우리의 관점에서, 좋은 선생님이 되기 위해 필요한 것에 대한 이 철학은 근시안적이다.

From our perspective, this philosophy on what it takes to be a good teacher is shortsighted.

GME에서 교육이론의 실용적 가치

The Practical Value of Educational Theory in GME

무엇보다도, 교육 이론은 어떤 동기부여가 된 교사들이 효과적인 교육을 할 수 있는 틀을 제공한다. 교육 이론은 교수-학습과 관련된 기본 메커니즘에 대한 설명을 제공한다.2 이론은 우리에게 왜 그리고 어떤 상황에서 특정한 학습 전략과 교수법이 효과가 있는 반면, 다른 이론들은 그렇지 않은지를 말해준다.

First and foremost, educational theory provides a framework from which any motivated teacher can build effective instruction. Educational theory provides explanations about the underlying mechanisms involved in learning and teaching.2 Such theories tell us why and under what circumstances certain learning strategies and teaching methods work, while others do not.

자기결정이론은 좋은 예다. 심리적인 안녕을 얻기 위해서는 능력, 자율성, 관련성 등 3가지 본질적인 심리적 욕구가 충족되어야 함을 시사한다.3

Self-determination theory is a good example. It suggests that 3 essential psychological needs must be met in order to achieve psychological wellness: competence, autonomy, and relatedness.3

둘째, 교육 이론은 교육자들이 전통과 의례가 아니라 경험적으로 시험된 원칙에 근거한 교육을 설계하는 데 도움을 줄 수 있다.5 일상 생활에서 교직원들은 종종 레지던트에게 동료들에게 그들이 가르치는 방식을 가르친다. 비록 이것이 성공하는 경우가 있을지라도, 그것은 근거가 있어서라기보다는 그저 운이 좋았기 때문이다.

Second, educational theory can help educators design instruction grounded in principles that have been empirically tested, rather than being the result of tradition and ritual.5 In everyday practice, faculty often teach residents and fellows the way they were taught. Although this may be successful, its effectiveness is based more on luck than evidence.

간단히 말해서 이론과 연구는 교육적 실천과 시너지 효과를 낼 수 있다.  이론과 실천은 서로에게 도움이 되며 서로를 향상시킨다. 이러한 시너지의 결과는 "연구 증거와 실험된 이론에 기초한 과학적으로 유효한 교육 방법의 집합"이다. 약간의 독창성으로 숙련된 교사들은 '근거와 이론에 기반한 방법'을 그들 자신의 맥락에 맞게 조정할 수 있다.

In short, theory and research can work in synergy with educational practice—each informing and enhancing the other. The consequence of such synergy is ‘‘a set of scientifically valid methods of instruction based on research evidence and tested theory.’’6 With a little ingenuity, skilled teachers can then adapt these methods to their own context. 

교육의 예술이 작동하는 곳은 바로 이론을 실천으로 번역하는 순간이다.

It is here, in the translation from theory to practice, where the art of teaching, operates.7

교육이론의 한계

Limitations to Educational Theory

교육이론에도 한계가 있다. 가장 중요한 것은 "모든" 맥락에서 배움과 가르침을 충분히 설명하는 단일 통일된 교육 이론이 없다는 것이다. 그 대신 교사는 다른 이론적 진영이나 관점으로 조직된 이론들의 집합체 속에 갇혀 있는데, 이것은 일반적으로 하나의 상황에서 학습과 가르침의 측면을 설명하지만, 다른 상황에서는 적용가능하거나 유용하지 않을 수도 있다.

Educational theory also has limitations. The most important may be the lack of a single unified education theory that fully explains learning and teaching in all contexts. Instead, the teacher is stuck with a collection of theories organized into different theoretical camps or perspectives, which generally explain aspects of learning and teaching in certain situations, but may not be applicable or useful to others.

예를 들어, 행동주의는 어떻게 교실에서 학생들이 특정한 보상과 처벌에 반응할 것으로 예상할 수 있는지를 설명하지만, 임상에서 병동 회진 동안 굴욕과 수치심과 같은 가혹한 교육 관행에 의해 학습자 웰빙이 어떻게 부정적인 영향을 받는지에 대해서는 거의 설명하지 못한다.8

For example, behaviorism explains how students in a classroom can be expected to respond to particular rewards and punishments,2 but it does little to explain how learner well-being is negatively affected by harsh teaching practices like humiliation and shaming during bedside rounds.8

이러한 한계를 염두에 둔다면, 교육 이론을 지도map에 대한 우리의 사고 방식에 비유해서 생각하는 것이 도움이 된다. 지도map는 어떤 영역을 추상적으로 나타낸 것이지만, 어떤 단 하나의 지도도 실제의 물리적 지형을 완전하고 정확하게 나타낼 수 없다.2 대신에, 주어진 지도는 단지 그것이 묘사하는 지역의 단순화된 버전일 뿐이고, 특정한 측면을 부각시키고 다른 것을 모호하게 한다. 지도는 영토가 아니라고 말하는 이유이다.

With these limitations in mind, it is helpful to think about educational theories similarly to how we think about maps. A map is an abstract representation of the territory it depicts, but no singular map can completely and accurately represent the actual physical terrain.2 Instead, a given map is just a simplified version of the territory it depicts, highlighting certain aspects and obscuring others. Thus, it has been said that the map is not the territory.9

교육 이론은 비슷한 방식으로 작동한다. 각 이론은 학습과 가르침에 관련된 기본 메커니즘을 추상적으로 설명하지만, 어떤 단 하나의 이론도 완전하고 정확하게 설명하지는 않는다. 따라서 교사는, [숙고적deliberate 실천과 다양한 상황에 걸친 체계적인 실험을 통해] 다양한 교육 이론에 친숙해지고 적용하는 법을 배우는 것이 유익하다.

Educational theories function much in the same way. Each theory is an abstraction that attempts to explain the underlying mechanisms involved in learning and teaching, but no singular theory does so fully and accurately. As a teacher, it is beneficial to become familiar with, and learn to apply, different educational theories through deliberate practice10 and systematic experimentation across diverse situations.

변화하는 지형을 반영하기 위해 지도를 업데이트하는 방식과 마찬가지로, 교육 이론도 현대 연구와 새로운 발견을 반영하도록 업데이트하고 조정할 필요가 있다. 예를 들어, 2000년대 초에 연구자들은 새로운 정보를 다룰 때 학습자가 작업기억 용량이 제한된다는 전제 하에 모델인 인지 부하 이론을 연구하고 있었다.11 

Similar to the way maps are updated to reflect changing terrain, educational theories also need to be updated and adjusted to reflect contemporary research and new discoveries. For example, in the early 2000s, researchers were studying cognitive load theory, a model based on the premise that learners have a limited working memory capacity when dealing with new information.11 

연구자들은 인지부하를 줄이기 위해 고안된 교육방법이 초심자에게는 매우 효과적이었지만, 더 경험이 많은 학습자에게는 오히려 그 효능을 상실하고 심지어 학습에 부정적인 결과까지 가져온다는 것을 발견했다.12 전문지식 역전 효과expertise reversal effect로 알려진 이 생각은 교육에도 직접적인 영향을 끼쳤다.12학습자의 전문성 수준에 맞게 방법을 조정해야 한다.

The researchers found that instructional methods designed to reduce cognitive load were highly effective for novices, but often lost their efficacy, and even had negative consequences for learning, when employed with more experienced learners.12 This idea, known as the expertise reversal effect, has direct implications for instruction, as it suggests that methods should be tailored to the learner’s expertise level.

GME의 학습과 교육에 교육이론의 적용

Applying Educational Theory to Learning and Teaching in GME

GME와 관련된 학습 이론

Learning Theories Relevant to GME

사회적 인지 이론은 20세기 후반 행동주의의 한계와 행동주의가 자극에 대한 학습자의 반응에만 초점을 맞추는 것에 대응하여 개발되었다.2 사회적 인지 이론은 학습자가 자신의 신념, 목표, 태도 및 가치를 가진 능동적인 참여자(또는 대리자)라고 여긴다. 따라서, 학습자는 강사instructor의 적절한 지원을 받아 자신의 학습 과정을 계획하고, 감시하고, 성찰할 수 있어야 한다.15 

Social cognitive theory was developed in the second half of the 20th century in response to the limitations of behaviorism and its sole focus on learner responses to different stimuli.2 Social cognitive theory posits that learners are active participants (or agents) with their own beliefs, goals, attitudes, and values. Thus, learners, with appropriate support from instructors, should be able to plan, monitor, and reflect on their own learning processes.15 

예를 들어, 고품질의 환자 기록을 어떻게 써야하는지에 대해 고심하는 인턴은 자신의 병력청취에 능력을 향상시키기 위한 목표를 설정하고, 멘토와 함께 자신의 발전과정을 되돌아볼 기회를 제공받을 수 있다. 사회적 인지이론의 중심적 아이디어는 자기효능감으로서, 이것은 특정 분야에서 자신이 얼마나 능력있는지에 대한 학습자의 신념이다.16 긍정적인 자기효능감 신념은 학습 내용을 숙달하고 동료들의 성과를 관찰하는 능동적인 경험을 쌓으며 발전한다. 

For instance, an intern struggling with how to take a high-quality patient history could be offered opportunities to set goals for improving his or her history taking, and then reflect on his or her progress with a mentor. A central idea in social cognitive theory is self-efficacy, or a learner’s beliefs about how capable he or she can be in a certain area.16 Positive self-efficacy beliefs develop from active experiences mastering learning content and vicarious experiences observing peers’ achievements. 

따라서 임상의는 숙련도를 쌓기 위해 기술을 연습하고, 유사한 숙달 경험을 가진 동료를 관찰하는 과정에서 새로운 기술에 대한 자기효능감을 구축할 수 있다.

Thus, a clinician could build self-efficacy in a new skill with hands-on experiences practicing the skill to attain mastery and through observation of peers having a similar mastery experience.

상황학습이론은 능동적 참여에 뿌리를 둔 또 다른 이론이다. 그러나, 상황학습이론은 사회문화적 전통에서 출발했는데, 여기서 배움이란 사회적 관행과 맥락이 학습 자체와 얽혀 있는 것으로 본다.17 상황학습이론에서 학습은 "목표와 활동을 공유하는 개인의 집단"인 실천공동체에서 발생한다(예: 평가 연구에 관심 있는 임상의 집단이 실천공동체를 형성할 수 있다).

Situated learning theory is another theory rooted in active participation. However, situated learning theory emerges from sociocultural tradition, where social practices and contexts of learning are viewed as intertwined with the learning itself.17 In situated learning theory, learning happens in communities of practice—groups of individuals who share goals and activities (eg, a group of clinicians who are interested in assessment research might form a community of practice). 

실천공동체에 새로 들어온 학습자는 주변부에서 중심부로 이동하기 위해 공동체의 다른 사람들과 활발하고 열정적으로 참여해야 하는 초보자이다. 예를 들어, 2레지던트는 거주자는 의료 교육 연구 논문에서 주치의와 함께 작업할 수 있으며, 주치의는 이 논문의 나머지 초안을 작성한다. 이러한 공유된 실천을 통해 레지던트는 의학교육연구공동체의 중심부에 더 가까이 다가간다.

Learners new to a community of practice are viewed as novices who must actively and authentically engage with others in the community to move from the periphery to the center. For instance, a second-year resident might work with an attending on a medical education research paper, with the resident framing the introduction and the attending writing the rest of the paper’s first draft. Through this shared practice, the resident moves closer to the center of the medical education research community of practice.

GME에서 교육이론

Instructional Theory in GME

많은 교육적 이론은 많은 학습 이론들을 보완한다. 이것들은 특정 학습 이론에 기술된 원리에 근거하여 학습 환경을 구조화하는 방법에 대한 모델이다. 예를 들어, 인지 부하 이론에 대한 연구를 지시 설계를 위한 실용적인 모델로 변환하기 위해 4요소 교육설계(4C/ID) 모델을 명시적으로 만들었다. 일부 교사들이 초보 학습자를 단순하고 진정성없는inauthentic 않은 과제(예: 학습자에게 객관식 시험 제공)에만 참여시키려는 경향에 대한 반발로서, 4C/ID는 교수자가 보다 복잡하고 authentic한 과제에 학습자를 참여시키도록 권장한다.

Complementing the plethora of learning theories are a number of instructional theories. These are models for how to structure learning environments based on principles articulated in particular learning theories. For example, the 4-component instructional design (4C/ID) model was explicitly created to translate research on cognitive load theory into a practical model for designing instruction.19 Partly in reaction to teachers’ tendencies to engage novice learners exclusively in simple, inauthentic tasks (eg, giving learners a multiple-choice test), 4C/ID encourages instructors to engage learners in more complex and authentic tasks. 

레지던트들이 클리닉이나 병동 등에서 매일 authentic한 업무에 종사하는 GME에서는 이 아이디어가 완전히 새로운 것은 아니지만, 4C/ID는 교수에게 이러한 복잡성을 통해 학습자를 더 잘 지원하고 인지 과부하를 방지할 수 있는 전략을 제공한다. 예를 들어, 인턴은 필요할 때 감독자로부터 "적시에" 지원을 받아 복잡한 환자 기록을 가져가도록 요청받을 수 있다(예: 레지던트가 막혀있는 것 같으면 질환의 onset에 대해 물어볼 수 있는 단서를 제공한다). 

While this idea is not completely novel in GME, where residents engage daily in authentic tasks in clinics or inpatient units, 4C/ID provides instructors with strategies to better support learners through this complexity and prevent cognitive overload. For example, an intern might be asked to take a complex patient history, with ‘‘just-in-time’’ support from a supervisor when needed (eg, offering a cue to ask about the onset of illness if the resident seems stuck). 

더 오래되었지만 여전히 관련 있는 교육 이론은 Gagne의 9가지 교육 사건이다.14 이 모델은 교사들에게 다른 종류의 결과(예: 지식 합성과 같은 인지 결과 또는 봉합과 같은 운동 결과)를 지원하기 위한 학습 조건을 만들기 위한 구체적인 구조를 제공한다. 기억과 지식의 보유에 대한 인지 처리 이론과 동기에 대한 사회적 인지 아이디어를 사용하여, 9가지 '사건 시퀀스'는 강사가 지원 학습 환경을 조성하도록 가이드해준다. 

An older but still relevant instructional theory is Gagn´e’s 9 events of instruction.14 This model gives teachers a concrete structure for creating learning conditions to support different kinds of outcomes (eg, a cognitive outcome like knowledge synthesis or a motor outcome like suturing). Using cognitive processing theories of memory and knowledge retention, and social cognitive ideas about motivation, the 9 distinct sequenced ‘‘events’’ guide instructors in creating supportive learning environments. 

이러한 원칙은 처음에는 교실 학습을 위해 개발되었지만, GME 맥락에서 귀중한 지침을 제공할 수 있다. 명확한 학습 목표를 제공하고 새로운 개념과 현존하는 지식 사이에 명시적인 연결을 만드는 것은 대부분의 교육적 맥락에서 학습을 개선할 수 있는 유용한 관행이다.14

While these principles were initially developed for classroom learning, they can offer valuable guidance in GME contexts. Providing clear learning objectives and making explicit connections between new concepts and existing knowledge are helpful practices that can improve learning in most educational contexts.14

요약

Summary

좋은 이론만큼 실용적인 것이 없는 시대다.

It is during those times that there is nothing as practical as a good theory.1

J Grad Med Educ. 2018 Dec;10(6):609-613. doi: 10.4300/JGME-D-18-00825.1.

The Practical Value of Educational Theory for Learning and Teaching in Graduate Medical Education.

문턱개념이란 무엇이고, 의학교육에 어떻게 활용될 수 있는가? (Med Teach, 2016)

What are threshold concepts and how can they inform medical education?

HILARY NEVE1, ANDY WEARN2 & TRACEY COLLETT1

1Plymouth University Peninsula Schools of Medicine and Dentistry, UK, 2The University of Auckland, New Zealand

배경

Background

성찰적 실천은 일종의 문턱개념으로 확인되었다(Joyce 2012). 고등교육에 대한 광범위한 연구 후 마이어와 랜드(2003)에 의해 처음으로 기술된 문턱개념은 다양하고 다양한 분야의 교육자들에 의해 수용되어, 점차 연구가 증가하게 되었다. 의학 교육에서는 거의 논의되지 않지만, 문턱개념은 의학교육자들에게 중요한 새로운 관점을 제공할 수 있는 잠재력을 가지고 있다.

Reflective practice has been identified as a likely threshold concept (Joyce 2012). First described by Meyer and Land (2003) following extensive research into higher education, threshold concepts have been embraced by educators in many and diverse disciplines, leading to a growing body of research. While rarely discussed in medical education, they have the potential to offer medical educators important new perspectives.

목적

Aims

문턱개념이란 무엇인가?

What is a threshold concept?

배움이란 핵심 개념의 블록을 형성하는 관점으로 볼 수 있으며, 종종 학습 성과로 요약된다. 핵심 개념은 학습을 위해 이해가 필요한 것으로서, 올바르게 구성되어야 한다.

Learning is often thought of in terms of building blocks of core concepts, which are often encapsulated in our learning outcomes. Core concepts have to be understood for learning to progress and must be correctly constructed.

문턱개념은 훨씬 더 많은 것을 할 수 있다. 그것들은 주제에 대해 질적으로 다른 관점을 야기하며, 주제의 숙달 [sic]을 이루는 것이다. 중요하게도, 문턱개념은 일종의 포털과 같은 것으로 묘사되어 왔다: "어떤 것에 대해 이전에 접근하기 어려웠던 새로운 사고 방식을 열어준다."

Threshold concepts, it is proposed, do much more. They lead to a qualitatively different view of subject matter and are central to achieving mastery [sic] of a subject. Importantly, they have been described as being like a portal: ‘‘opening up a new and previously inaccessible way of thinking about something’’ (Meyer & Land 2003).

Meyer and Land(2003)에 따르면, 문턱개념은 변혁적이다. 즉, 일단 이해되면 주제에 대한 학습자의 인식이나 그들이 세상을 보는 방법에 상당한 변화를 가져올 수 있다. 이전에 숨겨져 있던 연결이 시야에 들어오기 때문에 통합적이다(통합은 학습자를 위한 '아하!' 순간과 종종 연관된다). 더욱이 학생들이 포털을 향해 여행할 때, 말 그대로 문턱에 서 있는(라틴어로 문턱을 뜻하는 limina) 문턱 단계liminal phase(Cousin 2006)를 통과한다고 한다. 학생들이 인지적으로 또는 감정적으로 그들의 떠오르는 지식과 씨름하기 때문에 이 절박함은 종종 쉽지 않은troublesome 일이다. 일단 새로운 이해를 습득하게 되면, 습득 전으로 되돌릴 수 없으며, 잊혀지지 않는다. 각 문턱개념은 다른 개념 영역(Meyer & Land 2003)과 구분되어 제한된다bounded, demarcated.

According to Meyer and Land (2003), threshold concepts are transformative, in that once understood, they can result in a significant shift in a learner’ perception of a subject or how they see the world. They are integrative inasmuch as connections that were previously hidden come into view (integration is often associated with an ‘‘Aha!’’ moment for learners). Moreover, as students journey towards the portal, they are said to pass through a liminal phase, (Cousin 2006), literally standing on the threshold (limina meaning threshold in Latin). This liminality is frequently troublesome (Perkins 2006) as students wrestle cognitively and/or emotionally with their emerging knowledge. New understandings, once learned, are usually irreversible and unlikely to be forgotten. It is noted that each threshold concept is bounded, demarcated from other conceptual areas (Meyer & Land 2003).

첫 번째 문턱 개념 중 일부는 과학 과목에서 확인되었다. 예를 들어, 물리학의 중력(Meyer &Land 2003)과 생물학의 진화(Ross et al. 2010)와 같은 것이다.

Some of the first threshold concepts were identified in science subjects. For example, gravity in physics (Meyer &Land 2003) and evolution in biology (Ross et al. 2010)

의학교육에서 문턱개념

Threshold concepts in medicine

의학 교육자'는 그 자체가 교수학습과 관련된 문턱개념들과 씨름해야 할지도 모른다. 서비스 사용자의 목소리를 표현하고 평가하는 것(Kirwan 2014), 학습에 대한 학생 참여 유지(Noonan 2012), 사고 과정이 정답보다 더 중요하다는 것(Mills & Wilson 2014)등이 다른 분야에서 문턱개념으로 제안되었다. 외과적 훈련의 맥락에서, Kneebone(2009)은 시뮬레이션을 통해 임계 개념을 배우는 데 진정성authenticity이 중요하다고 제안했다.

Medical educators’ may themselves have to grapple with threshold concepts related to teaching and learning. Representing and valuing the voice of service users (Kirwan 2014), sustaining student engagement in learning (Noonan 2012) and thinking processes are more important than correct answers (Mills & Wilson 2014) have been proposed as threshold concepts for teachers in other disciplines. In the context of surgical training, Kneebone (2009) has suggested authenticity is important for learning threshold concepts through simulation.

문턱개념이 교육자와 학습자에게 어떻게 도움이 되는가?

How might threshold concepts assist medical educators – and learners?

문턱개념을 확인함으로써, 우리는 변혁적이고 개념적으로 어려운 아이디어들을 중심으로 학생들의 학습을 더 집중하고 구조화 할 수 있다. 예를 들어, 항상성도 하나의 문턱개념(Meek & Jamieson 2012)이며, 항상성을 가르치고 배우는 것은 어려운 일일 가능성이 있다. 항상성이라는 개념을 이해하기 위해서 교사들은 학생들이 이 개념에 대해서 thinking with 하게 만들어야 한다. thinking about만으로는 부족한다. 어떻게 학생들로 하여금 생리학, 생화학, 항상성이 깨짐으로서 생기는 여러 임상질환을 이해하게 할 것인가?

By identifying threshold concepts, we can better focus and structure student learning around these transformative and conceptually difficult ideas. For example, homoeostasis has been identified as a threshold concept (Meek & Jamieson 2012) and is likely to be problematic to teach and learn. Unless adequate time is provided and unless teachers engage students in thinking with, rather than about, the concept, how will students properly comprehend subjects, such as physiology, biochemistry or the many clinical disorders, that are underpinned by disrupted homoeostasis?

교사들은 학습자들이 새롭고 중요한 개념을 이해하는데 시간을 들일 수 있다는 것을 이해할 필요가 있다. 학습자가 문턱단계liminal phase에 있는 동안 "오래된old 이해와 창발적emergent 이해 사이를 오갈 수 있다"(Cousin 2006). 이 단계에서 학생들이 평가를 통과하더라도 부분적으로만 이해했을 수 있다.

Teachers need to understand that learners, can take time to get to grips with new and important concepts. While in the liminal phase, learners ‘‘may oscillate between old and emergent understandings’’ (Cousin 2006). In this stage, students may pass assessments, while only having a partial understanding of a subject.

문턱개념은 또한 우리가 전문직 정체성 형성 중에 마주친 역할의 혼동을 이해하는 데 도움을 줄 수 있다. 예를 들어, 학생들은 종종 불확실성을 감수하는 것에 대해 걱정을 표현하고, 불확실성이 임상에 필수적이라는 것을 받아들이기 위해 분투한다. 불확실성은 의학을 포함한 많은 분야에서 문턱개념으로 확인되었다(Collett et al. 언론에서).

Threshold concepts may also help us understand some of the role confusion encountered during professional identity formation. For example, students often express anxiety about working with uncertainty and struggle to accept that this is integral to clinical practice. Uncertainty has been identified as a threshold concept in many disciplines, including medicine (Collett et al. In press).

여러 학문을 해독함으로써 교사들은 학생들이 어려운 개념을 이해할 때 발생하는 중요한 병목현상을 식별하고 이를 명시적인 단계로 세분하는 데 도움을 줄 수 있다. 이러한 병목현상은 때때로 교사 자신의 가정과 암묵적인 지식과 관련이 있다: 전문가로서 교사들에게 어떤 개념은 스스로는 그 존재조차 알지 못할 정도로 자연스럽고 명백하기 때문에 간과할 수 있다. 성찰적실천도 그러한 예 중 하나이다. 그것은 경험이 풍부한 실무자들에게는 암묵적인 과정일 수 있지만, 학습자에겐 그 성격과 학습에서의 그것의 역할이 분명하지 않을 수 있다(Mann 등). 2009).

The process of decoding the disciplines (Middendorf & Pace 2004) can help teachers identify crucial bottlenecks in student understanding of troublesome concepts and break these down into explicit steps. These bottlenecks sometimes relate to teachers’ own assumptions and tacit knowledge: expert teachers may skip over steps that have become so innate and obvious that they are unaware of their existence. Reflective practice is one such example; it may be a tacit process for experienced practitioners, but its nature and its role in learning may not be apparent to learners (Mann et al. 2009).

결론

Conclusions

문턱개념이라는 프레임워크는 교육에 대한 우리의 전통적인 생각들에 대해 의문을 제기해야 한다. 예를 들어, 각 학습자가 transformation되는 과정이 복잡하고 다양하다는 사실은 선형적 학습모델에 도전한다(Land et al. 2005).

The threshold concept framework challenges us to question some of our traditional ideas about education. For example, the complexity and variation in each learner’s transformation (multiple attempts at understanding, experimentation and reflection on integration) challenges the linear learning outcome model (Land et al. 2005)

어쩌면 문턱개념 자체가 문턱개념일 수 있다! 경험에 따르면 이론을 이해하는 것은 그 자체로 귀찮을 수 있다는 것이다: 문턱개념의 개념은 처음에는 추상적이고 이해하기 어려워 보일 수 있다. 그러나 그것은 우리가 우리의 교육적인 일을 보고 실천하는 방식을 변화시킬 것이다.

It may be that threshold concepts are themselves a threshold concept! Our own experience is that getting to grips with the theory can be troublesome: the notion of threshold concepts can initially seem abstract and hard to understand. Yet it has transformed the way we see and practice our educational work.

What are threshold concepts and how can they inform medical education?

의과대학 신입생들에게 해주고 싶은 말(BMJ, 2003)

Thoughts for new medical students at a new medical school

Richard Smith

올해 초 나는 새로운 의과대학인 헐 요크 의과대학에서 새로운 의과대학 학생들과 대화할 수 있는 특권을 누렸다. 뭐라고 말해야 할까요? 나는 거의 기절할 것 같았다. 비록 내가 한 말의 대부분이, 고맙게도, 또 다른 "꼰대"의 횡설수설처럼 잊혀지거나 무시될 것이라는 것을 알고 있었지만, 그것은 중요한 책임으로 보였다.

Earlier this year I had the privilege of speaking to new medical students at a new medical school—the Hull York Medical School. What should I say? I felt almost overawed. It seemed a major responsibility, although I knew that most of what I said would—thankfully—be for-gotten or ignored as the ramblings of yet another “old fart.”

"자신에게 진실하라"

“To thine own self be true”

아마도 영어권 젊은이들에게 가장 유명한 충고는 셰익스피어의 햄릿(3번 상자)에서 떠나는 아들 라에르테스에게 보내는 지겨운 늙은 바람개비 폴로니우스의 연설일 것이다. 그 연설에는 많은 훌륭한 조언이 담겨 있지만, 아마도 가장 중요한 것은 "자신에게 진실하라"는 것이다. 모든 사람들, 특히 의대생들은 다른 사람이 되어야 한다는 압박감을 경험한다. 경쟁적인 의학계에서는 "최고"가 되려고 하는 경향이 강하다. 그러나 산수만 해봐도 모든 사람이 최고가 될 수는 없다: 최고는 오직 한 명일 뿐이다.

Perhaps the most famous advice to young people in the English language is the speech of Polonius—a tiresome old windbag—to his departing son Laertes in Shakespeare’s Hamlet (box 3). The speech contains much excellent advice, but perhaps the quintessence is, “To thine own self be true.” Everybody—but perhaps especially medical students—experiences pressure to be somebody else. In the competitive world of medicine there is strong tendency to try to be “the best.” But the simplest mathematics shows that everybody cannot be the best: there is only one best.

의사가 빠져있는 저주 중 하나는 강한 고정관념이다. 의사들은 정직한 사람, 믿음직한 사람, 영리한 사람, 편협한 사람, 보수주의자, 권위주의자, 억제된 사람, 부자, 우파, 그리고 종종 dull하다고 여겨진다. 많은 의사들은 이러한 것들이 아니지만, 의대생으로서 여러분은 고정관념에 순응해야 한다는 압박감을 느낄 수도 있다. 그러지 말라. 평생 네가 아닌 다른 사람이 되려고 노력하면 널 파괴할 것이다.

One of the curses of doctors is that they have such strong stereotypes. Doctors are upstanding, trust-worthy, clever, straitlaced, conservative, authoritarian, inhibited, wealthy, right wing, and—often—dull. Many doctors are none of these things, but as a medical student you may feel a pressure to conform to the stereotype. Don’t. A lifetime spent trying to be something you are not will destroy you.

나는 이것을 의사와 환자 사이의 "가짜 계약"이라고 부른다. 나는 이것이 의사들의 불행과 환자들의 유아화infantilization의 원인이라고 믿는다.1 나는 "인생은 고달프다, 그러나 우리는 해결책이 거의 없다"라는 스토익 철학을 선호한다.

I’ve called this the “bogus contract” between doctors and patients, and I believe that it’s a cause of the unhappiness of doctors and the infantilisation of patients.1 I favour a stoical philosophy of “life is tough, we have few if any solutions”

가장 중요한 세 단어

The three most important words

공중 보건 의사인 데이비드 펜천은 새로운 의대생들과 게임을 한다. 그는 학생들에게 점점 어려워지는 문제에 대해 질문한다. 결국, 시간이 지나면, 한 학생이 이렇게 말할 것이다. "저도 잘 모르겠습니다" 그런 다음 펜천은 학생들에게 지혜의 상자를 주며 학생들에게 이 단어들이 의학 교육에서 가장 중요한 세 단어라고 말한다.

David Pencheon, a public health doctor, plays a game with new medical students. He asks them questions of increasing difficulty. Eventually—and it may take a while—a student will say: “I don’t know.” Pencheon then gives the student a box of Smarties and tells the students that these are the three most important words in medical education.

T S 엘리엇도 똑같이 생각하여 모르는 것에 도달하기 위해서는 '무지의 길'을 가야 한다고 했다. 무지함은 행복하지 않을지 모르지만, 모든 학문의 시작이다.

T S Eliot thought the same, saying that in order to arrive at what you do not know, you must go by a way which is the “way of ignorance.” Ignorance may not be bliss, but it is the beginning of all learning.

옛날에는, 무엇을 알아야 하는지를 아는 것이 배움이었다. 그러나 이제 배움이란 것은 무엇을 모르는지를 아는 것이다. 그리고 모른다는 것에 대해 기분나쁘게 느끼지 않으며, 어떻게 알아내는지를 아는 것이다. 불확실성은 한때 사람을 기죽게 했고, 무지는 피하고 싶은 것이었지만, 이제, 불확실성은 정당한 것이고 의심은 장려된다.

The old way of learning, says Pencheon, was knowing what you should know. Now the way of learning is knowing what you don’t know, not feeling bad about it, and knowing how to find out. Uncertainty was discouraged and ignorance avoided. Now, uncertainty is legitimised and questioning encouraged.

"어리석은 질문은 없다."

“there is no question too stupid to ask.”

나는 또 다른 공중 보건 의사인 내 친구 뮤어 그레이로부터 "매 주 한 번씩 자신이 하는 일을 의심하지 않는다면 아마도 잘못된 일을 하고 있는 것이다."라고 배웠다.

I also learnt from my friend Muir Gray, another public health doctor, that “If you don’t doubt what you are doing once a week you’re probably doing the wrong thing.”

의사들도 자신의 무지를 환자와 공유해야 하지 않을까? 나는 의사는 그렇게 해야 한다고 믿는다. 환자와 불확실성을 공유하는 것이 잘못되고 자만하는 것처럼 보일 수도 있지만, 그렇게 하지 않은 결과는 그릇된 확신이다. 그리고 그릇된 확신은 다른 말로 "거짓말"이다.

세상은 바뀔 것이지만 어떤 것들은 변하지 않을 것이다.

The world will change but some things must not change

전 왕립의학대학 총장인 턴버그 경은 몇 년 전 다음과 같이 예측했다: "의료는 지난 2000년 보다 앞으로 20년 안에 더 많이 변할 것이다."

Lord Turnberg, a former president of the Royal College of Physicians, predicted some years back: “Medicine will change more in the next 20 years than it has in the past 2000.”

요점은 의대생들은 지금과는 완전히 다른 세계에서 의료를 하겠지만, 그 세계가 어떻게 보일지 지금으로서는 알 수 없다는 것이다. 따라서 학생들은 변화할 의지가 있어야 하겠지만, 의학이 의미를 가지려면, 분명한 가치와 배움에 대한 열정과 같은 어떤 것들은 지켜져야만 한다.

The point is that medical students are likely to find themselves practising in worlds very different from now, but it’s hard to see what that world will look like. Students must thus be willing to adapt, but some things—like a clear set of values and an enthusiasm for learning—must be kept if medicine is to mean anything (box 6).

환자를 우선 배치하고, 환자의 말을 듣고, 파트너로서 함께 일하라.

Put patients first, listen to them, and work with them as partners

모든 의사들과 의료시스템은 환자들을 우선시한다고 주장하지만, 근거에 따르면 환자들은 종종 그렇게 느끼지 않는다. 환자들은 자신이 사람보다는 사례처럼 대접받는다고 느끼며, 환자에게 중요한 것은 의사들이 중요시하는 것과는 종종 다르다.

All doctors and health systems purport to put patients first, but ample evidence shows that it often doesn’t feel that way to patients. They regularly feel like cases rather than people, and what is important to patients is often different from what is important to doctors.

BMJ의 환자 편집장이자 파킨슨병협회의 전 대표인 메리 베이커는 이렇게 말한다. "의사가 파킨슨병에 대해 관심을 갖는 것은 대부분 목 위에 있는 것으로, SN와 관련이 있다. 그런데 환자들이 관심을 갖는 것은 대부분 허리 아래에 있다: 내가 내 바지를 입을 수 있을까? 내 소변은 괜찮을까?" 이러한 시각의 차이를 가질 것으로 기대되곤 하지만, 최고의 의사란 환자가 보는 대로 세상을 볼 수 있는 사람들이다.

Mary Baker, the patient editor of the BMJ and former chief executive of the Parkinson’s Disease Association, puts it like this: “For doctors Parkinson’s disease is mostly above the neck, something to do with the substantia nigra. For patients it’s mostly below the waist: Can I get my knickers on? Will I be continent?” This difference of view is to be expected, but the best doctors are those who can begin to see the world as the patient sees it.

그러한 상태는 주로 능동적인 청취에 의해 달성된다. 그것은 "환자에게 귀 기울이면 진단은 저절로 따라올 것이다"이라는 의학의 격언이 있다. 그러나 그 격언은 종종 무시된다. 비슷하게, 임상적 의사결정은 환자를 위해서가 아니라 환자와 함께 내려져야 한다. 그러나 다시 말하지만 이것은 대부분의 나라에서 일상적으로 이뤄지지 않는다.

Such a state is achieved mostly by active listening. It’s one of the maxims of medicine that “listen to the patient and he or she will tell you the diagnosis.” But the maxim is often ignored. Similarly the fashion is to take decisions with the patient, not for the patient, but again this is not the reality of everyday practice in most countries.

무결성이 목적지가 아닌 상태state임을 인식

Recognise that integrity is a destination not a state

나는 integrity란 사람이 가지고 있는 것이며 부정한 조치를 취하지 않는 한 계속 가지고 있는 것이라고 생각했다. 이제 나는 매일 우리에게 우리의 진실성을 감소시키는 행동을 취하는 것이 가장 쉬운 선택들이 제시된다는 것을 인식한다.

I thought that integrity was something you had and continued to have unless you took a dishonest step. Now I recognise that every day we are presented with choices where it may be easiest to take an action that diminishes our integrity.

내 메시지는 청렴성이 항상 우선되어야 한다는 것(아마도 그렇게 해야 할 것임에도 불구하고)이고, 우리가 정직해지기 위해 끊임없이 투쟁해야 할 필요성을 인식해야 한다는 것이다.

My message is less that integrity must always come first (although perhaps it should) and more that we should recognise our need to struggle constantly to be honest.

마지막 생각: 기도와 배움의 중요성에 대한 말

Final thoughts: a prayer and a word on the importance of learning

나의 마지막 충고는 지혜를 쫓는 것뿐만 아니라 궁극적인 결실이 될지도 모르기 때문에 배움의 가치를 결코 잊지 말라는 것이다. 작가 T H 화이트는 7번 박스에서 아름답게 표현하고 있으며, 나는 그의 말을 반복하는 것에 대해 사과하지 않는다: "배움은 마음이 결코 지칠 수 없고, 결코 소외되지 않으며, 결코 고문을 당하지 않으며, 두려움이나 불신도 하지 않으며, 후회할 꿈도 꾸지 않는 유일한 것이다."

My final advice is never to forget the value of learning not only for chasing after wisdom but also because it may be the ultimate balm. The author T H White expresses it beautifully in box 7, and I make no apologies for repeating his words: learning “is the only thing which the mind can never exhaust, never alienate, never be tortured by, never fear or distrust, and never dream of regretting.”

BMJ. 2003 Dec 20;327(7429):1430-3.

Thoughts for new medical students at a new medical school.

학습의 정의 확장: 개인에서 사회에서 시스템으로 (Med Educ, 2019)

Expanding the definition of learning: from self to social to system

Douglas P Larsen

연구자들과 교육자들은 단순히 더 나은 교육보다는 효과적인 학습에 더 초점을 맞춘다.

researchers and educators focus more on effective learning rather than simply better teaching.

이런 것들이 발달했다.

문제 기반 학습,

팀 기반 학습,

검색 관행에 기반한 도구

경험 기반 임상 교육

마스터 학습자 등의 개념

자기조절학습(SRL)

problem-based learning,

team-based learning,

Tools based on retrieval practice

experience-based clinical education

Concepts such as the master learner

self-regulated learning (SRL)

규제 기관은 평생 학습을 촉진하기 위해 의과대학에 대한 인증 기준을 만들 때, 이러한 개인 중심적 사이클을 명문화하고, 의사들을 위해서 MOC 유지를 요구한다. 7,8 개개인의 SRL 스킬을 향상시키기 위하여 [학습 목표 및 개별화된 학습 계획 수립]과 같은 교육 개입은 이제 흔한 것이 되었다. 그러나, 학습과 학습자에게 초점을 맞추는 것이 항상 기대했던 대로 되는 것은 아니다.

Regulatory bodies codify the elements of this individual- centred cycle in accreditation standards for medical schools and maintenance of certification requirements for practising physicians as they attempt to promote lifelong learning.7,8 Education interventions such as learning goals and individualised learning plans, aimed at individual SRL skill development, have become common. However, this focus on learning and learners does not always play out as anticipated.

직장에서의 학습은 종종 단순히 한 명 학습자의 인지 과정 내가 아니라 [감독자와 연습생 사이의 상호작용]을 통해 발생한다.

learning in the workplace often occurs through the interactions between supervisors and trainees rather than simply within the cognitive processes of the learner.

관계적 주체성은 개개인이 자기행동의 목표를 공동-창조하기 위해 서로의 자원을 끌어모을 때 발생한다.14

relational agency occurs as individuals draw on the resources of each other to co-create the object of their actions.14

한 연구는 '직장에서의 학습은 의사소통적 관행에 있다'는 것을 보여주었다.

The present study adds to a growing body of research demonstrating that ‘learning resides in the communicative practices of workplaces’,

실제로, 몇몇 조사에서는 임상실습 학생 학습 목표이든 전공의의 개별화된 학습 계획이든, 표면적으로는 SRL을 위한 교육 개입으로 보이는 것들이 성공적으로 실행되기 위해서는 협력적인 대화가 필수적이라는 것을 발견했다.16–18 Berkhout 외 연구진 19에 따르면 직장에서의 학습경험이 늘어날수록, 학습자가 SRL을 추구할 때 점점 감독자와 더 협력적인 모습을 보였다.

Indeed, several investigations have found collaborative dialogue to be essential for successful implementation of ostensibly SRL educational interventions whether they be clerkship student learning goals or resident individualised learning plans.16–18 Berkhout et al.19 showed that as learners became more experienced in workplace learning, their pursuit of SRL became increasingly collaborative with supervisors.

수술실의 위계가 어떻게 포함적 또는 배제적 어포던스를 만들어 내는가? Nieboer 등은 수술실에서 레지던트들은 적극적인 참여를 통해서 임상적 의사결정 논의를 시작할initiate하도록 empower해준다는 것을 발견했지만, 이와 달리 외과 임상실습 학생에 대한 연구에서 따르면, 임상실습학생들은 학습 목표에 대한 대화를 시작할 책임은 감독관에게 있다고 생각하며, 종종 감독관들은 이에 대한 관심을 표명하지 않았다고 하였다.

How does the hierarchy of the operating room produce affordances that both include and exclude? Nieboer et al. found that residents’ active participation in the work of the operating room easily empowered them to initiate discussions around their decisions, but another study of medical students on a surgical clerkship found that students often perceived supervisors as responsible for initiating conversations about their learning goals and that supervisors often did not express an interest.21

단순히 [개별 학습 프로세스]에서 [학습을 위한 사회적 상호 작용]을 강조하는 것에는 그 이상의 무언가가 존재한다. 오히려, 우리는 실천과 관련된 전체 체계entire system of practice를 고려해야 한다.22: 사람, 공간, 계층, 사회적 규범, 노동의 분할, 공식적인 규칙과 규정, 기술, 담론 등. 이 모든 것이 상호작용하여 학습을 이루기 때문이다.

additional opportunities exist beyond simply shifting from individual learning processes to an emphasis on social interactions for learning. Rather, we must consider the entire system of practice: people, spaces, hierarchies, social norms, divisions of labour, formal rules and regulations, technologies, as well as discourses, which all interact to create learning.22

문화-역사 활동 이론(CHAT), 배우-네트워크 이론(ANT), 복잡성 이론, 시스템 엔지니어링과 같은 프레임워크는 [학습을 이끄는 연결과 상호작용]을 인식, 분석, 최적화할 수 있는 렌즈를 제공한다.22,25 이 렌즈를 통해 본다면, 학습 시스템은 [참가자와 개별 요소가 어떻게 변화하는지] 뿐만 아니라 [시스템 자체가 어떻게 변화하는지]를 보여준다. 이러한 시스템 자체의 변화 과정은 확장적 학습expansive learning이라고 일컬어 왔다.

Frameworks such as cultural-historical activity theory (CHAT), actor-network theory (ANT), complexity theory and systems engineering, among others, provide lenses to recognise, analyse and optimise the connections and interactions that lead to learning.22,25 When seen through these lenses, a learning system describes not only how the participants and elements change but also how the system itself changes.22,25 This process of system change has been referred to as expansive learning.28

시스템 관점에서 학습을 보는 것은 중요하다. 시험이나 역량으로 측정되는 [사실이나 기술의 축적]과 같은 말로는 설명은 학습을 적절히 설명해주지 않는다. 그보다, 학습이란 것은 [시스템을 구성하는 모든 요소들의 상호 작용으로부터 나타나는 실천의 변화]이며, 왜냐하면 시스템 그 자체가 그러한 실천의 변화로부터 변화하기 때문이다.

To see learning from a systems perspective has significant consequences. Learning can no longer be adequately described as the accumulation of facts or skills measured on tests or through competencies. Rather, learning will be seen as changes in practice that emerge from the interplay of all of the elements of a system as the system itself changes from those practices.

교육자들은 학습자가 실천 시스템systems of practice에 온전히 참여할 수 있도록 교육과정을 설계해야 하며, 학습자가 참여를 통해서 자기자신과 자신의 실천이 어떻게 변화되는지 인식하도록 도와주어야 한다.

Educators will design curricula that enable full participation by trainees in the systems of practice and help learners to recognise how they and their practices are changed by that participation.

• 교수들은 (더 이상 자신을 콘텐츠 제공자가 아니라) 실천의 공동창출 과정에서 스스로도 변화하는 시스템의 참여자로 인식해야 할 것이다.

Faculty members will not see themselves as content deliverers but as participants that are also changed through the co- creation of practice.

• 환자들은 교육과 헬스케어 관행 양쪽의 공동 창조자co-creator가 될 것이다.

Patients will be co-creators of both educational and health care practices.

• 규제기관은 [학습과 역량의 정의]를 확장하여 [실천의 복잡성을 인정하는 디자인 기준]을 포함할 것이다.

Regulatory bodies will expand their definitions of learning and competence and design standards that account for the complexities of practice.

• 연구자들은 시스템의 요소들 사이의 복잡한 관계를 풀기 위해 더 미묘한 질문을 할 것이다.

Researchers will ask more nuanced questions to untangle the complex relationships between elements of systems.

Expanding the definition of learning: from self to social to system.

학습이론과 교육개입: 층화분석을 통한 의미있는 영향력근거 만들기(Acad Med, 2019)

Learning Theory and Educational Intervention: Producing Meaningful Evidence of Impact Through Layered Analysis

Anna T. Cianciolo, PhD, and Glenn Regehr, PhD

최근 수십 년 동안, 의학교육의 혁신은 증가해 왔다.

In recent decades, innovations in medical education have multiplied,

그러나 혁신을 구현하는 것은 어렵다. 잘 확립된 방법에 기초한 혁신도 [필요한 조직 변경의 범위 때문에] 예상대로 구현되거나 시간이 경과함에 따라 지속되지 않을 수 있다.7

Implementing innovations, however, is difficult; Even innovations based on well-established methods may not be implemented as expected, or sustained over time, because of the extent of organizational change needed.7

"효과가 있었는가?"에 대한 평가연구는 의학 교육 저널에서 가장 많이 인용되는 연구결과들 중 하나이다.11 그러나, 바람직한 결과를 입증하는 것조차 쉽지는 않다. 체계적인 검토와 메타 분석은 일반적으로 학업 성과의 큰 차이를 보여주지 않는다.10 또한 혁신의 긍정적인 효과가 피상적이고 과도하며, 12 또는 심지어 잠재적으로 오해의 소지가 있다고 보고되는 것도 드문 일이 아니다.13,14 

“Did it work?” evaluations are among the most cited publications in medical education journals.11 However, demonstrating desired outcomes also is difficult. systematic reviews and meta-analyses commonly show no significant difference in academic performance.10 In addition, it is not uncommon for the positive reported effects of innovations to be superficial and transient,12 or even potentially misleading.13,14 

의료 교육 커리큘럼 실험에서 세 가지 광범위한 비평이 있다.

• 하나는 무원칙한 실험 설계와 실행이다.15 

• 또 다른 하나는 지배적인 인지, 사회, 기술 또는 기타 학습 조건에 대한 부적절한 설명이다. 이 경우에 학습자가 달라지면 근본적으로 다른 경험을 할 수 있고 따라서 일관되지 않은 결과를 얻을 수 있다.10

Three broad critiques have been leveled at curricular experiments in medical education. 

• One is the use of unprincipled experimental design and conduct.15 

• Another is inadequate description of the prevailing cognitive, social, technological, or other learning conditions,12,15 which could produce fundamentally different experiences for different learners and therefore inconsistent results.10

아마도 비판 중 가장 많은 것은, 어떤 혁신이 교육적으로 작동해야만하는 개념적 기전에 대한 설명이 취약하다는 것이다. 이렇게 이론적 틀의 없을 경우, 인터벤션을 설계하고 시험하고 성과 척도를 선택하는 능력을 제한한다.12–14

Perhaps the broadest of these critiques is weak articulation of the conceptual mechanisms by which an innovation should work educationally. This lack of theoretical framing limits our ability to design and test interventions and to select outcome measures.12–14

이러한 비평은 [커리큘럼 실험]이 미래의 설계와 평가에 더 도움이 되려면, [주어진 맥락에서의 학습에 대한 이해를 심화시키기 위해 더 많은 것을 해야 한다]는 것을 의미한다.9 다른 식으로 말하자면, 일관성 있고 의미 있는 영향의 증거를 얻으려면, "그것이 작동했다"는 결론을 내리기 전에 "그것"이 무엇인지에 대한 면밀한 조사가 있어야 한다.

These critiques imply that curricular experiments must do more to deepen understanding of learning in context so that they can better inform future design and evaluation.9 Put another way, to produce coherent, meaningful evidence of impact, conclusions that “it worked” should not precede scrutiny of what “it” was.

"의도적인 개입은 무엇인가?", "실제로 그런 개입이 있긴 했는가?"

“What is the intended intervention?” and “Did that intervention, in fact, occur?”

개입의 층위

Layers of Intervention

"의도한 개입이란 무엇인가?"라는 질문은 개입이 정체성을 갖는다고 본다. 개입이란 것은 [변형에도 불구하고 자신의 본질을 유지하는 분류 가능한 실체]다. 개입의 본질은 개입의 기저에 깔린 교육 철학이다: 이 교육철학은 서로 다른 교육 철학을 바탕으로 한 다양한 개입을 구별해주는 개념적 학습 조건이다.

The question “What is the intended intervention?” involves seeing an intervention as having an identity; it is a classifiable entity that retains its essence despite being adapted.16 This essence is the intervention’s underlying educational philosophy: the conceptual learning conditions that distinguish the intervention from those based on different educational philosophies.17

바르피오와 동료들은 "테크닉이나 원칙이 새로운 맥락으로 변형될 때, 변화에도 불구하고 여전히 그 혁신의 철학을 지지하는지를 분석하는 것이 중요하다"고 지적했다. 그들의 훈계는 '정체성'을 교육 혁신의 핵심 관심사로 만든다; 정체성이 핵심이 된다는 것은 [개념적 학습 조건의 유지]를 우선시하고, [개념적 학습 조건을 보존하기 위해 원칙과 기법의 공들인 적응]을 요구한다.

Varpio and colleagues17(p365) noted, “When techniques and/or principles are modified to a new context, it is important to analyze if the modifications still uphold the innovation’s philosophy.” Their admonition makes identity a core concern in educational innovation; it prioritizes the maintenance of conceptual learning conditions and calls for conscientious adaptation of principles and techniques in order to preserve them.

교육 실험의 관점에서 보면, "적절하게 스케일링되지 않으면, 개입은 완전히 다른 것이 될 수 있다. 잘못 된 개입은 이론이 주어진 규모에서 작동하는지 여부에 대한 검증이 아니라, 그냥 처리되어야 할 워크시트나, 통과해야만 하는 수업'에 그칠 수 있다."18(p23). 즉, "적절하게 스케일링되지 않으면", 개입은 그 본질을 잃고, 혁신가는 개입의 표면적 특성만 집행하게 되어서, 당초에 촉진하려던 개념적 학습 조건은 무시하게 된다.

Put in terms of educational experimentation, “if scaled improperly … interventions could become something different entirely—not a test of whether the theory works at scale, but a worksheet to be handed out or a lesson to ‘get through.’”18(p23) That is, when “scaled improperly,” an intervention’s essence is lost; the innovator has focused on the implementation of surface-level characteristics without attending to the conceptual learning conditions they were designed to foster.16

"실행implementation"이란 특정한 교육적 개입의 기능에 영향을 미치는 복잡한 요인 집합으로 구성된다.12,16 예를 들어, 커리큘럼에 서로 상충하는 철학을 구체화하는 혁신을 포함시키면, 더 작은 수준에서 이뤄지는 개입에서 학습자의 참여에 영향을 줄 수도 있고, 개념적 학습 조건을 수립하려는 노력에 방해가 될 수도 있다.19"의도한 개입은 무엇인가?"를 확인하기 위해서는 혁신자들은 [underlying theory]와 [광범위한 상황 요인]을 모두 설명해주는 개입의 정체성을 밝혀야 한다.

implementation comprises a complex set of factors that affect an educational intervention’s function.12,16 For example, embedding an innovation in a larger curriculum that embodies competing philosophies can affect learner engagement with the local intervention and negate efforts to establish the conceptual learning conditions of interest.19 Asking, “What is the intended intervention?” requires innovators to represent their intervention’s identity in a way that accounts both for underlying theory and a broad range of contextual factors.20

실행이 [개입의 본질을 보존하는지 여부]를 결정하는 것은 실험의 기본 요소인 조작 점검manipulation check과 유사하다.20

Determining whether implementation preserves a intervention’s essence has parallels in a basic element of experimentation: the manipulation check.20

• 조작에 따라 결과가 예상대로 나온다면예상 (개입은 "작동"), Manipulation checks는 이 효과가 [이론에 기반한 예상했던 주장의 결과인지] 또는 [부수적이고 잘 이해되지 않는 조건에 따른 결과인지]를 실험자들이 구별하는 데 도움이 된다. 

• 반대로 예상대로 결과를 얻지 못할 경우(개입은 "작동"하지 않음), Manipulation checks은 [이것이 이론의 실패]인지 아니면 [원하는 개념적 조건을 만드는 표면적 조작의 실패인지]를 실험자가 알 수 있도록 도와준다. 

Manipulation checks는 이런 방식으로 개입의 정체를 추궁한다.

• When a manipulation has the anticipated outcome (the intervention “works”), manipulation checks help experimenters discern whether this effect enables plausible claims about theory or instead must be attributed to incidental, poorly understood conditions. 

• When a manipulation fails to have the expected outcome (the intervention does not “work”), the manipulation check helps the experimenter know whether this was a failure of theory or the failure of surface manipulations to create the desired conceptual conditions. 

In this way, manipulation checks interrogate an intervention’s identity.

그림 1

Figure 1

(1) 교육철학은 가장 아래층으로, 즉 개입의 본질이다. 근본적 레이어란, 개입이 그것을 설계한 사람이 주장하는 것이 되기 위해 유지되어야 하는 맥락-비의존적인, 이상적인 학습 조건의 진술이다.

Educational philosophy is shown at the bottom of the figure as the foundational layer, the essence of an intervention. It is a context- independent, idealized statement of the learning conditions that must hold for the intervention to be what its designer claims it is.

(2) 근본적 레이어의 위에는 개입의 구조적 측면을 반영하는 레이어가 존재한다. 이 레이어는 맥락에 따라 조정될 수 있지만, 그럼에도 불구하고 개념적 학습 조건을 확립하기 위해서는, 다소 일반화되고 비교적 안정적인 접근방식이어야 한다.

Above this is the layer of principles, reflecting the structural aspects of the intervention, which may be adjusted adaptively to context, but nevertheless represent somewhat generalized and relatively stable approaches to establishing conceptual learning conditions.

(3) 개입의 가장 상층에는 가장 맥락에 민감한 것들이 존재하고, 이것은 주로 테크닉으로 구성된다. 이 테크닉은 맥락적 요인에 따라 달라지며, 국지정 상황에 따라 맞춤형으로 개입이 달라질 수 있다.

The top layer of the intervention, the most context sensitive, comprises techniques, which account for contextual factors and allow the intervention to be tailored to a local setting.

레이어를 명확하게 나누지 못하는 것은, 실제적으로 레이어 간 명확한 경계가 없음을 반영한다.

The lack of clear delineations between layers realistically reflects the absence of clear boundaries between them.

개입을 여러 층으로 보고, 맥락적 영향을 받는 정도가 각각 다르다고 본다. 

Viewing interventions as layered, with each layer differing in sensitivity to contextual influence

즉, 개입의 표면 특성을 바꾼다고 해서, 개입의 정체성을 위협하지는 않는다.

That is, adaptations of an intervention’s surface characteristics do not necessarily threaten its identity;

반대로, 테크닉을 유지한다고 해서 반드시 교육철학이 보존되는 것도 아니다.16

Conversely, as Yeager and Walton18 noted, retention of techniques across contexts does not necessarily imply preservation of educational philosophy.16

작업 예제: PBL

A Worked Example: PBL

PBL의 교육철학은 집중적으로 조사되었다.25 그 현재 형태는 발달하는 의사들이 맥락-특이적인 풍부한 지식을 구성해야 하고, 이 지식구축은 본질적으로 동기 부여되고 자기조절되는 학습과정을 통해 사회적 맥락 안에서 일어난다는 생각을 반영한다.26,27 그럼에도 불구하고 실제로 무엇이 PBL 튜토리얼 동안 진행되며, 이것이 지식 구축 프로세스와 부합하는지 여부는 대부분 검증되지 않은 채로 남아 있다.28–30

PBL’s educational philosophy has been investigated intensively.25 Its current form reflects the idea that developing physicians must construct a wealth of context-specific knowledge and that this knowledge construction occurs within a social context via an intrinsically motivated and self-regulated learning process.26,27 Nevertheless, what actually goes on during PBL tutorials, and whether it resembles this knowledge construction process, remains largely unexamined.28–30

그림 2.

Figure 2.

PBL의 교육 철학: 이론적 학습 조건, PBL을 강의와 구분하는 구성주의적 학습 철학, 32 일대일 과외와 유사한 사회적 학습 활동을 반영하는 학습 조건, 33,34

PBL’s educational philosophy: the theoretical learning conditions, consistent with a constructivist philosophy of learning, that distinguish PBL from lecture,32 that reflect social learning activities akin to those of one-on-one tutoring,33,34

이러한 조건은 주제, 학습 도구 및 교육 자료뿐만 아니라 학습자 및 학습자-교수자 간 상호 작용으로 구성된다.35,36

These conditions comprise learner interaction with one another and the facilitator, as well as with the subject matter, learning tools, and instructional materials.35,36

PBL의 원칙(그림 2, 중간 계층)는 PBL의 사회적, 인지적 학습 조건을 확립하는 그룹 구성원들 사이의 문제 중심적이고 긍정적인 상호의존성을 촉진하기 위해 생각되는 구조적 요소들이다.35,44

The principles of PBL (Figure 2, middle layer) are structural elements thought to foster the problem-driven, positive interdependence among group members that establish PBL’s social and cognitive learning conditions.35,44

• 첫 번째 원칙은, 실세계 관련 문제(예: 임상 사례)의 사용은 학습자의 본질적인 관심을 자극하여 교육 도구 및 자료에 참여하게 한다.36,45

One principle, the use of relevant, real-world problems (e.g., clinical cases), motivates learners’ intrinsic interest to engage with instructional tools and materials.36,45

• 두 번째 원칙, 즉 PBL은 학습자 주도적이라는 원칙은, 학습자가 자신의 문제 해결 목표를 정의하고, 개인적으로 지식 격차를 식별하고, 이를 해결하기 위한 접근법을 만들 기회를 제공한다.36,45

A second principle, that PBL is learner led, affords learners the opportunity to define their own problem-solving goals, to personally identify their knowledge gaps, and to create an approach to addressing them.36,45

• 세 번째 원칙인 문제 해결은 협력적 노력이며, 학습자가 문제 해결을 그룹화하여 집단적인 해결책에 도달했을 때 성공을 달성하는 데 자신의 이해와 사고 능력을 기여할 수 있도록 한다.35,44,45

A third principle, that problem solving is a collaborative effort, enables learners to contribute their own understanding and thinking skills to group problem solving, achieving success when a collective solution is reached.35,44,45

이러한 원칙을 고수하면 PBL의 인지적, 사회적 학습 조건이 촉진되지만, 구조적 특성이 다르더라도 교육 철학이 보존되는 등의 적응이 필요할 수 있다.

Adherence to these principles promotes PBL’s cognitive and social learning conditions, but context may call for adaptations such that educational philosophy is preserved even if structural characteristics differ.

비록 임상 사례들이 새로운 의대생들에게 일정정도의 미스터리와 충분한 참여 기회를 제공하지만, 문제 해결은 일반적으로 기초 과학 지식의 획득이라는 궁극적인 목표를 가지고, 비교적 구조화된 가설-연역적 과정을 적용하는 것을 포함한다. 그러나 가설연역적 조사 과정은 [학습자들이 정보를 수집하는 쉽고 더 만족스러운 방법이 있다는 것을 발견함]에 따라 매력을 잃는다.47

although clinical cases offer new medical students a degree of mystery and ample opportunity for engagement, problem solving commonly involves applying a relatively structured, hypothetico- deductive process with the ultimate goal of acquiring basic science knowledge.21,46 This investigative process loses its appeal as learners discover that there are less arduous, more satisfying ways to gather information.47

짧은 시간 내에 많은 양의 지식을 습득해야 한다는 학생들의 우려를 고려한다면, 학생 참여를 촉진하기 위해 튜터의 강화된 가이드가 필요할 수 있다.

increased tutor guidance may be needed to stimulate students’ engagement in light of their concerns about acquiring a high volume of knowledge in a short time.

적어도 어떤 조건에서는, PBL의 특징인 문제 중심적이고 협력적인 탐구를 유지하기 위해 다소 더 많은 튜터 주도적 상호작용이 바람직할 수 있다. 이러한 예들은 개입 설계가 맥락을 고려해야 한다는 것을 보여줄 뿐만 아니라, 맥락이 특정 개입의 원칙을 어떻게 의도하지 않은 방식으로 구현하도록 영향을 미치는지를 보여준다.

at least under some conditions, a somewhat more tutor-led interaction may be desirable to maintain the problem- centered, collaborative inquiry definitive of PBL.25,47 These examples not only show that intervention design must take context into account; they also illustrate how context may influence the implementation of principles in unintended ways.

맥락적 요인의 결과로, 교육 테크닉마다 큰 차이가 생길 수 있는데, 그렇지만 각각의 variation이 모두 PBL의 원칙을 반영할 수 있다. 다양한 variation이 존재한다는 것은 그룹 규모와 구성, 튜터 콘텐츠 전문성, 문제 형식과 양식과 같은 주제에 대한 논의가 활발하다는 점에서 잘 드러난다. 

Figure 3.

PBL 튜토리얼 그룹을 직접 관찰한 결과, PBL의 교육 철학이 항상 고려되는 것은 아니며 상호 작용이 일련의 미니-강의 또는 질의응답 훈련과 더 유사할 수 있다는 것을 보여주었다.24 이러한 의도하지 않은 학습 조건의 존재는 완전히 다른 교육 철학이 명목상의 PBL 개입에서 작용하고 있음을 시사한다. 그리고 이로부터 교육 혁신에 대한 흥미로운 세 번째 분석 질문이 던져진다. "어떤 개입이 실제로 일어났는가?"

Direct observation of PBL tutor groups has shown that PBL’s educational philosophy is not always taken up by its participants and that interaction can more closely resemble a sequence of mini-lectures or question-and- response drills.24 The presence of these unintended learning conditions suggests that an entirely different educational philosophy may be at play in a nominally PBL intervention,19 which raises an intriguing, third analytical question to ask of educational innovations: “What intervention actually occurred?”

PBL의 교육 철학이 보존되지 않은 경우, 혁신의 원칙과 기술에 대한 의문이 제기될 수 있다. 특히, 이러한 의문은 실제 실행된 것이 맥락에 insensitive하고, PBL의 사회적, 인지적 학습 조건의 확립을 무심코 뒤엎었을 때 던져질 수 있다. 

If PBL’s educational philosophy has not been preserved, questions may be raised regarding the innovation’s principles and technique—specifically, where implementation may have been insensitive to context and inadvertently subverted the establishment of PBL’s social and cognitive learning conditions. 

그림 3의 중간은 [협력적, 문제 중심 및 학습자 주도의 문제 해결을 보장하는 것과 관련이 있는] '기술'과 '맥락 요인' 사이의 적합도 조사를 위한 예제 질문을 제공한다. 학습자의 팀워크 기술, 개인교사의 촉진 기술, 협업 업무 특성, 기관 평가 문화와 같은 것.

The middle of Figure 3 offers example questions for probing the degree of fit between technique and contextual factors relevant to ensuring collaborative, problem-focused, and learner-led problem solving, such as learners’ teamwork skill, tutors’ facilitation skill, collaborative task characteristics, and institutional assessment culture.28,47,52–55

예를 들어, 기술-맥락 적합성이 성공적으로 실행되었다면, 인구학적으로 다양한 튜토리얼 그룹의 모든 구성원들 사이에서 동등한 참여로 나타날 수 있다. 그 이유는, 

• 아마도 숙련된 튜터가 심리적으로 안전하고 포괄적인 맥락을 효과적으로 설정하고 유지했기 때문일 수 있다.

• 또는 문제해결 과제가 모든 그룹 구성원을 포함하는 역할과 책임을 신중하게 설명했기 때문일 수도 있다. 

• 또는 그룹 멤버들은 그들 자신의 역동성을 감시하고 촉진할 수 있는 팀워크 기술이 잘 발달되어 있었기 때문이었을 수 있다.

As an example, successful technique– context fit may be revealed in equal participation among all members of a demographically diverse tutorial group, 

• perhaps because a skillful tutor effectively set and maintained a psychologically safe and inclusive context; 

• or because the problem-solving task had carefully delineated roles and responsibilities inclusive of all group members; 

• or because group members had well-developed teamwork skills that allowed them to monitor and facilitate their own dynamic.44

결어

Concluding Remarks

증거 기반 교육 관행의 진전은 긍정적인 결과 보고서의 부족이 아니라, 어떤 개입이 시도되었는지, 어떤 상황에서 시도되었는지, 그 결과가 다른 환경에서 교육 문제 해결을 의미하는지에 대한 부정확함에 의해 제한된다.

Advancements in evidence- based educational practice are limited not by a lack of positive outcome reports but, rather, by imprecision regarding what interventions were tried, under what circumstances, and what the results mean for educational problem solving in other settings.

실험 조작 검사experimental manipulation check처럼,19 

• 혁신의 개념적 기반을 신중하게 고려하면서 

• 맥락을 충분히 설명하고

• 개입이 실행될 때 교육철학이 보존되었음을 보여준다면,

의도된 개입이 이론화된 대로 발생했다는 주장을 지지하고 결과를 논리적 결과로 해석하는 데 신뢰성을 부여한다.

Like conducting an experimental manipulation check,19 

• carefully considering an innovation’s conceptual basis, 

• accounting for context, and 

• demonstrating the preservation of educational philosophy in implementation 

...supports the argument that the intended intervention occurred as theorized17,18 and lends credibility to interpreting outcomes as the logical result.

계층 분석Layered analysis은 구현된 후에 개입에 대해 검토하는 방법일 뿐만 아니라, 사전에 개입 설계에 대해 접근하는 방식을 제공한다.

Layered analysis offers an approach not only to examining an intervention after it has been implemented but also for designing interventions proactively.

그것은 주어진 기술혁신이 맥락에서 어떻게 작용한다고 생각하는지에 대한 접근법을 제공함으로써 설계자들이 [개입의 "활성 성분active ingredients"을 개발]하기 위해서 묵시적, 인과적 모델을 명시적이고 목적적으로 만들도록 유도한다. 이와 같이 계층 분석을 사용하는 것은 실험에서 하는 것과 일치하지만, 단순성에 대한 위협이라기 보다는 맥락을 이론 구현하는 데 필요한 하나의 자원으로 취급한다는 것에 차이가 있다.10

It provides an approach to specifying how a given innovation is thought to work in context, prompting designers to make their implicit causal models explicit and purposefully to develop the intervention’s “active ingredients.” In this way, using layered analysis is consistent with the experimental tradition, yet it differs by treating context as a resource for implementing theory rather than as a threat to simplicity.10

중요한 것은, 교육 혁신을 개념화하기 위해 계층화된 분석을 채택하는 것 만으로 원하는 결과의 생산을 보장하지 않을 것이다.

Importantly, adopting layered analysis for conceptualizing educational innovations will not guarantee the production of desired outcomes.

혁신의 층위를 나눠서 보면 실행된 혁신이 얼마나 애초의 교육 철학에서 멀어져 왔는지 알 수 있다.

Viewing innovations from a layered perspective can reveal just how far an implementation has drifted away from the educational philosophy it was assumed to invoke.

어떤 혁신의 기저에 깔린 이론을 분석하는 것은 시간이 많이 걸리고 지적으로 어려운 일이다. 여러 제약조건이 많지만 그 중에서도 긍정적인 결과를 빨리 만들어 실용적인 것에만 관심이 있는 간결하게 전달하라는 압력은 커리큘럼 평가에 적용되는 정밀한 조사를 제한할 가능성이 있다.

Analyzing the theory of an innovation is time-consuming and intellectually challenging. Among many other constraints, pressure to produce positive outcomes quickly and communicate them succinctly to a practically minded audience likely limits the scrutiny applied to curricular evaluation.

더욱이, PBL의 작업 예제가 보여주듯이, 면밀한 검토는 [개입의 철학]과 [개입이 구현된 상황] 사이의 해결되지 않은 긴장이 혁신자의 목표를 전복시켰다고 밝혀낼 수도 있다. 그것은 심지어 교육철학이나 원칙 자체의 과소평가나 불일치를 드러낼 수도 있다.

Moreover, as the worked example of PBL demonstrates, close examination may reveal that unresolved tensions between an intervention’s philosophy and the context in which it was implemented subverted the innovator’s goals. It may even reveal underspecification or inconsistencies of educational philosophy or principles themselves.

layered analysis는 학문적인 행동의 과정이며, 주어진 맥락에서 이뤄지는 학습을 더 깊이 이해하려는 노력이다.

layered analysis, is a scholarly course of action, an endeavor for those seeking to deepen understanding of learning in context.

20 Horsley T, Regehr G. When are two interventions the same? Implications for reporting guidelines in education. Med Educ. 2018;52:141–143. XXX

Acad Med. 2019 Jun;94(6):789-794. doi: 10.1097/ACM.0000000000002591.

Learning Theory and Educational Intervention: Producing Meaningful Evidence of ImpactThrough Layered Analysis.

취약성과 신뢰성 사이의 긴장 포용하기: 보건전문직 교육에서의 지적 솔직함(Med Educ, 2018)

Embracing the tension between vulnerability and credibility: ‘intellectual candour’ in health professions education

Elizabeth Molloy1 & Margaret Bearman2

도입

INTRODUCTION

의료는 어려운 작업 환경이다. 의사의 실수는 재앙적인 상황을 초래할 수 있고, 부족함과 실수를 감추려는 싸움은 심각한 스트레스를 야기할 수 있다.12

Health care is a challenging working environment. Practitioner errors can lead to catastrophic situations and, the fight to hide deficits and mistakes may cause serious stress.1,2

사회적 지위를 유지하려고 하다보면, 의료전문가들이 자신의 취약성을 표현하는 것을 어렵게 만들 수 있다. 이처럼 신뢰성을 촉진하고 취약성을 숨겨야만하는 고질적 욕구endemic needs는 학습과 실천의 퀄리티에 장애가 된다.

seeking to maintain social status can make it difficult for health professionals to express vulnerability. This endemic need to promote credibility and hide vulnerabilities can, interfere with learning and quality of practice.

교사들은 건강 전문가들이 [스스로를 취약하게 만드는 것]과 [신뢰도를 유지하는 것] 사이의 균형을 어떻게 협상하는지를 모델링하는 데 역할을 한다.

teachers have a role to play in modelling how health professionals negotiate the balance between making themselves vulnerable and maintaining credibility.

우리는 이 긴장을 협상하고 포용하는 데 도움이 되는 방법으로 '지적 솔직성'(학습자와 교사들의 사고 과정, 딜레마, 실패를 노출하는 것)을 제공한다. 지적 노출의 이 민첩한 형태, 또는 우리가 이전에 '지적 노출streaking'라고 불렀던 이것은 자신의 학습과 타인의 학습을 목적으로 하는 브레인스토밍, 즉흥성, 공개가 특징이다.

we offer ‘intellectual candour’ (or the exposure of learners and teachers’ ‘thought processes, dilemmas or failures’3) as a way to help negotiate, and embrace, this tension. This nimble form of intellectual exposure, or what we have previously termed ‘intellectual streaking’,3 is characterised by brainstorming, improvisation and disclosure for the purpose of one’s own learning and the learning of others.

학생 성찰에 대한 연구는 학생들이 평가의 목적을 달성하기 위해 내러티브를 조작하는 것을 시인했음을 나타낸다.7 이런 이야기는 익숙하다.

studies of student reflections indicate students have admitted to fabricating narratives to achieve the objectives of assessment.7 This is familiar territory.

앞서 나는 여러 가지 조건이 걷잡을 수 없는 상황에서 가벼운(그러나 이해할 수 차례) 실수를 저질렀다. 이제, 나는 나의 가벼운 실수로부터 포괄적으로 배웠고, 이 귀중한 학습 루프는 내가 다시 비슷한 실수를 할 것 같지 않다는 것을 의미한다. 지금은 모든 것이 잘 되고, 성찰적인 연습 기회는 매우 유용했다, 고맙다.

Earlier, I committed a mild (but understandable) mistake, amidst a number of conditions out of my control. Now, I have comprehensively learned from my mild mistake, and this valuable learning loop means I am unlikely to make a similar mistake again. Things are now OK, and the reflective practice opportunity was very useful, thank you.

이 이야기로부터 억양, 어조, 그리고 '영웅적 서사'를 통해 즉각적 보여준다. 이러한 방식의 성찰은 취약성을 숨기고, 적절한 수준의 신뢰성을 유지하게 해준다. 이것은 별로 놀라운 일이 아니다.

These stories are immediately recognisable via their cadence, tone and ‘hero narrative’ . This type of reflection illustrates both a hiding of vulnerability and the maintenance of an appropriate level of credibility.This is hardly surprising.

성찰은 학습자가 자신의 퍼포먼스에 대한 판단을 내림에 있어서 위험을 감수할 것을 요구한다. 이러한 판단을 감독관에게 전달할 때, 감독관은 종종 평가자과 서포터/개발자의 역할을 겸하고 있기 때문에 위험이 더 커진다. 이전의 연구들은 학습자는 자기 노출의 과정에서 겁을 먹게 되고 걱정하게 되며, 종종 경쟁이 극심하고 고부담 산업에서의 자기고양적 태도와는 정반대라는 것을 발견하게 된다.8,9 이러한 위험은 현실일 수 있다: 보건 직업 교육 문화 내에서 오류가능성와 취약성은 바람직한 특성으로 여겨지지 않는다.10

Reflection demands that learners take risks in making judgements about their own performance. There is further risk in communicating these judgements to supervisors, who often adopt a combined role of assessor and supporter/developer. Previous studies indicate that learners find these processes of self-exposure daunting, fraught and, at times, the opposite of self-serving in a competitive and high-stakes industry.8,9 These risks may be real: fallibility and vulnerability are not viewed as desirable characteristics within the health professions education culture.10

학생들은 주로 이런 것을 경험한다.

• 사전 준비된 슬라이드로 현장 전문가의 강의, 

• 학습자에게 자신의 실습 적자에 대해 '모두 반성하라'고 요청했음에도 불구하고 스스로 취약성을 거의 보이지 않는 임상 전문가들과의 피드백 대화, 

• 그리고 환자와의 잘 짜여진 커뮤니케이션 스크립트를 가진 숙련된 임상의의 관찰을 들 수 있다.

Students have: 

• lectures by experts in the field with pre-prepared slides; 

• feedback conversations with clinical experts who rarely exhibit vulnerability themselves despite asking learners to ‘reveal all’ about their own practice deficit, and 

• observations of experienced clinicians with well-crafted and well- rehearsed communication scripts with patients.

학생들은, 자신의 취약점에 대해서 이야기하는 의사는 거의 보기 힘들다. 이야기를 하더라도, 그것은 이미 다 지나간 옛날 이야기일 뿐이다.

we have not observed a great deal of reciprocal vulnerability, with the exception of clinicians talking about deficits in their own practice that are firmly rooted in the past.11,12

왜 선생님들은 취약점을 더 즉각적, 규칙적으로 밝히지 않는가? 그 이유는 자신의 어려움을 노출하는 것이 청중과 잘 맞지 않을 때, 선생님의 신뢰성에 위협이 될 수 있기 때문일지도 모른다. 이러한 지위의 감소는 결과적으로 교육동맹에 있어서 교수와 학생 사이의 신뢰를 손상시킬 수 있다.13

why don’t teachers reveal vulnerability more readily and more regularly? The answer may be that when the exposure of struggle does not sit well with the audience, there may be a compromising of the teacher’s credibility. This reduction in status can, in turn, compromise trust between parties in the educational partnership.13

학습 상황에서 취약성을 드러내는 것의 가치와 위험

THE VALUE AND RISKS OF SHOWING VULNERABILITY IN LEARNING ENCOUNTERS

의료전문직 교육환경에의 학습자들은 그들의 지위와 역할의 성격 그 자체로 취약성을 갖는다. 게다가, 임상 환경은 매우 큰 위험을 가진, 도전적이고 스트레스가 많은 작업장이다. 감독관은 일을 안전하고 잘 처리하기 위하여 동료들(학생 포함)에게 의지한다. 그러므로 모든 의사들은 상당한 취약성을 가지고 있다. 왜냐하면 직장에서 받는 사회적 압력을 피할 수 없고, 무엇보다 자신의 행동이 환자에게 잠재적으로 위험을 야기할 수 있기 때문이다. 이런 어려움에도 불구하고, 배움은 벌어져야 한다.

Learners in a health professional environment have vulnerabilities simply by the nature of their status and role. Moreover, clinical environments are challenging and stressful workplaces with very high stakes. Supervisors, rely on their colleagues (including students) to get the work done safely and well. All practitioners therefore have significant vulnerabilities because of the potential harms of their own actions as well as the inevitable social pressures of the workplace . Against this backdrop, learning needs to occur.

배우기 위해서는 사물을 다르게 상상할 수 있는 가능성에 마음을 열어야 한다. 이것은 나이든 것에 새로운 사실을 추가하는 점진적 학습incremental learning 이상의 것으로, 일레일리스는 이를 '축적적' 학습assimilative learning이라고 부른다.17 이것은 변화로서의 배움이다. 앎 또는 존재함의 다른 방법을 깨닫는 것이고, 자신이 세상을 이해하는 방법에 대한 인신론적 또는 존재론적 변화이다. 변혁적 학습이론에 따르면 '혼란스러운 딜레마'는 배움의 촉매 역할을 하다14

In order to learn, we have to open ourselves up to the possibility of imagining things differently. This is more than the incremental learning of adding new facts to older ones, what Illeris calls ‘assimilative’ learning.17 Rather, this is learning as transformation; different ways of knowing or being; profound epistemic or ontic changes in how we make sense of the world.18,19 Transformative learning theory suggests that ‘disorienting dilemmas’ act as catalysts for learning.14

학생들은 '대단한 수준의 혼란'을 경험하다. 그들이 보고 듣고 경험했던 것을 설명하기에는, 그들이 가진 frame of reference가 불충분하다는 것을 깨닫는다. 20 Berger21에서 언급했듯이, 그러한 변화는 사람들이 전에 알지 못했던 것들을 보게 하고, 선택가능했음을 몰랐던 것을 선택하게 할 수 있다. 그렇지만.....관점의 변화는 무언가의 상실을 동반한다. 즉, 기존에 갖고 있던 관점에 대한 만족을 잃는 것이다.

student experience ‘a significant level of disruption ... where their frame of reference is shown to be inadequate to explain what they have seen, heard or experienced’.20 As Berger21 notes, ‘such a change can lead people to see things they had not noticed before and to have choices they didn’t realise they had. But ...this change of perspective comes with a loss – a loss of satisfaction with earlier perspectives’.

즉, 학습자는 반드시 방향감각 상실 또는 훨씬 더 심하게 말하면 '재앙적 해체'의 가능성에 자신을 노출시켜야 한다.22 따라서 심화된 학습은 자기와 세계에 대한 감각에 큰 지장을 줄 수 있다. 이런 혼란을 겪으려면 취약해질 필요가 있다.

In other words, learners must necessarily expose themselves to the possibility of disorientation or, far worse, ‘catastrophic disorganisation’.22 Hence, profound learning may be highly disruptive to a sense of self and the world. In order to experience such disruptions, we need to be vulnerable.

혼란스러운 딜레마와 관련된 취약성이 반드시 만천하에 공개되어야 하는 것은 아니다. 그러나, 우리는 교사들과 동료들이 종종 성찰을 하는데, 또는 새로운 의미를 만드는 데 핵심적인 역할을 한다고 제안한다.

Disorienting dilemmas and associated vulnerabilities do not need to be made public. However, we suggest that teachers and peers often have a key role to play in helping us to reflect and make new meanings.

게다가, 스스로의 딜레마와 불확실성에 대해 말함으로써, 우리는 스스로를 학습에 프라이밍 시킨다. 다른 사람들과 자기자신에게 "앎에 대한 새로운 방식"에 개방적일 준비가 되었다고 신호를 보내는 것이다. 즉, 이것은 '자신을 취약하게 만드는 것'이기도 하다.

Moreover, by voicing our dilemmas and uncertainties, we prime ourselves for learning. We flag to others and ourselves that we are open to new ways of knowing or, as commonly said, we ‘make ourselves vulnerable’.