의료전문직 학술활동: 그것의 등장, 현재상태, 미래(FASEB Bioadv. 2021)
Health professions education scholarship: The emergence, current status, and future of a discipline in its own right
Olle ten Cate

1 의학교육의 역사적 연구
1 THE HISTORICAL OUVERTURE OF SCHOLARSHIP IN MEDICAL EDUCATION

교육 또는 의학 학문에 관여하는 대부분의 생물 의학 과학자는 물론 대부분의 교육 과학자는 현재 "보건 전문직 교육"이라는 더 넓은 용어로 포괄되는 의학 교육 학술활동이라는 교차 영역의 풍부함을 깨닫지 못할 수 있다.
Most educational scientists, as well as most biomedical scientist, involved in educational or medical scholarship, may not realize the richness of the intersecting field of medical education scholarship, currently subsumed under the broader term of “health professions education.”

[인구 건강]과 [인구 교육]은 번영하는 사회의 두 가지 기본 요소이다. 이 둘의 교차점에는 의사 및 보건 전문직이 인구의 건강을 위해 복무하도록 교육하는 기술art가 있다. 의학 교육은 항상 [의사와 교육자]의 헌신적인 관심을 누려왔다. 아폴로와 코로니스의 아들인 최초의 저명한 의대생이자 교육자인 아스클레피오스가 켄타우루스 키론에게 의술을 배웠고, 마법의 막대기와 함께 자신의 회사가 된 뱀으로부터 치유와 부활에 대해 배웠다는 것이 신화의 교훈이다(그림 1). 전 세계 의료협회의 수많은 로고에서 볼 수 있듯이, 막대기와 뱀은 오늘날까지 가장 중요한 의학 상징이 되었고 지금도 남아 있다. 키론과 아스클레피오스가 의학적 지식뿐만 아니라 [교육적 능력]으로도 유명했다는 것을 인정해야 한다.
The intersection of two fundamental pillars of a thriving society—population health and population education—is the art of educating doctors and other health professionals to serve the health of populations. Medical education has always enjoyed the dedicated interest of physicians and educators. Mythology teaches us that the first renown medical student and educator, Asclepius, son of Apollo and Coronis, had been educated himself in the art of medicine by centaur Chiron, and had learned about healing and resurrection from a snake who became his company along with a magical rod (Figure 1). Rod and snake became and remained the most important symbols of medicine throughout the ages until today, as witnessed by the many logos of medical associations around the world. It should be acknowledged that Chiron and Asclepius were not only famous for their medical knowledge, but also known for their educational skill.

21세기에 의학과 생의학은 전문 병원, 실험실, 대학 및 상업 기업을 통해 주요 산업이 되었다. 교육은 여러 세기에 걸쳐서 청소년들을 위한 초등교육과 handcraft에 초점을 맞추었지만, 대부분의 중등교육과 중요한 과학적 토대를 가진 많은 시민들을 위한 3차교육과 함께 지난 세기 동안 산업화된 사회에서 발전해왔다. 교육과학은 20세기에 강하게 발전했다.
In the 21st century, medical and biomedical sciences have become a major industry through specialized hospitals, laboratories, universities, and commercial enterprises. Education, while for many ages focused on primary schooling and handicraft for the youth, has developed in the past century in industrialized societies with secondary education for most and tertiary education for many citizens with important scientific foundations. The science of education has developed strongly in the 20th century.

어느 시대든, 의학 교육 자체는 존경받는 기술respected art이었다. 시대를 통한 유명한 의학 학자들과 교육자들은 히포크라테스, 셀수스, 갤런, 안드레아스 비살리우스, 허먼 보어하브, 윌리엄 오슬러, 그리고 윌리엄 할스테드를 20세기 초까지 주요한 예로 포함한다. 국내적이든 국제적으로든 더 많은 의학 교육자들이 따랐고, 대부분의 의과대학들은 과거에 있었던 교수들에 대하여 초상화 갤러리와 강의실에서 그들의 이름과 얼굴을 기리는 형태로 자부심을 드러낸다.
Medical education itself has been a respected art through the ages. Famous medical scholars and educators through the ages include Hippocrates, Celsus, Galen, Andreas Vesalius, Herman Boerhaave, William Osler, and William Halsted as prime examples until the early 20th century.1-4 Many more medical educators followed, nationally or internationally famous, and most medical schools take pride in some of their own professors of the past, honoring their names and faces in portrait galleries and lecture halls.

오랜 세월 동안 dissection을 통한 [인체 해부학]은 임상 전 교육의 중심이었다. 그림 2는 암스테르담의 와그 해부학 극장에서 공공 해부 강의를 하는 니콜라이스 툴프 교수 (1593–1674)를 보여준다.
For many ages, the anatomy of the human body through dissection was central to preclinical education. Figure 2 shows professor Nicolaes Tulp (1593–1674), delivering a public dissection lecture at the Waag Anatomical Theater in Amsterdam.

2 학문적 연구의 영역으로서 의학 교육의 탄생
2 THE BIRTH OF MEDICAL EDUCATION AS A DOMAIN OF SCHOLARLY STUDY

[의학을 가르치는 기술Art of teaching medicine]이 수 세기에 걸쳐 널리 인정받았지만, 개별 교육자와는 별개로 의학 교육의 방법과 효과에 초점을 맞춘 의학교육 연구는 최근에야 연구의 초점이 되었다. 그 출현은 주로 [20세기 중반]부터 시작된 것으로 간주될 수 있으며, 새로운 방법, 목표 및 내용과 함께 의학 커리큘럼에 대한 새로운 접근법의 개발과 연결된다. 세계적으로 의과대학이 1953년 566개에서 2018년 2881개로 급증하면서 의과대학 학술활동, 이후 보건전문교육에 대한 관심이 눈에 띄게 발전했다.
While the art of teaching medicine became widely acknowledged over the centuries, the study of medical education, with its focus on methods and effectiveness of medical education, independent of individual educators, became a focused domain of study only recently. Its emergence can be considered to have started primarily from mid-20th century, linked to development of new approaches to the medical curriculum, with new methods, objectives, and content. With the rapid increase of medical schools around the world, from 566 in the year 1953 to 2881 in the year 20185 the interest in scholarship of medical and, later, health professional education has developed remarkably.

학문으로서 의학교육 학술활동의 출발점을 어디로 볼 것인가를 논란의 여지없이 정확히 집어내기는 어렵다. 보통 많은 요소들이 함께, 우연히 작동하여, 그러한 출현을 가능하게 한다.

• 의학교육사학자 Ludmerer는 1920년 전후를 미국의 현대 의학 교육의 시작이라고 본다. (비록 유럽에서는 영향력이 작았지만) 이 시기는 미국 학교들을 폐쇄하거나 현대화하도록 강요한 유명하지만 비판적인 1910년 카네기 보고서(플렉스너 보고서) 직후이다.
• Journal of Medical Education 의 첫 호는 1920년에 나왔지만, 솔직히, 학문적 노력으로서 의학 교육 발전과 연구의 시작은 [Western Reserve 대학교가 그들의 의학 교육과정을 현대화하기 위해 위원회를 설립한 1950년 즈음]이라고 보는 것이 더 나을지도 모른다. 이후 콜로라도대학이 이를 따랐고, 이 두 대학의 노력은 철저히 기록되었기에, 그 변화의 움직임의 시작을 정확히 짚어낼 수 있다.
• 조지 밀러, 스티븐 에이브러햄슨, 힐리어드 제이슨, 크리스틴 맥과이어, 그리고 하워드 베로우스 같은 연구자들이 뉴욕, 미시간, 일리노이, 캘리포니아의 여러 대학에서 등장하면서, 대표적인 1세대 의학 교육 학자가 등장했다고 볼 수 있다. 이렇게 약 70년 전에 새로운 학문을 구성하였고, 이 당시 최초로 뚜렷한 교육 연구 유닛들이 의과대학에 설립되었습니다.
• 동시에 1950년대에 의학 교육은 사회과학자들의 연구 대상이 되었다. 그들은 의사가 되는 것이 어떤 의미인지를 연구한 후 영향력 있는 심리학적, 사회학적 보고서를 작성하였다. 미국만이 의학교육을 위한 단위units을 설립한 것은 아니다. 캐나다의 맥마스터 대학, 스코틀랜드의 던디 대학, 네덜란드의 마스트리흐트 대학이 다른 나라에서 의학교육을 위한 학술활동을 가진 최초의 기관이다.

It is difficult to pinpoint an undisputed moment in time that can be qualified as the starting point of medical education scholarship as a discipline. Usually many factors together, operating coincidentally, enable such an emergence.

• Medical education historian Ludmerer rightly qualifies the years around 1920 as the start of modern medical education in the United States,6 shortly after Flexner's famous but critical 1910 Carnegie Report that forced U.S. schools to either close or modernize7—while less influential in Europe.8 
• The first issue of the Journal of Medical Education appeared in 1920, but, frankly, the start of medical education development and research as a scholarly endeavor may be better located around 1950, the year that Western Reserve University established a committee to modernize their medical curriculum, followed by the University of Colorado a few years later, two endeavors that were extensively documented,9, 10 and therefore, enabling to pinpoint the start of a movement.
• With George Miller, Stephen Abrahamson, Hilliard Jason, Christine McGuire, and Howard Barrows at universities in New York, Michigan, Illinois, and California, prominent examples of a first generation of medical education scholars emerged, together constituting a new discipline about 70 years ago, when the first distinct units of education research were established in medical schools.11, 12 
• In parallel, in the 1950s, medical education became an external object of study by social scientists, who produced influential psychological and sociological reports after studying what it means to become a doctor.13-15 Not only the United States established units for the study of medical education. McMaster University in Canada, University of Dundee in Scotland, and Maastricht University in the Netherlands are among the first institutions with units for scholarship in medical education in other countries.

몇몇 개인, 교사, 연구원, 또는 과학적 추구의 특정 영역에 특정한 관심을 가진 센터들은 아직 그 분야를 인정받을 수 있는 학문 영역으로 만들지 못할 수 있다. 그래서 질문은 이것이다. 누군가를 의료 또는 보건 전문직 교육의 학자scholar라고 부르고, 그러한 개인들의 공동체를 "학술적scholarly"이라고 부르려면 무엇이 필요할까? 아자위와 동료들은 연구자 정체성 형성과 협력관계, 연구에 대한 보호시간을 조성하는 환경이 보건직 학술활동을 번창하게 할 수 있다는 것을 발견했다. 학술 공동체는 어니스트 보이어의 널리 인용된 네 가지 기준을 사용하여 정의될 수 있다: 발견, 통합, 응용, 그리고 가르침.17
A few individuals, teachers, researchers, or even centers with a specific interest in a particular domain of scientific pursuit may not yet make the field a recognizable scholarly domain. So the questions is: what would be needed to call someone a medical or health professions education (HPE) scholar1 and to call a community of such individuals scholarly? Ajjawi and colleagues found that an environment fostering researcher identity formation, collaborative relationships, and protected time for research is likely to make health professions education scholarship thrive.16 To create that identity, the scholar should belong to a community with specific characteristics. Scholarly communities may be defined using Ernest Boyer's widely cited four criteria that, together, should determine scholarship: discovery, integration, application, and teaching.17

[디스커버리]란 과학적 호기심을 충족시키기 위해서만 알 가치가 있는 새로운 아이디어와 통찰력의 생산이다. 상당수의 학자들이 적극적인 HPE 연구에 참여하고 영역을 발전시키는 연구 결과를 산출하고 있다는 사실은, 이 준거를 중요하게 만든다.
Discovery is the production of new ideas and insights, things that are worth knowing, if only to satisfy scientific curiosity. A significant number of scholars should engage in active HPE research and yield research findings that advance the domain, to give this criterion weight.

[통합]은 고립된 사실에 의미를 부여하고 새로운 발견과 이미 알려진 것을 연결하는 것이다. 학술활동은 응집력coherence를 갖추어야 하고, 그러기 위해서는 [사회 및 기타 과학과 관련을 짓거나, 다양한 연구 합성 노력]을 해야 한다. 이렇게 해야만 "바퀴의 재발명"을 피할 수 있다. [수용될 지식체body of accepted knowledge]는 통합을 통해 구축된다.
Integration is giving meaning to isolated facts and connecting new findings with what is already known, within and across disciplines. Coherence must be established, by relating to or involving social and other sciences and by various research synthesis efforts, if only to avoid wheels being reinvented. A body of accepted knowledge is to be built through integration.

[응용]은 문제를 해결하기 위한 발견의 유용성과 관련이 있습니다. 학술활동은 "그 자체로서가 아니라, 사회에 대한 복무를 통하여 가치를 입증해야 한다."(보이어, 23페이지) 실무적으로 개선된 의료 및 보건직 교육 커리큘럼을 통해, 졸업생들의 역량 향상을 통해, 궁극적으로는 더 나은 의료 서비스를 통해 보여야 한다.
Application relates to the usefulness of findings to solve problems. Scholarship must "prove its worth not on its own terms but by service [to society]"(Boyer, page 23). It should be visible through improved medical and health professions education curricula in practice, through improved competence of graduates and, ultimately, through better health care.

[가르치는 것]은 "가장 높은 형태의 이해"이다. 여기에는 [과학적 의사소통]과 [미래 학자를 위한 교육]을 포함한다. 보이어는 학생과 개인의 상호작용을 염두에 두고 있었지만, 강의는 회의, 책, 논문, 현대 미디어를 통해서도 이루어질 수 있다. 더 넓은 의미에서 Teaching이란 [차세대 학자들의 충분하고 지속적인 훈련]과 [충분한 출판물, 회의, 협회]로 특징지어지며, 이는 [진정한 상호작용적 학문 공동체의 존재]를 의미한다.
Teaching, as "the highest form of understanding" (Boyer, page 23), involves scientific communications and the education of future scholars. While Boyer had students and individual interactions in mind, teaching can also be done through conferences, publication of books, papers, and modern media. Teaching in its broader sense, would be characterized by the sufficient and sustained training of next generation scholars and sufficient publications, conferences, associations that would characterize the existence of a true interactive scholarly community.

글래식18과 오브라이언 외 19는 보이어의 기준을 건강 직업 교육 학술활동 단위의 개별 학자들뿐만 아니라 더 자세히 설명했다. 
Glassick18 and O'Brien et al19 have elaborated Boyer's criteria not only for individual scholars in health professions education scholarship units. 

보건 전문직 교육HPE은 학술적 영역이나 학문으로서 적합한가?
3 DOES HEALTH PROFESSIONS EDUCATION QUALIFY AS A SCHOLARLY DOMAIN OR DISCIPLINE?

학문 분야와 하위학문 분야가 명확하게 정의된 것은 아니다. 그것들은 보통 대학들에 의해 인정되고, 때로는 과학 학회에 의해, 때로는 법에 의해, 면허와 특권이 제한될 때, 교수진, 학과, 학술 과정에 분류된다. 그러나 공식적인 제도적 진술을 넘어, [학문적 공동체나 학문이 무엇인지를 결정하는 것]은 [학문적 개인들 간의 상호작용과 활동]이다. [사회 정체성 이론Social Identity Theory] 은 개인에게 정체성을 제공하는 집단에 속하는 것이 중요하다고 가정한다. 사회적 정체성은 자존감과 집단 행동을 서포트하는데, 이는 사람들이 자신의 존재를 알고 자부심을 느끼고, 다른 사람들에게 그것을 설명하고, (명함이나 문구처럼) 쓸모 없어 보이는 목적을 위해 사용할 수 있고, 또한 마음이 비슷한 다른 사람들과 연결되기 위해서이다. 학문적 공동체에서 정의된 정체성은 [조직 내에서의 승진]과 심지어 [연구 자금]에도 영향을 미칠 수 있다. 분야를 정의하는 것은 사소하지 않다.

Academic disciplines and subdisciplines are not unequivocally defined. They are usually acknowledged by universities and categorized in faculties, departments, and academic courses, sometimes by scientific societies and sometimes by law, when licensing and privileging is restricted. But beyond formal, institutional statements, it is the dynamics among scholarly individuals, with their interactions and activities, that determines what a scholarly community or discipline is. Social Identity Theory posits that for individuals it is important to belong to a group that provides them with identity.20 Social identification supports self-esteem and group behavior,21 as people like to know and take pride in what they are, be able to explain that to others, use it for purposes as seemingly futile as business cards and stationary, and also to connect with likeminded others. A defined identity in a scholarly community can also affect promotions in an organization, and even funding of research. Defining a discipline is not trivial.

3.1 검색
3.1 Discovery

(학문분야로서) Discovery 기준을 충족시키려면 현재 발견자 역할을 하는 충분한 연구자가 있어야 한다. 2021년에 세계적으로 얼마나 많은 HPE 연구원들이 활동하고 있는지 정확히 알 수 없다. 그러나 1950년 이후 그 수가 증가했다는 몇 가지 대리 지표가 있다. 만약 활동적인 연구원이 10년이라는 기간 동안 매년 적어도 한 편의 저널 기사를 발표하는 사람이고, 발견이 건강 직업 교육의 지식의 본체에 사실이나 통찰력의 추가라고 정의된다면, 시간에 따라 발표된 논문의 수와 저자들을 볼 가치가 있다.
To meet the Discovery criterion, there must be sufficient researchers who are active discoverers. We do not know how many HPE researchers exactly are active worldwide, in 2021. However, there are some proxy indicators of growth in volume since 1950. If an active researcher would be someone who publishes at least one journal article per year over a sustained period of time, say 10 years, and discovery would be defined as the addition of a fact or insight to the body of knowledge of health professions education, it is worth looking at number of published papers and their authors at different moments in time.

1980년에는 의학 교육 저널(현재의 학술 의학 저널), 영국 의학 교육 저널(현재의 의학 교육 저널), 그리고 의학 교사(Medical Teacher)의 세 개의 의학 교육 전문 저널이 있었다. 가장 오래된 것(의학교육저널)에는 1980년 한 해 동안(12호)에 걸쳐 450여 명의 저자가 등장했는데, 여기에는 비연구자뿐 아니라 두 번 이상 출판한 작가도 포함됐다. 2020년에, 이 저널의 12개 호에 기고하는 추정 저자의 수는 약 3배가 되었다. 2018년에 제이슨이 제시한 그래프와 비교할 수 있는 다른 성장 대용치가 그림 3에 나와 있다. 저널 기사 제목에 있는 "의료"와 "교육"이라는 단어의 조합은 50년 이내에 10배 증가를 보여준다. 게다가, 그 40년 동안, 국제 의학교육 저널의 수는 (해부학, 생리학, 생화학, 수술, 시뮬레이션, 그리고 많은 국가에서 의학 교육을 위한 국가 협회의 저널과 같은 전문 분야의 전용 교육 저널을 제외하고도) 3개에서 약 35개로 꾸준히 증가하였다
In 1980, there were three dedicated medical education journals:

• the Journal of Medical Education (now called Academic Medicine),
• The British Journal of Medical Education (now called Medical Education), and 
• Medical Teacher.

The oldest one (the Journal of Medical Education) featured about 450 authors across the year of 1980 (12 issues), including non-researchers, but also some authors who published more than once. In 2020, the estimated number of authors contributing to the 12 issues of this same journal has about tripled. A different proxy of growth is shown in Figure 3, comparable to graphs presented by Jason in 2018.22 The combined words "medical" and "education" in journal article titles shows a 10-fold increase in less than 50 year (data from Google Scholar; and note that such titles only cover a small minority of articles in the domain). In addition, in those 40 years the number of international peer reviewed medical education journals has steadily grown from three to about 35, excluding dedicated education journals in specialty areas such as anatomy, physiology, biochemistry, surgery, simulation, and journals of national associations for medical education in many countries, not counting education journals in other health professions than medicine.

HPE에 관한 학술지의 총 목록은 주로 약 90개에 달한다. 만약 이들 각각이 연간 100명의 저자를 배출하고 모든 학자가 매년 하나의 학술 논문을 낸다면(둘 다 매우 보수적인 추정치이다), 이 영역은 거의 100,000명의 저자를 보유하게 될 것이다. 로건스는 2010년 최근 12년간 가장 많이 발간된 6개 의학교육전문지에 1만건의 기사가 실렸다고 추산했다. 논문 한 편당 평균 3명의 저자를 취해서 현재 양질의 학술지 수가 늘어난 것에 대해 3을 곱하면 비슷한 수치로 이어진다. 수많은 의학 교육 저널 기사의 질은 학문적 기준을 모두 충족시키지 못할 수도 있지만, 만약 20%만이 진정으로 학문적scholarly인 것으로 잡더라도, (보수적으로 추정해도) 연구와 개발에 적극적으로 참여하는 HPE 학자들은 최소한 20,000명에 이르는 구성된 공동체를 구성한다. 공동체의 기준으로서의 [임계질량]은, 논쟁의 여지 없이 충분히 충족된 것으로 보인다.

The total list of journals predominantly publishing on health professional education approaches about ninety2. If these each would feature only 100 authors per year and every scholar would produce one scholarly paper per year (both are very conservative estimates), the domain would have close to 100,000 authors. Rotgans estimated in 2010 that 10,000 articles had appeared in the six most common medical education journals in the past 12 years.23 Taking an average number of three authors per paper and multiplying by three for the increased number of current quality journals leads to a similar figure. The quality of the numerous medical education journal articles may not all meet scholarly standards,24 but if only 20% would be regarded as truly scholarly, the combined authors would establish a community of at least 20,000 true health professions education scholars, educators actively involved in research and development, which again is probably a conservative estimate. The critical mass for a scholarly community as criterion seems, arguably, amply met.

다음으로, 일반적으로 인정된 도메인의 발전은 발견을 지원해야 합니다. 의학교육이 70년 전보다 '더 나아지지' 않는다면 보이어의 발견 기준은 아마도 충족되지 않을 것이다. 그래서 문제는, 우리가 이 개선을 확인할 수 있을까 하는 것입니다. 이 기준은 측정하거나 추정하기가 훨씬 더 어렵다. [2020년 의대 졸업자]들이 [1950년 졸업자]보다 의료행위에 더 적합한지 여부를 확인할 수 있는 측정 수단이 전혀 없다.
Next, generally acknowledged advances in the domain should support discovery. If medical education would not be “better” than 70 years ago, then, the Boyer's discovery criterion would probably not be met. So the question is, can we confirm this improvement? This criterion is much more difficult to measure or estimate. There is simply no measurement instrument to establish whether the 2020 medical graduates are better equipped for clinical practice than in 1950.

교육 연구의 진보와 발견은 종종 [근거 기반의 교육적 진보]가 아닌 [새로운 이론과 연구 방법]에 초점을 맞추는데, 이는 단계적이고 부정할 수 없이 더 나은 교육 결과를 보여준다. 물리, 화학, 의학 등의 분야에서 이론과 실천에 기반을 두고 새로운 사실들이 만들어 질 수 있지만, 이는 교육 연구에서 드물다. 소이어는 "교육에 대한 과학적 접근의 역사는 유망하지 않다"고 주장하며, [교육이 과학인지 예술인지에 대한 계속되는 논쟁]을 인용한다. 그러나 다른 이들은 학습과 지도에 대한 증거 기반 원칙을 확립했다. 새로운 절차나 치료법이 적절히 적용될 때마다 '작동할 것work'을 기대할 수 있는 생물의학이나 공학의 발전과는 달리, 교육원리의 효과는 예측 가능성이 낮다. 종종 통제할 수 없는 많은 변수들이 교육의 결과를 방해할 뿐만 아니라, "교육 시스템" 자체가 복잡하고 적응적이다.

Advances and discoveries in educational research often focus on new theories and research methods, rather than evidence-based education advances, that stepwise and undeniably show better and better education outcomes. New, undisputed facts on which theories and practice can build, such as in physics, chemistry, and medicine, are rare in educational research.25, 26 Sawyer contends that "the history of scientific approaches to [general] education is not promising" and cites the ongoing debate about whether education is a science or an art.27 Others, however, have established evidence-based principles of learning and instruction.28-30 Different from biomedical or engineering advances that may be expected to “work” every time new procedures or therapies are applied appropriately, the effects of educational principles are less predictable. Not only do many variables, often not controllable, interfere with outcomes of education, the "system of education" itself is complex and adaptive.

[복잡한 적응 시스템]은 변수가 바뀌면 자신의 방식대로 반응한다. 새롭고 "증명된" 교육 방법은, 그것이 적용되었을 때, 학생들의 감정적, 동기적, 지적 반응을 불러일으킬 것이다. 의사가 되고자 고도로 동기부여를 받은 학생들은 어떤 교육적 방법과 요구 사항이 적용되든지 간에 목표에 도달하기 위해 그들이 필요하다고 느끼는 모든 것을 할 것이다. 학생은 블랙박스나, [조작이 가능한 수동적인 대상]이 아니라, 어느 정도 학습 경로를 스스로 형성하려는 자유의지가 있다. 예를 들어, 우수한 강의는 자기주도적인 학습 성향을 감소시킬 수 있으며, 시험에서는 이러한 우수한 교사 수행에 참석하지 않은 학생들보다 더 나쁜 성적을 낼 수 있고, 내용물의 복잡성을 스스로 알아내야 한다고 느꼈을 수도 있다. 

Complex adaptive systems react in their own way when variables change. A new, "proven" teaching method will, when applied, evoke emotions, motivations, and intelligent responses by students. Students, highly motivated to become doctors, will simply do whatever they feel is needed to reach their target, no matter which curricular methods and demands apply. They are not a black box, or a passive object that can be manipulated, but have a free will to shape their learning pathway to some extent.31, 32 

• For instance, excellent lectures may decrease the students' inclination to self-directed study, to the point that on tests they may perform worse than students who did not attend these superb teacher performances, and who may have felt forced to figure out the complexities of the content matter themselves.33 

교육 연구를 더욱 복잡하게 만드는 것은 교육 개입의 결과 척도를 결정하기 어렵다는 것이다. 시험에서 증명된 지식과 기술이 그러한 결과로 간주될 수 있지만, 의학에서와 같은 교육의 진정한 목적은 실습에서의 효과적인 성과와 개선된 임상 결과이며, 이는 종종 우수한 개인 기술에 의해서만 결정되는 것이 아니라 생물 의학 및 기술 발전, 맥락 및 팀워크에 의해 결정된다. 

What further complicates educational research is that outcome measures of educational interventions are difficult to determine. While knowledge and skills demonstrated at exams may be considered such outcomes, the true purpose of education, such as in medicine, is effective performance in practice and improved clinical outcomes, which are often determined by biomedical and technical advances, context and teamwork, not only by superior individual skills.34, 35

그러나 이러한 어려움에도 불구하고, 현재 HPE의 학자들은 많은 발전이 분명히 이루어졌고, 이러한 발전이 교육 관행으로 확립되어왔다는 것에 동의할 가능성이 높다. 의학 교육에서 "발견"은 [일반화된 이론적 진리를 뒷받침하는 발견]보다는 [새로운 교육 또는 평가 방법]인 경우가 더 많다. 성공이 보장된 교육 혁신에 대한 논란의 여지가 없는 증거는 확립하기 어렵지만, 신뢰할 수 있는 이론에 기초한 의학의 몇 가지 변화는 지난 50년 동안 의료 커리큘럼에 깊은 영향을 미쳤으며 현재 권장 접근법으로 간주되고 있다. [이론의 여지가 없는 증거 기반]이라기보다는, 엄격한 최선의 근거에 기반한 의학교육 BEME 문헌 리뷰가 의료 교육자들에게 인기 있는 자료였다. 지난 20년 동안 60개 이상의 BEME 리뷰가 출판되었으며, 건강 직업 교육에서 많은 다른 지식 합성도 이루어졌다.
Despite these difficulties, however, current scholars in HPE would likely agree that many advances have certainly been made and turned into established educational practices in the health care domain. "Discoveries" in medical education are more often new educational or assessment methods, rather than findings supporting generalized theoretical truths. While undisputable evidence of educational innovations with guaranteed success is hard to establish,36 several changes in medical education, based on credible theory, have had profound influence on medical curricula in the past 50 years and would now be viewed as recommended approaches. Rather than suggesting to be unequivocally evidence based, rigorous best-evidence medical education (BEME) literature reviews have been popular resources for medical educators.37 Over 60 BEME reviews have been published in the past 20 years, in addition to many other knowledge syntheses in health professions education.

표 1은 50년 동안 의학에 대한 발견과 교육 발전의 예를 보여주는데, 이는 보건 직업 교육 분야의 학자들 덕분이라고 할 수 있다. 표의 한계는 단일 식별 가능한 개념, 발견 또는 혁신과 관련되지 않은 많은 의학 교육자들의 중요한 학문적 작업을 공정하게 수행하지 못한다는 것이다. 아래의 모두든 것들이 어느 정도 의료 훈련을 개선했다. 한편 다른 학자들은 (혁신을 제시하거나 시도하기보다는), 의학교육에 대한 [신화를 폭로]하거나 [의학교육의 강점과 약점에 대한 주요 개요를 제공]하고, [개혁을 촉구]함으로써 이 분야를 더 예리하게 하는 데 도움을 주었다. 
Table 1 shows examples across a 50-year period of findings and educational advances in medicine, “discoveries” if you will, that can be attributed to scholars in the field of health professions education. A limitation of the table is that does not do justice to the important scholarly work of many medical educators not associated with single identifiable concepts, findings, or innovations.

• Applying advanced skills training and advanced assessment techniques,
• deliberate practice,
• mastery learning,
• clinical reasoning tests,
• instruments to measure clinical learning environments,
• physical space for education,
• studies to correlate lapses in professional behavior with later adverse practice events,
• studies on theories of workplace learning,
• motivation,
• cognitive load in medical education,
• conditions for interprofessional education,
• studies on burn-out and depression, and
• many other findings or innovations that were tried on smaller scale

all have improved medical training to some extent.

Still other scholars, rather than presenting or trying an innovation, have helped sharpen the mind by

• debunking myths about medical education,38-41 or
• provided major overviews of strengths and weaknesses in medical education, and urged for reform.42, 43

의학 교육, 그리고 어느 정도 다른 건강 직업 교육은 오늘날 우리가 알고 있는 바와 같이 이러한 진보가 없었다면 분명히 달라졌을 것이다.
Medical education, and to some extent other health professions education, as we know it today would be definitely different without these advances.

3.2 통합
3.2 Integration

[통합]은 [분야 내부에서의 통합] 및 [분야 간 새로운 발견의 통합]과 관련이 있습니다. 표 1에 나타난 모범적인 발전은 특히 보건 직업 교육을 위해 개발되었으며, 많은 것들이 문제 기반 학습과 같은 의료 교육이나 보건 직업보다 더 넓은 지역사회에서 상당한 영향을 미쳤다. 일부 발전은 연구가 불충분한 것으로 밝혀진 후 포기되고 새로운 방법으로 대체되었다. 예를 들면 임상 추론 기술(크리스틴 맥과이어와 동료들에 의한) 평가를 위한 환자 관리 문제의PMP 도입이 그러하다. 그러나 PMP의 후계자라고 할 수 있는 Key-Feature 항목은 선구적인 근거가 없었더라면 결코 도입되지 않았을 것이다. 이러한 통합consolidation의 예는 의학 교육이 스스로 발전하는 학문적 전통으로 자리잡아간다는 증거이다.
Integration pertains to the consolidation of new findings within and across disciplines. The exemplary advances shown in Table 1 have specifically been developed for health professions education, and many had significant impact in a wider community than only medical education or the health professions, such as problem-based learning.44 Some advances, such as the introduction of Patient Management Problems for the assessment of clinical reasoning skill (by Christine McGuire and colleagues) were abandoned45 and replaced by newer methods after research had revealed inadequacies. But Key-Feature items (more or less their successor)46 would have never been introduced without its precursory grounding. This example of consolidation is a testimony of a self-developing scholarly tradition in medical education.

통합은, 연구의 전통을 구축하는, HPE를 전담하는 학술활동 단위가 꾸준히 확산되는 것으로 해석되었다. 1980년대 북미와 유럽에서는 이런 유닛이 적었지만 2000년 북미에는 61개가 생겼고, 2020년에는 전 세계 여러 나라에 셀 수 없이 많은 유닛이 있다. 의학교육연구회에는 현재 78명의 회원이 등록되어 있으며, 많은 이사들은 SDRME 회원이 아니다. 이 부서들은 일반적으로 연구, 교수 개발(교육) 및 봉사에 관여하는 과학자, 학술 교육자 및 행정 지도자를 고용한다. 
Consolidation has translated in the establishment of a steady proliferation of dedicated health professions education scholarship units that build a tradition of research.47 In the 1980s, such units were just few in North America and Europe, but in 2000 North America had 61 units48 and 2020 there are countless units in several countries worldwide. The Society of Directors of Medical Education Research currently lists 78 members directing such units, and many directors are not SDRME members. These units typically employ scientists, scholarly educators, and administrative leaders, involved in research, faculty development (teaching), and service.49, 50

통합은 또한 [다양한 과학 영역의 이종교배cross-fertilization]를 의미한다. 보건직 학술활동은 사회과학의 혜택을 많이 받았다. 노먼은 심리학, 사회학자, 심리학자, 심리학자 등 건강 직업 분야에서 비의료적 배경을 가진 학자들의 공헌을 인정하였다. 1980년대와 1990년대에는 사회과학 학자들이 HPE분야에 자신들의 기술을 적응시키는 물결이 거세었다. 이들 중 소수만이 외부 관찰자로 남아 인류학자가 하듯이 HPE를 연구 주제로서 연구하였다. 오히려, 많은 사회과학자들은  의과대학에 고용되어, 의학 및 생물의학 전문가들과 긴밀히 협력하여, 교육의 질적인 발전을 지원하면서, 의학교육 학술공동체에 통합되었다. 이는 보건 직업 교육의 발전과 실천에 학습, 교육, 심리학 이론의 통합을 상당히 자극했다. 
Integration also speaks to the cross-fertilization of different domains of sciences. Health professions scholarship has hugely benefited from the social sciences. Norman has qualified the contributions made by scholars with a nonmedical background as made by “immigrants” in the health professions domain: psychologists, sociologists, and psychometricians. He saw a strong wave of these scholars in the 1980 s and 1990s,45 adapting their skills to serve HPE. Only few of these remained outside observers, studying HPE as a topic of research, as would an anthropologist do, without becoming part of it. Rather, PhD level social scientists were hired by medical schools, and integrated in their communities, to support the quality development of their education, in close collaboration with medical and biomedical experts. This has significantly stimulated the integration of theories of learning, education, and psychology in the development and practice of health professions education.

"의료", "교육", "이론"을 결합한 저널 기사 제목은 1960년 이후 60년 동안 기하급수적으로 증가했다. 이 통합은 Norman이 "3세대" 학자라고 부른 이들을 향해 한 걸음 더 나아갔다. 이들은 이민자가 아니라 의학적으로 훈련받은 사람으로서, HPE 석사와 박사과정 고유의 전통 속에서 HPE 학술활동을 훈련받으며 보완해나간 사람들이다. 3세대 학자들은 장점(상아탑 스탠스 없이 고도로 전문화된)과 단점(다른 학문분야에서 경험과 배경지식의 깊이가 얕은)이 있었다. 또 다른 중요한 영향은 연구의 방법론에 관한 것이다. HPE 연구는 통제된 실험의 한계에 대한 인식을 반영하듯, [질적 연구]의 상당한 증가를 보였다. 

The number of journal article titles combining "medical," "education," and "theory" has exponentially grown across the six decades since 1960 (from 3, via 7, 11, 31, 96, to 195 in 2020) (Google Scholar). The integration made a further step in what Norman called “third generation” scholars, not immigrants but medically trained, and supplemented with HPE scholarship training in an own tradition of dedicated HPE Masters and PhD education, with its pros (being highly specialized without an ivory tower stance) and cons (with less depth of experience and background in other disciplines).45 Another important influence regards the methodology of research. HPE research has seen a significant increase of qualitative studies,51, 52 reflecting the awareness of the limitations of controlled experiments.36, 53

HPE분야의 학술활동은, 보이어가 이야기한 통합이라는 용어에 비추어볼 때 한계가 있는가? 전문 영역으로 성숙되어갈 때 나타나는 특징 중 하나는, 전문 학술지가 만들어지며, 역설적으로 다른 학문과 통합하는 것을 주저하는 모습니다. 사회과학 저널에 게재된 HPE 연구의 양은 비교적 적다. 그것은 HPE 학자들이 어떻게 이러한 저널을 읽고 출판하는 것을 덜 선호하는지, 그리고 이러한 저널의 독자들이 HPE에 대한 관심을 덜 가질 수 있는지를 보여준다. 가장 큰 교육 학자 집단은 거의 틀림없이 미국 교육 연구 협회(AERA)이며, 매년 10,000~15,000명의 학자들이 모인다. HPE 학자들은 AERA에 속하지만, HPE 학자들이 지배하는 "The Profession"의 한 분과 내에서 주로 교류한다. 대조적으로, 일부 주제는 다른 교육 문헌보다 HPE 문헌에서 단순히 더 잘 표현될 수 있다. 예를 들어, Van Dijk 등은 대학교에서의 Teaching task의 프레임워크를 검색한 결과, 광범위한 문헌 리뷰에서 46개를 확인했는데, 그 중 18개는 의학 교수진, 6개는 간호, 치과, 약국 및 조산사를 포함한 다른 보건 직종에 관한 것이었다.
Are there limitations of Boyer's sense of integration with regards to health professions education scholarship? One hallmark of maturation of a professional domain, the establishment of specialized journals, paradoxically shows a hesitation to integrate with other disciplines. Comparatively very little about health professions education is published in journals of the social sciences. It shows how HPE scholars may be less inclined to read and publish in these journals, and how readers of these journal may be less interested in HPE. The largest community of educational scholars is arguably the American Educational Research Association (AERA), with an annual meeting that brings together 10,000–15,000 scholars. HPE scholars are represented in AERA, but interact largely within one division of it, that of “The Professions”, dominated by HPE scholars. In contrast, some topics may simply be better represented in the HPE literature than in other educational literature. As an example, Van Dijk et al., searching for frameworks of university teaching tasks identified 46 in an extensive literature review, 18 of which pertained to medical faculty and 6 more to other health professions including nursing, dentistry, pharmacy, and midwifery.54

결론적으로, 통합은 혁신과 발견의 통합을 통해 [내부적]으로 이루어졌지만, 다른 분야와의 통합(외부적)은 제한적이었다.
To conclude, integration has happened internally, through consolidation of innovations and findings, but integration with other disciplines has been limited.

3.3 적용
3.3 Application

HPE학술활동에서는 연구와 개발이 함께 진행된다. 응용은 이 분야의 핵심적 특성이다. HPE 연구에 관여하는 대부분의 학자들은 임상의, 교사, 또는 둘 다, 교육 과정이나 프로그램 책임자, 부학장과 같은 행정 담당자로서 교육에 대한 역할을 한다. 대학 사회과학부의 교육과학자들이 초중고교 교사가 아니었을 수도 있고 상아탑과학에 대해 비판받을 수도 있는 반면, 매우 많은 경우, HPE 연구자들은 활동적인 교사들, 활동적인 교수 개발자들, 활동적인 교육과정 및 과목 개발자로서, 임상 또는 생의학 연구경험을 가지고 있다. 많은 학구적인 HP 교육자들은 초기에 환자 진료 또는 기초 과학 분야에서 경력을 쌓았고, 이후 단계에서 [두 번째 직업]으로 학문 교육자로 발전했다.

In health professions education scholarship, research and development go hand-in-hand. Application is a core characteristic. The vast majority of scholars involved in HPE research have roles in education, either as clinicians, as teachers, or both; as course or program directors or as administrative officers, such as associate deans. While educational scientists in university faculties of social science, may never have been primary or secondary school teachers (even if that is their domain of study) and may be criticized for ivory tower science, HPE researchers are very often active teachers, active faculty developers, active curriculum and course developers with clinical or biomedical research experience. Many scholarly HP educators have initially built a career in patient care or the basic sciences and developed as scholarly educators only at a later stage, as a second career.

HPE의 학술활동 적용 기준이 다른 고등교육 영역보다 더 강력한 이유는 [양질의 의료 서비스에 대한 명확한 사회적 욕구] 때문이다. 의료는 모든 사람에게 영향을 미치며, [사회적 신뢰]를 필요로 하는데, 이는 주로 [의료 제공자와 그들이 제공할 것으로 추정되는 교육]에 초점을 맞춘 신뢰이다. 수십 년에 걸친 의학 훈련의 개선을 옹호하는 많은 보고서들은 크리스타키스가 1995년에 그들 모두가 다음과 같은 결론을 내리고 있다고 정리했다.

"놀랄 정도로 일관되게, [의료 전문직의 특정한 사회적 비전]을 제시하고 있으며, 여기에서 의과대학은 다음을 달성하기 위하여 사회에 복무하는 것으로 여겨진다.

• [공공의 이익]에 더 잘 봉사하기 위해 
  
• [의료 인력 수요]를 해결하기 위해 
  
• [급성장하는 의학 지식에 대처]하기 위해 
  
• [일반주의를 강조]하기 위해 

다음의 권고사항은 1910년 이후로 거의 지속적으로 등장해 왔다

• 일반의 교육을 늘린다. 
  
• 외래 진료 노출을 증가시킨다. 
  
• 사회과학 강좌를 제공한다. 
  
• 평생 및 자기 학습 기술을 가르친다. 
  
• 교육활동에 보상한다, 
  
• 학교 사명을 명확히 하고 
  
• 교육 과정을 중앙 집중식으로 관리하다 

The reason why the application criterion of scholarship in HPE may be stronger than in other higher education domains is a clear societal desire for high-quality health care. Health care affects everyone, and requires societal trust to operate, a trust that primarily focuses on care providers and their presumed education. The many reports, across several decades, advocating for improvement of medical training led Christakis to conclude in 1995 that they all

"articulate a specifically social vision of the medical profession, in which medical schools are seen as serving society [..] with a remarkable consistency, [..]

• to better serve the public interest,
• to address physician workforce needs,
• to cope with burgeoning medical knowledge, and
• to increase the emphasis on generalism.

[Recommendations to]

• increase generalist training,
• increase ambulatory care exposure,
• provide social science courses,
• teach lifelong and self-learning skills,
• reward teaching,
• clarify the school mission, and
• centralize curriculum control

have appeared almost continuously since 1910",55 

이러한 결론은 1995년 이래로, 의학 교육 개혁에 대한 후속 요구로 쉽게 확장된다. 
conclusions that easily extend to subsequent calls for medical education reforms after 1995.42, 43, 56

보건직업 교육학술활동은 응용과학의 전형이며, 응용에 지속적으로 치중하기 때문에 순수과학으로 볼 수 없다. 현재 주요 HPE 저널에 게재된 모든 간행물 중 대다수는 연구 보고서가 아니라 관점의 기사, 지침, 리뷰이다. 그것들은 교육을 발전시키고 매우 유용하며, 응용이 HPE 학문 영역의 중심이라는 것을 보여준다.
Health professions education scholarship is an exemplar of an applied science and cannot be viewed as a pure science, because of its continuous focus on application. Of all current publications in the major HPE journals, the majority are not research reports, but perspective articles, guidelines, and reviews. They serve to advance education and are highly useful, and show that application is central to the HPE scholarly domain.

3.4 교육 및 학술 커뮤니케이션
3.4 Teaching and scholarly communication

네 번째 기준은 Teaching이며, 더 넓게 해석하자면 지식, 통찰력, 발견을 커뮤니케이션함으로써 공동체와 후배 학자들에게 가르치는 것이다. 1970년 이전에는 사실상 존재하지 않았던 의학 교육에 대한 지역, 국가 및 국제 회의는 수와 규모가 급격히 증가했다(표 2)
Boyer's fourth criterion of scholarship is Teaching, or, interpreted more broadly, the communication of knowledge, insight, and discovery, to the community at large and to junior generations of scholars. Not only the number of journals and publications increased significantly; local, national, and international conferences in medical education––virtually nonexistent before 1970, increased rapidly in number and size (Table 2).

회원들과 회의 참석자들에 의해 가장 큰 국제 HPE 협회는 유럽 의학교육협회이다. 1973년 창설된 이래 매년 열리는 이 회의는 유럽 밖에서 온 대다수의 참석자들이 참석하는 글로벌 회의로 성장했다. AMEE는 의료 및 보건 직업 교육의 질을 높이기 위한 다양한 다른 서비스(여행, 웨비나, 자격증 과정, 지침 및 리뷰를 포함한 자원, 상, 상금, 소액 보조금, 펠로우 멤버 옵션)를 제공합니다. 그들의 웹사이트에는 의료 또는 보건 직업 교육을 위한 37개의 소규모 활동적인 국내 및 국제 사회와 협회가 나열되어 있다. 이들 중 다수는 매년 국가 또는 지역 컨퍼런스를 개최하기도 하며, 일부 국가 HPE 컨퍼런스는 국제 컨퍼런스를 능가한다. 미국 의과대학협회는 2019년 연례 회의에서 4490명의 참가자를 받아들였지만, 교육 연구는 AAMC 회의에서 덜 강조되었다. 네덜란드 연례 HPE 컨퍼런스는 지난 10년 동안 매년 900~1000명의 참가자를 안정적으로 받고 있다.
The largest international HPE society by members and conference attendees is the Association of Medical Education in Europe (AMEE). Its annual conference has grown since its inception in 1973 into a global conference with a majority of attendees from outside Europe.57 AMEE offers a variety of other services to foster the quality of medical and health professions education (journals, webinars, certificate courses, resources including guidelines and reviews, awards, prizes, and small grants, fellowship member options). Their website lists 37 smaller active national and international societies and associations for medical or health professions education (www.AMEE.org). Many of these also hold annual national or regional conferences. Some national HPE conferences exceed international conferences. The Association of American Medical Colleges received 4490 participants at their 2019 annual meeting, but educational research has less emphasis at AAMC meetings; the Dutch annual 2-day HPE conference has received a stable number of 900–1000 participants annually across the past decade.

Teaching이란, 좀 더 구체적으로 말하면, 특정 영역에서 [미래 세대를 교육하는 것]이다. 교육학술활동의 목적은 가르치는 것을 포함하지만, [새로운 세대의 학자들을 가르치는 것]은 뭔가 다르다. 그래서 문제는 HPE 공동체가 HPE 학술활동의 내용과 방법을 가르치는데 어느 정도 투자를 했는가 하는 것입니다. [의학적 배경을 가진 1세대 HPE 학자들]은 교육학과 또는 사회과학 분야에서 석박사 학위를 취득하기 위해 교육 방법을 스스로 훈련하거나 시간을 보냈다. 이러한 모습은 1990년대에 HPE 학술활동 단위에서 [자체적인 HPE 석박사 프로그램]이 제공되기 시작하고, 의과대학에서 teacher career에 대한 진지한 관심이 등장하면서 바뀌었다.58 HPE에서

• [전담dedicated 교수] 및 [부교수associated 직책]의 설립,
• [임상 및 비임상 교수진]을 위한 대안적 커리어 기회 제공,
• 의과대학 내 교육 커뮤니티로서 [아카데미Academies의 설립]

...은 이러한 흐름을 더 촉진하였다.
Teaching, more specifically, involves educating future generations in a specific domain. While the object of educational scholarship includes teaching, teaching new generations of scholars is something different. So the question is: to what extent has the HPE community invested in teaching the content and methods of HPE scholarship? The first generations of HPE scholars with a medical background have trained themselves in educational methods or spent time to obtain an advanced degree in schools of educational or social sciences. This has shifted in the 1990s, when advanced academic degree programs began to be offered by units of health professions education scholarship, and serious attention for teacher careers in medical schools emerged.58 

• The establishment of dedicated professor and associate professor positions in health professions education,
• providing an alternative career opportunity for clinical and nonclinical faculty members,59 and
• the establishment of Academies as educational communities within medical schools for early career or distinguished educators60 

has further fostered this.

석사와 박사 프로그램은 이러한 지속적인 학문의 전문적 발전을 가능하게 하였다. HPE의 석사급 프로그램은 1996년 7개에서 2012년 76개, 2020년 139개로 증가했으며, 구조화된 박사급 프로그램은 2014년 24개, 2020년 26개로 집계됐다. 여기서 훈련받은 학생 수도 크게 늘었다. 일례로 마스트리히트대 보건전문대학원(School of Health Professional Education)에서 활동 중인 박사과정 학생의 수가 지난 10년간 25명에서 100명으로 증가했다. 확장된 국제 협력은 프로그램이 한 곳에 점점 덜 제한됨에 따라 그러한 증가를 촉진한다. 몇몇 국가들은 이 운동에서 지도력이 뛰어났다. 1960년 이후 영국, 캐나다, 미국에 이어 네덜란드, 호주까지 건강 직업 교육에서 학술활동을 장려해 왔다. 의과대학별 생산성으로 측정했을 때, 즉, 지난 10년 반 동안 캐나다와 네덜란드는 가장 높은 상대적 HPE 연구 생산성을 보여주었으며, 학술지 기사에 대한 선임 저자 자격을 종종 제공했으며(표 4), 국제 연구 멘토십의 표시로 해석된다

Masters and PhD programs enable this continued professional development in scholarship. The number of masters level programs in HPE increased from 7 in the year 1996 to 76 in the year 201261 and 139 in the year 2020 (www.faimer.org) and the number of structured doctoral programs was calculated to be 24 in the year 201462 and 26 in the year 2020 (www.faimer.org). The numbers of students trained in these units also expanded significantly. As an example, the number of active PhD students in Maastricht University's School of Health Professions Education increased in the past decade from 25 to 100.63 Expanded international collaborations foster such increases as programs become less and less confined to one location.64 A few countries have excelled in leadership in this movement. Since 1960 the United Kingdom, Canada, and the USA, followed by the Netherlands and Australia have promoted scholarship in health professions education. Measured by productivity per medical school, that is, considering the size of the country, Canada and the Netherlands have shown the highest relative HPE research productivity across the past decade and a half, and often provided senior authorships on journal articles (Table 4), to be interpreted as a sign of international research mentorship (Table 3).

[네덜란드]와 같은 일부 국가에서는 교수직은 박사과정 학생들을 개별적으로 또는 구조화된 프로그램에서 감독할 수 있는 공식적인 권리와 기대를 포함한다. 보건직 교육에서 이러한 의자의 증가는 HPE 박사과정 학생 수의 증가로 인한 촉매 효과를 가져왔다. 박사 학위 졸업에 기초한 대학 연구의 정부 자금과 결합하면, 이것은 네덜란드에서 건강 직업 교육 연구의 다작 생산을 설명할 수 있을 것이다.
In some countries, such as the Netherlands, professor positions include the formal right and expectation to supervise doctoral students in their domain of expertise, individually or in structured programs. In health professions education, the increase of such chairs has had the catalytic effect of increased numbers of PhD students in HPE which. Combined with government funding of university research based on PhD graduations, this may explain the prolific production of health professions education research in the Netherlands.65

의심할 여지 없이, 보이어의 Teaching 기준은 개별 국가 수준 뿐만 아니라, 국제적인 수준에서도 충족되었다.
Boyer's teaching criterion, no doubt, has been met, not only locally, but also at the international level.

4 결론 및 전망
4 CONCLUSION AND OUTLOOK

HPE 학술활동의 발전과 현황을 분석해보았을 때, 보이어의 성숙한 학문 규율 기준을 모두 충족한다는 것을 부인할 수 없다. HPE 학문 단위는 학문적 단위가 될 수 있으며, 따라서 이어져야 하는 질문은 그러한 학과 또는 단위가 대학에서 어디에 속하느냐이다. 지금까지는 사회과학이나 교육과학의 학부나 학과보다는, 보건전문직 대학들이 이러한 단위를 설립하고 주최해왔으며, 이를 유치해야 했다. (사회과학의 통찰력과 결합하여) [보건의료행위가 이뤄지는 곳과 근접하게 자리하는 것]이 이러한 단위가 번창하기 위한 중요한 조건이었던 것으로 보인다. 66 HPE 연구는 의사, 간호사 또는 다른 건강 전문가처럼 생각하고 행동하고 느끼는 것이 무엇인지 이해하는 사고방식을 가진 학자들에 의해 가장 잘 수행되어야 한다. 즉, 의료 분야에서 [전문지업적 정체성]을 소유하거나, 적어도 공감하기 위한 것이다. 
The analysis of the development and current status of health professional education scholarship would undeniably qualify it as meeting all of Ernest Boyer's criteria of mature scholarly discipline. HPE scholarly units can become academic departments and a relevant question is then where in universities such departments or units belong.50 Rather than in faculties or departments of social or educational sciences, schools in the health professions have established and hosted such units and should host them. Situated in close vicinity to the practice of health care seems to have been a critical condition for these units to flourish, combined with the insights of the social sciences.66 HPE research should be best conducted by scholars with a mindset to understand what it is to think, act, and feel like a physician, nurse, or other health professional, in other words to possess, or at least sympathize, with professional identities in health care.67

20세기 중반 이후 HPE 학술활동 활동에 대한 관심의 성장은 다른 고등 교육 분야에서도 유사한 발전을 앞질렀다. 잘 준비된 의료 전문가를 위한 최적의 의료 서비스에 대한 추구는 사회적 영향, 전문적인 존중, 직업의 명확성과 70년 전에는 부족했던 교육 이론 및 연구 방법론의 통찰력을 결합한 명확한 교육적 집중으로부터 이익을 얻었을 수 있다.
The growth of health professions education scholarship activities and interest since mid-20th century (journals, publications, conferences, HPE research, and development centers, scholars) has out-paced similar developments in other higher education domains. The quest for optimal health care, and consequently, for well-prepared health care professionals may have benefited from a clear educational focus that combines societal impact, professional esteem, and clarity of occupations with insights from educational theory and research methodology that lacked 70 years ago.

초기 수십 년 동안 몇몇 계몽된 사람들이 HPE 학술활동의 성장과 방향에 큰 영향을 미쳤지만, 현재 학자들의 숫자는 오랫동안 지속 가능한 영역을 유지하는데 중심적인 임계 질량을 넘어섰다.
While during the early decades a few enlightened individuals had a major impact on the growth and direction of HPE scholarship, the number of scholars now has likely passed the pivotal critical mass to keep the domain sustainable for a long time.

스털리 외 연구진(222-225페이지)은 의료 교육의 미래에 대한 분석에서 의료 교육 연구의 개선을 위한 5가지 주요 의제를 상세히 설명한다.
In their analysis of the future of medical education,77 Bleakley et al. (page 222–225) elaborate a five-point agenda for improvement of medical education research (slightly amended):

(1) [개념적 질문 및 명확화]에 초점을 맞추고, 증거로서 무엇이 중요한지 결정한다.
(1) a focus on conceptual questions and clarifications and deciding on what counts as evidence,

(2) 기회주의적 연구보다는 [체계적인 연구]의 프로그램 구축
(2) building programs of systematic research rather than conducting just opportunistic studies,

(3) 보다 엄격한 [성과-기반 연구],
(3) more rigorous outcome-based research,

(4) 질적 및 정량적 (혼합된 방법) 연구에 대한 더 나은 전문지식을 구축하고,
(4) building better expertise in combined qualitative and quantitative (mixed methods) research, and

(5) 학술계와 임상계 사이에 생산적인 대화를 창출한다. 
(5) creating a productive dialog between the academic and clinical communities.77 

아스클레피오스는 히포크라테스의 선서에 포함된 건강 전문가들의 고유 임무인 뱀과 막대기에 대한 자신의 상징이 어떻게 수천 년 후에 활발한 학문 교육자 공동체로 이어졌는지 알면 놀랄 것이다. 그때나 지금이나, 최고의 자격을 갖춘 의료 전문가를 양성한다는 일반적인 목적은 변하지 않았습니다. 연구자와 학자들은 [유능한 의료 인력이라는 궁극적인 목표]가 달성가능하며, [이 목표가 의료 교육의 지속적인 혁신에 기름을 부을 것]이라는 비전을 만들지만, 학술활동을 특징짓는 것은 달성 가능한 종점이 아니라 거기에 이르는 과정pathway일 수 있다. 최적의 교육을 통해 만들어진 '역량있는 전문직'은 마치 성배Holy Grail처럼 보일지 모르지만, 이를 달성하려면 보이어의 기준에 따른 학술활동이 필요하다. 이 과정에는 부침이 있으며, [역량있는 의료인력]에 대한 [학교, 병원 및 규제 기관의 관심]은 [자금 조달, 효율성, 법적인 제약]이라는 "의도하지 않은 결과"로 이어졌다. 이러한 결과를 분별하고 이를 극복할 수 있는 방법을 제시하는 학자들이 필요하다. 이러한 역학의 혼합은 미래의 학자들이 학습자, 임상의, 환자 및 사회를 위해 건강 직업 교육의 지속적인 혁신을 만들고 시험하도록 계속 도전하게 될 것이다.

Asclepius would be surprised to know how his symbols of snake and rod as well as the obligation to teach—an inherent task of health professionals, incorporated in Hippocrates' oath—have led to a lively community of scholarly educators several millennia later. The common pursuit, then and now, for the best qualified health professionals has not changed. While researchers and scholars develop visions that suggest that the ultimate goal of a competent health care workforce may be attainable and fuel the continued innovation in medical education, it may be the pathway rather than an attainable endpoint that characterizes scholarship. While "the competent health professional," molded by optimal education, may seem a Holy Grail, the quest for it is served by scholarship according to Boyer's criteria. The pathway shows ups and downs,78 and the interest of schools, hospitals, and regulatory bodies in this competent workforce, has led, in the words of Woolliscroft, to "unintended consequences" of financing, efficiency, and legal constraints.69 Scholars are needed to discern these consequences and recommend routes to overcome them. This amalgam of dynamics is bound to keep challenging future scholars to create and test ongoing innovations in health professions education, to the benefit of learners, clinicians, patients, and society.

FASEB Bioadv. 2021 Mar 29;3(7):510-522.

 doi: 10.1096/fba.2021-00011. eCollection 2021 Jul.

Health professions education scholarship: The emergence, current status, and future of a discipline in its own right

PMID: 34258520

PMCID: PMC8255850

DOI: 10.1096/fba.2021-00011

Free PMC article

© 2021 The Authors. FASEB BioAdvances published by the Federation of American Societies for Experimental Biology.

호환가능성 원칙: 임상역량 평가의 철학에 관하여(Adv Health Sci Educ Theory Pract. 2020)
The compatibility principle: on philosophies in the assessment of clinical competence
Walter Tavares1,2 · Ayelet Kuper1,3,4 · Kulamakan Kulasegaram1,5,6 · Cynthia Whitehead1,5

도입
Introduction

종종 암묵적인 철학적 입장은 [역량의 본질(즉, 온톨로지)], [사람들이 역량을 어떻게 알고 이해하고 평가하게 되는지(즉, 인식론)], 그리고 [이것들이 어떻게 집합적으로 정당화될 수 있는지]에 대한 인식을 뒷받침한다. [철학적 위치]란 [평가 연구자에게 평가 문제와 해결책을 검토하기 위한 렌즈를 제공하는 일련의 인정된 가정과 헌신 또는 지적 프레임워크]를 의미합니다. 예를 들어, 평가 모델과 관련된 오류의 정도에 대한 지표로서 신뢰성을 강조하는 것은 실증주의나 사후 긍정주의와 밀접하게 일치하는 심리측정학 또는 측정 모델에 의해 영향을 받는다. 
A range of often implicit philosophical positions have come to underlie perceptions of the nature of competence (i.e., ontologies), how people come to know, understand and assess competence (i.e., epistemologies), and how these can be collectively justified. By philosophical positions we mean sets of recognized assumptions and commitments or intellectual frameworks that provide assessment scholars with lenses for examining assessment problems and solutions. For example, emphasizing reliability as an indicator of the degree of error associated with an assessment model is influenced by a psychometric or measurement model that is closely aligned with positivism or post-positivism.

철학적인 입장이 한때 평가 공동체 내에서 암묵적으로 공유된다고 가정할 수 있었던 경우, 평가 과학의 발전은 더 넓은 범위를 고려해야 한다고 제안했다(Govaerts et al. 2007; Govaerts and Vleuten 2013; Hodges 2013). 이로 인해 서술형 코멘트 이용의 증가(Brutus 2010; Hanson 등 2013; Ginsburg 등 2015)와 평가자 변동성을 그저 노이즈가 아니라 시그널로 처리해야한다는 것과 같은 혁신이 이루어졌다. 

Where philosophical positions could once have been reasonably assumed to be shared implicitly within the assessment community, advances in assessment science have suggested that a wider range be considered (Govaerts et al. 2007; Govaerts and Vleuten 2013; Hodges 2013). This has led to such innovations as the increased use of comments (Brutus 2010; Hanson et al. 2013; Ginsburg et al. 2015) and the treatment of rater variability as signal as well as noise (Gingerich et al. 2014).

존재론적 및 인식론적 입장을 정의하고 그 정렬을 보장하는 것의 중요성은 보건 직업 교육 연구 영역 내에서 명확하게 확립되었다. 그러나, 무엇이 진실이고 알 수 있는가에 대한 믿음의 범위와 사람들이 어떻게 알게 되고 이해하게 되는지에 대한 그러한 명백한 인정은 평가에서 대부분 간과되어 왔다. 이는 역량, 평가 및 정당성에 대한 평가 설계자의 신념 사이의 무의식적인 모순과 부조화로 인해 평가 학문과 실습을 훼손할 가능성이 있다. 다양한 철학적 입장을 바탕으로 한 더 넓은 범위의 평가 전략의 사용이 평가 과학을 발전시킬 것을 약속하지만, 이는 또한 실제로 그러한 전략의 호환성과 관련된 새로운 논리적이고 경험적인 문제를 제기하고 있다.

The importance of defining ontological and epistemological stances and ensuring their alignment has been clearly established within the health professions education research domain. However, such explicit acknowledgement of the range of beliefs about what is real and knowable and about how people come to know and understand has largely been overlooked within assessment. This has the potential to undermine assessment scholarship and practice due to unwitting contradictions and incongruence between assessment designers’ beliefs about competence, its assessment, and justifications. While the use of a wider range of assessment strategies drawing on a variety of underlying philosophical positions promises to advance assessment science, this is also raising new logical and empirical challenges related to the compatibility of those strategies in practice.

평가 프로그램 설계에서 철학적인 입장을 신중하게 고려하지 않을 때 적어도 세 가지 잠재적 실제 문제가 발생할 수 있다. 이는 평가 프로그램의 주요 구성 요소들, 특히 아래의 구성 요소들 사이에 오정렬이 존재할 때 도출된다.

• (a) 역량이란 무엇인가(존재론),
  
• (b) 특정 전략과 활동을 결정하는 방법(인식론)
  
• (c) 평가 프로그램으로부터 도출된 주장 또는 추론이 정당화될 수 있는 방법

At least three potential practical problems can emerge when philosophical positions are not carefully considered in the design of assessment programs. These are derived when misalignment between major components of an assessment program exist, specifically between

(a) what competence is (ontology),

(b) how specific strategies and activities are used to determine it (epistemology) and

(c) how claims or inferences derived from the assessment program can be justified.

첫째, 이러한 세 가지 평가 프로그램 구성요소에 대한 상충되는 가정과 약속과 관련된 철학적 입장의 암묵적 연결은 결과의 가능한 다중적 해석과 함께 혼란스럽고 제대로 뒷받침되지 않는 관행으로 이어질 수 있다.

둘째로, 양립가능성의 문제가 무시될 때, 철학적 입장이 행해지는 작업의 손해에 얼마나 중요한지를 무시하는 "뭐든 되는대로" 접근법이 평가를 지배할 수 있다.

셋째로, 그들의 근본적인 철학적 입장에 대한 명확성 없이 능력, 평가, 정당성에 대해 생각할 수 있는 방법들의 수가 증가하면서, 교육자들은 이러한 [철학적 위치 각각이 언제, 어떻게, 왜, 어떤 맥락에서 적절할 수 있는지], 그리고 [서로 다른 위치에 뿌리를 둔 관행이 동시에 통합될 수 있는지 또는 존재할 수 있는지]에 의문을 갖지 않게 된다.

First, the implicit linkages of philosophical positions associated with conflicting assumptions and commitments to these three assessment program components can lead to confusing and poorly supported practices with multiple possible interpretations of results. 

Second, when issues of compatibility are ignored, an “anything goes” approach can dominate assessment ignoring how philosophical positions matter to the detriment of the work being done.

Third, the increasing number of possibilities for ways to think about competence, assessment and justification without a clarification of their underlying philosophical positions leaves educators questioning when, how, why, and in what contexts each of these philosophical positions may be appropriate, and whether practices rooted in different positions can be merged or exist simultaneously.

잠재적인 발전 방법으로, 우리는 평가 과정과 그것의 정당성에 대한 근본적인 논리를 제공하는 [호환성 원칙compatibility principle] 을 제안한다. 이러한 [호환성]의 개념은 연구자들이 서로 다른 철학 지향적인 접근법들을 병합하는 것의 적합성에 대해 논의한 혼합 방법 연구의 [비호환성(비호환성)incompatibility (incommensurability)] 논문에서 채택되었다. (Howe 1988; Johnson and Onwuegbuzie 2004; Hathcoat and Meixner 2017) 

As a potential way forward, we propose a compatibility principle which provides a fundamental logic in the process of assessment and its justification. This notion of compatibility is adapted from an incompatibility (incommensurability) thesis in mixed methods research in which researchers have debated the suitability of merging different philosophically-oriented approaches (Howe 1988; Johnson and Onwuegbuzie 2004; Hathcoat and Meixner 2017).

평가에서, [호환성 원칙]은 [평가 계획 간] 및 [평가 계획 내]에 [서로 다른 철학적 입장]이 존재할 수 있다는 것을 인식해야 하는 의무를 의미하며, 이러한 입장이 평가 설계자를 특정 아이디어, 가정 및 약속에 commit하게 함을 의미한다. 이는 다음에 대한 개념화에 적용된다. 

• 역량(즉, 구인)
  
• 평가 전략(즉, 프로세스에 informing하는 guiding principle) 및
  
• 활동(예: 도구, 데이터 수집 및 분석),
  
• 정당화(예: 타당성 프레임워크의 적용) 및 해석.

In assessment, we propose that the compatibility principle refers to the obligation to recognize that different philosophical positions can exist between and within assessment plans and that these positions commit assessment designers to particular ideas, assumptions and commitments. This applies to conceptualizations of

• competence (i.e., constructs),
• assessment strategies (i.e., guiding principles informing processes) and
• activities (e.g., tools, data collection and analyses), as well as
• justification (e.g., application of validity frameworks) and interpretation.

우리의 주요 관심사는 (여러 다른 위치 내에서 데이터를 생성하는 데 종종 사용될 수 있기 때문에 사용되는) 평가 도구나 역학보다는, [철학적으로 정보에 입각한 평가의 논리, 가정 및 그 약속]이다. 우리는 이러한 근본적인 철학적 입장과 그들의 제정법이 평가 계획/프로그램의 적절성을 결정한다고 주장한다. 

Our primary concern is the logic of a philosophically-informed assessment, its assumptions, and its commitments, rather than with the assessment tools or mechanics being used, as the latter can often be used to produce data within multiple different positions. We argue that it is these underlying philosophical positions and their enactment that determines the appropriateness of an assessment plan/program.

여기서 우리는 주로 [평가 과학assessment science]의 현재 상태와 관련이 있다(실체론적 및 인식론적 정렬에 대한 유사한 초점은 평가에 대한 연구를 포함하여 연구 과정에서 엄격성에 대해 연구하고 가르치는 사람들에게 다소 오래된 개념이라는 것을 인지하고 있다). 우리의 프레임이 이와 다른 것은, 비록 평가 과학에서 연구 프로세스를 차용하였음에도, [(현재) 평가와 그 구성 요소 부분에서의 위치position의 다양성이 증가하는 맥락]에서, [철학적 위치의 역할과 관련성]이 아직 [좋은 평가를 위한 기준]을 구체화할 때 기본적인 것으로 인식되지 않았다는 점에서 다르다. 
Here we are primarily concerned with the state of assessment science (while recognizing that an analogous focus on ontological and epistemological alignment is a rather old concept to those who study and teach about rigor in the research process, including for research about assessment). However, while borrowing from the research process, our framing is different in that the role and relevance of philosophical positions in the context of a growing diversity of positions in assessment and its component parts has yet to be recognized as fundamental when specifying criteria for good assessment (Norcini et al. 2011; Eva et al. 2016; Norcini et al. 2018).

평가 프로그램의 구성요소에 정보를 제공하는 철학적 위치의 복수성
Plurality in the philosophical positions informing components of assessment programs

역량
Competence

[역량의 개념화]가 풍부한 이유는 부분적으로 그들에게 정보를 주는 철학적 위치 때문이다.

Conceptualizations of competence are plentiful in part because of the philosophical positions that inform them. 

[역량]이 [존재하며, 잠재된 특성latent trait으로 볼 수 있으며, 제한된 수의 대표 차원을 사용하여 측정할 수 있다]고 여기는 존재론적 위치를 고려하십시오.(Kane 1992; Epsein and Hundert 2002) (적용된 예로서 Fletcher 외 2003; Norcini 외 2003; Kim 외 2006; Tavares 외 2012 참조). 이러한 견해는 비록 사회적 맥락에 따라 다소 다르게 집행되더라도 진리의 개념인 실증주의, 후기 실증주의의에 대해 말하는 철학적 입장과 일치한다.

Consider the ontological position that competence exists, can be viewed as latent traits, and can be measured using a limited number of representative dimensions.(Kane 1992; Epstein and Hundert 2002) (see Fletcher et al. 2003; Norcini et al. 2003; Kim et al. 2006; Tavares et al. 2012 as applied examples). This view aligns with philosophical positions that speak of concepts of truth—positivism, post-positivism—even if enacted differently across social contexts. 

그러나 이러한 존재론적 입장은 더 이상 보건 직업 교육 내에서 보편적으로 유지되지 않는다. 일부는 후기 실증주의가 역량의 복잡성을 과소평가할 수 있다고 주장하며, 다른 철학적 입장에 의해 informed된 대안적 이해를 요구한다(Govaerts et al. 2007; Hodges 2013; Bartels et al. 2017). 그들은 [역량이 대인관계적이고, 사회적 위치에 있으며, 공동 구성되며, 직접적으로 측정할 수 없는 구조가 있다]고 제안한다. 이러한 관점에서 [제한된 수의 차원]만으로는 역량을 이해하는 데 필요한 모든 관련 속성이나 요소를 잘 나타내지 못한다.

• 예를 들어, 쿠퍼 외 연구진. (2007) 해석론자/구성론자 온톨로지를 보유하고, 역량이 문맥에 얽매이고, 상황적, 대인관계 및 사회적으로 구성되었다고 기술했다(Kuper 등 2007).
• 마찬가지로, 호지스와 링가드(2013)는 [특정한 시간과 장소에서 유능한 전문가가 되는 것이 무엇인지]에 대한 문화적, 정치적, 사회적, 행동적, 경제적 표현에 의해 "역량"이 형성되는 방식을 설명했다. 

However, these ontological positions are no longer universally-held within health professions education. Some have argued instead that post-positivism may underestimate the complexities of competence, calling for alternative understandings informed by different philosophical stances (Govaerts et al. 2007; Hodges 2013; Bartels et al. 2017). They suggest there are constructs for which competence is interpersonal, socially situated, co-constructed, and not directly measurable. In this view, a limited number of dimensions fails to represent well all the relevant attributes or factors necessary to understand competence.

• For instance, Kuper et al. (2007) holding an interpretivist/constructivist ontology, described competence as context-laden, situational, interpersonal and socially constructed (Kuper et al. 2007).
• Similarly, Hodges and Lingard (2013) described how “competence” is shaped by cultural, political, social, behavioral and economic representations of what it is to be a competent professional at a particular time and place (Hodges and Lingard 2013). 

종합하면, 역량은 [측정 가능한 대표 차원을 갖는 진실하고 잠재된 속성]을 반영하거나, [사회적 상호작용에서 파생되고 매개되어 공동 구성되는 것]으로 사용될 수 있다.

Competence can therefore be both as reflective of true, latent attributes with measurable representative dimensions and/or as co-constructions derived from and mediated by social interactions.

평가 전략
Assessment strategies

다른 철학적 입장은 또한 [역량이 어떻게 평가되어야 하는지]에 대해 우리를 다르게 인도한다. 이것은 기초적인 존재론적 가정과 구조와 그것의 평가를 알리는 약속 사이의 인식론적 짝짓기 또는 정렬의 유형을 포함한다. 예를 들어, 우리가 가지고 있는 근본적인 철학적 입장에 따라, 다중 샘플링의 목적, 의미 있는 데이터 출처, 평가자가 평가 과정에 참여하는 방법 및/또는 평가 프로그램의 방법이나 품질을 해석하는 방법에 대해 서로 다를 수 있다. [하나의 존재론적 및 인식론적 쌍]에서 높은 수준의 측정 오류를 발생시키는 것으로 볼 수 있는 평가 전략은, 정확히 [다른 존재론적 및 인식론적 쌍]에서 가장 유용한 유형의 활동일 수 있다. 즉, 교육자/연구자가 역량을 근본적으로 다른 방식으로 이해한다면, 어떤 평가 활동은 둘 중 하나 또는 다른 것과 더 잘 연계될 수 있다.

Different philosophical positions also guide us differently as to how competence should be assessed. This involves a type of epistemic pairing or alignment between the underlying ontological assumptions and commitments informing a construct and its assessment. For instance, depending on the underlying philosophical position(s) we hold, we may disagree on the purpose of multiple sampling, what data sources serve as meaningful, how raters are to engage in the assessment process, and/or how we should interpret the methods or quality of an assessment program. Assessment strategies that may be viewed as generating high levels of measurement error under one ontological and epistemological pairing may be precisely the kinds of activities that would be most informative in another. In other words, if educators/researchers understand competence in fundamentally different ways, it follows that some assessment activities may be better aligned with one or the other.

예를 들어, Whitehead 등(2015)은 역량을 존재론적으로 [사회적으로 구속되고 공동 구성된 것]으로 포지셔닝했다(즉, 구성주의와 일치한다). 따라서 민족지적 평가 활동을 사용하기 위한 후속 권고는 맥락상 일련의 복잡한 사회 구조로서 역량을 평가해야 하기 때문에 [논리적으로 인식론적 호환성]을 충족한다(Whitehead et al. 2015). 그러나 선택된 평가 활동과 관련된 [중립성neutrality의 정도]를 고려할 때 인식론적 쌍에 약간의 유연성이 존재한다. 
For example, Whitehead et al. (2015) positioned competence ontologically as socially bound and co-constructed (i.e., consistent with constructionism). Their subsequent recommendations to use ethnographic assessment activities therefore meets logical epistemic compatibility because of a need to assess competence as a series of complex social constructs in context (Whitehead et al. 2015). However, some flexibility in epistemic pairings exists when one considers the degree of neutrality associated with selected assessment activities.

예를 들어, [텍스트의 사용]은 인식론적으로 중립적인 것으로 간주될 수 있다. [역량을 포착하거나 반영하기 위하여 단어를 수집하는 기능적 활동]이 두 가지 이상의 방식으로 분석될 수 있기 때문이다: 가능한 분석 방법으로는 고전적인 콘텐츠 분석(즉, 단어 사용 횟수 계산)도 있지만 theory-informed 귀납적 및 해석적 비판적 접근법(Lincoln 및 Guba 1985)도 가능하다. 따라서 텍스트 데이터 자체가 어느 정도의 중립성을 허용한다. 따라서 평가 활동과 전략이 역량과 "중립성"의 정도에 대한 존재론적 위치와의 조정은 모두 관련이 있다.

For example, the use of text might be regarded as epistemologically neutral because the functional activity of gathering words intended to capture or reflect notions of competence may be analyzed in more than one way: analytic possibilities range from classical content analysis (i.e., counting how many times a word is used) (Neuendorf 2016) to theory-informed inductive and interpretive critical approaches (Lincoln and Guba 1985), thus allowing the textual data itself a degree of neutrality. The alignment that assessment activities and strategies have with ontological positions on competence and the degree of their “neutrality” therefore both become relevant. 

정당성으로서의 타당성
Validity as justification

평가의 또 다른 주요 구성요소는 타당성 프레임워크를 사용하여 평가 프로그램 데이터(즉, 정당성)에 적용되는 추론, 결정 또는 의미에 대한 논리적 및/또는 경험적 지원을 확립하는 것이다. 타당성의 많은 측면에 대한 합의가 있지만, 한 가지 핵심 의견 불일치는 근본적인 철학적 위치에 있다. 즉, [특정 타당성 프레임워크]를 사용한다는 것 자체만으로는 [특정 철학적 위치]를 본질적으로 나타내거나 자연스럽게 연관되지 않는다. 여전히 역량과 평가 활동에 대한 다양한 위치에 따라 coherence가 flexible하고 uncertain하다.

Another major component of assessment is the establishment of the logical and/or empirical support for inferences, decisions or meanings applied to assessment program data (i.e., justifications) using validity frameworks. While there is consensus on many aspects of validity Cizek 2012, 2016) one key disagreement is in the underlying philosophical position. That is, the inclusion of a validity framework in and of itself is neither inherently indicative of, nor naturally associated with, a particular philosophical position, making coherence with varied positions on competence and assessment activities flexible but also uncertain. 

• 예를 들어, 메식(Messick)은 속성을 특성화하려는 우리의 시도와는 무관하게 "구성주의적-현실주의" 방식으로 타당성을 기술하고 있으나, 실제로는 counterpart가 되는 구인이 있다고 여겨지곤 한다. 그러나 다른 이들은 메식(Messick)의 타당성 모델은 "[측정되고 있는 속성의 존재]에 대한 헌신을 필요로 하지 않는다"며 이 모델은 존재론적으로 자유롭거나 현실주의와 일치할 수 있다고 주장한다(후드 2009).
• 좀 더 최근에. Kane (2013)은 타당성을 실용적이고 과학적인 활동으로 설명합니다(Kane 2013). 철학적 입장에 대한 우려는 타당성과 검증이 단지 주장에 달려있다는 견해 대신에 경시된다. 케인(2013)은 '진실'을 대변하는 것에 대해 어떠한 주장도 하지 않으며, 그보다는 진실을 뒤에 배경에 두고, 필요한 모든 수단을 사용하여 얻은 정당화한 믿음을 주장한다.
• 그러나 Borsboom은 진실은 타당성 프레임워크의 중요한 특징이라고 주장한다. 진리와 명분이 분리될 수 있기 때문에 'justified true belief'이 'justified belief'을 대체해야 한다는 것이다. 

• For example, Messick claimed to be describing validity in a “constructive-realist” way, arguing that attributes are real, independent of our attempt to characterize them, but that there may also be constructs for which there is no counterpart in reality (Hood 2009; Messick 1989). Others have argued that Messick’s validity model “does not require a commitment to existence of the attribute purportedly being measured” and that the model is ontologically free or possibly aligned with realism (Hood 2009).
• More recently. Kane (2013) describes validity as a pragmatic, scientific activity (Kane 2013). Concerns over philosophical positions are downplayed in place of the view that validity and validation are simply contingent on the claims being made. Kane (2013) makes no claims about representing a “truth”, and instead argues for a justified belief obtained using whatever means necessary, leaving truth in the background. (Kane 2013)
• Borsboom, however, argues that truth is an important feature of validity frameworks and that ‘justified true belief’ should replace ‘justified belief’ because truth and justification can come apart (Borsboom and Markus 2013; van Heerden Gideon and Mellenbergh 2013).

따라서 타당한 신념을 주장하는 많은 다른 방법들을 통합하기 위해 다른 철학적 관점을 활용하는 연구자들에 의해 타당성이 점점 더 많이 사용되고 있지만, 불행하게도 너무 자주 [관련 철학적 이슈와 그들의 함축에 대한 설명 없이] 채택되고 있다. 보건직업 교육에서 타당성을 탐구하는 최근의 검토에서도, 연구자들이 "사이코메트리", "대부분 사이코메트리" 또는 "대부분 전문가 판단"에 초점을 맞춘 검증 전략을 사용했다고 제안하는 것 말고는, 대부분 연구자들의 철학적인 입장을 식별하지 못했다.

Thus validity is increasingly used by researchers leveraging different philosophical perspectives to incorporate many different ways of arguing for a justified belief, but it is unfortunately too often adopted without explication of the relevant philosophical issues and their implications. Evan a recent review exploring validity in health professions education did not identify philosophical positions as a main finding other than suggesting researchers used validation strategies that focused on “psychometric”, “mostly psychometric” or “mostly expert judgment”. (St-Onge et al. 2017). 

요약하자면, 현대의 다양한 철학적 입장의 결과로 역량의 본질/정의에 가변성과 (암묵적으로 남겨진다면) 불확정성이 모두 존재하며, 역량의 평가에 사용되는 전략과 활동, 그리고 그 타당성/검증: 이들 사이의 논리적 일관성은 더 이상 (당연한 것으로) 가정될 수 없다. 
In summary, as a result of the variety of contemporary philosophical positions there is both variability and (when left as tacit) indeterminacy in the nature/definition of competence, the strategies and activities used to assess that competence, and their validity/validation: logical coherence between these can no longer be assumed.

[평가의 주요 구성요소에 대한 철학적인 입장]에 따라 [평가 프로그램의 품질과 적절성에 대한 해석]을 달리 해야 할 뿐만아니라, 서로 다른 [실용적인 선택]으로 해석되어야 한다. 기저의underlying 타당성을 포함하여 철학적 입장이 잘못 정의되거나 제대로 고려되지 않는 경우, 평가 프로그램을 개발하고 평가하는 사람들은 결국 다른 방식으로 의미를 부여하게 될 수 있다(Wiliam 2017). 혼합 방법 문헌의 토론을 바탕으로, 우리는 평가 구성 요소 간의 철학적 일치성에 주의를 기울임으로써 평가 프로그램을 훼손할 위험을 완화하는 방법으로 호환성 원칙을 제안한다.

The philosophical positions held about the major components of assessment should translate into different practical choices as well as different interpretations of the quality and appropriateness of assessment programs. When philosophical positions are ill-defined or poorly considered, including those underlying validity, then those who develop and evaluate assessment programs may end up ascribing meaning in different ways (Wiliam 2017). Drawing on debates in the mixed methods literature, we therefore propose a compatibility principle as a way of mitigating the risk of undermining assessment programs by giving attention to philosophical congruence between assessment components. 

Fig. 1

호환성 원칙: 철학적 일치성에 주의를 기울여 평가 프로그램의 훼손 위험 극복
The compatibility principle: overcoming the risk of undermining of assessment programs with attention to philosophical congruence

쿤(1970)에 의해 처음 소개된 철학적 입장의 [양립가능성Compatibility (or commensurability)]은 [혼합 방법 연구]가 진화하면서 강력한 주제가 되었다. 이러한 맥락에서 연구자들은 동일한 연구 내에서 [서로 다른 철학적 입장의 양립불가능성]에 대해 논의하였다. 부분적으로 논쟁은 문제가 반드시 실천 수준(예: 데이터 수집)이나 방법에서 발생하는 것은 아니며, [철학적 입장과 방법 사이에 일대일 대응은 없지만], 철학적 입장과 가정, 약속 및 해석 수준에서 문제가 발생한다는 것이다. 
Compatibility (or commensurability) of philosophical positions, introduced initially by Kuhn (1970), became a strong theme as mixed methods research evolved (Howe 1988). In that context researchers debated the incompatibility of different philosophical positions within the same study (Howe 1988). The argument in part was that problems emerge not necessarily at the level of practice (e.g., data collection) or methods—there is no one-to-one correspondence between philosophical positions and methods (Denzin and Lincoln 2011; Ghiara 2019) but at the level of philosophical positions and the assumptions, commitments and interpretations they impose.

이 논쟁은 소위 정량적 연구가 질적 방법과 더 존재론적으로 양립할 수 있는 개념을 포함할 수 있고(그 반대도 마찬가지), 각각의 기초가 되는 철학적 입장이 논리적으로 독립적이라는 것을 제시하면서 일부 [실용적인 관점]으로 이어졌다(존슨과 온웨그부지 2004).

• 어떤 사람들은 논쟁은 [방법이나 현실의 본질 수준]을 다룰 것이 아니라, [질문의 수준]과 [합리적인 조사와 주장을 제공하기 위해 필요한 모든 것]이 되어야 한다고 느꼈다(Hathcoat and Meixner 2017).
• 그러나, 다른 사람들은 [혼합 방법]이, 방법이 아니라, [철학적 일관성을 유지하는 것]에 달려 있다고 주장했고, 실용적인 "무엇이 효과가 있는가" 격언은 사회적 탐구social inquiry에서 피해갈 수 없는 철학적 측면을 무시했다고 주장했다. 이 프레임에서 보자면, (비)호환성은 연구원들이 가정이 모순되거나 충돌하는 철학적 입장을 가진 문제에 접근할 때 나타날 수 있다. 이 호환성 문제는 혼합 방법 연구 커뮤니티(Ghiara 2019)에서 계속 논의되고 있다.

This debate led to some pragmatic views, suggesting that so-called quantitative studies could include concepts that were more ontologically compatible with qualitative methods (and vice versa), and that the philosophical positions underlying each were logically independent (Johnson and Onwuegbuzie 2004).

• Some felt that the debate should not be at the level of the methods or of the nature of reality, but at the level of the question and whatever it took to provide reasonable inquiries and assertions (Hathcoat and Meixner 2017).
• However, others argued that mixing methods depended on maintaining philosophical consistency, as opposed to methods, and that the pragmatic “what works” maxim neglected the unavoidable philosophical aspects of social inquiry (Hathcoat 2013) In this framing, incompatibility can emerge when researchers approach problems with philosophical positions whose assumptions are contradictory or in conflict. This issue of (in)compatibility continues to be argued in the mixed methods research community (Ghiara 2019).

우리가 설명한 바와 같이, 보건 직업에서의 평가에서는 [역량, 평가 전략 및 정당성 수준에서 다양한 철학적 입장]이 존재합니다. 이러한 각 요소에 대해서 혹은 전반적으로, 일단 어떤 위치가 채택되면, 그 관점의 경험적 결과에 전념하게 된다. 이것들이 충돌할 때, 논리적, 경험적 비호환성의 위험이 나타난다. 그 결과, 정당성 주장은 결함이 있을 수 있고, 동일한 데이터에 대한 다중 해석이 존재할 수 있으며, 근본적인 가정을 무시하는 전략이 맹목적으로 영구화될 수 있으며, 평가에 새로운 학문을 가장 잘 활용하거나 통합하는 방법이 불분명해질 수 있다. 반면에 [평가의 호환성 원칙]은 (어떤 평가를 선택할지 유도하고, 주어진 맥락에 대해 허용되는 평가 전략의 경계를 결정하는) 철학적으로 정보에 입각한 평가의 논리를 촉진한다.
As we have described, within assessment in health professions education different philosophical positions now exist at the levels of competence, assessment strategies, and justification. For each of these components and overall, once a position is adopted, one is committed to the empirical consequences of that perspective. When these are in conflict, a risk of logical and empirical incompatibility emerges. As a result, justification arguments may become flawed, multiple interpretations of the same data can exist, strategies that ignore underlying assumptions may be blindly perpetuated, and the ways to best utilize or integrate new scholarship in assessment become unclear. A compatibility principle in assessment, on the other hand, promotes a logic of philosophically-informed assessment that drives assessment choices and determines the boundaries of acceptable assessment strategies for a given context.

호환성 원칙의 적용
The compatibility principle applied

이어지는 예에서, 우리는 [실증주의/후기 실증주의]와 관련된 가정과 약속을 평가 프로그램의 맥락에서 [구성주의]의 가정과 대조적으로 위치시킬 것이다. 우리는 건강 직업 교육의 최근 권고를 바탕으로 전자(Govaerts et al. 2013)의 한계에 대응하여 후자를 활용하기 위해 이러한 직책을 선택했다. 우리는 이러한 두 가지 철학적 입장이 양립할 수 없다는 것을 발전advancing시키는 데 있어 새로운 것은 없다는 것을 인식하지만, 역량, 평가 전략, 정당성 및 상호 작용을 고려할 때 평가에서의 적용은 덜 명확하다. 둘째로, 우리는 고려해야 할 철학적 입장이 더 많고 여기서 설명하는 것보다 선이 더 흐릿하다는 것을 인지한다. 주목하고자 하는 것은 (질적 대 정량적 토론이 아니라) 평가 설계자가 사용하고자 하는 [철학적 입장의 가정과 약속]이 중요하다는 것이다. 우리의 논지는 [입장이 서로 다른 경우]에는 [평가의 각 구성 요소에 대해 서로 다른 의무와 해석을 요구한다]는 것이다. 따라서 이러한 구성 요소들 사이에 평가 작업을 저해할 수 있는 방치된 부조화가 발생할 수 있다.

In the examples that follow, we position the assumptions and commitments associated with positivism/post-positivism in contrast with those of constructivism in the context of assessment programs. We selected these positions based on recent recommendations in health professions education to leverage the latter in response to the limitations of the former (Govaerts et al. 2013). We recognize that there is nothing new in advancing that these two philosophical positions are incompatible, but their application in assessment is less obvious when considering conceptualization of competence, assessment strategies, justifications, and their interactions. Second, we recognize that there are many more philosophical positions to consider and that lines are likely more blurred than we illustrate here. It is the attention to the assumptions and commitments of any philosophical position (as opposed to a qualitative vs. quantitative debate) that assessment designers intend to use that is of importance here. Our thesis is that different positions mandate different obligations and interpretations for each component of assessment. As such, left unattended, incongruencies can emerge between these components that can undermine assessment work.

예 1: 평가에 관찰자 사용
Example 1: the use of observers in assessment

가상의 예로서, [평가자의 판단과 관찰 결과를 샘플링하는 것]의 중요성에 기초한 임상 역량의 평가를 고려한다. 필연적으로 근본적인 철학적 입장과 연관된 많은 결정들이 내려진다. 예를 들어, 후기 실증주의적 위치(필립스와 버불즈 2000)를 채택하는 것은

• 역량을 [어느 정도의 불완전성을 동반한다면, 측정이 가능한 개인(또는 팀/그룹) 내에 존재하는 잠재 속성의 집합]으로서 포지셔닝할 수 있다.
• 후기 실증주의자들은 임상 자극에 대응하여 나타난 후보 행동에 기초하여 객관적이고 정확하게 정보를 전달할 수 있는 기회로 평가자와 평가자의 기여도를 위치시킬 수 있지만, 어느 정도의 [편향 또는 인간 영향]이 존재하고, 이는 제거되어야 할 소음이나 오류로 간주된다는 것도 인정한다.
• 평가자에 의한 오류의 정도를 더욱 완화하기 위해 [평가자 교육]이 적용된다.
• 평가 도구는 텍스트 유무와 관계없이 (평가자를 돕고 오류를 최소화하기 위해) 고도로 [구조화]될 수 있다. 텍스트가 사용되는 경우, 잠재 속성에 대해 더 자세히 설명하는 것입니다. 이 맥락에서 [샘플링]은 평가자에 기인하는 오류를 (수학적으로) 줄이기 위한 방법이다.
• 마지막으로, 정당화 프로세스는 [신뢰성, 평가자 간 신뢰도, 항목 분석]과 같은 측정 기준을 포함하는 타당성 프레임워크를 사용하여 평가자 행동과 관련된 가정을 탐구할 수 있다.

Consider, as a hypothetical example, assessments of clinical competence based on assessors’ judgments and the importance of sampling their observations. A number of decisions are made that are unavoidably linked to underlying philosophical positions. For example, adopting a post-positivist position (Phillips and Burbules 2000) might include

• positioning competence as a collection of latent attributes existing within individuals (or teams/groups) that are measurable but with some degree of imperfection.
• Post-positivists may position assessors and their contributions as opportunities to objectively and accurately transfer information based on candidate behaviors exhibited in response to clinical stimuli, but with a recognized degree of bias or human influence that is considered noise or error to be eliminated.
• Rater training is applied to further mitigate the degree of error attributable to assessors.
• Rating tools may be highly structured (to assist raters and minimize error) with or without text. Where text is used, it is to further elaborate on latent attributes. Sampling in this context is a method for reducing error (mathematically) attributable to raters.
• Finally, justification processes may use validity frameworks that include metrics such as reliability, inter-rater reliability, and item analyses to explore assumptions related to (and eventually to correct) rater behaviors.

그러나, [해석주의/구성주의] 관점에서 본다면, 역량은 [협상된 사회문화구조]에 더 가까울 수 있다. 

• [평가자]는 주관적이고, 의미 있게 독특하고(더 좋을수록), 가치 중심적이며, 사회적 규칙과 맥락(예: 환경, 사회, 직업 문화)에 의해 수용될 수 있는 관점과 기여를 가지고 있다고 인식되고 평가된다. 
• [평가자 교육(Rater Orientation)]은 행동을 교정하기 위한 것이 아니라 평가자가 자신의 역할과 기여가 어떻게 사용될 수 있는지를 이해하도록 하기 위한 것이다. 
• [등급 척도]는 덜 체계적일 수 있으며, [텍스트 데이터]가 우선된다. 여기서 텍스트는 충분히 다양하고 여러 의미 있는(즉, 풍부하고 다양한) 데이터 소스 중 하나로 인식될 때 가장 가치가 있다. 
• [표본 추출]은 평가자들의 수집이, 평가자 개개인의 고유한 기여도를 통해 구조를 충분히 대표할 수 있도록 하기 위한 의도일 수 있다. 
• 정당화에는 타당성 프레임워크도 포함될 수 있지만(Cook et al. 2016), 정당화된 믿음에 대한 주장은 평가자의 성찰성, 평가자 기여의 다양성 및 생성되는 데이터의 신뢰성과 신뢰성에 대한 고려를 이끌어낼 수 있다. 

However, if viewed from an interpretivist/constructivist perspective, competence may be more of a negotiated sociocultural construction.

• Raters are recognized and valued as subjective, meaningfully idiosyncratic (the more the better), values-driven, and having views and contributions that are acceptably shaped by social rules and contexts (e.g., environment, society, professional culture).
• Rater orientation—rather than rater training intended to correct behavior—is intended to have assessors understand their role and how their contributions may be used.
• Rating scales may be less structured and textual data is prioritized. Here text is most valuable when it is sufficiently varied and is recognized as one of multiple meaningful (i.e., rich and diverse) source of data.
• Sampling may be intended to ensure that the collection of raters, in their unique contributions, sufficiently represent the construct.
• Justification may also involve validity frameworks (Cook et al. 2016), but the arguments for a justified belief may draw on considerations of rater reflexivity, the diversity of rater contributions, and the credibility and trustworthiness of the data being generated. 

예 2: 텍스트 데이터의 사용 및 변환
Example 2: the use and conversion of textual data

한편, 수치numeric 대 서술narrative 평가의 사용을 탐구하는 최근 연구를 고려한다(Bartels et al. 2017). 저자들의 존재론적 및 인식론적 입장은 불분명하지만, 우리는 대안적 입장의 철저한 검토와 공정한 비판을 바탕으로 구성주의적 입장을 취하게 된다. 저자들은 ITER에서 수치 및 서술적 데이터를 소급하여 수집하고, 전문가들이 텍스트 데이터에 번호를 할당하도록 한 다음, 계산된 상관관계 및 신뢰성 분석을 실시했다. 이 시점에서, (만약) 우리의 가정이 정확하다면, 온톨로지와 인식론 사이의 호환성은 저자들의 철학적 위치는 문제가 된다.

Alternatively, consider a recent study exploring the use of numeric versus narrative evaluations (Bartels et al. 2017). The authors’ ontological and epistemological positions are unclear, but we are left to assume a constructivist stance—though we cannot be certain—based on their thorough review and fair criticism of alternative positions. The authors retrospectively collected numerical and narrative data from in-training evaluation reports, had experts assign numbers to the textual data, then calculated correlation and reliability analyses. At this point, compatibility between ontology and epistemology becomes a concern if our assumption about the authors’ philosophical position is accurate.

저자들은 통계 데이터를 정당성의 원천으로 사용하여 [변환된 서술형 평가]가 [숫자 점수만큼 신뢰할 수 있다]고 결론짓는다. 저자들은 암묵적인 견해 때문에 연구를 받아들일 수 있다고 생각한다. 그러나 이제는 다음을 포함한 여러 해석이 가능하다.

• (a) 텍스트에서 숫자 데이터로 신뢰성으로의 변환이 적절한 경우
  
• (b) 의미 있는 변화를 포착하기 위한 텍스트 사용이 이 접근법과 모순되는 경우
  
• (c) 우리(지식 사용자)가 잠재적 호환성 문제를 해결하는 데 어려움을 겪고 있으며 연구를 잘못 이해한 경우

Using the statistical data as a source of justification, the authors conclude that converted narrative evaluations are as reliable as numeric scoring. The authors, we assume, found the study acceptable because of an implicit set of views. However, multiple interpretations are now possible including:

• (a) that the conversion from text to numerical data to reliability was appropriate;
• (b) that the use of text for the purposes of capturing meaningful variation is inconsistent with this approach; or
• (c) that we (as knowledge users) are having difficulty resolving a potential compatibility issue and have misinterpreted the study.

따라서 많은 대안적 해석이 가능하며, (무엇이 증거로 간주되고 무엇이 문제인지 등) 사용자의 철학적 입장에 해석이 남겨져있다. 더욱이, [이 연구가 그 분야를 발전시킬 평가에 관한 더 넓은 대화 내에서 배치될 수 있는 방법]은, 저자들에게는 아닐지 몰라도, [(자신의 입장을 결정해야 하는 처지에 있는) 논문의 사용자들]에게 덜 확실해 보인다. 이 단락에서 논의한 논문이 있는 저자에 대한 공정성을 위해, 우리도 평가 관련 논문에서 우리 자신의 철학적 입장에 대해 명시적이지 않은 것에 대해 죄책감을 느껴왔다. 예를 들어 Tavares 외 2016을 참조하라. 또한, 논문에 철학적 입장이 명시적으로 드러나지 않는 문제는 결코 특이하거나 현재 이 분야의 실천기준에 못 미치는 것이 아니다; 오히려 이는 매우 일반적인 현상이며, 그렇기 때문에 우리는 이 논문을 쓰고자 하는 자극을 받은 것이다.

Many alternative interpretations are thus possible, leaving the interpretation to be guided by the philosophical positions of the user, including what counts as evidence and what is problematic. Further, the ways in which this work can be positioned within broader conversations about assessment that would advance that field become less certain, not necessarily to the authors, for whom these may seem clear, but to users of their contribution who are left to impose their own positions. In fairness to the authors whose paper we have discussed in this paragraph, we note that we too have been guilty of not being explicit about our own philosophical positions in assessment-related papers; see for example Tavares et al. 2016. Also, the lack of explicit philosophical positioning in their paper is in no way unusual or below the current standard of practice in the field; indeed, it is illustrative of the extremely common phenomenon that provided part of the impetus to write this article.

위의 예시들은 [표면적으로는 동일하게 보이는 평가 전략(예: 표본 추출, 평가자 기여)]이 [특정한 방식의 역량 개념화]와는 다소간 일치하거나 불일치할 수 있는 [다른 의미와 역할]을 가질 수 있음을 보여준다. 또한 서로 다른 방법과 철학적인 입장이 하나의 평가 프로그램 내에서 혼합될 경우, 그 결과에 대한 상반된 해석이 가능하다는 것을 명확히 보여준다. 이로 인해 교육자와 평가 연구원 모두 향후 평가 계획 또는 표준을 어떻게 진행해야 할지 불확실한 입장에 놓이게 됩니다. 서로 다른 철학적 입장을 사용하는 평가 프로그램이 서로 다른 방식으로 평가의 유사한 특징에 접근할 수 있는 방법에 대한 나란히 요약은 표 1을 참조한다.

These examples illustrate how assessment strategies that appear the same on the surface (e.g., sampling, rater contributions) can hold different meanings and roles that may align more or less with certain conceptualizations of competence: this is parallel by differences in how validity and validation are applied. They also make clear that if philosophical positions, as opposed to methods, are mixed within an assessment program, conflicting interpretations of its results are possible. This places both educators and assessment researchers in a position of uncertainty about how to proceed with future assessment plans or standards. See Table 1 for a side by side summary of the ways in which assessments programs using different philosophical positions could approach similar features of assessment in different ways.

표 1 서로 다른 철학적 입장을 사용하는 평가 프로그램이 서로 다른 방식으로 평가의 유사한 특징에 접근할 수 있는 다양한 방법에 대한 나란히 요약
Table 1 A side by side summary of the different ways in which assessments programs using different philosophical positions could approach similar features of assessment in different ways

[철학적 가정을 고려하지 않고] 매우 다른 평가 전략을 단일 프로그램에서 결합하려고 시도할 때, 추가적인 호환성 문제가 발생한다. 예를 들어, 역량에 관한 보다 강력한 종합 의사결정 프로세스를 위해 [시뮬레이션]과 [근무지 기반 평가WBA]를 결합하려고 노력하는 상황을 생각해보자.

• [시뮬레이션 맥락]에서 역량은 종종 명확하게 정의되며 평가는 표준화, 일관성, 신뢰성 및 객관성을 촉진한다. 이것들은 후기 긍정주의 철학적 입장과 밀접하게 일치하는 공통 속성들입니다.
• 그러나, [근무지 환경]에서, 어떤 사람들에게는 역량이 역동적이고, 문맥적으로 구속되고, 건설되고, 공식적이고 비공식적인 차원으로 사회적으로 위치하는 것으로 개념화 될 수 있다.

Further compatibility issues arrive when attempting to combine very different assessment strategies in a single program without considering their philosophical assumptions. Consider, for example, the effort to combine both simulation and workplace based assessments for a more robust summative decision making process regarding competence.

• In a simulation context, competence is often clearly defined and assessments promote standardization, consistency, reliability and objectivity. These are common attributes closely aligned with a post-positivist philosophical position.
• However, in workplace contexts, for some, competence may be conceptualized as dynamic, contextually bound, constructed and socially situated with formal and informal dimensions.

평가 프로그램을 구조화한다는 것은 다양성, 풍부성, 포괄성 및 주관성을 촉진하는 것을 의미할 수 있다. 이것은 구성주의 철학적 입장과 더 밀접하게 일치한다. 그 두 가지가 결합되면, 우리는 개념적인 투쟁을 하게 될지도 모른다. 예를 들어, 어떤 철학적 위치에서 정당화 전략을 알려야 하며, 다른 "경쟁" 위치에서 수집된 데이터가 어떤 방식으로 중요한가? 이러한 이슈는 특히 평가 결정이 엄격하게 정당화되어야 할 때 하찮지 않다.

Structuring assessment programs may mean promoting diversity, richness, comprehensiveness and subjectivity. This is more closely aligned with a constructivist philosophical position. When the two are combined, we might find ourselves in a conceptual struggle. For instance, under which philosophical position are we to inform justification strategies and in what way does data collected under a different “competing” positions matter? These issues are not inconsequential, particularly when assessment decisions have to be rigorously justified.

논리적 확장: 실용주의 및 기타 고려사항
Logical extensions: pragmatism and other considerations

실제 작업을 진전시키기 위해(평가 활동을 수행하고 정당화하는 업무를 계속하기 위해) 일부는 다양한 반대 입장을 취했습니다. [철학적 호환성]에 대한 우리의 주장의 약점 중 하나는 [평가 과학을 가이드하는 이상적인 철학적 위치]로서 [실용주의]의 역할과 적합성이다. 우리는 평가를 [사회적 탐구 과정]으로 설명했으며, 이 과정은 우리가 무엇을 이해하고, 예측하고, 그리고/또는 주장을 하는지에 대한 기본적인 철학적 입장에 의해 형성된다.
In order to move their practical work forward—to get on with the business of doing and justifying assessment activities—some have taken up various counter-positions. One of the claims to which our argument for philosophical compatibility may be vulnerable is the role and suitability of pragmatism as the ideal philosophical position to guide assessment science (recognizing that other positions, such as realism or philosophical pluralism, may be of equal interest). We have described assessment as a social process of inquiry, shaped by fundamental philosophical positions about what we are interested in understanding, predicting, and/or making claims.

일부에서는 [실용주의]가 오늘날 평가에서 [가장 적절한 철학적 위치]라고 주장할 수 있다. 왜냐하면 건강 직업에서의 평가가 정의하기 어려운 사회적으로 집행되는 주관적이고 추상적인 구조와 관련이 있기 때문이다. (Guon et al. 2018). 또한, [타당성/자원, 기회, 비용, 수용성, 평가자 행동, 교육적 영향 등의 균형을 유지해야 하는 필요성을 포함하여 많은 압박]이 평가 계획에 작용한다. 이것들은, 적어도 누군가에게는, 실용주의가 해결책이 될 수 있는 중요한 실용적인 질문들이다. 

Some may argue that pragmatism, as one such position, is the most appropriate philosophical position in assessment today in part because assessment in the health professions involves socially enacted subjective and abstract constructs that are difficult to define (Guyon et al. 2018). Further, a number of pressures act on assessment plans, including the need to balance feasibility/resources, opportunities, cost, acceptability, rater behaviors, educational impact, etc. These are important practical questions to consider of which pragmatism, for some, may be a solution.

실용주의는 어느 정도의 유동성과 개방성을 나타내며, 철학적 논쟁을 명확히 하는 방법을 제공할 수 있다. 여기에는 하나의 철학적 입장과 다른 철합적 입장사이에 무엇을 선택할지에 대한 문제의 해소, 또는 상충되거나, 알 수 없거나, 평가에 영향을 미치지 않는 "진실"과의 긴장 문제 해소 등이 포함될 수 있다(Bernstein 1989; Morgan 2014).

Pragmatism does represent a degree of fluidity and openness and may provide a way of clarifying philosophical disputes (Bernstein 1989). These may include resolving issues related to how to choose one philosophical position over another, or tensions with “truths” that are in conflict, are unknowable, or have no impact on assessment (Bernstein 1989; Morgan 2014).

그러나 우리는 [운영을 위한 접근법으로서 실천적practical이거나 실용적pragmatic이라는 평준한 정의("무엇이 효과가 있는가")]와 [긴 지적 역사를 가진 명시적이고 의도적인 철학적 위치로서의 실용주의] 사이에서 명확한 구분을 하고자 한다. (Dewey 2018; James 1907). 후자는 평가 문제에 대한 실행 가능한 접근 방식으로 제공할 수 있는 것이 많다.

However, we draw a clear distinction between

• the lay definition of being practical or pragmatic as an operational approach (“what works”), which may be what is most commonly meant by pragmatism within assessment science, versus
• pragmatism as an explicit and deliberate philosophical position with a long intellectual history (Dewey 2018; James 1907) that has much to offer as a workable approach to assessment problems.

호환성 원칙에 도전하는 다른 아이디어도 고려할 가치가 있다. 

• 예를 들어, 평가 과학은 평가의 성격과 수행에 대한 공통된 믿음을 나타내는 많은 예시를 가질 수 있다(예: 프로그램 평가). 실용주의나 철학적 입장의 혼합에 근거한 평가는 양립원칙의 필요성에 도전할 수 있는 예로 제시될 수 있다. 
• 유사한 개념은 [혼합 방법 연구]에서 [모범으로서의 패러다임]으로 설명되었으며 평가 작업의 뉘앙스와 평가 필드를 채울 가능성이 높은 수많은 철학적 입장을 수용하는 방법을 제공한다고 주장될 수 있다. 
• 또한 [서로 다른 존재론적, 인식론적 경로 또는 이들의 pairing]을 통해 평가 프로그램을 수행함으로써, [서로 다른 관점을 촉진]하고, [기존에 당연하게 여겨왔던 것]에 대한 검토를 촉진할 수 있는 경우도 있을 것이다. (Greene 2006; Uprichard and Dawney 2016; Ghiara 2019) 

Other ideas challenging a compatibility principle are also worth considering.

• For instance, assessment science may have a number of exemplars that represent a shared belief about the nature and conduct of assessments (e.g., programmatic assessments). Assessments grounded in pragmatism or in the mixing of philosophical positions may be presented as exemplars that may challenge the need for a compatibility principle.
• A similar concept has been described in mixed methods research as paradigms-as-exemplars and may be argued to provide a way of accommodating nuances in assessment work and the numerous philosophical positions that are likely to populate the assessment field.
• In addition, there are likely to be instances in which assessment programs can be conducted through different ontological and epistemological pathways or pairings thereby facilitating different points of view and promoting helpful examination of taken for granted understandings. (Greene 2006; Uprichard and Dawney 2016; Ghiara 2019).

앞으로 가는 길
Ways forward

[평가 설계]와 [평가 품질의 결정]은 [지표를 만들고 관행을 평가하는 사람들]의 신념과 기준의 적용을 받는다. 이러한 신념과 기준은 결국 수많은 철학적 위치에 의해 형성되고 정보에 의해 형성되는 사회적 과정을 적용한다. 우리는 HPE에서 평가에 대한 철학적 관점의 다양성이 증가하였다는 것에 encourage되었지만, 동시에 [다양한 철학적 위치의 적용]과 관련된 가정과 헌신은 새로운 영역에 초점을 둘 필요를 요구함을 인지하고 있다. 예를 들어, 우리는 결과와 정당성의 다중적인 의미 또는 상충되는 해석을 피하려면, [다양한 포지션]이 어떻게 [구조의 개념화]로 변환되는지, 그리고 그것들이 특정 평가 활동과 어떻게 정렬(또는 정렬되지)되는지에 주목해야 한다. 
Assessment design and the determination of assessment quality are subject to the beliefs and standards of those who create indicators and evaluate practices. These beliefs and standards are, in turn, applied social processes shaped and informed by numerous philosophical positions. We are encouraged by the growing diversity of philosophical views on assessment in health professions education but also recognize that assumptions and commitments associated with the application of different philosophical positions require new areas of focus. For example, we now must attend to how various positions translate into conceptualizations of constructs and how those are aligned (or not) with specific assessment activities in order to avoid the multiple meanings or conflicting interpretations of results and justifications.

건강직업 평가를 알리는 철학적 입장의 범위가 넓어지면서 [평가 실천의 논리와 정당성]에 대한 관심이 필요하다. 이런 식으로, [특정한 방법이 특정한 철학적 입장과 반드시 연관되지는 않기 때문에], 방법들에 대한 논쟁이나 경계 작업은 피할 수 있고, 철학적인 입장은 몇몇 유사한 방법과 일치할 수 있고, 연구자들은 하나의 철학적 입장을 채택하면서 방법들을 혼합할 수 있다. 더불어, 철학적 지위의 우월성에 대한 논쟁은 덜 강조될 수 있다. 흥미로운 것은 평가 학문과 실천에서 철학적인 입장이 어디서 그리고 어떻게 명확성, 일치성, 모순을 보이는가이다.

As the range of philosophical positions informing health professions assessment broadens, attention to the logic of assessment practice and justification is needed. In this way, debates or boundary work over methods can be avoided, since methods are not associated with a specific philosophical position, a philosophical position can be congruent with several similar methods, and researchers can mix methods while adopting one philosophical position. Also, debates over the superiority of philosophical positions can be deemphasized. What is of interest is where and how philosophical positions exhibit clarity, congruence, and contradictions in assessment scholarship and practice.

우리는 철학적 입장 사이의 경계가 항상 매우 뚜렷하거나 양립할 수 없다고 제안하지는 않는다. 이들을 가로지르는 투과 가능한 경계는 많은 경우에 [호환성 제약]을 완화한다. 교육 연구의 개념 및 이론적 프레임워크(Bordage 2009) 또는 혼합 방법 연구의 발전(Teddlie 및 Tashakkori 2012)에 적용되는 가치와 마찬가지로, 평가 분야에서도 철학적 다원주의의 여지가 있다. 쿤은 의사소통의 붕괴를 피하기 위해서 중요한 것으로 [(하나의 특정 입장이 아니라) 공통적으로 합의된 어휘와 원칙의 집합의 가치]를 설명했다.(Kun 2012; Morgan 2007) 이 시점에서 더 이상의 조직을 장려하는 것은 시기상조이며 불분명한 경계나 통일성을 확립하려는 잘못된 시도이거나, 더 나쁜 것은 다양한 관점과 이해의 기회를 침묵시키려는 잘못된 시도일 수 있습니다.
We do not suggest that the boundaries between philosophical positions are always highly distinct or incompatible. The permeable boundaries across them loosen compatibility constraints in many cases. Much like the value applied to conceptual and theoretical frameworks in education research (Bordage 2009), or advances in mixed methods research (Teddlie and Tashakkori 2012), there is room for philosophical pluralism in the field of assessment. Kuhn described the value of a commonly agreed upon vocabulary and set of principles (not a specific position) to avoid breakdowns in communication.(Kuhn 2012; Morgan 2007) Encouraging any more organization at this point may otherwise be premature and a misguided attempt to establish unclear boundaries or uniformity or, worse, to silence diverse perspectives and opportunities to further understanding.

다음 방법을 사용하는 것이 좋습니다.
As a way forward, we recommend the following:

a. 철학적 입장(그것이 혼합된 경우에도)을 명확하게 표현하고 합리화합니다. 그래야 지식 사용자가 가정을 이해하고 명시된 입장과 관련하여 정당성을 이해하고 검토할 수 있다. 예를 들어, 교육자는 관찰자의 철학적 위치 선택에 따라 다르게 지침을 구성할 수 있다(예: 주관성을 최소화하거나 촉진한다). 동일한 평가 계획 내에서 그리고 지식 사용자에게 적용되는 철학적 입장에 따라 적절하거나 결함이 있는 전략이 될 수 있다.
a.Clearly articulate and rationalize philosophical positions—including when they are mixed—so that knowledge users may understand assumptions and make sense of and examine justifications in relation to the stated position(s). For example, an educator may structure guidance for observers differently depending on their choice of philosophical position (e.g., minimize or promote subjectivity). Within the same assessment plan and to the knowledge user, either could be an appropriate or flawed strategy depending on the applied philosophical position(s).

b.한 철학적 입장이 다른 것보다 낫다는 섣부른 주장을 피하고 대신 각각의 장점, 경계, 관계, 혼합 및 양립성을 개발하는 데 초점을 맞춘다. 많은 철학적인 입장이 몇 가지 유사한 방법을 채택할 수 있기 때문에, 여기에는 데이터 수집(예: 양적 대 질적 또는 기타 유사한 산만 요소)이 저하되는 논의로부터 보호하는 것이 포함된다.

b.Avoid premature claims that one philosophical position is better than another and instead focus on developing the merits, boundaries, relationships, mixing and compatibility within and/or between each. This includes guarding against discussions that degrade to data collection (e.g., quantitative vs. qualitative or other similar distractors), as many philosophical positions can employ several similar methods.

c. 평가 맥락에서 [철학적 입장의 역할과 관련성 및 여러 철학적 입장의 양립가능성]과 관련하여, 추가적인 핵심 가치나 원칙에 대해서 의문을 가지고, 반박하고, 세분화하고, 확장하고 또는 결정한다. 예를 들어, 철학적 다원주의를 위해서는 호환가능성이 거부되어야 하는가?
c.Question, refute, refine, extend and/or determine further a core set of values/principles related to the role and relevance of philosophical positions and their compatibility in an assessment context. For example, should compatibility be rejected for philosophical pluralism?

d.이분법이 아니라 '호환성'에서 '비호환성'에 이르는 연속체로 기술하는 전략과 기준을 수립합니다. 실증주의를 구성주의로부터 묘사하는 것은 현실주의, 상대주의, 포스트 구조주의, 실용주의, 또는 철학적 다원주의를 고려할 때 존재할 수 있는 것보다 덜 복잡할 수 있다.

d.Establish strategies and criteria to delineate along a continuum (as opposed to a dichotomy) from ‘compatible’ to ‘incompatible’. Delineating positivism from constructivism may be less complex than what might exist when considering realism, relativism, post-structuralism, pragmatism, or philosophical pluralism.

e.평가를 제공하는 철학적 위치가 넓어짐에 따라, 설계자(및 연구자)는 이러한 문제와 관련된 광범위한 지식 기반과 역량 세트를 갖춰야 할 수도 있다. 예를 들어, HPE의 평가에 대한 전통적인 텍스트를 다양한 적용 가능한 철학적 위치와 관련된 내재된 가정과 의무에 대해 상세히 설명하는 텍스트로 보완하는 것이 포함될 수 있다.
e.Given the broadening philosophical positions informing assessment, designers (and researchers) may require a broadened knowledge base and set of competencies related to these issues. This may include for example, complementing traditional texts about assessment in the health professions with texts elaborating on the inherent assumptions and commitments associated with various applicable philosophical positions.

평가 과학의 발전을 지원하기 위한 시사점 및 프로세스의 추가 예는 박스 1을 참조하십시오.
See Box 1 for additional examples of implications and processes that are intended to support the advancement of assessment science.

Box 1 Examples of implications and processes informed by our recommendations

결론들
Conclusions

보건 직업 교육자들은 임상 역량의 여러 미묘한 측면을 평가하는 임무를 맡고 있다. 이는 평가 커뮤니티가 [(종종 암묵적으로) 기본 철학적 입장의 범위를 넓히는 방식]으로 역량, 평가 및 정당성을 탐구하도록 이끌었다. 이러한 다양한 철학적 입장은 이러한 구성 요소에 대한 이해와 사용을 새로운 방식으로 확장하는 데 도움이 되지만, 동시에 평가 프로그램을 저해할 수 있는 두 구성 요소 간의 비호환성의 위험을 초래한다. 여기에는 추론, 품질 및/또는 방어성이 어렵거나 불확실하거나 의도하지 않은 해석을 남기는 것이 포함된다. 이 성찰에서 우리는 임상 역량 평가에 철학적으로 정통한 탐구 논리를 적용하는 것의 가치를 입증한다.
Health professions educators are tasked with assessing multiple nuanced aspects of clinical competence. This has led the assessment community to explore competence, assessment and justifications in ways that involve broadening the range of (often implicit) underlying philosophical positions. This variety of philosophical positions helps to expand our understanding and uses of these component parts in new ways but also introduces a risk of incompatibility between them, that can undermine assessment programs. This includes leaving interpretations of inferences, quality, and/or defensibility difficult, uncertain, or unintended. In this reflection we demonstrate the value of applying a philosophically informed logic of inquiry in the assessment of clinical competence.

철학적 입장은 궁극적으로 우리가 평가에서 어떻게 행동하고 우리가 주장하는 것에 영향을 미칩니다. 비트겐슈타인의 조사 철학에 따른 규칙에 대해 부르불레스(1993)는 다음과 같이 썼다: "규칙(존재론과 인식론)이 실천을 guide하지만, 실천을 지배rule하지는 않는다; 규칙들은 내재되어 있으며, 행위자actor의 "상황state of play"와 그들의 가치에 무의식적으로 영향을 미친다. 선택이 아니라 성향disposition이다(Burbules 1993)." 평가 과학을 발전시키기 위해서, 우리는 우리가 하는 일에 그러한 [성향]들을 분명히 할 필요가 있습니다.

Philosophical positions ultimately influence how we act in assessment and the claims we make. As Burbules (1993) wrote about rules according to Wittgenstein’s philosophy of investigations: “Like rules [ontologies and] epistemologies guide practice but do not rule it; they are embedded and unconsciously affect the “state of play” of the actors and their values. Not so much a choice as it is a disposition”(Burbules 1993). In order to advance assessment science, we need to make those dispositions explicit in the work that we do.

Adv Health Sci Educ Theory Pract. 2020 Oct;25(4):1003-1018.

 doi: 10.1007/s10459-019-09939-9. Epub 2019 Nov 1.

The compatibility principle: on philosophies in the assessment of clinical competence

Walter Tavares 1 2, Ayelet Kuper 3 4 5, Kulamakan Kulasegaram 3 6 7, Cynthia Whitehead 3 6

Affiliations expand

• PMID: 31677146
• DOI: 10.1007/s10459-019-09939-9AbstractKeywords: Assessment; Clinical competence; Educational measurement; Performance based assessment; Philosophy; Rating process; Validity.
• The array of different philosophical positions underlying contemporary views on competence, assessment strategies and justification have led to advances in assessment science. Challenges may arise when these philosophical positions are not considered in assessment design. These can include (a) a logical incompatibility leading to varied or difficult interpretations of assessment results, (b) an "anything goes" approach, and (c) uncertainty regarding when and in what context various philosophical positions are appropriate. We propose a compatibility principle that recognizes that different philosophical positions commit assessors/assessment researchers to particular ideas, assumptions and commitments, and applies ta logic of philosophically-informed, assessment-based inquiry. Assessment is optimized when its underlying philosophical position produces congruent, aligned and coherent views on constructs, assessment strategies, justification and their interpretations. As a way forward we argue that (a) there can and should be variability in the philosophical positions used in assessment, and these should be clearly articulated to promote understanding of assumptions and make sense of justifications; (b) we focus on developing the merits, boundaries and relationships within and/or between philosophical positions in assessment; (c) we examine a core set of principles related to the role and relevance of philosophical positions; (d) we elaborate strategies and criteria to delineate compatible from incompatible; and (f) we articulate a need to broaden knowledge/competencies related to these issues. The broadened use of philosophical positions in assessment in the health professions affect the "state of play" and can undermine assessment programs. This may be overcome with attention to the alignment between underlying assumptions/commitments.

신화와 사회적 구조: 참을 수 없는 집합적 신화의 필요성 (Med Educ, 2020)
Myths and social structure: The unbearable necessity of mythology in medical education
Maria Athina (Tina) Martimianakis1 | Jon Tilburt2 | Barret Michalec3 | Frederic W. Hafferty4

1 | 도입 
1 | INTRODUCTION

의학 교육에서, 사람들이 어떻게 학습에 대한 특정한 행동과 태도를 발전시키는지를 포함하여, 어떻게 학습하는지에 대하여 과학에 기반을 둔 이해는 의료 훈련의 조직에 필요한 정보를 제공합니다. 과학의 정신으로 운영되기에, 의학 교육자들은 그들의 교육 작업이 과학적인 신화 (또는 거짓)에 근거하는 것을 꺼린다. 이러한 지식의 "신화" 및 이와 관련된 잘못된 관행을 밝히는 것은 낭비적이고 위험한 학술활동으로부터 자원과 관심을 피하는 데 도움이 됩니다.  
In medical education, scientifically based understanding of how people learn, including how they develop certain behaviours and attitudes towards their learning, provides necessary information for the organisation of medical training. When operating in the ethos of science, medical educators are reluctant to base their educational work on scientific myths (or falsehoods). The debunking of such knowledge “myths” and associated misguided practices serves to avert resources and attention from wasteful and dangerous scholarship.  

간단히 말해서, 비록 신화가 과학의 진보를 방해하지만, 그것들은 여전히 사회적, 정치적 기능을 가지고 있다. 우리가 이러한 신화들의 대체 기능을 연구할 때, 우리는 현대 사회 문화적, 정치적 배열arrangement이 의학 교육을 변화시키는 우리의 역량에 어떻게 방해가 되는지 더 잘 이해할 수 있다. 
Put simply, although myths interfere with the progress of science, they still have social and political functions. When we study these alternative functions of myths we can better appreciate how contemporary sociocultural and political arrangements interfere with our capacity to transform medical education. 

지식 분야는 [어떤 지식이 중요하게 여겨지는지에 대한 공유된 가치 시스템]을 구축함으로써 통해 [사회적 조직]을 이룹니다. 이런 의미에서 모든 정신은 신화를 내포하고 있다. 즉, 모든 윤리적 시스템은 인간의 본성, 자유, 선과 악, 그리고 우주의 작용에 대한 가정을 밝히는 몇 가지 근본적인 이야기에 의존한다. 
Knowledge fields achieve social organisation through the establishment of a shared value system in relation to what counts as knowledge. In this sense, “[e]very ethos implies a mythos. That is, every ethical system depends upon some fundamental story disclosing its assumptions about human nature, freedom, good and evil, and the workings of the universe”.1 

의학, 더 나아가 의학 교육은 "[신화의 규칙]에 따라" 운영되는데, 이 규칙은 "우리의 질서와 안보는 우리 자신에 대한 관심과 과학적인 조사로부터 비롯된다"고 주장한다. 
Medicine and, by extension, medical education operate “under the rules of a myth,” which claims that “our order and our security stem from interest in and scientific investigation of ourselves as matters of great importance”.2 

이것이 [과학의 규범적 차원normative dimension of science]입니다. 신화는 [사고 및 사회 조직]을 생성하기 때문에 사회적 상호작용과 조직을 위한 도관conduit이다. 이처럼 신화는 '끝없이 펼쳐지고' '놀라운 해석과 환생에 열려 있다'는 것이다. 의학 교육에 종사하는 사회 과학자들에게, ["과학"이나 다른 "신화"의 규범적인 기초 위에 전제된] 아이디어와 실천은 많은 중요한 (의학교육) 주제로의 진입점으로서, 예를 들어 그 분야가 무엇을 지식으로 여기는지, 그리고 교육 개혁을 위해 시간과 에너지를 어떻게 어디에 투자해야 하는지 등이 포함된다.

This is the normative dimension of science. Because mythologies create systems of thinking and social organisation (whether they are premised on purported scientific thinking or other accepted value systems), they are conduits for social interaction and organisation. As such, myths are “endlessly unfolding” and “open to amazing interpretation and reincarnation”.3 For social scientists working in medical education, ideas and practices that are premised on the normative underpinnings of “science” or other “mythologies” are entry points to a number of important topics, including how the field comes to appreciate what counts as knowledge, and how and where to invest time and energy for education reform.

이러한 이유로, 우리는 비판적인 서술 방식을 채택했다. 이러한 접근법에 따라, 우리는 의학교육 문헌에서 [신화와 신화 깨부수기myth busting]에 대한 오리엔테이션을 찾았고, 과학의 사회학과 Merton의 명시적 기능과 잠재적 기능에 대한 개념으로부터 분석적으로 끌어낸 이 문헌을 검토했다. 

For these reasons, we employed a critical narrative approach.4 Consistent with this approach, we searched the medical education literature for orientations to myths and myth busting, and reviewed this literature analytically drawing from the sociology of science and Merton's concepts of manifest and latent functions.5 

우리의 접근방식은 신화 및 신화 버스트에 대해 알려진 것에 대한 철저한 분석을 실시하지 않았다는 점에서 체계적인 검토와 다르다. 대신 우리는 "의대 교육의 모든 신화는 자동적으로 무너질 가치가 있다"는 가정에서의 의도하지 않은 결과를 탐구했고, 이 입장을 문헌의 대표적인 사례로 뒷받침했다.

Our approach differs from a systematic review in that we did not conduct an exhaustive analysis of what is known about myths and myth busting. Instead, we explored the unintended consequences of assuming that “all myths in medical education automatically deserve to be busted”, and supported this position with representative examples from the literature. 

2 | "신화"의 어원과 신화를 만드는 사회적 기능
2 | THE ETYMOLOGY OF “MYTH” AND THE SOCIAL FUNCTION OF MYTH-MAKING

"신화myth"라는 용어는 그리스 단어인 Mythos와 현대 라틴 신화에서 직접 유래했습니다. 그것은 사회적 또는 자연적 현상에 대한 설명, 원인론, 정당성을 제공하는 전통적인 이야기, 전설, 민속 또는 설화를 담고 있다.7 그것은 또한 [사실이 아니거나 잘못된 믿음, 널리 받아들여지는 오해, 진실의 잘못된 표현 또는 허구의 무언가]라는 의미를 내포하고 있다.7 두 번째 의미는 첫 번째 의미와 밀접한 관련이 있습니다. 19세기에 이르러, [과학의 발흥]은 "신화의 죽음"을 의미하는 것으로 생각되었다.8 그리고 과학적 결과물work of science 안에서, 우리가 현재 신화라고 부르는 이야기들은 [순진한 것 또는 잘못된 설명]이라는 속성을 갖기 시작했고, 따라서 "우리가 관심을 갖는 사실과는 무관한 것"으로 인식되었다.
The term “myth” stems directly from the Greek word mythos and from the modern Latin mythus. It connotes a traditional story, legend, piece of folklore or tale that provides an explanation, aetiology or justification for social or natural phenomena.7 It also connotes an untrue or erroneous belief, a widely held misconception, a misrepresentation of the truth, or something fictitious.7 The second meaning is closely associated with the first. By the 19th century, the rise of science was thought to spell “the death of myths”.8 In turn, and within the work of science, the stories we now call myths began to take on the attributes of naïve or erroneous accounts and thus were perceived to have “no relevance where facts [we] re concerned”.9


[(거짓 이야기나 설명으로 취급되는) 신화]는 [(이 세상이 어떻게 기능하는지에 대한 객관적이고 검증 가능한 진리를 찾는) 자연과학자들]에게는 거의 가치가 없는 것으로 여겨진다. 과학자로서, 의사들은 "질병을 다른 자연 현상과 유사한 방식으로 바라볼 수 있도록" 훈련받았고, 그 결과 "가장 보편적이거나 가장 일반적인 질병이 가장 중요한" (위계라는 관점에서의) 근거를 지향한다. 다양한 의학 이론, 주장, 관행 또는 치유적 전통을 "신화"라고 부르는 것은 의학 교육의 노화와 진보를 나타내는 지표 역할을 한다. 토마스 쿤의 의미에서, [신화 깨부수기myth busting]은 지식을 창출하는 분야의 자연스러운 운영방식이다. [새로운 과학적 발견]은 [현재의 사고 방식]로부터 충분한 분열disjuncture을 만들내고, 이를 통해 (그 분야의 기능을 유지하고, 기존의 잘못된 설명을 없애기 위한) 패러다임 전환이 필요해지게끔 만든다. 이것은 현대 의학의 기원 이야기origin story이자, 의학교육도 이 연장선상에 있다. 

Treated as false stories or explanations, myths are seen as holding little value for natural scientists looking for objective, verifiable truths about how the world functions. As scientists, physicians are trained to “view disease in a similar way to other natural phenomena”10 and as a result are oriented towards evidence in hierarchical terms in which “that which is most universal in its application or most general in its import, is the most significant”.2 The labelling of various medical theories, claims, practices11-14 or healing traditions15,16 as “myths” functions as a marker of senescence and progress in medical education.17-21 In the Kuhnian sense,22 myth busting is a natural operation of knowledge-generating fields, whereby new scientific discoveries produce enough disjuncture in the current way of thinking to necessitate a paradigm shift to maintain the function of the field and to rid it of erroneous former explanations. This is the origin story of modern medicine and by extension of medical education. 

의학과 의학교육을 포함한 많은 문화들이 기원 스토리origin stories를 구성한다. 이러한 기원 스토리가 특정 문화에서 어떻게 기능하는지는 다양합니다. 신화의 내용을 고려하는 것만으로는 충분하지 않다. [신화의 의미]는 다음과 같은 [언제, 누구에 의해서, 어떤 목적으로 그 신화가 받아들여지는지]와 같은 사회적 기능도 포함한다. 사람들은 신화의 의미를 동시에 그리고 반복적으로 해석하면서 공동 창작을 합니다. [무언가를 신화화하는 것mythologising]은 우리가 세계와의 교류를 체계화하고, 우리가 되어가는becoming 방법을 협상할 수 있게 해준다. 간단히 말해서, 신화는 진공 속에 존재하는 것이 아니다; 그것들은 종종 더 큰 사회 문화적, 정치적 지형의 특정한 측면을 반영한다.

Many cultures, including those of medicine and medical education, construct origin stories. How these origin stories function in specific cultures varies. It is not enough to consider the content of a myth. The meaning of a myth also includes its social function: when it is taken up, by whom and for what purpose. People co-create while simultaneously and iteratively interpreting the meaning of myths.23 Mythologising allows us to organise our engagement with the world and to negotiate ways of becoming. In short, myths do not exist in a vacuum; they often reflect certain aspects of the larger sociocultural and political landscape.

인간의 추론과 인지가 자신 및  타인의 신체와 분리되어 기능한다는 이론인 데카르트 이분법Cartesian split은 "질병은 그 질병을 가진 사람과 분리되어 고려할 수 있다"는 개념을 가능하게 한다. [환자의 의미 형성과 그들의 건강 경험을 해석하기 위한 몰입]은 (이러한 데카르트 및 생의학적 신화에 의해 강화되어) 의학의 문화에서 여전히 "기타other"로 간주되고 있다.
The Cartesian split, a theory which holds that human reasoning and cognition function separately from the bodies of themselves and others, makes possible the notion that “disease can be considered as separate from the person with it”.23 Reinforced by this Cartesian/ biomedical mythology, immersion in the meaning making of patients and the interpretation of their health experiences, is still regarded as “other” in the culture of medicine. 

이와는 대조적으로 사회과학 및 인문학(인류학, 심리학, 철학, 종교학, 정치학, 사회학)에서는 신화가 [과학적으로 타당한지 여부]에 관계없이, 사회발전의 이해를 위한 포털을 만드는 것으로 보고 있다.* 유통되는 신화, 특히 "정체가 폭로debunk"된 후에도 지속되는 신화는 사회적 기능을 계속 수행하고 있을지도 모른다. 신화는 [신념을 공유]하게 만들며, 그 과정에서 특정한 실천을 둘러싼 [사회적 안정, 정체성 형성 및 공동체]에 기여합니다. 더크하임은 다음과 같이 쓰고 있다. "모든 신화는, 우리가 가장 불합리하다고 생각하는 것조차, 모두 믿어져 왔다. 사람들은 자신의 감각 못지 않게 신화를 굳게 믿어왔다. 사람들은 신화에 기초하여 행동했다."28 

By contrast, the social sciences and humanities (anthropology, psychology, philosophy, religious studies, political science and sociology)24-27 view myths as creating a portal to the understanding of social development regardless of whether the narrative is scientifically valid or not.* Circulating myths, especially myths that persist even after they have been “debunked”, may continue to serve social functions.24,26 Myths enjoin shared belief and, in the process, contribute to social stability, identity formation and community around specific practices.25,26 As Durkheim writes, “… all myths, even those which we find the most unreasonable, have been believed. Men have believed in them no less firmly than in their own sensations; they have based their conduct upon them.”28 

"신화"라는 용어는 단순히 [거짓이 담긴 그릇]보다 훨씬 더 많은 것을 함축한다. "신화"는 "우리가 공유하고 있는 지적 문화의 일부로서 물려받은 아이디어와 신념"을 포함합니다.29 의학과 의학 교육은 그 자신의 origin story가 그러한 신화 중 하나를 대표한다. 즉, 중요한 지식은 오로지 인체와 (인지를 포함한) 인체의 작동에 대한 과학에 기반한 인식scientifically derived appreciation뿐이라는 것이다. 그 결과, 오늘날 의학 교육에 종사하는 사람들은, 비록 사회 과학과 인문학에 대한 지향을 업무에 포함시키고 싶어도, 과학주의scientism의 기대와 맞서 싸워야 한다.  
The term “myth” then entails much more than a container for falsehood. It encompasses “ideas and beliefs that we inherit as part of our shared intellectual culture”.29 For medicine and medical education, the origin story of their own fields represent one such myth: that the only knowledge that matters is scientifically derived appreciation of the human body and its operations, including cognition. Those working in medical education today, even if they aspire to include an orientation towards social science and the humanities in their work, must struggle against the expectations of scientism. 

신화는 [의미, 문화, 이념을 전달하는 메커니즘]으로서, 심지어 과학과 의학이라는 enterprise에게까지도 전달한다. 신화는 [집단적 정체성]을 형성하며 ,"권력을 위해" 작동하는 사회적 관행social practice입니다.26 그렇기 때문에, 우리는 의학 교육에서 신화, 특히 신화 깨부수기myth busting에서 살아남은 신화를 연구하기 위한 공간을 보존해야 한다고 주장한다. 신화의 사회정치적 차원을 탐구하는 것은 [문화적 실천(의학)의 정체성]과 [그 실천(의학 교육)에 대한 문화적 적응acculturation의 구조, 과정 및 내용]에 대해 의문을 제기할 수 있게 한다. 우리는 그러한 연구가 교육 개혁에 필요한 뉘앙스를 가져올 수 있는 성찰적 교육의 실천으로 이어질 것을 제안한다. 
Myths, in the sense we are implying, are mechanisms for transmitting meaning, culture and ideology that extend even to the enterprises of science and medicine themselves. They are social practices that shape group identity and operate “in the service of power”.26 It is in this last sense that we argue for preserving space for the study of myths in medical education, particularly myths that survive myth busting. Exploring the sociopolitical dimensions of mythologies allows scholars to raise questions about the identity of a cultural practice (medicine) and the structure, processes and content of the acculturating to that practice (medical education). We propose that such study leads to a reflexive education practice that can bring needed nuance to education reform. 

브라운은 "신화만들기mythmaking(이야기를 만들어내는 관행)는 변증법적으로 사회적 형성(생산 방식에 따라 그룹을 조직화하는 관행)과 관련이 있다"고 지적한다. 여기에는 [생산 방식으로서의 과학]도 포함됩니다. 비록 "의학medicine이 '과학'과 '예술'의 결합이라는 것은 널리 인정고 있지만… 의학의 과학science of medicine의 기초가 되는 가정은 거의 설명되거나 논의되지 않는다."

Brown notes that “myth-making—the practice of producing stories—is dialectically related to social formation—the practice of organising in groups based on modes of production”.30 This includes science as a mode of production: although it is “commonly accepted that medicine combines both ‘science’ and ‘art’… the assumptions underlying the science of medicine are rarely explicated or debated”.10

대신, 의학 그 자체의 고유한 기원 스토리origin story는 [두 갈래로 나뉘어진 방식]으로 기능하게끔 이 분야를 만들어왔다. [건강과 질병health and disease은 객관적으로 연구할 수 있는 "자연 현상"으로 접근]하는 반면, [돌봄care는 의사소통 또는 프로세스상의 문제conundrum]로 여겨진다. 이 과학의 신화와 너무 밀접하게 동일시된 나머지, 그 내러티브를 충족시킨다는 것은, 우리가 ["의사와 환자 사이의 상호작용"이 "질병의 결과에 영향을 미칠 것"으로 기대하지 않음]을 의미합니다. 더군다나 의학 교육에는 의학의 기본구조fabric에 너무 강하게 엮여진woven나머지, 신화깨부수기의 대상조차 되지 않는 신화도 있다.

Instead, medicin's own origin story has set up the field to function in a bifurcated way. Health and disease are approached and related to as “natural phenomena” that can be studied objectively, whereas care is thought to be a communication or process conundrum. Identifying with this science myth too closely, along with fulfilling its narrative, implies that we would not expect “the interaction between doctor and patient” to have “influence on the outcome of the disease”.10 Furthermore, there are myths in medical education that are not subject to myth busting because they are so strongly woven into the fabric of the field.

분야로서의 의학교육의 유래는 "의학은 과학이며, 따라서 세상에 대한 올바른 과학적 이해에 기초해야 한다"는 가정에 전제를 두고 있다. 하지만 의학은, 의학을 지배하는 지식의 신화에도 불구하고, "과학적인" 근거가 없는 신념을 계속 고집하고 있다. 예를 들어 '의학은 문화가 없는 문화'라는 믿음과 '과학의 객관성'과 '문화의 주관성'의 구별이 그것이다.

The origin story of medical education as a field is premised on the assumption that “medicine is a science, and as such should be based in a properly scientific understanding of the world”.29 Medicine, notwithstanding its dominant mythology of knowledge, continues to hold beliefs that have no “scientific” basis. For instance, the belief that “medicine is a culture of no culture” and the distinction between “the objectivity of science” and the “subjectivity of culture”,

의학 및 의학 교육에 대한 이러한 오랜 신념 체계를 문제화함problematising에 있어서, 우리는 [의학의 연구와 적용에 있어서 중립적이고 객관적인 과학적 지향과 실천을 유지할 수 있다]는 개념을 단순히 "깨부수고bust" 싶지는 않다. 
In problematising this longstanding belief system in medicine and medical education, we do not want to merely “bust” the notion that we can ever maintain a neutral, objective scientific orientation and practice in the study and application of medicine. 

요컨대, 의학의 과학적이고 객관적인 현실을 영속시키는 신화들은 어떤 목적에 도움이 되며, 그 신화들을 밝혀내는 과정에서 우리가 잃을 수 있는 것은 무엇일까? 객관성과 주관성의 이진법을 대신할 수 있는, 이원론을 초월하는 이 분야의 기원 스토리를 재창조한다면 무엇을 얻을 수 있을 것인가?

In short, what purpose do myths that perpetuate medicine's scientific and objective reality serve and what might we lose in the process of debunking them? What might we gain if, instead of operating within a binary of objectivity and subjectivity, we were to transcend this dualism and reinvent the field's origin story?

3 의학교육의 신화만들기 사회학을 향하여
3 | TOWARDS A SOCIOLOGY OF MYTHMAKING IN MEDICAL EDUCATION

이 시점까지, 우리는 신화가 작용하는 기능은 그 공동체 구성원들에 의해 인식되거나 유효한 것으로 인식되지 않을 수 있으며, Merton의 [명시적 기능]과 [잠재적 기능]에 대한 개념을 상기시키는 포인트라고 주장해 왔다.5 

• [명시적 기능]은 명시되고 인정된 객관적 결과, 즉 [조직과 사회 시스템의 안정]이라는 의도된 목적을 가진 사회 운영의 차원을 나타낸다.
• 반대로, [잠재적 기능]은 시스템의 참가자가 명시적으로 의도하거나 인식하지 못하는 관측 가능한 효과이다. [잠재적 기능]은 의도하지 않았더라도, 시스템의 안정성에도 도움이 될 수 있습니다.

Until this point, we have argued that the function a myth comes to play may be other than that appreciated or recognised as valid by members of that community, a point that reminds us of Merton's concepts of manifest and latent functions.5

• Manifest functions represent stated and recognised objective consequences, namely, dimensions of social operations that have an intended purpose in the organisation and stability of a social system.5,6
• Conversely, latent functions are observable effects that are neither explicitly intended nor recognised by participants in the system. Latent functions, although unintended, may also serve in the stability of a system. 

Merton은 [명시적 기능과 잠재적 기능을 휴리스틱하게 구별하는 것]은 사회학자들이 "(명백한 목적이 달성되지 않았음에도 불구하고 유지되는) 일견 비합리적으로 보이는 사회적 패턴을 명확히 할 수 있게 해준다"고 주장했다. 머튼은 아메리카 원주민들의 레인댄스 의식ritual의 예를 제시했다. 그는 비록 우리가 과학적으로 레인댄스 의식의 명백한 기능을 탐구할 수 있고, 그것이 거짓으로 전제된 것이라고 결론지을 수 있지만, 그러한 의식ritual의 잠재적 기능에 대한 조사를 통해 그들의 "공언된 목적avowed purpose"을 넘어, 미국 원주민 인식론, 문화, 정체성, 의미 형성의 보존에 있어서 이러한 의식이 수행하는 역할을 밝혀낼 수 있을 것이라고 언급했다. 

Merton argued that distinguishing between manifest and latent functions heuristically allows sociologists to clarify “seemingly irrational social patterns [italics in original]. … which persist even though their manifest purpose is clearly not achieved”.5 Merton offered the example of Native American rain dance rituals. He noted that although we can scientifically explore the manifest function of the rain dance ceremony and conclude that it is falsely premised, an investigation of the latent functions of such rituals might uncover the roles played by these rituals, beyond their “avowed purpose”, in the preservation of Native American epistemologies, culture, identities and meaning making.5 

즉, 신화는 [명시적 기능]과 [잠재적 기능]을 모두 가지고 있을 수 있다.
In other words, myths may have both manifest and latent functions

Latour와 Woolgar가 우리에게 보여주었듯이, 과학적 작업work은 [사실]과 [사실에 대한 규범적인 구조]를 갖춘 사회 활동입니다. 이러한 [사실에 수반되는 사회적 구조, 정체성, 경제성]을 인정하지 않고 [특정 사실의 타당성]에만 문제를 제기challenge한다면, 우리는 '부분적 진실'만을 전파하게 될 것이며, 의료 교육과 실천을 혁신하려는 노력은 오히려 훼손될 것이다. [명시적 기능]과 [잠재적 기능]을 구분하고자 할 때, 연구자는 왜 명백한 근거가 있음에도 불구하고 소위 신화가 계속 존재하는 이유를 질문해야 한다. 

As Latour and Woolgar have shown us, in considerable detail, scientific work is a social activity replete with the normative structures for relating to facts as facts.33 When we challenge only the validity of particular facts without appreciating the social structures, identities and economies that accompany these facts, we run the risk of propagating “partial truths” and undermining our efforts to transform medical education and practice. Making a distinction between manifest and latent functions challenges the researcher to ask why, in the face of evidence (the proposed truth narrative), so-called myths continue to exist.

다음 항목에서는 이러한 접근 방식이 의료 업무 및 의료 교육의 복잡성을 이해하는 데 어떻게 도움이 되는지에 대한 몇 가지 예를 제공합니다.
In the following subsections we offer some examples of how this approach can help us appreciate the complexity of medical practice and medical education.

3.1 | "이상적 후보"의 신화
3.1 | The myth of the “ideal candidate”

의학 교육에서 엄격하고 까다로운 입학 과정(그리고 의과대학 입학과 관련된 다양한 요건)은 의학을 위한 최고의 지원자를 선정하기 위한 것이며, 따라서 명백한 관문 활동gatekeeping activity으로 운영된다. 입학 과정을 둘러싼 다양한 증거와 신화는 입학 선택과 입학 과정에 다양한 영향을 미친다.
In medical education, the rigorous and demanding admissions process (and various requirements associated with medical school admissions) is intended to select the best possible candidates for medicine and thus operates as a manifest gatekeeping activity. A variety of evidence and myths that surround the admissions process variably influence matriculate choices and admission processes.

예를 들어, 우리가 입학 전 전공분야의 준비도disciplinary preparation에 근거하여 '이상적 후보'를 선택할 수 있다는 증거는 거의 없다. 이런 이유로 많은 의과대학들이 과정 선수조건course prerequisites을 없앴다. 그러나 입학 과정의 [잠재적 기능]은 ["일부 형태의 준비"를 다른 것보다 더 관련성이 있는 것으로 규범화하는 것]이며, 종종 [의과대학에서 찾고 있는 "이상적인 후보"와 관련된 이야기를 퍼뜨리는 것]입니다. 이처럼 "중요한 것과 중요하지 않은 것"의 구분은 이르면 고등학교 때 학습자 결정에 영향을 미치며 의료 훈련 내내 지속됩니다. 
For example, there is little evidence to suggest that we can select for an “ideal candidate” based on previous disciplinary preparation. For this reason, many medical schools have eliminated course prerequisites. However, a latent function of the admissions process is the normalisation of “some forms of preparation” as being more relevant than others, often propagated on circulating stories related to what schools are looking for in an “ideal candidate”. These distinctions of “relevant and irrelevant” educational preparation influence learner decisions as early as during high school and continue throughout medical training. 

[의과대학에서는 생물학과 다른 생명과학에서 뛰어난 학생을 찾는다]는 개념은 적응장애를 일으키는 행동을 낳는다. 예를 들면, 자신의 커리어에서 위험을 감수하고자 하지 않는 학생들이 [사회과학 및 인문학적 지식(또는 "대체" 지식의 종류)을 버리고 때로는 완전히 평가 절하하는] 것이다.
The notion that medical schools are looking for students who are exceptional in biology and other life sciences results in maladaptive behaviours, including the jettisoning and sometimes outright devaluing of social science and humanities knowledge (or any kind of “alternative” knowledge) by students who are not willing to risk their career success.34

많은 의과대학 입학 페이지에 명료하게 나와 있는 것과 정반대의 증거에도 불구하고 '생명과학적으로 준비된 이상적인 지원자'라는 신화가 지속되는 이유는 무엇일까. "이상적 지원자"에 대한 신화는 지속되는데, 이 이야기들은 의과대학 입학 과정의 [명확한 공식 구성 요소 밖]에서 작동하는 지식, 태도, 행동 및 실습의 전달을 통해 학생들에게 전달되기 때문입니다. 
Why does the myth of an “ideal candidate, who is biomedically prepared” perpetuate even in the face of evidence to the contrary that is clearly spelled out on many medical school admission pages?35-37 Myths of an “ideal candidate” persist because these stories are part of medical education's hidden curriculum38 and are received by students through the transmission of knowledge, attitudes, behaviours and practices that function outside the articulated formal components of the medical school admissions process. 

단순히 학생들에게 그런 이야기들이 사실이 아니라고 말하는 것만으로 신화가 사라지지는 않았다. 이러한 신화의 [잠재적 기능]은 (조직화된 의학교육에서 아무리 부인하더라도) 의료 분야에서 생체의학적 접근 방식을 영속화하는 것이다. 입학전형은 정교한 지식과 기술의 숙달로 구분되는 엘리트 직종으로 의료계를 대표하는 것에서 도출되는 사회적 자본의 재생산과 강화에 기여한다. 실제로, 현재 입학 과정에 관여하고 있는 대부분의 교수진과 직원들은 기초 과학 경력이 없는 사람들이 "훌륭한 의사"가 되지 않을 것이라고 생각하도록 훈련을 받는다. 입학 전형을 바꾸는 것은 또한 이미 확립된 정체성을 위협할 것이며, 학생들이 "이상적 지원자"가 될 수 있도록 준비시키면서 많은 돈을 버는 교육-관련 경제를 위협한다.

Simply telling students that such stories are untrue has not dispelled the myths. The latent function these myths serve to perpetuate is a biomedical approach in health care even in the face of organised medical education's disclaimers. The admissions process contributes to the reproduction and reinforcement of the social capital to be derived from the representation of the medical profession as an elite profession distinguished by the mastery of a sophisticated body of knowledge and skills. Indeed, most faculty and staff currently involved in admissions processes are trained to think that individuals without a basic science background will not be “good doctors”. Changing admissions processes also threatens established identities and education-associated economies that make a lot of money out of preparing students to be “ideal candidates”.

3.2 | "cut-throats"의 신화
3.2 | The myth of “cut-throats”

피터 콘래드는 pre-medical school의 학생 문화를 연구하기 시작했으며 브랜다이스 대학의 pre-medical school의 학생들 사이에서 확인되는 흔한 믿음인 "무자비한cut-throats 행위"를 구체적으로 탐구했다. "무자비한 행위"는 "지나치게 경쟁적이고 이기적이며 성적에 굶주린 학생들로서, 책과 실험 보고서를 훔치고 실험을 사보타지하는" 학생들이다. 그의 연구는 이 신념을 사실상 무너뜨렸다. 실제로 콘래드는 학생들 사이에서 인신공격적인 행동보다 협조적인 행동의 증거를 더 많이 발견했다. 흥미롭게도, 이 과정에서 콘래드는 이 신화가 특정한 [잠재적 기능]을 한다는 사실도 발견했다.

Peter Conrad set out to study pre-medical school student culture and specifically explored the common belief in “cut-throats” amongst pre-medical students at Brandeis University; “cut-throats” are students who are “excessively competitive, selfish, grade hungry who cheat, steal books and lab reports and sabotage lab experiments”.40 His study effectively debunked this belief. Indeed, Conrad found more evidence of cooperative than cut-throat behaviour amongst students.40 Interestingly, in the process, Conrad also discovered that this particular myth served a specific latent function. 

[무자비한 행위]는 학생들의 체면치레face-saving의 일종으로서, [의대에 들어가지 못한 것]에 대한 문화적인 설명을 제공했다. 이 신화는 pre-medical 학생들이 매우 경쟁적이고 심리적으로 소모적인 교육 과정을 경험하는 "집단적 불안"을 대변했다. 그러나 신화를 밝히면서 콘래드는 pre-medical school syndrome과 이와 관련된 cut-throat에 대한 고정관념이 바뀔 것 같지 않다고 결론지었다. 왜냐하면 (학생들의 증상 및 이로 인한 신화를 발생시키는) 근본적인 구조적 요인은 근본적으로 변하지 않았기 때문이다. 따라서 그는 신화 부수기myth busting의 복잡성에 대한 통찰력을 보여주었는데, (이 신화를 바로잡기 위한) 개혁reform은 학습자 행동을 억제하는 것뿐만 아니라, 의료 훈련을 조직하고 전달하는 방식을 혁신하는 데 초점을 맞춰야 한다는 것을 시사합니다. 

It provided a cultural explanation for failure to make it into medical school, a type of face-saving for students. The myth represented the “collective anxiety” of pre-medical students experiencing a highly competitive and psychologically draining educational process.40 However, in debunking the myth, Conrad also concluded that the pre-medical school syndrome and related stereotype of the cut-throat were unlikely to change because the underlying structural factors generating both student symptomatology and the consequential myth remained fundamentally untouched. He thus exposed insights into the complexity of myth busting, which suggest that reform needs to focus not only on curbing learner behaviours but on transforming the way we organise and deliver medical training. 

3.3 | "사체 이야기"의 신화
3.3 | The myth of “cadaver stories”

프레데릭 해퍼티41은 [해부학 실험실에서 학생들의 극도로 부적절한 행동]에 대한 카데바 이야기 또는 신화의 사회화 기능을 폭로했다. 14년 동안 200여 점의 사체 이야기가 수집되고 분석되었습니다. 억제와 약점 근절을 위한 다양한 시나리오에서 전체 시체 또는 특정 부분(극단 또는 성 장기)의 물리적 및 상징적 조작physical and symbolic manipulation 에 대한 내러티프 유형이 나타났다. 콘래드와 마찬가지로, 해퍼티도 이러한 이야기와 연관된 중요한 사회화 메커니즘을 밝혀냈다. 예를 들어서, 1학년 학생들이 pre-medical school 때부터 이어져온 불안과 공포에 대응하기 위한 부적응적 행동과 같은 것이다. 그는 "이 이야기들의 문자 그대로의 정확성은 묘사된 사건들에 있는 것이 아니라 학생들이 접근하여 실험실을 경험하기 시작할 때 가지고 있는 실제 두려움과 우려의 상징적 변형에 있다"고 언급했다.
Frederic Hafferty41 exposed the socialising function of cadaver stories, or mythologies about grossly inappropriate behaviours of students in anatomy laboratories. Over the course of 14 years, nearly 200 cadaver stories were collected and analysed. A typology of narratives of the physical and symbolic manipulation of whole cadavers or certain parts—extremities or sexual organs—in various scenarios for the express purpose of challenging inhibitions and rooting out weaknesses emerged.41 Hafferty, like Conrad, exposed important socialising mechanisms linked to these stories, including maladaptive practices for dealing with the anxiety and fear of first-year medical students, carried forward from pre-medical school years. He noted that “the literal accuracy of [the] ‘trueness’ of these stories lies not in the events depicted but in the symbolic transformation of the actual fears and concerns held by students as they approach and thus begin to experience lab”.41

Hafferty는 우리가 일반인에서 건강 전문가로 전환하는 과정에서 학생들이 겪는 불안과 심리적인 딜레마에 효과적으로 대처하지 못하는 한 신화와 달갑지 않은 행동 모두 지속될 것이라고 결론지었다.
Hafferty concluded that both myths and unwelcome behaviours will persist as long as we ineffectively deal with the anxiety and psychological dilemmas faced by students during this liminal phase in their transition from lay person to health professional.41 

3.4 | "학습 스타일"의 신화
3.4 | The myth of “learning styles”

학습 스타일에 대한 이론은 학습 방법이 다르고 학생이 자신의 학습 스타일(청각, 시각, 촉각 또는 수렴)을 이해한다면 공식 및 비공식 환경에서 학습 효과를 향상시킬 수 있다는 개념에 전제를 두고 있습니다. 20 학습 스타일이 집중력, 기억력 및 동기를 향상시키며 학습자에게 더 만족스러운 교육 경험을 제공한다는 주장이 제기되었습니다. 학습 스타일 이론은 또한 커리큘럼과 커리큘럼의 전달이 학습자의 개별 스타일에 맞춰져야 한다는 개념을 촉진합니다. 교실에서 이 이론을 적용하는 명백한 목적은 학생들의 학습을 향상시키는 것입니다. 그러나 이러한 사회적 관행, 즉 학습 방식을 교육적 접근법으로 사용하는 것은 30년 이상 과학적으로 도전받아 왔습니다. 실제로, 학습 스타일 기반의 교육설계 접근법은 많은 해로운 영향과 관련된다. 
The theory of learning styles is premised on the notion that there are di fferent opti mal ways to l earn and that i f a student understands his or her own learning style (ie auditory, visual, tactile or convergent), that student can improve his or her learning effectiveness in formal and informal settings. 20 Claims have been made that learning styles improve concentration, memory and motivation and lead to more satisfying educational experiences for learners. Learning style theory also promotes the notion that the curriculum and its delivery should align with the individual style of the learner. The manifest purpose behind the application of this theory in the classroom is to improve student learning. This social practice, however, that is, the use of learning styles as an instructional approach, has been challenged scientifically for over 30 years.18,42-44 Indeed, a number of harmful effects are associated with the use of a learning stylesbased approach to instructional design. 

그렇다면 왜 신화는 계속되는 것일까?
Why then does the myth persist?

이러한 사회적 관행의 잠재적 기능 중 하나는 [경제적 이득]을 위한 조건을 구성한다는 것이다. 학습 스타일의 개념을 중심으로 전체 산업이 조직된 것은 우연이 아니며 교육용 소프트웨어, 책, 테이프 및 컨설턴트 서비스의 생산을 포함합니다.42 단순히 신화를 디버깅한다고 해서 이러한 제품이 교육자와 학습자에게 미치는 영향이 사라지지는 않습니다.
one possible latent function of this social practice is that it constructs the conditions for economic gain. It is not coincidental that an entire industry has been organised around the notion of learning styles and includes the production of educational software, books and tapes, and consultant services.42 Simply debunking the myth will not eliminate the influences of these products on educators and learners.

학습 스타일은 교육 문제를 해결하기 위한 손쉬운 해결책이며, 특히 개입이 검증된 도구에 의존할 때 더욱 그렇습니다. 학습 스타일을 전제로 하는 교육학은 (긍정적인 강의실 심리를 이용하여) 학습자 선호에 맞춰 교육을 조정함으로써, 커리큘럼 문제에 대한 [표면적 해결책]을 제공합니다. 의학교육은 [학습자 만족]을 [학습 또는 교육 효과]의 대용물로 사용하는 것은 오랜 전통을 가지고 있습니다. 예를 들어, 강사는 학습자 만족도를 포함하여 학습자의 학습 인식에 따라 평가됩니다. 학습자에게 개인 욕구를 학습자로써 해결하는 것으로 인식되지 않는 교사는 가혹하게 판단됩니다. 교원평가는 그 후 교사의 승진에 사용된다. 이러한 사회정치적 의존은 많은 명백한 잠재된 교실 행동을 조장합니다. 이러한 행동들이 비록 교사들과 학습자들의 더 큰 만족으로 이어질 수 있지만, 이 모든 것이 과학적으로 더 나은 학습으로 이어지는 것은 아닙니다.

Learning styles are an easy solution for solving educational problems, particularly when the intervention draws on purportedly validated tools.42 Pedagogies premised on learning styles offer a surface fix to curriculum issues that capitalises on the positive classroom psychology afforded by aligning instruction with learner preferences. In medical education, the use of learner satisfaction as a proxy for learning or teaching effectiveness has a long tradition.45,46 For example, instructors are evaluated based on learners’ perceptions of their learning, including learner satisfaction. Teachers who are not perceived by learners as addressing their individual needs as learners are judged harshly. Teacher evaluations are then used in the promotion (or not) of teachers. This sociopolitical dependency encourages a number of manifest and latent classroom behaviours, not all of which are scientifically proven to lead to better learning, although they may lead to greater satisfaction of teachers and learners.

비록 학습 스타일이 신화이긴 하지만, 이 이론은 우리가 소중히 여기는 [교수자 및 학습자 태도]와 밀접하게 연관되어 있기 때문에 debunking의 효과보다 끊임없이 더 큰 효과를 낼 것입니다. 학습 선호의 개념은 학습자 및 교수자에게 직관적이기 때문에, 단순히 이 이론의 과학적 전제를 debunking하는 것만으로는 '어떻게 학습을 우선시할 것인가'에 대한 결정을 바꾸기 어려울 것이다. 또한, 보건 전문가가 자기 주도적 학습과 평생 학습에 참여하기 위한 의무는 학습자가 지속적인 공식 학습에 참여하도록 동기를 부여받는 데 크게 의존합니다. 

Although learning styles are a myth, this theory will continue to have material effects way beyond its debunking because it is intimately linked to instructor and learner attributes we value. For those students and teachers for whom the notion of learning preferences makes intuitive sense, decisions about how to prioritise learning will be hard to change simply by debunking the scientific premise of the theory. Further, imperatives to ensure that health professionals engage in self-directed and lifelong learning rely to a large extent on the learner being motivated to engage with ongoing formal learning. 

3.5 | "환자 정보 전단"의 신화
3.5 | The myth of “patient information leaflets”

지난 10년간 암스트롱 외 연구진은 암 실험 환자 모집을 돕기 위해 사용된 동의서들의 명시적 기능과 잠재 기능을 의도적으로 탐색했다. 이들은 환자 의사 결정 개선에 있어 비효과적이라는 증거가 증가하고 있음에도 불구하고 환자 정보 전단(PIL)의 사용이 지속되는 이유를 조사했다. 암스트롱 등은 [PIL의 의도하지 않은 기능]에 대하여, 의료 기관이 [환자 의사 결정]을 개선해야 한다는 의무를 어떻게 방해했는지interfere with 문서화했다. 의료기관은 [환자에게 정보를 제공하고 그들이 암 실험에 참여하기를 원하는지 아닌지를 결정]하도록 하는 대신, 프로세스에 "환자가 참여해야 한다patients should participate"라는 가정assumption을 주입하였다고 볼 수 있다.

In the past decade, Armstrong et al47 deliberately explored the manifest and latent functions of the informed consent documents used to aid patient recruitment for cancer trials. They examined why the use of patient information leaflets (PI Ls) persists despite growing evidence of their ineffectiveness in improving patient decision making. By attuning to the PIL's unintended functions, Armstrong et al documented how the health care organisation interfered with its espoused mandate to improve patient decision making by infusing the process with assumptions of how “patients should participate” rather than providing patients with information and allowing them to decide whether or not they wanted to participate in cancer trials.47

그들은 (환자 행동에 영향을 줘야 하기 때문에 자주 실패하는 - 하지만 필요한 - ) PIL의 가독성 향상에 초점을 맞추는 대신, 의료기관은 [연구 윤리가 규제되고 실행되는 방법]에 맞춰서 practice를 재구조화하는데 에너지를 더 투자한다. 또한 의료기관은 환자 교육의 가장 취약한 부분인 '지식생성의 정치학'의 프로세스에 노출시킨다. 그러므로, 신화의 명백하고 잠재된 기능을 감상하는 것은 우리가 의료 분야에서 가장 취약한 행위자들을 목표로 하는 개혁을 위한 개입을 개발할 때 문제에 대한 더 미묘한 그림을 개발할 수 있게 해준다.

They concluded that instead of focusing on improving the readability of the PIL, a strategy that often fails because it targets patient behaviours, the health care organisation might invest its energy more productively in restructuring practices related to how research ethics are regulated and practised, exposing in the process the politics of knowledge making that constitute the underbelly of patient education.47 Thus, appreciating the manifest and latent functions of myths allows us to develop a more nuanced picture of issues when developing interventions for reform that target the most vulnerable of the actors in health care. 

4 | 결론
4 | CONCLUSIONS

[신화 깨부수기에 대한 집착]은 의학 교육에 적용되는 과학주의적 인식론의 발현이다.29 우리는 신화에 대한 대안적 접근법, 즉 [교육 관행의 사회정치적, 문화적 차원을 탐구]할 수 있는 접근법을 소개했다. 이러한 신화에 대한 (대안적) 접근방식은 [(교사, 학습자, 의료 제공자 및 환자가) 과학적 신화나 문화적 신화를 광범위하게 채택하는 과정에서 영속화되는 지식의 상징적 표현을 통해 공유된 의미를 도출한다는 점]을 높이 평가합니다.48 신화는 스토리텔링과 의미 형성의 한 형태이며, 우리로 하여금 "추론을 가능하게 하는 복잡한 규범적 구조뿐만 아니라, 세계와 그 안에 있는 우리의 위치에 대한 그림"을 전달하도록 해준다.
The preoccupation with myth busting is a manifestation of the epistemology of scientism as applied to medical education.29 We have introduced an alternative approach to the myth, one that allows us to explore the sociopolitical and cultural dimensions of education practice. This approach to myth appreciates that teachers, learners, health care providers and patients derive shared meaning through symbolic representations of knowing perpetuated through the wide adoption of scientific or cultural myths.48 Myths are a form of storytelling and meaning making that allows us to transmit “whole pictures of the world and our place within it, as well as the complex normative structures that make reasoning possible”.29 

우리는 의학교육과 의학에서 영속되는 신화가 [우리의 지적 역사의 필수적인 부분]을 이루고 있으며, 그렇기에 [신화를 지워내는 것은 쉽지 않을 수도 있고, 어쩌면 완전히 지워져서는 안 된다]고 주장한다.
We have argued that the myths that perpetuate in medical education and medicine form an integral part of our intellectual history that may not be easily and perhaps ought not to be entirely expunged. 

과학과 의학은 항상 신화를 동반한다. 그렇지 않다고 주장하는 것은 그 자신의 반쪽 진실을 영속시키는 것이다. 과학적으로 진실이 되기 위한 우리의 탐구에 있어서, 우리는 [우리는 무엇이 진실이 되기 위해 노력하고 있는지], 그리고 [이러한 진실들을 어떻게 돌봄의 전달에 적용시키고자 하는지]에 대한 중요한 value-laden questions를 던져야 한다. 현재 우리 분야가 [보다 강력한 인본주의적 치료 모델의 통합]과 함께 [치료에 대한 기술주의적 추구]의 균형을 재조정하기 위해 몰두하고 있는 것은, [가치에 대한 결연한 재협상]과 [질병 경험의 피할 수 없는 주관성에 대한 인식]을 필요로 합니다.
Science (and medicine) as a social practice is always accompanied by mythologising. To insist otherwise is to perpetuate its own half-truth. In our quest to be scientifically true, we must ask important value-laden questions that concern what we are trying to be true to and how we want to put these truths to work in the delivery of care. Our field's current preoccupation with rebalancing technocratic pursuits for cures with a stronger concentration and integration of humanistic models of care49-57 requires the concerted renegotiation of values and an appreciation of the inevitable subjectivity of illness experiences.

이 제안의 핵심은 '과학'은 "현실의 본질에 대해 우리에게 무엇인가를 드러내기"에 [신화는 '과학'과 반대되는 것이 아니]라는 인식입니다. 그리고 그 현실을 우리는 의학medicine이라 부릅니다. 하지만 그것은 결코 인간의 건강 경험의 전모full story가 될 수 없습니다.
At the very heart of this proposal is an appreciation that myth is not antithetical to science and that science “reveals to us something of the nature of [the] reality”29 that we call medicine, but it can never be the full story of the human health experience. 

Med Educ. 2020 Jan;54(1):15-21.

 doi: 10.1111/medu.13828. Epub 2019 Aug 28.

Myths and social structure: The unbearable necessity of mythology in medical education

Maria Athina Tina Martimianakis 1, Jon Tilburt 2, Barret Michalec 3, Frederic W Hafferty 4

Affiliations collapse

Affiliations

• 1Department of Paediatrics, Hospital for Sick Children and Wilson Centre, Faculty of Medicine, University of Toronto, Toronto, Ontario, Canada.
• 2Divisions of General Internal Medicine and Health Care Policy and Research, and Biomedical Ethics Research Program, Mayo Clinic, Rochester, Minnesota.
• 3Department of Sociology, Center for Interprofessional Development, Education and Research (CIDER), University of Delaware, Newark, Delaware.
• 4Division of General Internal Medicine, Program on Professionalism and Values, Mayo Clinic College of Medicine and Science, Rochester, Minnesota.

• PMID: 31463956
• DOI: 10.1111/medu.13828Abstract
• Context: Myth busting engages scholars in the critical examination of commonly accepted but poorly evidenced claims with the goal of instilling quality and trust in knowledge making. The debunking of such knowledge "myths" and associated misguided practices purportedly serves to avert resources and attention from wasteful and dangerous scholarship. We address the myth that "all myths in medical education deserve to be busted".Results: Our analysis revealed the important function of myths in the social practice of medical education and practice. A deconstruction of five salient examples of the contemporary myth in medical education (the myth of the "ideal candidate", the myth of "cut-throats", the myth of "cadaver stories", the myth of "learning styles", and the myth of "patient information leaflets") demonstrates that myths continue to have material effects even after they have been busted.
• Conclusions: Our analysis makes evident that myth busting disrupts, renegotiates and reconstitutes socio-epistemic relationships rather than simply correcting falsehoods. We also argue that myths play important and inescapable roles in the social practice of medical education and the negotiation of values, and in constructing the conditions for group change and transformation. Imperatives related to humanism, compassion and patient engagement offer a healthy humanising counter-mythologising that we suggest must survive any contemporary myth-busting endeavour aimed at improving medical education practice.
• Methods: Using a critical narrative approach, we searched the medical education literature for orientations to myths and myth busting, and reviewed this literature analytically drawing from the sociology of science and Merton's concepts of manifest and latent functions. The results of this analysis are presented in the form of a narrative that deploys the articles reviewed to explore the utility of myth busting for medical education reform and begins with a brief exploration of the etymology of "myth" and how meaning making is related to symbols, practices and storytelling.
• © 2019 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

친구 다음에 OSCE를 볼 때의 이득: 후향적 연구(Med Teach, 2018)
Gaining an advantage by sitting an OSCE after your peers: A retrospective study
Asim Ghouria, Charles Boachieb, Suzanne McDowalla, Jim Parlec, Carol A. Ditchfielda, Alex McConnachieb, Matthew R. Waltersa
and Nazim Ghouria
 

도입
Introduction

OSCE는 임상 관행을 반영하기 위한 "실제" 시나리오를 시뮬레이션하는 여러 스테이션으로 구성됩니다. 따라서 OSCE 검사를 통해 학생의 임상 기술을 평가할 수 있습니다. Miller의 피라미드(Gormley 2011)의 "Shows how"를 보여줍니다. 
The OSCE consists of multiple stations simulating “real life” scenarios, which are intended to reflect clinical practice. Hence the OSCE examination allows assessment of a student’s clinical skills: the “shows how” of Miller’s pyramid (Gormley 2011).

조직적인 이유로 OSCE 전달의 현재 구성은 종종 연속적인 날짜에 스테이션의 재사용을 수반합니다. 그러나 이는 응시자들이 시험 내용에 대해 결탁할 수 있는 잠재적 기회(즉, 부정행위)를 주며, 나중에 시험을 치르는 학생들에게 잠재적으로 유리할 수 있다(Park et al. 2006). 궁극적으로 [담합 의혹]은 시험성적의 타당성에 대한 의구심을 불러일으킬 수 있고, 이러한 행위에 연루된 것으로 의심되는 학생들의 정직성integrity에 의문을 제기할 수 있으며, 이로 인해 의료계에 대한 국민의 신뢰가 훼손될 수 있다. 게다가 이러한 유착은 weaker student에게 더 이득이 되어서, 결과적으로는 합격하지 않았어야 할 학생이 합격하는 결과를 낳는다.
For organizational reasons the current configuration of OSCE delivery often involves the re-use of stations on consecutive days. This however gives candidates a potential opportunity to collude over the contents of the examination (i.e. cheat), potentially conferring an advantage to students undertaking the examination on later sittings (Parks et al. 2006). Ultimately, the suspicion of collusion can raise doubts over the validity of the examination grades and draw into question the integrity of students suspected of participation in this behavior, with consequent risk to the trust of the public in the medical profession (Smith 2000). In addition such collusion may advantage the weaker who students more and result in some passing should not. 

OSCE 결과에 대한 이전의 연구는 [시간이 지남에 따라 반복되는 스테이션]에서 학생 점수가 크게 향상되지 않았다. 이 연구들은 미국, 영국, 한국의 3학년과 4학년 학생들을 대상으로 실시되었다.  
Previous studies of OSCE results have not shown a significant improvement in student scores for stations repeated over time . These studies have been performed using third year and fourth year students in USA, UK and South Korea.  

현재까지 가장 많은 학생을 대상으로 한 연구는 Parks 등이 수행했다. (2006년), 2일 동안 의대 3학년생 255명의 OSCE 점수를 분석했습니다. 학생 담합은 의과대학이 설치한 온라인 토론 게시판을 통해 확인됐다. 그러나 OSCE의 1일차 총점에서는 2일차 대비 유의한 차이가 관찰되지 않았다. 슬라이드가 바뀌었음에도 불구하고 1일차에 적용된 진단을 2일차에 82명이 잘못 적어낸 병리학 스테이션의 한 하위 항목에서만 담합 효과를 명확히 알 수 있었다. 
The study with the largest number of students to date was performed by Parks et al. (2006), who analyzed the OSCE marks of 255 third year undergraduate medical students over a 2-day period. Student collusion was confirmed via an online discussion board set up by the medical school. However, no significant difference was observed in the total mark for the OSCE on day 1 compared with day 2. A clear indication of the effects of collusion could only be obtained from a single subsection of a pathology station, where 82 students on day 2 incorrectly gave the diagnosis which had applied on day 1 despite the slide having been changed. 

방법
Methods

학생 그룹Student population

영국 글래스고 대학(University of Glasgow, UK, Scotland)에서 의대생 OSCE 최종학년의 시험 성적이 분석되었다. 이 연구의 목적상, 최종 연도 코호트 6개(2009-2010~2014-2015 포함)가 연속 포함되었다. 1505명의 학생들의 데이터가 포함되었습니다(n→238, 262, 226, 261, 259, 259). 모든 학생은 OSCE에 응시하기 전에 최종 종료 전까지 다른 서킷 또는 장소에서 OSCE를 보게 될 학생과 OSCE 내용을 논의해서는 안 된다는 안내를 받는다.

• (1) 형형성 문제 및 동료에 대한 존중 문제
• (2) 개인적으로 GMP의 표준을 충족하지 못하는 문제
• (3) 대학 시험 규정 위반

Examination performance of final year medical students OSCE at (Year 5) undertaking their the University of Glasgow, Scotland, UK, was analyzed. For the purpose of this study, 6 consecutive final year cohorts were included (2009–2010 to 2014–2015 inclusive). Data from 1505 students was included (n¼238, 262, 226, 261, 259, 259 in consecutive years). All students are given instructions prior to sitting the OSCE advising that they must not discuss the content of the OSCE with candidates sitting the OSCE at other sites or circuits until the final completion of the examination due to

• (1) issue of equity and respect to colleagues;
• (2) issue of failure to personally meet standards of Good Medical Practice; and
• (3) breach of University examination rules.

또한 시험이 진행되는 동안 [어떤 방법으로든 OSCE의 내용에 대해 논의한 것]으로 판명될 경우 상원에 회부하고 공식적인 실무 적합성 절차를 밟는 등의 징계 조치를 취할 것을 권고합니다. 

They are also advised that if they are found to be discussing the content of the OSCE by any means while the examination is running, they will be subject to disciplinary action in the form of referral to Senate and formal Fitness to Practice procedures. 

OSCE 형식
OSCE format

매년 최종 학부 의학 커리큘럼의 임상 구성요소에 기여하는 OSCE 스테이션이 32개에서 50개 사이였다. 시험은 A~D의 네 부분으로 나뉘었다. 각 파트는 서로 다른 필드를 평가했습니다. 

• A – 산부인과 및 정신의학, 
• B – 의학 및 수술, 
• C – 소아과, 
• D – 기타 전문 분야.

For each year, there were between 32 and 50 OSCE stations that contributed to the clinical component of the final year undergraduate medical curriculum. The examination was divided into four parts: A–D. Each part assessed different fields:

• A – Obstetrics and Gynaecology and Psychiatry,
• B – Medicine and Surgery,
• C – Paediatrics,
• D – Other specialties.

모든 SP들은 그 역할을 위해 훈련을 받는 훈련된 배우들이다. 또한 대다수의 SP들은 커뮤니케이션 기술 교육에 참여하기 때문에 SP의 역할에 경험이 많습니다. 
All SPs are trained actors who undergo training for the role. The majority of the SPs also take part in the teaching of communication skills so are highly experienced in the role of SP. 

각 스테이션에는 회로 중에만 평가자examiner가 한 명씩 있었습니다. 모든 examiner은 선임 임상의사였고 모두 OSCE 평가에 대한 교육을 받았다. 평사자는 같은 날 또는 다른 날에 두 개 이상의 회로에 대해 동일한 스테이션을 표시할 수 있지만, 어떤 평가자도 동일한 스테이션을 전체 4-5일 동안 채점하지examined 않았습니다. 또한, 평가자는 같은 날 또는 다른 날에 다른 서킷의 다른 스테이션을 평가했을 수 있습니다. 
Each station had one examiner only during a circuit. All examiners were senior clinicians and all were trained in OSCE assessment. While an examiner could mark the same station for more than one circuit on the same day or on different days, no individual examined the same station for the full 4–5 days. In addition, examiners may have assessed a different station during another circuit on the same or different days. 

각 스테이션에 대해 학생은 객관적인 항목 목록에 대해 20점 만점으로 채점되었다. 또한, 평가자는 학생의 성적을 글로벌하게 판단하여 "합격", "실패", "경계선"으로 분류하였다. 그런 다음, 각 스테이션의 합격점수는 경계선 등급을 받은 모든 응시자의 숫자 점수를 취하여 이 점수의 평균을 계산하여 계산하였다. 학생들의 합격/불합격은 score로만 결정되었고, 이러한 점에서 전반적global 판단은 어떠한 가중치도 부여되지 않는다. 
For each station, the student was marked out of 20 against an objective list of items. In addition, the examiner made a second, global judgment of the student’s performance and categorized it as a “Pass”, “Fail” or “Borderline”. The pass mark for each station was then calculated by taking the numerical scores for all candidates who were rated as borderline and calculating the mean of these scores. Students passed or failed by their scores alone; the global judgment is not given any weighting in this regard. 

데이터 보호 및 윤리 승인
Data protection and ethical approval

통계 분석 및 데이터 표시
Statistical analysis and data presentation

각 연도 그룹에 대해 매일 통과된 스테이션 비율이 그래픽으로 표시됩니다. 혼합 효과 로지스틱 회귀 분석을 사용하여 각 개별 측점을 통과할 확률과 관련된 요인을 모형화했습니다. 모형에는 학생과 회로에 대한 랜덤 효과가 포함되었습니다. 고정 효과는 검사일(1~5일), 시간(오전/오후), 성별 및 연도와의 연관성을 평가하기 위해 포함되었다.

The percentage of stations passed on each day are presented graphically for each year group. Mixed effects logistic regression was used to model factors associated with the probability of passing each individual station. Models included random effects for students and circuits. Fixed effects were included to assess the association with day of examination (1–5), time of day (am/pm), gender and year. 

우리는 OSCE에 합격한 각 학생의 예상 확률을 추정하기 위해 우리의 모델을 사용했습니다. 그런 다음, 각 학생에 대해 각 역이 사용된 날짜와 시간의 조합을 같은 학년 그룹에서 서로 주어진 해당 조합으로 대체했습니다. 이러한 방식으로 우리는 같은 해 학생에게 스테이션이 할당되는 방식의 제약 내에서 각 학생에 대한 OSCE 합격 확률에 대한 요일별 및 시간별 합격률 변동의 잠재적 영향을 평가할 수 있었습니다. 

We used our model to estimate the predicted probability of each student passing the OSCE overall. Then, for each student, we replaced the combination of days and times that each station was taken, with the corresponding combinations that each other student was given in the same year group. In this way, we were able to assess the potential impact of variation in pass rates by day and time on the overall probability of passing the OSCE, for each student, within the constraints of the way that stations were allocated to students in the same year. 

결과
Results

인구통계학적 변수 및 일반 OSCE 성능
Demographic variables and general OSCE performance

표 1은 학생들의 인구통계학적 특성을 요약한 것이다.
Table 1 summarizes the students’ demographic characteristics;

OSCE 측점을 통과할 가능성에 영향을 미치는 변수의 유의성
Significance of influencing variables on likelihood of passing OSCE stations

표 2는 혼합 효과 로지스틱 회귀 분석에서 도출된 학년도, 성별, 일, 시간 간의 추정 연관성 및 스테이션 합격 확률을 보여줍니다. 6년 동안 스테이션를 합격할 확률에는 유의한 차이가 없었습니다. 여학생보다 남학생이 각 스테이션을 합격할 확률이 낮았습니다(p<0.001). 하루가 지날 때마다 스테이션 통과 확률이 20%씩 증가하는 추세가 있었습니다. 이러한 연관성은 그림 1에서도 확인할 수 있습니다. 전체적으로 학생 한 명이 통과하는 평균 역 수가 5일 동안 증가했습니다. 
Table 2 shows the estimated associations between academic year, gender, day, and time, and the probability of passing a station, derived from the mixed effects logistic regression analysis. There were no significant differences in the probability of passing stations across the six year groups. Male students were less likely to pass each station than female students (p<0.001). There was a trend across days, with the odds of passing a station increasing by 20% for each additional day. This association can also be seen in Figure 1. Overall, the mean number of stations being passed by each student rose over the 5 days. 

OSCE 합격 확률 예측
Predicted probability of passing the OSCE

그림 2는 각 학생이 OSCE 시험을 전체적으로 통과하는 데 필요한 최소 스테이션 수를 통과할 수 있는 예측 확률을 보여줍니다. 이는 각 학생이 할당된 날짜와 시간의 실제 조합과 같은 연도 그룹의 다른 학생으로부터 얻은 가능한 모든 대체 조합에 기초한 혼합 효과 로지스틱 회귀 분석 모형에서 파생되었습니다.
Figure 2 shows the predicted probability of each student passing the minimum number of stations needed to pass the OSCE examination overall. This was derived from the mixed effects logistic regression model, based on the actual combination of days and times that each student was allocated, and under all possible alternative combinations, taken from the other students in the same year group. 

혼합 효과 로지스틱 회귀 분석 모형에는 학생에 대한 랜덤 효과가 포함됩니다. 즉, 학생의 능력이 모형에 기본 제공되는 것으로 가정된 분포가 있습니다. 이 분포의 맨 아래에 있는 학생만 전체 예측 합격 확률이 100% 미만으로 유의하게 떨어집니다. 이러한 학생의 경우 각 측점을 사용하는 요일과 시간을 변경하면 전체 합격 확률에 더 큰 영향을 미칩니다. 이 모델에 따르면 이러한 효과는 클 수 있습니다. 일부 학생의 경우 합격 확률은 자신이 소속된 요일과 시간에 따라 10%~90% 정도 달라질 수 있습니다. 그러나 이러한 예측은 모형의 극단적 가장자리에서 이루어지는 것이므로, 이러한 학생들이 관측소를 선택한 시기의 영향을 정확하게 나타내지 못할 수 있습니다. 
The mixed effects logistic regression model includes a random effect for students; in other words, there is an assumed distribution of students’ abilities built in to the model. Only for those students at the lower end of this distribution does the overall predicted probability of passing dip noticeably below 100%; for these students, varying the days and times on which each station is taken has a greater effect upon overall probability of passing the examination. According to the model, this effect can be large: for some students, the probability of passing could vary between 10% and 90%, depending on the days and times on which they take their stations. Note, however, that these are predictions being made at the extreme fringes of the model and may not be an accurate representation of the impact of when stations were taken for these students. 

학생 성과별 일수 및 시간 분포
Distribution of days and times by student performance

표 3은 학생들이 매년 자신의 역에 앉아 최종 학점에 따라 나눈 평균 날을 보여줍니다.
Table 3 shows the mean day on which students sat their stations each year, divided according to the final grade achieved. 

고찰
Discussion

우리의 연구에 따르면 최종 학년 의대생들은 시험 기간 [초기]에 같은 OSCE 스테이션을 수강하는 학생들에 비해 [나중]에 응시할 경우 OSCE의 스테이션을 통과할 가능성이 상당히 높았으며, 특히 이러한 효과는 [약체 학생weaker student]들에게 두드러졌다. 이는 학생 담합이 OSCE 합격의 기회를 증가시키는 데 기여 가능한 요소임을 시사한다. 가장 가능성이 높긴 하지만 담합만이 가능한 설명은 아니다. 시간이 지날수록 수험 적응도가 높아지고, 담합이 없는 상황에서도 성적이 좋아질 수 있다. 시험관은 시간이 지남에 따라 점수를 매기는 경향이 일정하게 변화했을 수 있습니다. 예를 들어, 대부분의 시험관은 반나절 이상 수업을 하지 않기 때문에 이는 가능성이 낮지만, 이것이 발생할 것으로 예상할 이유는 없습니다. 메커니즘과 상관없이, 우리의 데이터는 시험을 보는 날이 시험 성과에 영향을 줄 수 있음을 시사합니다. 
Our study suggests that final year medical students were significantly more likely to pass a station in the OSCE if undertaken on a later day compared to students undertaking the same OSCE station on earlier days of the examination period and that this effect was particularly marked for weaker students. This suggests that student collusion is a possible contributory factor in increasing the chances of passing an OSCE station. Although most probable, collusion is not the only potential explanation. Students may become more attuned to the examination process over time and show improved performance even in the absence of collusion. Examiners may demonstrate trends in their marking over time, for example, becoming more lenient on later days, though this is unlikely since the vast majority of all our examiners do not do more than one half-day session and there is no reason to expect this to occur. Regardless of the mechanism, our data suggests that the day on which an exam is taken may influence examination performance. 

그림 1에서 볼 수 있듯이 최소 3일 후 시험을 치르는 학생들을 비교할 때 유의미한 이점이 나타나기 시작하는데, 이는 담합 효과가 점차 발생함을 시사한다. 본 연구에서 사용된 대규모 데이터 집합은 특정 스테이션에서 합격할 가능성과 관련된 요인에 대한 강력한 평가를 가능하게 했으며 따라서 일 및 오후와의 연관성을 더 정확하게 추정할 수 있게 되었다. 
As indicated in Figure 1, significant advantages start to appear when comparing students doing examinations at least three days later, suggesting that any effect of collusion accrues gradually. The large dataset used in our study has made possible a robust assessment of factors associated with the likelihood of passing a station and therefore allowed for estimation of the associations with day and am/pm with greater precision. 

분석 결과에 대응하여, (연구자의 소속기관에서는) 이후의 회로later circuit에 있는 후보자에게 어떠한 내용도 알려지지 않도록 하고, (모든 사이트와 회로에 걸쳐 모든 후보자에 대한 공정한 검사를 보장하기 위해) OSCE 기간 동안 모든 후보자가 격리됩니다. 여기에는 학생들이 완전히 전자적으로 격리되지 않은 상태가 포함됩니다. 다만 이 상태는 감독자invigilator가 감시한다. 또한, 모든 MBChB 신입생들은 이제 학생 협약에 서명합니다. 이 협약은 소셜 미디어와 관련하여 다음과 같은 내용을 담고 있습니다.

"전문적으로 커뮤니케이션해야 할 책임이 디지털 미디어까지 확대된다는 것을 알고 있습니다. 나는 의대생이나 의사가 기대하는 개인적인 특성에 따라 개인에게 걱정이나 고통을 줄 수 있는 이미지나 문자를 온라인에 올리지 않을 것이다. Placement 중에는 NHS 리소스를 통해 소셜 미디어에 액세스하지 않을 것입니다." 

In response to the outcomes from our analysis, to ensure that no content becomes known to candidates sitting in later circuits and to ensure a fair examination for all candidates across all sites and circuits, all candidates are now quarantined during the OSCE. This involves the students not having full electronic isolation – supervised by invigilators. Further, all new MBChB students also now sign a student agreement, which notes the following with regards to social media –

“I am aware that my responsibility to communicate professionally extends to digital media. I will not post images or text online which may cause concern or distress to any individual, in keeping with the personal attributes expected of a medical student or doctor. I will not access social media through NHS resources while on placement”. 

마지막으로, 일반적인 조치의 일환으로, 학교 전체의 학부생들이 디지털 능력 향상 프로젝트에 참여했습니다. 학생들은 디지털 아이덴티티 설문조사에 참여하도록 초대되었다. 조사 결과로부터 학생들이 더 많은 지침을 원하는 주요 주제를 파악했다.

• 디지털 아이덴티티 관리,
• 온라인 환경에서의 전문성,
• 디지털 웰빙,
• 생산성 기술(디지털 산만distraction 관리 포함),
• 온라인 커뮤니케이션 및 협업 기회 등 

40명의 학생 파트너는 이러한 분야의 잠재적인 과제, 해결책 및 커리큘럼 개발 기회에 초점을 맞춰 직원들과 협업했습니다. 
Finally, as part of general measures, undergraduate students from across the school have engaged in a digital skills enhancement project. Students were invited to participate in the Digital Identity survey. The results identified key topics on which students want more guidance, including

• digital identity management,
• professionalism in an online environment,
• digital well-being,
• productivity skills (including management of digital distractions), and
• opportunities for communication and collaboration online.

Forty student partners worked in collaboration with staff, focusing on potential challenges, solutions, and opportunities for curriculum developments in these areas. 


결론적으로, 우리의 증거는 나중에 같은 OSCE 스테이션을 받는 학생들이 시험 기간 초반의 학생들에 비해 더 나은 합격 기회를 가지고 있으며, 이는 특히 능력이 떨어지는 학생들에게서 두드러진다. 이것이 학생 간의 담합을 반영하는 것인지, 시험관 평가의 동향인지, 아니면 일부 다른 편견의 원천을 반영하는 것인지 결정할 수 없다. 우리는 우리의 연구가 특히 약한 학생들을 대상으로 한 첫 번째 연구라고 믿는다. 우리가 설명하고 있는 효과는 성적이 더 높은 학생들 사이에서 덜 명백할 것으로 보인다. 그리고 환자의 관점에서 볼 때, 의사들이 그렇지 않을 경우 자격을 얻을 수 있는 이러한 가능한 효과는 매우 중요합니다. 
In conclusion, our evidence suggests that students undertaking the same OSCE stations later on in an examination period have a better chance of passing compared to students earlier in an exam period, and this is particularly evident for the less able students. Whether this reflects collusion between students, trends in examiner assessments, or some other source(s) of bias, cannot be determined. We believe ours is the first study to look particularly at weaker students; it seems likely that any effects we are describing would be less apparent among the higher-performing students. And, from the point of view of the patient, this possible effect, which could result in doctors qualifying who would not otherwise do so, is of key significance. 

담합: 종종 비밀스럽고 신중한 시험 내용을 학생들 간에 고의적이고 용납할 수 없는 공유는 부정행위나 다름없다.

Collusion: The intentional and impermissible sharing of exam contents between students, which is often secret and discreet, and is tantamount to cheating.

Med Teach. 2018 Nov;40(11):1136-1142.

 doi: 10.1080/0142159X.2018.1458085. Epub 2018 Apr 24.

Gaining an advantage by sitting an OSCE after your peers: A retrospective study

Asim Ghouri 1, Charles Boachie 2, Suzanne McDowall 1, Jim Parle 3, Carol A Ditchfield 1, Alex McConnachie 2, Matthew R Walters 1, Nazim Ghouri 1

Affiliations collapse

Affiliations

• 1a School of Medicine, Dentistry and Nursing, College of Medical, Veterinary and Life Sciences , University of Glasgow , Glasgow , UK.
• 2b Robertson Centre for Biostatistics, Institute of Health and Wellbeing , University of Glasgow , Glasgow , UK.
• 3c Institute of Clinical Sciences, College of Medical and Dental Sciences , University of Birmingham , Birmingham , UK.

• PMID: 29687736
• DOI: 10.1080/0142159X.2018.1458085Abstract
• Purpose: To investigate if final year medical students undertaking an OSCE station at a later stage during examination diet were advantaged over their peers who undertook the same station at an earlier stage, and whether any such effect varies by the student's relative academic standing. Methods: OSCE data from six consecutive final year cohorts totaling 1505 students was analyzed. Mixed effects logistic regression was used to model factors associated with the probability of passing each individual station (random effects for students and circuits; and fixed effects to assess the association with day of examination, time of day, gender and year). Results: Weaker students were more likely to pass if they took their OSCE later in the examination period. The odds of passing a station increased daily by 20%. Overall, the mean number of stations passed by each student increased over the 5 days. Conclusions: Students undertaking the same OSCE stations later in examination period statistically had higher chances of passing compared to their peers, and the weaker students appear to be particularly advantaged. These findings have major implications for OSCE design, to ensure students are not advantaged by examination timing, and weaker students are not "passing in error".

원하는 것을 측정하기 위한 OSCE 개발을 위한 12가지 팁(Med Teach, 2017)
Twelve tips for developing an OSCE that measures what you want
Vijay John Daniels & Debra Pugh

도입
Introduction

OSCE(Objective Structured Clinical Examination)는 1975년(Harden et al. 1975)에 처음 도입되었으며, 그 이후 지역 기관과 국가 고위험 검사 모두에서 임상 능력 평가에 OSCE가 광범위하게 사용되고 있다(Patrício et al. 2013). 
The Objective Structured Clinical Examination (OSCE) was first introduced in 1975 (Harden et al. 1975) and, since that time, OSCEs have been used extensively (Patrıcio et al. 2013) for assessing clinical skills, both at local institutions and on national high-stakes examinations. 

타당성에 대한 우리의 이해는 여러 개별 타당성 유형(예: 기준, 내용 유효성 등)에서 타당성에 대한 주장을 뒷받침하기 위해 다양한 근거 출처를 사용하는 구성 타당성의 통일적 개념으로 발전해 왔다.

• 첫째는 메식(Messick 1989)의 5가지 출처의 프레임워크를 통해
• 그리고 더 최근에는 케인(Kane)의 주장argument-기반 검증 접근법(Kane 2013)이다

Our understanding of validity has evolved from several separate types of validity (e.g. criterion, content validity etc.) to a unitary concept of construct validity in which various sources of evidence are used to support an argument for validity,

• first through Messick’s framework of the five sources (Messick 1989) and, more recently,
• through Kane’s argument-based approach to validation (Kane 2013). 

쿡 외 연구진(2015)이 요약한 바와 같이, 케인의 프레임워크는 관찰에서 평가에 기초한 의사결정에 이르기까지 유효한 해석을 보장하기 위한 4가지 핵심 단계에 초점을 맞춘다.

• 첫 번째 단계는 관찰된 성과를 점수(점수)로 변환하여 점수가 최대한 성과를 반영하도록 하는 것입니다.
• 두 번째 단계는 특정 검사에서 테스트 성능 환경(즉, 가능한 모든 동등한 테스트 – 일반화)에 이르는 점수를 일반화하는 것입니다.
• 세 번째는 테스트 환경에서의 성능을 실제 삶(Extrapolation)으로 외삽하는 것입니다.
• 마지막으로 네 번째 단계는 의사결정을 위한 정보의 해석입니다(함의implication). 

As summarized by Cook et al (2015), Kane’s framework involves focusing on four key steps to ensure valid interpretation from observation to making a decision based on the assessment.

• The first step is translation of an observed performance into a score (Scoring) ensuring the score reflects the performance as best as possible.
• The second step is generalizing the score from the specific examination to the test performance environment (i.e. all possible equivalent tests – Generalization).
• Third is extrapolating performance in the test environment to real life (Extrapolation).
• And finally the fourth step is the interpretation of this information for making a decision (Implications).

타당성에 대한 두 가지 주요 위협은 다음과 같다.

• 구인-대표성 부족(샘플링이 너무 적거나 부적절한 표본 추출)
• 구인-무관 분산(점수 변동을 초래하는 관심 구성과 관련이 없는 것)

The two main threats to validity are

• construct underrepresentation (too little sampling or inappropriate sampling) and
• construct-irrelevant variance (anything unrelated to the construct of interest that results in score variability). 

본 논문의 목적은 케인의 타당성 프레임워크의 렌즈를 통해 바라본 바와 같이 원하는 것을 측정하는 OSCE를 개발하기 위한 12가지 팁을 제공하는 것입니다. 12가지 팁은 OSCE를 개발할 때 사용할 수 있는 순서로 제시됩니다. 각 팁의 핵심 사항은 표 1에 요약되어 있습니다.
the purpose of this paper is to provide 12 tips for developing an OSCE that measures what you want, as viewed through the lens of Kane’s validity framework. The 12 tips are presented in the order they would be operationalized when developing an OSCE. Key points from each tip are summarized in Table 1,

팁 1 OSCE 결과의 용도를 결정합니다.
Tip 1 Decide on the intended use of the results from your OSCE

OSCE의 개발은 끝에서 시작해야 합니다. 결과를 가지고 어떤 결정을 내리게 됩니까? OSCE는 형성적입니까 아니면 총괄적입니까? 이 질문에 대한 답은 케인의 모델의 Implication 단계에 대한 증거를 제공합니다. 그리고 이 단계가 마지막이지만, 이러한 질문에 대한 답은 나머지 OSCE 개발의 틀을 만들 것이며, 따라서 이러한 질문들이 왜 먼저 이루어져야 하는지에 대한 것입니다. 예를 들어, 저부담의 시험은 학습자에게 피드백을 제공하는 데 사용되며, 이는 고부담의 임상실습후 및 국가 면허 시험과 달리, 개별적 코칭이나 재교육을 위하여 사용할 수 있다. 이러한 이유로 저부담 시험은 고부담 검사와 같은 수준의 점수 신뢰도가 필요하지 않으므로(Downing 2004) 더 짧은 검사가 가능하다. 
Development of an OSCE should begin with the end: What decisions will I make with the results?; Is the OSCE formative or summative? The answers to these questions provide evidence for the Implications stage of Kane’s model. And though this stage is last, the answers to these questions will frame the rest of OSCE development, and hence why they must be asked first. For example, a lower stakes exam would be used to provide feedback to learners, and could lead to individual coaching or remediation, compared to a higher stakes end-of-clerkship or national certification examination, that can result in repeating a clerkship or year of residency. For these reasons, a lower stakes exam does not require the same level of score reliability as a high stakes examination (Downing 2004), and so a shorter examination is possible. 

또 다른 참신한 디자인은 모든 응시자가 상대적으로 짧은 심사 참여가 요구되는 순차적 OSCE이다. 그런 다음, 사전에 정의된 표준이 미치지 못하는 사람만 전체 OSCE에 참여하여 기술을 평가해야 합니다.
Another novel design is the sequential OSCE in which all candidates would be required to participate in a relatively short screening examination. Then, only those who perform below a predefined standard would subsequently be required to participate in a full-length OSCE to assess their skills.

팁 2 OSE가 평가해야 할 항목 결정
Tip 2 Decide what your OSCE should assess

OSCE는 전체 컨텐츠 도메인을 평가하는 데 사용할 수 없습니다. 오히려 학습자가 습득해야 할 지식과 기술의 샘플을 평가하는 데 사용됩니다. OSCE가 교육 목표를 반영하도록 하려면 청사진을 작성하는 것이 중요합니다. 청사진blueprint 작성은 콘텐츠 전문가가 관심 구인contruct이 적절하게 대표되도록 하는 프로세스를 말합니다(Coderre 등). 2009). 
OSCEs cannot be used to assess an entire content domain. Rather, they are used to assess a sample of the knowledge and skills that learners are expected to have mastered. To ensure that an OSCE reflects educational objectives, blueprinting is key. Blueprinting refers to the process by which content experts ensure that constructs of interest are adequately represented (Coderre et al. 2009). 

따라서 한 OSCE 스테이션에서 보여준 퍼포먼스는 다른 상황에서의 병력청취 및 신체 검사 수행능력으로 일반화할 수 있습니다(Generalization). 각 스테이션의 길이는 보통 5분에서 10분 사이이다(Khan et al. 2013). 그러나 어떤 과제를 평가하느냐에 따라 더 길어질 수 있다. 
This helps to ensure that one can generalize performance on these stations to the learner’s ability to perform other history and physical examinations in an OSCE (Generalization). The length of each station is usually between five and ten minutes (Khan et al. 2013) but could be longer depending on what task is being assessed. 

시험 결과의 의도된 용도(즉, 낮은 위험 대 높은 위험)를 고려하여, 관심 구성을 적절하게 표본 추출할 수 있는 [충분한 수의 스테이션]이 있어야 한다. 국지적으로 개발된 저부담 시험은 8~10개의 스테이션도 괜찮은 반면, 고부담 OSCE는 허용 가능한 신뢰성을 달성하기 위해 14~18개의 스테이션이 필요할 수 있다(Khan et al. 2013). 
There must be enough stations to adequately sample the construct of interest, taking into account the intended use of the exam results (i.e. low versus high stakes). A lower stakes locally developed exam may have only eight to ten stations, whereas a high stakes OSCE may require 14-18 stations to achieve acceptable reliability (Khan et al. 2013). 

모든 CanMED 역할(Frank et al. 2015; Jefferies et al. 2007)을 평가하기 위해 OSCE가 사용되었지만, 본질적(즉, 비의료 전문가) 역할(예: 전문성, 협업 등)을 실제로 평가하는데 어려움이 있으며, 이는 테스트 성과가 실제 성과를 얼마나 잘 추정하는가에 영향을 미칩니다. 
Although OSCEs have been used to assess all of the CanMEDS roles (Frank et al. 2015; Jefferies et al. 2007), there are challenges in assessing the intrinsic (i.e. nonMedical Expert) roles authentically (e.g. professionalism, collaboration, etc.), which has an impact on how well the test performance extrapolates to real-world performance. 

평가에 대한 프로그램적 접근방식(Schwirth and van der Vleuten 2011)은 OSCE를 전체 평가 프레임워크의 한 부분으로 볼 것이다. 그러면 OSCE 개발을 안내할 수 있는 두 가지 질문이 제시됩니다. 

• (1) 전체 프로그램에서 중 어디에서 해당 스킬을 평가합니까? (혹은 평가할 수 있습니까?); 
• (2) OSCE에서 평가하기로 선택한 경우, 이를 authentic하게 평가할 수 있습니까?

A programmatic approach to assessment (Schuwirth and van der Vleuten 2011) would view an OSCE as one part of an overall assessment framework. This leads to two questions that can guide OSCE development:

• (1) Where else are (or could) skills be assessed in my overall program?; and
• (2) If I choose to assess this in an OSCE, can I do it authentically? 

팁 3 사례 개발
Tip 3 Develop the cases

OSCE에서 평가할 항목을 결정한 후에는 사례 개발을 신중하게 고려해야 합니다. 사례는 관심 임상 문제를 확실히 나타내기 위해 개발되어야 한다(Extrapolation). 후보자에 대한 지침에는 현재 문제와 관련된 정보, 과제 및 만남을 완료하기 위한 기간(Pugh 및 Smee 2013)이 포함되어야 한다.
Once you have decided what will be assessed by your OSCE, careful consideration should be given to case development. Cases should be developed to ensure that they authentically represent the clinical problem of interest (Extrapolation). Instructions to candidates should include information related to the presenting problem, a task, and a time-frame for completing the encounter (Pugh and Smee 2013).

사례는 OSCE 사례 개발 모범 사례(Pugh 및 Smee 2013)를 반영하기 위해 콘텐츠 전문가와 교육 전문가 모두의 검토를 거쳐야 합니다. 이러한 전문가는 검토 시 다음 질문을 고려해야 합니다. 

• (1) 과제가 명확합니까? (Scoring), 
• (2) 할당된 시간 내에 과제를 완료할 충분한 시간이 있습니까? (Extrapolation)
• (3) 사례가 임상 문제를 실제authentically로 나타냅니까?; (Extrapolation)
• (4) 난이도 수준이 학습자에게 적합한가? (Extrapolation)

이 단계에서 사례를 시범적으로 테스트하면 잠재적 문제를 식별하고 완화할 수 있습니다. 

Cases should undergo review by both content experts as well as educational experts to ensure that the cases reflect best practices of OSCE case development (Pugh and Smee 2013). These experts should consider the following questions in their review:

• (1) Is the task clear? (Kane’s Scoring stage);
• (2) Is there enough time to complete the task in the allotted time?;
• (3) Does the case authentically represent a clinical problem?; and
• (4) Is the level of difficulty appropriate for the learners? (the last three relate to Kane’s Extrapolation stage).

Pilot-testing of cases at this stage can help identify and mitigate potential issues. 

팁 4 OSCE가 후보자를 평가하는 방법 결정(점수 루빅)
Tip 4 Decide how your OSCE should assess candidates (the scoring rubric)

스코어링 루브릭의 개발은 OSCE 타당성에 대한 연구의 많은 부분이 집중된 분야입니다. 루브릭이 개발되거나 선택되는 방법에 대한 설명은 케인의 프레임워크에서 스코어링Scoring에 대한 중요한 타당성 증거를 제공할 수 있습니다. 
The development of scoring rubrics is an area where much of the research on OSCE validity has focused. A description for how rubrics were developed or selected can provide important validity evidence for Scoring in Kane’s framework. 

체크리스트는 관찰 가능한 행동(예: 흡연 이력에 대한 질문, JVP 식별 등)을 평가하는 데 사용됩니다. 체크리스트는 일반적으로 이분법(예: 했거나 하지 않았거나)이지만, 다분법(예: 잘 했거나 시도했지만 잘 안 했거나, 잘 안 했거나)일 수도 있다(Pugh, Halman, et al. 2016). 체크리스트는 매우 어린 의대생과 같은 목표가 아닌 한, 무작위 접근 방식rote approach을 사용하는 학습자에게 보상을 주지 않도록 주의 깊게 구성해야 합니다. 대부분의 학습자는 주제를 이해하는 학습자와 그렇지 않은 학습자를 구별하는 데 도움이 되는 항목(즉, 주요 특성 접근 방식)을 포함하려고 시도해야 합니다(Daniels et al. 2014). 
Checklists are used to assess observable behaviors (e.g. asked about smoking history, identified the JVP, etc.). Checklists are generally dichotomous (e.g. did or did not do), but they can also be polytomous (e.g. done well, attempted but not done well, not done) (Pugh, Halman, et al. 2016). Checklists should be carefully constructed to avoid rewarding learners who use a rote approach unless that is the goal, such as for very junior medical students. For most learners, there should be an attempt to include items that help to discriminate between learners who understand the subject matter and those who do not (i.e. a key features approach) (Daniels et al. 2014). 

병력이나 신체검사에서 임상적으로 구별되는 주요 특징에 초점을 맞추지 않고 [비특정 철저성nonspecific thoroughness]을 보상하는 긴 체크리스트를 사용하는 경우, 이는 사려 깊은 진단 전문가로서 의사들이 원하는 것에 대해 잘 추론하지 못할 것이다. 직관적으로 인식된 중요도에 기초하여 체크리스트 항목에 차등 가중치를 적용하는 것이 타당하지만, 가중치 항목은 전반적인 신뢰성이나 통과/실패 결정에 큰 영향을 미치지 않는 것으로 보인다(Sandilands et al. 2014). 

If one uses long checklists that reward nonspecific thoroughness as opposed to focusing on key clinically discriminating features in a history or physical examination, this will not extrapolate well to what we want in physicians as thoughtful diagnosticians. Although, intuitively, it makes sense to apply differential weights to checklist items based on their perceived importance, weighting items does not appear to affect overall reliability or pass/fail decisions significantly (Sandilands et al. 2014), 

팁 5 평가자 교육
Tip 5 Train your raters

Scoring에 대한 (타당도를) 추가적으로 지지하는 근거로는, 채점자가 의도한 대로 채점 루브릭을 해석했는지 확인하기 위해 교육받았다는 근거가 있다. 평가자에게는 OSCE의 목적, 학습자의 수준 및 학습자와 어떻게 상호작용해야 하는지에 대한 정보가 포함된 오리엔테이션을 제공해야 합니다(예: 학습자에게 프롬프트 또는 피드백을 제공할 수 있습니까?). 또한 체크리스트 항목에 대한 성공의 조작적 정의와 등급 척도에 대한 각 행동 앵커의 의미를 포함하여 채점 루브릭의 예를 제공해야 한다. 
Further support for Scoring includes evidence demonstrating raters were trained to ensure they interpreted scoring rubrics as intended. Raters should be provided with an orientation that includes information about the purpose of the OSCE, the level of the learners, and how they should interact with learners (e.g. can they provide prompts or feedback to learners?). They should also be provided with examples of the scoring rubrics, including the operational definition of success on any checklist items and the meaning of each behavioral anchor for rating scales. 

[기준 체계 훈련frame-of-reference]과 같은 보다 상세한 형태의 오리엔테이션은 때때로 평가자에게 제공되며, 여기에는

• 수행능력 차원performance dimension를 정의하여 원하는 성과에 대한 공유된 정신모델을 만들고
• 각 차원에 대한 행동의 예를 제공한 다음
• 평가자가 표본 퍼포먼스를 가지고 연습한 뒤 피드백을 받을 수 있도록 한다.

A more detailed form of orientation, such as frame-of-reference training, is sometimes provided to raters, which involves

• creating a shared mental model of the desired performance by defining performance dimensions,
• providing examples of behaviors for each dimension, and then
• allowing raters to practice and receive feedback on sample performances (Roch et al. 2012).

이 방법은 시간이 많이 소요될 수 있으며 일반적으로 고부담 시험에서만 주로 사용되지만, 채점에 대한 타당성Scoring 주장을 강화할 수 있습니다. 
This method can be time-consuming and is usually reserved for high-stakes examinations, but can strengthen the validity argument for scoring. 

원하지 않는 등급 점수 변동undesired variation은 [CIV construct irrelevant variance]을 초래할 수 있으므로 점수Scoring 추론의 타당성을 위협할 수 있다는 점을 명심해야 한다. 훈련에도 불구하고, 평가자들은 실수를 할 수 있다. 전통적으로 우리는 종종 일부 평가자를 다른 평가자(즉, 매와 비둘기)에 비해 지나치게 가혹하거나 관대한 것으로 생각하지만, 보다 최근의 연구는 평가자 변동성variability이 이보다 더 복잡하다는 것을 보여준다(Govaerts et al. 2013; Gingerich et al. 2014). 
It is important to remember that any undesired variation in rater scoring may introduce construct irrelevant variance and thus threaten the validity of scoring inferences made. Despite training, raters may make mistakes. Although traditionally we often think of some raters as excessively harsh or lenient compared to other raters (i.e. hawks and doves), more recent research demonstrates that rater variability is more complex than this (Govaerts et al. 2013; Gingerich et al. 2014). 


팁 6 표준화된 환자를 위한 스크립트 개발 및 교육
Tip 6 Develop scripts for and train standardized patients

대부분의 OSCE는 학습자가 임상 기술을 입증할 수 있도록 표준화된 환자(SP)를 사용합니다. [SP 교육에 대한 엄격하고 표준화된 접근 방식]은 SP 묘사portrayals 간의 차이를 줄이기 때문에 스코어링Scoring의 무결성integrity에 대한 추가적인 타당성 증거를 제공합니다. 
Most OSCEs employ the use of standardized patients (SPs) to allow learners to demonstrate their clinical skills. A rigorous and standardized approach to SP training provides further validity evidence for the integrity of Scoring as it reduces the variance between SP portrayals. 

SP에는 묘사portrayal를 안내하는 스크립트가 제공되어야 하며, 실제 환자에 기반한 스크립트가 진실성authenticity를 더해줄 수 있다. 병력청취의 경우, 스크립트에는 다음에 대한 세부 정보가 풍부하게 있어야 한다.

• 제시될 임상표현(타임라인과 및 관련 양성 음성 증상 포함)
• SP의 과거 의료 기록(의약품 사용 포함)
• 필요한 경우 사회력(예: 흡연 및 알코올 사용)을 참조하십시오.

SPs should be provided with a script to guide their portrayal, and basing the script on a real patient adds authenticity. For history stations, the script is relatively rich in details about:

• the presenting problem (including a timeline and pertinent positives and negatives);
• the SP’s past medical history (including medication use); and
• social history (e.g. smoking and alcohol use), as required.

최소한 모든 체크리스트 항목에 대해 스크립트로 작성된 답변이 있어야 하지만 학습자가 예상한 질문에 대한 답변이 제공되어야 합니다. 예상치 못한 질문에 대해 SP는 상황에 따라 "아니오" 또는 "잘 모르겠습니다"라고 대답하도록 교육할 수 있습니다. 반대로 신체검사 스테이션의 경우 세부사항이 적게 요구될 수 있지만, SP는 자극에 반응하도록 훈련될 수 있다(예: 복부 검사 시 경계, 관절의 움직임 범위 제한 등).

At a minimum, there should be a scripted answer for all checklist items, but there should be answers provided for any anticipated questions that learners might ask. For unanticipated questions, SPs can be trained to answer either “no” or “I’m not sure” depending on the context. In contrast, for physical examination stations, fewer details may be required, but SPs can be trained to react to stimuli (e.g. guarding during an abdominal examination, limited range of motion of a joint, etc.).

스크립트에 포함할 다른 세부 사항은 다음과 관련될 수 있습니다. 

• 인구 통계(예: 나이와 성별), 
• 방에서의 SP 시작 위치(예: 앉음 vs 누움), 
• 외모(예: 불안함 vs 침착함), 
• 행동(예: 협동함 vs 회피)

Other details to be included in the script may relate to

• demographics (e.g. age and gender),
• SP starting position in room (e.g. sitting vs lying down),
• appearance (e.g. anxious vs calm), and
• behavior (e.g. cooperative vs evasive).

평가자가 학습자의 문제 이해도를 더 잘 평가할 수 있도록 SP가 질문(예: "나에게 무슨 일이 일어나고 있는 것 같습니까?")하는 문항이나 프롬프트도 스크립트에 포함될 수 있습니다. 
The script may also include statements or prompts for the SP to ask (e.g. “What do you think is going on with me?”)to allow raters to better assess learners’ understanding of the problem. 

팁 7 데이터 수집 프로세스의 무결성 보장
Tip 7 Ensure integrity of data collection processes

데이터 수집에는 데이터 무결성을 보장하기 위한 일종의 품질 보장이 있어야 합니다. 이것은 시험 점수가 관측치를 반영한다는 추가 증거를 제공합니다(Kane의 채점Scoring 단계).
Data collection should have some sort of quality assurance to ensure data integrity. This provides further evidence that test scores reflect the observations (Kane’s Scoring stage).

OSCE를 진행하는 동안 직원은 평가자가 평가지를 올바르게 작성하는지(예: 항목을 건너뛰지 않는지) 주기적으로 확인하고, 질문이 있을 경우 이를 해결할 수 있습니다. OSCE가 끝난 후 컴퓨터에 점수를 수동으로 입력하는 경우, 정확한 데이터 입력을 위해 채점표 중 일부를 무작위로 확인해야 합니다. 스캔 가능한 점수표를 만들 수 있는 합리적인 가격의 소프트웨어 패키지가 있어 무작위 검증의 필요성을 줄이기는 하지만 없앨 수는 없습니다. 
During an OSCE, staff can periodically verify that raters are completing the rating instruments correctly (i.e. not skipping any items) and address any questions they might have. After the OSCE, if scores are manually entered into a computer, a random set of score sheets should be checked to ensure accurate data entry. There are reasonably-priced software packages that allow creating scannable score sheets which reduces, but does not eliminate, the need for random verification. 

일부 센터에서는 코멘트 작성 시간을 단축하고, 누락된 등급 척도 수를 줄여줄 수 있는 추가적인 장점이 있는 태블릿 및 eOSCE 시스템에 액세스할 수 있으며, 수량 피드백이 의 품질과 품질을 높일 수 있습니다(Daniels et al. 2016; Denison et al. 2016). 그러나 인터넷 기반 시스템에 대한 안정적인 인터넷 액세스와 태블릿 또는 eOSCE 시스템에 장애가 발생한 경우를 위한 백업 계획이 반드시 필요합니다. 
Some centers may have access to tablets and eOSCE systems that have an added advantage of reducing time to transcribe comments and number of missed rating scales, and can quantity feedback increase the and quality of (Daniels et al. 2016; Denison et al. 2016). However, having reliable internet access for internet-based systems, and back-up a plans for when tablet or the eOSCE system fails is imperative. 

결측 데이터에 대해 결정해야 합니다(예: 비어 있는 등급 척도). 
Decisions must be made about missing data (e.g. a rating scale that is left blank). 

마지막으로, 다른 평가와 마찬가지로, 테스트 보안 문제를 고려해야 합니다. 학습자의 능력을 정확하게 측정하려면 모든 학생이 평가에 대한 정보에 동등하게 액세스할 수 있어야 합니다. 시험 자료에 대한 무단 접근(예: 학생이 만든 유령 은행을 통해)은 OSCE의 점수 해석의 타당성을 위협하는 부당한 이점을 학습자에게 제공합니다. 

Finally, as with any assessment, one must consider the issue of test security. To ensure an accurate measurement of learners’ abilities, it is important that all students have equal access to information about the assessment. Unauthorized access to test materials (e.g. through student created ghost banks) provides learners with an unfair advantage that threatens the validity of the interpretation of scores from the OSCE. 

팁 8 표준 설정 접근법 선택
Tip 8 Choose a standard setting approach

표준 설정 방법(즉, cut score)의 선택도 평가의 Implication에 영향을 미치므로 점수 해석의 타당성을 뒷받침하기 위해 세심한 주의를 기울여야 한다. 부적절하게 높은 cut-score를 설정하면 실제로 능력이 있는 학습자가 낙제할 수 있고, 너무 낮은 cut-score를 설정하면, 약한 학습자가 자신의 능력에 대해 지나치게 자신감을 가질 수 있습니다. 이는 특히 합격-불합격 결정이 학습자, 교육자 및 환자에게 중요한 영향을 미치는 고부담 평가에 중요합니다.
The choice of standard-setting methods (i.e. cut score) also deserves careful attention in order to support the validity of score interpretations as this impacts the Implications of the assessment. Cut scores that are inappropriately high may result in failing learners who are actually competent, while cut scores that are too low may lead weak learners to be overly confident in their abilities. This is especially important for high-stakes assessments in which pass-fail decisions have important repercussions for learners, educators and patients.

컷 스코어를 설정할 때 gold-standard는 없지만 선택한 방법에 대한 자세한 근거를 제시해야 합니다. OSCE에 가장 일반적으로 사용되는 세 가지 기준 참조 방법은 Angoff, Borderline Group 및 Borderline Regression입니다. 
Although there is no gold standard when setting a cutscore, a detailed rationale for the method chosen should be provided. The three most common criterion-referenced methods used for OSCEs are Angoff, Borderline Group, and Borderline Regression. 

다음 결정은 전체 합격/불합격 결정이 전체 OSCE 점수만 기준으로 이루어져야 하는지, 또는 수험자가 최소 스테이션 수를 통과해야 하는지에 대한 것이다. 후자(conjunctive) 접근방식은 수험자가 광범위한 지식(즉, 여러 관측소의 낙제 성과는 다른 관측소에 대한 매우 강력한 성과로 보상될 수 없다는 것)을 입증하기 위해 일부 교육자가 선호한다(Homer et al. 2017). 
The next decision is whether the overall pass/fail determination should be based on the overall OSCE score alone, or if examinees must also pass a minimum number of stations. The latter (conjunctive) approach is favored by some educators, to ensure that examinees demonstrate a breadth of knowledge (i.e. that a failing performance on several stations cannot be compensated for by very strong performance on others) (Homer et al. 2017). 

팁 9 OSE가 가능한 모든 양식을 얼마나 잘 일반화하는지 고려합니다.
Tip 9 Consider how well the OSCE would generalize to all possible forms

또 다른 중요한 타당성 근거 출처는 결과의 일반화 가능성Generalizability과 관련이 있다. OSCE의 심리측정적 특성을 분석하여, 타당성 주장시 이 요소(generalizability)에 대한 지원을 제공할 수 있습니다.
Another important source of validity evidence relates to the Generalizability of the results. Support for this element of the validity argument can be provided by analyzing the psychometric properties of the OSCE.

점수의 신뢰성(즉, 재현성)은 타당성 증거의 중요한 요소입니다. 알파는 일반적으로 전반적인 신뢰성을 측정하고 문제가 있는 스테이션을 찾는 데 사용됩니다. 단일 스테이션의 성능에 기반하여 결정을 내리는 경우 스테이션 레벨에서 알파를 사용하여 신뢰성을 평가하고 문제가 있는 항목을 식별할 수 있습니다.    
The reliability (i.e. reproducibility) of scores is an important element of validity evidence. Alpha is usually used across stations to measure overall reliability and to look for problematic stations. If decisions are made based on the performance of a single station , then alpha can be usedat the station level to evaluate reliability and identify problematic items.    

OSCE는 본질적으로 다면적이기 때문에(예: 사람, 항목, 평가자, 트랙 등), 일반화가능도 이론(G-이론)은 종종 신뢰성을 계산하고 다양한 오류 발생원의 영향을 결정하는 데 선호된다. 그러나 G-이론은 측점당 여러 등급이 있는 경우에 가장 효과적이며, 그렇지 않은 경우에는 측점이 아닌 평점으로 인한 변동을 제거할 수 없습니다. 구문 기반 GENOVA(Crick and Brennan 1983)와 보다 사용자 친화적인 G-string IV(Bloch and Norman 2015)와 같은 G-스터디를 실행하는 데 무료로 사용할 수 있는 패키지가 있습니다. 
Because OSCEs are inherently multi-faceted (e.g. persons, items, raters, tracks, etc.), generalizability theory (G-theory) is often preferred for calculating reliability as well as determining the impact of the various sources of error. However, G-theory works best if there are multiple raters per station; otherwise, one cannot tease out the variance due to raters as opposed to due to the station. There are freely available packages for running G-studies such as the syntax-based GENOVA (Crick and Brennan 1983) and the more user friendly G-string IV (Bloch and Norman 2015). 

팁 10 검사와 다른 변수와의 상관 관계를 검토합니다.
Tip 10 Review the correlation of your examination with other variables

Tamblyn과 동료들은 라이선스 검사의 낮은 점수가 상담, 처방 및 유방 촬영 검사의 패턴으로 측정되는 낮은 임상 관행과 관련이 있음을 입증했다.
Tamblyn and colleagues demonstrated that lower scores on a licensing examination were associated with lower quality of clinical practice as measured by patterns in consultations, prescribing, and mammography screening.

이 데이터는 면허시험에서 케인의 추정Extrapolation 단계에 대한 증거를 뒷받침합니다. 
This data supports evidence along Kane’s Extrapolation stage of validity of that licensing exam. 

이 증거에서는, 일반적으로 [OSCE 점수를 다른 평가와 비교]하여 증거를 찾습니다. 예를 들어, Pugh와 동료들은 현지에서 개발된 [Internal Medicine OSCE progress test]의 성과가 높은 위험도 [내과 인증 시험의 점수]와 관련이 있음을 입증했습니다.
More commonly, evidence is sought by comparing OSCE scores to other assessments. For example, Pugh and colleagues demonstrated that performance on a locally developed Internal Medicine OSCE progress test correlated with scores on the high stakes Internal Medicine certification examination

모든 상관관계가 기관 외부의 데이터로 이루어질 필요는 없습니다. 로컬 데이터를 사용하여 OSCE 점수를 유사하거나 다른 역량을 측정하는 다른 평가와 상호 연관시킬 수 있습니다. 또 다른 분석에서는 OSCE가 더 많은 상급자 대 하급자를 차별하는지 여부를 조사할 수 있다.
Not all correlations need to be done with data external to the institution. Local data can be used to correlate OSCE scores to other assessments measuring similar and dissimilar competencies. Another analysis could examine if an OSCE discriminates more senior versus junior learners as this also provides validity evidence.

팁 11 OSE가 학습자에게 미치는 영향 평가
Tip 11 Evaluate the effects of the OSCE on learners

형성적이든 총괄적이든 평가가 학습을 촉진한다는 것을 알고 있습니다(Kane의 함의Implication 단계). 
Whether formative or summative, we know that assessment drives learning (Kane’s Implications stage). 

평가는 긍정적이고 부정적인 방식으로 학습에 영향을 미칠 수 있으며, 따라서 OSCE가 학습을 촉진하거나 방해하는 방법에 대한 증거를 찾아야 한다. 
assessment can influence learning in both positive and negative ways , and so one should seek evidence for how an OSCEis promoting or impeding learning. 

고려해야 할 질문은 다음과 같습니다. 

• OSCE는 학습에 어떤 영향을 미칩니까?; 
• 불합격 또는 합격한 학습자에게 수반하는 결과는 무엇입니까?
• 불합격자에게 재교육이 제공되는 경우, 재시험에서 성과가 개선된다는 증거가 있는가?
• OSCE는 커리큘럼의 후속 변화에 어떤 영향을 미칩니까(예: 많은 수의 후보자가 불합격할 경우), 반대로 커리큘럼의 변화는 OSCE 수행능력에 어떤 영향을 미칩니까?
• OSCE가 환자 치료에 어떤 영향을 미칩니까? 
• OSCE의 목적이 학습을 유도하는 것이라면, 학습자가 OSCE의 결과로 학습하고 있음을 보여주는 데이터가 있습니까? 

Questions to be considered include:

• How does the OSCE influence learning?;
• What are the outcomes of learners who fail versus pass?;
• If remediation is provided to those who fail, is there evidence that performance improves on a repeat assessment?;
• How does the OSCE influence subsequent changes in the curriculum (e.g. if a high number of candidates fail a station) and, conversely, do changes to the curriculum influence OSCE performance?; and finally,
• how does the OSCE influence patient care? 
• If the purpose of the OSCE is to drive learning, then is there data to show the learners are learning as a result of the OSCE? 

팁 12 전체 프로세스를 검토하여 유효성에 대한 위협을 찾습니다.
Tip 12 Review the entire process to look for threats to validity

타당성 주장은 평가의 해석과 사용을 제안한 후 유효성의 증거를 검토하는 반복적인 과정으로, 증거가 의도된 해석이나 사용을 뒷받침하지 않는 경우에는, 사용을 수정하거나 평가 과정을 개정한다. 이러한 상황은 평가가 목적에 부합하는지 확인하기 위해 [지속적으로 이뤄져야] 합니다. 이러한 [지속적인 품질 보증ongoing quality assurance]은 신뢰성과 같은 심리측정적인 면에만 초점이 맞춰지는 경우가 많지만, OSCE 개발의 모든 측면을 검토하여 케인 모델의 네 가지 단계와 관련된 문제를 찾아야 합니다. 
An argument for validity is an iterative process where one states the proposed interpretation and use of the assessment, then examines the evidence of validity, and if the evidence does not support the intended interpretation or use, either revise the use or revise the assessment process. This should continually happen to ensure the assessment is meeting its purpose. Too often this ongoing quality assurance is focused solely on psychometrics such as reliability, but all aspects of the development of an OSCE should be reviewed to look for issues related to each of the four stages of Kane’s model. 

종종 간과되는 일부 OSCE 지표로는 다음이 있다.

• 전체 불합격 또는 특정 스테이션 불합격 학생 비율(프로그램 평가 정보일 수 있음),
• 스테이션에서의 [(체크리스트) 합계 점수]와 [Global 등급 척도] 사이의 상관 관계(상관성이 낮으면 점수 시트 내용에 대한 우려가 높아짐) 및
• 동일한 스테이션이지만, 평가자 또는 위치에 차이가 있는 그룹 간의 비교

Some OSCE metrics that are often overlooked are

• the percent of students who fail overall or fail a specific station (can be program evaluation information),
• correlation between a station’s sum score and global rating scale (lower correlation raises concern about score sheet content), and
• comparisons between groups who same encounter the stations, but with differences such as raters or locations, (Pell et al. 2010). 

Fuller R, Homer M, Pell G, Hallam J. 2017. Managing extremes of assessor judgment within the OSCE. Med Teach. 39:58–66. 

Pugh D, Regehr G. 2016. Taking the sting out of assessment: is there a role for progress testing? Med Educ. 50:721–729. 

Yousuf N, Violato C, Zuberi RW. 2015. Standard setting methods for pass/fail decisions on high-stakes objective structured clinical examinations: a validity study. Teach Learn Med. 27:280–291. 

Med Teach. 2018 Dec;40(12):1208-1213.

 doi: 10.1080/0142159X.2017.1390214. Epub 2017 Oct 25.

Twelve tips for developing an OSCE that measures what you want

Vijay John Daniels 1, Debra Pugh 2

Affiliations collapse

Affiliations

• 1a Department of Medicine , University of Alberta , Edmonton , Canada.
• 2b Department of Medicine , University of Ottawa , Ottawa , Canada.

• PMID: 29069965
• DOI: 10.1080/0142159X.2017.1390214Abstract
• The Objective Structured Clinical Examination (OSCE) is used globally for both high and low stakes assessment. Despite its extensive use, very few published articles provide a set of best practices for developing an OSCE, and of those that do, none apply a modern understanding of validity. This article provides 12 tips for developing an OSCE guided by Kane's validity framework to ensure the OSCE is assessing what it purports to measure. The 12 tips are presented in the order they would be operationalized during OSCE development.

체면을 차리기 위한 헷징: ITER의 서술형 코멘트의 언어학적 분석(Adv in Health Sci Educ, 2015)
Hedging to save face: a linguistic analysis of written comments on in-training evaluation reports
Shiphra Ginsburg1,5 • Cees van der Vleuten2 • Kevin W. Eva3 • Lorelei Lingard4

도입
Introduction

교육 내 평가 보고서(ITERs)와 같은 업무 기반 평가에 대해 교수진이 작성한 논평이 어려움에 처한 학생을 식별하고(Cohen et al. 1993), 순위/정렬 훈련생(Ginsburg et al. 2013), 성공 또는 실패를 예측하는 데 유용할 수 있다는 증거가 증가하고 있다(Guerasio et al. 2012). 그러나, 최근의 연구는 쓰여진 코멘트가 상당부분 모호하고 '습관적dispositional' 언어를 포함하고 있음을 시사한다(Ginsburg et al. 2011). 교수진은 이를 "행간 읽기"로 해독한다(Ginsburg et al. 2015). 교육생에 대한 [교수진의 모호한 논평]이 어제오늘 일이 아님에도 불구하고, 우리는 교수진이 왜 이러한 발언을 하는지, 다른 교수진이 어떻게 그러한 발언을 디코딩할 수 있는지, 교육생에게 미치는 영향이 무엇인지 아직 이해하지 못하고 있다(Watling et al. 2008). 
There is growing evidence that comments written by faculty on work-based assessments such as in-training evaluation reports (ITERs) can be useful for identifying students in difficulty (Cohen et al. 1993), for ranking/sorting trainees (Ginsburg et al. 2013) and for predicting success or failure (Guerrasio et al. 2012). However, recent work suggests that written comments contain a prevalence of vague and ‘dispositional’ language (Ginsburg et al. 2011), which faculty decode by ‘‘reading between the lines’’ (Ginsburg et al. 2015). Despite a well-established tradition of vague comments in faculty evaluation of trainees (Kiefer et al. 2010; Lye et al. 2001), we don’t yet understand why faculty do this, how other faculty are able to decode such comments, or what their implications are for trainees (Watling et al. 2008). 

[글에 막연한 언어가 있는 것]은 그 문장을 해석하려는 독자들에게 좌절의 원인이 될 수 있다. 예를 들어, '함께 일하기 좋은 사람'(Lye et al. 2001)과 같은 의견이나 전공의가 얼마나 열심히 일했는지를 반영하는 의견(Ginsburg et al. 2011)은 매우 일반적이지만, 학습자의 성과를 판단하는 데 특히 도움이 되지 않는다고 한 연구 참가자가 지적한 바 있다(Ginsburg et al.. 2015). 이러한 코멘트에 대한 한 가지 가능한 설명은 교직원들이 교육생들을 잘 알지 못할 수 있기 때문에 "누구에 대해서나 써먹을 수 있는" 코멘트에 의존한다는 것이다(Ginsburg et al. 2015). 또 다른 설명은 모호한 언어를 의도적으로 사용한다는 것이다. 예를 들어, 교수진들은 "좋은 말을 할 수 없다면 아무 말도 하지 말라"는 원칙을 준수하기 위한 실제적 결핍에 대한 언급을 회피할 수 있다(Ginsburg et al. 2015). 막연한 논평에 대한 또 다른 잠재적 이유는 (특히 수련생의 수행능력이 안 좋을 경우) 평가가 어렵고, [애매한 언어를 사용하는 것]이 ITER의 양쪽 모두에게 부정적인 영향을 끼치지 않도록 보호하는 데 도움이 된다는 현실과 관련이 있습니다(Ilott 및 Murphy 1997). 
The presence of vague language in written comments can be a source of frustration to readers who try to interpret them. For example, comments such as ‘‘pleasant to work with’’ (Lye et al. 2001), or those that reflect how hard a resident worked (Ginsburg et al. 2011), are extremely common, yet are considered particularly unhelpful for judging learners’ performance—as a participant in one study noted, ‘‘if you’re a good person you get those’’ comments (Ginsburg et al. 2015). One potential explanation for such comments is that faculty may not know their trainees very well, so they resort to comments that ‘‘you could say about anyone’’ (Ginsburg et al. 2015). Another explanation is that vague language is used deliberately. For example, faculty may avoid commenting on an actual deficiency to abide by the principle that ‘‘if you can’t say anything nice, don’t say anything at all’’ (Ginsburg et al. 2015). Another potential reason for vague comments relates to the reality that evaluation is difficult—especially when a trainee is not performing well—and that the use of vague language helps guard against negative consequences for individuals on both sides of the ITER (Ilott and Murphy 1997). 

ITER에서 모호한 언어의 현상을 체계적으로 탐구하기 위해 실용적 의사소통을 위해 언어가 어떻게 사용되는지 고민하는 실용주의라는 언어학의 한 분야로 눈을 돌렸다. [언어적 실용론Linguistic pragmatics]은 우리가 일상에서 사용하는 언어의 많은 부분이 문자 그대로 해석되는 것이 아니라고 주장한다. 아이러니, 빈정거림, 은유를 표현하는 언어는 이 전제를 쉽게 식별할 수 있는 예이다. 또한 [비문자적 표현Non-literal language]는 관습적인 간접성(Brown and Levinson 1987)의 개념을 포함하는데, 여기서 '좋은' 또는 '기대치를 충족'과 같은 단어와 구절은 (관습적으로) 평균 이하를 의미할 수 있다(Kiefer et al. 2010). 최근의 한 연구에서는 필기 ITER 코멘트에서 비문자적 표현Non-literal language 사용 사례가 많이 보고되었지만(Ginsburg et al. 2015), 교수진들은 그러한 코멘트만을 사용하여 높은 신뢰성으로 전공의의 순위를 매길 수 있는 것으로 밝혀졌다(Ginsburg et al. 2013). 서술적 평가 논평에 언어적 프레임워크linguistic frameworks를 적용하는 것은 모호해 보이는 언어가 어떻게 신뢰성 있게 해석될 수 있는지를 설명하는 데 도움이 될 수 있다. 
To systematically explore the phenomenon of vague language in ITERs in more depth we turned to the branch of linguistics called pragmatics, which is concerned with how language is used for practical communication. Linguistic pragmatics argues that much of the language we use in day to day practice is not meant to be interpreted literally. Language expressing irony, sarcasmand metaphors are readily identifiable illustrations of this premise (Akmajian et al. 2010). Non-literal language also includes the concept of conventional indirectness (Brown and Levinson 1987), whereby words and phrases such as ‘good’ or ‘meets expectations’ can—by virtue of convention—come to mean below average (Kiefer et al. 2010). A recent study reported many examples of non-literal language use in written ITER comments (Ginsburg et al. 2015), but it was also found that faculty were able to rankorder residents using such comments alone with a high degree of reliability (Ginsburg et al. 2013). The application of linguistic frameworks to narrative assessment comments may help to explain how language that seems vague can be reliably interpreted. 

실용주의 안에서, [예의 이론theory of politeness] 은 평가 맥락에 특정한 목적적합성과 적용가능성을 가지고 있다. 1970년대 브라운과 레빈슨(Brown and Levinson 1987)에 의해 처음 개발되었으나, 새로운 이론과 제안된 변경에도 불구하고 여전히 영향력이 있다(Fraser 1990; Mills 2003). 브라운과 레빈슨의 프레임워크는 사회학에서 처음 설명한 것처럼 '체면'이라는 개념에 기반을 두고 있다. '체면'의 개념이 시간이 지나면서 다른 의미를 띠었지만, 브라운과 레빈슨의 관점에서 볼 때, [체면]은 [개인이 보호하려는 공적의 자기 이미지]이다.

• 긍정적인 체면은 사람이 자신에 대해 가지고 있는 긍정적인 이미지(자존심)입니다.
• 부정적인 체면은 자신의 행동을 방해받지 않으려는 욕망(행동의 자유)입니다.

Within pragmatics, the theory of politeness has particular relevance and applicability to an evaluation context. Originally developed by Brown and Levinson in the 1970s (Brown and Levinson 1987), it remains influential in spite of newer theories and suggested modifications (Fraser 1990; Mills 2003). Brown and Levinson’s framework is based on the idea of ‘face’, as first described in sociology (Bakker 2007).The concept of face has taken on different meanings over time but from Brown and Levinson’s perspective, in essence, face is the public self-image that individuals try to protect.

• Positive face is the positive image a person has of him/herself (self-esteem);
• negative face is the desire to not have one’s actions impeded (freedom to act). 

[체면 위협 행위(FTA)]의 상황에서, 우리는 종종 [말하는 사람과 듣는 사람 모두를 위해] 체면 상실을 완화하기 위해 언어 전략을 사용한다(이론으로 사용되는 용어는 대부분 구술 언어에 근거하여 개발되었다). 체면을 위협하는 행동의 흔한 예는 동료에게 부탁을 하는 것이다. 거절당하거나, 청취자에게 은혜를 입히거나, 궁핍한 사람으로 비칠 가능성이 있기 때문이다. 따라서 [부탁을 하는 사람]은 잠재적으로 체면을 위협받을 수 있다. 그것은 또한 [부탁을 받는 사람]에게도 위협적인 면인데, 그녀가 말하는 사람을 불쾌하게 하거나 그녀의 명성에 도움이 되는 것으로 영향을 미치지 않는 방식으로 반응해야 하기 때문이다. 이런 부탁을 하기 위해 발화자speaker는 동료에게 먼저 칭찬(최근 교직상이나 보조금 대회에서의 성공)을 할 수 있는데, 이는 동료의 이미지를 높여 (동료의) 긍정적인 체면을 구제redress해주고, 도움을 청할 수 있는 이유를 설명해줌으로써 자신의 체면을 구제redress해준다.
In the setting of a face threatening act (FTA), we often invoke linguistic strategies to mitigate against potential loss of face, for both the speaker and hearer (the terminology used as the theory was developed based mostly on oral language). One common example of a face threatening act is asking a colleague for a favour. It is potentially face-threatening for the person asking as there is a possibility that he may be turned down, become indebted to the hearer, or be seen as needy. It is also face threatening to the hearer, as she is imposed upon and must respond in a way that does not offend the speaker or affect her reputation as being helpful. To make such a request, the speaker may choose to compliment his colleague on something first (her recent teaching award or success at a grant competition), which redresses her positive face by enhancing her self-image and redresses his face by explaining why one might seek her assistance. 

우리가 더 흔히 접하는 듣는이hearer의 '부정적인 체면'을 구제하는 방법은, '귀찮게 해드려서 정말 죄송합니다' 또는 '당신이 얼마나 바쁜지 알아요'와 같은 문구를 사용하는 것이다. 브라운과 레빈슨(1987)은 이러한 언어 전략이 말하는 사람과 듣는 사람에게 미치는 영향과 함께 체면을 구제하기 위해 사용되는 언어의 종류를 이해하기 위한 명확한 틀을 개발했다. 예의 전략이 사용되는 정도와 채택된 전략의 유형은 행위가 위협적인 상황에 직면해 있다고 간주되는 정도를 반영한다. 
More commonly we redress hearers’ so-called ‘negative face’ by using phrases such as ‘‘I’m so sorry to bother you’’, or ‘‘I know how busy you are’’, which addresses their desire to not be interfered with. Brown and Levinson (1987) developed an explicit framework for understanding the types of language used to redress face along with the effects that these linguistic strategies have on the speaker and hearer (or writer and reader). The degree to which politeness strategies are used—and the types of strategies employed—reflect the degree to which an act is considered to be face threatening. 

[헷징hedging]은 이러한 예의체계 안에 있는 체면상실을 완화하기 위해 사용되는 매우 일반적인 전략 중 하나이다. 브라운과 레빈슨은 헤지(hedge)를 "멤버십 정도를 수정하는 단어 또는 구절"로 정의하며, 멤버십 정도가 "일부적"이거나 특정 측면에서만 진실이라고 말한다(브라운과 레빈슨 1987, 페이지 145). 의사-의사 담론의 위험회피에 대해 연구한 Prince를 포함한 다른 연구자들은 위험회피에 대해 추가로 정의하고 분류하였다(Prince et al. 1982, 페이지 93). 
Hedging is one very common strategy used to mitigate against loss of face that sits within this politeness framework. Brown and Levinson define a hedge as a ‘‘word or phrase that modifies the degree of membership … in a set’’; it says that the membership is ‘‘partial, or true only in certain respects’’ (Brown and Levinson 1987, p. 145). Other researchers have further defined and categorized hedges, including Prince, who studied hedging in physician–physician discourse (Prince et al. 1982, p. 93). 

Prince는 두 가지 주요 유형의 헷지를 보고했다: 근사치와 방패. 

• 근사치는 두 가지 방법 중 하나로 명제의 '진실 조건'에 영향을 미친다. 
  • 어댑터는 용어를 비전형적non-prototypical 상황(예: ''환자의 발이 약간 파랗다'')에 적응시키고, 
  • 라운더는 항이 숫자의 반올림 표현(예: ''혈압은 약 120/80'')임을 나타낸다. 

Prince reported two main types of hedges: approximators and shields.

• Approximators affect the ‘truth conditions’ of a proposition in one of two ways:
  • adaptors adapt a term to a non-prototypical situation (e.g., ‘‘the patient’s feet were a little bit blue’’) and
  • rounders indicate that a term is a rounded-off representation of a number (e.g., ‘‘the blood pressure was about 120 over 80’’).
• 방패는 명제의 '진실 조건'에 영향을 미치지 않는다. 오히려 발언자가 "실제로 얻어진 것affairs의 관련성 상태에 대한 믿음"에 완전히 전념하지 않는다는 것을 암시한다(Prince et al. 1982, 페이지 89).
  • 귀속 방패는 진술을 작성자가 아닌 다른 사람에게 귀속시키는 역할을 하는 반면,
  • 개연성 방패는 발표자/작가가 진술의 진실에 전적으로 헌신하지 않는다는 것을 표시함으로써 의심의 요소를 도입한다(예: 전공의와의 짧은 만남 중…).
• Shields do not affect the ‘truth conditions’ of their propositions; rather they implicate that the speaker ‘‘is not fully committed to the belief that the relevant state of affairs actually obtains’’ (Prince et al. 1982, p. 89).
  • Attribution shields serve to attribute the statement to someone other than the writer, whereas
  • plausibility shields introduce an element of doubt, by allowing the speaker/writer to indicate that s/he is less than fully committed to the truth of the statement (e.g., ‘‘during my brief encounters with the resident…’’).

이는 보다 최근에 Fraser가 제안한 헷징 개념화와 유사하며, Fraser는 헷징이 [언어적 장치]를 사용하여 발표자가 말한 것에 대한 [약속commitment이 없음]을 표시함으로써, 체면을 세울 수 있는 수사적 전략이라고 언급한다(Fraser 2010) . 우리의 맥락에서 위험회피에 대해 이해하기 위해, 전공의의 지식 기반이 "평균보다 약간 낮은" 것처럼 보인다는 주치의의 서면 의견을 생각해보자. 브라운과 레빈슨에 따르면, Prince와 Fraser 모두에게 이 진술은 '헷징'이다.

• '어댑터'(전공의가 평균 이하의 범주에 완전히 포함되지 않음을 나타냄)로 간주될 수도 있고
• '방패'(전공의가 평균 미만이라는 주장을 전적으로 약속하지 않음을 나타냄)로 간주될 수 있다. 

This is similar to a more recent conceptualization of hedging by Fraser, who states that hedging is a rhetorical strategy by which a speaker, using a linguistic device, can save face (for himself or others) by signalling a lack of commitment to what is said (Fraser 2010). To understand hedging in our context, consider an attending’s written comment that a resident’s knowledge base seems ‘‘a little below average’’. According to Brown and Levinson, as well as to both Prince and Fraser, this statement is hedged.

• It could be considered an ‘adaptor’ (indicating the resident isn’t fully in the category of below average) or
• it could be a ‘shield’ (indicating that the attending isn’t fully committed to the assertion that the resident is below average). 

헷지는 [표현의 의미적 범주에 대한 완전한 확약을 나타내지 않는 것]을 뜻하며, 일종의, 거의, 대략 등의 문구로 나타낼 수 있다. 헷지의 또 다른 방법은 speech가 표현하는 힘에 전적으로 전념하지 않는 것입니다. 예를 들어 I suppose, maybe, 또는 I think와 같은 문구를 사용하는 것입니다.
Hedges that indicate less than full commitment to the semantic category of an expression can be represented by phrases such as sort of, almost,or like. Another way to hedge is by not commi tting fully to the force of the speech being expressed, by using phrases such as I suppose, perhaps, or I think.

요약하자면, 서면 평가는 의학 교육의 중요성이 높아질 가능성이 높지만, 종종 모호하고 해독하기 어려울 수 있습니다. 언어적 실용주의, 특히 예의 이론과 헷징은 평가 언어의 모호함을 이해하고 이해하는 데 도움이 될 수 있습니다.
To summarize, written assessments will likely take on increasing importance in medical education, yet are often vague and can be frustrating to decode. Linguistic pragmatics—in particular, politeness theory and hedging—might help us understand and make sense of some of the vagueness in assessment language.

방법 및 분석
Methods and analysis

우리는 토론토 대학교 내과과 1학년 레지던트(PGY1)의 단일 코호트에 대한 ITER 양식을 취합했습니다(n = 63). 이 프로그램의 각 전공의는 평균 9번의 로테이션을 완료하며, 이 회전을 위해 ITER가 생성됩니다. 매 로테이션이 끝날 때마다 담당의사가 평가 대상 레지던트에 대한 단일 ITER를 완료합니다. 
We compiled ITER forms for a single cohort of first year residents (PGY1’s) in Internal Medicine at the University of Toronto (n = 63). Each resident in this program completes an average of nine rotations for which ITERs are generated. The attending physician at the end of every rotation completes a single ITER for the resident being assessed. 

이 분석에서는 극단적 집단이 특이하거나 표준과 다르기 때문에 더 "정보가 풍부"할 수 있고, 비교의 유용한 근거를 제공할 수 있기 때문에 [최고 등급]과 [최저 등급]의 전공의를 포함하기로 결정했다. (Patton 2002) 
For this analysis we chose to include the highest and lowest rated residents, as extreme groups can be more ‘‘information rich’’ because they are unusual or differ from the norm, and can provide a useful basis for comparison. (Patton 2002) 

코딩은 Brown과 Levinson의 예의 프레임워크을 사용하여 (아래에 자세히 설명된 바와 같이) 각 주석 상자에 대한 한 줄씩 접근하는 것으로 시작되었습니다. 프레임워크는 이러한 목적을 위한 두 가지 관련 섹션으로 구성되어 있다: 

• 긍정적인 체면을 다루는 전략 (작성자가 독자가 원하는 것을 표시함으로써) 
• 부정적인 체면을 다루는 전략 (본질적으로 "[작성자]가 수취인의 행동의 자유를 방해하지 않을 것임을 보증하는 것 … 자기 만족, 격식 및 구속"  

Coding began with a line-by-line approach to each comment box (as described in more detail below) using Brown and Levinson’s politeness framework. The framework has two relevant sections for this purpose:

• strategies addressing positive face (by indicating that the writer wants what the reader wants) and
• strategies addressing negative face (which essentially ‘‘consist in assurances that the [writer] will not interfere with the addressee’s freedom of action …self-effacement, formality, and restraint’’ (Brown and Levinson 1987, p. 70). 
  
  

표 1은 우리의 데이터와 관련된 전략의 정의와 대표적인 인용문을 포함하고 있다. 
Table 1 contains definitions of the strategies that were relevant to our data, along with representative quotations. 

반복적인 읽기 및 분석에서 우리는 헷징이 만연하다는 것을 발견하였고, 도입부에서 간략히 언급한 Prince et al.(1982)가 제안한 보다 상세한 개념화를 사용하여 이를 코드화하였다. 저자에 따르면 헷징은 일반적으로 두 개의 부분집합을 갖는 '방패'의 형태로 표현된다. 
On iterative reading and analysis we discovered that Hedging was pervasive so we coded it further by using the more detailed conceptualization proposed by Prince et al. (1982) that was briefly mentioned in the introduction. According to the authors, hedging is commonly expressed in the form of ‘shields’, which have two subsets. 

• [귀인 방패]는 문장을 작성자가 아닌 다른 사람에게 귀속시키는 역할을 합니다. 그들은 전달된 진술이 때로는 특정되고 때로는 그렇지 않은 다른 누군가에게 귀속되어야 한다는 것을 암시한다. 일반적인 예로는 'A의 가르침에 대해 하우스 스태프가 정말 고마워했다' 또는 'B의 수행에 대해 수많은 의견을 받았다'와 같은 문구들이 있다. '분명히 노력한다' 또는 '명백하게 뛰어난 의사소통 능력을 가지고 있다'와 같은 진술도 누구나 또는 모두가 같은 결론에 도달한다는 것을 암시하기 때문에, 이러한 진술도 반드시 작가 자신의 신념에 관한 것은 아니다. 즉, 진술서에 대한 "저자 자신의 헌신commit의 정도"는 쓰여진 내용에서 간접적으로 추론가능할 뿐이다. (Prince et al. 1982) 
  Attribution shields serve to attribute the statement to someone other than the writer. They imply that the statement conveyed is to be attributed to someone else, sometimes specified and sometimes not. Common examples are phrases such as, ‘‘the housestaff really appreciated A’s teaching’’, or ‘‘I received numerous comments about B’s performance’’. Statements such as ‘‘Clearly making an effort’’ or ‘‘Obviously has excellent communication skills’’ are also attribution shields as they imply that anyone – or everyone – would come to the same conclusion and thus these statements are not necessarily about the writer’s own beliefs. That is, the writer’s ‘‘own degree of commitment to the statement is only indirectly inferable’’ from what is written. (Prince et al. 1982) 
  
  
• [개연성 방패]는 스피커/작성자가 자신의 진술의 진실에 완전히 충실하지 못함을 표시함으로써 의심의 요소를 유발합니다. 화자가 [그럴듯한 이유를 근거로 주장]을 하고 있기 때문에 그것들은 [개연성 방패]라고 불립니다. 일반적인 예로는 ‘‘I believe’’, ‘‘I think’’, ‘‘it is possible’’, ‘‘right now’’ 등의 구절이 있습니다. 작성자가 의식적이든 아니든 이러한 문제에 대해 자신의 의견을 해석할 수 있는 그럴듯한 근거로서 주의를 끌기 때문에, [훈련 단계 또는 연중 시기] 를 표시하는 방식으로 서술된 진술도 개연성 방패로 간주될 수 있다. 
  Plausibility shields introduce an element of doubt by allowing the speaker/writer to indicate that s/he is less than fully committed to the truth of the statement. They are called Plausibility shields because the speaker is making an assertion based on plausible reasons. Common examples are phrases such as, ‘‘I believe’’, ‘‘I think’’, ‘‘it is possible’’, ‘‘right now’’, etc. Statements that are marked by notation of stage of training or time of year may also be considered plausibility shields as the writer is – consciously or not – drawing our attention to these issues as a plausible basis on which to interpret their comments. 

일차 코딩은 SG에 의해 수행되었으며, SG와 LL은 함께 프레임워크의 새로운 이해와 적용을 논의했다. SG와 LL은 데이터의 특정 예시와 함께 문헌의 사례를 사용하여 코드의 정의에 대한 이해를 도전하고 확장하며 세분화했다. 익명이기 때문에 우리는 그들의 언어 사용 이면에 있는 작가들의 의도를 파악할 수 없었습니다. 따라서 다른 연구자들과 함께, 우리는 논평이 진심이며, 이 맥락에서 사용되는 언어가 다른 서면 또는 구어 텍스트와 같은 방식으로 해석될 수 있다는 특정한 가정을 가지고 프레임워크를 적용했다.

Primary coding was done by SG, who discussed the emerging understanding and application of the framework with LL. SGand LLworked together to challenge, expand and refine their understanding of the codes’ definitions as they apply to our narrative data using examples from the literature along with specific exemplars from our data. Because the comments were anonymized, we could not determine the writers’ intentions behind their language use. In keeping with other researchers, we therefore applied the frameworks with certain assumptions: that the comments were meant to be sincere and that the language used in this context would be interpretable in the same way as other written or spoken text.

성찰성
Reflexivity

결과
Results

브라운과 레빈슨의 예의 틀의 몇 가지 요소들은 우리의 데이터에 쉽게 적용될 수 있었습니다. 구어에도 상당 부분 적용되는 틀이 꽤 구체적이기 때문에 모든 예의 전략이 관련 있는 것은 아니다.
Several elements of the politeness framework from Brown and Levinson were easily applicable to our data. As the framework is quite detailed, with much of it applying to spoken language, not every politeness strategy was relevant. 

긍정적 체면을 다루기 위한 전략
Strategies to address positive face

브라운과 레빈슨에 따르면 긍정적 체면을 다루기 위해 사용되는 가장 일반적인 전략은 "과장적 관심"이라고 불린다(브라운과 레빈슨 1987, 페이지 104). 이 전략을 통해 작가는 그들의 관심과 찬성을 과장하기 위해 강조 강화적인 수식어를 사용한다. 여기에는 '절대 탁월함', '슈퍼스타', '매우 철저하고 꼼꼼함' 등의 문구가 포함되었습니다. 또한, "모든 면에서 우수한 레지던트!"와 같이 느낌표를 포함한 작가들이 여기에 모두 코드화 된 사례도 있다. 비록 '과장exaggerate'이라는 용어는 주치의가 레지던트를 실제 모습보다 더 나은 것처럼 보이려고 노력한다는 것을 의미할 수 있지만, 이러한 종류의 언어에서 보이는 극단적extreme인 말은 주치의 의견의 진실된 반영일 수도 있다. 고평가군의 약 3분의 1에서 exaggerated interest가 나타났지만, 저평가군의 경우는 2%에 불과했다. 
The most common strategy used to address positive face, according to Brown and Levinson, is called ‘‘exaggerate interest’’ (Brown and Levinson 1987, p. 104), by which the writer uses emphatic intensifying modifiers to exaggerate their interest and approval. This included phrases such as ‘‘Absolutely outstanding’’, ‘‘superstar’’ and ‘‘extremely thorough and meticulous’’. In addition, instances in which writers included exclamation marks were all coded here, such as, ‘‘Excellent resident in all respects!’’ Although the term ‘exaggerate’ may imply that the attending is trying to make the resident seem better than they were, it is possible that the extremes seen in this sort of language may actually be sincere reflections of an attending’s opinion. Exaggerated interest was seen in about a third of the high-rated group but only in 2 % of the low-rated. 

두 번째 전략은 "그룹 내 정체성 표식기"를 저자와 수령자(전공의) 사이의 공통점을 주장하는 방법으로 사용하는 것이다(브라운과 레빈슨 1987, 페이지 107). 레지던트, 수련생, 임상의, 컨설턴트 또는 의사, 또는 존댓말 '닥터'가 포함된 문구가 여기에 포함되었다. 비록 우리 데이터의 맥락(전공의 평가)에 따라 그룹 내 표지를 예상할 수 있지만, 이 용어들은 낮은 등급(59 대 37%; v2 = 17, p\0.001)과 비교하여 높은 등급 그룹에서 더 자주 사용되었음을 주목하는 것이 흥미롭다. 
A second strategy is to use ‘‘in-group identity markers’’ as a way to claim common ground between the writer and recipient (Brown and Levinson 1987, p. 107). Phrases that include the word resident, trainee, clinician, consultant or doctor, or the honorific ‘‘Dr.’’ were included here. Although in-group markers can be expected given the context of our data (evaluation of residents) it is interesting to note that these terms were used more often in the high-rated group compared to the low-rated (59 vs. 37 %; v2 = 17, p\0.001).

세 번째 공통 전략은 비록 상징적으로 레지던트가 ''함께 일하는 것이 정말 즐겁다'' 또는 ''훌륭한 일'' 또는 ''팀으로부터 좋은 호감을 받았다''고 써서 "선물이나 칭찬을 하는 것"이다(브와 레빈슨 1987, 페이지 129이다. 다시 말하지만, 이러한 현상은 낮은 등급(53 대 27%, v2 = 25, p\0.001)보다 높은 등급 그룹에서 더 흔했습니다. 
A third common strategy is to ‘‘Give gifts or compliments’’ (Brown and Levinson 1987, p. 129), albeit symbolically, by writing that a resident is ‘‘a real pleasure to work with’’, or did ‘‘a great job’’ or was ‘‘well-liked by the team’’. Again these were more common in the high-rated group than the low-rated (53 vs. 27 %; v2 = 25, p\0.001). 

부정적 체면을 해결하기 위한 전략
Strategies to address negative face

부정적 체면을 다루기 위해 일반적으로 사용되는 하나의 언어 전략은 '관습적 간접성'이라고 불리며, 관습상 [문자 그대로의 의미와 다른] [모호하지 않은 의미]를 띠게 된 단어나 구를 사용하는 것이다(브라운과 레빈슨 1987, 페이지 132). 보건 전문 교육 맥락에서 전형적인 예는 '좋은'이라는 단어를 사용하는 것이다. 이 단어는 '평균 미만'의 코드 단어로 이해된다(Kiefer et al. 2010). 다른 관례적인 간접 문구로는 "안정적solid"과 "기대 충족"이 있습니다. 이러한 전략은 높은 등급의 그룹(41 대 15%, v2 = 38, p\0.001)보다 낮은 등급의 그룹에서 더 일반적이었다.
One linguistic strategy commonly used to address negative face is called ‘‘conventional indirectness’’, which is the use of words or phrases that, by virtue of convention, have come to take on unambiguous meanings that are different from their literal meanings (Brown and Levinson 1987, p. 132). A classic example in the health professional education context is the use of the word ‘‘good’’, which is understood to be a code word for ‘‘below average’’ (Kiefer et al. 2010). Other conventionally indirect phrases include ‘‘solid’’ and ‘‘met expectations’’. These strategies were more common in the low-rated than the highrated group (41 vs. 15 %; v2 = 38, p\0.001).

브라운과 레빈슨이 보고한 두 번째 공통 전략은 작가가 [자신의 주장] 또는 [수신자(전공의)]로부터 거리를 두기 위해 이름과 대명사를 생략함으로써 '비인간화impersonalize'하는 것이다(브라운과 레빈슨 1987, 페이지 190). 다음 예를 고려해 보십시오.
A second common strategy, reported by Brown and Levinson, is to ‘‘impersonalize’’ by leaving out names and pronouns to distance the writer from the assertions made or from the recipient (Brown and Levinson 1987, p. 190). Consider the following example:

매우 유능한 팀 리더이자 팀 플레이어입니다. 하급 직원들이 존경했다. 좋은 선생님. 환자, 가족 및 기타 의료 전문가에 대해 매우 전문적이고 존중합니다. 매우 열심히 일하며 환자/가족과 함께 많은 시간을 할애하여 문제를 해결하고자 합니다. 철저한 평가 및 퇴원 계획. 
Very competent teamleader and teamplayer. Looked up to by junior housestaff. Great teacher. Very professional and respectful of patients, families, and other health professionals. Very hard working and willing to spend a lot of time with patients/families ensuring issues are addressed. Thorough assessments and discharge plans. 

헤징
Hedging

"약 2주 동안만 그와 교류했지만"이라는 문구 또한 데이터에서 발견한 가장 일반적인 언어 전략을 처음으로 보여줍니다. 데이터에 만연했던 헷징은 저성과 전공의의 의견 94%와 고성능 전공의의 의견 71%에 포함되었다(v2 = 27, p\ 0.001). 일반적인 헷징의 몇 가지 예로는 "진료/진료 차트를 시작하는 데 있어 좀 더 빠르게 진행될 수 있었을 것" 또는 "꽤 독립적으로 잘 작동될 것"과 같은 문구들이 있다. ''could have', ''little more', ''fairy'라는 단어는 [진술의 '진실 상태']나 저자의 [주장에 대한 헌신]에 영향을 미치기 때문에 헷지이다. 첫 번째 경우, 주치의가 ''클리닉을 시작할 때 더 빨리 시작했어야 했다"라고 썼다면 모호함의 여지가 없었을 것이다. 대부분의 위험회피는 [귀인 방패] 또는 [개연성 방패]로 추가로 분류할 수 있었다. 표 2에는 근사치와 보호막을 포함한 하위 유형의 위험회피에 대한 추가 정의와 예가 포함되어 있다. 
The phrase ‘‘Although I only interacted with himfor about 2 weeks’’ also offers a first look at the most common linguistic strategy we found in our data: Hedging, which was pervasive in our data, being present in 94 % of comments from low-performing residents and in 71 % of comments from high-performing residents (v2 = 27, p\0.001). Some examples of general hedging include phrases such as ‘‘could have been a little more rapid in starting the clinic/picking up charts to get going’’ or ‘‘works well, fairly independently’’. The words ‘‘could have’’, ‘‘a little more’’, and ‘‘fairly’’ are hedges because they affect either the ‘truth condition’ of the statement or the writer’s commitment to the assertions made—in the first instance the attending could instead have written ‘‘should have been more rapid in starting the clinic’’ which would leave no room for doubt. Most hedges were further classifiable as either Attribution or Plausibility Shields. Table 2 contains further definitions and examples of subtypes of hedging including Approximators and Shields. 

문장을 작성자가 아닌 다른 사람에게 귀속시키는 [귀인 방패]는 높은 등급의 그룹(39 대 23%, v2 = 12, p = 0.001)보다 낮은 등급의 그룹에서 더 일반적이었다. 어떤 경우는, 명시적인 대상을 포함했다(예: "하급 housestaff들에 의해" 또는 "복수의 직원이 제안하는 …"). 또는 암묵적인 경우도 있어서 (예: "관심 없음" 또는 "약점이 식별되지 않음" 등)은 어떤 사람도 구체적으로 명시하지 않았다. 종종 'X가 훌륭한 컨설턴트가 될 것이라고 확신한다' 또는 '모두가 우수 레지던트가 될 것으로 느낀다'와 같은 속성이 공유되었다. 따라서 귀속 방패는 글쓴이 자신의 주장을 숨김으로써 글쓴이를 보호하는 역할을 한다.
Attribution shields, which attribute statements to someone other than the writer, were more common in the low-rated than the high-rated group (39 vs. 23 %; v2 = 12, p\0.001) and included instances in which attribution was explicit (e.g., ‘‘looked up to by junior housestaff’’, or ‘‘comments from multiple staff suggest …’’) or implicit, such as ‘‘no concerns’’ or ‘‘no weaknesses were identified’’, without specifying by whom. Often the attribution was shared, e.g., ‘‘We are all confident that X will be an excellent consultant’’, or ‘‘Felt by all to be an outstanding resident’’. Attribution shields thus serve to protect the writer by obscuring his or her own contribution to the assertion. 

의심 요소를 도입하는 [신뢰성 방패]는 높은 등급의 그룹 의견 44%보다 낮은 등급 그룹의 의견 67%에서 (v2 = 20, p\0.001)에 더 흔했다. 이러한 의견의 다수는 '나는 믿는다' 또는 '나는 생각한다'와 같은 구절을 포함했는데, 이는 작가가 그럴듯한 이유, 즉 그들 자신의 신념과 관찰에 근거하고 있다는 것을 나타낸다. 
Plausibility shields, which introduce an element of doubt, were more common, being present in 67 % of comments from the low-rated group and 44 % of the high-rated group comments (v2 = 20, p\0.001). Many of these comments included phrases such as ‘‘I believe’’, or ‘‘I think’’, which indicate that the writer is basing the assertions that follow on plausible reasons—their own beliefs and observations. 

글쓴이는 '내가 관찰할 수 있는 한'이라는 오프닝 문구를 사용하여 그들이 지금 말하려는 것을 그들이 본 것 이상의 것을 알고 있다는 주장을 하지 않고 있음을 표시함으로써 회피한다. 이것은 전공의에 대해 (아마 다른 관찰에 근거하여) 다른 결론에 도달했을 수 있는 타인의 정당한 의견 불일치 또는 비판에 개방함으로써 작가와 전공의recipient의 체면을 보호합니다. 글쓴이는 자신이 주장하는 것에 대해 [그럴듯한 의심을 불러일으키기 위한 헷지]를 사용했기 때문에 정말로 "틀릴" 수 없다. 이 의견에는 귀인 방패(타인으로부터 받은 피드-포워드)도 포함되어 있습니다.  
By using the opening phrase ‘‘as far as I have been able to observe’’, the writer hedges what they are about to state by indicating that they are not making claims to know anything beyond what they’ve seen. This protects the writer’s and the recipient’s face, by leaving it open to legitimate disagreement or critique by others, who may have come to different conclusions about that resident (perhaps based on different observations). The writer can’t really be ‘‘wrong’’ because she used a hedge to create plausible doubt about what she asserted. Note that this comment also includes an attribution shield (the feed-forward received from others). 

많은 [개연성 방패]들은 전공의의 훈련 단계나 연도를 나타내는 언어로 표시되었다. 예를 들어, '훈련 단계에 비해 우수한 지식 기반 보유' 또는 '훈련 단계에 비해 판단력 우수' 또는 'PGY2 레벨에서 수행할 수 있는 최고의 성과' 등이 있습니다. 이러한 진술은 전공의의 훈련 단계에 주목함으로써 자격을 갖췄거나 '표시'되었기 때문에 [개연성 방패]이며, 따라서 주장에 대한 그럴듯한 이유가 된다. '우수한 첫 달 레지던트', 또는 '훌륭한 시작'과 같은 비슷한 진술이 일년 중 시기에 이루어졌다. 이 작가들은 아마도 무의식적으로 그들의 논평이 조심스럽게 받아들여질 것이라는 것을 암시하고 있으며 해가 갈수록 상황이 변할 가능성에 대해 스스로 열어두고 있다. 
Many of the plausibility shields were marked by language denoting a resident’s stage of training or the time of year. For example, ‘‘Has an excellent knowledge base for his level of training’’, or ‘‘good judgment for level of training’’, or ‘‘as good as you can perform at the PGY2 level’’. These statements are plausibility shields because they are qualified, or ‘marked’, by noting the resident’s stage of training, and thus serve as plausible reasons for the assertion. Similar statements were made about the time of the year, such as ‘‘excellent first month of residency’’, or ‘‘excellent start’’. These writers may be implying—perhaps unconsciously—that their comments are meant to be taken cautiously, and are leaving themselves open to the possibility that things will change as the year progresses. 

예의 전략이 없는 논평
Comments without politeness strategies

위에서 설명한 많은 예의 전략과 대조적으로, 우리는 또한 "Bald, on record (돌직구)"인 많은 논평의 예를 발견했는데, 이는 예의 언어가 전혀 포함되어 있지 않다는 것을 의미한다(브라운과 레빈슨 1987, 페이지 94). 
By contrast to the many politeness strategies described above, we also found many examples of comments that are ‘‘Bald, on record’’, meaning they include no politeness language at all (Brown and Levinson 1987, p. 94). 

이 언어는 코멘트 전체에 흩어져 있지만 전체 코멘트 상자가 "Bald" 문장만 포함하는 경우는 드물었다(총 12개). 
Although this language could be found scattered throughout the comments it was rare for an entire comment box to contain only ‘‘bald’’ statements (12 in total). 

고찰
Discussion

이러한 연구결과는 ITER 의견을 작성하는 것이 체면을 위협하는 행위라는 개념을 뒷받침한다. 다만 수신자의 체면만 위협하는 것은 아니다. 즉, '방패' 형태의 헷징의 반복적인 사용은 작성자가 자신의 체면을 보호하고 있었다는 것을 시사한다.
These findings support the notion that writing ITER comments is a face-threatening act, but not just for the recipient—the recurrent use of hedging in the form of ‘shields’ suggests that writers were also protecting their own face. 

주치의가 전공의에 대한 서면 코멘트를 하는 것이 왜 체면을 위협하는지 생각해 보는 것이 흥미롭다. 브라운과 레빈슨은 FTA의 가중치를 계산하기 위한 공식을 개발했다: 가중치 = D + P + R. 여기서

• D는 distance로서 말하는 사람과 듣는 사람 사이의 사회적 거리(대칭 관계),
• P는 power로서 듣는 사람이 말하는 사람에 대해 갖는 권력의 척도이다(브라운과 레빈슨 1987, 페이지 76).
• R은 rank로서 특정 상황이나 문화에서 부담imposition의 정도 또는 '순위'이다. 

It is interesting to consider why it is face-threatening for an attending to provide written comments about residents. Brown and Levinson developed a formula for calculating the weightiness of a FTA: Weightiness = D x P x R, where

• D is the social distance between the speaker and hearer (a symmetrical relationship) and
• P is a measure of the power that the hearer has over the speaker (an asymmetrical relationship; Brown and Levinson 1987, p. 76).
• R is the ‘rank’ or degree of imposition of the act in a particular context or culture. 

이 공식에서 참석자/연설자가 우월한 위치에 있기 때문에 상주자/청취자가 큰 힘을 갖지 못하고 FTA의 비중이 낮다고 가정할 수 있다. 그러나 Brown과 Levinson의 다음 예를 생각해 보십시오. 같은 회의보다 임금 인상을 원하는 직원과 은행장 회의를 하는데 직원이 총을 들고 있다. —청취자에게 갑자기 유리한 힘의 차이가 뒤집히고, 요구의 사회적 거리 및 순위가 동일하더라도 직면 위협(및 그 결과)은 매우 높아진다. 이는 극단적인 예이지만, 권력 차이power differential가 중요한 고려 사항이라는 점을 보여준다.  
From this formula one might assume that since the attending/speaker is in the superior position, the resident/hearer doesn’t have much power and the weight of the FTA is low. But consider the following example from Brown and Levinson: a bank manager meeting with an employee who wants a raise versus the same meeting but this time the employee is holding a gun—the power differential suddenly is flipped in favour of the hearer and the threat to face (and its consequences) are now very high, even with the same social distance and rank of the request. Although this is an extreme example, it illustrates the point that the power differential is an important consideration. 

ITER 시스템에서, 전공의는 [(전공의의) 교사에 대한 평가]가 이들의 승진, 미래의 교육 및 감독 기회, 재정적 보상 또는 벌금의 계산 등 중요한 결과를 초래하기 때문에 중요한 권한을 가지고 있습니다. 이것은 우리 교수들은 종종 이해의 상충의 입장에 놓이며, 따라서 건설적인 피드백을 제공할 때 조심해야 하다고 제안했다. 
And in the ITER system, residents do have important power because their assessments of their teachers carry significant consequences, including the ability to affect promotion, future educational and supervisory opportunities, and the calculation of financial rewards or penalties. This suggests that our faculty are often in a position of conflict of interest and must tread carefully when giving constructive feedback. 

헷징 및 기타 예의 전략도 일상적인 커뮤니케이션을 통해 전파된다. 인간은 사회적 존재이며 공손함은 관계를 형성하고 유지하는데 도움을 줍니다. 일렌이 예절 이론의 분석과 통합에서 설명했듯이, 브라운과 레빈슨은 예절을 "사회적 관계의 표현을 구성하고, [사회적 필요 및 지위와 상충되는 의사소통 의도에서 발생하는 대인관계 긴장을 해소]할 언어적 방법을 제공한다는 점에서, 예절은 사회생활과 사회의 구조에 매우 중요하다. "고 이야기한다.  
Hedging and other politeness strategies also pervade regular day-to-day communication. Human beings are social creatures and politeness helps build and maintain relationships. As Eelen explains in an analysis and integration of theories of politeness, Brown and Levinson consider politeness to be ‘‘fundamental to the very structure of social life and society, in that it constitutes the expression of social relationships and provides a verbal way to relieve the interpersonal tension arising fromcommunicative intentions that conflict with social needs and statuses’’ (Eelen 2014). 

교사, 코치, 멘토, 평가자, 심판 등 여러 가지 역할과 교육생과의 관계를 고려했을 때, 그리고 ITER의 여러 가지 동시 목적을 고려할 때, Elen이 설명한 갈등의 종류를 쉽게 상상할 수 있습니다. 그렇다면 피드백을 전달할 때 약간의 예의가 도움이 될 수 있고, 교수진이 덜 긍정적인 메시지를 전달해야 할 때 위험회피가 특히 흔하다는 것은 놀랄 일이 아니다. [귀인 방패]를 사용하면 특히 좋지 않은 뉴스의 요소가 있는 경우 발화자/저자가 자신의 [진술에 대한 책임을 회피]할 수 있습니다. 이러한 회피 동기는 낮은 등급low-rated의 전공의에 대한 언급을 할 때 거의 모든 곳에서 위험회피가 사용되는 원인이 될 수 있다. 
Given the multiple roles and relationships we have with our trainees—teacher, coach, mentor, assessor, judge—and the multiple,simultaneous purposes of ITERs in the first place, we can easily envision the kinds ofconflicts that Eelen describes. It should not be surprising then to see that a little politenesscan go a long way when delivering feedback, and that hedging is particularly commonwhen faculty must convey a less positive message. The use of attribution shields can allowthe speaker/writer to evade responsibility for their statements, especially if there is some element of bad news. This motive of evasion may be responsible for the near ubiquitous use of hedging when commenting on low-rated residents. 

하지만, 이것은 [왜 그것이 높은 등급의 전공의들에게 그렇게 흔한지] 설명하지 못한다. 이 연결실체에서 위험회피에 대한 잠재적 설명 중 하나는 공손함politeness이 원활하고 조화로운 관계를 보장하기 위한 [사회생활의 기본]이라는 개념과 관련된다. 이러한 관점에서 볼 때, 헷징이 필수적인 사회적 기능을 한다는 점에서, 그 자체를 근본적인 문제로 간주하여서는 안 된다. 
However, this doesn’t explain why it would be so common in high-rated residents. One potential explanation for hedging in this group relates to the notion that politeness is fundamental to social life for ensuring smooth, harmonious relationships. Considered in this light, hedging should not be deemed as fundamentally problematic as it serves an essential social function. 

앞 단락의 설명에서는 서면 의견의 [주요 수신자]가 전공의라고 가정하지만, ITER는 프로그램 책임자와 기타 참석자를 포함한 [여러 대상자]에게 [다양한 용도]로 사용됩니다. 이러한 다른 대상자들이 야기하는 표면적 위협은 다른 상황에서 위험회피의 만연성을 고려한다면 더 잘 이해할 수 있을 것이다. 예를 들어, 일부 언어학자들은 과학적 담론의 위험회피에 대해 연구하였고 특히 연구 문헌(Myers 1989; Salager-Meyer 1994)에서 위험회피가 일반적이라는 것을 발견했다. 예를 들어, 성가신 문제나 질병의 "원인"에 대한 "해답"을 찾았다고 주장하는 연구자들을 보기 힘들다. 대신에 연구자들은 "A, B 또는 C가 X, Y, Z의 원인이 될 수 있는 요인일 수 있다는 증거를 발견했다"고 진술할 가능성이 훨씬 더 높다. 
The explanations in the preceding paragraph assume that the main recipient of the written comments is the resident, yet we know that the ITER serves multiple purposes for multiple audiences, including program directors and other attendings. The face-threat created by these other audiences may be better understood by considering the pervasiveness of hedging in other situations. For example, some linguists have studied hedging in scientific discourse and have found that it is the norm especially in the research literature (Myers 1989; Salager-Meyer 1994). For example, one rarely sees authors claiming to have found ‘‘the answer’’ to a vexing problem or ‘‘the cause’’ of a disease. Instead, researchers are far more likely to state that they ‘‘have found evidence that suggests that A, B or C may be factors that could be responsible for X, Y or Z’’. 

'''제시되는 증거''', ''아마도'' 및 ''아마도''라는 문구는 [개연성 방패]이다. 이러한 종류의 위험회피의 한 가지 이유는 작성자의 주장이 후속적으로 신용이 떨어지거나 재현할 수 없는 경우에 대비하여 연구자 본인의 체면을 보호하기 위함이다. 그것은 또한 다른 결과나 의견을 발표했을 수 있는 다른 연구자들의 체면을 보호해줍니다. 이 전략은 또한 전문지식과 연공서열이 다른 (그리고 종종 알려지지 않은) 많은 독자들이 있을 수 있다는 것을 고려한다.; 헷징은 [부정적인 예의 전략]으로서, 작가를 겸손하게 묘사함으로써 넓고 다양한 독자들에게 존경을 표한다.
The phrases ‘‘evidence that suggests’’, ‘‘may be’’ and ‘‘could be’’ are plausibility shields. One reason for this sort of hedging is to protect the face of the author in case his or her claims are subsequently discredited or not reproducible. It also protects the face of other researchers who may have published differing results or opinions. This strategy also takes into account that there may be many different (and often unknown) readers with differing levels of expertise and seniority; hedging, as a negative politeness strategy, pays deference to a broad and diverse audience, by portraying the writer as humble. 

ITER 의견에도 동일한 논리가 적용된다. 작성자(즉, 담당 의사)는 작성자와 비교했을 때 전문성의 수준이나 지식의 수준이 다른 여러 유형의 독자(전공의, 프로그램 감독, 역량 또는 항소 위원회 등)가 있을 것이라고 가정한다. 한 주치의가 다른 주치의보다 특정 전공의를 다소 높거나 낮게 평가하는 것이 이상치outlier일 수도 있고, 레지던트에 대한 그들의 의견이 잘못되었을 가능성도 꽤 있다. 특히 [귀인 방패]와 [개연성 방패]를 사용하여 헷징함으로써, 작성자는 [자신이 잘못될 수 있다는 인식]과 [타당한 근거에 기초한 의견]이라는 인식을 함축imply하는 것이다. 
The same logic applies to ITER comments—writers (i.e., attending physicians) assume there will be different types of readers (residents, program directors, competency or appeals committees, etc.), with different levels of expertise and knowledge relative to the writer. It is also quite possible that an attending might be found to be an outlier, or erroneous in their opinion of a resident, having rated them more or less highly than other attendings. By hedging—especially by using attribution and plausibility shields—the writer implies their awareness that they may turn out to be wrong and that their comments are opinions based on plausible evidence. 

교육생들을 위한 헷징의 교육적 의미는 무엇입니까? 전공의들이 이 발언을 어떻게 읽거나 해석하는지는 아직 알 수 없지만, 여기에 제시된 이론적 틀을 바탕으로 예의 전략이 의도된 메시지를 모호하게 할 수 있다. [간접 언어indirect language]가 많을수록 오해를 받을 가능성이 높다(Bonnefon et al. 2011). 실제로 우리가 예의어를 사용하는 이유 중 하나는 직설성을 피하고 해석적 유연성을 만들기 위해서입니다. 
What are the educational implications of hedging for trainees? We don’t yet know how residents read or interpret these comments but, based on the theoretical frameworks presented here, it is possible that politeness strategies obscure the intended message. The more indirect language is, the more likely it is to be misunderstood (Bonnefon et al. 2011). Indeed, one reason that we use politeness language is to avoid directness and create interpretive flexibility. 

반대로, 전공의는 ITER 문맥에 정통한 사회 구성원으로서 ITER 논평에서 위험회피 및 기타 언어적 예의 전략을 식별하고 디코딩할 수 있습니다. 만약 그렇다면, 이러한 행위는 정중함 전략에도 불구하고 체면을 위협하는 특징을 여전히 유지할 것이며, 더 나아가 전공의들은 헷징을 읽어내어서, 직접 언급하지 않는 '더 나쁜' 것이 있다는 표시로 해석할 수 있다. 브라운과 레빈슨의 설명처럼, 작가가 FTA가 실제로 위험성이 높지 않을 때 고위험high-risk FTA에 적합한 전략을 쓴다면, 독자는 FTA가 예전보다 더 컸다고 추정할 것이다(브라운과 레빈슨 1987, 페이지 74). 따라서 잘못된 전략이나 너무 많은 예의 바른 언어를 사용함으로써 우리는 우리가 의도하는 것보다 받는 사람이 더 나쁘다는 인상을 줄 수 있습니다. 

It is also possible that residents, as savvy social members of the ITER context, are able to discern and decode the hedging and other linguistic politeness strategies in ITER comments. If so, these acts will retain their face-threatening quality despite the politeness strategies and, furthermore, residents may read hedging as an indication that there is something ‘worse’ that is not being said. As Brown and Levinson explain, if a writer uses a strategy appropriate to a high-risk FTA when the FTA is actually not high risk, the reader will assume the FTA was greater than it was (Brown and Levinson 1987, p. 74). Therefore, by using the wrong strategy or too much politeness language, we may give the impression that things are worse for the recipient than we really intend. 

우리 전공의 중 상당수가 영어가 모국어가 아니며, 특히 [문자 그대로의 뜻을 의미하지 않는non-literal 언어]가 오해를 살 수 있다는 문헌도 있다(Danesi 1993). 이러한 우려에도 불구하고, 컴퓨터 기반 과외에 관한 흥미로운 일련의 연구는 언어가 직접적인 것일 때보다 의도적으로 공손할 때 학생들이 실제로 더 많은 것을 배울 수 있다는 것을 시사한다. 이러한 '예절 효과'는 학생이 초보자인지 아니면 더 고급인지에 따라 달라질 수 있으며(McLaren et al. 2011), 온라인 학습 및 시뮬레이션 설정과 같은 의학교육 맥락에서 추가 탐구할 가치가 있을 수 있다. 
Another issue to consider is that for many of our residents English is not the native language, and there is literature suggesting that non-literal language can be particularly prone to misunderstanding (Danesi 1993). Despite these concerns, an intriguing line of research in computer-based tutoring suggests that students may actually learn more when language is deliberately polite than when it is direct (Wang et al. 2008). This ‘politeness effect’ may depend on whether students are novices or more advanced (McLaren et al. 2011) and may be worthy of further exploration in medical education contexts such as online learning and simulation settings. 

목적과 해석 방식에 따라 거의 모든 것을 헷지로 사용할 수 있다(Fraser 2010). 해석은 맥락, 의미적 의미, 사용된 특정 위험회피, 수취인의 신념 체계에 따라 달라진다. 본 연구에서는 익명의 기존 데이터 세트를 사용했기 때문에, 익명성 문제를 무시할 수 없으며, 의도성intentionality에 대한 주장도 할 수 없습니다. 즉, 특정 주치의가 특정 코멘트에 의해 의도된 것이 무엇인지 확실히 알 수 없으며, 우리의 분석은 (불가피하게) 이러한 맥락이 없는 코멘트의 해석을 요구한다. 그러나 이전 연구를 통해 임상 감독자는 친절하고 자신의 코멘트로 인해 다른 사람의 기분을 상하게 하지 않으려는 강한 욕구를 가지고 있다는 것을 알고 있다(Ginsburg et al. 2015; Ilott and Murphy 1997). 
Nearly anything can be used as a hedge depending on how it is intended and interpreted (Fraser 2010). Interpretation depends on the context, the semantic meaning, the particular hedge used, and the belief system of the recipient. Because we used a pre-existing and anonymized data set for this study, we are unable to tease apart these issues and nor can we make claims regarding intentionality. That is, we cannot know for certain what a particular attending intended by any particular comment, and our analyses have, by necessity, required interpretation of these decontextualized comments. However, we do know from previous research that clinical supervisors have a strong desire to be nice and to not offend anyone with their comments (Ginsburg et al. 2015; Ilott and Murphy 1997). 

게다가 밀스가 예의 이론에 대한 비판에서 지적했듯이, "예의는 [의도적이고 의식적인 언어적 선택]에서부터 [무의식적인 규칙이나 대본의 적용]에 이르기까지 모든 범위에 걸쳐 있다." (밀스 2003, 페이지 74) 
Further, as Mills points out in her critique of politeness theories, ‘‘politeness spans the full range from deliberate, conscious linguistic choices to the unconscious application of rules or scripts’’ (Mills 2003, p. 74). 

항상 의도적인 선택이라기 보다는, 일부 [공손함 언어politeness language]는 "주어진 [주어진] 문맥과 관련된 규범에 적합하게 결정될 수 있다(Mills 2003, 페이지 67)". 우리의 맥락에서 이 언어선택의 일부는 상대적으로 무의식적인 것일 수 있으며, 이는 우리의 과학출판 문화처럼 일반적으로 우리의 평가 문화가 정중하고 회피적인 언어를 선호하고 촉진한다는 것을 시사할 수 있다. 
Rather than always being a deliberate choice, some politeness language may be ‘‘determined by conformity to the norms associated with the [given] context (Mills 2003, p. 67)’’. In our context it may be that some of this language choice is relatively unconscious, which might suggest that our culture of assessment in general prefers and promotes polite, hedging language, just as our culture of scientific publishing does. 

Watling(2008)이 지적한 바와 같이, ITER 프로세스 개선을 위한 교수진 개발 노력은 실망스러웠습니다. 부분적으로는 피드백을 전달하는 데 있어 교수진의 기술을 향상시키는 데 중점을 두고 있으며, 이에 대한 전공의들의 수용성을 방치하고 있기 때문입니다. 
As Watling (2008) noted, faculty development efforts to improve the ITER process have been disappointing, in part because they focus largely on enhancing faculty skill in delivering feedback and they neglect residents’ receptivity to it. 

예를 들어, 완료된 ITER의 품질을 평가하는 두데크 외 연구진(2008)은 "Excellent하게 작성된 ITER은 어떤 모습인가"에 대한 교수진의 인식을 반영한다. 흥미롭게도, ITER 품질 체크리스트의 9개 항목 중 7개 항목이 숫자 점수가 아닌 작성된 코멘트에 초점을 맞추고 있었고, 이는 교수 감독관들은 '코멘트'가 양식에서 매우 중요한 부분이라고 느끼고 있음을 시사합니다.
For example, Dudek et al.’s (2008) work on evaluating the quality of completed ITERs reflects their faculty participants’ perceptions of how ‘‘excellent’’ completed ITERs should look. Interestingly, seven of the nine items on their ITER quality checklist focus on the written comments rather than the numeric scores, strongly suggesting that faculty supervisors feel the comments are a critically important part of the form. 

피드백의 내용에 초점을 맞춘 "더 나은" 코멘트를 작성하도록 교수진을 훈련시키려는 노력이 일어났다(Dudek et al. 2013). 예를 들면,

• 강점과 약점을 모두 포함하는 "균형 잡힌" 코멘트를 제공한다.
• '지지적 방식''으로 피드백을 제공한다.
• 피드백 또는 교정조치에 대한 수습생의 반응을 문서화합니다.

Efforts have arisen to train faculty to write ‘‘better’’ comments (Dudek et al. 2013), which focus closely on the content of the feedback, including instructions for faculty

• to provide ‘‘balanced’’ comments that include both strengths and weaknesses,
• to provide feedback in ‘‘a supportive manner’’ and
• to document the trainee’s response to feedback or remediation.

안타깝게도, 교수진을 훈련시키는 것은 원하는 효과를 거두지 못했다(Dudek et al. 2013).
Unfortunately, training faculty has not had the desired effect (Dudek et al. 2013). 

우리의 연구 결과가 그 이유를 설명하는 데 도움이 될 수 있습니다. 첫째, "균형 잡힌" 코멘트는 비교적 열악한 전공의 성과를 나타내는 신호로 해석되는 경우가 많다(Ginsburg et al. 2015). 아마도 평가와 피드백의 개념이 ITER에 통합되기 때문에 좋은 "피드백" 관행이 이 맥락에서 완전히 적용되지 않을 수 있기 때문일 것이다. 둘째, '지원적' 방식으로 서면 피드백을 제공하려는 시도는 역설적으로 감독자가 덜 비판적으로 보이는 방법으로 더 많은 헷징과 간접 언어를 포함하도록 유도할 수 있다. 
Our findings may help to explain why. First, ‘‘balanced’’ comments are often interpreted as signalling relatively poor resident performance (Ginsburg et al. 2015), perhaps because concepts of assessment and feedback are conflated on an ITER, so that good ‘‘feedback’’ practice may not fully apply in this context. Second, the attempt to provide written feedback in ‘‘a supportive manner’’ may, paradoxically, lead supervisors to include more hedging and indirect language as a way to appear less critical.

우리가 연구에서 제시한 바와 같이, 그러한 헷징은 다른 교수들에게 [희미한 칭찬을 사용한 비판]으로 인식될 수 있다. ITER에 대한 교수진의 서면 의견을 개선하기 위한 현재의 접근방식은 역설적으로 교수진의 메시지가 왜곡될 수 있다는 점을 인식하고 신중하게 고려해야 합니다. 최소한, 우리의 결과는 어떻게 그것을 고칠지는 고사하고 서면 논평에서 어떤 것이 '고정fixed'되어야 하는지가 완전히 명확하지 않다는 것을 보여준다. 
Such hedging, as we’ve suggested in our study, may be perceived by other faculty as damning by faint praise. That current approaches to improve faculty’s written comments on ITERs may, paradoxically, distort their messages should be acknowledged and considered carefully. At a minimum, our results reveal that it is not entirely clear what (if anything) needs to be ‘‘fixed’’ in written comments, let alone how to fix it. 

[예의 이론]은 서술적 평가 코멘트를 작성할 때 교수진의 모호하고 겉보기에 도움이 되지 않는 언어의 사용에 바탕을 둔 중요한 사회적 동기를 드러냅니다. 헷징과 같은 전략은 [낮은 등급의 전공의]에게 널리 사용되고, [높은 등급의 전공의]에게도 놀라운 빈도로 사용된다. 이는 교수진이 어려운 사회 평가 맥락에서 자신뿐만 아니라 전공의들을 위해 '체면 유지' 작업을 하고 있을 수 있음을 시사한다. 일반적으로 언어의 사회적 기능과 특히 예의는 필수적이고 중요하며 반드시 교정이 필요한 것으로 여겨져서는 안 된다. 어텐딩들에게 그들의 언어에 더 직접적으로 대해 달라고 부탁하는 것은 의도하지 않은 부정적인 결과를 초래할 수 있으며, 이는 코멘트 작성을 "개선"하기 위한 교수진 개발 이니셔티브에서 고려되어야 한다.
Politeness theory reveals important social motives underlying faculty’s use of vague and seemingly unhelpful language when writing narrative assessment comments. Strategies such as hedging are used pervasively in low-rated residents and with surprising frequency in high-rated residents as well. This suggests that faculty attendings may be working to ‘‘save face’’ for themselves as well as for their residents in the difficult social context of assessment. The social function of language in general and politeness in particular are essential and important and should not necessarily be viewed as something in need of remediation. Asking attendings to be more direct in their language may have unintended adverse consequences which should be considered in faculty development initiatives to ‘‘improve’’ comment writing. 

Adv Health Sci Educ Theory Pract. 2016 Mar;21(1):175-88.

 doi: 10.1007/s10459-015-9622-0. Epub 2015 Jul 17.

Hedging to save face: a linguistic analysis of written comments on in-training evaluation reports

Shiphra Ginsburg 1 2, Cees van der Vleuten 3, Kevin W Eva 4, Lorelei Lingard 5

Affiliations collapse

Affiliations

• 1Department of Medicine and Wilson Centre for Research in Education, University of Toronto, Toronto, ON, Canada. shiphra.ginsburg@utoronto.ca.
• 2Mount Sinai Hospital, 600 University Ave, Ste. 433, Toronto, ON, M5G1X5, Canada. shiphra.ginsburg@utoronto.ca.
• 3School for Health Professions Education, Maastricht University, Maastricht, Netherlands.
• 4Faculty of Medicine, Centre for Health Education Scholarship, University of British Columbia, Vancouver, BC, Canada.
• 5Centre for Education Research and Innovation, Schulich School of Medicine and Dentistry, Western University, London, ON, Canada.

• PMID: 26184115
• DOI: 10.1007/s10459-015-9622-0AbstractKeywords: Assessment; Competence; Linguistics; Qualitative.
• Written comments on residents' evaluations can be useful, yet the literature suggests that the language used by assessors is often vague and indirect. The branch of linguistics called pragmatics argues that much of our day to day language is not meant to be interpreted literally. Within pragmatics, the theory of 'politeness' suggests that non-literal language and other strategies are employed in order to 'save face'. We conducted a rigorous, in-depth analysis of a set of written in-training evaluation report (ITER) comments using Brown and Levinson's influential theory of 'politeness' to shed light on the phenomenon of vague language use in assessment. We coded text from 637 comment boxes from first year residents in internal medicine at one institution according to politeness theory. Non-literal language use was common and 'hedging', a key politeness strategy, was pervasive in comments about both high and low rated residents, suggesting that faculty may be working to 'save face' for themselves and their residents. Hedging and other politeness strategies are considered essential to smooth social functioning; their prevalence in our ITERs may reflect the difficult social context in which written assessments occur. This research raises questions regarding the 'optimal' construction of written comments by faculty.

'역량바탕의학교육의 도입: 평가의 문화를 변화시키고 있는가? (Med Teach, 2019)

Competency-based medical education implementation: Are we transforming the culture of assessment?
Jane Griffithsa, Nancy Dalgarnob, Karen Schultza , Han Hanc and Elaine van Mellea,d

도입
Introduction

CBME는 근본적으로 결과 지향적인 패러다임 전환이며, 평가에 대한 전체적이고 종단적인 접근 방식을 통해 관련 역량에 근거합니다.
CBME is a paradigm shift fundamentally oriented to outcomes, grounded by relevant competencies, with a holistic, longitudinal approach to assessment

또한 CBME는 학습자의 진행 상황을 지속적으로 모니터링하고 개별화된 학습 계획을 수립하며 역량 개발에 대한 종합적 의사결정을 제공하기 위해 AA(Academic Advisor) 또는 역량 위원회의 형성평가 데이터의 통합과 해석을 요구합니다. 
CBME also requires synthesis and interpretation of formative assessment data by an Academic Advisor (AA) or Competency Committee to provide ongoing monitoring of learners’ progress, creation of individualized learning plans and summative decisions about competency development 

의미 있는 CBME를 달성하려면 효과적인 작업장 기반 평가를 위해서는 완전히-관여된engaged 지도자와 AA 또는 역량코치가 필요하다. 
Effective workplace-based assessments require fully engaged preceptors and AAs or competency coaches if meaningful CBME is to be achieved 


이 연구는 두 가지 이론적 체계를 채택하고 있다. Theory U는 [개인이 새로운 행동을 할 때 유의미한 인식의 변화를 설명하는 수단]이며, 프로그램 문화가 시간에 따라 발생하는 가정, 행동, 프로세스 및 제품의 의도적인 변화에 의해 영향을 받는 변화 개념(Kezar 및 Eckel 2002)을 제공합니다. 
The research employs two theoretical frameworks; Theory U which provides a means of describing significant changes in awareness as individuals engage in new behaviors (Scharmer 2016), and the concept of transformative change, whereby the culture of a program is affected by an intentional change in assumptions, behaviors, processes, and products that occur over time (Kezar and Eckel 2002). 

좀 더 구체적으로, 이론 U는 다음의 세 가지 측면으로 구성됩니다(그림 1). (Sengeetal.2004) 

• 감지(서스펜딩),
• 존재(시프트),
• 실현(변신)

More specifically, Theory U consists of three aspects:

• sensing (suspending),
• presencing (shifting), and
• realizing (transforming) (Figure 1).

"모든 학습 프로세스에서 일어나는 일의 확장"으로 설명되는 [U 이론 학습자]는

• 처음에 과거의 경험(U의 하향 부분)에 기초한 전통적인 정신 모델을 사용하여 변화에 inform하기 위한 정보를 수집합니다. 그러면 학습자들은 전통적인 모델을 버리고 자아와 미래의 가능성에 대한 인식을 키우기 시작합니다.
• 학습자가 [U를 올라갈수록] 새로운 시각과 행동 방식을 향한 ["공동 창조"와 "공동 진화"]에 대한 감각이 커집니다(Senge et al. 2004; Scharmer 2016).
• [근본적인 변화]가 발생할 때 이해관계자들은 기존의 체계와 체계를 실질적으로 재구성해야 한다. 이런 [변혁적 변화]가 가장 어렵다(2014년 Marris). 개인의 사전 지식과 신념은 이해를 행동으로 전환하는 방법에 영향을 미치며 변화 과정을 방해할 수 있습니다. 

Described as “extensions of what happens in all learning processes”, in Theory U learners

• initially gather information to inform change using traditional mental models based on past experiences (the downward part of the U). Learners then begin to let go of traditional models and develop a greater awareness of self and future possibilities.
• As learners move up the U, there is a greater sense of “co-creating” and “co-evolving” into a new way of seeing and doing (Senge et al. 2004; Scharmer 2016).
• When fundamental changes are undertaken, stakeholders must substantively restructure existing schemas and frameworks. This kind of transformational change is the most challenging (Marris 2014). An individual’s prior knowledge and beliefs influence how one translates understanding into action and can impede the change process.

주요 문화 변화를 구현하는 것은 단순히 개인의 기술과 인식의 기능이 아니라 전문가, 개인 및 상황 요인의 상호작용이다(Spillane et al. 2002).  

Implementing major culture change is not simply a function of an individual’s skill and cognition, but rather the interaction of experts, individuals, and the situational factors (Spillane et al. 2002). 

본 논문의 목적상, [평가의 문화]는 "학생 학습 성과 평가"(Weiner 2009)를 지원하는 기관 내 개인의 태도, 행동 및 신념으로 정의된다. 
For the purpose of this paper, assessment culture is defined as the attitudes, behaviors, and beliefs of individuals within an institution that support “the assessment of student learning outcomes” (Weiner 2009). 

평가 문화의 변화는 CBME로의 전환을 지원하기 위해 중요하지만, 변화의 가장 어려운 측면 중 하나이다(Perguson et al. 2017). 
A change in assessment culture is crucial to support the transition to CBME, yet is one of the most challenging aspects of change (Ferguson et al. 2017). 

방법
Method

우리는 CBME 채택 과정 시작 시와 시행 후 3년을 인터뷰하여 질적 근거이론(Strauss and Corbin 1990; Creswell and Creswell 2017; Glaser and Strauss 2017)을 채택했다. 지속적인 비교 방법(Strauss and Corbin 1990)을 사용하여, 임상 지도자와 AA, 전공의에 대한 평가가 어떻게 변화했는지에 대한 프리셉터/AA의 CBME에 대한 이해와 그들의 생각을 살펴보았다. 
We adopted a qualitative grounded theory (Strauss and Corbin 1990; Creswell and Creswell 2017; Glaser and Strauss 2017) method by interviewing preceptors/AAs at the beginning of the CBME adoption process and three years after implementation. Using the constant comparative method (Strauss and Corbin 1990), we explored preceptor/ AA’s understanding of CBME and their thoughts on how assessment had changed for clinical preceptors, AAs, and residents.

필드 노트
Field Notes (FNs)

컨텍스트 Context

이 연구는 온타리오 대학의 한 가정의학과(DFM)에서 이루어졌다. 이 프로그램은 약 150명의 졸업생이 참여하는 2년 간의 가정의학 교육 프로그램입니다. 2010년 이후, 이 부서는 여러 지도자에 의한 빈번한 고부담 형성적 평가, 어려움에 처한 전공의의 조기 식별, 교육 코칭, EPA, 개별 전공의 요구에 맞는 맞춤 학습을 제공하는 CBME 평가의 핵심 원칙을 채택했다.
This study took place in one medium-sized Department of Family Medicine (DFM) at an Ontario university. It is a twoyear Family Medicine training program with approximately 150 postgraduate learners. Since 2010, this department has embraced key principles of the CBME assessment that features

• providing frequent low stakes formative assessments by multiple preceptors and across different contexts,
• early identification of residents in difficulty, academic coaching, EPAs, and
• tailoring learning to individual resident needs (College of Family Physicians of Canada 2011; McEwen et al. 2015). 

FN은 약 36개의 벤치마크 EPA(Schultz et al. 2015)로 구성되며, CFPC 커리큘럼 및 평가 프레임워크에 따라 수집 및 대조되며, AA와 전공의가 4개월마다 검토하고 해석한다. 프리셉터는 작업장에서 정기적인 형성평가를 문서화합니다. 
The FNs are organized around 36 benchmarked EPAs (Schultz et al. 2015), are collected and collated according to the CFPC curricular and assessment frameworks, and are reviewed and interpreted by the AA and resident every four months. Preceptors document regular formative assessment in the workplace. 

자료 수집
Data collection

각 인터뷰는 약 60분이었으며, 음성 녹음 및 녹음되었습니다. 연구팀(ND)의 한 구성원이 인터뷰를 진행하고 메모를 작성하며 주요 사항을 반복하여 응답(구성원 확인)을 검증했습니다. 가명이 참가자의 모든 식별 정보를 대체했습니다.

Each interview was approximately 60minutes, audiorecorded and transcribed verbatim. One member of the research team (ND) conducted the interviews, wrote notes, and reiterated main points to validate responses (member checking). Pseudonyms replaced all identifying information of the participants.   

자료 분석
Data analysis

두 명의 팀 구성원(HH, ND)은 파트 1과 파트 2에서 각각 두 개의 스크립트를 독립적으로 코드화하고 결과를 비교했으며, 초기 코드북이 개발될 때까지 합의와 의미를 공유하기 위해 코드를 논의했다. 이어 한(HH) 연구원이 나머지 기록물, 새롭게 개발된 새로운 주제 코드를 코딩하고 인터뷰 및 초기 코딩(ND)을 진행한 사람들과 새로운 코드를 확인했는데, 기록물의 의미가 모두 소진되고 코딩된 상태에서 새로운 코드가 나타나지 않아 [코드 포화]가 이루어졌다(Hennink et al. 201).7). 그런 다음 모든 코드를 유사한 범주와 중요한 주제로 분류하여 연구팀이 개인적 및 긴장을 다룰 수 있는 기회를 제공하고 reflexitivy를 다루고 프로세스에 대한 엄격성을 보장할 수 있도록 했다(Barry et al. 1999; Hesse-Biber and Leavey 2010). 

Two team members (HH, ND) independently coded two transcripts respectively from Part 1 and Part 2, compared results, and discussed the codes to ensure consensus and shared meaning until an initial codebook was developed. One (HH) then researcher coded the remaining transcripts, the new developed codes on emerging themes, and checked the new codes with those who conducted the interviews and initial coding (ND). Code saturation was achieved when all meanings in transcripts were exhausted and coded, and no new codes appeared across all transcripts (Hennink et al. 2017). All codes were then grouped into similar categories and overarching themes through multiple discussions which allowed the research team biases opportunities to address personal and tensions thereby addressing reflexivity and ensuring rigor to the process (Barry et al. 1999; Hesse-Biber and Leavy 2010). 

결과
Results

2013년 12개의 AA가 1부(응답률 60%)에 참여하였고, 9개의 AA가 2016년 2부(응답률 50%)에 참여하였다. 네 개의 AA가 연구의 두 부분 모두에 참여하였다(표 1).
Twelve AAs participated in Part 1 of the study in 2013 (60% response rate) and nine AAs participated in Part 2 in 2016 (50% response rate). Four AAs participated in both parts of the studies (Table 1).

주제 1: 평가 문화의 변화 확인
Theme 1: Identified shifts in assessment culture

CBME에 대한 이해.
Understanding of CBME.

참가자들은 CBME에 대해 상당히 잘 이해하고 있었다. 그러나 파트 1에서, 목소리들은 주로 잠정적이었고 일부 핵심 원칙(예: 시간에 따른 평가, 형성평가의 중요성, 성과 지향성)이 누락되었다. 
Participants had a reasonably good understanding of CBME. In Part 1, however, the voices were primarily tentative and missing some key principles (e.g. assessment over time, importance of formative assessment, and outcomes orientation). 

파트 2에서 참가자들은 CBME에 대한 이해를 강화하였고, CBME를 정의해달라는 요청을 받았을 때 보다 상세하고 다면적인 CBME에 대한 설명을 사용하였다.
In Part 2, participants had a stronger understanding of CBME, used more detailed and multi-faceted descriptions of CBME when asked to define it.

학습자의 역할 전환.
Shift in role of learners.

파트 1 참가자의 설명 중 대다수는 [평가 관련 작업의 증가]를 식별하고, 이에 대한 [책임을 학습자에게 돌렸습니다]. 
The majority of Part 1 participants’ descriptions identified an increase in assessmentrelated work, and placed the onus for this on the learner. 

파트 2의 대부분의 참가자들은 학습자들이 평가에 더 적극적으로 참여하고 피드백 추구를 증가시켰다고 느꼈습니다. 그들은 학습자들이 더 자기 성찰적이고 자신의 학습을 통제하는 것으로 인식했습니다. 참가자들은 학습에 대한 형성적 피드백과 평가의 효용과 성격에 대해 잘 이해하고, 학습을 가이드할 [공동 책임]을 파악했습니다. 그들은 CBME의 많은 핵심 원칙을 그들의 진술을 근거로 삼았다.
Most participants in Part 2 felt the learners were more engaged in assessment and described increased feedbackseeking. They perceived the learners as being more selfreflective and in control of their learning. Participants demonstrated a good understanding of the utility and nature of formative feedback and assessment for learning, identifying a shared responsibility for guiding learning. They used many of the key principles of CBME to ground their statements.

프리셉터의 역할의 변화.
Shift in role of preceptors.

1부 참가자들 중 다수는 일상 평가 요구 사항의 세분화된 성격을 선지자로서 이해하고 있었지만, 일상적 형식적 평가를 완료하려는 노력을 기울이지 않는 경우가 많았다. FN은 유용한 것으로 인식되지 않았으며, 사용할 때 주로 긍정적인 피드백을 제공하는 데 초점을 맞추었다. 
Many of the Part 1 participants understood, in their role as a preceptor, the granular nature of their daily assessment requirements, but were often not inclined to make the effort to complete daily formative assessment. FNs were not perceived as helpful and when used, were primarily directed at giving positive feedback. 

그러나 파트 2에서는 [모든 참가자가 평가 과정의 지도자로서 자신의 역할을 포괄적으로 이해하였다]. 이들은 시간이 지남에 따라 여러 전문가로부터 여러 데이터 포인트를 수집하는 것이 중요하다는 것을 이해했습니다. 그들은 더 많은 피드백을 제공하고 FN을 통해 이를 문서화하는 데 초점을 두고 보다 직접적인 관찰을 수행하는 것을 설명했습니다. 또한 [학습에 대한 평가의 가치를 인식]하여 학습 성과가 달성될 때까지 과제를 수행할 때마다 피드백을 제공했습니다. 
In Part 2, however, all participants had gained a comprehensive understanding of their role as preceptors in the assessment process. They understood the importance of collecting multiple data points from multiple experts over time. They described doing more direct observation with a focus on providing more feedback and documenting it through FNs. They also recognized the value of assessment for learning – giving feedback each time the task is performed until the learning outcomes are achieved. 

AA의 역할 전환.
Shift in role of AA.

AA의 역할에서, 모든 파트 1 참가자는 전공의와의 협력을 바탕으로 역량 결정을 내릴 수 있을 뿐이라고 설명했으며, 전자 시스템에서 수집된 증거를 불신하는 경향이 있었다.

In their role as AAs, all Part 1 participants described only being able to make a competency decision based on working with a resident and were inclined the to distrust the evidence collected in electronic system. 

파트 2 참가자의 대다수는 시간이 지남에 따라 수집된 종합적 평가 데이터를 활용하여 전체 학습자 역량을 평가할 때 얻을 수 있는 이점을 이해한다고 말했다. 
The majority of Part 2 participants stated that they understood the benefits of utilizing the synthesized assessment data collected over time, from a number of assessors, to assess overall learner competence. 

주제 2: 평가 문화의 변화를 뒷받침하는 요인
Theme 2: Factors supporting the shifts in assessment culture

의무적인 의학교육 개혁.
Mandated medical education reform.

평가 문화의 변화를 뒷받침하는 한 가지 요인은 인증 기관인 CFPC가 의무적으로 시행한 국제적인 의료 교육 개혁이었습니다. CFPC는 국가 역량 기반 트리플 C 커리큘럼을 만들고 2011년 CBME 원칙을 프로그램의 인증 요건에 통합했다(College of Family Physicians 2011). 모든 인터뷰 대상자가 확인한 바와 같이, 이러한 직접적인 권한은 우리가 새로운 역량 기반 평가 프로세스를 개발하도록 자극했습니다.
A factor supporting the shift in assessment culture was the overarching international reform in medical education that was mandated by our accrediting body – the CFPC. The CFPC created its national competency-based Triple C curriculum and incorporated the principles for CBME into programs’ accreditation requirements in 2011 (College of Family Physicians of Canada 2011). As identified by all the interviewees, this direct mandate was what prompted us to develop a new competency-based assessment process.

부서 지원.
Departmental support.

DFM은 체계적인 평가 프로세스를 개발하고 유지하기 위한 시간, 인력, 인프라 지원 및 할당을 통해 평가 문화의 변화를 촉진했습니다. 1부 참가자들 중 다수는 형성적 평가에 익숙해지고 이를 채택하는 데 걸리는 시간에 초점을 맞추었다. 
The DFM facilitated the change in assessment culture through support and allocation of time, personnel, and infrastructure to develop and sustain a systemic assessment process. Many of the Part 1 participants focused on the amount of time it took to become familiar with and adopt the formative assessment. 

반면, 파트 2의 참가자들 대부분은 부서 지원의 가치에 초점을 맞췄다.
Whereas, most of the participants in Part 2 focused on the value of departmental support.

리더십
Leadership.

평가의 변화를 이끄는 리더십의 가용성은 평가 문화 혁신을 이끄는 데 있어 핵심적인 요소였습니다. 거의 모든 참가자들이 리더에게 도움이 되는 특성(접근성, 열정, 참여성, 효과적, 듣기 능력)에 대해 언급했습니다. 

The availability of leadership guiding the changes in assessment was a key factor in driving assessment culture transformation. Almost all of the participants commented on the characteristics they saw as being helpful in that leader – accessible, enthusiastic, engaged, effective, good listening skills. 


정보 기술 향상.
Information technology improvement.

[IT 개발과 지원]은 평가의 변화를 위한 기반을 닦았습니다. 파트 1 참가자들은 평가 시스템이 보다 사용자 친화적이어야 하고 시간이 덜 걸려야 한다고 생각했다. 
IT development and support paved the way for change in assessment. Part 1 participants thought that the assessment system should be more user-friendly and less time-consuming. 

3년 후, 모든 참가자는 IT 개선에 더 만족한다고 답했으며, 평가 프로세스가 기능 및 인프라 측면에서 더 잘 지원된다는 것을 알게 되었습니다. 
Three years later, all the participants indicated that they were more satisfied with the IT improvement and found the assessment process was better supported in terms of functionality and infrastructure. 


교수개발
Faculty development.

FD는 CBME 구현의 핵심이었습니다. 파트 1 참가자의 대다수는 학습자를 관찰하고 피드백을 제공하며 형성평가를 위해 작업장 기반 평가를 효과적으로 사용하는 방법에 대한 교육이 필요하다고 느꼈습니다.
FD was a key to implementing CBME. The majority of Part 1 participants felt that they needed training on how to observe learners, give feedback and effectively use workplace-based assessment for formative assessment.

파트 2에서, 그들은 더 많은 FD 기회와 그들의 역할과 효과적인 평가를 제공할 수 있는 능력에 대한 자신감을 언급했습니다. 
In Part 2, they noted more FD opportunities, and confidence in their role and ability to provide effective assessments. 

주제 3: 평가 문화의 변화 결과
Theme 3: Outcomes of the shift in assessment culture

학습 강화.
Enhanced learning

1부 참가자들은 [목적은 명확히 이해하지 못한 채 학습자가 해야 할 일의 양]에만 초점을 맞췄다. 
Part 1 participants focused on the amount of work the learners had to do without apparent understanding of the purpose. 

2부에서는 거의 모든 참가자들이 학습자가 자신의 학습 및 모니터링에 앞장서면서 보다 자기 주도적으로 학습함으로써 평가 시스템에서 어떤 이점을 얻을 수 있는지에 대해 풍부하게 설명했습니다. 이들은 더 많은 피드백을 받고 학습자들이 피드백을 검토할 수 있는 기회를 설명했으며, 이를 통해 학습이 향상되었다고 느꼈습니다. 참가자들은 더 많은 피드백을 찾는 학습자에 대해 설명했습니다. 
In Part 2, almost all of the participants gave rich descriptions of how learners benefit from the assessment system by being more self-directed with learners taking the lead on learning and monitoring their own progress. They benefiting from more feedback and described learners opportunities to review feedback, which they felt enhanced their learning. Participants described learners seeking more feedback. 

가르침 강화.
Enhanced teaching.

1부 참가자들은 자신의 지도자의 역할을 하면서 FN이 학습자에게 보다 자세하고 건설적인 피드백을 제공하는 데 도움이 된다고 믿었습니다. 
Part 1 participants, in their preceptor role, believed FNs facilitated giving learners more detailed and constructive feedback. 

파트 2에서, 참가자들은 더 많은 관찰로 인해 그들의 피드백이 더 직접적으로 신뢰된다고 설명했다. 이들은 FN을 작성하는 것이 학습자들에게 더 많은 학습기회를 만들어 줄 뿐만 아니라, 정기적인 피드백에 집중된 자신의 가르침에 대한 성찰 능력을 통해 향상시켰다고 설명했다. 그들은 평가에 대한 이 새로운 접근법이 그들을 더 나은 지도자로 만들었다고 믿는다. 
In Part 2, participants described their feedback as being direct more credible due to more observation. They explained that writing FNs not only created more learning opportunities for learners, but also improved through their own ability to reflect on their teaching focused attention to regular feedback. They believe this new approach to assessment has made them better preceptors. 

표준을 사용하여 성능 수준을 결정합니다.
Use of standards to make level of performance decisions.

1부에서는 모든 참가자들이 학습자의 수행 수준을 결정하는 데 있어 [자신의 실천 방식을 벤치마크로 사용]했습니다. 그들은 이러한 의사결정에 대한 기준이 부족하다는 점에 주목하였다.
In Part 1, all of the participants in their role as preceptors, used their own practice as a benchmark in determining a learner’s level of performance. They noted the lack of standards for these decisions.

파트 2에서 각 참가자는 여전히 학습자의 성과에 대한 판단이 대부분 직관에 기초하고 있다고 설명했지만, 확신할 수 없을 때 결정을 확인하거나 경계선 성과에 대한 결정을 정당화하기 위해 기준(EPA)을 사용했습니다.
In Part 2, each participant still described their judgments of learner’s performance as being largely based on intuition but used the standards (EPAs) to confirm decisions when unsure or to justify a decision about a borderline performance.


학습자의 성과에 대한 더 넓은 그림.
Broader picture of learner’s performance.

1부에서는 참가자들 중 누구도 [형성적 피드백을 문서화하여 수집함으로써 얻을 수 있는 이점]을 보지 않았으며 오히려 학습자에게 [무가치한 추가 작업]으로 보았다.

In Part 1, none of the participants saw the benefit of documenting and collecting formative feedback, rather, they saw it as additional work without value for learners. 

그러나 3년 후 연구에 참여한 학생들은 FN을 완료하는 것이 일상적인 일이라고 여겼으며 평가 시스템이 제공하는 학습자의 전반적인 성과를 보다 포괄적으로 파악해 주었다. 

Those that participated in the study three years later, however, viewed completing FNs as routine, and appreciated the more comprehensive picture of the learners’ overall performance afforded by the assessment system. 


모든 평가를 위한 중앙 저장소.
Central repository for all assessments.

파트 2에서 모든 참가자는 접근, 검토 및 문서화를 쉽게 할 수 있도록 [모든 평가 데이터를 하나의 중앙 위치에 두는 것의 이점]을 높이 평가했습니다. 전자 기능은 데이터 정리 및 데이터 수집에 편리한 것으로 나타났습니다. 2013년 한 해 동안 참가자들은 중앙 리포지토리와 관련된 혜택에 대해 설명하지 않았습니다. 
In Part 2, all of the participants appreciated the benefits of having all assessment data in one central location for ease of access, review, and documentation. The electronic functionality was found to be convenient in organizing and collating data. In 2013, participants did not describe any benefits related to the central repository. 

성능 추적 및 문서화 개선.
Better tracking and documentation of performance.

2부에서는 대부분의 참가자들이 학습자의 궤적을 더 잘 추적하고 진행 상황을 모니터할 수 있게 되었습니다. 총괄 평가와 역량 결정이 더 많은 정보를 제공한다고 느꼈습니다. 이들은 평가 시스템이 학습 궤적이나 학습 공백이 있는 학습자를 [조기에 식별하고 문서화하여 시기적절하고 효과적인 개입]을 촉진한다고 느꼈습니다. CBME 이전 평가 시스템에서, 이러한 격차는 레지던트 프로그램이 끝날 무렵에 더 자주 확인되었습니다. 
In Part 2, most participants felt better able to track learners’ trajectory and monitor progress. Summative assessments and competence decisions felt more informed. They felt the assessment system supported early identification and documentation of learners with stalled learning trajectories or gaps in their learning, which, in turn, facilitated timely, effective intervention. In the pre-CBME assessment systems, gaps these were more often identified near the end of the residency program. 

한 가지 추가 발견은 CBME가 전공의에게 미칠 수 있는 부정적 영향에 대한 일부 선관/AA의 추측이었다. 2부에서 일부 참가자들은 FN에 대한 지나친 요구가 전공의들의 독립성을 저해하고 자기성찰 능력을 떨어뜨릴 수 있다는 우려를 표명했다. 
One additional finding was speculation by some preceptors/AAs of a potential negative impact of CBME on residents. In Part 2, some participants expressed their concerns that too much demand for FNs might discourage residents’ independence and decrease their self-reflection skills. 

고찰
Discussion

이 연구는 시간이 지남에 따라 우리의 역량 기반 평가 문화에서 지속적이지만 긍정적인 변화를 보여 줍니다. 참가자들은 CBME에 대한 이해와 가치를 향상시켰습니다. 그들은 형성적 피드백의 가치를 설명하고 그것을 제공하는 경향이 더 강하다고 설명했습니다. 그들은 자신들의 피드백이 더 신빙성이 있고 형성적 피드백에 더 많이 참여하기 때문에 더 나은 교사라고 믿었다. AA로서, 그들은 학습자의 성과에 대한 넓은 그림을 제공하는 평가 데이터를 위한 중앙 저장소에 접근함으로써 역량에 대한 요약적 의사결정을 내릴 수 있는 능력에 대해 더욱 자신감을 갖게 되었다. 시간이 지남에 따라 성능을 더 잘 추적하면 학습 문제를 조기에 식별, 문서화 및 처리할 수 있습니다. 
This research demonstrates an ongoing, but positive transformation in the culture of our competency-based assessment over time. Participants improved their understanding and valuing of CBME. They described the value of formative feedback and being more inclined to provide it. They believed their feedback was more credible and they were better teachers because of more engagement in formative feedback. As AAs, they became more confident in their ability to make summative decisions about competence, through access to a central repository for assessment data offering a broad picture of learner’s performance. Better tracking of performance over time affords the opportunity to identify, document and deal with learning issues earlier. 

평가 문화의 전환을 지원한 주요 요소로는 

• 규제 기관의 요구, 
• 지역 리더십, 
• 부서 지원, 
• 교수 개발,
• 최종 사용자의 요구에 대응하는 전자 플랫폼 등이 있었다.

The major factors that supported the shift in assessment culture included

• the mandate of regulatory bodies,
• local leadership,
• departmental support,
• faculty development and
• an electronic platform responsive to the needs of end-users.

이러한 구성요소는 [긴박감 확립]에서 [협력적 리더십], [새로운 접근법의 제도화]에 이르는 성공적인 혁신 변화와 관련된 잘 알려진 요인과 일치합니다. 

These components are aligned with well-known factors related to the successful transformational change from establishing a sense of urgency to collaborative leadership to institutionalizing new approaches (Kotter 1996; Kezar and Eckel 2002; Fullan 2007). 

본 연구의 참가자들은 이론 U와 관련된 구조물에 의해 틀에 잡힌 변화 과정, 

• 다운로드(과거 패턴 일시 중단), 
• 제시(변화를 반영 및 전환), 
• 수행(실천 및 인프라를 통한 변환 결과)(Sharmer 2016)을 거쳤습니다.

The participants in this study journeyed through the process of transformational change framed by the constructs associated with Theory U:

• downloading (suspending patterns from the past);
• presencing (reflecting and shifting to the change); and
• performing (transforming results through practices and infrastructures) (Scharmer 2016).

Figure 2
그림 2

• [U의 왼쪽부분]에서 아래로 이동함에 따라, 그들은 평가에 대한 전통적인 믿음을 중단하기 시작했고, 새로운 평가 전략을 이해하려고 시도했으며, 그리고 나서 CBME 이전의 규범을 놓기 시작했습니다.
• [U의 바닥부분]에서 역량 기반 평가의 목적을 이해함으로써 평가 문화의 변화를 나타낸다. 
• [U의 우측부분]으로 이동하면, 그들은 새로운 역량 기반 평가 모델에 대해 더 익숙해진된다. 새로운 지식은 시스템 전체에 내재되어 있기 때문에, 새로운 접근방식은 학습자와 이중 역할 모두를 위해 궁극적으로 가치를 인정받았다(Spillane et al. 2002).
• Moving down the left side of the U, they began to suspend traditional beliefs about assessment, attempting to make sense of new assessment strategies, and then begin to let go of pre-CBME norms.
• The bottom of the U represents a shift in assessment culture through an understanding of the purpose of competency-based assessment.
• Moving up the right side of the U, they become more and more cognitively enculturated in the new competency-based assessment model and ultimately recognized value in the new approach both for themselves in their dual roles and for learners, as the new knowledge became embedded in the system as a whole (Spillane et al. 2002).

맥러플린(1990)의 "일단 행동을 하면, 다음에 이해가 따라올 수 있다"는 격언이 이 연구에서 강조된다. 이러한 문화적 변화는 CBME 평가 과정에 대한 진화하는 이해를 통해 시간이 지남에 따라 발생합니다. 초기 연구에서 참가자들은 변화를 수용하는 것을 꺼려했다. CBME에 대한 이해는 잠정적이었고, FN에 만족하지 않았으며, 평가 접근방식의 격차를 일부 확인했기 때문에 로드맵으로서 벤치마킹이 필요함을 시사했다. 
McLaughlin’s (1990) adage “understanding can follow action” is highlighted in this study. This cultural transformation occurs over time through an evolving understanding of CBME assessment processes. In our study, at the beginning, participants showed reluctance to embrace change; their understanding of CBME was tentative, they were not satisfied with FNs, and some identified gaps in the assessment approach, suggesting they needed benchmarks as a roadmap. 

긍정적인 관점에서 이러한 불만과 제안은 어느 정도 그들의 변화 참여를 시사하였다. 분노와 불만은 사람들이 문화적 불협화음을 경험하고 있다는 것을 의미할 수 있다(번즈 앤 제임스 1995; Bickel and Jensen 2012). 이러한 불협화음에서 생각과 성찰이 나오고 문화적 변화를 형성하는데 도움이 될 수 있다. 본 프로그램에서는 프리셉터/AA가 해결해야 할 문제를 찾아내고, 이러한 문제를 해결함으로써 사람들이 변화의 이점을 보고, CBME를 더 잘 이해하며, 새로운 평가 문화를 수용하게 되었습니다. 
On a positive note, these dissatisfactions and suggestions to some extent indicated their engagement in change. Resentment and dissatisfaction may mean that people are engaged and experiencing a cultural dissonance (Burnes and James 1995; Bickel and Jensen 2012). Thoughts and reflections may come from such dissonance and help shape the cultural shifts. In our program, it was through engagement that the preceptors/AAs found the issues that needed to be addressed, and it was through addressing those issues that people saw the benefits of change, gained a better understanding of the CBME, and embraced the new culture of assessment. 

이 연구는 변화가 완벽하게 구현되기를 기대하지 않고, 변화로 인해 발생하는 이슈들을 신속하게 해결해야 하며, 문화적 전환에 시간이 걸린다는 점을 강조한다. 우리의 연구 결과는 그들의 기관에서 평가나 커리큘럼의 변화를 계획하는 사람들의 진로를 안내하는 조명입니다. 
This study highlights not to expect change to be implemented perfectly, that issues arising from change do need to be addressed quickly and that cultural transition takes time. The results of our study shed light to guide the path of those who plan a change in assessment or curriculum in their institutions. 

Limitations of the study

Conclusions

Med Teach. 2019 Jul;41(7):811-818.

 doi: 10.1080/0142159X.2019.1584276. Epub 2019 Apr 7.

Competency-Based Medical Education implementation: Are we transforming the culture of assessment?

Jane Griffiths 1, Nancy Dalgarno 2, Karen Schultz 1, Han Han 3, Elaine van Melle 1 4

Affiliations collapse

Affiliations

• 1a Department of Family Medicine , Queen's University , Kingston , Canada.
• 2b Faculty of Health Sciences , Queen's University , Kingston , Canada.
• 3c Centre for Studies in Primary Care, Queen's University , Kingston , Canada.
• 4d Royal College of Physicians and Surgeons of Canada , Ottawa , Canada.

• PMID: 30955390
• DOI: 10.1080/0142159X.2019.1584276Abstract
• Purpose: Adopting CBME is challenging in medicine. It mandates a change in processes and approach, ultimately a change in institutional culture with stakeholders ideally embracing and valuing the new processes. Adopting the transformational change model, this study describes the shift in assessment culture by Academic Advisors (AAs) and preceptors over three years of CBME implementation in one Department of Family Medicine. Methods: A qualitative grounded theory method was used for this two-part study. Interviews were conducted with 12 AAs in 2013 and nine AAs in 2016 using similar interview questions. Data were analyzed through a constant comparative method. Results: Three overarching themes emerged from the data: (1) specific identified shifts in assessment culture, (2) factors supporting the shifts in culture, and (3) outcomes related to the culture shift. Conclusions: In both parts of the study, participants noted that assessment took more time and effort. In Part 2, however, the effort was mitigated by a sense of value for all stakeholders. With support from the mandate of regulatory bodies, local leadership, department, faculty development and an electronic platform, a cultural transformation occurred in assessment that enhanced learning and teaching, use of embedded standards for performance decisions, and tracking and documentation performance.

CBME에서 성장형 마음가짐(Med Teach, 2021)

Growth mindset in competency-based medical education
Denyse Richardsona,b , Benjamin Kinnearc , Karen E. Hauerd , Teri L. Turnere , Eric J. Warmc , Andrew K. Hallb,f , Shelley Rossg , Brent Thomab,h and Elaine Van Melleb,i; On behalf of the ICBME Collaborators 

Introduction

보건 직종에 걸쳐 역량 기반 의료 훈련 교육(CBME)을 지속적으로 채택하면서(Carracio et al. 2002), 역량 개발을 지원하는 평가 관행에 대해 많은 내용이 작성되었다(Frank et al. 2010; Holmboe et al. 2010; Harris et al. 2017; Lockkyer et al. 2017; Iobst and Holmboe 2020). 그러나 개인의 발전을 지원하는 교육 관행과 학습 경험에 동등한 관심을 기울여야 한다(Van Melle et al. 2019). CBME는 의학적 정교함의 연속을 따라 누적 학습을 요구하므로(McGaghie et al. 1978), CBME가 성공적으로 구현되기 위해서는 학습자가 숙달이라는 평생 목표를 가지고 개별화되고 지속적인 학습을 통해 자신의 성장을 형성하는 파트너가 되어야 합니다. 
In the ongoing adoption of competency-based medical training education (CBME) across health professions (Carraccio et al. 2002), much has been written about assessment practices that support competency development (Frank et al. 2010; Holmboe et al. 2010; Harris et al. 2017; Lockyer et al. 2017; Iobst and Holmboe 2020). However, equal attention must be given to instructional practices and learning experiences that support individual development (Van Melle et al. 2019). As CBME calls for cumulative learning along a continuum of increasing medical sophistication (McGaghie et al. 1978), its successful implementation requires learners to be partners in shaping their own growth through individualized, ongoing learning with the lifelong goal of mastery. 

개인의 학습 접근 방식은 CBME 프로그램의 성공에 큰 영향을 미칠 것입니다. 최근에는 Dweck의 자기이론, 즉 성장마인드(Growth Mind)에 대한 관심이 높아지고 있다(Teunissen and Bok 2013, Khalkhali 2018, Shapiro and Dembitzer 2019, Chadha 2020). Dweck는 개인이 지능과 능력에 대해 암묵적인 견해나 사고방식을 가지고 있으며, 고정된 특성(고정 사고방식)인지 변화 가능한(성장 사고방식)인지에 대해 보고하고 있습니다(Dweck 2016). 성장 마인드를 가진 학습자는 역량과 숙달로 나아가는 길이 발전적 진전임을 인식합니다.  

An individual’s approach to learning will significantly affect their success in a CBME program. Recently, there has been increasing interest in Dweck’s self theory, or growth mindset, as an important underpinning value of health professions education (Teunissen and Bok 2013; Khalkhali 2018; Shapiro and Dembitzer 2019; Chadha 2020). Dweck reports that individuals have implicit views, or mindsets, regarding intelligence and abilities and whether they are fixed traits (fixed mindset) or changeable (growth mindset) (Dweck 2016). Learners with the growth mindset recognize that the road to competence and onward to mastery is a developmental progression. 

성장 마인드셋이란 무엇입니까?
What is the growth mindset?

사고방식Mindset이란 '특정한 생각의 방식'이다. 그것들은 성격과 습관적으로 생각하고 행동하는 방식을 강력하게 형성하는 태도, 전망, 신념의 집합체입니다. 사고방식의 토대는 개인의 신념이다. 기본 신념을 면밀히 검토하면 이러한 기본 신념과 관련된 인지 과정과 그것이 행동에 어떻게 영향을 미치는지 그리고 그러한 행동에 대한 개인의 자기 해석, 분석 및 라벨링에 대한 보다 명확한 이해를 제공할 것이다.
Mindsets have been described as a ‘particular way of thinking’ ( ). They are a collection of attitudes, outlooks, and beliefs that powerfully shape personality and how one habitually thinks and acts. The foundation of a mindset is one’s beliefs, Closely examining underlying beliefs will provide a clearer understanding of the cognitive processes linked to these underlying beliefs and thereby how they affect behaviours and the individual’s self-interpretation, analysis, and labelling of those behaviours.

즉, [우리의 행동]은 [우리의 신념을 반영하는 관찰 가능하고 측정 가능한 행동]입니다. Dweck의 사고방식 이론에 따르면, 이러한 자기관념은 '우리가 원하는 것과 그것을 얻는 데 성공하느냐'에 깊은 영향을 미칠 수 있습니다(Dweck and Leggett 1988; Dweck 2016).
In other words, our behaviours are the observable and measurable actions that reflect our beliefs. According to Dweck’s mindset theory, these self-conceptions can profoundly ‘affect what we want and whether we succeed in getting it’ (Dweck and Leggett 1988; Dweck 2016).

• 성장 마인드를 가진 개인은 속성(예: 지능)이 유연하고 개선될 수 있다고 믿습니다.
• 고정 마인드를 가진 사람은 속성을 바꿀 수 없고 자신의 가치에만 내재한다고 믿는다(Hong et al. 1999; Dweck 2016).

• An individual with the growth mindset believes attributes (e.g. intelligence) are malleable and can be improved, while
• someone with the fixed mindset believes attributes are unchangeable and inherent to their self-worth (Hong et al. 1999; Dweck 2016).

학습자의 사고방식은 목표 지향성(Locke 및 Latham 2002)에 영향을 미칠 수 있으며, 이는 학습자의 행동에 반영됩니다.
A learner’s mindset can influence their goal orientation (Locke and Latham 2002), which is reflected in their behaviour.

• 고정관념의 학습자는 자신의 가치를 재확인하고 실패를 피하기 위해 '좋아 보이는' 방식으로 행동합니다.
• 성장 마인드 학습자들은 숙달하기 위한 역량 향상에 초점을 맞추고, 실패를 발전 과정의 일부로 봅니다.

• Fixed-mindset learners behave in a way that makes them ‘look good’ to reaffirm their selfworth and avoid failure, while
• growth-mindset learners focus on improving their competence in the pursuit of mastery and see failure as a part of the developmental process.

• 성장 마인드는 호기심과 질문 의지를 촉진하는 반면,
• 고정된 사고방식은 무능해 보일까 봐 호기심을 억누른다.
• The growth mindset promotes curiosity and a willingness to ask questions, while
• the fixed mindset subdues curiosity for fear of appearing incompetent.

• 성장 마인드를 가진 학습자는 광범위한 자가 모니터링에 참여하며 단순히 달성한 진도가 아니라 노력한 노력을 바탕으로 만족도를 높입니다. 외부 소스의 의견을 구하고 개선을 위한 제안을 환영합니다.
• 고정된 사고방식을 가진 학습자들은 피드백이나 비판에 더 저항적입니다.
• Learners with the growth mindset engage in extensive self-monitoring and base their satisfaction on effort exerted rather than simply on progress achieved. They seek input from external sources and welcome suggestions for improvement, while
• learners with the fixed mindset are more resistant to feedback or criticism.

• 성장 마인드를 가진 개인은 도전에 직면할 경우 자신에게 동기를 부여하고, 노력을 증가시키며, 학습에 다른 전략을 사용합니다. 그들은 역경과 실패에 대응하기 위해 끈기를 보여주고 끈기를 발휘합니다.
• 고정된 사고방식을 가진 학습자는 장애 앞에서 무력하게 반응한다(Dweck 1975; Dweck and Leggett 1988; Klein et al. 2017; Osman et al. 2020). 
• If faced with challenges, growth-minded individuals use setbacks to motivate themselves, increase their efforts, and use different strategies for learning. They demonstrate tenacity and persevere in response to adversity and failure.
• Learners with the fixed mindset react helplessly in the face of obstacles (Dweck 1975; Dweck and Leggett 1988; Klein et al. 2017; Osman et al. 2020).

성장 마인드를 가지면 학습의 비선형 궤적과 불가피한 실패를 여정의 일부로 수용할 수 있습니다. 너무 빨리 포기하지 말고 현실적으로 상황을 평가하는 것도 포함된다. 성장의 과정은 지속적인 자기 반성, 자기 평가, 불완전성에 대한 자기 수용을 필요로 합니다. 성장 사고방식을 가진 사람은 성장 사고방식이 없는 사람보다 더 정확하게 자기 평가를 하며 실패 후에도 자신을 성공적이라고 볼 가능성이 높습니다(Diener와 Dweck 1980). 
Having the growth mindset allows one to embrace the nonlinear trajectory of learning and the inevitable failures as a part of the journey. It includes not giving up too soon but also realistically assessing the situation. The process of growth requires continual self-reflection, self-assessment, and selfacceptance of imperfections. Individuals with the growth mindset more accurately self-assess than those without the growth mindset and are more likely to view themselves as successful even after failure (Diener and Dweck 1980). 



성장 마인드 및 CBME: 이론과 실천을 연결합니다.
Growth mindset and CBME: connecting theory to practice

성장 마인드는 CBME의 기초가 되는 두 가지 구성 요소, 즉 [숙달 학습]과 [의도적 연습]의 핵심 요소입니다.
Growth mindset is a key ingredient to two constructs that are foundational in CBME: mastery learning and deliberate practice.

[숙달 학습]은 베스트 프랙티스의 지속적이고 빠른 진화를 감안할 때, 21세기 의학의 실천에 필수적인 평생 학습 경로를 강조한다. 계획된 특정 학습 경험은 발달적 진전 및 약점을 극복하기 위해 시퀀싱됩니다. 학습자는 성과 데이터를 통해 정보를 제공받고, 감독자의 안내를 받으며 세심한 반성을 통해 개선해야 할 부분을 파악할 수 있습니다. 의료 전문가는 남은 경력 동안 실무 역량을 유지하기 위해 이러한 기술을 계속 요구합니다(McGaghie 2015). 
Mastery learning emphasizes the lifelong learning pathway that is essential for the practice of medicine in the twenty-first century, given the constant and rapid evolution of best practice. Planned, specific learning experiences are sequenced for developmental progression and/or to overcome weaknesses. The learner, informed by performance data and guided by a supervisor, is able to identify areas for improvement through careful reflection. Health care practitioners require these skills to continue to maintain competence for practice for the rest of their career (McGaghie 2015). 


에릭슨의 '의도적 연습' 개념은 학습이 특정 영역의 성과를 개선하는 것을 지향하는 고도로 구조화된 활동으로 특징짓는다. 의도적인 연습은 어떤 작업을 무심코 반복하기보다는 잘 정의된 목표에 도달하기 위해 집중적인 접근 방식을 사용합니다. 실제적 구현에는 다음이 필요하다.

• (a) 의도된 인지 또는 정신운동 기술의 반복적 수행,
• (b) 더 경험이 많은 개인의 능력의 엄격한 관찰,
• (c) 개선을 위한 제안을 포함한 특정 정보 피드백

Ericsson’s concept of ‘deliberate practice’ characterizes learning as a highly structured activity that is explicitly directed at improving performance in a particular domain. Rather than mindless repetition of a certain task, deliberate practice uses a focused approach to reach well-defined goals. Practical implementation includes

• (a) repetitive performance of intended cognitive or psychomotor skills,
• (b) rigorous observation of abilities by a more experienced individual, and
• (c) specific informative feedback, including suggestions for improvement (Ericsson 2015). 

[숙달 학습]과 [의도적 연습]에 토대를 둔 CBME 프로그램은 자연스럽게 성장을 배움의 중심이라고 생각합니다. 모든 학생, 레지던트 및 의사는 지속적으로 학습하고 개선해야 합니다. 학습의 점진적 순서는 [비록 각각의 학습자가 시간에 따라 서로 다른 역량에서 강점을 보이며, 과제가 시간에 따라 달라지더라도] 일정한 궤적을 경험할 것임을 나타낸다(Van Melle et al. 2019). 교육자의 일은 학습자와 협력하여 학습 진척도와 학습 계획을 파악하고 모니터링하며, 숙달은 모든 학습자가 [동일한 방식으로 경험하는 하나의 사건]이 아니라 [하나의 과정]이라는 관점을 강화하는 것입니다. 이러한 학습자 중심의 접근방식은 의사가 환자의 선호도와 의료 상태에 따라 치료를 조정하는 환자 중심의 치료와 유사합니다. 
A CBME program founded on mastery learning and for deliberate practice naturally situates the expectation growth as central to learning. All students, residents, and practising physicians must continue to learn and improve. The progressive sequencing of learning explicates that all learners will experience a trajectory, although their relative strengths in different competencies and tasks will vary over time (Van Melle et al. 2019). The job of an educator is to work with learners to identify and monitor their progress and learning plans and reinforce the view that mastery is a process, not a single event that every learner experiences the same way. This learner-centred approach is analogous to patient-centred care wherein a physician tailors their care to a patient’s preferences and medical condition(s). 

CBME의 성장 마인드에 초점을 맞추면 보건 직업 교육의 오랜 가정과 관행에 대한 재검토가 촉진될 것입니다.
A focus on the growth mindset in CBME should prompt the re-examination of some long-standing assumptions and practices in health professions education.

첫째, 성장 마인드는 의학에서 수월성에 대한 기존의 관점은 재정립할 필요성을 요구한다. 전통적으로 [수월성]은 동료에 비해 우수한 성과를 나타내는 높은 점수로 정의되고 인정되어 왔습니다. 수월성을 특징 짓기 위해 [시험 점수]를 강조하면, [커뮤니케이션, 환자 및 팀 구성원과의 관계, 전문성, 건강 시스템 기술, 평생 학습 등] 대등하게 중요한 실무 역량을 평가절하할 수 있다(Razack et al. 2019). 전통적으로 Excellence는 타고난 (혹은 타고나지 않은) 능력으로 간주됩니다. 그러다보니, 훈련생들에게 이는 [유능해 보여야 하며 약점이나 질문을 숨기면서 높은 점수를 받아야 한다]는 암묵적인 메시지를 전달한다(Pintrich et al. 2003; Bullock et al. 2019). 그러나 CBME에서 우수성은 코치의 지원을 받아 고의적인 연습을 통해 배양된 역동적인 특성 및 행동 집합으로 재구성되어, [모든 학습자가 우수성을 지속적으로 추구할 수 있는 기회]를 창출합니다(Sternberg 2001; Ericson 2015). 
First, established views of excellence in medicine require reframing. Traditionally, excellence has been both defined and recognized by high grades indicating superior performance relative to peers. The emphasis on test scores to characterize excellence can devalue other equally important competencies for practice, including communication, relationships with patients and team members, professionalism, health systems skills, and lifelong learning (Razack et al. 2019). Excellence is traditionally viewed as an ability one naturally has or does not have (Sternberg 2001). The implicit message to trainees is that they must appear competent and should seek high grades while hiding weaknesses or questions (Pintrich et al. 2003; Bullock et al. 2019). In CBME, however, excellence is reframed as a dynamic set of traits and behaviours cultivated through deliberate practice with the support of a coach, thereby creating the opportunity for all learners to continually pursue excellence (Sternberg 2001; Ericsson 2015). 

둘째, [개선을 중시하기보다는 결점 없는 성과를 기대하는] 전통적 문화에 대한 의문이 제기되고 있다. 성장 마인드에 초점을 맞추는 것은 의료 종사자의 경력 전반에 걸쳐 필요한 평생 학습과 일치하고 이를 지원합니다. [지속적인 학습과 개선의 필요성을 받아들인다는 것]은 재교육remediation이라는 개념에 대한 도전이라고 볼 수 있다. 왜냐하면, 재교육에는 전통적으로 [결함을 식별하고 해결하는 것]을 포함하기 때문이다. [결핍과 실패에 초점을 맞추는 것]은 [모든 학습자의 발전과 성장에 대한 기대]와 상충한다. 
Second, the traditional culture, which expects flawless performance rather than valuing improvement, is called into question. A growth-mindset focus aligns with and supports the necessary lifelong learning throughout any health care practitioner’s career. Acceptance need for of the continual learning and improvement challenges the concept of remediation, which traditionally involves identifying and addressing deficiencies (Hauer et al. 2009). The focus on deficiencies and failure is at odds with the expectation for development and growth for all learners.

Ellaway와 동료들은 이러한 긴장을 인정한다.

• '교정 조치remedial action'는 예상대로 진행되지 않는 [학습자에 대한 지원을 강화]하기 위해 취해질 수 있는 방법으로 정의하였으며,
• 공식적인 '교정 조치remediation'는 [lack of progression]과 [프로그램에서의 퇴출되어야 할 가능성]에 대한 심각한 우려concern를 나타내는 흔치 않은 상황이라고 정의하였다(Ellway et al. 2018) 

Ellaway and colleagues acknowledge this tension by defining how

• ‘remedial action’ can be undertaken to strengthen support for a learner who is not progressing as expected, whereas
• formal ‘remediation’ signals the uncommon situation of serious concern about lack of progression and the potential for recommended removal from a program (Ellaway et al. 2018).

그렇다고 성장 마인드를 가진 사람들은 모두가 같은 수준에 도달할 수 있다고 생각하지 않는다. 오히려, 그들은 모두가 발전할 수 있다고 믿는다. 
That said, those with a growth mindset do not assume that everyone is capable of reaching the same level. Rather, they believe that everyone can improve. 

교정조치의 탈낙인화(destigmatizing)는 [개별 학습 요구를 최대한 조기에 식별하려는 노력]과 결합하여, 개선을 가치있게 여기는 문화에 기여할 수 있다(Chou et al. 2019). 성장 중심의 CBME 프로그램에서는 모든 '교정 조치'가 목표 학습 계획에 포착된 개인 개발의 정상적인 부분으로 재구성되어야 하며, 모든 학습자가 서로 다른 속도로 진척되고 개선이 필요한 영역을 보유해야 합니다. 그렇다고 모든 학습자에게 역량을 입증할 수 있는 [무한한 시간이 주어져야 한다는 것]은 아닙니다. 목표한 학습 계획 및 지원에도 불구하고 진전이 없는 특정 경우를 위해, '교정remediation'이라는 용어는 남겨두어야 합니다. 

Destigmatizing remediation, coupled with efforts to identify individual learning needs as early as possible, can contribute to a culture in which improvement is valued (Chou et al. 2019). In a growth-oriented CBME program, all ‘remedial action’ should be reframed as a normal part of individuals’ development, captured in their targeted learning plan, with the understanding that all learners will progress at different rates and have areas that need improvement. This is not to say that all learners must be given infinite time to demonstrate competence; rather, the term ‘remediation’ should be reserved for those specific instances where progress is not being made, despite targeted learning plans and support. 

성장 마인드로 CBME 구현에 미치는 영향
Implications for implementing CBME with a growth mindset

의학교육 초기 성장마인드 함양
Fostering growth mindset early in medical education

현재 학부 의학 교육(UME)은 학습자가 성과 결손을 숨기고(Williams et al. 2003; McGaghie 2018) 가능한 최고 등급과 순위를 달성하기 위해 '역량의 외피cloak of competence'로 자신을 감싸면서 인상을 관리하려는 [고정 마인드적 실천]을 강화하는 경우가 많다.
Currently, undergraduate medical education (UME) often reinforces the fixed-mindset practice of impression management, with learners keeping themselves wrapped in a ‘cloak of competence’ to hide performance deficits (Williams et al. 2003; McGaghie 2018) and achieve the highest possible grade and ranking.

학생들은 또래와의 [상대적 비교]를 걱정하는, 대신 자신의 향상에 집중할 수 있어야 한다. 성장 마인드를 가진 학생들은 남들이 힘들어하는 것을 두려워하지 않고 바람직한 어려움을 받아들일 수 있다. 이를 위해 고정 마인드를 강화하는 인센티브를 제거해야 합니다. Pass/Fail 평가 시스템과 상대적 비교를 최소화하는(또는 제거하는) 준거 기반 표준화 테스트로 이동하면 학생들이 성적에 덜 집중하고 성장에 더 집중할 수 있다(Line et al. 2020).

Instead of worrying about normative comparisons with peers, students could focus on their improvement. Students with a growth mindset could embrace desirable difficulties, unafraid of others seeing them struggle . For this to be possible, incentives that reinforce fixedmindsets must be removed. Moving to pass/fail rating systems and criterion-based standardized tests that minimize(or eliminate) normative comparisons may help studentsfocus less on grades and more on growth (Lin et al. 2020).

학부에서 대학원 의학 교육으로 전환하는 성장 사고방식
Growth mindset in the transition from undergraduate to graduate medical education

UME가 성장 마인드로 전환하기 위해서는, 졸업후 의학교육(GME)도 이에 발맞춰야 한다. 현재, UME에서 GME로의 전환 프로세스는 고정된 사고방식을 가진 학습자에게 유리합니다. 많은 GME 프로그램 책임자들은 성장 잠재력은 거의 고려하지 않고 '최고의' 지원자를 찾고 레지던트에서 성공할 사람을 예측하는 방법을 지속적으로 찾고 있습니다(Green et al. 2009; Nallasamy et al. 2010; Makdisi et al. 2011; Weissbart et al. 2015). 실제로 학습자 '개선'은 레지던트 선발에서 [바람직하지 않은 것]으로 간주된다(Saudek et al. 2019).
If UME moves toward a growth mindset, graduate medical education (GME) must act in sync. Currently, the transition process from UME to GME favours learners with the fixed mindset. Many GME program directors continually search for ways to find the ‘best’ applicants and predict who will succeed in residency, with little regard for growth potential (Green et al. 2009; Nallasamy et al. 2010; Makdisi et al. 2011; Weissbart et al. 2015). In fact, learner ‘improvement’ is viewed as undesirable in residency selection (Saudek et al. 2019).

모든 GME가 성장 마인드를 충분히 받아들인다면, ['최고의' 지원자를 찾는 것]에서 벗어나, (종적 코칭 프로그램이나 사회적 개입과 같은) 학습자의 잠재력을 극대화하는 데 도움이 되는 노력에 자원을 더 투입할 수 있습니다(Walton and Cohen 2011; Palamara et al. 2015). UME 프로그램이 졸업생들의 강점과 약점을 투명하고 개방적일 수 있을 만큼 성장 마인드를 수용하고 GME 프로그램들이 각 지원자들의 학습 요구에 맞춰 프로그램의 강점을 맞추려고 노력했다고 상상해 보십시오. 이러한 시스템은 CBME의 진정한 정신을 바탕으로 학습자의 장기적인 성장을 극대화할 것이다. 또한 시스템의 초점도 [누가 '최고'인지를 결정하는 것]에서 [프로그램의 요구 및 접근방식과 학습자의 학습 요구와 목표 사이의 매칭이 적합한지good match]로 초점이 전환될 것이다. 
If all of GME were steeped in the growth mindset, resources could be shunted away from finding the ‘best’ applicants and toward efforts that help learners maximize their potential, such as longitudinal coaching programs or social-belonging interventions (Walton and Cohen 2011; Palamara et al. 2015). Imagine if UME programs embraced the growth mindset enough to be transparent and open about their graduates’ strengths and weaknesses, and GME programs tried to match their program’s strengths to each applicant’s learning needs. Such a system would maximize a learner’s long-term growth in the true spirit of CBME. The focus would shift from determining who is ‘best’ to establishing whether there is a good match between the needs and approaches of the program and the learning needs and goals of the learner. 

제도적 성장 사고방식
Institutional growth mindset

[학습자가 성장을 수용하기를 기대하기에 앞서서], 기관장과 일선 교수진이 먼저 성장 사고방식을 채택하고 모델링해야 합니다. 교수진은 교육의 목표가 졸업시에 완벽한 의사를 배출하고 지속적인 성장과 학습에 능통한 학습자를 배출하는 것이라는 잘못된 생각을 버려야 한다. 비교와 경쟁을 강화하는 상대적normative 평가 시스템은 최소화하거나 제거해야 한다. 
Institutional leaders and front-line faculty must first adopt and model the growth mindset before learners can be members expected to embrace growth. Faculty should reject the false notion that the goal of training is to produce perfect physicians at graduation and embrace the need to produce learners who are adept at continuous growth and learning. Normative assessment systems that reinforce comparison and competition should be minimized or removed. 

Toxing quizzing을 통해 위계를 강화하고 학습자를 경시하는 오랜 방법인 '핌핑'은 없애야 한다(나가루르 외. 2019). 이러한 관행은 성과에 근거하여 누군가의 자존심을 떨어뜨리는 전형이며, 고정된 사고방식을 강화합니다. 
‘Pimping,’ a long-held method of reinforcing hierarchy and belittling learners through toxic quizzing, should be eliminated (Nagarur et al. 2019). This practice is the epitome of reducing someone’s self-worth on the basis of performance and reinforces the fixed mindset. 

아마도 가장 어려운 점은 보건의료전문직 훈련에서 실패의 부담stakes of failure을 줄여야 한다는 것이다. 미국과 영국을 두 가지 예로 들 수 있는 많은 국가의 의대생들은 막대한 금융 부채(Ercolani et al. 2015; AAMC 2020)가 발생하므로 실패를 방어할 수 없다. 이 때문에 의사 훈련의 동정적 오프램프compassionate off-ramps가 항상 존재하는 것은 아니다(Belini et al. 2019). 
Perhaps most challenging, the stakes of failure in health professions training must be reduced. Medical students in many countries, with the United States and United Kingdom as two examples, incur large amounts of financial debt (Ercolani et al. 2015; AAMC 2020), making failure untenable. Compounding this, compassionate off-ramps from physician training do not always exist (Bellini et al. 2019). 

성장 마인드는 일부 학습자가 '역량을 못 갖춤'으로 라벨링되는 임의의 [시간 기반 결승선]을 강화하는 대신, 학습자가 숙달해야 하는 시간을 제공하여 '아직 역량을 못 갖춤'이라는 라벨링으로 바꿀 것이다. 

Rather than reinforcing an arbitrary time-based finish line where some learners may be labelled with ‘competence not realized,’ the growth mindset affords learners the time they need to gain mastery, changing the label to ‘competence not yet realized.’ 

CBME 성장마인드 채택 전략
Strategies for adopting the growth mindset in CBME

[개인 학습자]의 수준에서는, 수년 간의 암기와 표준화된 평가 관행(Shapiro 및 Dembitzer 2019)으로 강화되어 있는 고정적 사고방식을 극복하는 것이 과제입니다. 학습자에게 성장 사고방식을 채택하는 근거와 실천요강을 소개하는 것만으로도 효과적일 수 있습니다(Klein et al. 2017). 학습자 중심의 개별화된 학습 계획 및 프로세스를 구현하면 원하는 행동을 강화할 수 있다(Ramani et al. 2019). 
For individual learners, the challenge is to overcome a tendency toward the fixed mindset reinforced by years of rote memorization and standardized assessment practices (Shapiro and Dembitzer 2019). Simply introducing learners to the rationale and practices for adopting the growth mindset can be effective (Klein et al. 2017). Implementing a learner-initiated, individualized learning plan and process can also reinforce desired behaviours (Ramani et al. 2019). 

[개별 교수진]들은 그들의 언어가 그들의 행동과 주변 사람들의 행동에 깊은 영향을 미칠 수 있다는 것을 인식할 필요가 있습니다(Kegan과 Lahey 2001). 그들이 사용하는 단어들은 그들이 가지고 있는 사고방식을 나타낸다(Ricotta et al. 2019).

• 예를 들어, '당신은 소통이 잘 돼요'라고 말하는 대신 (고정 속성을 강조)
• 성장지향적인 코치는 '나는 네가 의사소통 능력을 키우기 위해 열심히 노력했다고 생각한다. 당신은 환자 및 다른 팀원들과 의사소통을 잘합니다.'

Individual faculty members need to recognize that their language can profoundly affect their behaviour and the behaviour of those around them (Kegan and Lahey 2001). The words that they use indicate the mindset they hold (Ricotta et al. 2019). For example,

• instead of saying ‘You’re a good communicator’ (emphasizes fixed attribute),
• a growth-oriented coach might say ‘I imagine that you’ve worked hard to develop your communication skills. You communicate well with patients and other team members.’

교직원들이 이러한 방식으로 관찰과 피드백을 수용하고 일상적인 평생 학습의 추구와 같은 성장 사고방식에 부합하는 다른 행동을 할 때, 학습자도 같은 행동을 하도록 더욱 장려될 수 있다. 개인의 오해도 해결해야 한다. 예를 들어, 일부 교수들은 성장 사고방식이 주로 정동적affective 영역(예: 공감과 동정)이 아닌 인지cognitive 영역(예: 임상적 추론)에 적용된다고 생각합니다. 반드시 직접 가르침이 아니더라도, [세심한 사회적 상호작용을 통해 정동적 영역affective domain의 역량을 개발할 수 있다는 점]을 교수진과 학습자 모두가 이해하도록 하는 것이 중요합니다.
When faculty embrace observation and feedback in this way, as well as other behaviours consistent with the growth mindset, such as the pursuit of daily lifelong learning, they encourage their learners to engage in the same behaviours. Individual misperceptions must also be addressed. For example, some faculty think that the growth mindset applies primarily to the cognitive domain (e.g. clinical reasoning) as opposed to the affective domain (e.g. empathy and compassion) (Pal et al. 2020). It is important to ensure that both faculty and learners understand that competencies in the affective domain can be developed, although not necessarily through direct teaching but through careful cultivation of social interactions (Ekman and Krasner 2017; Lavelle et al. 2017).

또한, 교수진이 [자신의 지속적인 학습 및 개선과 관련하여 자신의 신념과 실천을 검토]할 때 학습자와의 상호작용에 대한 상당한 통찰력을 얻을 수 있습니다. 지속적인 학습을 모델링하고 오류나 도전적인 상황에 대한 성장 마인드의 접근 방식에 대해 명확한 대화를 나누는 것은 학습 환경에 영향을 미치며 이러한 행동을 장려하기도 합니다. 또한, 교수진이 학습자의 발전에 대한 노력을 학습자에게 알릴 경우, 교육 파트너십을 구축하고 안전한 학습 환경을 조성할 수 있습니다(Eva et al. 2012; Telio et al. 2016).
Additionally, when faculty examine their beliefs and practices with respect to their own continuous learning and improvement they can gain significant insight into their interactions with their learners. Role modelling continuous learning and having explicit conversations about a growth-mindset approach to errors or challenging situations will have an impact on the learning environment and even encourage these behaviours. Furthermore, if faculty make learners aware of their commitment to the learners’ development it will support the establishment of an educational partnership and signify a safe learning environment (Eva et al. 2012; Telio et al. 2016).

[관계적 차원]에서, 성장 사고방식은 [학습이라는 사회적 맥락]에서 대인관계 차원에서 개념화될 수 있다(오스만 외 2020). 예를 들어, CBME의 효과적인 구현의 중심에는 [목적적 피드백과 코칭]이 있다. [의미 있는 외부적 관점]은 개별화된 학습 목표(Dweck 2016)의 식별을 통한 학습의 점진적 성장을 지원합니다. 데이터의 품질이 중요한 것은 분명합니다. 예를 들어, 학습자 성과에 대한 풍부한 서술적 설명은 효과적인 피드백의 기초가 됩니다(McConnell et al. 2016).

At the relational level, the growth mindset can be conceptualized on the interpersonal level in the social context of learning (Osman et al. 2020). For example, purposeful feedback and coaching is central to the effective implementation of CBME. Meaningful external perspective supports progressive growth in learning through the identification of individualized learning goals (Dweck 2016). Clearly, the quality of the data matters. For example, rich narrative descriptions of learner performance are foundational to effective feedback (McConnell et al. 2016).

[시스템 수준]에서, [어떻게 평가 및 보상 결정을 하는지]가 성장 마인드를 촉진하거나 파쇄시킬 수 있습니다. CBME는 평가의 이중 목적dual-purposing을 장려하는데, 이는 [학습을 위한 평가]와 [학습의 평가] 사이에 긴장을 조성한다. 당연하게도 [역량을 입증하는 데]만 집중하는 평가 시스템을 만든다면 성장 마인드의 행동을 저해할 것입니다. 학습자는 개선해야 할 부분에 대해 [솔직한 피드백]을 구하기보다는, 감독관에게 잘 보이기 위한 수행만을 하려고 시도할 것이다(LaDonna et al. 2017). 
At the systems level, it is within our processes of assessment and promotion that the growth mindset can either be cultivated or crushed. CBME encourages the dual-purposing of assessment, which sets up a tension between the use of assessment for learning and of learning (Lockyer et al. 2017; Watling and Ginsburg 2019). Understandably, if we create assessment systems that focus only on demonstrating competence, we will discourage growth-mindset behaviours. Learners will be tempted to perform for their supervisors rather than to seek honest feedback about areas for improvement (LaDonna et al. 2017).

마찬가지로 중요한 것은, 우리의 평가 시스템이 성장을 장려하는 방식으로 교사들에게 보상을 해주어야 한다는 것입니다. 학습자의 개선을 위하여 [정기적인 관찰과 코칭을 제공하는 임상 교사]는 적절한 인정을 받아야 합니다. 적어도 개선의 문화가 정착되고 있는 초기에는, [학습자에게 고품질의 서술적 피드백과 개선을 위한 단계]를 제공하고 기록하는 것에 대한 인센티브를 주는 것이 성장 지향적 행동을 장려할 것이다.

Equally important, our systems of assessment must reward our teachers in ways that encourage growth. Clinical teachers who provide regular observation and coaching for improvement to learners need to be appropriately acknowledged. Incentives to provide and record high-quality narrative suggestions and steps for improvement to learners will also encourage such growth-oriented behaviour, at least early on when a culture of improvement is being established

학습 궤적을 반영하기 위해서는, [척도의 전체 범위]를 사용하는 것은 매우 중요하며, 그렇게 하도록 요구되어야 한다. Watling and Ginsburg(2019)가 언급했듯이, '[평가에 초점을 맞춘 학습 문화]는 학습자의 탐구, 실험, 때로는 실패에 대한 안전 의식을 제한할 수 있다.' 교육생이 자신의 역량을 입증하는 특정 수의 평가를 획득해야 한다면, [개선을 위한 피드백을 얻을 수 있는 취약성 상황moments of vulnerability의 평가]를 더 받아야 할 인센티브가 과연 무엇인가요? 부족한 점이나 개선의 여지를 강조하는 평가가 '중요하지 않다'거나, 더 나쁘게는 진행 결정에 부정적으로 기여하는 경우, 수련생들은 '강점 상황moments of strength'에서만 평가를 받고자 할 것입니다. 
Use of the entire spectrum of scales to reflect the trajectory of learning is critical and needs to be the expectation. As stated by Watling and Ginsburg (2019), ‘a learning culture focused on assessment may limit learners’ sense of safety to explore, to experiment, and sometimes to fail.’ If trainees must simply acquire a certain number of assessments that demonstrate their competence, what incentive do they have to seek out assessment in moments of vulnerability to get feedback so they can improve? If assessments that highlight deficiencies or room for improvement ‘don’t count’ or, even worse, contribute negatively to progression decisions, then trainees will seek assessment only at moments of strength. 

[시스템 수준]에서 조직의 가치와 리더십은 조직/제도 문화에 깊은 영향을 미치고 이에 따라 어떤 행동이 권장되는지에도 영향을 미칩니다. 따라서 이러한 [건설적 목표 설정 관계]의 존재는 기존 조직 문화와 가치에 크게 의존한다(Watling et al. 2014; Ramani et al. 2017). 우리의 교육 및 의료 시스템의 문화는 성장 마인드를 반영하는 활동과 행동을 지원하고 장려할 필요가 있습니다. 예를 들어, [오류]를 [책임을 지우려는 목적]이 아니라 [품질 개선의 기회]로 접근하는 조직은 성장 문화를 촉진한다고 볼 수 있다. 리더십 지원은 성장 마인드 채택에 매우 중요하며, 이론과 조직 관행을 연결하는 다각적 접근법을 사용하는 것이 이상적인 전략이다(Derler et al. 2018, Halvorson et al. 2017). 긍정적인 학습 풍토 구축은 성장 지향 피드백 관행을 육성하는 데도 중요합니다(Ramani et al. 2017). 새로운 조직 문화를 채택하는 것은 어려운 과제이며, 필요한 포괄적인 접근 방식을 사용하는 조직은 거의 없다(Derler et al. 2018, Halvorson et al. 2017).
Additionally, at the systems level, organizational values and leadership profoundly influence the organizational/ institutional culture and thereby what behaviour is encouraged. Hence, the existence of these constructive goalsetting relationships is highly dependent upon the existing organizational culture and values (Watling et al. 2014; Ramani et al. 2017). The culture in our systems of education and health care needs to support and encourage activity and behaviours that reflect the growth mindset. For example, an organization that approaches an error as an opportunity for quality improvement rather than with the goal of assigning blame would be promoting a growth culture. Leadership support is critical to the adoption of the growth mindset, and using a multipronged approach that connects theory to organizational practice is an ideal strategy (Derler et al. 2018, Halvorson et al. 2017). Establishing a positive learning climate is also critical for fostering growth-oriented feedback practices (Ramani et al. 2017). Adopting a new organizational culture is a challenging task, with few organizations using the required comprehensive approach (Derler et al. 2018, Halvorson et al. 2017).

A call for research on growth mindset in CBME

결론
Conclusion

우리는 능력을 개발의 여지가 있다고 보는 성장 마인드와 숙달에 중점을 두는 CBME 채택 사이에서 자연스러운 시너지를 주장해 왔습니다. 의대 교육에서, 전통적으로 ['보기 좋은looking good' 것을 최우선 관심사로 하는 고정적 마인드]를 강화하는 경향이 있다는 것이 성장 마인드를 도입할 때 특히 어려운 과제이다.

We have argued for a natural synergy between the growth mindset, where abilities are viewed as being open to development, and the adoption of CBME, where the emphasis is on working toward mastery. That traditional approaches to medical education tend to reinforce a fixed mindset, where ‘looking good’ is an overriding concern, is a particular challenge when introducing the growth mindset.


Rich JV, Fostaty-Young S, Donnelly C, Hall AK, Dagnone JD, Weersink K, Caudle J, Van Melle E, Klinger DA. 2020. Competency-based education calls for programmatic assessment: But what does this look like in practice? J Eval Clin Pract. 26:1087–1095. XXX

Ricotta D, Huang G, Hale A, Freed J, Smith C. 2019. Mindset theory in medical education. Clin Teach. 16(2):159–161.

Abstract

The ongoing adoption of competency-based medical education (CBME) across health professions training draws focus to learner-centred educational design and the importance of fostering a growth mindset in learners, teachers, and educational programs. An emerging body of literature addresses the instructional practices and features of learning environments that foster the skills and strategies necessary for trainees to be partners in their own learning and progression to competence and to develop skills for lifelong learning. Aligned with this emerging area is an interest in Dweck’s self theory and the concept of the growth mindset. The growth mindset is an implicit belief held by an individual that intelligence and abilities are changeable, rather than fixed and immutable. In this paper, we present an overview of the growth mindset and how it aligns with the goals of CBME. We describe the challenges associated with shifting away from the fixed mindset of most traditional medical education assumptions and practices and discuss potential solutions and strategies at the individual, relational, and systems levels. Finally, we present future directions for research to better understand the growth mindset in the context of CBME.

발달적 평가에 필수적인 것은 무엇인가? (American Journal of Evaluation, 2016)

What is Essential in Developmental Evaluation? On Integrity, Fidelity, Adultery, Abstinence, Impotence, Long-Term Commitment, Integrity, and Sensitivity in Implementing Evaluation Models
Michael Quinn Patton1

Bob Williams는 시스템 접근 방식을 평가하는 데 기여한 누적 공로로 2014 AEA Lazarsfeld Theory Award를 수상했습니다. 밥은 덴버에서 열린 어워즈 런천에서 400명 이상의 평가자들이 참석한 가운데 단어 시스템의 기원에 대해 설명했다.
Bob Williams was awarded the 2014 AEA Lazarsfeld Theory Award for his cumulative contributions bringing systems approaches into evaluation. In accepting at the Awards Luncheon in Denver, attended by more than 400 evaluators, Bob explained the origin of the word system.

'시스템'이라는 단어는 '함께 서다'라는 뜻의 그리스어 synhistonai 에서 유래했다. 그래서 모든 분이 잠시 서 계셨으면 합니다.
The word ‘system’ comes fromthe Greek word synhistonai (a verb incidentally, not a noun) meaning ‘to stand together’. So I’d like to invite all that can do so to stand for a moment.

이제 몇 분 앉으시라고 하겠습니다. 저는 평가 관행에 어떤 형태나 형태, 더 크든 덜 크든 시스템과 복잡성 아이디어를 적용했다고 생각하는 모든 분은 그대로 서 계십시오.
I’m now going to ask some of you to sit down. I’d like to remain standing anyone who to some extent feels that you have applied systems and complexity ideas—of whatever shape or formand to a greater or lesser extent—in your evaluation practice.

평가에서 시스템 사고의 적용에 대한 질문은 거의 모든 접근법에 적용될 수 있습니다. 이 글에서는 뚜렷한 평가 접근 방식을 구현함에 있어 충실도 과제의 범위를 제시하고, 구체적인 사례를 제시하며, 개발 평가(DE)를 사용하여 충실도에 대한 새로운 사고 방식과 대처 방식을 도입할 것입니다.
The questions about application of systems thinking in evaluation could be applied to almost any approach. This article will lay out the scope of the fidelity challenge in implementing distinct evaluation approaches, illustrate the challenge with specific examples, and use developmental evaluation (DE) to introduce a newway of thinking about and dealing with fidelity. 

차별화된 평가 접근 방식을 구현하는 데 있어서의 충실도 과제
The Fidelity Challenge in Implementing Distinct Evaluation Approaches

경험이 많은 DE 실무자가 최근 제게 '발달평가DE를 하고 있다고 말하는 경우가 많지만, 실제로는 그렇지 않다'고 말했습니다.
An experienced DE practitioner recently told me: ‘‘More often than not, I find, people say they are doing Developmental Evaluation, but they are not.’’ 

[충실도fidelity 과제]는 [특정 평가를 지정된 명칭으로 부르는 것을 정당화하기 위해, 전반적인 접근법의 핵심 특성을 충분히 포함하는 정도]에 관한 것이다. [충실도]가 [효과적인 프로그램을 새로운 장소 복제하려는 노력의 중심 문제]인 것처럼(복제품은 기초가 되는 오리지널 모델에 충실한가?), 특정 모델을 따르는 평가자가 해당 모델의 모든 핵심 단계, 원칙 및 프로세스를 이행하는 데 충실한지 여부를 평가한다.
The fidelity challenge concerns the extent to which a specific evaluation sufficiently incorporates the core characteristics of the overall approach to justify labeling that evaluation by its designated name. Just as fidelity is a central issue in efforts to replicate effective programs to new localities (are the replications faithful to the original model on which they are based?), evaluation fidelity concerns whether an evaluator following a particular model is faithful in implementing all the core steps, principles, and processes of that model.

형성적-총괄적 구별에 대한 충실도
Fidelity to the Formative–Summative Distinction

충실성의 과제를 설명하기 위해 가장 오래되고, 가장 기본적이며, 가장 신성불가침적인 구분인 형성적, 총괄적 특성을 고려하십시오. [형성적-총괄적 구분]은 철학자이자 평가자인 Michael Scriven(1967)에 의해 학교 커리큘럼 평가를 위해 처음 개념화되었다. 그는 총괄 평가의 광범위한 채택, 정상급 결정 또는 효과의 요약에 대한 승인을 얻고 보급해야 하는지를 결정하기 위한 커리큘럼의 평가를 촉구했다.
To illustrate the challenge of fidelity, consider our oldest, most basic, and most sacrosanct distinctions: formative and summative. The formative–summative distinction was first conceptualized for school curriculumevaluation by philosopher and evaluator extraordinaire Michael Scriven (1967). He called evaluating a curriculum to determine whether it should be approved and disseminated for widespread adoption of a summative evaluation, evoking a summit-like decision or a summing-up of effectiveness. 

원래의 [총괄평가]는 purpose에 대한 용어였다. 즉, 교육과정, 프로그램, 제품, 개입의 미래 결정(중단, 축소, 지속 등)에 inform하기 위한 목적을 위해, 이들의 [장점, 가치, 중요성에 대한 주요 결정]을 내리는 것으로 시작되었다. 그러나 총괄평가라는 용어는 빠른 속도로 [프로그램이나 프로젝트가 끝날 때 실시되는 평가]를 지칭하는 방식으로 확장되었습니다.
Summative evaluation began as a purpose designation, the purpose being to inform a major decision about the merit, worth, and significance of a curriculum, program, product, or other intervention to determine its future (kill it, cut it back, continue as is, enlarge it, and take it to scale). But the term summative evaluation quickly expanded to designate any evaluation conducted at the end of a program or project.

(총괄평가의 정의에서) [뚜렷하고 중요한 목적]이 [프로그램 종료라는 타이밍] 지정designation으로 변형되었습니다. 이것은 아이러니할 뿐만 아니라 왜곡적이다. 왜냐하면 대부분의 [총괄적 결정]은 최종 총괄평가 보고서가 제출되기 훨씬 전에, 즉 [실제 프로그램이 종료되기 몇 달 전에 미리 이루어져야 하기 때문]입니다. 나는 매년 "총괄적"이라는 라벨이 붙은 수십 개의 보고서를 검토하는데, 그 중 거의 어떤 보고서도 식별 가능한 [총괄적 의사결정자들]에 의한 [실제 총괄 결정]에 inform하는 방식으로 작성되거나 기록되지 않는다. 내가 보기에, "총괄"의 원래 의미에 대한 충실성은 이미 많이 상실되었다.
A distinct and important purpose morphed into a timing designation: end of a program. Which is ironic—and distorting—since most summative decisions must be made months before the actual end of a program, long before evaluation final summative reports are submitted. I review scores of reports labeled ‘‘summative’’ every year, virtually none of which are written or timed in such a way as to informan actual summative decision by identifiable summative decision-makers. Fidelity to the original meaning of summative has been largely lost from my perspective. 

그럼 형성 평가는 어떠한가? 스크리븐은 커리큘럼을 총괄 평가하기 전에, [엄격한 총괄평가를 할 수 있으려면], [개정과 개선의 기간을 거쳐야 하며, 버그와 문제를 해결하고, 빈틈을 메우고, 학생의 반응을 얻어야 한다]고 지혜롭게 주장했다. 즉, 형성 평가의 목적은 모델을 [form, shape, standardize, and finalize]하여 종합 평가를 위한 준비를 갖추는 것이었다. 그러나 총괄평가가 그러했듯, 프로그램 개선을 위한 평가라면 어떤 것이든 형성평가라는 레이블을 적용하면서, 형성평가는 본래 목적에서 탈피하게 되었다.

And what of formative evaluation? Scriven argued wisely that before a curriculum was summatively evaluated, it should go through a period of revision and improvement, working out bugs and problems, filling in gaps, and getting student reactions, to ensure that the curriculum was ready for rigorous summative testing. The purpose of formative evaluation was to form, shape, standardize, and finalize a model so that it was ready for summative evaluation. But, as happened with summative evaluation, the idea of formative evaluation morphed from its original purpose as the label came to be applied to any evaluation that improves a program.

비록 형성적 designation과 총괄적 designatino이 (원래는) 함께 개념화되었지만, 형성적 지정의 목적은 총괄적 준비를 위한 것이지만, 그러한 기대는 종종 달성되지 않는다. [명확한 목적]에서 [시점(프로그램 종료)의 문제]로 총괄평가가 변형된 것처럼, 이제는 단순히 [자금 지원 주기의 중간]에 평가가 이루어진다는 이유만으로 '형성(평가)'라는 이름으로 불리는 중간평가(midterm evaluation)가 매우 많다. 이러한 '형성적' 평가는 종종 프로그램이 [구현 규격]을 준수하고 있고, [이정표 성과 척도]를 충족하고 있는지를 결정하는, 중간시점의 책무성 연습(midterm accountability exercise)에 불과하다. 내가 보기에, [형성평가]의 원래 의미에 대한 충실도는 크게 떨어졌습니다. 예를 들어, 교수 평가 워크숍에서 나는 [형성 평가]와 [과정process 평가], [총괄 평가]와 [결과outcome 평가]를 동일시하는 참가자를 정기적으로 보곤 한다. 하지만 이들은 서로 다르다.

Though formative and summative designations were conceptualized hand in glove, the purpose of formative being to get ready for summative, that expectation often goes unfulfilled. Just as summative morphed froma clear purpose to a matter of timing (end of program), I now see a great many midterm evaluations designated as ‘‘formative’’ simply because the evaluation takes place in the middle of a funding cycle. These supposedly ‘‘formative’’ evaluations are often midterm accountability exercises determining whether the program is adhering to implementation specifications and meeting milestone performance measures. From my perspective, fidelity to the original meaning of formative has been largely lost. For example, in teaching evaluation workshops, I regularly find participants equating formative evaluation with process evaluation and summative evaluation with outcomes evaluation. Not so. 

다시 한 번 말씀드리겠습니다. Scriven은 [평가의 목적]은 [모델을 점검하고 판단하는 것]이라는 가정 하에 형성적-총괄적 평가라는 구별을 만들었다.

• 원래의 형성 평가는 [모델을 개선하기 위한 것]이었습니다.
• 원래의 총괄 평가는 [모델을 테스트]하고 [모델이 원하는 성과를 생성하는지 여부에 근거하여 장점, 가치, 중요성을 판단]하기 위한 것이었으며, 그러한 성과는 프로그램에 귀속될be attributed to수 있다.

Let me reiterate. Scriven originated the formative–summative distinction under the assumption that the purpose of evaluation is to test and judge a model.

• Formative evaluations were meant to improve the model.
• Summative evaluations were meant to test the model and judge its merit, worth, and significance based on whether it produces the desired outcomes and those outcomes can be attributed to the program.

[형식적]이라는 용어와 [총괄적]이라는 용어가, 평가 내에서 그리고 자금을 조달하고 사용하는 사람들 사이에서 지배적이 되었습니다. 그러나 평가 실무자들은 무엇이 실제로 형성적 또는 종합적 평가를 구성하는지와 둘 사이의 연관성에 대해 허술해졌다. 

The terms formative and summative have become dominant both within evaluation and among those who fund and use it. But evaluation practitioners have become sloppy about what actually constitutes a formative or summative evaluation and the connection between the two. 

DE의 출현
Emergence of DE

DE는 [형성 평가]와 [총괄 평가]의 충실성을 존중하겠다는 나의 약속에서 나왔습니다. 저는 자선 재단의 리더십 프로그램을 평가하기 위해 5년 계약을 맺었고, 2.5년은 형성적이고, 모델을 안정시키고 표준화하며, 2.5년은 모델의 효과를 테스트하고 판단하기 위한 계약을 맺었습니다. [형성 기간] 동안, 선임 프로그램 직원들과 재단 지도부는 자신들이 [표준화된 모델]을 만들고 싶지 않다는 것을 깨닫게 되었습니다. 대신, 그들은 세상이 변함에 따라 [리더십 프로그램을 지속적으로 적응할 필요가 있다는 것]을 깨달았습니다. 리더십 개발 프로그램을 적절하고 의미 있게 유지하려면 시간이 지남에 따라 다음의 것들을 지속적으로 업데이트하고 적응해야 한다는 결론을 내렸습니다.

• 그들이 한 일;
• 누가 어떻게 사람들을 프로그램에 모집했는지,
• 신기술 사용
• 공공 정책, 경제 변화, 인구학적 전환 및 사회 문화적 변화에 주의를 기울이고 이를 통합합니다.

DE emerged from my commitment to respect the fidelity of formative and summative evaluation. I had a 5-year contract to evaluate a philanthropic foundation leadership program, and 2.5 years were to be formative, to stabilize and standardize the model, followed by 2.5 years to test and judge the model’s effectiveness. During the formative period, the senior program staff and foundation leadership came to realize that they didn’t want to create a standardized model. Instead, they realized that they would need to be continuously adapting the leadership programas the world changed. To keep a leadership development program relevant and meaningful, they concluded, they would need, over time, to continuously update and adapt

• what they did;
• who and how they recruited people into the program;
• use of new technologies; and
• being attentive to and incorporating developments in public policy, economic changes, demographic transitions, and social–cultural shifts.

그들은 자신들의 열망이 [모델을 개선]하거나 [테스트]하거나 [모델을 배포]하는 것에 있지 않다는 것을 깨닫게 되었습니다. 대신, 그들은 프로그램을 계속 개발하고 적응하기를 원했다. 이들은 무엇을 변경, 확장, 종료 또는 더 발전시킬 것인지에 대한 [지속적인 적응과 시기적절한 결정을 지원하는 접근 방식]을 원했습니다. 이것은 형성평가와는 달랐다. 그리고 그들은 총괄적으로 평가될 수 있는 표준화된 모델이 없기 때문에 절대 종합 평가를 의뢰하지 않을 것이라고 결론지었다. 그들이 원하고 필요로 하는 것이 무엇인지에 대한 우리의 논의는, [지속적인 적응과 개발]을 중심으로 응집되었으며, 이를 DE 접근법이라고 불렀다. 

They came to understand that they didn’t want to improve a model or test a model or promulgate a model. Instead, they wanted to keep developing and adapting the program. They wanted an approach that would support ongoing adaptation and timely decisions about what to change, expand, close out, or further develop. This was different from formative evaluation. And they concluded that they would never commission a summative evaluation because they wouldn’t have a standardized model that could be summatively evaluated. Our discussions about what they wanted and needed kept coalescing around ongoing adaptation and development so we called the approach DE. (For more details about this designation and how the DE terminology emerged, see Patton, 2011, pp. 2–4.) 

DE의 틈새 및 목적
The Niche and Purpose of DE

DE는 복잡한 역동적 환경에서 적응적 발달을 알리기 위해 사회 혁신가에게 평가 정보와 피드백을 제공합니다. DE는 평가 질문을 하고, 평가 논리를 적용하고, 프로젝트, 프로그램, 이니셔티브, 제품 및/또는 조직 개발을 지원하기 위해 평가 데이터를 수집하고 보고하는 프로세스를 혁신과 적응에 도입합니다.
DE provides evaluative information and feedback to social innovators to inform adaptive development in complex dynamic environments. DE brings to innovation and adaptation the processes of asking evaluative questions, applying evaluation logic, and gathering and reporting evaluative data to support project, program, initiative, product, and/or organizational development with timely feedback.

DE niche는 복잡하고 역동적인 환경의 혁신을 평가하는 데 초점을 맞춥니다. 왜냐하면 그 영역이야말로 사회 혁신가들이 활동하고 있는 영역이기 때문입니다. 이들은 주요한 방식major way으로 사물의 방식을 바꾸고자 하는 사람들이다. 여기서 사용되는 혁신은 다루기 어려운 문제에 대한 새로운 접근법, 변화된 조건에 대한 지속적인 프로그램 적응, 새로운 맥락에 대한 효과적인 원칙 적응(스케일링), 시스템 변경 및 위기 상황에서의 신속한 대응 적응을 포함하는 광범위한 틀입니다. 사회 혁신은 복잡한 문제에 대한 모든 종류의 긴급/창의/적응적 개입을 단축하는 것입니다.
The DE niche focuses on evaluating innovations in complex dynamic environments because that’s the arena in which social innovators are working. These are people who want to change the way things are in major ways. Innovation as used here is a broad framing that includes creating new approaches to intractable problems, ongoing program adaptation to changed conditions, adapting effective principles to new contexts (scaling), systems change, and rapid response adaptation under crisis conditions. Social innovation is shorthand for any kind of emergent/creative/adaptive interventions for complex problems.

필수 원칙을 민감화 개념으로 취급
Treating Essential Principles as Sensitizing Concepts

DE의 필수 원칙을 열거하기 전에, DE를 식별하는 데 사용되는 개발 접근법에 대해 설명하겠습니다. DE 실무자의 핵심 그룹은 대화형, 명확화 및 개발 프로세스에서 아이디어와 반응을 공유했습니다. 우리는 DE에 대해서 (핵심 개념과 척도의 조작화에 기반한) 레시피 또는 체크리스트 접근 방식을 피하고 싶었습니다. 대신, 우리는 이러한 필수 원칙을 DE에서 명시적으로 다루어야 하는 민감한 개념으로 보지만, 이 원칙을 다루는 방법과 원칙 활용의 정도는 상황과 맥락에 따라 달라진다. 
Before listing the essential principles of DE, let me describe the developmental approach used to identify them. A core group of DE practitioners shared ideas and reactions in an interactive, clarifying, and developmental process1. We wanted to avoid a recipe-like or checklist approach to DE based on operationalizing key concepts and dimensions. Instead, we view these essential principles as sensitizing concepts that must be explicitly addressed in DE, but how and the extent to which they are addressed depends on situation and context.

이는 "충실성"에 대한 일반적인 접근 방식에서 크게 벗어난 것이다. "충실성"은 전통적으로 매번 정확히 동일한 방식으로 접근 방식을 구현하는 것을 의미했다. 충실도는 레시피를 고수하는 것이며, 매우 규범적인 단계와 절차를 준수하는 것을 의미했다. 이와는 대조적으로 DE의 필수 원칙은 상황별로 해석되고 적용되어야 하는 지침을 제공한다. 그러나 평가가 진실하고 완전히 발전적인 것으로 간주되려면 어느 정도 그리고 어느 정도 적용되어야 한다. 

This is a critical departure fromthe usual approach to ‘‘fidelity,’’ which has traditionally meant to implement an approach operationally in exactly the same way each time. Fidelity has meant adherence to a recipe or highly prescriptive set of steps and procedures. The essential principles of DE, in contrast, provide guidance that must be interpreted and applied contextually—but must be applied in some way and to some extent if the evaluation is to be considered genuinely and fully developmental. 

[DE 충실도 준거]를 조작화하는 대신, 저는 이 접근법, 즉 [명시적 민감도 정도]를 평가하는 것을 지정designating하려고 한다. 충실함 대신, 나는 [접근법의 진실성integrity를 검사하는 것]을 선호한다. DE가 integrity을 가지려면 필수 DE 원칙이 프로세스와 결과, 그리고 결과 설계와 결과 사용 모두에서 명백하고 맥락적으로 명시되어야 한다. 따라서 DE 보고서를 읽거나, DE 관련자들과 대화를 나누거나, 학회에서 DE 프레젠테이션을 들을 때, DE의 필수 원칙이 어떻게 수행되고 어떤 결과를 초래하는지/감지/이해할 수 있어야 합니다.
In lieu of operationalizing DE fidelity criteria, I am designating this approach: assessing the degree of manifest sensitivity. In lieu of fidelity, I prefer to examine the integrity of an approach. For a DE to have integrity, the essential DE principles should be explicitly and contextually manifest in both processes and outcomes, in both design and use of findings. Thus, when I read a DE report, talk with those involved in a DE, or listen to a DE presentation at a conference, I should be able to see/ detect/understand how these essential principles of DE informed what was done and what resulted. 

좀 더 자세히 설명하면 이러하다. [핵심 원칙에 대한 명시적 민감도manifest sensitivity 정도]를 평가함으로써 [접근법의 integrity을 판단]한다는 개념은, [민감화 개념sensitizing concept]에 의해 유도되는 현장작업의 개념에서 비롯된다(Patton, 2015a). [민감화 개념]은 무언가에 대한 의식을 높이고, 그 관련성을 주의하도록 경고하며, 특정 맥락에서 현장 작업 전반에 걸쳐 개념을 참여하도록 상기시킵니다. [DE의 기본 원칙]은 우리로 하여금 [DE 실무에 무엇을 포함해야 하는지]에 민감해지도록 만든다.

Let me elaborate just a bit. The notion of judging the integrity of an approach by assessing the degree of manifest sensitivity to essential principles flows from the notion of fieldwork guided by sensitizing concepts (Patton, 2015a). Asensitizing concept raises consciousness about something, alerts us to watch out for its relevance, and reminds us to engage with the concept throughout our fieldwork within a specific context. Essential principles of DE sensitize us to what to include in DE practice.

[혁신]이라는 개념을 생각해보자. DE는 혁신에 중점을 두고 있으며, 이는 잠시 후 설명할 DE의 필수 원칙 중 하나이다. 다음은 혁신의 개념이 DE 프로세스에서 수행하는 작업입니다. 그것은 사회 혁신가, 즉 큰 변화를 가져오려는 사람들에게 우리의 관심을 집중시킨다.

• 우리는 그들이 무엇을 하는지('혁신') 그들이 무엇을 의미하는지 알아내기 위해 그들의 정의에 기민하다.
• 우리는 그들이 무엇을 하고 있는지 그리고 그들이 무엇을 하고 있는지에 대해 어떻게 말하는지 주목하고 기록한다.
• 현재 진행 중인 상황과 노력의 의미 및 문서화된 결과에 대해 고객과 상호 작용합니다.
• 우리는 전개되고 떠오르는 것에 대한 데이터를 수집합니다.
• 우리는 실제로 일어나고 있는 일이 기대와 희망에 어떻게 부합하는지 관찰하고 피드백을 제공합니다.
• 우리는 관련자들과 협력하여 현재 일어나고 있는 일을 해석하고, 효과가 있는지 없는지 판단하여 적응하고, 배우고, 나아가고 있습니다.

Consider the concept innovation. DE is innovation-focused, one of the essential principles I’ll elaborate in a moment. Here is what the concept of innovation does in a DE process. It focuses our attention on social innovators, that is, people who are trying to bring about major change.

• We are alerted by their definition of what they are doing (‘‘innovation’’) to find out what they mean.
• We pay attention to and document what they are doing and how they talk about what they are doing.
• We interact with them about what is going on and the implications of their efforts and documented results.
• We gather data about what is unfolding and emerging.
• We observe and provide feedback about how what is actually happening matches expectations and hopes.
• We work with those involved to interpret what is happening and judge what is working and not working and thereby adapt, learn, and move forward.

이를 통해 우리는 "혁신"이라는 개념에 대해 그들과 협력하고 그러한 맥락에서 혁신이 의미하는 바에 대한 그들의 이해와 우리의 이해를 심화시키고 있습니다. 혁신의 정의와 의미는 DE inquiry의 일부로 진화, 심화 및 변형될 가능성이 높습니다.

In so doing, we are engaging with them around the notion of ‘‘innovation’’ and deepening both their and our understanding of what is meant by innovation in that context. The definition and meaning of innovation is likely to evolve, deepen, and even morph as part of the DE inquiry. 

이 프로세스에서 DE는 변화 프로세스 자체의 일부가 되고 개입의 일부가 됩니다. 이렇게 진행된다. 상황 및 특정 변경 중심 이니셔티브 내에서 혁신의 의미를 조사하고 학습된 내용과 생성된 추가 질문에 대한 피드백을 제공함에 있어 DE는 혁신 프로세스와 결과에 영향을 미치고 변경한다. 
In this process, DE becomes part of the change process itself, part of the intervention. It happens like this: In inquiring into the meaning of innovation within a context and particular change-focused initiative, and providing feedback about what is learned as well as further questions generated, DE affects and alters the innovation process and outcomes. 

통합 접근 방식으로서의 DE
DE as an Integrated Approach

"DE"라는 라벨에 걸맞은 평가를 위해서는 표 1의 모든 원칙이 어느 정도 그리고 어느 정도 다루어져야 한다. 표 1에서 언급한 바와 같이, 이 목록은 pick-and-choose 목록이 아닙니다. 모두 필수입니다. 이는 DE 과정에서 이러한 필수 원칙이 어떤 의미 있는 방식으로 다루어졌거나 특정한 상황적 이유로 명시적으로 통합되지 않았다는 증거가 있다는 것을 의미한다. 예를 들어, "복잡성"이라는 단어를 싫어하는 사회적 혁신가 및/또는 기금가와의 작업을 상상해보자. 그래서 DE 프로세스는 복잡성 용어를 명시적으로 사용하지 않지만 출현, 적응 및 비선형성을 명시적으로 다룬다. 그러한 협상은 상황 민감도와 적응성의 일부이며 필수적인 DE 학습 프로세스의 일부이므로 보고되어야 한다.
For an evaluation to merit the label ‘‘DE,’’ all of the principles in Table 1 should be addressed to some extent and in some way. As noted in Table 1, this is not a pick-and-choose list. All are essential. This means that there is evidence in the DE process and results that these essential principles have been addressed in some meaningful way or, for specific contextual reasons, not incorporated explicitly. For example, let’s imagine working with a social innovator and/or funder who hates the word ‘‘complexity,’’ thinks it is overused jargon, so the DE process avoids explicitly using the termcomplexity but does explicitly address emergence, adaptation, and nonlinearity. Such negotiations are part of contextual sensitivity and adaptability and part of the essential DE learning process and should be reported. 

더욱이, 필수적인 원칙들은 상호 연관되어 있고 상호 보강되어 있다.
Moreover, the essential principles are interrelated and mutually reinforcing.

EE(권한 부여 평가)를 반대 사례로 사용 또는 사용 안 함
Empowerment Evaluation (EE) as a Contrary Example, or Not

라벨 권한 부여를 정당화하기 위해 EE에 포함되어야 하는 것은 무엇입니까? Miller와 Campbell(2006)은 1994년부터 2005년 6월까지 발표된 47건의 "권력 평가"를 체계적으로 검토했다. 10가지 역량 강화 원칙은 (1) 개선, (2) 지역사회 소유, (3) 포함, (4) 민주 참여, (5) 사회 정의, (6) 공동체 지식, (7) 증거 기반 전략, (8) 역량 강화, (9) 조직 학습 및 (10) 책임과 같다.
What must be included in an EE to justify the label empowerment? Miller and Campbell (2006) systematically examined 47 evaluations labeled ‘‘empowerment evaluation’’ published from 1994 through June 2005. The 10 empowerment principles are as follows: (1) improvement, (2) community ownership, (3) inclusion, (4) democratic participation, (5) social justice, (6) community knowledge, (7) evidence-based strategies, (8) capacity building, (9) organizational learning, and (10) accountability. 

아, 하지만 그 마지막 삽입구의 해명이 문제의 핵심을 찌릅니다. 필수 파트 말이다. 필수란: ''절대적으로 필요한 것'' (온라인 사전, 2015) 필수적인 것은 절대 언급되지 않는다. 그와는 정반대로, (필수가 아니라) [선택]인 것들이 제공됩니다. 고를 수 있는 것이다. "제스탈트 또는 그것을 작동시키는 전체 포장"이라고 가정되는 것은 결국 본질이 없기 때문에 덧없는 것이다. 
Ah, but that last parenthetical clarification gets to the heart of the matter. Essential parts. Essential: ‘‘a thing that is absolutely necessary’’ (Online dictionary, 2015). What is essential is never stated. Quite the contrary, a menu of options is offered. Pick-and-choose. The supposed ‘‘gestalt or whole package that makes it work’’ is ultimately ephemeral because the essence is absent. 

내가 느끼는 바는, 포괄적이고, 반응적이고, 융통성 있게 되기 위한 노력의 일환으로, EE 이론가들과 옹호자들은 많은 가능한 재료들로 구성된 [은유적인 과일 샐러드]를 만들어냈다는 것입니다. 그것들 중 필수적인 것은 아니지만, 몇몇 재료들이 과일인 한, 그것은 과일 샐러드라고 불릴 수 있다. 그렇긴 하지만, 페터맨(2005)은 더 많은 권한 부여 원칙을 통합하는 것이 더 적은 것보다 낫다고 언급했습니다.

My sense is that in an effort to be inclusive, responsive, and flexible, EE theorists and advocates have created a metaphorical fruit salad of many possible ingredients, none of which is essential, but as long as some of the ingredients are fruit, it can be called a fruit salad. That said, Fetterman (2005) has stated that incorporation of more empowerment principles is better than fewer.

일반적으로 원칙의 수는 시너지 효과이기 때문에 원칙의 개수에 따라 [권한 강화 평가]의 질이 증가한다. 이상적으로는 각 원칙이 어느 정도 시행되어야 한다. 그러나 각 권한 부여 평가에서 특정 원칙이 다른 원칙보다 더 우세할 것이다. 지배하는 원칙은 평가의 지역적 맥락과 목적과 관련이 있을 것이다. 주어진 시간이나 프로젝트에 대해 모든 원칙이 동일하게 채택되는 것은 아니다(9페이지). 
As a general rule, the quality [of an empowerment evaluation] increases as the number of principles are applied, because they are synergistic. Ideally each of the principles should be enforced at some level. However, specific principles will be more dominant than others in each empowerment evaluation. The principles that dominate will be related to the local context and purpose of evaluation. Not all principles will be adopted equally at any given time or for any given project. (p. 9)

DE 무결성 평가 과제에 대한 민감한 개념 접근법의 정교화
Elaboration of a Sensitizing Concept Approach to the Challenge of Evaluating DE Integrity

[개념을 조작화하는 것]은 [그것을 구체적인 척도로 변역하는 것]이다. 이것은 경험적 연구에 대한 잘 확립된 학문적 접근방법이다. 그러나 혁신, 복잡성, 출현 및 적응과 같은 개념은 [정량적 연구]의 전통이 아니라, [정성적 연구]의 조사 전통에서 민감한 개념sensitizing concept으로 가장 잘 취급된다(Patton, 2015a). [민감화sensitizing] 대 [개념 조작화]의 구분은 평가 접근법에서 [충실성과 무결성 문제]에 중요하기 때문에, 이러한 구별과 DE의 필수 원칙을 다루기 위한 의미를 설명하는 것이 유용할 수 있다. (이것은 민감화 개념으로서 프로세스 사용에 대한 나의 이전 논의를 재현한다; Patton, 2007.)
Operationalizing a concept involves translating it into concrete measures. This constitutes a wellestablished, scholarly approach to empirical inquiry. However, concepts like innovation, complexity, emergence, and adaptation are best treated as sensitizing concepts in the tradition of qualitative inquiry, not as operational concepts in the tradition of quantitative research (Patton, 2015a). Since the distinction between sensitizing versus operational concepts is critical to the issue of fidelity and integrity in evaluation approaches, it may be useful to explicate this distinction and its implications for dealing with the essential principles of DE. (This reprises my previous discussion of process use as a sensitizing concept; Patton, 2007.)

세 가지 문제가 조작화를 방해합니다. 
Three problems plague operationalization.

• 첫째, "underdetermination"은 "시험 가능한 명제가 이론을 완전히 적용할 수 있는지"을 결정하는 문제이다(Williams, 2004, 페이지 769). 노숙, 자급자족, 탄력성, 소외감 등 사회적 맥락에 따라 다양한 의미를 갖는 개념들이 대표적이다. 예를 들어, "홈리스"가 의미하는 것은 역사적으로나 사회적으로 다릅니다.
• 두 번째 문제는 객관적인 학문적 정의가 어떤 것을 경험하는 사람들의 주관적 정의를 포착하지 못할 수도 있다는 것입니다. 빈곤이 그 예입니다. 한 사람이 가난하다고 여기는 것, 다른 사람은 꽤 괜찮은 삶이라고 볼 수도 있다. '빈곤 완화' 사명을 띠고 있는 노스웨스트 지역 재단은 결과 평가를 위해 빈곤을 운영하기 위해 고군분투하고 있다. 게다가, 그들은 아이오와와 몬태나와 같은 주에서 가난에 대한 모든 공식적인 정의에 맞는 꽤 가난한 많은 사람들이 스스로를 가난하다고 보지도 않고, 더구나 "빈곤"이라고 보지도 않는다는 것을 발견했다.
• 세 번째는 핵심 개념을 어떻게 정의하고 운영해야 하는지에 대한 사회과학자들의 의견 불일치 문제입니다. 예를 들어, 지속가능성은 건강한 시스템의 지속 또는 시스템의 적응 능력으로 정의할 수 있습니다.

• First, ‘‘underdetermination’’ is the problem of determining ‘‘if testable propositions fully operationalize a theory’’ (Williams, 2004, p. 769). Examples include concepts such as homelessness, self-sufficiency, resilience, and alienation that have variable meanings according to the social context. For example, what ‘‘homeless’’ means varies historically and sociologically.
• A second problem is that objective scholarly definitions may not capture the subjective definition of those who experience something. Poverty offers an example: What one person considers poverty, another may viewas a pretty decent life. The Northwest Area Foundation, which has as its mission ‘‘poverty alleviation,’’ has struggled trying to operationalize poverty for outcomes evaluation; moreover, they found that many quite poor people in states such as Iowa and Montana, who fit every official definition of being in poverty, do not even see themselves as poor, much less ‘‘in poverty.’’
• Third is the problem of disagreement among social scientists about how to define and operationalize key concepts. Sustainability, for example, can be defined as continuation of a healthy system or the capacity of a system to adapt (Gunderson & Holling, 2002, pp. 27–29; Patton, 2011, p. 199).

두 번째와 세 번째 문제는 한 연구자가 두 번째 문제를 해결하기 위해 국지적이고 상황별적인 정의를 사용할 수 있다는 점에서 관련이 있지만, 이 상황별 정의는 다른 맥락에서 탐구하는 다른 연구자들이 사용하는 정의와 다르고 상충할 가능성이 있다. 조작화 문제를 해결하는 한 가지 방법은 [복잡성과 혁신을 민감한 개념으로 간주]하고 [표준화되고 보편적인 조작화된 정의의 탐색을 포기하는 것]입니다. 이는 모든 특정 DE가 평가의 목적과 목적에 맞는 정의를 생성한다는 것을 의미합니다.
The second and third problems are related in that one researcher may use a local and context-specific definition to solve the second problem, but this context-specific definition is likely to be different from and conflict with the definition used by other researchers inquiring in other contexts. One way to address problems of operationalization is to treat complexity and innovation as sensitizing concepts and abandon the search for a standardized and universal operational definition. This means that any specific DE would generate a definition that fits the specific context for and purpose of the evaluation.  
 
사회학자 허버트 블루머(1954년)는 현장 연구를 지향하기 위해 "sensitizing concept"의 아이디어를 창안한 것으로 인정받고 있다.

• [민감화 개념]에는 피해자, 스트레스, 낙인 및 학습 조직과 같은 개념이 포함되며, 이 개념은 특정 장소 또는 상황에서 어떻게 의미가 부여되는지 질문할 때 연구에 초기 방향을 제공할 수 있습니다(Schwandt, 2001).
• 관찰자는 [민감화 개념]과 [사회 경험의 실제 세계] 사이를 이동하며 개념에 형태와 실체를 부여하고 개념의 다양한 표현으로 개념 체계를 정교하게 만듭니다.
• 이러한 접근방식은 사회적 현상의 구체적인 발현은 시간, 공간, 상황에 따라 다르지만, 민감화 개념은 패턴과 의미를 더 잘 이해하기 위해 이러한 발현을 포착, 보유 및 검사하는 용기라는 것을 인식합니다.

Sociologist Herbert Blumer (1954) is credited with originating the idea of ‘‘sensitizing concept’’ to orient fieldwork.

• Sensitizing concepts include notions like victim, stress, stigma, and learning organization that can provide some initial direction to a study as one inquires into howthe concept is given meaning in a particular place or set of circumstances (Schwandt, 2001).
• The observer moves between the sensitizing concept and the real world of social experience, giving shape and substance to the concept and elaborating the conceptual framework with varied manifestations of the concept.
• Such an approach recognizes that although the specific manifestations of social phenomena vary by time, space, and circumstance, the sensitizing concept is a container for capturing, holding, and examining these manifestations to better understand patterns and implications. 

평가자는 일반적으로 [상황에 대한 이해에 inform하기 위해] 민감화 개념을 사용한다. [맥락context]라는 개념을 생각해보세요. 모든 평가는 어떤 맥락에서든 설계되며, 우리는 맥락을 고려하고, 상황에 민감하며, 맥락의 변화에 주의해야 합니다. 하지만 맥락이란 무엇인가? System thinkers에 따르면, 시스템 경계는 본질적으로 자의적이라고 주장하며, 따라서 [평가의 즉각적인 범위 안에 있는 것]과 [그 주변 맥락 안에 있는 것]을 정의하는 것도 자의적임은 불가피하지만, 그 구별은 여전히 유용하다. 실제로 평가의 즉각적인 행동 영역과 포괄적 맥락에 있는 것을 결정하는 데 있어 의도적인 것은 조명하는 연습이 될 수 있으며, 이해관계자들의 관점이 크게 다를 수 있다. 그런 의미에서 '맥락'이라는 개념은 sensitizing concept이다.

Evaluators commonly use sensitizing concepts to inform their understanding of a situation. Consider the notion of context. Any particular evaluation is designed within some context, and we are admonished to take context into account, be sensitive to context, and watch out for changes in context. But what is context? Systems thinkers posit that system boundaries are inherently arbitrary, so defining what is within the immediate scope of an evaluation versus what is within its surrounding context is inevitably arbitrary, but the distinction is still useful. Indeed, being intentional about deciding what is in the immediate realm of action of an evaluation and what is in the enveloping context can be an illuminating exercise—and stakeholders might well differ in their perspectives. In that sense, the idea of context is a sensitizing concept. 

고추론 대 저추론 변수 및 개념
High-Inference Versus Low-Inference Variables and Concepts

[원칙]을 민감화 개념으로 생각하고 이해하는 또 다른 방법은 원칙을 "고-추론 개념"으로 처리하는 것이다. 고-추론과 저-추론 변수의 구별은 고등교육의 교사 효과 연구(Rosenshine & Furst, 1971)에서 비롯되었다.2
Another way to think about and understand principles as sensitizing concepts is to treat them as ‘‘high-inference concepts.’’ The distinction between high-inference and low-inference variables originated in studies of teacher effectiveness research in higher education (Rosenshine & Furst, 1971).2

[높은 추론 교사]의 특성은 "명확히 설명"하는 것과 같이 추상적이거나 좋은 관계를 가지고 있다. 반면, [낮은 추론 교사]의 특성은 특이적이고 구체적인 교육행동입니다. 예를 들어 "한 주제에서 다음 주제로의 전환을 설명합니다." '개별 학생 이름 표시' (후자는) 관찰자의 입장에서 추론이나 판단을 거의 하지 않고 기록될 수 있습니다.
High inference teacher characteristics are global, abstract such as ‘‘explains clearly’’ or has good rapport, while low-inference characteristics are specific, concrete teaching behaviors, such as ‘‘signals the transition fromone topic to the next,’’ and ‘‘addresses individual students by name,’’ that can be recorded with very little inference or judgment on the part of a classroom observer. (Murray, 2007, pp. 146–147).

교사 효율성에 대한 연구의 추진력은 관찰자 측의 상당한 판단이 필요한 [높은 추론 변수]와, 반대로 최소 해석이 필요한 [낮은 추론 변수]를 강조하는 것이었다(Cruickshank & Kennedy, 1986). 반대로 [원칙에 초점을 맞춘 실무]는 필연적으로 [높은 추론]이다. 명시적 민감도 정도를 다루는 것은 특정 평가 접근법을 따르고 있다는 주장을 평가할 때 충실도와 무결성을 평가하는 높은 추론 접근법이다.

The thrust of the research on teacher effectiveness has been to emphasize low-inference variables that require minimuminterpretation as opposed to high-inference variables that require considerable judgment on the part of the observer (Cruickshank & Kennedy, 1986). In contrast, principles-focused practice is necessarily high inference. Addressing degree of manifest sensitivity is a high-inference approach to assessing fidelity and integrity when assessing claims that a particular evaluation approach is being followed.

강체 및 비강체 지정자
Rigid and Nonrigid Designators

언어철학자들은 서로 다른 목적을 위한 언어의 다양한 사용에 상당한 관심을 쏟았다. 한 가지 중요한 구별은 강성 지정자와 비강성 지정자 간이다.

• 경직 지정자는 매우 구체적이고, 맥락에 무관하며, 조작적 정의 또는 규칙에 해당합니다.
• 비경직 지정자는 용어의 해석이 말하는 사람이 의도하는 상황과 목적을 고려해야 하는 의미에 대한 맥락에 의존한다.

Philosophers of language have devoted considerable attention to different uses of language for different purposes. One critical distinction is between rigid and nonrigid designators.

• A rigid designator is highly specific and context free, the equivalent of an operational definition or rule.
• A nonrigid designator depends uponcontext for meaningsuchthat the interpretationof a termmust take intoaccount the situation and the purpose intended by the person speaking.

비강성 지정자는 다음에 적용됩니다. "단어만으로는 얻을 수 없는 의미의 부를 분석하는, 실용주의의 지저분한 사회-사회학적 세계. 그러나 말이 만들어지는 맥락으로부터, 중요한 것은, 연설자의 의도를 포함하여, 연설자는 자신의 마음에서 벗어나 청중들의 마음 속으로 더 나아가게 된다."

Nonrigid designators apply to the ‘‘messy social-psychological world of pragmatics, analyzing the wealth of meaning that must be gleaned not from the words alone but fromthe context inwhichthe words are produced, including, importantly, the speaker’s intentions in uttering them, which furthermore take the speaker outside of his own mind and intothe mind of his audience’’ (Goldstein, 2015, p. 50).

경직성 대 비경직성 지정자 및 절대성 대 실용성(맥락적) 정의와 의미는 시대와 상황 변화에 대한 해석의 문맥적 적응 대 엄격한 헌법 구성주의(원래의 의도에 초점을 맞춘다)의 영역으로 우리를 안내한다.

[Rigid versus nonrigid designators] and [absolute versus pragmatic (contextual) definitions and meanings] take us into the territory of [strict constitutional constructionism (focusing on original intent) versus contextual adaptation of interpretation to changing times and situations]. 

충실도, 무결성 및 매니페스트 민감도에 대한 위협
Threats to Fidelity, Integrity, and Manifest Sensitivity

평가 접근법에 대한 충실도를 곰곰이 생각하고 평가를 '발전적developmental'이라고 부르는 데 있어 무엇이 integrity을 구성하는지를 성찰하면서 fidelity와 integrity에 어떤 위협이 나타날 수 있는지 생각하게 되었다. 저는 간통, 금욕, 처녀성, 발기불능, 콤플렉서스 방해, 이혼, 평가 전염병, 실적 부진, 경계 관리 불량, 조증 등 10가지 위협을 확인했습니다. 표 2는 위협을 제시하고 일반적인 증상을 식별합니다. 이것들은 심각한 위협이고, 잠재적으로 구석구석에 숨어있을 수 있습니다. 두려워하라. 매우 두려워하라. 하지만 또한 준비하세요. 표 2는 위협에 대응하기 위한 전략을 제공합니다. 

Pondering fidelity to evaluation approaches and reflecting on what constitutes integrity in calling an evaluation ‘‘developmental’’ have led me to consider what threats to fidelity and integrity may emerge. I have identified 10 threats: adultery, abstinence, virginity, impotence, complexus interruptus, divorce, evaluation transmitted disease, poor performance, poor boundary management, and mania. Table 2 presents the threats and identifies common symptoms. These are serious threats, potentially hiding around every corner. Be afraid. Be very afraid. But also be ready. Table 2 provides strategies for countering the threats.  

결론
Conclusion

장미는 장미다 장미는 장미다. —Gertrude Stein, Sacred Emily (1913; 페이지 3)
A rose is a rose is a rose is a rose. —Gertrude Stein, Sacred Emily (1913; p. 3)

그리고 DE는 DE이고 DE는 DE입니다. 그랬다면. 하지만, 사실, 상황에 따라 다르다. 이는 8가지 필수 DE 원칙 모두가 명시적이고 효과적으로 다루어진 정도에 따라 달라진다. 그것이 이 글의 요점입니다. 평가에 ''발달적'' 또는 ''활용-중심''과 같은 라벨을 붙이는 것이 평가를 그렇게 만드는 것이 아니다. 접근법의 무결성을 판단하려면 모델의 필수 원칙에 대한 명백한 민감도의 평가가 필요하다. 끝으로, 대장내시경 검사를 예로 들며 경고하는 이야기가 왜 중요한지 설명하겠습니다. 
And a DE is a DE is a DE. Would that it were so. But, actually, it depends. It depends on the extent to which all eight of the essential DE principles have been explicitly and effectively addressed. That’s the point of this article. Labeling an evaluation ‘‘developmental’’ or ‘‘utilizationfocused’’ doesn’t make it so. An assessment of manifest sensitivity to a model’s essential principles is necessary to judge the integrity of the approach. In closing, let me illustrate why this matters using colonoscopies as an example and cautionary tale. 

대장내시경은 대장내시경이다. 아니면 그러한가? 변형이 있나요? 그 과정이 어떻게 이루어지느냐가 중요한가요? 대장내시경은 대장암을 일으킬 수 있는 용종을 찾아내기 위해 내시경이라고 불리는 유연한 스코프로 대장을 검사하는 것이다. 경험이 풍부한 인증받은 전문의 12명을 민간 진료로 조사한 결과, 그 중 어떤 의사들은 암으로 변할 수 있는 용종인 선종을 발견하는데 다른 사람들보다 10배나 뛰어났다고 한다. 더 효과적인 대장 내시경 검사와 덜 효과적인 대장 내시경 검사를 구분하는 한 가지 요인은 의사가 대장을 검사하는 데 드는 시간(노력 평가 포함)이었다. 속도를 늦추고 시간이 더 걸린 사람들이 용종을 더 많이 발견했다. 5분도 안 되는 시간에 수술을 마친 사람도 있고 20분 이상 걸린 사람도 있었다. 보험사들은 의사들이 얼마나 많은 시간을 보내더라도 똑같이 급여를 지급한다. 하지만 환자에게는 위험 부담이 큽니다. 매년 4백만 명 이상의 미국인들이 대장암으로부터 자신을 보호하고자 대장내시경 검사를 받는다. 매년 약 55,000명의 미국인이 사망하는 이 암은 미국에서 암 사망의 두 번째 주요 원인이다.

A colonoscopy is a colonoscopy is a colonoscopy. Or is it? Are there variations? Does it matter how the process is done? A colonoscopy is an examination of the colon with a flexible scope, called an endoscope, to find and cut out any polyps that might cause colon cancer. A study of 12 highly experienced board-certified gastroenterologists in private practice found that some were 10 times better than others at finding adenomas, the polyps that can turn into cancer. One factor distinguishing the more effective from less effective colonoscopies was the amount of time the physician spent examining the colon (which involves an effort evaluation). Those who slowed down and took more time found more polyps. Some completed the procedure in less than 5 min, and others spent 20 min or more. Insurers pay doctors the same no matter howmuch time they spend. But the stakes are high for patients. More than four million Americans a year have colonoscopies, hoping to protect themselves from colon cancer. The cancer, which kills about 55,000 Americans a year, is the secondleading cause of cancer death in the United States (Kolata, 2006a, 2006b). 

What is Essential in Developmental Evaluation? On Integrity, Fidelity, Adultery, Abstinence, Impotence, Long-Term Commitment, Integrity, and Sensitivity in Implementing Evaluation Models

Michael Quinn Patton

First Published March 22, 2016 Research Article

Abstract

Fidelity concerns the extent to which a specific evaluation sufficiently incorporates the core characteristics of the overall approach to justify labeling that evaluation by its designated name. Fidelity has traditionally meant implementing a model in exactly the same way each time following the prescribed steps and procedures. The essential principles of developmental evaluation (DE), in contrast, provide high-inference sensitizing guidance that must be interpreted and applied contextually. In lieu of operationalizing DE fidelity criteria, I suggest addressing the degree of manifest sensitivity to essential principles. Principles as sensitizing concepts replace operational rules. This means that sensitivity to essential DE principles should be explicitly and contextually manifest in both processes and outcomes, in both design and use of findings. Eight essential principles of DE are identified and explained. Finally, 10 threats to evaluation model fidelity and/or degree of manifest sensitivity are identified with ways to mitigate those threats.

Keywords 

developmental evaluation, fidelity, principles, sensitizing concepts

CBME의 성과: 공통 언어를 위한 분류학(Med Teach, 2021)

Outcomes of competency-based medical education: A taxonomy for shared language
Andrew K. Halla,b , Daniel J. Schumacherc,d , Brent Thomae,b , Holly Caretta-Weyerf ,
Benjamin Kinneard , Larry Gruppeng , Lara J. Cookeh,b, Jason R. Franki,b , Elaine Van Melleb,j; on
behalf of the ICBME Collaborators

도입
Introduction

역량 기반 의학교육(CBME)을 위한 대학원 교육의 글로벌 전환은 잘 진행되고 있다(Frank et al. 2017). 동시에, CBME의 영향을 평가하기 위한 폭넓은 요구가 있었다(Boyd et al. 2018; Chan et al. 2020; Grupen et al. 2017; Van Melle et al. 2019). 교육 리더와 학자들은 CBME가 의도한 결과를 달성함에 있어 그 효과를 평가하기 시작했다. 초기 노력은 [지역 수습생 행동](Hall et al. 2020; Schumacher et al. 2018)과 [프로그램 중심 성과](Nousiainen et al. 2018)에서 [국가 수준의 교육 성과](Conforti et al. 2018)와 더 광범위한 보건 시스템 영향(Triola et al. 2018)까지 다양한 잠재적 조치에 초점을 맞추고 있다. 또한 일부 국가 수준 전문 그룹은 측정을 위한 CBME 결과를 구성하고 우선 순위를 지정하기 시작했다(Chan et al. 2020). 그러나 관심성과(outcomes of interest)를 분류할 공유 언어 또는 분류법의 부족은 이 성장하는 문헌을 조직하고 해석하는 것을 어렵게 만든다. 특히, 이러한 명확성의 결여는 수정된 교육 프로그램을 평가할 때 의미 있는 결과를 확인하고자 하는 교육 과학자와 리더에게 난제를 제시한다. 

The global transformation of postgraduate training toward competency-based medical education (CBME) is well underway (Frank et al. 2017). Simultaneously, there has been a broad call to evaluate CBME’s impact (Boyd et al. 2018; Chan et al. 2020; Gruppen et al. 2017; Van Melle et al. 2019). Education leaders and scholars have responded and are beginning to evaluate CBME’s effectiveness in achieving its intended outcomes. Early efforts have focused on an array of potential measures extending from local trainee behaviours (Hall et al. 2020; Schumacher et al. 2018) and program-focused outcomes (Nousiainen et al. 2018) to national-level educational outcomes (Conforti et al. 2018) and broader health systems impacts (Triola et al. 2018). Further, some national-level specialty groups have begun to organize and prioritize CBME outcomes for measurement (Chan et al. 2020). However, the lack of a shared language or taxonomy to categorize the outcomes of interest makes it challenging to organize and interpret this growing body of literature. In particular, this lack of clarity presents a conundrum to education scientists and leaders who seek to identify meaningful outcomes when evaluating their revised educational programs.

제안된 성과 분류 체계
A proposed taxonomy of outcomes

이 분류법은 다음의 세 가지 영역에 걸친 CBME 결과의 측정을 설명한다(그림 1). 

• 초점(교육, 임상),
• 수준(마이크로, 메조, 매크로)
• 시점 (훈련, practice으로의 이행, practice)

This taxonomy describes the measurement of CBME outcomes across three domains:

• focus (educational, clinical),
• level (micro, meso, macro), and
• timeline (training, transition to practice, practice) (Figure 1).

CBME는 [복잡한 서비스 개입complex service intervention]이기 때문에(Van Melle et al. 2017) 그 결과는 따로따로 존재하지 않는다. 오히려, 이러한 결과는 시간이 지남에 따라 여러 맥락과 규모에 걸쳐 펼쳐지는 관계에서 서로 명확하게 드러난다. 또한 이러한 성과는 많은 렌즈를 통해 고려되어야 한다(Pawson et al. 2005). 이 분류법은 개인의 결과를 고려하는 동시에 더 넓은 맥락에서 다른 성과와 관련하여 [개별 성과]를 배치하는 [시스템 관점]을 제공한다. 우리는 이 접근방식이 CBME 개입의 결과를 추적하는 복잡성을 보존하면서도 다양한 경험과 배경을 가진 이해당사자들이 여전히 사용할 수 있다고 믿는다. 응급 의학 내에서 수행된 작업(Chan et al. 2020)을 확장하고자 한다. 각 도메인에 대한 정의를 명확히 하고, '시점' 영역의 세분성을 높이고, 전문 분야 전반에서 대학원 의대 교육에 대한 사용을 지원하기 위한 추가 지침을 제공할 것이다.

As CBME is a complex service intervention (Van Melle et al. 2017), its outcomes do not exist in isolation. Rather, these outcomes articulate with each other in a relationship that unfolds over time across multiple contexts and scales. Further, these outcomes need to be considered through many lenses (Pawson et al. 2005). This taxonomy considers outcomes of individuals while also providing a systems perspective that situates individual outcomes within broader contexts and in relation to other outcomes. We believe this approach preserves the complexity of tracking the outcomes of the CBME intervention, while still being usable by stakeholders from a broad range of experience levels and backgrounds. It extends from work conducted within emergency medicine (Chan et al. 2020) by clarifying definitions for each of the domains, increasing the granularity of the ‘timeline’ domain, and providing additional guidance to support its use in graduate medical education across specialties.

초점 Focus

첫째, 결과의 초점은 교육적(학습자) 이거나 임상적(환자)이다. CBME는 교육적 개입이기 때문에, 학습자와 관련된 교육 성과는 종종 더 구체적이고 측정하기 쉬우며, [더 포착하기 어려운 임상, 환자 중심 결과]의 proxies일 수 있다. 예를 들어, Ross et al. (2018)에서 증명한 것처럼 [환자 치료에 전공의가 미치는 영향]을 측정하는 것보다 [어려움에 처한 전공의를 감지하기 위한 역량 기반 훈련 프로그램의 capacity]을 측정하는 것이 더 타당할 수 있다. 이것은 환자 중심의 결과에 초점을 맞추는 것이 덜 중요하다는 의미가 아니다. 의대 교육의 목표는 환자가 받는 치료를 개선하는 것이기 때문이다. [교육적 성과]는 (distal하기보다는) proximal하다고 해석될 수 있지만, 이는 교육적 성과 그 자체를 측정할 가치가 없다는 것을 의미하지는 않는다. 대신, 우리는 CBME의 광범위한 영향에서 두 가지 사이의 명확한 연관성을 인정하면서 학습자 중심의 교육 성과와 환자 중심의 결과 모두를 초점 영역으로 고려할 필요성을 강조하는 것을 목표로 한다. 비록 우리의 접근 방식은 두 가지 포커스 영역을 별도로 설명하지만, 이 둘의 상호 연관성은 아무리 강조해도 부족함이 없다.

First, the focus of the outcome is either educational (learners) or clinical (patients). As CBME is an educational intervention, educational outcomes related to the learner are often more tangible and straightforward to measure, and they may be proxies of clinical, patient-focused outcomes that are more difficult to capture. For example, it may be more feasible to measure the capacity of a competency-based training program to detect residents in difficulty, as demonstrated by Ross et al. (2018), than to measure the impact of struggling residents on patient care. This is not meant to de-emphasize the importance of a focus on patient-centred outcomes, as the goal of medical education is to improve the care that patients receive. Educational outcomes can be interpreted as proximal to the more distal clinical outcomes (O’Malley and Pangaro 2016; Van Melle et al. 2017), but this does not imply that they are not worthy of measurement on their own. Instead, we aim to highlight the need to consider both learner-centred educational outcomes and patient-centred outcomes as areas of focus, while acknowledging the clear linkage between the two in the broader impact of CBME. Although our approach articulates the two areas of focus separately, their interrelatedness cannot be underscored strongly enough (Wong and Holmboe 2016).

레벨 Level

우리는 또한 더 넓은 시스템에서 결과의 수준을 분류하기 위해 노력했다. 브론펜브레너의 생태학적 시스템 이론과 심리학 및 경제 문헌에서 이 이론의 다른 사용으로부터 영감을 받아, 우리는 결과를 다음의 세 가지에 영향을 미치는 성과로 구분한다.

• 개별 교육생(마이크로)
• 개별 프로그램(메소)
• 시스템(매크로)

We also sought to classify the level of the outcome in the broader system. Taking inspiration from Bronfenbrenner’s ecological systems theory and other uses of this theory in the psychology and economics literature (Bronfenbrenner 1986; Carayannis and Coleman 2005), we divide outcomes into those that affect

• individual trainees (micro),
• individual programs (meso), and
• systems (macro).

Macro는 병원, 기관 또는 대학, 국가 인증 기관 또는 의료 시스템에 일반적으로 영향을 미치는 결과를 포함할 것이다. 이 경우에, 조직에서는 CBME가 미칠 것으로 예상되는 주요 영향 수준을 파악하고자 하며, 이미 CBME 평가에 대한 전문성 특정 접근 방식에서 성공적으로 사용되고 있습니다. 예를 들어,

• [훈련생이 졸업 후 practice할 준비가 되어 있다는 인식]과 같은 결과는 [미시적 수준]의 교육적 결과로 간주되는 반면,
• [practice 첫 해에 전문 의사 성과 지표의 국가 동향]은 [거시적 수준]의 임상적 결과일 것이다. 

The latter would include outcomes that affect hospitals, institutions or universities, national certification bodies, or the health care system in general. This organization seeks to capture the main levels of expected impact of CBME and has already been used successfully in specialty-specific approaches to CBME evaluation (Chan et al. 2020). As examples,

• an outcome such as a trainee’s perception of his or her readiness to practice at graduation would be considered a micro-level educational outcome,
• while national trends in specialty-specific physician performance metrics in the first year of practice would be a macro-level clinical outcome. 

[교육적 성과]는 미국의 마일스톤 데이터 또는 캐나다의 응급의학과와 같은 기타 환경에서 전공-특이적 협력을 통해 수행된 것처럼, 여러 사이트와 전문 분야의 평가 데이터를 취합 및 분석하여 [국가 수준]에서 측정할 수도 있다. 교육 프로그램, 임상 마이크로시스템 및 '학습자-환자-임상 마이크로시스템 상호작용'에 적용된 교육 개입이 하류downstream의 [교육적 성과 및 임상적 성과]에 미치는 영향을 이해하는 데 있어 이 영역을 고려하는 것이 중요하다.

Educational outcomes may also be measurable at the national level, with the aggregation and analysis of assessment data from across sites and specialties, as has been conducted with Milestones data in the United States (Holmboe et al. 2020), or via specialty-specific collaborations in other settings, such as emergency medicine in Canada (Thoma et al. 2020). Consideration of this domain is critical to understand the impact that educational interventions applied to training programs, clinical microsystems, and the ‘learner–patient–clinical microsystem interaction’ have on downstream educational and clinical outcomes (Wong and Holmboe 2016).

타임라인 Timeline

결과 평가의 타임라인은, 특히 [로직 모델]이 채택될 때, 일반적으로 단기, 중기, 장기 등으로 분류된다(Hamza et al. 2020; Van Melle 2016). 단기, 중기 및 장기 구조를 사용하여, 제안된 분류법은 의사 교육의 타임라인을 따르며, 다음과 같이 나눌 수 있다.

• 교육 중에 발생하는 결과,
• 훈련에서 감독되지 않은 실습으로의 전환을 둘러싸고 발생하는 결과
• 의사가 감독되지 않은 실습 중에 발생하는 결과

Timelines in outcome evaluations are commonly classified as short, medium, and long term, particularly when a logic model is being employed (Hamza et al. 2020; Van Melle 2016). Using the short-, medium-, and long-term construct, our proposed taxonomy follows the timeline of physician education, dividing outcomes into

• those that occur during training,
• those that occur surrounding the transition from training to unsupervised practice, and
• those that that occur while physicians are in unsupervised practice.

practice 환경에서는 [다른 많은 교란 요인]이 작동할 수 있기 때문에, 장기 성과는 단기 및 중기 성과보다 CBME에 직접 관련되기 더 어렵다. 이것은 이러한 결과를 조사하지 말아야 한다는 것을 의미하지 않는다. 그러나 이는 impact pathway와 context를 주의 깊게 설명해야 한다는 것을 의미한다. [환자 집단 관리와 같은 장기적 성과]를 측정하는 것이 중요하지만, [환자 중심 결과와 강력한 연관성이 있는 단기 성과]도 우선순위를 두어야 한다(오말리와 팡가로 2016). 이것들은 종종 교육적 개입의 영향에 대한 귀중한 증거를 연구하고 제공하는 데 더 타당하다. 

Long-term outcomes are more difficult to relate directly to CBME than short- and medium-term outcomes because many other confounding factors can come into play within the practice environment. This does not mean that these outcomes should not be examined. It does mean, however, that the impact pathway and context must be carefully described. While it is critical to measure long-term outcomes such as the care of populations of patients, short-term outcomes that have a strong linkage to patient-centred outcomes need to be prioritized as well (O’Malley and Pangaro 2016). These are often more feasible to study and provide valuable evidence of the impact of educational interventions.

마지막으로, transition to practice를 개선하는 것은 CBME의 핵심 약속으로 강조되었으며, 이는 [transition to practice 성과]를 [in-training 성과 및 in-practice 성과]와 구별되는 고유한 가시적 성과의 집합으로 취급해야 한다. 우리는 이 실무 전환 범주가 졸업 시 임상 역량의 자주 측정된 중기 성과medium-term outcome를 포함할 것을 제안한다(Holmboe 등. 2020; Tamblyn 1999).

Lastly, improving the transition to practice has been highlighted as a key promise of CBME (Frank et al. 2010; Touchie and ten Cate 2016), which warrants the treatment of transition-to-practice outcomes as a unique set of tangible outcomes distinct from in-training and in-practice outcomes. We propose that this transition-to-practice category would include the often-measured medium-term outcome of clinical competence at graduation (Holmboe et al. 2020; Tamblyn 1999).

분류법 적용 Applying the taxonomy

이 분류법은 CBME 결과의 스펙트럼을 고려하면서 이해관계자 간의 상호작용을 통합하는 논리적 영향 경로를 설명한다. 이 분류법의 사용은 결과를 조직하고 운용하기 위해 모든 규모의 프로그램 평가에 참여하고자 하는 사람들에게 허용된다. 표 1은 분류법의 세 도메인 간에 각각의 겹치는 고려사항에 대한 예를 보여준다. 이 섹션에서는 중복 영역의 실제 예를 강조하여 이 분류법의 적용에 생명과 명확성을 제공하지만, 각 영역에서 모든 잠재적 측정 결과를 정의하거나 우선순위를 지정하려는 시도는 결코 하지 않는다. 분류법의 각 영역별 성과를 정의함에 있어, 우리는 

• 산출(CBME의 구성 요소가 진행 중이거나 구현되었음을 나타내는 지표)과 
• 성과(CBME의 결과로 야기된 주요 이해관계자의 행동, 관계 및/또는 행동에 대한 설명)

...를 구분한다(Earl 등 2001; Frye 및 Hemmer). 2012); 이 구별의 중요성은 동반 논문에 설명되어 있다(Van Melle et al. 2021).
This taxonomy delineates a logical impact pathway that incorporates the interaction between stakeholders while considering a spectrum of CBME outcomes. Use of this taxonomy allows those seeking to engage in program evaluation of any magnitude to organize and operationalize outcomes. Table 1 gives an example for each overlapping consideration between the three domains of the taxonomy. In this section, we highlight practical examples from these areas of overlap to provide life and clarity to the application of this taxonomy, but we by no means attempt to define or prioritize all the potential measurable outcomes in each domain. In defining outcomes classified within each area of the taxonomy, we distinguish between

• outputs (indicators that a component of CBME is underway or has been implemented) and
• outcomes (description of the changes in the behaviour, relationships, and/or actions of key stakeholders brought about as a result of CBME)

...(Earl et al. 2001; Frye and Hemmer 2012); the importance of this distinction is described in a companion paper (Van Melle et al. 2021).

[학습자 중심], [단기], [마이크로 레벨] 관점에서 CBME의 한 가지 주요 예상 결과는 [자율적이고 개인화된 학습]이다(Van Melle 등. 2019). CBME 커리큘럼의 계획된 결과물인 [개별화된 학습 계획의 구현]은 [이 경우 측정 가능한 outcome이 아니라] output이다. 대신, 프로그램 내에서 진정으로 [개별화된 학습의 존재presence]에 대해서는 다른 지표를 고려할 수 있다.

• 개별화된 학습 계획의 및 개발된 학습 목표의 내용 분석
• 교육생과 코치의 학습 계획 효용 인식 
• 학습 계획이 역량 달성의 궤도에 미치는 영향 
• 결과 달성 여부를 평가하기 위한 커리큘럼 및 평가 프로세스의 변경. 

Thinking from a learner-focused, short-term, micro-level perspective, one key anticipated outcome of CBME is self-regulated, individualized learning (Van Melle et al. 2019). The implementation of individualized learning plans, a planned output of a CBME curriculum, is in this case an output, rather than a measurable outcome. Instead, one could consider other indicators of the presence of truly individualized learning within a program, such as

• content analysis of individualized learning plans and developed learning goals,
• the perception of trainees and coaches of the utility of learning plans,
• the impact of learning plans on the trajectory of competence attainment, or
• changes to the curriculum and assessment process to evaluate whether the outcome has been achieved.

이 밖에도, 또 다른 근거로는 identified needs에 대응하여 수습자 교대 재배치 또는 맞춤화의 증가된 발생을 포함할 수 있다.
Further evidence of this outcome could include an increased incidence of trainee rotation rearrangement or customization in response to identified needs.

CBME의 [교육 중심], [중범위], [중기적 성과] 중 하나는 교육 프로그램이 진급 및 졸업에 관하여 방어가능하고 데이터에 기반한 결정을 내릴 수 있는 능력을 갖추는 것이다. 이는 교육 기간 동안 일상적인 간격으로, 그리고 [졸업후교육]에서 [감독되지 않은 practice]으로 전환될 때 프로그램이 모든 연습생에 대해 자주 내리는 중요한 결정이며, 자주 분석되는 결정입니다. 여기서도, [잘 표현된 정책과 관행을 가진 역량 위원회의 존재]는 [기대 산출expected output]으로 간주될 수 있으며, [측정할 수 있는 성과outcome]에는 다음이 포함된다.

• 역량위원회가 평가 데이터를 시각화하고 사용하는 방법 
• 그러한 데이터가 그룹 프로세스를 포함한 의사결정에 통합되는 방법 
• 교육생, 부서 지도부, 시스템 수준 의학 교육 리더 또는 인증 및 허가 기관의 이의를 제기할 경우 그러한 결정을 방어하는 방법

An example of an education-focused, meso-level, medium-term outcome of CBME is the ability of a training program to make defensible, data-informed decisions regarding trainee progression and graduation. This is a high-stakes, frequently analyzed decision that a program will make regarding every trainee at routine intervals during training and finally at the transition from postgraduate training to unsupervised practice. Here again, the existence of a competence committee with well-articulated policies and practices can be considered an expected output, while outcomes that could be measured would include how assessment data are visualized and used by the competence committee, how those data are synthesized by the committee into a decision including group processes, and how that decision is defended if challenged by the trainee, departmental leadership, system-level graduate medical education leaders, or accreditation and licensing bodies.

[교육에 초점을 맞춘] [거시적 수준]의 [중기적 관점]에서, 시간-가변적 진급 결정이 병원 시스템과 인증 기관에 미치는 영향을 고려할 수 있다. 한 개인이 [감독 없이 practice할 준비가 되어 있는지 여부]를 결정하는 것은 [실제로 그 사람이 역량을 입증받았을 때 연습할 수 있도록 허락하는 것]과 같지 않다. 서비스와 교육 사이의 균형은 더 복잡한 퍼즐이 될 수 있습니다 

• 서비스(프로그램과 병원의 요구에 도움이 되도록 수련생이 전체 로테이션을 완수하도록 만들기) 및 
• 교육(연습생에게 제자리로 전환하거나 졸업하도록 하고 지속적인 개발에 도움이 되는 추가 책임을 지도록 함)

이 분야에서 기관의 성과는 중요한 결과를 구성한다.

From an education-focused, macro-level, medium-term perspective, the impact of time-variable progression decisions on hospital systems and certification bodies can be considered. Determining whether an individual is ready to practice without supervision is not practically the same as actually allowing that person to do so at whatever point competence has been demonstrated. The balance between

• service (making a trainee complete rotations that benefit the needs of the program and hospital) and
• education (allowing a trainee to transition in place or graduate and assume additional responsibilities that are beneficial for their continued development)

...becomes an even more complex puzzle in the face of time-variable training (Lucey et al. 2018). The achievements of institutions in this area constitute important outcomes.

훈련의 연속체 및 감독되지 않은 임상 실습에 따라 수행되기 때문에 성과마다 타임프레임이 서로 다를 것이다. 예를 들어, [quality meature와 patient outcome 성과]는 [교육생이나 실무자에게 피드백을 제공하고 개인이 환자의 요구를 충족하는지 여부를 입증하기 위해] 단기, 중기 및 장기적으로 측정할 수 있고, 측정해야 한다. 
Many outcomes will involve multiple time frames as they will be followed throughout the continuum of training and unsupervised clinical practice. For example, quality measures and patient care outcomes can and should be measured in the short, medium, and long term both to provide feedback to the trainee or practitioner and to demonstrate whether an individual is meeting the needs of his or her patients. 

전공-특이적 환자 중심 성과의 예는 다음과 같다. 

• 응급실에서 패혈증 환자에 대한 항생제 적시 투여와 같은 관리 품질 지표(Seymour et al. 2017), 
• 외래 환자 진료소에서 관리되는 당뇨병 환자의 시간 경과에 따른 헤모글로빈 A1C 수준(Francis et al. 2016; Wong et al. 2016), 
• 수술 감염률(Rudder et al. 2019).

Examples of specialty-specific, patient-focused outcomes are quality of care metrics such as timely administration of antibiotics to patients with sepsis in an emergency department (Seymour et al. 2017), hemoglobin A1C levels over time in patients with diabetes managed in an outpatient clinic (Francis et al. 2016; Wong et al. 2016), and surgical infection rates (Rudder et al. 2019).

그렇긴 하지만, 어떤 하나의 metric으로도 '훌륭한 의사'가 되는 모든 구성을 포함할 수 없다는 것은 명백하며, 따라서 전공마다 [복합 평가점수composite evlauation] 도출 방법을 생각해볼 필요가 있다. 이 때, [의사 역량의 모든 영역]에 대한 점수를 포함해야 하며, [환자와 사회에 중요한 것]과 [측정할 수 있는 것]의 균형을 맞춰야 한다. [CBME 구현의 결과]를 이로 인한 [환자 수준 성과의 변화]와 연결하는 것은 매우 어려운 작업이 될 것이다. 위에서 설명한 바와 같이, CBME의 영향에 대한 종합적인 평가의 중요한 구성 요소가 될 것이다.

That being said, it is clear that no one metric can encompass the construct of ‘being an excellent physician’ and therefore specialties will need to consider deriving composite evaluations, including markers of excellence across all domains of physician competency, balancing what is measurable with what is important to patients and society. While linking changes in these patient-level outcomes as a result of CBME implementation will be a remarkably difficult task, as outlined above, it will be a critical component of any comprehensive evaluation of the impact of CBME.

다음 단계 Next steps

이러한 예와 표 1의 예제는 제안된 분류법을 사용하여 구성할 수 있는 CBME의 잠재적 결과의 폭에 대한 스냅샷만 제공한다. 우리는 이 분류 시스템이 여러 가지 방법으로 사용될 것으로 예상한다. 

These examples and those in Table 1 provide only a snapshot of the breadth of potential outcomes of CBME that can organized using the proposed taxonomy. We anticipate this classification system being used in several ways. 

• 첫째, 분류 체계(각 범주에 속하는 예와 함께)를 개별 프로그램, 전문 분야 또는 국가 수준에서 브레인스토밍 연습의 일부로 사용하여 특정 전공분야나 행정적 범위 내에서 [CBME와 관련된 성과를 식별]하고 [후속 평가 작업을 촉진]할 수 있다(Chan 등. 2020). 
• 둘째, 분류를 사용하여 특정 연구에서 조사 중인 결과의 유형을 분류할 수 있다. 일련의 질문을 사용하여 연구원들은 결과가 분류 체계 내에서 어디에 있는지 신속하게 정의할 수 있었다. 예를 들어 결과를 주로 교육적 또는 임상적으로 측정할 것인가? 교육생, 프로그램, 시스템 중 누구와 관련이 있는가? 마지막으로, 교육 중인 임상의, 실무로 전환 중인 임상의 또는 이미 시행 중인 임상의와 관련된 결과입니까?
• 셋째, 유사한 접근방식을 사용하여, 연구자들은 [CBME 이니셔티브의 보고된 성과를 분류]하여 [출판된 문헌의 조직화된 검토]를 수행하고, [CBME 구현 평가의 gaps와 trends를 식별]할 수 있었다. 여기서 목적은 평가를 위한 체크리스트를 개발하는 것이 아니라, 단순히 유용한 조직 프레임워크를 제공하는 것이다. 마지막으로, 결과 연구를 분류 체계 내에서 분류함으로써 CBME의 영향을 평가하기 위한 증거를 구성하기 위한 구조를 제공할 수 있을 것이다.
• 마침내, 우리는 이 분류 체계에도 한계는 있음을 깨달았다. 비록 개입으로서 [CBME가 본질적으로 복잡함]을 인식하고 그에 따른 결과를 인식하지만, 구획화하려는 시도는 성과의 상호 연관성을 과소평가할 수 있다. 또한, 많은 결과가 다수의 '상자'에 들어맞기 때문에, 이 분류법의 적용은 신중한 생각과 근거를 필요로 한다. 우리는 교육 과학자와 일선 교육자 모두에게 고용될 수 있는 사용 가능한 분류 체계를 제시하는 것을 목표로 했다.

• First, the taxonomy (along with examples falling into each category) could be used as part of a brainstorming exercise at the individual program, specialty, or national level to identify relevant outcomes for CBME within a given specialty and administrative scope and to stimulate and drive subsequent evaluation work (Chan et al. 2020).
• Secondly, the classification could be used to categorize the type of outcomes that are being investigated in a given study. Using a series of questions, researchers could quickly define where their outcome lies within the taxonomy. For example, is the outcome to be measured primarily educational or clinical? Is the outcome related to individual trainees, programs, or systems? And lastly, does the outcome pertain to clinicians in training, clinicians transitioning into practice, or clinicians already in practice?
• Thirdly, using a similar approach, researchers could classify the reported outcomes of CBME initiatives to conduct an organized review of published literature and subsequently identify gaps and trends in the evaluation of CBME implementation. The intention here would not be to develop a checklist for evaluation, but rather to simply provide a helpful organizing framework. Lastly, by classifying outcome studies within the taxonomy it will be possible to provide a structure for organizing evidence to evaluate the impacts of CBME.
• Finally, we recognize that this taxonomy is not without limitations. Although it recognizes the complex nature of CBME as an intervention, and its resultant outcomes, attempts at compartmentalization can underappreciate the interrelatedness of the outcomes. Further, many outcomes will fit into multiple ‘boxes’ and, therefore, application of this taxonomy requires careful thought and rationale. We aimed to present a usable taxonomy that can be employed by education scientists and front-line educators alike.

결론 Conclusion

복잡한 서비스 개입complex service intervention으로서의 CBME의 성격을 고려할 때, 우리는 CBME와 같은 교육 혁신의 다중 결과 가능성이 시간에 따라 펼쳐질 수 있는 접근법이 필요하다. 복잡한 개입의 성과는 다면적이며, 따라서 많은 렌즈를 통해 고려할 필요가 있다. 결과 연구를 수행하는 단편적인 접근법을 피하기 위해, 이 분류법은 결과 연구를 분류하고 설계하는 메커니즘을 제공한다. 포커스, 레벨 및 타임라인의 세 가지 도메인을 사용하여 교육 연구원들이 CBME의 영향에 대한 보다 완전하고 응집력 있는 그림을 그릴 수 있는 체계적 프레임워크를 제공한다. 

Given the nature of CBME as a complex service intervention, we require an approach that considers the possibility of multiple outcomes of educational innovations, such as CBME, unfolding over time. Outcomes of complex interventions are multifaceted and, as such, need to be considered through many lenses. To avoid a piecemeal approach to conducting outcomes research, this taxonomy provides a mechanism by which to categorize and design outcomes studies. Using the three domains of focus, level, and timeline, we offer an organizing framework to enable educational researchers to paint a more fulsome, cohesive picture of the impact of CBME. 

Med Teach. 2021 May 26;1-6.

 doi: 10.1080/0142159X.2021.1925643. Online ahead of print.

Outcomes of competency-based medical education: A taxonomy for shared language

Andrew K Hall 1 2, Daniel J Schumacher 3 4, Brent Thoma 2 5, Holly Caretta-Weyer 6, Benjamin Kinnear 4, Larry Gruppen 7, Lara J Cooke 2 8, Jason R Frank 2 9, Elaine Van Melle 2 10, ICBME Collaborators

Affiliations collapse

Affiliations

• 1Department of Emergency Medicine, Queen's University, Kingston, Canada.
• 2Royal College of Physicians and Surgeons of Canada, Ottawa, Canada.
• 3Division of Emergency Medicine, Cincinnati Children's Hospital Medical Center.
• 4Department of Pediatrics, University of Cincinnati College of Medicine, Cincinnati, OH, USA.
• 5Department of Emergency Medicine, University of Saskatchewan, Saskatoon, Canada.
• 6Department of Emergency Medicine, Stanford University School of Medicine, Palo Alto, CA, USA.
• 7Department of Learning Health Sciences, University of Michigan, Ann Arbor, MI, USA.
• 8Division of Neurology, Department of Clinical Neurosciences, Cumming School of Medicine, University of Calgary, Calgary, Canada.
• 9Department of Emergency Medicine, University of Ottawa, Ottawa, Canada.
• 10Department of Family Medicine, Queen's University, Kingston, Canada.

• PMID: 34038673
• DOI: 10.1080/0142159X.2021.1925643AbstractKeywords: Curriculum; evaluation; general; learning outcomes; management; medical education research; outcome-based; patient management.
• As the global transformation of postgraduate medical training continues, there are persistent calls for program evaluation efforts to understand the impact and outcomes of competency-based medical education (CBME) implementation. The measurement of a complex educational intervention such as CBME is challenging because of the multifaceted nature of activities and outcomes. What is needed, therefore, is an organizational taxonomy to both conceptualize and categorize multiple outcomes. In this manuscript we propose a taxonomy that builds on preceding works to organize CBME outcomes across three domains: focus (educational, clinical), level (micro, meso, macro), and timeline (training, transition to practice, practice). We also provide examples of how to conceptualize outcomes of educational interventions across medical specialties using this taxonomy. By proposing a shared language for outcomes of CBME, we hope that this taxonomy will help organize ongoing evaluation work and catalyze those seeking to engage in the evaluation effort to help understand the impact and outcomes of CBME.

공정하게 만들기: 학습자와 평가자의 공정한 평가에 대한 관점 (Med Educ, 2021)

Making it fair: Learners’ and assessors’ perspectives of the attributes of fair judgement
Nyoli Valentine1 | Ernst Michael Shanahan1 | Steven J. Durning2 | Lambert Schuwirth1

1 도입
1 INTRODUCTION

교육에서의 평가가 공정해야 한다는 데는 폭넓은 합의가 있다.1 전통적으로 평가의 공정성을 수호하기 위해 구인 타당도와 신뢰도 증거가 중심적이었다.2-4 그러나 타당도와 의대 교육의 개념 자체는 패러다임 변화를 겪었다. 역량 기반 의대 교육은 전통적인 목표, 측정 기반 평가와 점점 상충되는 것으로 보인다.3, 6-14 이러한 인식된 불일치는 평가에서 [인간의 판단을 수용하고 주관적인 성격을 수용]하기 위해 문헌 내에서 점점 더 큰 반향을 불러일으켰다.3, 4, 8-12, 14-19, 그러나 수용에 있어 평가에서 인간의 판단, '무엇이 인간의 판단을 "공정하게" 만드는가?'라는 중요한 질문이 제기되었다. 이것에 대한 통찰력이 없다면 인간의 판단은 계속해서 너무 '주관적이고' 불공평한 것으로 여겨질 것이다.
There is broad agreement that assessment in education should be fair.1 Traditionally, evidence of construct validity and reliability has been central to defend fairness of assessment.2-4 However, both the notion of validity5 and medical education itself have undergone a paradigm shift. Competency-based medical education is increasingly seen as being at odds with traditional objective, measurement-based assessments.3, 6-14 This perceived misalignment has led to an increasingly resounding push within the literature to embrace human judgement in assessment and accept its subjective nature.3, 4, 8-12, 14-19, 13 However, in embracing human judgement in assessment, an important question has arisen: ‘What makes human judgement “fair”?’. Without insight into this, human judgement will continue to be viewed as too ‘subjective’ and unfair.

평가의 필수 요소이기는 하지만, 공정성에 대해 만장일치로 합의된 이해는 없으며, '공정'은 이해관계자마다 다른 것을 의미한다.20 이 구조의 모호한elusiveness 특성 때문에 정의하기가 어렵다.6 단순한 정의를 갖는다는 것은 [복잡한, 다차원적, 맥락 의존적 구조]의 간단한 규칙으로 환원가능하다는 이야기이며, 이것은 현재 상황의 복잡성을 대변하지 못할 것이기에, '정의내리기 어렵다는 것'이 어쩌면 좋은 일이라고 주장할 수 있다. 간단한 정의로 합의되지 않고, 정의가 잠재적으로 유용하지 않다는 점을 고려할 때, 전략을 바꾸고 공정성의 구성 요소에 집중하는 것이 더 효과적일 수 있다. 
Despite being an essential element of assessment, there is no unanimous agreed understanding of fairness, with ‘fair’ meaning different things to different stakeholders.20 The elusiveness of this construct makes it difficult to simply define.6 One could argue this is perhaps a good thing, as having a simple definition may suggest a complex, diverse, multi-dimensional, context-dependent construct can be reduced to a straightforward rule which is likely to not represent the complexity of the situation. Given that a simple definition will not likely be agreed upon20 and is potentially not useful, then perhaps changing tack and focussing on the building blocks of fairness may be more fruitful.

최근의 문헌 검토는 이러한 추론과 토대를 함께 모아 이론적으로 구성된 개념 모델을 만들었다. 이 모델은 공정성이 유지되는 가치(신뢰성, 목적에 대한 적합성, 투명성 및 방어성)를 통해 개념화될 수 있음을 확인하였다. 이 가치들은 개인 및 시스템 수준에서 유지되며, 이는 평가에서 인간 판단의 공정성을 개념에서 실제 구성요소로 변환하는 데 도움이 된다.

• [공정한 인간 판단의 특성]에 의한 개인의 수준(기술, 경계, 전문성, 정신적 민첩성 및 증거)
• [절차]에 의한 시스템 수준(구조적 공정성, 문서화, 여러 기회, 다중 심사원 및 유효성 증거)

A recent literature review has brought these inferences and underpinnings together to create a theoretically constructed conceptual model.7 This model identified that fairness could be conceptualised through values (credibility, fitness for purpose, transparency and defensibility) which are upheld

• at an individual level by characteristics of fair human judgement (narrative, boundaries, expertise, mental agility and evidence) and
• at a systems level by procedures (procedural fairness, documentation, multiple opportunities, multiple assessors and validity evidence)
  
  ...which help translate fairness in human judgement from concepts into practical components.

본 연구의 목적은 일련의 경험을 통해 학습자와 평가자의 관점에서 공정한 인간의 판단에 대한 이해를 탐구하는 것이다. 
The purpose of this study is to explore the understanding of fair human judgement from the perspectives of learners and assessors across a continuum of experiences. 

2 방법 2 METHODS

본 연구는 실제적인 타당성에 초점을 맞췄기 때문에 주제 분석 접근방식을 사용했다. 주제 분석은 데이터 세트 전체의 의미에 초점을 맞추고 연구자들이 집합적 또는 공유된 의미와 경험을 이해할 수 있도록 한다. 21 주제 분석은 유연하고 다양한 방식으로 수행할 수 있다.21 본 연구에서는 복잡하고 유연하지 않은 것을 이해하는 데 도움을 주기 위해 [공정한 판단에 대한 복잡하고 균일하지 않은 인식과 경험]을 이해하기 위하여 귀납적이고, 창발적이며, 지속적인 비교 접근법을 사용했다. 

As this study focussed on practical plausibility, we used a thematic analysis approach. Thematic analysis focuses on meanings across a data set and allows researchers to make sense of collective or shared meanings and experiences.21 Thematic analysis is flexible and able to conduct in many different ways.21 In this study, we used an inductive, emergent and constant comparative approach to assist in understanding the complex and non-uniform perceptions and experiences of fair judgement.

이전 개념 모델의 개발자로서, 우리는 [주제에 대한 사전 지식이 없는 것은 아니라는 것]을 알았습니다. 따라서, 우리는 참가자들의 인식이 원하는 방향으로 해석되지 않도록 하기 위해 [주제 접근법]과 보다 [귀납적 접근법] 사이의 접근 방식을 균형 있게 조정했다. 기존 모델에 매핑하기 전에 개방형 코딩에 착수했습니다. Mapping은 [참가자의 인식]과 [기존 모델] 사이의 불일치dissent를 밝히려는 의도적인 의도가 있었다. 따라서 다음과 같은 네 가지 유형의 결과를 탐색하고자 했다.

As developers of the previous conceptual model, we were aware that we were not without prior knowledge of the topic. Therefore, we balanced our approach between a thematic approach and a more inductive approach to ensure the perceptions of the participants were not interpreted in a desired direction. We undertook open coding prior to mapping to the existing model. Mapping involved a deliberate intent to uncover dissent between the participants’ perception and the existing model. As such, we sought to explore four types of outcomes:

• 모델에 없는 음성 인식
• 데이터에 반영되지 않은 모델의 측면
• 모델에 존재하지만 다른 또는 추가 함축적 의미를 지닌 음성 인식
• 모델에 맞는 음성 인식

• perceptions voiced that were not in the model
• aspects of the model that were not reflected in the data
• perceptions voiced that existed in the model but with different or additional connotations
• perceptions voiced which aligned with the model

참여에 대한 인센티브는 제공되지 않았다. (대유행으로 인한) Zoom을 통한 반구조적 인터뷰는 최대 60분 동안 진행되었습니다. 인터뷰는 식별된 데이터 없이 기록되고 말로 기록되었다. 
No incentive was provided to participate. Semi-structured interviews occurred via Zoom (due to the pandemic) lasting up to 60 minutes. Interviews were recorded and transcribed verbatim without any identifying data. 

[Vignett]는 구체적인 현실적 맥락에 포함된 다원적 표현이기 때문에 인터뷰의 출발점으로 선택되었다.22 Vignette은 개념의 추상적인 본질을 환원시키지만, 요인이 무엇이며 요인 간 관계가 무엇인지를 동시에 조사할 수 있게 해줍니다.
Vignettes were chosen as the starting points for the interviews as these are multivalent representations embedded in concrete realistic context.22 This reduces the abstract nature of the concept, in our case of fairness, but still allows for simultaneous investigation of factors and their relationships.22 

인터뷰에는 세 가지 Vignette이 제시되었다(부록 S1 참조). 실제 평가 시나리오를 반영할 수 있도록 저자들의 경험을 토대로 6개의 Vignete를 처음 개발했습니다. 이는 이론적으로 파생된 개념 모델에 대해 지도를 작성했으며, 따라서 개인 및 시스템 수준을 포함하여 공정한 판단과 관련된 광범위한 현안에 대한 논의를 자극했다. 
Three vignettes were presented during the interview (see Appendix S1). To ensure the vignettes reflected realistic assessment scenarios, we drew on the experience of the authors to initially develop 6 vignettes. These were mapped against the theoretically derived conceptual model, and therefore, they stimulated discussion on a broad range of issues related to fair judgement, including at an individual and system level. 

저자들과의 논의를 통해, 그 삽화는 의도적으로 학부, 대학원, 그리고 펠로우십의 다양한 교육 단계를 나타내면서 3개로 축소되었다. vignets는 또한 높은 이해도의 판단을 나타내기 위해 선택되었다. 이는 더 많은 논의를 촉진하고 실질적인 적용 가능성을 가질 것으로 예상되었기 때문이다.
Through discussion with the authors, the vignettes were reduced to three, deliberately representing different stages of training, under-graduate, post-graduate and post fellowship. The vignettes were also chosen to represent high-stakes judgements, as this was anticipated to promote more discussion and also have more practical applicability. 

이 연구의 목적은 공정한 판단의 특성에 대한 참가자들의 인식을 이해하는 것이었기 때문에, 면담자가 지나치게 영향을 받지 않도록 하기 위해 연구자들이 공정성이 의미하는 바에 대한 어떠한 정보나 소개도 제공되지 않았다.
As the aim of the study was to understand the participants’ perceptions of the characteristics of fair judgement, no information or introduction was given about what the researchers meant by fairness, to ensure interviewees were not unduly influenced.

이 연구는 2020년 7월부터 2020년 12월까지 실시되었다. 데이터의 수집, 분석 및 코딩은 동시에 반복적인 방식으로 발생하며, 서로에 정보를 제공한다. 처음에는 데이터를 읽어 데이터에 익숙해지도록 했으며, 조사 과정 전반에 걸쳐 데이터의 몰입도와 참여도를 높이고 의사결정을 문서화하기 위해 반사적 메모가 사용되었습니다. 초기 코드가 생성되었고, 데이터셋 전반에서 지속적인 비교를 위해 각 추가 인터뷰 완료 후 이전 성적표를 반복적으로 다시 검토했다. 코드북은 저자들 사이에 코드에 대한 토론을 위해 만들어졌다.
The study was undertaken from July 2020 until December 2020. Collection, analysis and coding of the data occurred simultaneously in an iterative manner, each informing the other. Initially, the data were read to ensure familiarisation with the data, and reflective memoing was used to improve immersion and engagement with of data and to document decision-making throughout the research process. Initial codes were generated, and earlier transcripts were repeatedly re-examined following the completion of each further interview to allow for ongoing comparisons across the dataset. A code book was created to allow for discussion between authors about the codes.

3 결과
3 RESULTS

20명의 인터뷰, 12명의 심사원과 8명의 대학원생들을 인터뷰했다. 다양한 전공의 여성 11명과 남성 9명이 있었다(일반 진료과, n = 10, 내과, n = 5, 수술, n = 4, 산부인과, n = 1). 대학원 이후 교육생은 1학년부터 마지막 학년까지, 심사원은 5년에서 28년의 경력까지 다양했다. 
Twenty interviews were undertaken, 12 assessors and 8 post-graduate trainees. There were 11 females and 9 males from a variety of specialties (General Practice, n = 10, internal medicine, n = 5, surgery, n = 4, obstetrics and gynaecology, n = 1). The post-graduate trainees ranged from first to final year of training, and assessors ranged from 5 to 28 years of experience. 

19번의 인터뷰 끝에 포화상태에 도달했다. 처음에 115개 코드로 코드화된 후, 참가자의 공정한 판단에 대한 인식은 3가지 주요 주제와 9가지 하위 주제로 특징지어진다. 

Saturation was reached after 19 interviews. After initially being coded into 115 codes, the participants’ perceptions of fair judgement are characterised by 3 main themes, with 9 sub-themes.

• individual (evidence, narrative, boundaries, agility and expertise),
• system (multiple assessors, multiple opportunities, documentation and procedural fairness) and
• environmental factors 

3.1 개인별 특성
3.1 Individual characteristics

3.1.1 공정한 판단 결정은 의미 있고 건설적인 서술문을 포함할 필요가 있다.
3.1.1 Fair judgement decisions need to contain meaningful and constructive narratives

내러티브는 공정한 판단을 위해 필수적인 것으로 보였다. 내러티브는 피드백을 통해 학습자의 성찰과 개선을 허용하기 때문이다. 판단은 학습자가 성과를 개선할 수 있는 방법에 대한 명확하고 의미 있는 피드백 내러티브가 있는 경우에만 공정한 것으로 간주되었다. 학습자가 가장 관심을 가질 수 있다는 것을 자동으로 알려줍니다.
A narrative was seen to be essential for a judgement to be fair; as narratives allow for learner reflection and improvement through feedback. A judgement was only considered fair if there was a clear, meaningful feedback narrative about how a learner could improve their performance. And as such it automatically signals that the learner's best interest is at the centre.

또한 내러티브는 학습자의 성과에 대한 [학습자와 평가자의 관점을 일치시키기 위해서] 필요합니다. 평가자는 학습자에게 기대와 달리 어떻게 수행하는지 알려주어야 할 책임이 있습니다. 기습적인surprise 판단은 불공평한 것으로 간주된다.
Furthermore, a narrative is needed to align the learner and assessor's perspectives on how the learner is performing. It is the responsibility of the assessor to ensure they have attempted to inform the learner of how they are performing against expectations. A surprise judgement is considered unfair.

또한, 어려움을 겪고 있는 학생뿐 아니라, 모든 학습자에게 진정으로 판단받고 피드백을 제공할 수 있는 기회를 제공한다는 점에서 공정한 판단이 필요하다.
Furthermore, fair judgements need to be equitable in that all learners have the opportunity to be genuinely judged and provided with feedback, not just those who are struggling.

3.1.2 공정한 판단은 경계 안에 포함된다.
3.1.2 Fair judgements fall within boundaries

공정한 판단 결정은 '범위에 포함되는within scope' 증거와 '범위 밖의out of scope' 증거에 기초한다. 즉, 범위를 벗어나거나 범위를 벗어나는 것에 기초한다. 평가판정에 임상 성과 이외의 요소를 사용하는 경우, '대리에 의해by proxy 유능하거나 무능한' 것으로 평가되는 것은 불공정한 것으로 간주된다. 공정한 판단의 경계는 '메시지' 판단의 신뢰성이 메시지 자체와 '보낸 사람' 모두의 함수로 간주되기 때문에 심사원의 신뢰성을 결정하는 데에도 도움이 된다. 이 연구는 경계와 관련된 몇 가지 하위 주제를 강조했다.
Fair judgement decisions are based on evidence which is ‘within scope’ and what is ‘out of scope’; or in other words what is in or out of bounds.. It is considered unfair to be assessed as ‘competent or incompetent by proxy’; when factors other than clinical performance are used in making assessment judgements. The boundaries of fair judgement also help determine the credibility of the assessors because the credibility of the judgement ‘message’ is seen as a function of both the message itself and the ‘sender’. This study highlighted several sub-themes related to boundaries.

첫째, 판단 결정은 경계를 벗어나지 않기 위해 관련성이relevant 있어야 한다. 문헌 검토에서 뒷받침하는 바와 같이, [성별, 인종, 가족, 호감도와 사회적 연줄과 같은 요소]는 역량과 관련이 없는 것으로 간주되고 불공평한 것으로 간주된다.
Firstly, judgement decisions need to be relevant to remain within boundaries. As supported by the literature review, factors such as gender, race, family, likability and social connections are not considered relevant to competence and are considered unfair.

둘째, [목적 잘못된 판단 결정]은 학습자 또는 환자에게 최선의 이익이 되지 않는 경우 공정한 것의 범위를 벗어난 것으로 간주되었다. 학습자에게 높은 기대를 걸고 필요한 경우 불합격하는 것이 합리적이었지만, [뛰어난 의료 서비스를 제공할 수 있도록 [학습자가 개선되고 성공하기를 바라는 진정성 있는 목표]를 가지고 있다는 관점]에서 판단을 내려야 합니다. 사적 판단 결정을 공유하지 않으려 하거나, 학습자에 대해 험담을 하거나, 자신의 안건을 밀어붙이거나, 심사원 역할을 남용하는 등 심사원의 사리사욕과 같은 다른 모든 목표는 공정한 판단의 테두리를 벗어난 것으로 간주한다.
Secondly, judgement decisions which had a misplaced purpose, where the decision was not made in the best interests of the learner or patients, were considered outside of the boundaries of what is fair. It was considered reasonable to have high expectations of a learner and to fail if needed, but judgements need to be made in the light of having an authentic, genuine aim of wanting learners to improve and succeed, to ensure they are able to provide excellent health care. Any other aim, such as assessor self-interest including an unwillingness to share their private judgement decisions, gossiping about learners, pushing their own agenda or abusing their role as an assessor is considered out of the boundaries of a fair judgement.

만약 당신이 그 하급 의사가 더 나은 의사가 될 수 있도록 도와주는 데 관심이 있고 실제로 개입하고 싶어하는 사람이 있다면, 그들은 누군가를 찢어 놓는 것에 관심이 있기 때문이 아니라, 그들이 잘되기 때문에… 만약 당신이 그들을 도울 수 있다면, 우리는 마지막에 더 나은 의사를 얻는다.

If you’ve got somebody who is interested in helping that junior doctor become a better doctor and who actually wants to intervene not because they’re interested in tearing someone apart, but because they go okay… if you can help them then we get a better doctor at the end of it

3.1.3 공정한 판단 결정은 뒷받침하는 증거에 의해 뒷받침된다.
3.1.3 Fair judgement decisions are supported by supporting evidence

문헌 리뷰는 증거가 판단을 뒷받침하는 수단이라고 언급했고 복수의 근거 출처를 갖는 것이 공정성에 대한 인식을 개선했다고 제안했다. 본 연구에서는 참가자들이 이러한 전제에 동의하고 이것이 실제로 무엇을 의미하는지 상세하게 설명하였다. 이러한 맥락에서 증거는 논리, 인공물 또는 관찰과 같은 것들을 포함하는 것으로 고려되었다.
The literature review noted evidence was a means of supporting judgements and suggested that having multiple sources of evidence improved the perception of fairness. In this study, participants agreed with these premises and provided detail about what this means in practice. Evidence in this context was considered to include such things as rationale, artefacts or observation.

판단 결정judgement decision이 공정하기 위해서는 [증거의 포괄성]이 있어야 한다. 유능한 임상의가 되기 위해서는 여러 역량이 필요하며 공정한 판단 결정은 [지식뿐만 아니라 이러한 모든 역량을 고려]한다.

For judgement decisions to be fair, there needs to be comprehensiveness of evidence. Multiple competencies are needed to be a competent clinician and fair judgement decisions consider all of these competences, not just knowledge.

증거는 종단적이야 하며, 수행능력의 패턴을 고려해야 공정하다고 여겨졌다. 증거를 여러 개 가지고 있으면 삼각측정을 할 수 있다.

Evidence was expected to be longitudinal and consider patterns of performance to be considered fair. Having multiple pieces of evidence allows for triangulation.

중요한 것은 증거가 공정하다고 간주되기 위해서는 맥락이 있어야 한다는 것이다. 심사원의 중요한 역할은 맥락을 고려하여 증거를 해석하는 것이다. 전문성과 민첩성을 고려할 때 이 점을 더욱 자세히 살펴볼 수 있습니다.
mportantly, evidence needs to be contextual to be considered fair. An important role of an assessor is to interpret evidence in light of the context. This is explored further when considering expertise and agility.

마지막으로, 판단 의사결정에 대한 증거는 [전문지식의 특수성]을 허용해야 한다. 임상의사마다 개별적인 실천 방법이 다르며, 이러한 variation이 반드시 무능력인 것은 아니므로, 누군가를 그렇게 판단하는 것은 불공평한 것으로 간주된다.
Finally, evidence for judgement decisions should allow for expertise idiosyncrasy. Different clinicians will have different individual ways of practising and this variation is not necessarily incompetence, so to judge someone as such is considered unfair.

3.1.4 판단 결정을 내리는 심사원은 민첩성, 내용 및 평가 전문지식이 필요하다.
3.1.4 Assessors making judgement decisions need agility, and content and assessment expertise

모든 참가자들은 평가관의 전문성과 민첩성이 필요하다고 강조했다. 롬바르도와 아이친저는 사람들이 문제를 새로운 관점에서 생각하는 정도를 묘사하기 위해 [정신적 민첩성mental agility]이라는 용어를 만들었다. 그것은 복잡성과 모호함에 편안하고 그들의 생각을 다른 사람들에게 설명하는 것이다. 
All participants highlighted the need for assessor expertise and agility. Lombardo and Eichinger coined the phrase mental agility to describe the degree to which individuals think through problems from fresh points of views are comfortable with complexity, ambiguity and explaining their thinking to others23 

인터뷰에 응한 사람들은 공정한 판단을 하기 위해 심사원들이 여러 가지 작업을 수행해야 하는데, 이를 위해서는 민첩성과 전문지식이 필요하다고 지적했습니다. 여기에는 

• 상황의 복잡성을 수용하는 것,
• 수치적으로 합산할 수 없는 근거의 조각들을 잘 해석하여 유의미하게 모으고 삼각측량하는 것
• 제시된 증거의 가중치를 고려하는 것
• 식별된 애매한 경계 내에서 근거의 품질과 맥락을 고려하는 것이 포함된다. 

Interviewees noted that to make fair judgements, assessors have multiple tasks for which they need agility and expertise to complete. These include

• embracing the complexity of the situation and
• meaningfully collating and triangulating pieces of evidence that cannot be added numerically through interpreting and
• weighing up evidence presented and
• considering the quality and context of the evidence, within identified fuzzy boundaries. 

이런 것들이 평가자의 주요 역할로 간주되었고, 그렇지 않은 경우, 판단 결정이 불공정하다고 간주되었다. 이는 평가가 대개 실제 생활에서 이루어지기 때문에 종종 시간 압박과 함께 발생하며, 환자 안전을 보장하기 위해 실시간으로 판단을 내려야 한다.
This was considered a key role of an assessor, and if this was not done, the judgement decision was considered unfair. This also often occurs with time pressures as assessment usually occurs in real life, and judgement is needed to be made in real time to ensure patient safety.

때때로 훈련생들은 전문직업성이 부족한데, 환자들은 그들을 사랑한다. 그래서 그것은 종합적인 평가를 해석하는 문제이다.
Sometimes the trainees are not very good in terms of professionalism but then the patients love them. So it is a matter of interpreting that comprehensive assessment

 

공정한 방식으로 제시된 증거를 적절하게 해석, 심문 및 결합할 수 있으려면 [조사 과정]이 필요하다. 여기에는 [더 많은 증거를 수집]하거나 [제시된 증거에 대한 더 많은 정보를 확인하는 것]이 포함될 수 있다.
To be able to adequately interpret, interrogate and combine the evidence presented in a fair way, an investigative process is needed. This may involve collecting more evidence, or identifying more information about the evidence presented.

컨설턴트들을 좀 더 추궁하고 근본적인 문제를 파악하여 시나리오, 상황, 사건, 참석자 등을 설명하게 합니다. 그냥 가서 그 상황에 있는 사람들과 수다를 떨고… 사람들이 어떤 식으로 사건을 해석하는지 알아본다.
I grill the consultants a bit more and find out what’s the underlying issue and I get them to try and describe the scenario, what was the situation, what happened and who was there… I just go and chat to the people in that situation… and find out what people’s version of events were

또한 평가자는 개선을 허용할 수 있는 서술적 피드백을 제공할 수 있는지 확인하기 위한 [교육적 전문성]이 필요하다.
Furthermore, assessors need educational expertise to ensure they are able to provide narrative feedback which can allow for improvement.

3.2 시스템 요인
3.2 System factors

3.2.1 공정한 판단 결정이 여러 기회를 허용했다.
3.2.1 Fair judgement decisions have allowed for multiple opportunities

교육 프로그램의 진행에 대한 공정한 판단을 내리기 위해서는 학습자의 수행능력 패턴을 파악하기 위하여 여러 데이터 포인트를 수집할 수 있도록 [일정 기간 동안 역량을 입증할 수 있는 다수의 기회]를 제공해야 한다. 즉, 역량 입증 능력에 영향을 미치는 외부 요소(즉, 평가 당일에 몸이 좋지 않음)의 가능성을 줄이는 것이다. 특히, 본 연구에서는 학습자가 서술적 피드백에 응답하고 다음 평가 또는 학기 말 이전에 개선을 보여줄 시간과 작업 기회도 있어야 한다고 강조했습니다.

Fair judgments about progression in training programmes need to have provided multiple opportunities for learners to demonstrate competence over a period of time to allow for multiple data points to be collected, patterns of performance to be recognised and to reduce the chance of an external factor (ie unwell on the day of an assessment) influencing their ability to demonstrate competence. Specifically, this study emphasised that learners need to also have a time and work opportunity to respond to narrative feedback and demonstrate improvement before the next assessment or the end of term.

또한 결정을 뒷받침할 [여러 데이터 지점과 체크포인트]가 있었기 때문에 여러 번의 기회를 갖는 것이 후보자의 실패를 더 쉽게 만들어 줄 수 있다고 판단되었습니다.
Having multiple opportunities also was seen as possibly making the task of failing a candidate easier, because there were multiple data points and check points to support the decision.

작업 부하, 감정적 부하와 같은 측면에서 누군가를 failing시키는 것은 passing시키는 것보다 훨씬 더 어렵습니다. 문서화해야 할 것이나 나눠야 할 대화가 훨씬 많아진다. 만약 모든 사람에게 걸쳐서 이뤄지는, 훨씬 더 작은 체크포인트와 프로세스가 구축되어 있었다면, (지금처럼) 누군가를 실패시키는 건 기념비적인 일이 아니게 될지도 모른다.
Failing someone is much harder than passing them in terms of actually the workload… the cognitive load, the emotional load, but actually the documentation and the conversations and those sorts of things are much bigger and I guess if there were more perhaps slightly smaller check points and processes built in all the way through for everybody then perhaps it’s not as big of a monumental job to fail someone.

3.2.2 공정한 판단 결정에 복수의 심사원을 사용할 것
3.2.2 Multiple assessors are used in fair judgement decisions

이 연구는 [여러 명의 평가자를 사용하는 것]이 공정성에 기여하는 것으로 인식된다는 문헌 검토의 결과를 확인하였다. 이는 삼각측정과 광범위한 역량 평가를 가능하게 하는 더 많은 데이터를 수집할 수 있기 때문이다.
This study confirmed the findings of the literature review that using multiple assessors is perceived to contribute to fairness, because it enables more data to be collected which allows for triangulation and for a broader range of competencies to be assessed.

사실, 의료진보다 더 중요한 것은 비의료진이다. 따라서 간호 인력, 협력 의료 직원, 환자 등이 의료진보다 개인의 성과를 훨씬 더 사실적으로 보여 줄 것입니다.
In fact, even more important than medical staff is non-medical staff. So, it’s often nursing staff, allied health staff, patients, that will give a much more true [sic] picture of an individual’s performance rather than medial staff.

다수의 평가자는 또한 다양한 관점을 허용하고 한 명의 개별 평가자의 단일 관점을 희석시킨다.  이것은 개별 심사원의 판단을 반드시 무시하는 것이 아니라 다른 심사 결정에 비추어 고려하기 위한 것이다. 따라서, 위에서 설명한 바와 같이 전문지식의 특수성을 허용하는 문제와 관련이 있다.
Multiple assessors also allow for diverging perspectives and dilutes any one individual assessor's single perspective. This is not to necessarily ignore the judgement of any individual assessor but rather to consider this in the light of other judgement decisions. As such, it relates to the issue of allowing for expertise idiosyncrasy as described above.

여러 명의 심사원을 보유하는 것은 판단 결정, 특히 어려운 결정을 내릴 때 그룹 지원을 가능하게 한다.
Having multiple assessors also allows for group support in making judgement decisions, particularly difficult decisions.

내 생각에 그건 정말 팀 차원의 결정이었다… 우리 모두는 우리가 그에게 제공할 수 있는 것의 한계에 도달했다고 느꼈다.
I think it was very much a team decision… we all felt that we’d reached the limit of what we could offer him

3.2.3 문서화
3.2.3 Documentation

투명성을 보장하기 위해 판단의 모든 측면을 문서화해야 한다. 문서화에 대한 참가자들의 논의는 거의 없었으므로, 문서화가 무엇을 어떻게 수행되어야 하는지에 대한 세부 사항은 불확실하다.
To ensure transparency, all facets of the judgement need to be documented. There was minimal discussion by participants on documentation, so details of what and how documentation should occur are uncertain.

3.2.4 공정한 판단 결정을 지원하는 절차적 공정성
3.2.4 Procedural fairness supports fair judgement decisions

절차적 공정성의 중요한 요소는 [학습자에 대한 기대의 투명성]이다. 투명성은 정보의 명확성과 포괄성에 의존합니다. 정보가 부족하면 학습자가 예상하는 바를 추측해야 하고 이전의 경험을 지침으로 활용할 수 있습니다. 따라서, 학습자를 [문서화되지 않았거나 또는 전달되지 않은 기대치로 판단하는 것]은 물론이며, 기대치의 일부만 명시적으로 전달된 경우에도 불공평한 것으로 간주됩니다.
An important component of procedural fairness is transparency of expectations of the learner. Transparency relies on the information to be explicit and comprehensive; a lack of information can mean learners are required to guess what is expected of them and may use their previous experience as a guide. Judging a learner on unwritten or uncommunicated expectations is therefore seen as unfair, even when only part of the expectations were not explicitly communicated.

절차적 공정성에는 [판단이 목적에 적합한지 확인하는 것]이 포함된다. 의미 있는 근거가 결여된 [임의적인 규칙이나 판단]은 절차적으로 불공평한 것으로 간주된다. 평가자의 민첩성과 전문지식을 허용하지 않는, 엄격하고 미리 결정된 평가 양식 또는 더 나은 실무자가 되는 데 직관적으로 기여하지 않는 요소에 대한 판단이 그 예입니다. 전형적으로, 그러한 불공평은 평가의 게임으로 이어질 수 있으며, 학습자들은 가능한 최고의 의료 전문가가 되기 보다는 평가 통과에 집중해야 한다는 부담을 느낄 수 있습니다. 이는 공정하다고 볼 수 없습니다.
Procedural fairness includes ensuring judgements are fit-for-purpose. Arbitrary rules or judgements lacking a meaningful rationale are seen as procedurally unfair. Examples are rigid, predetermined assessment forms which do not allow for assessor agility and expertise or judgements about elements that do not intuitively contribute to becoming a better practitioner. Typically, such unfairness can lead to gaming of the assessment and learners feeling forced to focus on passing the assessment rather than becoming the best possible healthcare professional, which is not seen as fair.

중요한 것은, 공정한 판단은 결정의 이해 관계와 그 근거가 되는 정보의 풍부함에 비례해야 한다는 것이다.
Importantly, fair judgements have to be proportional, with alignment of the stakes of the decisions and the richness of the information on which they are based.

…왜 한 시험을 fail한 결과로 1년을 버려야 하나요?…올해는 누군가의 인생 전체입니다… 이건 큰 위험인데, 시험을 한 번 통과하지 못해서 1년 내내 해야 하는 게 공평할까요? 이 특정 시험 영역이 미래의 전문 역량 또는 역량에 대한 중요한 예측 변수와 함께 포함되는 이유에는 몇 가지 근거가 있어야 합니다.
…why would one exam constitute a failure in the whole year?… this is the whole year of somebody’s life… This is high stakes, is it fair that somebody has to do a whole year because they failed one exam?… There has to be some rationale behind why does this particular segment of the exam carry with it such an important predictor of future professional competence or capability.

절차적 공정성은 학습자가 상황에 대해 말하고 관점을 제공할 수 있도록 하는 것을 포함했다. 공정한 판단을 위해 심사원은 이러한 대화와 관점을 고려할 필요가 있다. 즉, 학습자는 자신이 학습한 내용에 대한 agency를 가정할 수 있으며, 대화가 이를 가능하게 하는 한 가지 방법이라고 생각합니다.
Procedural fairness importantly included allowing learners to speak and provide their perspective to the situation. This dialogue and perspective need to be considered by assessors to make fair judgements. Or in other words, the learner feels that they can assume agency over their own learning and a dialogue is a way to enable this.

…그러면 공정한 재판의 일환으로 피고인은 자신을 방어하고 불만을 제기하고 후배 컨설턴트의 이야기를 들을 기회를 가져야 합니다.

…then, as part of any kind of fair trial the accused should have an opportunity to defend themselves… present the complaints… and hear the junior consultant’s side of the story

절차적 공정성은 위계적 권력 격차가 학습자에게 정보, 판단 또는 피드백을 제공하는 데 방해가 되지 않도록 해야 하며, 학습자가 부당한 것으로 간주되어 응답할 수 없는 경우에도 마찬가지입니다. 이러한 권력의 차이는 평가자에서 학습자로 또는 학습자에서 평가자로 흐를 수 있습니다. 또한 절차적 공정성의 중요한 딜레마는 [피평가자에 대한 사전 지식을 갖는 것]이 한편으로는 보다 [균형 잡힌 판단을 위해 유용한 정보]를 제공할 수 있지만, 다른 한편으로는 [(아직 달성하지 못한) 남아있는 목표에 대한 생각]을 하는 것이기도 하다.
Procedural fairness needs to ensure hierarchical power differentials do not hinder the provision of information, judgement or feedback to the learner, or if the learner is unable to respond as this is seen as unfair. Such power differential could flow from the assessor to the learner or from learner to assessor. Furthermore, an important dilemma in procedural fairness is deciding between assessors having prior knowledge about a candidate which may provide useful information for a more balanced judgement on the one hand and the notion of remaining objective on the other.

공정성의 관점에서 판단은 두 가지 상황 모두에서 공정할 수 있다. 평가자는 [지속적인 관리 관점에서 학습자를 논의해야 할 진정한 필요성]을 가질 수 있지만, 이는 [향후 판단을 편향시킬 수 있는 학습자의 '명성'을 형성할 위험]과 균형을 이루어야 합니다. 학습자에 대한 편견이 이미 존재하고, 그들의 평가가 임상 성과보다는 인계 요인hand-over factor에 의해 고려되는 것은 불공평한 것으로 간주되었다. 이는 공정한 평가의 범위를 벗어난 것이기 때문이다.

From a perspective of fairness, judgements can be fair in both circumstances. Whilst assessors may have a genuine need to discuss learners from a continuity of care perspective, this clearly needs to be balanced with the risk of creating a ‘reputation’ for the learner that may bias future judgements. It was seen as unfair if a learner was prejudged and their assessment considered on hand-over factors rather than their clinical performance as this was outside the boundaries of fair assessment.

그들이 당신을 잘 안다면 어떤 면에서 도움이 될 수 있다고 생각합니다. 그들은 당신에게 건설적인 피드백과 당신의 강점에 대한 건설적인 관점을 줄 수 있습니다. 하지만 감독을 받는 사람으로서, 당신이 어려움을 겪고 있는 것들에 대해 상사에게 말할 수 있어야 한다고 생각해서, 만약 당신이 상사의 도움과 지원을 구했기 때문에 상사가 당신을 나쁘게 평가할 것 같다면, 그것은 부당하다고 생각합니다.

컨설턴트 중 한두 명에게 좋지 않은 인상을 주고 입소문이 퍼진 동료가 있는데, 저는 많은 다른 팀들이 이 사람을 매우 주의 깊게 지켜보고 그들을 조사한다고 생각합니다. 왜냐하면 부서 전체가 이 특정 수련생에 대해 편견을 가지고 있기 때문에 다소 전문적이지 않고 불공평하기 때문입니다.
I think in some ways it can be helpful if they know you well, they can give you constructive feedback and constructive views of your strengths. But I think also as the person being supervised, you need to feel like you can talk to your supervisor about things that you’re struggling with and so if you then feel like the supervisor is going to flip it back on you and assess you poorly because you’ve sought their help and support, I think that’s unfair.

There’s a colleague… who has made a very bad impression to one or two of the consultants and word of mouth has spread and I think a lot of the other teams are then very very carefully watching this person and putting them under scrutiny… it’s a bit unprofessional and unfair because… the whole division is biased against this particular trainee.

절차적 공정성에는 [평가자의 자기성찰 능력]도 포함된다. 여기에는 편견에 대한 그들 자신의 민감성과 성격 특성이 판단 결정에 어떻게 영향을 미칠 수 있는지를 인식하는 것이 포함될 수 있다. 이는 공정하지 못한 영향력이지만, 평가자가 심사숙고를 할 경우 완화될 수 있다고 보았다.
Procedural fairness also includes assessor self-reflectivity. This might include being aware of their own susceptibility to biases and how personality characteristics can impact judgement decisions. This is seen as an unfair influence that can be mitigated if the assessor makes the effort of reflection.

제가 평가를 할 때, 저는 자신에게 엄격해지는 경향이 있기 때문에, 다른 사람들로부터도 그것을 기대하기 때문에 그들에게 너무 가혹하게 대하고 있는 것인지 스스로 생각해 보아야 합니다. 다른 사람들을 공평하게 평가하려면 세상에 대한 자신의 해석을 이해해야 한다고 생각한다.
when I’m doing an assessment I have to think to myself… am I being too hard on them because I have a tendency to be hard on myself and therefore I expect it from others too. I think you have to have an understanding of your own interpretation of the world to be a fair assessor of others

마지막으로, [평가에 약간만 참여하는 평가자의 판단 결정]은 불공정한 것으로 간주된다. 참여에는 평가에 충분한 시간을 할애하고, 평가 과정에서 학습자를 관찰하기 위해 노력하고, 학습자에 대한 평가에 대한 책임을 지는 것이 포함됩니다. 또한 평가 시스템 내의 모든 직원은 평가 책임뿐만 아니라, 성과와 관련된 문제가 있을 경우 학습자와 의사소통할 책임이 있습니다.
Finally, judgement decisions from assessors only marginally engaged in assessment are considered unfair. Engagement includes spending sufficient time on the assessment, making the effort to observe learners in the assessment process and taking responsibility for a learner's assessment, having their best interest at heart. Furthermore, all staff within the assessment system, not just those directly responsible for assessment, have a responsibility to communicate with the learner if they have any concerns with their performance.

3.3 환경 및 문화
3.3 The environment and culture

이 연구는 공정한 판단에 대한 또 다른 구성 요소인 판단 결정이 이루어지는 [환경]을 강조하였다. 학습자는 미래의 건강 전문가이며, 잘 교육된 커뮤니티의 기대가 있습니다. 따라서 판단 결정은 환자 치료와 지역사회(작업 커뮤니티 포함)에 미치는 영향을 고려하는 경우에 공정한 것으로 간주한다. 환자에게 공정하게 대하기 위해 학습자는 기대치를 충족하거나 추가 기회를 얻을 수 있어야 합니다. [환자에 대한 공정성]과 [학습자에 대한 공정성] 사이에 긴장이 있다면 환자에 대한 공정성이 더 중요하다고 판단되었다.

This study highlighted another component to fair judgement that is the environment in which the judgement decisions are made. Learners are future health professionals, and there is community expectation they are well trained. Judgement decisions are, therefore, seen as fair if they consider the impact on patient care and the community, including their working community. To be fair to patients, learners need to meet expectations or earn the right to further opportunities. If there was a tension between fairness to the patient and fairness to the learner, fairness to the patient was seen as more important.

…결국 이 문제의 중심에 있는 사람은 환자입니다… 그래서 나는 이 모든 것을 실제로 그렇게 바라볼 것이다.
…but ultimately the person at the centre of this is the patients… So that’s how I would actually view this whole thing.

 

게다가, [어려운 판단을 내리지 않는 것]은 학습자들이 조금이라도 덜 부담스러운less high stake 상황을 바탕으로 훈련과정을 통해 더 일찍 개선할 기회를 박탈할 수 있기 때문에 불공평한 것으로 보였다. 또한 정체불명의 어려움을 겪고 있는 학습자와 함께 일해야 하는 동료와 중대한 결과를 초래하는 훨씬 더 큰 이해관계가 걸린 결정을 내려야 하는 미래의 심사원들에게도 불필요한 부담으로 이어질 수 있다.
Furthermore, not making difficult judgements was seen as unfair as it may deny learners opportunities to improve earlier in training with less high-stakes consequences. It also may lead to unnecessary burdens for colleagues who are required to work with an unidentified struggling learner, and future assessors who have to make even higher stakes decisions with graver ramifications.

학습자에 대한 판단은 [학습 환경이 학습을 허용]하고 [환자 치료와 학습자 자신을 위해 학습자가 개선되기를 바라는 문화]가 있는 경우에만 공정한 것으로 간주된다. 여기에는 관련 기술과 지식을 교육하는 것, 적절한 작업 부하, 학습 요구 사항 및 피드백 문화를 표현할 수 있는 기회 등이 포함됩니다.
Judgement of learners is only considered fair if the learning environment allows for learning and has a culture of wanting the learner to improve for the sake of patient care and the learner themselves. This includes ensuring relevant skills and knowledge are taught, an appropriate workload, an opportunity to express learning needs and a culture of feedback.

…주니어 컨설턴트는 매우 유능하고 업무 능력이 뛰어나지만, 단지 환경이 그것을 달성가능하게 만들어주지 못하는 것일 수도 있습니다
.…that junior consultant might be very competent and very good at their job and just not in an environment that makes that possible for them to achieve.

공정한 판단은 특히 학습자가 기대에 미치지 못할 때 [학습자의 고유한 환경을 고려]하는 환경에서만 가능합니다.
Fair judgements can only occur in an environment which considers learners’ personal unique circumstances, particularly when learners are not meeting expectations.

나는 우리가 어려움을 겪고 있는 전공의에 대해 해야 할 일은, 그들의 진행 상황을 [아주 뛰어난 전공의와 비교하는 것이 공정한지]를 결정하는 것이라고 생각한다. 그런 다음 고객에게 더 많은 교육이 필요한지 여부와 개선할 수 있는 기회를 더 많이 제공해야 합니다.
What I think we should do with the struggling registrar is decide whether it’s fair to compare their progress… with the registrar who is flying, I think that’s probably unfair. Then what we’ve got to decide is whether they need more training, and we need to give them more opportunities to improve.

4 고찰
4 DISCUSSION

판단 결정은 항상 [평가 시스템과 교육 시스템] 내에서 내려지며, 시스템은 인프라, 시간, 자원, 규칙, 문화 및 규정과 같은 공정한 판단 결정을 가능하게 하고 제한할 수 있다. 본 연구에서 공정한 판단에 대한 [시스템 요인]의 영향을 고려함에 있어, 문헌 검토 결과와 비교하여 다양한 요소 사이의 관계도 개선되었다. 공정한 판단 결정을 위해 복수의 심사원, 복수의 기회 및 문서가 필요하고 절차적 공정성이 이러한 시스템 구성 요소가 발생할 수 있는 프레임워크를 제공한다는 것을 확인하였다. 
Judgement decisions are always made within assessment and educational systems, and systems can both enable and restrict fair judgement decisions such as through infrastructure, time, resources, rules, cultures and regulations. In considering the impact of system factors on fair judgement in this study, the relationship between the different components was also refined compared to the outcome of the literature review. We identified that multiple assessors, multiple opportunities and documentation are needed for fair judgement decisions and procedural fairness provides the framework to allow these system components to occur. 

이 연구는 또한 판단 결정에서 [환경의 역할]을 더 명확하게 강조했다. 보건 전문가 교육은 공백 상태에서 수행되지 않으며 공정한 판단 결정은 환자, 동료 및 더 넓은 지역사회에 미치는 영향을 고려해야 한다.
This study also highlighted more clearly the role of the environment in judgement decisions. Training of health professionals does not occur in a vacuum and fair judgement decisions must consider the impact on patients, colleagues and the wider community. 

우리의 연구결과는 평가에 대한 현대적 생각의 관점에서 관련성이 있다. 작업장 기반 평가는 많은 저자들에 의해 복잡한 시스템으로 인식되어 왔다.11, 26 시스템이 복잡한 경우, 해결책은 문제 자체만큼 복잡해야 할 가능성이 높고27 복잡한 시스템의 동적 및 예측 불가능한 특성으로 인해 환원주의와 가치와 방법을 효과적으로 사용하는 것은 논리적으로 불가능하다. 그러나 비선형적 현상에도 불구하고 복잡한 시스템의 역학, 여전히 경계, 내재화된 규칙 및 시스템 내 변화에 대한 지속적인 적응에 대한 요구 사항이 존재합니다.29 장기적인 관찰을 통해 패턴과 네트워크가 여전히 드러날 수 있다.24, 29 
Our findings have relevance in the perspective of modern ideas about assessment. Workplace-based assessment has been recognised by many authors as a complex system.11, 26 Where the system is complex, the solution likely needs to be as complex as the problem itself27 and the dynamic and unpredictable nature of complex systems logically precludes the effective use of reductionist values and methods.28 But despite the non-linear dynamics of complex systems, there are still boundaries, internalised rules and a requirement for constant adaption to the changes within the system.29 With prolonged observation, patterns and networks can still be revealed.24, 29 

이것은 의학 교육의 또 다른 지배적인 생각인 [프로그램 평가]와 연결되어 있다. 이것은 의학 교육의 또 다른 지배적인 생각인 프로그램 평가와 연결되어 있다. 프로그램 평가 원칙에는 복수의 데이터 사용, 종방향 평가, 비례성 및 의미 있는 데이터 삼각측정이 포함되며, 이를 통해 풍부한 정보 기반 의사 결정과 학습자에게 의미 있는 피드백을 제공할 수 있다. 이 연구의 데이터는 이러한 모든 전제를 뒷받침한다. 여러 명의 평가자와 평가자가 있으면 더 많은 데이터와 관점을 수집하고, 패턴을 식별하고, 구성원 확인과 삼각측정을 수행하고, 더 광범위한 역량을 평가할 수 있다. 
This links to another predominant idea in medical education; programmatic assessment. Programmatic assessment principles include the use of multiple pieces of data, longitudinal assessment, proportionality and meaningful triangulation of data allowing for rich information-based decision-making and meaningful feedback to the learner.30 This study's data supports all of these premises. Having multiple assessments and assessors allows for more data and perspectives to be collected, patterns to be identified, member checking and triangulation to take place, and to allow for a broader range of competencies to be assessed.31-33 

프로그래밍 방식 평가에서는 데이터가 단순히 수치적으로 수집될 수 없고, 심지어 맥락적으로 유사하지 않을 수도 있으며, 평가 구성요소를 쉽게 추가하는 것은 복잡한 역량 평가에 유효하지 않다는 것이 인정된다. 반대로 데이터가 이질적이기 때문에 판단의 맥락을 고려하여 의미 있는 삼각측정이 필요하다. 문헌에서는 데이터 조합의 맥락을 고려하기 위해 특정 전문지식이 필요하다는 것이 인정되었다. 이를 위해서는 서술, 경계, 평가자 민첩성 등의 추가 도구가 필요합니다(모델 참조).. 

In programmatic assessment, it is acknowledged that data cannot be simply numerically collated or even that it will be contextually similar, and that easy addition of assessment components is not valid for the assessment of complex competence. On the contrary, data which are heterogenous need to be meaningfully triangulated, considering the context of the judgement. Within the literature, it has been recognised that specific expertise is needed to consider context in the combination of data.24, 34-36 Additional tools such as narrative, boundaries and assessor agility are needed to do this, as noted in the model.

이 연구는 특히 공정한 판단은 일률적인 것이 아니며, [특정 상황 특성과 맥락을 포함해야만 목적에 적합한 것]으로 간주할 수 있다는 점을 강조했다. 전문가와 민첩한 평가자는 애매한 경계와 상황 맥락 내에서 증거를 수집, 심문, 상호작용 및 해석해야 한다. 이것은 이 연구에서 가장 두드러진 코드 중 하나였으며 20개 인터뷰 모두에서 목소리를 높였다. 놀랍게도, 이것은 표준화된 측정 기반 평가의 개념과 매우 근본적으로 상반된다. 인식론적으로도 마찬가지이다. Van der Vleuten은 평가자들 사이의 완벽한 신뢰성을 위해 노력하기 보다는, 더 적절한 목표는 평가 프로그램에서 [평가 데이터를 수집하고 합성하는 엄격한 방법을 개발하는 것]이라고 언급했다. 아마도 이 연구의 결과는 이해 당사자들이 이를 인식하고 workplace의 performance rating이 '측정'에 관한 것이라는 생각에서 벗어나, 역동적 시스템 환경에서 이뤄지는 전문가 '판단'에 더 근접함을 인식해야 함을 시사한다. 이것의 결론은 각 평가자judge가 공정하고 가치 있는 관점을 추가할 수 있는 충분한 전문지식을 가지고 있는 한, 평가자 간의 의견 차이가 반드시 불공평한 것은 아니라는 것이다.
This study particularly emphasised that fair judgement is not a one-size-fits-all; the specific situational characteristics and the context must be included for it to be considered fit-for-purpose. Expert and agile assessors are required to collate, interrogate, interact with and interpret the evidence within fuzzy boundaries and context of the situation. This was one of the most prominent codes present in this study and voiced in all 20 interviews. Surprisingly, this is so fundamentally—one would say epistemologically—at odds though with the idea of a standardised, measurement-based assessment. Van der Vleuten noted that rather than striving for perfect reliability among raters, a more appropriate goal would be to develop rigorous methods of collecting and synthesising assessment data in a program of assessment.30 Perhaps, this study's finding suggests stakeholders recognise this and the need to move forward from the idea that performance rating in the workplace is not as much about measurement as it is about expert ‘judgement’ in a dynamic system environment.11, 34 The corollary of this is that inter-judge disagreement is not necessarily unfair as long as each judge has sufficient expertise to add a fair and valuable perspective.15

[의미 있고 실행 가능한 피드백]과 [평가자와 학습자 사이의 합의의 필요성]은 학습 철학을 위한 평가에서 중요한 측면이다.37-40 Lee는 특정 서술과 상황별 코멘트를 사용하는 것이 판단 자체보다 연습생에게 더 많은 정보를 제공할 수 있다고 주장한다.41 우리의 연구는 이러한 아이디어를 뒷받침했다. 학습자와 평가자 모두 학습자가 개선할 수 있는 방법에 대한 피드백을 제공하여 학습이 허용되는 경우에만 판단이 공정하다고 판단했습니다. 학습 평가는 학습자가 의도적으로 연습할 수 있는 학습 및 작업 문화에서만 수행될 수 있으며, 오류는 일반적으로 학습 기회가 된다.42, 43 본 연구는 또한 그러한 환경이 판단 결정이 공정한 것으로 받아들여지기 위해 필수적이었다고 지적했다.
The need for meaningful and actionable feedback and agreement between the assessor and learner is an important aspect in an assessment for learning philosophy.37-40 Lee argues that the use of specific narratives and contextual comments may be more informative for trainees than the judgement itself.41 Our study supported these ideas. Both learners and assessors perceived judgements to be only fair if they allowed for learning, through the provision of feedback about how the learner could improve. Assessment for learning can only occur in a learning and working culture, where learners can practice purposefully, and errors typically become learning opportunities.42, 43 This study also noted such an environment was essential for judgement decisions to be accepted as fair.

우리의 데이터에 따르면 공정하고 주관적인 판단을 수용하는 것은 문제를 제기할 수 있습니다. 많은 기관의 경우, 이것은 문화적 변화 일 수 있으며, 새로운 인식론적 평가 방법에 적응하는 데 있어 교수진의 기술 격차와 어려움이 있을 수 있다.41, 44 그러나, 이 문헌 검토에 의해 확인된 공정한 인간 판단에 포함된 많은 구성요소가 반드시 새로운 것은 아니다.

• 복수의 평가자 사용, 종단적 평가 및 복수의 근거 수집은 많은 기관에서 공통적이다.46
• 투명한 기대, 방향, 절차 및 문서 또한 대부분의 교육 프로그램에서 공통적이다.
• 많은 사람들이 숫자만으로는 학습에 충분하지 않다고 인정함에 따라 피드백의 중요성이 평가에서 점점 더 부각되고 있다.47-51
• 그리고 마지막으로, 학습 환경은 의대 교육 문헌에서 점점 더 주목을 받고 있다.42

Our data suggest that embracing fair, subjective judgements can present challenges. For many institutions, this may be a cultural change44, 45 and there may be faculty skill gaps and difficulty in making adaption to new and epistemological unfamiliar methods of assessment.41, 44 This being said, however, many of the components of fair human judgement identified by this literature review are not necessarily new.

• The use of multiple assessors, longitudinal assessments and collection of multiple pieces of evidence is common in many institutions.46 
• Transparent expectations, orientations, procedures and documentation are also common in most training programmes.
• The importance of feedback is increasingly recognised in assessment and the role of narrative has become more prominent as many acknowledge that numbers alone are not sufficient for learning.47-51 
• And finally, the learning environment has been gaining increasing attention in the medical education literature.42 

실질적인 관점에서, 특히 평가 프로그램이 아래를 갖추게 한다면 심판 결정이 '공정한' 것으로 간주되도록 하는 데 도움이 될 것이다. 

• 결정의 정당화로써 맥락적 근거를 요구하고,
• 프로그램 전체에 피드백 서술에 대한 조항을 갖추고,
• 판단 결정을 위한 'within scope'로 간주되는 것이 무엇인지 식별하며,
• 전문 평가자를 참여시켜 정보를 의미 있게 수집하고 삼각측량한다.

From a practical point of view, specifically ensuring assessment programmes

• require contextual evidence as justification for decisions,
• have provision for feedback narrative throughout the programme,
• identify what is considered to be ‘within scope’ for judgement decisions and
• engage expert assessors to meaningfully collate and triangulate information will help to ensure judgement decisions are considered ‘fair’.

또한, 기관은 다음을 보장해야 한다.

• 다수의 평가자가 평가 프로그램에 사용되고, 
• 의사 결정이 잘 문서화되며, 
• 피평가자에 대한 기대가 투명하고,
• 의사 결정이 이루어지는 환경이 환자의 요구와 학습자 환경을 고려하도록

Furthermore, institutions can ensure

• multiple assessors are used in assessment programmes,
• decisions are well documented,
• expectations of candidates are transparent and
• the environment in which the decisions is made considers patient needs and learner circumstances.

5 결론
5 CONCLUSION

Woodruff는 의학교육연구원의 과제는 ['해결책'에 의해 산만해지는 것]이 아니라 [문제를 더 깊이 바라보는 것]이라고 지적했다.28 공정성의 정의에 대해 보편적으로 합의된 단순하고 일반적인 정의가 바람직해 보일 수 있지만, [공정한 판단의 기초가 무엇인지 더 잘 이해하기 위해 더 깊이 탐구하는 것]이 교육 기관이 실제로 공정한 판단이 무엇인지 협상하는 데 보다 유용한 설명을 가능하게 할 수 있다. 
Woodruff noted that the challenge for medical education researchers is to not be distracted by ‘solutions’ but to look at problems more deeply.28 Whilst a simple, universally agreed upon definition of fairness may at first glance appear to be desirable, delving deeper to better understand what the foundations of fair judgement are may allow for a more useable narrative for training institutions to negotiate what fair judgement actually is. 

Med Educ. 2021 Jun 1.

 doi: 10.1111/medu.14574. Online ahead of print.

Making it fair: Learners' and assessors' perspectives of the attributes of fair judgement

Nyoli Valentine 1, Ernst Michael Shanahan 1, Steven J Durning 2, Lambert Schuwirth 1

Affiliations collapse

Affiliations

• 1Prideaux Discipline of Clinical Education, Flinders University, SA, Australia.
• 2Center for Health Professions Education, Uniformed Services University of the Health Sciences, Bethesda, MD, USA.

• PMID: 34060124
• DOI: 10.1111/medu.14574Abstract
• Introduction: Optimising the use of subjective human judgement in assessment requires understanding what makes judgement fair. Whilst fairness cannot be simplistically defined, the underpinnings of fair judgement within the literature have been previously combined to create a theoretically-constructed conceptual model. However understanding assessors' and learners' perceptions of what is fair human judgement is also necessary. The aim of this study is to explore assessors' and learners' perceptions of fair human judgement, and to compare these to the conceptual model.Results: This study supported the literature-derived conceptual model suggesting fairness is a multi-dimensional construct with components at individual, system and environmental levels. At an individual level, contextual, longitudinally-collected evidence, which is supported by narrative, and falls within ill-defined boundaries is essential for fair judgement. Assessor agility and expertise are needed to interpret and interrogate evidence, identify boundaries and provide narrative feedback to allow for improvement. At a system level, factors such as multiple opportunities to demonstrate competence and improvement, multiple assessors to allow for different perspectives to be triangulated, and documentation are needed for fair judgement. These system features can be optimized through procedural fairness. Finally, appropriate learning and working environments which considers patient needs and learners personal circumstances are needed for fair judgments.
• Discussion: This study builds on the theory-derived conceptual model demonstrating the components of fair judgement can be explicitly articulated whilst embracing the complexity and contextual nature of health-professions assessment. Thus it provides a narrative to support dialogue between learner, assessor and institutions about ensuring fair judgements in assessment.
• Methods: A thematic analysis approach was used. A purposive sample of twelve assessors and eight post-graduate trainees undertook semi-structured interviews using vignettes. Themes were identified using the process of constant comparison. Collection, analysis and coding of the data occurred simultaneously in an iterative manner until saturation was reached.
• © 2021 John Wiley & Sons Ltd and

위험과 이득 관리하기: 위임 결정의 핵심 이슈(Med Educ, 2017)

Managing risks and benefits: key issues in entrustment decisions
Olle ten Cate

다모다란 등이 인정하듯이, [신뢰]라는 개념은 [신뢰를 하는 사람이 스스로 취약해지거나 위험을 감수할 의지]로 정의되었다.14
As Damodaran et al. acknowledge, the very concept of trust has been defined as the willingness of the trustor to be vulnerable13 or take a risk.14

경영 문헌은 중요한 통찰력을 제공하지만, 경영 연구의 대부분은 종종 정의와 공정성에 대한 개념과 결합되어 [감독자에 대한 직원들의 신뢰]와 관련이 있습니다. 직장 교육workplace education에서, 위임 결정은 다른 역학을 가진다. (감독자가 아니라) 학습자가 대개 신뢰의 대상이며, 신뢰받을만 하도록 훈련되기 때문이다. 학습자가 한 번 전문적 과제에 대해 신뢰를 받아야 하기 때문이다. – (EPA)
The management literature provides important insights but most of these studies pertain to employees’ trust in supervisors, often combined with notions of justice and fairness. In workplace education, entrustment decisions have a different dynamic, as the learner is usually the object of trust (not the supervisor) and is trained to become trustworthy, as learners must once be trusted with professional tasks – (EPAs)

4가지 변수 집합이 위탁 결정이 내려지는 시점을 결정하는 것으로 보입니다.
it seems that a set of four variables determine when entrustment decisions are made,

이는 인식된 신뢰도, 인식된 위해성과 유익성 및 신뢰 성향이다.
These are 

• perceived trustworthiness, 
• perceived risks and 
• perceived benefits and 
• trust propensity.

인지된 신뢰도.
Perceived trustworthiness.

이것은 trustee와 관련이 있다. Mayer 등이 널리 사용하는 신뢰도trustworthiness 구성 요소에는 다음이 있다

• (i) 능력('조직에서 성공하기 위해 필요한 대인 관계 기술 및 일반적인 지혜와 함께 특정 업무를 수행하는 데 필요한 지식과 기술') 
• (ii) 자비('trustee가 trustor에게 선을 베풀고 싶어한다고 여겨지는 정도'), 동의어에는 충성, 개방, 배려 또는 지원이 포함된다. 
• (iii) 성실성(수탁자가 건전한 도덕적 윤리적 원칙을 준수하는 것으로 생각되는 정도), 동의어에는 공정성, 정의, 일관성 및 약속 이행이 포함된다. 
  
  

This pertains to the trustee. Mayer et al.’s widely used components of trustworthiness include15 

• (i) ability (‘knowledge and skills needed to do a specific job along with interpersonal skills and general wisdom needed to succeed in an organization’, which should include the capacity to cope with unfamiliar situations), 
• (ii) benevolence (‘the extent to which a trustee is believed to want to do good for the trustor’; synonyms include loyalty, openness, caring or supportiveness) and 
• (iii) integrity (‘the extent to which a trustee is believed to adhere to sound moral and ethical principles’; synonyms include fairness, justice, consistency and promise fulfillment). 

추가적으로, 의료 훈련에서 자주 언급되는 구성 요소는 [성실성] 및 [신뢰할 수 있는 행동]이며, [필요할 때 도움을 요청하려는 의지]와 [자신의 한계에 대한 관찰]이다.1 자비심이 성싱설 아래에 포함되는 것으로 간주되는 경우, 의료 훈련생의 신뢰성의 네 가지 지배적인 요소는 ability, integrity, reliability, humility의 네 가지이다.

Additional, frequently mentioned components of medical training are conscientiousness and reliable behaviour, and observing one’s own limitations and willingness to ask for help when needed.1 If benevolence is viewed as subsumed under integrity, the four dominant components of trustworthiness of a medical trainee can be signified as ability, integrity, reliability and humility.16


인지된 위험.
Perceived risks.

의료감독관(advisor)은 환자를 수습자의 손에 맡겨 위험을 감수합니다. 위험이 작으면 수습생에게 업무를 맡기는 것이 쉽다. 오류가 심각한 결과를 초래할 경우, 위임 결정을 하려면 깊은 신뢰의 토대가 필요합니다. 위험은 환자와 관련이 있을 뿐만 아니라, 본질적으로 신뢰를 주는 감독관과 수습생에게도 영향을 미칩니다. 환자, 감독관, 교육생, 병원까지도 피해를 입을 수 있다.
A clinical supervisor as trustor takes a risk by putting his or her patients in the hands of a trainee. When the risk is small it is easy to entrust a trainee with a task; when errors have severe consequences, an entrustment decision should require deep grounding of trust. Risks do not only pertain to patients, but inherently to a supervisor who grants trust and also to the trainee. Patients, supervisors, trainees and even a hospital can experience damage.

인지된 이점.
Perceived benefits.

위험을 완전히 배제함으로써 안전하게 행동하는 것은 교육 프로그램의 옵션이 아니며, 모든 연습생은 EPA를 수행하기 위해서 [정기적인 첫 번째 실제 시도real-life attempts]를 해야 한다. 따라서 위임 결정은 교육생에게 교육적 이익이 있습니다. 매우 다른 혜택은 [상황적인 필요성]이다. [야간 근무 중]이거나 [매우 바쁜 낮]이거나, [환자가 긴급한 도움을 필요]로 하는데, 단 한 명의 trainee만 있다면, 위임 결정의 문턱을 낮춰야 할 상황이 발생할 수 있다. 교육병원의 의료서비스 제공은 교육생들에게 매우 의존하고 있으며, trainee를 믿는 것은 거의 실존적 필요조건이다. 
Playing safe through excluding risks is not an option for an educational programme and all trainees must have regular first real-life attempts at carrying out EPAs. Entrustment decisions thus have educational benefits for trainees. A very different benefit is contextual necessity. If a trainee is the only one available, for instance on a night shift or during an extremely busy day, and a patient requires urgent help, there can be contextual necessity to lower the threshold for an entrustment decision. Health care service provision in teaching hospitals depends very much on trainees and trusting them is almost an existential necessity. 

신뢰 성향.
Trust propensity.

감독관은, 교육생에 대한 신뢰도, 위탁 결정의 위험 및 편익에 대한 인식과 무관하게, 교육생에게 자율성을 주거나 신뢰하는 성향이 다르다. [신뢰 성향]은 [신뢰할 수 있는 가능성에 영향을 미치는 안정적인 개인 특성]으로 정의되어 왔다.15 신뢰 성향은 [위험에 대한 개인의 인식과 관용]에 따라 달라진다. Sterkenburg 등은 6가지 중요한 작업에 대해 감독 마취 훈련생이 몇 년도에 훈련을 받아야 하는지에 대한 추정에서 주치의들 사이의 큰 차이를 발견했으며, 이는 신뢰 성향에 명백한 차이를 반영한다. 이러한 안정적인 개인의 특성은 선천적이지 않을 수 있으며, 과거에 발생한 심각한 부작용('다시는 PGY2를 신뢰하지 않을 것이다')으로 인해 발생할 수 있으며, 유익성과 위해성이 개인이 일반적으로 무게를 재는 방식에 영향을 미친다.
Supervisors differ in their inclination to trust trainees with autonomy, independent of their perceptions of trustworthiness of the trainee, and the risks and benefits of entrustment decisions. Trust propensity has been defined as a stable individual characteristic that affects the likelihood that a person will trust.15 Trust propensity depends on an individual’s perception and tolerance of risk. Sterkenburg et al.2 found vast differences among attending physicians in their estimation of how much supervision anesthesiology trainees require at which year of training for six different critical tasks, reflecting apparent differences in trust propensity. This stable individual characteristic may not be innate, and could be caused by severe adverse events in the past (‘I will never trust a PGY2 again’), and it affects the way benefits and risks are generally weighed by the individual. 

[신뢰 성향]이 [위임 결정이 내려질 가능성]을 반영할 수 있다. 이 때, T는 수습생의 신뢰도이고 P는 감독관의 신뢰 성향이다. 이러한 각 요인에는 여러 하위 요인이 포함되어 있습니다. 한 측면은 방정식에 포함되지 않는다. 그것은 감독관과 연수생의 친분이다. 친분관계는 약하거나(새 전공의) 강할 수 있다(재직 기간이 긴 전공의). 이는 방정식을 근본적으로 바꾸지는 않지만, 신뢰하거나 신뢰하지 않는 결정을 더 또는 덜 정당화할 수 있다 (즉, 정보에 기반하여 판단하였는가의 문제)

in which the Tendency to trust reflects the chances that an entrustment decision is made, the T is the perceived trustworthiness of trainee t and P is the trust propensity of the supervisor. Each of these factors contains multiple sub-factors. One aspect is not included in the equation. That is the acquaintance a supervisor or team has with the trainee. This may be weak (a new resident) or strong (a resident long in office). It does not fundamentally alter the equation, but makes a decision to trust or not trust less or more justified, i.e. grounded in information. 

지금까지, 위임은 개인적이고 감독에 의존하는 결정으로 여겨져 왔다. EPA 용어로는 임시 위임ad hoc 결정이라고 하며 상황에 따라 다르다.7 
So far, entrustment has been considered as an individual, supervisor-dependent decision. In the EPA terminology this would be called an ad hoc entrustment decision, and is situation-specific.7 

그러나 때로는 총괄적인 위임 결정이 내려져야 한다(즉, 면허 및 등록). EPA 및 역량 기반 커리큘럼은 총괄적 위임에 대해 EPA를 별도로 검토하는 것이 좋다. 그러한 결정에는 보다 체계적인 위험 분석이 필요하며, 가급적 임상 역량 위원회가 이를 수행해야 한다.

However, at some moments in time, summative entrustment decisions must be made, eventually at the end of training (i.e. for licensing and registration). An EPA- and competency-based curriculum would preferably view EPAs separately for summative entrustment. Those decisions require a more systematic risk analysis, preferably by a clinical competency committee. 




6 Hauer KE, Ten Cate O, Boscardin C, Irby DM, Iobst W, O’Sullivan PS. Understanding trust as an essential element of trainee supervision and learning in the workplace. Adv Health Sci Educ 2014;19 (3):435–56. 

11 Damodaran A, Shulruf B, Jones P. Trust and risk: a model for medical education. Med Educ 2017;51 (9):892–902.

7 ten Cate O, Hart D, Ankel F, Busari J, Englander R, Glasgow N et al. Entrustment decision making in clinical training. Acad Med 2016;91 (2):191–8.

Med Educ. 2017 Sep;51(9):879-881.

 doi: 10.1111/medu.13362.

Managing risks and benefits: key issues in entrustment decisions

Olle Ten Cate 1

Affiliations collapse

Affiliation

• 1Utrecht, The Netherlands.

• PMID: 28833427
• DOI: 10.1111/medu.13362

ISBAR를 활용한 환자인계 가르치기(BMC Med Educ, 2020)

Teaching clinical handover with ISBAR
Annette Burgess1,2*, Christie van Diggele2,3, Chris Roberts1,2 and Craig Mellis4

배경 Background

[진료 권한 인계Clinical handover]는 "환자에 대한 통제권 이전 또는 그에 대한 책임 이전에 수반되는 환자에 대한 정보에 대한 보건 전문가 간의 교환"으로 정의된다[1]. 이는 환자의 여정[2]에서 가장 중요한 단계 중 하나이며, 보건 전문가와 하위 임상의에게 가르쳐야 하는 핵심 기술입니다. 잘 수행된다면, 진료 권한 인계는 병원이나 지역사회 환경에서 환자 치료, 오류 및 위해의 연속성의 결여가 감소하도록 보장해야 한다[2]. 진료 권한 인계의 핵심 기능은 수령자가 취하는 조치의 효과를 개선하는 것이다[1]. 

Clinical handover is defined as “The exchange between health professionals of information about a patient accompanying either a transfer of control over, or of responsibility for, the patient” [1]. It is one of the most critical steps in a patient’s journey [2] and is a core skill that needs to be taught to health professional students and junior clinicians. Performed well, clinical handover should ensure that lapses in continuity of patient care, errors and harm are reduced in the hospital or community setting [2]. The key function of clinical handover is to improve the effectiveness of the actions taken by the recipient/s [1].

중요성에도 불구하고 진료 권한 인계는 종종 제대로 수행되지 않으며, 환자에게 잠재적으로 심각한 결과를 초래할 수 있다[1]. 호주의 연구에 따르면 인도 중에는 중요한 세부 사항이 생략되는 경우가 많으며 포함된 정보가 때로는 관련이 없는 경우가 있습니다 [3, 4]. 환자 진료의 안전한 실천요강과 우수성 제공에 필수적이지만[2, 5, 6] 임상 권한 인계 교육은 종종 부적절하며 대학 의료 커리큘럼에 항상 포함되는 것은 아니다[3]. ISBAR을 프레임워크로 사용하여, 본 문서의 목적은 효과적인 진료 권한 인계의 핵심 요소를 강조하고, 프레임워크가 실무에 효과적으로 포함되도록 하는 것을 목표로 하는 교육 기법을 탐구하는 것이다.

Despite its importance, clinical handover is often poorly performed – with potentially serious consequences for the patient [1]. Australian research suggests that critical detail is often omitted during handover, and included information is sometimes irrelevant [3, 4]. Although essential to safe medical practice and provision of excellence in patient care [2, 5, 6], training in clinical handover is often inadequate and not always included in university healthcare curricula [3]. Using ISBAR as a framework, the purpose of this paper is to highlight key elements of effective clinical handover, and to explore teaching techniques that aim to ensure the framework is embedded in practice effectively.

ISBAR

근거에 따르면 핸드오버를 위해 구조화되고 표준화된 프레임워크를 사용하면 정보 전달과 환자 결과를 개선한다[7]. 인도를 개선하기 위해, 많은 구조화된 형식이 개발되었습니다. 한 가지 예는 소아과(질병 중증도, 환자 요약, 조치 목록, 상황 인식 및 우발 상황 계획, 수신자에 의한 합성)에 사용하기 위해 개발된 I-PASS 핸드오버 시스템이다[8]. 그러나, 가장 광범위하고 잘 연구된 프레임워크 중 하나는 'ISBAR'(그림 1)이다. [9,10,11,12] ISBAR은 미 해군이 핵잠수함 사이의 명확하고 정확한 통신을 보장하기 위해 개발한 시스템인 'SBAR'을 기반으로 한다. 세계보건기구가 승인한 ISBAR 프레임워크는 근무 교대, 테스트 또는 예약을 위한 환자 이송, 병원 간 이전 및 악화 환자의 에스컬레이션과 같은 광범위한 임상적 맥락에서 사용할 수 있는 표준화된 커뮤니케이션 방식을 제공한다[9, 10]. 병원 환경에서, ISBAR은 전문가 간 인계를 연습할 때 투명성과 정확성을 증가시키는 것으로 나타났습니다 [10, 12]. ISBAR은 또한 호주 시골 및 외딴 지역에서 성공적인 인계 수단임이 입증되었다[11].

Evidence suggests the use of structured, standardised frameworks for handover improves information transfer and patient outcomes [7]. In order to improve handover, a number of structured formats have been developed. One example is the I-PASS handover system, developed for use in paediatrics (Illness severity, Patient summary, Action list, Situation awareness and contingency planning, Synthesis by the receiver) [8]. However, one of the most widespread and well-studied frameworks is ‘ISBAR’ (Fig. 1) [9,10,11,12]. ISBAR is based on ‘SBAR’ – a system developed by the US Navy to ensure clear, precise communications between nuclear submarines. The ISBAR framework, endorsed by the World Health Organisation provides a standardised approach to communication which can be used in a wide range of clinical contexts, such as shift changeover, patient transfer for a test or an appointment, inter-hospital transfers and escalation of a deteriorating patient [9, 10]. In the hospital setting, ISBAR has been shown to increase transparency and accuracy when practicing interprofessional handovers [10, 12]. ISBAR has also proven to be a successful tool for handover in rural and remote Australian settings [11].

진료 권한 인계는 모든 당사자가 동일한 프레임워크[13]를 사용하고 ISBAR이 의료진 간에 관련되고 간결한 정보 전달을 위한 공유 모델을 제공할 때 가장 효과적이다[13]. 명확하고 표준화된 프레임워크를 제공함으로써, 정보 전달을 방해할 수 있는 전력 차이를 줄이는 데 도움을 줄 수 있습니다 [13]. 정보 전송에는 의사 대 의사, 간호사 대 간호사, 의사 대 간호사, AHP 대 의사, AHP 대 간호사 등이 포함될 수 있습니다. ISBAR은 교대, 병원 간 이전, 보고 및 브리핑, 의료 응급 상황, 지역사회 서비스로의 환자 퇴원 등과 같은 다양한 상호작용에 사용될 수 있다. 이러한 접근 방식은 구두 커뮤니케이션에만 적용되는 것이 아니라 보고서, 메모, 방사선 요청 양식 및 의뢰 문서와 같은 서면 양식으로도 사용할 수 있습니다. 

Clinical handover works best when all parties are using the same framework [13] and ISBAR provides a shared model for the transfer of relevant, succinct information between clinicians [13]. By providing a clear and standardised framework, it can assist in reducing the power differences that may hinder the transfer of information [13]. Information transfer may include: doctor to doctor; nurse to nurse; doctor to nurse; allied health to doctor; nurse to allied health. ISBAR can be used in a number of interactions, such as shift change, inter-hospital transfers, reports and briefings, medical emergencies, and patient discharge to community services. This approach doesn’t only apply to verbal communication, but can also be used in written forms, including reports, memos, radiology request forms, and referral documents. 

ISBAR를 준비하는 팁
Tips for preparing for ISBAR

진료 권한 인계 절차에서 고려해야 할 중요한 요소가 있습니다. 인계에는 [환자 관리에 대한 책임 전달transfer]이 포함되어야 하며 [환자 정보의 기밀성]을 유지해야 합니다. ISBAR를 준비하기 위한 핵심 팁은 그림 2 [12, 13]에 나와 있습니다.
There are important elements to consider in the clinical handover process. Handover must include transfer of accountability for patient care, and the confidentiality of patient information must be maintained. 

ISBAR 사용의 이점과 challenge는 그림 3 [13]에 제시되어 있다. 과제에는 [환자 사례의 복잡성]과 [인계를 받는 사람이 올바르게 이해했는지 확인하는 것]이 포함될 수 있습니다. 과제를 극복하도록 돕기 위해, 가능한 경우 언제든지 대면 인계를 권고하며, 이렇게 하면 정보의 상호작용과 명확한 설명이 가능합니다 [13].

The benefits and challenges of using ISBAR are listed in Fig. 3 [13]. 

환자 정보의 흐름은 환자 안전에 필수적이며, 효율성과 포괄성 사이의 균형이 필요하다[6]. 진료 권한 인계를 계획하고 조직할 때 다음을 고려해야 한다.
Flow of patient information is vital to patient safety, and a balance between efficiency and comprehensiveness is required [6]. In planning and organising clinical handovers, it is essential to consider:

1. 누가 참여해야 합니까?
2. 언제 진행해야 합니까?
3. 어디에서 진행해야 합니까?
4. 어떻게 해야 합니까?
5. 어떤 정보를 전달해야 합니까?

1. 1.Who should be involved?
2. 2.When should it take place?
3. 3.Where should it take place?
4. 4.How should it occur?
5. 5.What information should be handed over?

진료 권한 인계 중 및 이후 환자 정보 및 관리의 연속성을 보장하는 데 도움이 되는 핵심 요소는 그림 4에 요약되어 있다.

• 로지스틱: Shift의 중첩, 인계를 위한 확보된 시간, 명확한 리더십, 테크놀로지 서포트
• 정보: 시니어 의료진은 불안정한 환자를 명확히 식별, 주니어 의료진은 우려사항이 무엇인지 강조하여 명확히 브리핑, 미완수된 업무를 식별하고, 다음 팀에게 설명
• 인계 후: 업무의 우선순위 결정, Care 계획 수립, 불안정한 환자의 적시 리뷰

Key elements in helping to ensure continuity of patient information and care during and following clinical handover are summarised in Fig. 4.

전자 시스템을 사용하면 인도를 효율적으로 수행할 수 있습니다. 병원 환경 내에서 전자 핸드오버 도구의 일부 기능에는 각 컨설턴트에 대한 담당 의사의 이름 및 연락처 세부 정보 제공, 검토가 필요한 환자의 식별 및 미해결 과제[6]가 포함된다. 전자 시스템 사용의 이점에는 여러 명의 사용자를 보유할 수 있는 능력, 정보 연결, 즉각적인 정보 업데이트, 추가 계획 및 우선순위 지정 지원이 포함된다.

The use of electronic systems may assist with the efficiency of handover. Within the hospital setting, some functions of the electronic handover tools include provision of the name and contact details of covering doctors for each consultant; and identification of patients in need of review, and outstanding tasks [6]. Benefits of using electronic systems include the ability to have multiple users, linkage of information; immediate update of information; and assistance with further planning and prioritisation.

진료 권한 인계에 대한 교육, 교육 및 실습
Education, training and practice in clinical handover

비록 ISBAR가 귀중한 인도 도구라는 것이 입증되고 있지만, ISBAR이 성공적이기 위해서는, 효과적으로 교육을 받아야 하며, 의료전문가들은 ISBAR의 사용에 대해 적절한 교육을 받아야 합니다. 교육 개입의 최근 체계적 검토[16]에 따르면, 많은 핸드오버 연구가 전문직 간interprofessional 관행을 언급하지만, 교육적 개입은 전문직uni-profession 종사자의 맥락 내에서 주로 발생한다고 한다. 또한 이 체계적 검토는 교육적 개입과 결과의 부적절한 보고를 강조하여 복제 연구를 방해했다[16]. 교육 접근방식은 대부분 시뮬레이션과 역할극에 기초했으며, 종종 교훈적 교육, 인계 비디오 예, 토론 및 성찰로 순서를 정했다. 체계적 검토 결과, 핸드오버의 다원적 훈련multidisciplinary에 더욱 중점을 두면 교육적 개입에 가치를 더할 수 있을 것이다고 결론 내렸다[16].
Although ISBAR is proving to be a valuable handover tool, for it to be successful, it must be effectively taught, and health professionals must be adequately trained in its use [10]. A recent systematic review of education interventions [16] revealed that although many handover studies mention interprofessional practice, educational interventions occur predominantly within the uni-professional context. This systematic review also highlighted inadequate reporting of educational interventions and outcomes, thus impeding replication studies [16]. Teaching approaches were mostly based on simulation and role-play, often sequenced with didactic teaching, video examples of handover, discussion and reflection. The systematic review concluded that a greater emphasis on multidisciplinary training of handover would add value to educational interventions [16].

대학과 병원을 포함한 조직은 양질의 인계 관행을 보장하기 위해 [보건의료계 학생과 보건 전문가의 교육과 훈련에 투자]해야 한다. 그러나 대학 커리큘럼과 병원 교육에서 시간 제약으로 인해 진료 권한 인계에 있어 교수와 실습을 우선시하지 않을 수 있다. 대학 의료 커리큘럼 내에 핸드오버의 교육을 포함시킴으로써, 학생들은 미래의 역할을 더 잘 준비하기 위해 필요한 의사소통 기술을 개발하고 연습할 수 있다[17, 18]. 인력진에 대한 추가 교육과 함께, 전담 교육 시간, 잘 이끌어지는 인계 세션 자체는 임상 교육에 유용한 설정을 제공한다[6]. ISBAR의 교육을 지원하기 위해 사용할 수 있는 여러 온라인 도구와 비디오가 있습니다. 예:
Organisations, including universities and hospitals, need to invest in the education and training of health professional students and health professionals to ensure good quality handover practice. However, due to time constraints in university curricula, and in hospital training, teaching and practice in clinical handover may not be prioritised. By embedding the teaching of handover within the university healthcare curricula, students are able to develop and practice required communication skills to better prepare for their future roles [17, 18]. Along with further training in the workforce, with dedicated teaching time, a well-led handover session itself, provides a useful setting for clinical education [6]. There are a number of online tools and videos available to assist with the teaching of ISBAR. For example:

• The New South Wales Excellence Commission, Clinical Handover [19] http://www.cec.health.nsw.gov.au/improve-quality/clinical-handover
• ISBAR patient safety [20]: https://www.youtube.com/watch?v=h0Ol6CiJAZw
• ISBAR: identifying and solving barriers to effective handover in inter-hospital transfer [21] https://www.youtube.com/watch?v=1Wl9qogPw1E

교육, 교육, 실습, 평가 및 피드백에 대한 지원은 필수적이다. 대규모 전문가 간 수업(건강, 간호, 의학, 약학, 치의학과)을 통해 진료 권한 인계 튜토리얼을 용이하게 하는 우리의 광범위한 경험을 바탕으로, 우리는 대규모 학급 활동과 소규모 그룹 활동을 결합한 다음의 교육 방법을 권고한다[17, 18]. 

• 학생들은 수업 전에 온라인으로 적합한 ISBAR 비디오를 시청한 다음, 임상 교사가 진행하는 대면 수업에 참석하여 대화형 토론을 진행합니다. 
• 그런 다음, 소규모의 전문가 간 그룹에서 학생들은 시뮬레이션/역할극 활동에 참여하기 위해 관련 시나리오를 사용한다(그룹당 학생 약 4명). 이는 진료 권한 인계를 실천하는 능동적인 방법을 제공한다. 

Support in education, training, practice, assessment and feedback are essential. Based on our own extensive experience of facilitating clinical handover tutorials, with large interprofessional classes (allied health, nursing, medicine, pharmacy, dentistry), we recommend the following teaching method, which combines large class and small group activities [17, 18].

• Students watch suitable ISBAR videos online prior to class, and then attend a face-to-face class, facilitated by a clinical teacher, with interactive discussion.
• Then in small, interprofessional groups, students use relevant scenarios to participate in simulation/roleplay activities (approximately four students per group), providing an active method of practicing clinical handover.

그림 5에 두 가지 시나리오의 예가 나와 있습니다. 학습자가 2인 1조로 진료 권한 인계를 실습할 수 있습니다. 동료와 숙련된 임상의가 기술 개발에 도움을 준 직접 관찰, 평가 및 피드백 [22, 23] ISBAR을 더 큰 그룹으로 연습할 경우, 강의실에서  참가자들이 인계를 '완벽'하게 수행할 때까지 반복할 수 있습니다.

Two examples of scenarios are provided in Fig. 5. Learners can work in pairs to practice giving and receiving a clinical handover. Direct observation, assessment, and feedback, from both peers and an experienced clinician assist in the development of skills [22, 23]. When ISBAR is practiced in larger groups, it is possible for class participants to duplicate the handover, until it is eventually performed to ‘perfection’.

피드백 및 평가
Feedback and assessment

역할극 상황에서 ISBAR을 사용하는 예는 그림 6에 나와 있다. [숙련된 임상의사의 피드백]을 통해 임상 관행을 직접 관찰하면 학습자가 현재와 원하는 성과 사이의 격차를 줄이는 데 도움이 된다는 점을 기억해야 한다[21, 22]. 또한, 그룹이 참여한 상태에서의 [정성적 구두 피드백]은 진료 권한 인계를 가르치는 데 유용한 방법을 제공한다[17, 18]. 예를 들어 "정보를 과도하게 제공했습니다.", "정보의 초점이 맞지 않았습니다." 등이 있습니다. 
Examples of using ISBAR in a roleplay situation are found in Fig. 6. It is important to remember that direct observation of clinical practice, with feedback by an experienced clinician helps to close the gap between current and desired performance by the learner [21, 22]. Additionally, verbal qualitative feedback, with group participation, provides a useful method in teaching clinical handover [17, 18]. For example; “You gave excess information”; “The information was unfocussed”. 

인계를 넘기는 사람은 '수신자'가 질문을 할 가능성이 높음을 깨닫는 것이 중요하며, ISBAR 중에 입수 가능한 모든 정보를 확보해야 합니다. 특정 평가 도구를 사용할 수도 있습니다. "임상 핸드오버 평가 도구" (CHAT)는 무어 외 연구진 (2017)에 의해 개발되었으며, ISBAR 핸드오버 프레임워크에 기초하고 있습니다 [11].

It is important that the person giving the handover realises that the ‘receiver’ is likely to ask questions, and it is essential to have all available information at hand during ISBAR. Specific assessment tools can also be used. The “Clinical Handover Assessment Tool” (CHAT) was developed by Moore et al. (2017), and is based on the ISBAR handover framework [11].

소규모 그룹 세션에서 ISBAR 성과를 평가하는 데 이 모델을 사용했습니다. 이 평가 도구의 항목은 ISBAR과 연계되어 있습니다. 여기에는 

• "자신과 위치를 식별", 
• "주요 문제를 식별", 
• "적절한 이력 제공", 
• "적절한 검사/관찰 제공", 
• "논리적인 평가 수행", 
• "명확한 권고 사항 제시" 

...등이 포함됩니다[11]. 

 We have used this model in the assessment of ISBAR performance during small group sessions. The items in this assessment tool are aligned with ISBAR, including, 

• “Identifies self and position”,
• “Identifies main problem”,
• “Gives appropriate history”,
• “Give appropriate examination/observation”,
• “Makes logical assessment”,
• “Makes a clear recommendation” [11].

"능률적으로 수행되지 않음"부터 "최소한의 지시로 수행 가능"까지 4점 척도를 사용하여 학습자의 성과를 평가합니다. 또한 "환자의 정확한 그림picture을 받았다고 얼마나 확신합니까?"라는 글로벌 등급이 제공됩니다. 중요한 것은, 서면 질적 피드백도 학습자에게 제공된다는 것이다[11].

A four point scale, ranging from “Not performed competently” to “Able to perform under minimal direction” is used to rate the learners’ performance. A global rating is also provided, “How confident am I that I received an accurate picture of the patient?”. Importantly, written qualitative feedback is also provided to the learner [11].

전문가 간 실습 및 핸드오버에 대한 피드백
Interprofessional practice and feedback with handover

전문가 간 맥락interprofessional context  내의 동료 피드백은 전문가 간 진료 권한 인계 활동 동안 특히 가치가 있다[17, 18]. 소규모 그룹 내에서 참가자들이 자신의 의료 분야 내에서 경험을 공유하는 전문가 간 활동은 귀중한 학습 및 교육 기회를 제공하여 지식과 기술을 사회적으로 구축하도록 한다[17, 18]. 다른 전문직군으로부터의 피드백은 같은 분야 내의 피드백보다 훨씬 더 유익하고 의미 있을 수 있습니다. 인계에 대한 다원적 피드백을 통해 다른 보건 전문가의 지식, 역할 및 기술을 보다 잘 이해할 수 있으며, 이것이 자신의 보건 분야와 어떤 관련이 있는지에 대한 이해를 높일 수 있다[17, 18]. 또한 참가자들이 자신의 기술, 용어 및 커뮤니케이션 방법을 성찰할 수 있도록 도와줍니다.

Peer feedback within the interprofessional context is particularly valuable during interprofessional clinical handover practice activities [17, 18]. Interprofessional activities, within small groups, where participants share experiences within their own field of healthcare offers valuable learning and teaching opportunities, leading to knowledge and skills being socially constructed [17, 18]. Feedback from outside of one’s own health profession can be even more beneficial and meaningful than feedback from within the same discipline. Multidisciplinary feedback on the handover can help to provide an increased understanding of the knowledge, roles and skills of other health professionals; and provide an increased understanding of how this relates to their own health discipline [17, 18]. It also helps participants to reflect on their own technique, terminology and communication methods.

진료 권한 인계에 있어 지속적인 교육의 중요성
Importance of ongoing training in clinical handover

의료 인력은 최근 몇 년 동안 [근무 시간 단축]과 [유연성에 대한 요구 증가] 등 많은 변화를 겪어 왔다[24,25,26]. 이는 의사 피로가 환자 안전에 미치는 영향, 업무/생활 균형, 노령화된 의료 인력 및 환자 관리의 복잡성 증가에 대한 인식 개선의 결과이다. 결과적으로, 이것은 [각 환자의 치료에 참여하는 사람들의 수를 증가]시킨다. 따라서 간결하고 정확한 진료 권한 인계에 대한 필요성이 필수적입니다 [6]. 환자 정보를 팀 간에 높은 품질의 이전은 임상의, 팀워크 및 효과적인 관리와 더불어 우수한 환자 관리의 필수 구성요소이다[27]. 그러나 진료 권한 인계 시 모범 사례는 우연히 발생하지 않는다. 기관 및 조직(예: 병원, 대학, 교육 및 인증 기관)과 그 리더는 양호한 진료 권한 인계에 대한 실천요강이 달성될 수 있도록 보장할 책임이 있다[6, 27].
The healthcare workforce has seen many changes in recent years, including reduced working hours, and increasing demands for flexibility [24,25,26]. This is a consequence of better recognition of the impact of doctor fatigue on patient safety, the importance of work/life balance, an ageing healthcare workforce, and the increasing complexity of patient care. In turn, this increases the number of individuals involved in the care of each patient. Therefore the need for concise, accurate clinical handover is imperative [6]. High quality transfer of patient information from team to team is an essential component of good patient care, alongside the expertise of clinicians, teamwork and effective management [27]. However, good practices in clinical handover do not happen by chance. Institutions and organisations (for example, hospitals, universities, training and accreditation bodies) and their leaders, have responsibilities to ensure practice in good clinical handover is achievable [6, 27].

결과 Conclusion

효과적인 진료 권한 인계는 오류, 환자 위해의 감소 및 관리 연속성을 보장하기 위해 안전한 환자 관리의 필수 구성 요소입니다. 의료 인력 내에서 작업 패턴이 빠르게 변화함에 따라 진료 권한 인계의 우수성이 점점 더 중요해지고 있습니다. 의료 분야 전반의 의료 리더와 전문가가 협력하여 우수한 진료 권한 인계 관행을 개발하고 유지해야 한다. 보호되는 교육 시간과 자원은 이러한 노력에서 직원과 학생을 지원하는 데 필수적이다. 핸드오버를 개선하기 위해 많은 도구가 개발되었지만, 우리는 잘 연구된 ISBAR가 효과적인 임상 핸드오버를 위해 사용하기에 이상적인 도구임을 알게 되었습니다. 그러나 ISBAR 사용에 대한 효과적인 훈련과 연습은 필수적입니다. 이 교육은 대학 의료 커리큘럼 내에서 시작하는 것이 이상적이다.
Effective clinical handover is an essential component of safe patient care to ensure reduction in errors, patient harm, and improve continuity of care. With rapidly changing work patterns within the healthcare workforce, excellence in clinical handover is increasingly important. It is essential that healthcare leaders and professionals from across the health disciplines work together to ensure good clinical handover practices are developed and maintained. Protected teaching time and resources are essential to support staff and students in these endeavours. While a number of tools have been developed to improve handover, we have found the well-researched ISBAR to be an ideal tool to employ for effective clinical handover. However, effective training and practice in the use of ISBAR is essential. Ideally, this training will commence within university healthcare curricula.

BMC Med Educ. 2020 Dec 3;20(Suppl 2):459.

 doi: 10.1186/s12909-020-02285-0.

Teaching clinical handover with ISBAR

Annette Burgess 1 2, Christie van Diggele 3 4, Chris Roberts 5 3, Craig Mellis 6

Affiliations expand

• PMID: 33272274
• PMCID: PMC7712559
• DOI: 10.1186/s12909-020-02285-0

Free PMC article

Abstract

Clinical handover is one of the most critical steps in a patient's journey and is a core skill that needs to be taught to health professional students and junior clinicians. Performed well, clinical handover should ensure that lapses in continuity of patient care, errors and harm are reduced in the hospital or community setting. Handover, however, is often poorly performed, with critical detail being omitted and irrelevant detail included. Evidence suggests that the use of a structured, standardised framework for handover, such as ISBAR, improves patient outcomes. The ISBAR (Introduction, Situation, Background, Assessment, Recommendation) framework, endorsed by the World Health Organisation, provides a standardised approach to communication which can be used in any situation. In the complex clinical environment of healthcare today, ISBAR is suited to a wide range of clinical contexts, and works best when all parties are trained in using the same framework. It is essential that healthcare leaders and professionals from across the health disciplines work together to ensure good clinical handover practices are developed and maintained. Organisations, including universities and hospitals, need to invest in the education and training of health professional students and health professionals to ensure good quality handover practice. Using ISBAR as a framework, the purpose of this paper is to highlight key elements of effective clinical handover, and to explore teaching techniques that aim to ensure the framework is embedded in practice effectively.

Keywords: Assessment; Background; Clinical handover; ISBAR (Introduction; Interprofessional; Patient safety; Recommendation); Situation.

양질의 의료 유도하기: EPA, 역량, 마일스톤의 적용을 통한 수련생 평가와 지도감독의 정렬(Acad Med, 2016)

Driving Care Quality: Aligning Trainee Assessment and Supervision Through Practical Application of Entrustable Professional Activities, Competencies, and Milestones
Carol Carraccio, MD, MA, Robert Englander, MD, MPH, Eric S. Holmboe, MD, and Jennifer R. Kogan, MD

의료 교육의 목적은 [지속적인 감독 없이 양질의 치료를 제공할 수 있는 의료진]을 준비시키는 것이다. [양질의 치료]는 안전, 효과, 시기적절, 효율성, 공정성 및 환자 중심적으로 정의될 수 있다. 미국은 대학원 의학 교육 인증 위원회와 미국 의학 전문가 위원회의 핵심 역량에 기초한 대학원 의학 교육(GME) 체제로 전환한 지 15년이 지났지만 여전히 전체 건강 결과에서 11개국 중 꼴찌를 기록하고 있습니다.

The purpose of medical education is to prepare a physician workforce that can provide high-quality care—defined as safe, effective, timely, efficient, equitable, and patient centered—without a need for ongoing supervision.1,2 Fifteen years after the shift to a graduate medical education (GME) system based on the Accreditation Council for Graduate Medical Education and the American Board of Medical Specialties’ core competencies, the United States still ranks last of 11 countries in overall health outcomes.3

서비스 대상 환자 집단의 요구를 해결하기 위해 의사가 요구하는 역량에 기반을 둔 역량 기반 의료 교육(CBME)은 위에서 설명한 품질 격차를 해결하기 위해 GME 전반에 걸쳐 구현되었다.6 그러나 CBME의 구현은 연습생 성과를 평가하기 위한 의미 있는 조치가 만연해 있지 않다는 것을 드러냈고, [평가는 CBME의 발전에 있어 주요 속도 제한 단계]이다.6
Competency-based medical education (CBME), whose foundation is built on the competencies required by physicians to address the needs of patient populations being served, has been implemented across GME to address the quality gaps outlined above.6 Implementation of CBME, however, exposed the pervasive lack of meaningful measures to assess trainee performance, and assessment continues to be a major rate-limiting step in the advancement of CBME.6


Kogan 등7은 최근 학습자 평가의 과제를 "교육적 문제이자 동시에 임상진료 문제"로 다시 개념화할 것을 제안했다. 이를 위해 그들은 품질 관리 및 감독을 위한 책임 있는 평가(AAQCS) 등식을 제안했다. [수련생 성과 × 적절한 감독 = 안전하고 효과적인 환자 중심 진료.]
Kogan et al7 have recently suggested that the challenges in learner assessments be reconceptualized as “both an educational and clinical care problem.” In so doing, they proposed the Accountable Assess- ment for Quality Care and Supervision (AAQCS) equation: Trainee performance × Appropriate supervision = Safe, effective patient-centered care.

AAQCS는 [안전하고 효과적이며 환자 중심적인 의료]는 [훈련생의 성과 수준(특정 맥락에서 훈련생의 역량 수준에 대한 평가)]과 [이에 부합하는 적절한 감독(관리 품질을 보장하는 데 필요한 개입 수준)]의 곱(product)에서만 나온다고 강조한다. AAQCS의 주요 기여는 환자 성과가 평가 방정식의 종속 변수임을 강조하는 것이다.

• 즉, 수련생 성과가 환자에 미치는 영향을 고려하지 않는다면, 연습생 성과 평가의 근본적인 목적을 잃는 것과 같다.
• 반대로, 환자 진료 품질에 미치는 영향을 고려하지 않는다면, 감독의 기본 목적도 상실된다.

AAQCS emphasizes that safe, effective, patient-centered care only results from the product of appropriate supervision (required level of intervention to ensure care quality) matched to the trainee’s level of performance (assessment of a trainee’s level of competence in a particular context). The major contribution of AAQCS is that it emphasizes that patient outcomes is the dependent variable of the assessment equation.

• That is, the fundamental purpose of assessing a trainee’s performance is lost when the impact of that performance on patients is not considered.
• Furthermore, the fundamental purpose of supervision is lost when its impact on patient care quality is not considered.

따라서 AAQCS 등식의 중요한 기여는 [치료 성과]에 대한 [교육생과 감독자의 상호의존성]을 입증한다는 것이다. 
Therefore, an important contribution of the AAQCS equation is that it demonstrates the interdependence of trainees and supervisors on care outcomes. 

그 정의상, EPA는 [(훈련생 능력에 초점을 맞춘) 역량이나 마일스톤]과는 달리 [치료 결과에 초점을 맞춘 작업 단위]이다.8

By definition, EPAs are units of work that focus on outcomes of care, in contrast to competencies and milestones, which focus on trainee abilities.8

교육생 성과 평가
Assessment of Trainee Performance

CBME에서 교육생을 평가하기 위한 기본 전략은 workplace assessment이다.9,10 [실제 임상 환경에서 교육생을 관찰하고 평가하는 것]으로 정의되며, 작업장 평가는 Miller의 피라미드 "does" 수준을 목표로 한다.
A foundational strategy to assess trainees in CBME is workplace assessment.9,10 Defined as observing and assessing trainees in the authentic clinical environment, workplace assessment targets the “does” level of Miller’s pyramid,

이상적으로는 전문가가 실제 관리 제공 상황에서 학습자의 역량을 평가하기 위해 [직접 관찰하는 것]이 바람직하다. 그러나 연구자들은 여러 전문가가 동일한 실습생을 같은 조우했을 때에도 학습자 성과에 대한 판단이 다양하다는 것을 발견했다.9,12
Ideally, experts engage in direct observation of learners to assess their competence in the context of actual care delivery. However, researchers have found that even when several experts observe the same trainee in the same encounter, there is variability in their judgments about learner performance.9,12

이 평가자의 variability에 대한 많은 설명이 있다.

• 평가자는 연습생과 자신(표준으로서의 자신)을 비교하거나 유사한 수준의 교육(표준 기준)에서 다른 사람에게 기대하는 바를 비교하는 등 연습생을 평가하는 다양한 기준을 사용합니다. 
• 일반적인 평가 도구는 평가자에게 학습자 성과를 평가하기 위해 수치 척도를 사용하도록 요청하며, 오류는 자연스러운 [서술 기반 사고 프로세스]를 [수치 값으로 전환]하는 과정에서 발생할 수 있다.
• 평가관 변동성의 다른 원인에는 평가자에 의해 사용되는 인지 과정의 제한, 인지 오류, 문자 그대로의 서술은 덜 사용하고 평가자 전문지식에 기초한 추론은 더 많이 하는 것, 평가자 자신의 임상 기술 및 사회적 맥락을 포함한 판단이 이루어지는 맥락 등이 포함된다.

There are many explanations for this variability. 

• Assessors use variable standards by which they assess the trainee, such as comparing trainees with themselves (self as standard) or comparing trainees with what they would expect of others at a similar level of training (normative standard).13 
• Typical assessment tools ask raters to use numerical scales to assess learner performance, and error may result from the conversion of natural, narrative-based thought processes to numerical values.14 
• Other causes of rater variability include limitations in cognitive processes used by raters,15 cognitive errors,16 use of less literal descriptions and more inferences based on rater expertise,17 raters’ own clinical skills,13 and the context in which the judgment is made including social context.17,18
  
  

적절한 감독
Appropriate Supervision

작업장 평가의 목적은 연습생의 역량을 평가하는 것이지만, 또 다른 중요한 기능은 [연습생에게 필요한 감독 수준을 알리는 것]입니다.7 즉, 작업장 평가는 [훈련생이 할 수 있는 것]과 [안전하고 효과적인 환자 중심 치료를 위해 필요한 것 ]사이의 차이를 교수진에게 알려야 한다. 이 개념은 AAQCS 방정식에서 두 번째 독립 변수인 적절한 감독에 의해 강조된다.
Although the purpose of workplace assessment is to assess trainee competence, another critical function is to inform the level of supervision a trainee requires.7 That is, workplace assessment should inform faculty of the gap between what a trainee is capable of doing and what is required for safe, effective patient-centered care. This concept is highlighted in the AAQCS equation by the second independent variable, appropriate supervision.

AAQCS 등식의 [적절한 감독] 변수는 명확히 할 가치가 있는 두 가지 점을 강조한다.

• "적절한" 감독을 어떻게 정의할 것인가? 
• 감독의 이중적 목적(환자 돌봄의 퀄리티 확보 + unsupervised practice를 향한 학습자의 발달 궤적 확보)을 어떻게 다룰 것인가?

The appropriate supervision variable of the AAQCS equation highlights two points that deserve clarification: 

• how to define “appropriate” supervision, and 
• how to address the dual purpose of supervision—ensuring quality patient care and learner development on the trajectory toward unsupervised practice. 

Kennedy 등 19명은 "임상 감독"을 "Care의 퀄리티를 보장하기 위해 감독자가 수행하는 환자 관리 활동"으로 정의했다. 이러한 정의에 기초하여, 한 환자가 특정 상황에서 받는 [Care의 퀄리티]은 [수습자와 감독자의 결합된 임상 역량]에 따라 달라진다.
Kennedy et al19 defined “clinical oversight” as “patient care activities performed by supervisors to ensure quality of care.” Based on this definition, the quality of care that the patient receives in a given encounter is dependent on the combined clinical competence of the trainee and the supervisor.


[작업장 평가의 신뢰성]과 관련된 여러 어려움을 고려한다면, 이러한 평가에 기초하여 [감독 수준]과 [수련생 성과 수준]을 일치시키는 데 상당한 변화가 있을 수 있습니다. 궁극적으로, 이는 단기적으로 care quality에 부정적인 영향을 미칠 수 있으며, 특정 상황에서 관리 결과를 초래하고, 장기적으로는 교육생들로 하여금 졸업 시 감독되지 않은 실습에 참여할 준비가 되어 있지 않은 교육생으로 이어질 수 있다.

Given the challenges with reliability of workplace assessments, there is likely significant variability in matching the level of supervision to level of trainee performance on the basis of these assessments. Ultimately, this can adversely affect care quality in the short run with undersupervision leading to a negative care outcome in the given encounter and in the long run with oversupervision leading to trainees who are not ready to engage in unsupervised practice upon graduation.

[(임상) 감독]을 정의할 때 Kennedy20은 또한 "훈련자 학습을 최대화하기 위한 임상 감독을 설계하는 것이 장기적인 환자 관리의 질에 영향을 미치는 가장 강력한 방법이 될 것"이라고 제안했다. 향후 이 교육생과의 만남에서 환자가 받게 될 care의 퀄리티는,

• [감독자가 특정 encountrer에서 보여준 care의 modelling]에 영향을 받을 뿐만 아니라,
• 학습자가 competence에서 capability(새로운 맥락에서 competence을 입증할 수 있는 능력)로 나아가는 [전문적 발달을 서포트하는 감독자의 능력]에도 영향을 받을 것이다.

When defining supervision, Kennedy20 has also suggested that “designing clinical supervision to maximize trainee learning will be the most powerful way to impact the quality of patient care in the long-term.” The quality of care that patients receive in future encounters with this trainee will

• not only be affected by the modeling of care done by the supervisor in a given encounter
• but the supervisor’s ability to support the professional development of the learner beyond competence to capability (the ability to demonstrate competence in new contexts).21 

Vygotsky의 ZPD는 최상의 학습은 연습생들이 자신이 수행하기에 편한 수준 이상으로(즉, 능력의 최상단에서) 일하도록 도전할 때 발생한다고 시사한다. 이는 이상적으로, 연습생의 개발 수준과 일치하는 감독적 접근방식을 요구한다. 예를 들어,

• 초보자를 위한 지시적 접근법,
• 고급 초보자를 위한 협력적 접근법,
• 역량 있는 교육생을 위한 비지시적 접근법이 포함될 수 있다.23

Vygotsky’s22 zone of proximal development suggests that the best learning occurs when trainees are challenged, with support, to work beyond the level at which they are comfortable performing (i.e., at the upper edge of their competence), which ideally calls for a supervisory approach that is matched to the developmental level of the trainee.23 This might include, for example,

• a directive approach for novices,
• a collaborative approach for advanced beginners, and
• a nondirective approach for trainees who are competent.23

교육생에 대한 [원치 않는 평가의 다양성variability]은 관리 품질과 학습자 개발 모두에 부정적인 영향을 미칠 위험이 있다. 교수진이 [연습생이 할 수 있는 일]과 [안전하고 효과적이며 환자 중심적인 치료] 사이의 차이를 식별할 수 없다면, 진료의 공백을 메우는 특정 감독 행동에 관여하는 동시에 학습자 계발을 촉진할 수 없을 것이다.
Unwanted variability in assessment of trainees risks negatively impacting both care quality and learner development. If faculty are not able to identify the gap between what a trainee can do and safe, effective, patient-centered care, they will not be able to engage in the specific supervision behaviors that fill the gaps in care while also promoting learner development.

안전하고, 효과적이며, 환자 중심의 관리를 위해: 평가 및 감독할 교수진 개발
Toward Safe, Effective, Patient- Centered Care: Developing Faculty to Assess and Supervise

문헌의 교훈.
Lessons from the literature

교수개발
Faculty development.

교육생 성과 평가에서 [원치 않는 가변성unwanted variability]을 완화하기 위해 교수개발이 매우 중요합니다. 교수진이 공유된 정신 모델을 개발하고 임상 역량을 이해하는 데 도움이 되는 그룹 방법과 기법은 성과 평가에서 나타나는 일부 가변성을 제거하는 데 도움이 될 수 있다. 본질적으로, 이러한 기법은 [학습자 역량을 평가할 때 고려해야 할 행동]과 이러한 [행동이 사전 정의된 성과 수준에 어떻게 부합되는지]에 대한 [강력한 스크립트]를 제공하기 위해 고안되었습니다. 이러한 기법은 교육생 성과와 환자가 필요로 하는 임상 개입 수준에 대한 보다 정확한 평가 및 판단으로 이어질 수 있을 뿐만 아니라, 학습자에게 형성적 피드백을 위한 자료substrate를 제공할 수 있습니다.

Faculty development is critical for mitigating unwanted variability in assessment of trainee performance. Group methods and techniques that help faculty develop shared mental models and understanding of clinical competencies can help to eliminate some of the variability seen in performance assessments.25 In essence, these techniques are designed to provide a robust script of what behaviors to look for in assessing learner competence and how those behaviors align with predefined levels of performance. These techniques can lead to more accurate assessments and thus judgments about trainee performance and level of clinical intervention needed by the patient, as well as provide substrate for formative feedback to learners.

글로벌 평가 사용.
Use of global assessments.

문헌에 따르면 전문가들의 손에서 전반적인 판단에 대한 글로벌 평가가 체크리스트보다 더 신뢰할 수 있다.26 따라서 글로벌 등급 양식을 [체크리스트로 대체하는 것]은 원치 않는 가변성을 줄이기 위한 전략이 아니다. 우리는 체크리스트의 모든 항목을 완료할 수는 있지만 효과적인 관리 제공을 가능하게 하는 방식으로 필요한 작업을 통합할 수 없는 학습자를 관찰한 경험에 익숙하다. 학습된 중요한 교훈은 객관성과 신뢰성이 동의어가 아니라는 것이다. 전문가의 손과 적절한 표본 추출 조건에서 이루어지는 주관적 평가가 체크리스트보다 더 신뢰할 수 있다.26

Literature suggests that global assessments of overall judgment in the hands of experts are more reliable than checklists.26 Thus, replacing global rating forms with checklists is not a strategy for reducing unwanted variability. We are familiar with the experience of observing a learner who can complete all items on a checklist but cannot integrate the required tasks in a way that enables effective care delivery. An important lesson learned is that objectivity and reliability are not synonymous; subjective assessments in the hands of experts and under conditions of appropriate sampling are more reliable than checklists.26

내러티브 스크립트 사용.
Use of narrative scripts.

평가자 평가의 일부 변동성은 보증되지 않으며 최소화하는 것이 바람직하지만, 어떤 변동성variability은 [서로 다른 평가자]가 [동일한 학습자]를 보는 [다양한 렌즈를 제공함]으로써 포괄적인 학습자 피드백에 의미 있는 정보를 제공합니다.9
While some variability in rater assessments is unwarranted and due to error that is desirable to minimize, some variability contributes meaningful information to comprehensive learner feedback by providing different lenses through which raters see the same learner.9

의사들이 [나름의 독특하고 지속적으로 업데이트되는 질병 스크립트와 패턴 인식에 의존하는 임상적 추론]을 하듯이, 평가자는 새로운 학습자에 대한 인상을 형성하기 위하여 메모리에 저장된 스크립트를 활용한다.27,28 이러한 스크립트는 풍부한 서술 형태의 행동의 회상으로서 존재합니다. 평가자 개개인의 경험과 스크립트의 고유성은, 오류가 아니라, 다양한 관점에 기반한 가변성을 만들어낸다.
Much as physicians do in clinical reasoning, which relies on unique and continuously updated illness scripts and pattern recognition, raters draw on scripts stored in memory to inform impressions of new learners.27,28 These scripts exist as recollections of behaviors in the form of rich narratives. The uniqueness of an individual assessor’s experiences, and thus her or his scripts, creates variability that is not due to error but, rather, to perspective.

단, 격리된isolated 평가자의 스크립트가 다수의 스크립트와 상당히 다른 이유가 관점 때문일 수도 있지만, 이미 낡은 스크립트이기 때문일 수 있다. 전자의 경우, 관점은 유용한 형태적 피드백을 제공할 수 있지만, 최종 결정의 기초가 되어서는 안 된다. 후자의 경우 피드백은 not relevant하다. 어느 쪽이든 평가에 주관적 판단을 사용할 때 신뢰도를 보장하기 위해 적절한 표본 추출이 여전히 필수 요건으로 남아 있다.29
Of note, the script of an isolated assessor may be quite different from those of the majority based either on perspective or an outdated script. If the former, the perspective can provide useful formative feedback but should not be the basis of a summative decision. If the latter, the feedback is not relevant. Either way, adequate sampling remains an essential requirement for ensuring reliability when subjective judgment is used in assessment.29

효과적인 감독 기술.
Effective supervision skills.

분명한 필요성에도 불구하고, 훈련생들의 감독은 종종 불충분하다. 문헌에는 관리 품질을 보장하고 교육자가 학습자 계발을 보장하는 의료전문가로서의 이중 역할을 탐색할 수 있도록 교수진 개발이 필요하다는 내용이 나와 있습니다.20 다양한 감독 스타일이 있지만, [필수적이고 효과적인 감독 기술]을 뒷받침하는 기본 원칙이 있습니다. 학습자 평가를 담당합니다.30 효과적인 감독 원칙을 배우고 실천해야 하며, 감독자는 역할의 지속적인 개선을 지원하기 위해 감독관으로서의 성과에 대한 피드백을 요구합니다.

Despite the clear need, supervision of trainees is often inadequate. The literature illustrates the need for faculty development to help supervisors navigate their dual roles as clinicians ensuring care quality and educators ensuring learner development.20 Although there are a variety of supervision styles, there are fundamental principles underpinning essential, effective supervisory skills that need to be packaged for those charged with learner assessment.30 The principles of effective supervision must be learned and practiced, and supervisors require feedback on their performance as supervisors to support continuous improvement in the role.

과거 구축: EPA, 역량 및 이정표를 통해 작업장에 AAQCS 방정식 적용
Building on the past: Applying the AAQCS equation in the workplace through EPAs, competencies, and milestones

EPA, 핵심 역량 및 전공과별 마일스톤을 통합하는 [통합 프레임워크]는 수련생 평가 및 적절한 관리감독의 과제 중 일부를 해결할 것이다.
A unifying framework integrating EPAs, core competencies, and specialty milestones will address some of the challenges of trainee assessment and appropriate supervision.

EPA는 교수진이 임상 감독 맥락에서 관찰할 수 있는 사항에 초점을 맞추는 데 더 도움이 될 수 있으므로 의미 있는 평가를 제공할 수 있는 능력을 강화할 수 있다.
EPAs may prove more helpful in focusing faculty on what they are able to observe in the context of clinical oversight, thus enhancing their ability to provide meaningful assessments.

각 EPA에 정보를 제공하는 필수 역량에 EPA를 매핑하면 각 성능 수준에서 이정표의 행동 설명을 통합하기 위한 단계가 설정되므로, 예를 들어 초보 또는 고급 초급자가 프로페셔널 활동에 참여할 때 어떤 모습인지에 대한 공유 멘탈 모델을 만들 수 있다. 
Mapping EPAs to the essential competencies that inform each EPA sets the stage for integrating the behavioral descriptions of the milestones at each performance level, thus enabling the creation of a shared mental model of what a novice or advanced beginner, for example, looks like when engaged in the professional activity (Supplemental Digital Appendix 1, http://links.lww.com/ACADMED/A308).

예를 들어, 보충 디지털 부록 1에는 EPA "응급실, 응급실 또는 입원 환경에서 급성, 공통 진단을 받은 환자를 관리"하는 역량(왼쪽 열 왼쪽 열)과 그 진보적 이정표 34(이후 열은 왼쪽 초보 성과에서 가장 전문가 성과까지 읽힌다)가 수록된다. 

For example, Supplemental Digital Appendix 1 lists the competencies (left-hand column) and their progressive milestones34 (subsequent columns read from most novice performance on the left to most expert performance on the right) for the EPA “manage patients with acute, common diagnoses in ambulatory, emergency, or inpatient setting.” 

라벨이 평가자의 성과 수준 선택에 미치는 영향을 최소화하기 위해 column에는 발달 레벨만 부여된다. 매트릭스를 보면 이정표의 첫 번째 열을 읽으면 핵심 행동을 통합하고 합성할 수 있다("조기 학습자의 행동" 참조). 표의 맨 아래 행 바로 뒤에 나와 있습니다. 학습자가 직장에서 특정 EPA를 수행했을 때 이러한 행동에 참여하는 모습을 보여주는 단초가 된다.

To minimize the influence of a label on the assessor’s choice of performance level, the columns are just given a level of development. Looking at the matrix, if one reads down the first column of milestones, one can integrate and synthesize the salient behaviors (see “Behaviors of an early learner”) as illustrated just after the bottom row of the table. Immediately following these behaviors is a vignette of what a learner would look like engaged in those behaviors as he or she carried out the given EPA in the workplace. 

각 후속 column에 대해 동일한 연습을 수행하여 [가장 오른쪽 열을 읽어 내려오면 이 EPA를 수행하는 전문가의 행동을 synthesis and integration]할 수 있으며, 이를 사용해 [전문 학습자의 임상적 비네트]를 개발할 수 있다.
The same exercise can be done for each subsequent column, so that reading down the right- most column would allow synthesis and integration of the behaviors of an expert performing this EPA, which can then be used to develop a clinical vignette of the expert learner.

따라서 이러한 vignettes은 EPA를 수행하는 데 필요한 필수 역량과 각각의 이정표를 기반으로 구축되며, 각 개발 단계에서 학습자의 공통 정신 모델을 제공한다. 교수 개발을 위한 성과 평가 훈련 방법과 유사하게, 이 공유 정신 모델의 생성은 서로 다른 평가자, 심지어 전문가도 동일한 임상 상황에서 동일한 학습자를 관찰할 때 발생하는 원치 않는 판단의 가변성을 해결하는 데 도움이 될 수 있다.12,25 
Thus, these vignettes are built on the essential competencies and their respective milestones that are required to perform the EPA, and provide a common mental model of the learner at each stage of development. Creation of this shared mental model, similar to performance appraisal training methods for faculty development,35–37 may be helpful in addressing the unwanted variability in judgment that occurs when different raters, even experts, observe the same learner in the same clinical encounter.12,25 

학습자 평가에 vignettes를 사용하면 [세 가지 방법으로 평가 신뢰도를 높일 수 있습니다].

• 학습자 성과를 평가할 때 [서술적 설명을 상기하는 자연스러운 경향]에 따라 평가 도구의 형식을 정렬
• 서술적 설명에서 [수치값으로 변환하는 데 필요한 인지 부하 감소]
• 설명을 [숫자 값으로 변환하여 발생할 수 있는 오류 제거]

The use of vignettes in learner assessment may actually add to assessment reliability in three ways. It may assist in

• aligning the format of assessment tools with the natural tendency to recall narrative descriptions when rating learner performance,17
• reducing the cognitive load that is required to convert from the narrative descriptions to numerical values,38 and
• eliminating the errors that may result from translating descriptions to numerical values.14

Regehr 등의 연구는 교수진이 [개별 역량에 기초하여 학습자를 평가]할 때보다, [역량을 통합한 표준화된 서술적 비네트에 연습생 성과를 일치시킬 때] 수행 수준을 더 잘 구별할 수 있음을 보여주었다. 역량과 수준별 이정표가 Vignet에 포함된 것처럼, 특정 성능 레벨에 대해 미리 결정된 표준이 시리즈의 각 Vignett에 포함되었습니다.40

Work by Regehr et al39,40 has demonstrated that faculty were better able to distinguish between levels of performance when matching trainee performance to standardized narrative vignettes that integrated competencies than when assessing learners on the basis of individual competencies. Predetermined standards for a given performance level were embedded within each vignette in the series, just as the competencies and their level-specific milestones are embedded in our vignettes.40


EPA를 역량과 연계하여 관리 품질을 개선하는 데는 두 가지 잠재적 이점이 있다. 첫째, [전문적인 활동을 수행하는 훈련생의 능력에 대한 평가]와 [활동을 안전하고 효과적으로 수행하는 데 필요한 감독 수준] 사이에는 직접적인 관계가 있습니다.32 훈련생에 대한 더 나은 평가 결정은 관리 품질을 보장하기 위해 적절한 감독자에게 더 나은 정보를 제공할 수 있습니다. EPA를 [위임 의사결정에 중요한 역량과 이정표]에 현명하게 매핑하면, [EPA를 수행하기 위해 통합되어야 하는 학습자 행동]을 보다 세분화된 시각으로 볼 수 있는 줌 렌즈를 제공한다. [교육생들의 현재 행동]을 [발달 이정표 내에서 표현되는 바람직한 행동]과 대조하는 것은 supervision practice에 보다 구체적으로 도움이 될 수 있습니다.
There are two potential benefits of linking EPAs to competencies and their milestones to improve care quality. First, there is a direct relationship between assessment of a trainee’s ability to perform a professional activity and the requisite level of supervision needed to ensure that the activity is safely and effectively carried out.32 Better assessment decisions of the trainee can better inform appropriate supervision to ensure care quality. Judiciously mapping EPAs to the competencies and milestones that are critical to entrustment decisions provides a zoom lens that allows a more granular view of learner behaviors that must be integrated to perform the EPA. Contrasting a trainee’s current behaviors with the desired behaviors represented within the developmental milestone narratives can more specifically inform supervision practices. 

EPA를 역량 및 그 이정표에 연계함으로써 얻을 수 있는 두 번째 이점은 피드백의 기질 역할을 하는 학습 로드맵을 제공한다는 것이다. 이는 향후 치료 상황에서 환자 진료 품질을 개선할 수 있다. 일부 학습자가 동료보다 [더 세밀하게 감독을 받아야 하거나], 다른 동료는 가능한데 특정 학습자는 [불가능하다는 사실]을 아는 것만으로는 충분하지 않습니다. 감독관은 그 이유를 알고 있어야 합니다.

The second benefit of linking EPAs to competencies and their milestones is that it provides a learning road map that serves as the substrate for feedback, which can improve patient care quality in future care encounters. It is not enough to know that some learners need to be more closely supervised than their peers or that they cannot be entrusted when their peers can—supervisors must know why.


마일스톤은 [글로벌한 인상]을 [구체적인 건설적인 실행 가능한 피드백]으로 세분화함으로써 어려움에 처한 감독관들에게 어휘를 제공할 수 있다. 이정표는 학습자와 관리자가 예상 학습자 발달에 대해 공유된 이해를 제공할 수 있습니다. 이는 최근 Crossley41이 "만약 피드백 제공자와 피드백 수령자가 성과와 진행에 대해 논의하는 공통 언어 또는 지도를 가지고 있지 않으면 [피드백 전달에 있어] 신뢰성이 붕괴된다"고 강조했듯이 중요하다. 위탁 결정이 2진수(예, 아니요)이긴 하지만 위탁으로 이어지는 관리 수준을 기술하는 것이 교육생들의 작업장 평가를 위한 중요한 프레임워크로 제안되었습니다.32

The milestones can provide a vocabulary for supervisors challenged by breaking down global impressions into specific constructive actionable feedback. Milestones can provide learners and supervisors with a shared understanding of expected learner development. This is important, as Crossley41 recently highlighted that “credibility [in feedback delivery] is disrupted if the provider and recipient have no common language or map for discussing performance and progression.” Although the entrustment decision is a binary one (yes–no), describing levels of supervision leading up to entrustment has been proposed as a valuable framework for workplace assessment of trainees.32 

요약 Summary

이러한 통합 프레임워크는 [교육생 성과 평가] 및 [적절한 감독]의 복잡성 뿐 아니라, 치료 품질에 영향을 미치는 [이 둘의 상호 의존성]을 다루기 시작하는 출발점을 제공한다. 위임으로 이어질 수 있는 감독 수준이 제안되었으며, 다음 과제 중 하나는 필요한 감독 수준에 대한 암묵적이고 상황적인 결정에서 EPA, 역량 및 이정표를 기반으로 한 보다 명확하고 신중한 모델로 이동하는 것이다.

this unifying framework gives us a starting point from which to begin to address the complexities of trainee performance assessment and appropriate supervision as well as their interdependence in impacting care quality. Levels of supervision leading up to entrustment have been proposed, and one of the next challenges will be moving from implicit and circumstantial decisions about needed level of supervision to a more explicit and deliberate model based on EPAs, competencies, and milestones.

Acad Med. 2016 Feb;91(2):199-203.

 doi: 10.1097/ACM.0000000000000985.

Driving Care Quality: Aligning Trainee Assessment and Supervision Through Practical Application of Entrustable Professional Activities, Competencies, and Milestones

Carol Carraccio 1, Robert Englander, Eric S Holmboe, Jennifer R Kogan