Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

모든 이해관계자를 위한 핵심 역량 평가 프로그램 만들기: 선박 설계와 건조에서 얻을 수 있는 것( Adv Health Sci Educ Theory Pract. 2020)
Building a core competency assessment program for all stakeholders: the design and building of sailing ships can inform core competency frameworks 
W. Dale Dauphinee1,2

그러나 제 의견을 공식화하고 뒷받침하는 데 도움이 되도록, 저는 예전에 목조 범선을 건조하고 장식하던 부모님의 가족으로부터 빌린 비유를 제시하고 싶습니다. 모든 이해관계자의 요구와 기대를 충족하기 위해 실제 일상 세계에서 작동해야 하는 제품이나 서비스를 만들려는 모든 이니셔티브와 마찬가지로, 목조 범선을 만드는 과정에는 여러 개별적이지만 서로 연결된 단계가 포함됩니다. 이러한 모든 단계는 성공적인 결과와 원하는 효과를 얻기 위해 필수적입니다.

• 즉, 선박의 주요 목적을 가장 적절하게 달성할 수 있도록 설계 및 건조하고(속도를 내기 위해 좁거나 큰 하중을 싣기 위해 넓게),
• 바람을 최적으로 포착하기 위한 '도구'로서 돛대, 리깅 및 돛을 설계 및 설치하며,
• 마지막으로 각 설계 가정과 후속 실행의 신뢰성과 타당성을 모두 검증하기 위해 해상 시험을 실행하는 것입니다.
• 궁극적인 목표는 설계자와 건조자가 이해관계자가 의도한 선박에 대한 비전과 열망을 충족했음을 입증하는 것입니다(Herreshoff 1974).

However, to help formulate and undergird my comments, I want to offer a metaphor borrowed from my parents’ families as builders and outfitters of wooden sailing ships in earlier times. Like any initiative in which one seeks to create a product or service that has to function in the real everyday world in order to meet all stakeholder’s needs and expectations, the creation of a wooden sailing ship involved several discrete but interconnected steps. All of these steps are essential for a successful outcome and the desired impact. They are:

• design and build the ship to most appropriately achieve its primary purpose (narrow for speed or wide for large loads),
• design and install the masts, rigging and sails as ‘instruments’ to optimally capture the wind; and
• lastly execute the sea trials to validate both the reliability and validity of each of the design assumptions and their subsequent execution.
• The ultimate goal is demonstrate that the designers and builders have met the stakeholders’ intended vision and aspirations for the ship (Herreshoff 1974).

저자의 접근 방식
The authors’ approach

반 데르 아아의 글은 이 새로운 전략을 성공적으로 마무리하기 위해 해결해야 할 일련의 개발 문제 중 첫 번째 단계에 대해 설명합니다. 아직 해야 할 일이 많이 남아 있습니다. 예를 들어, 핵심 역량을 파악하는 아이디어는 새로운 것이 아닙니다. 1999년에 미국의학전문위원회(ABMS)와 미국의학전문대학원교육인증위원회(ACGME)는 ABMS 역량 유지 프로그램 및 대학원 교육 수련 프로그램 인증의 기반이 될 6가지 핵심 일반 역량을 공동 승인하면서 이 개념을 장려했습니다. 6개의 광범위한 역량을 일련의 평가 요소로 분해한 다음 일련의 도구로 재구성해야 한다는 개념은 큰 도약이자 위험한 일이었습니다. 품질 개선을 지원하는 인프라를 구축하지 않으면 이러한 형식은 '제도화'는 되지만 '전문화'는 되지 않는 경향이 있습니다(Audet 외. 2005). 목록과 규칙만으로는 충분하지 않습니다. 
The van der Aa article describes the first step in a cascade of developmental issues that must be addressed in moving this new strategy to a successful conclusion. Much more remains to be done. For example, the idea of identifying core competences is not new. In 1999, the American Board of Medical Specialties (ABMS) and the Accreditation Council for Graduate Medical Education (ACGME) promoted the concept with their joint endorsement of six core general competencies to serve as the bases for the ABMS Maintenance of Competence program and for the accreditation of post-graduate education training program. The notion of six broad competencies having to be deconstructed into set of assessment elements and then reconstructed into a set of tools was a major leap and risky. Without the building of infrastructure to support quality improvement, such formats tend to be ‘institutionalized’ but not ‘professionalized’ (Audet et al. 2005). Lists and rules are not enough.

그러나 EBCOB 개발의 경우, 저자들은 행동 연구를 사용하여 일반적인 역량 프레임워크를 개발했습니다. 연구팀은 이해관계자 매핑을 활용하여 이해관계자 그룹과 협력하여 네 가지 영역을 식별했습니다.

• 환자 중심 치료,
• 팀워크,
• 시스템 기반 진료,
• 개인 및 전문성 개발

그러나 각 영역에서 '지침'을 제시하기보다는 이해관계자가 파악한 '요구사항'의 예를 설명하여 평가자가 '지침 표준'을 현지 상황에 적용할 때 더 나은 지침을 제공할 수 있도록 했습니다. 또한 평가자가 현장에서 재창조하고 창의적으로 적응할 수 있는 기회를 제공하기 위해 네 가지 영역을 일반적인 용어로 설명했습니다. 이 전략이 주는 시사점은 무엇인가요? 
However, in the case of EBCOB development, the authors used action research to develop a guiding generic competency framework. Utilizing stakeholder mapping, the research team worked with the stakeholder groups to identify four domains. They were

• patient- centered care;
• teamwork;
• systems-based practice; and
• personal and professional development.

However, under each domain, rather than offering ‘directives’, they described examples of the stakeholder’s identified ‘needs’ so as to offer better guidance to assessors when applying the ‘guiding standard’ to local contexts. Furthermore, the four domains were described in general terms so as to offer the evaluators the opportunities for re-invention and creative adaptation in the field. What are the implications arising from this strategy?

s10459-019-09910-8.pdf

0.90MB

 

세 가지 즉각적인 과제가 있습니다. 프레임워크가 프로그램 디렉터, 학습자 및 교수진을 위해 최적으로 작동하려면 표준 보고 형식, 데이터 시스템 및 성과 데이터 수집을 위한 대시보드 액세스(예: 표준화된 항해 차트와 항해 육분계 및 기압계 데이터)를 설계하고 구현하는 것이 필수적입니다. 교수진을 준비하고 교육하기 위한 교수진 개발 프로그램과 연계된 품질 관리 프레임워크가 분명히 필요할 것입니다. 또한 학회와 이사회는 교수진이 사용할 수 있는 용어집과 허용되는 시험 형식을 제공할 수 있도록 해야 합니다. 저와 제 동료들은 품질 관리의 중요성과 핵심 역량 기반 교육 이니셔티브의 변경 사항을 감독하는 책임 있는 기관의 필요성을 설명했습니다(도피니 외. 2019). 우리는 모든 평가 노력의 장기적인 지속 가능성을 보장하기 위해 더 나은 품질 관리를 가능하게 하는 경로와 프레임워크를 제공했습니다. 우리도 이러한 다음 개발과 현장 테스트('해상 시험')를 기대할 것입니다.
There are three immediate challenges. The design and implementation of standard reporting formats, data systems and access to dashboards for the collection of performance data (i.e. standardized navigation charts plus data from navigation sextants and barometers) is essential if the framework is to function optimally for the program directors, the learners and teaching staff. Clearly a quality control framework, in association with a faculty development program to prepare and train the faculty, will be needed. That will also require the Society and Board to ensure that a glossary of terms and acceptable testing formats will be available for the teaching faculty. My colleagues and I have described the importance of quality control and having a responsible authority overseeing any changes in core competency-based education initiatives (Dauphinee et al. 2019). We offered pathways and frameworks to enable better quality control to ensure long-term sustainability of any evaluation endeavour. We too will look forward to these next developments and their field testing (‘sea trials’).

장미의 다른 이름: Lawrence 등의 잠재 교육과정 스코핑 리뷰에서 몇 가지 흥미로운 점(Acad Med, 2018)
A Rose by Other Names: Some General Musings on Lawrence and Colleagues’ Hidden Curriculum Scoping Review 
Frederic W. Hafferty, PhD, and Maria Athina Martimianakis, PhD

이번 학술 의학 호에서는 로렌스와 동료들이 숨겨진 커리큘럼과 의학교육에 대한 생각을 자극하는 광범위한 검토를 제공합니다.1 이들은 지난 25년 동안2,3 보건 전문직 교육의 학습 환경을 구성하는 모든 임상 및 비임상 맥락과 프로세스에 걸쳐 분석 도구로 활용되어 온 숨겨진 커리큘럼(HC)에 대해 다룹니다. 이 해설에서는 로렌스와 동료들의 데이터와 결론을 바탕으로 네 가지 문제를 다룹니다.

• 첫째, "이 용어는 뚜렷하고 보편적인 정의가 부족한 것 같다"는 검토 결과와 이러한 '모호성'이 다양한 방법론적 및 개념적 문제에 미치는 영향에 대한 관련 우려를 다루며, 이 모든 것이 HC에 대한 보다 명확한 정의의 통일성을 요구하는 개선 요구로 이어지며, 우리는 특별한 근거에 따라 이의를 제기합니다.
• 둘째, 우리는 숨겨진 HC 문헌의 존재를 문서화하고, HC와 유사한 분석 프레임워크를 사용하거나 HC 효과를 조사하지만 이 용어를 직접 언급하지 않는 연구에 어떻게 대처하는 것이 가장 좋은지 묻습니다. 최소한 이러한 저급 문헌의 존재는 범위 검토에서 "범위"가 무엇인지에 대한 시사점이 있습니다.
• 셋째, 로렌스와 동료들의 검토와 밀접한 관련이 있는 두 가지 출판물을 살펴봅니다.
  • 첫 번째는 맥레오드의 HC에 대한 비평으로,4 로렌스와 동료들이 범위 검토의 존재 이유를 스스로 밝힌 것입니다.
  • 두 번째, 마르티미나키스와 동료들의 HC 범위 검토2는 로렌스와 동료들의 검토 초기에 언급되었다가 더 이상 언급되지 않고 사라졌습니다.
  • 두 리뷰 모두 동일한 개념을 탐구하지만 서로 다른 관점에서 다소 다른 결론을 내리고 있기 때문에 이러한 조기 누락은 유감스럽지만, 우리가 강조하고자 하는 차이점은 다음과 같습니다.
• 마지막으로, 우리는 '이론적 충실성'의 문제와 한 학문적 전통이나 패러다임(예: HC)에서 개발된 이론적 틀이 다른 학문 영역으로 가져올 때 어떻게 개념적 변형을 겪을 수 있는지, 그리고 그러한 변형이 이러한 변형을 생성하는 문화에 대해 무엇을 말할 수 있는지(그리고 어떻게 유익할 수 있는지)를 다룹니다. 

In this issue of Academic Medicine, Lawrence and colleagues provide a thought-provoking scoping review of hidden curricula and medical education.1 They address the hidden curriculum (HC), which for the past quarter century,2,3 has been deployed as an analytic tool across the full range of clinical and nonclinical contexts and processes that make up the learning environments of health professions education. In this Commentary, galvanized by Lawrence and colleagues’ data and conclusions, we address four issues.

• First, we tackle the review’s finding that “the term seemed to lack a distinct and universal definition,” along with related concerns as to the impact of such “ambiguity” on a variety of methodological and conceptual issues—all leading to a remedial call for more definitional uniformity regarding the HC, a conclusion we challenge on particular grounds.
• Second, we document the existence of a hidden HC literature and ask how best to deal with work that uses an HC-like analytic framework or that examines HC effects, yet never directly mentions the term. At minimum, the existence of this hypogean literature has implications for what is “scoped” in scoping reviews.
• Third, we touch on two publications closely linked to Lawrence and colleagues’ review.
  • The first, a critique of the HC by MacLeod,4 is the self-identified raison d’être for Lawrence and colleagues’ scoping review.
  • The second, an HC scoping review by Martimianakis and colleagues,2 is mentioned early in Lawrence and colleagues’ review only to disappear without further mention.
  • This early disappearance is regrettable because both reviews explore the same concept, but from different vantage points and with somewhat different conclusions—differences we seek to accentuate.
• Finally, we tackle issues of “theoretical fidelity” and how a theoretical framework developed within one scholarly tradition or paradigm (such as the HC) might undergo conceptual mutation when imported into another domain of scholarly work, and what such transmutations might say about (and how they may benefit) the culture that generates these alterations.

다른 이름의 장미
A Rose by Other Names

HC가 "모호하고 보편적으로 사용되는 것 같다"는 결론과 함께, 보다 통일된 정의 기반으로 이동하여 이러한 어휘의 과잉을 억제해야 한다는 권고가 로렌스와 동료들의 검토의 핵심입니다. 우리는 이들의 기본 연구 결과를 지지하면서도 여러 측면에 문제를 제기합니다. 우리는 학습 환경이 공식 커리큘럼과 함께 상호 작용과 영향력의 복잡한 그물망을 형성하는 다양한 숨겨진 커리큘럼으로 구성된다는 Lawrence와 동료들의 결론에 동의합니다. 또한 '숨겨진 커리큘럼'이라는 단수 표현을 사용하면 이 중요한 구조적 사실을 모호하게 만들 수 있다는 데 동의합니다. 그럼에도 불구하고 이론적으로 말하자면, 저희는 이 개념에 특이점이 내포되어 있지 않으며, 내포된 적도 없다고 생각합니다. 오히려 그 존재론적 뿌리는 시간적, 공간적 다양성을 구체적으로 가정하는 인식론적 접근을 요구합니다. 따라서 HC 현상은 어디에나 존재하며 단수로 지칭할 수 있지만, 그 발현은 다양하고 역동적일 것으로 예상됩니다. 측정 문제를 중심으로 도출된 유사한 결론은 Haidet과 동료들에 의해 반복적으로 언급되었습니다.5,6
The conclusion that the HC suffers from “ambiguous and seemingly ubiquitous use,” along with recommendations to curb such lexiconic excesses by moving to a more uniform definitional foundation, is central to Lawrence and colleagues’ review. We support, yet also take issue with, different aspects of their underlying findings. We concur with Lawrence and colleagues’ conclusion that learning environments are composed of a multiplicity of hidden curricula, which, together with the formal curriculum, form a complex web of interactions and influence. We also agree that use of the singular (“hidden curriculum”) may obscure this important structural fact. Nonetheless, and now speaking theoretically, we believe the concept does not, and never has, implied singularity. Instead, its ontological roots demand an epistemological approach that specifically assumes temporal and spatial diversity. Thus, while the phenomenon of the HC is ubiquitous and can be referred to in the singular, its manifestations are expected to be numerous and dynamic. A similar conclusion, generated around measurement issues, has been noted repeatedly by Haidet and colleagues.5,6

우리는 또한 HC 개념(단수이든 복수이든)을 사용하는 학문이 조사 대상을 정의할 필요가 있다는 데 동의합니다. 따라서 우리는 로렌스와 동료들이 검토한 논문 중 21%(197편 중 41편)만이 "'숨겨진 교육과정'이라는 용어에 대한 직접적인 정의를 포함하지 않았고", 포함된 논문 중 17%(33편)만이 이 개념(숨겨진 교육과정과 비공식 교육과정)을 동의어로 사용했다는 사실을 발견하고 고무되었습니다(낙담하지 않았습니다). 논문의 결론을 고려할 때 그 비율은 더 높을 것으로 예상했습니다. 또한 로렌스와 동료들의 범위 검토에서 이 17%가 이 두 개념 사이의 "점점 더 모호해지는" 경계 때문이라는 결론을 뒷받침하는 데이터를 찾지 못했습니다. 

We also agree that scholarship employing the HC concept (singular or plural) needs to define what is being examined. As such, we were encouraged (not discouraged) to discover that only (our “only”) 21% of the articles in Lawrence and colleagues’ review (41 of 197) “did not include a direct definition for the term ‘hidden curriculum’” and that even less, 17% or 33, of the included articles used the concepts (hidden and informal) as synonyms. Given the article’s conclusions, we thought the percentages would be higher. We also did not locate data in Lawrence and colleagues’ scoping review supporting the conclusion that this 17% was due to an “increasingly blurred” line between these two concepts.

셋째, 우리는 의학교육 장학의 환경이 HC 명명법으로 가득 차 있다는 로렌스와 동료들의 의견에 동의합니다. 우리 중 한 명(F.W.H.)은 HC 작업에서 접하는 용어에 대한 실행 로그를 작성하고 있습니다. 현재까지 이 목록에는 "공식적인" 교육과정을 지칭하는 데 사용되는 9개의 용어(예: "공식", "명시적", "성문화된")와 학습 환경의 공식적이지 않은 측면을 다루는 29개의 용어가 포함되어 있습니다.7 그러나 우리에게 중요한 문제는 용어의 확산이 아니라

• (1) 용어가 어떻게 적용되는지,
• (2) 어떤 문제를 다루는지,
• (3) 사용 중인 용어가 적절하게 정의되어 있는지입니다.

9개의 공식적인 용어들 사이에는 실질적인 정의상의 차이는 없지만(따라서 상호 교환적으로 사용하는 데 문제가 거의 없음), 29개의 '공식적이지 않은' 프레이밍 사이에는 상당한 차이가 있음을 알 수 있습니다. 로렌스와 동료들이 지적했듯이 비공식 교육과정과 HC 사이에는 중요한 차이점이 있으며, 예를 들어 무형식null 교육과정과 같은 다른 개념들 사이에도 추가적인 차이점이 있습니다.2 
Third, we agree with Lawrence and colleagues that the landscape of medical education scholarship is littered with HC nomenclature. One of us (F.W.H.) keeps a running log of terms encountered in his HC work. To date, this list includes 9 terms that are used to refer to the “formal” curriculum (e.g., “official,” “manifest,” “codified”) along with a breathtaking 29 covering the other-than-formal aspects of learning environments.7 The central issue for us, however, is not the proliferation of terms but, rather,

• (1) how they are applied;
• (2) what issue(s) they address; and
• (3) whether the term(s) in play is adequately defined.

Although we see no real definitional distinctions among the 9 formal terms (and thus have little issue with their interchangeable use), we do see substantial differences among the 29 “other-than-formal” framings. As noted by Lawrence and colleagues, there are important distinctions between the informal curriculum and the HC—as well as additional dissimilitudes across other concepts, including, for example, the null curriculum.2

그러나 로렌스와 그의 동료들과는 달리, 저희는 대체 또는 대안적 HC 프레임을 사용하는 것이 개념적으로 활력을 불어넣고 풍요롭게 한다는 것을 발견했습니다. 또한 중요한 것은 다른 프레임워크가 검토 범위 설정에 중요한 시사점을 제공한다고 생각합니다. 이 두 가지 요점을 설명하기 위해 로렌스와 동료들의 범위 검토에 '적용'된 연구와 그렇지 않은 연구 두 가지를 살펴봅니다. 

• 전자는 Balmer와 동료들이 수행한 연구로,8 "의대생이 교과목 목표를 학습하기 위해 명시적 교과과정, 암묵적 교과과정, 교과외적 활동의 상호 작용을 어떻게 탐색하는가"를 이해하고자 했습니다.
• 후자의 똑같이 도발적인 연구인 Ginsburg 등의 연구9는 '거부된 커리큘럼'이 직업적으로 어려운 상황에서 학생들의 추론에 어떤 영향을 미치는지 이해하고자 했습니다. 

In contrast to Lawrence and his colleagues, however, we find the use of alternate or alternative HC framings to be conceptually energizing and enriching. Also, importantly, we believe the other framings have important implications for scoping reviews. In speaking to both points, we turn to two studies: one that “made it” into Lawrence and colleagues’ scoping review and one that did not. The former, a study by Balmer and colleagues,8 sought to understand how “medical students navigate the interplay of explicit curricula, implicit curricula, and extracurricula to learn curricular objectives.” The latter, an equally provocative study by Ginsburg et al,9 sought to understand how the “disavowed curriculum” influenced students’ reasoning in professionally challenging situations.

Balmer 등은 왜 "명시적", "암시적", "교과외적"라는 용어를 사용했고, Ginsberg와 동료들은 왜 "거부된"이라는 용어를 사용했을까요? 저희는 저자들을 대변하는 척하지는 않지만, 각각의 개념이 저자들이 조사하고자 하는 문제를 최적으로 탐구할 수 있게 해주었고, 그렇게 함으로써 데이터가 밝혀냈다고 생각하는 바를 가장 잘 표현할 수 있었다고 가정합니다. 그러나 우리 앞에 놓인 문제는 저자들이 선택한 용어를 선택하면서 우리를 혼란의 길로 인도했는지 여부입니다. 저희는 그렇지 않다고 생각합니다. 오히려 저자들은 고도로 제도화되고 일상화된 교육 관행의 '체계적 부작용'10과 '예상치 못한 결과'11에 대한 우리의 집단적 이해를 풍부하게 했다고 생각합니다. 발머와 긴즈버그가 보다 제한된 개념에서 출발했다고 주장하는 것은 우리가 지지할 만한 답이 아닙니다. HC 현상에 대한 단일한 이해나 진실은 결코 존재할 수 없습니다. 
Why did Balmer et al employ the terms “explicit,” “implicit,” and “extra,” and why did Ginsberg and colleagues turn to “disavowed?” Although we do not pretend to speak for the authors, we assume that the respective concepts allowed the authors to explore optimally the issue(s) they wished to investigate and, in so doing, best express what they thought the data revealed. The issue before us, however, is whether, in selecting the terms they selected, the authors took us down a garden path of bewilderment. We think not. Instead, we believe that these authors enriched our collective understandings of the “systematic side effects”10 and the “unanticipated consequences”11 of highly institutionalized and routinized educational practices. Insisting that Balmer et al and Ginsberg et al draw from a more restricted set of concepts is not an answer we would endorse. There can never be a singular understanding or truth about HC phenomena.

마지막으로, Balmer와 동료들의 연구8가 이 범위 검토에 포함되었음에도 불구하고(범주 레이블로 "암시적"을 사용했기 때문에), Ginsburg와 동료들의 연구9는 포함되지 않았음에도 불구하고(세 가지 트리거 용어인 숨겨진, 암시적, 비공식적 모두를 피했기 때문에), 우리는 둘 다 "HC 연구"로 간주하며, 이 결론은 로렌스와 동료들의 검토 측면에서 Ginsberg와 동료들의 연구를 잘못된 부정으로 만드는 것은 우연이 아닙니다.  
Finally, in spite of the fact that Balmer and colleagues’ study8 was captured in this scoping review (because of its use of “implicit” as a category label) and Ginsburg and colleagues’ study9 was not (because it eschewed all of the three trigger terms: hidden, implicit, informal), we consider both to be “HC studies”—a conclusion which not-so-incidentally makes Ginsberg and colleagues’ study a false negative in terms of Lawrence and colleagues’ review.

앞의 단락에서 두 가지 중요한 자격 요건과 관련 논거를 살펴봤습니다. 첫째, HC 현상에 대한 모든 연구가 이러한 일반적인 이론적, 방법론적 틀에 속하기 위해 '숨겨진 커리큘럼'(또는 커리큘럼)이라는 용어를 사용해야 하는 것은 아닙니다. 예를 들어, 모든 참가자가 그룹 문제에 대한 대안적 해결책이 공식적인 규칙의 테두리를 벗어난다는 사실을 (연구를 통해) 충분히 알 수 있는 경우에도 해결 방안에 대한 연구를 HC 연구로 간주하는 것이 적절하고 개념적으로도 풍부하다고 생각할 수 있습니다. 이러한 유형의 일탈을 추구할 때 발생하는 상호주관성은 사회적 행위자가 자신의 사회적 지위를 손상시키지 않으면서 규칙을 어디까지, 어떤 맥락에서 구부릴 수 있는지에 대한 암묵적인 이해와 관련이 있습니다. 이 가상의 예에서 우리가 요청하는 것은 가상의 저자가 우회 방법을 실행하는 미시적인 사회적 상호작용을 "숨겨진" 것이 아니라 "비공식적인" 것으로 언급했다는 점입니다. 

The preceding paragraph brings us to two important qualifications and related arguments. First, not all studies of HC phenomena need to use the term “hidden curriculum” (or curricula) to fall within this general theoretical and methodological framework. For example, we would consider it appropriate, as well as conceptually enriching, to imagine a study on workarounds to be an HC study, even when it is abundantly clear (from the study) that all participants share understandings that their alternative solution to a group problem stands outside the boundaries of what the formal rules say should be taking place. The intersubjectivity generated from the pursuit of this type of deviancy relates to implicit understandings of how far and in what contexts social actors can bend the rules without compromising their social standing. All we would ask, in this hypothetical example, is that the fictional authors refer to the micro social interactions of executing the workaround as “informal” rather than “hidden.”

둘째, 이와 관련하여 로렌스와 그의 동료들처럼 연구자들이 프로젝트를 "HC 연구"라고 명명했음에도 불구하고 숨겨진 것이 아니라 비공식적인 사회적 관행에 대한 연구를 접한 적이 있습니다.3 그러나 이러한 관행이 위에서 언급한 것처럼 이 개념이 공식적인 사회적 과정과 공식적이지 않은 사회적 과정 사이의 단절 가능성을 사고하고 방법론적으로 탐구하기 위한 일반적인 조직 프레임워크이자 휴리스틱한 고안으로 기능할 수 있다는 사실을 바꾸지는 않습니다.3 이러한 탐구가 이루어지는 방식과 현상의 특정 뉘앙스를 분류하는 방식은 다양해야 한다고 주장합니다. 사회 역학의 복잡성은 이러한 이질성과 다양성을 보장합니다. 

Second, and related, we, like Lawrence and his colleagues, have encountered studies of social practices that are more informal than hidden even though the investigators have marqueed the project as an “HC study”3; however, this practice does not change the fact that the concept—as noted above—can function as a general organizing framework and a heuristic devise for thinking about and methodologically exploring the potential for disjunctures between formal and other-than-formal social processes.3 How this exploration takes place and how particular nuances of the phenomenon are labeled, we argue, should be varied. The complexity of social dynamics warrants such disparateness and diversity.

숨겨진 HC 문학
The Hidden HC Literature

앞서 논의한 내용을 고려할 때, 독자들은 세 가지 벡터를 따라 숨겨진 HC 연구의 사례를 고려해 보시기 바랍니다. 첫째, 긴즈버그와 동료들의 연구에서도 알 수 있듯이,9 관련 연구는 비정상적, 대안적 또는 전자연적 개념을 사용했다는 이유로 주어진 범위 검토에 포함되지 않을 수 있습니다. 로렌스와 동료들이 배포된 개념의 범위를 제한하라는 요구는 개념적 풍요로움의 손실을 초래할 수 있다고 생각합니다. 우리는 이론적 구성의 한계와 다양한 맥락에서의 적용 가능성을 명확히 하는 등 이론적 구성에 대한 지속적인 비교를 통해 한 분야의 개념적 성장이 제한되기보다는 촉진된다고 믿습니다. 
Given our preceding discussion, we invite readers to consider the case of hidden HC studies—and to do so along three vectors. First, and illustrated by Ginsberg and colleagues’ study,9 pertinent studies might not be included in a given scoping review by virtue of having used an aberrant, alternative, or preternatural concept. The call by Lawrence and colleagues to restrict the range of concepts deployed would, in our view, fuel a loss of conceptual richness. We believe a field’s conceptual growth is facilitated—rather than limited—by an ongoing comparison of theoretical constructs, including the articulation of their limits and applicability in different contexts.

두 번째 유형의 숨겨진 HC 문헌은 다른 곳에서 언급된 바 있으며3, 겉으로 드러나는 모든 목적이 장르 외부에 있는 작품으로 구성됩니다. Campbell과 동료들의 전국적인 의학 전문직업성 설문조사12가 그 예입니다. 조사 결과 중 저자들은 의사들이 "일반적으로 제안된 전문직 규범에 동의"하지만 "보고된 행동이 ... 항상 그러한 규범에 부합하는 것은 아니었다"고 지적합니다.12 이 결과는 HC와 직접적인 관련이 있지만, 저자들은 HC를 개념으로 전개하지 않았고, 의학교육 문제, 문화적 전달의 한 형태인 역할 모델링 또는 직업 정체성 형성, 사회화 및 학습 환경과 같은 관련 이슈로 논의를 확장하지도 않았습니다. 데이터를 고려할 때 합법적으로 그렇게 할 수 있었을까요? 물론입니다. 그럼에도 불구하고 그들은 그렇게 하지 않았고, 이것이 바로 이 연구가 "숨겨진" HC 연구인 이유입니다. 또한 이 연구는 다른 연구들과 함께13,14 전통적으로 조직화된(즉, 키워드 기반) HC 범위 검토로는 포착되지 않는 연구입니다.
A second type of hidden HC literature has been mentioned elsewhere3 and consists of work that for all apparent purposes stands outside the genre altogether. Campbell and colleagues’ national survey of professionalism in medicine12 is an example. Among their findings, the authors note that although physicians “generally agree with proposed professional norms,” their “reported behavior … did not always conform to those norms.”12 Although this finding has direct HC implications, the authors did not deploy the HC as a concept, nor did they extend its discussion to issues of medical education, to role modeling as a form of cultural transmission, or to related issues such as professional identity formation, socialization, and the learning environment. Might they have legitimately done so given their data? Absolutely. Nonetheless, they did not, and this is why this study is a “hidden” HC study. It also is a study, along with others,13,14 that would not be captured by a traditionally organized (i.e., keyword-based) HC scoping review.

다른 곳에서 HC 개념을 사용해 본 연구자를 포함하여 HC 개념에 친숙한 연구자라도 자신의 주장에 가장 적합하다고 생각되면 사용을 포기할 수 있습니다. 우리가 보기에, 파워포인트 슬라이드, 역량 및 화면 읽기가 의료 학습 환경에서 어떻게 "완벽한 인지 폭풍"을 구성하는지에 대한 Wear의 분석15은 특히 문제를 구성하고 데이터를 해석하는 방식을 고려할 때 HC 논문이라고 할 수 있습니다. 캠벨과 동료들의 연구와 마찬가지로,12 Wear의 분석은 전통적으로 조직화된(즉, 키워드 기반의) HC 범위 검토로는 포착되지 않으며, 심지어 Wear의 다른(그리고 더 공식적으로 태그가 지정된) 논문16,17이 Lawrence와 동료들의 범위 검토에 포함되었습니다. 우리는 사회생활의 공식적 차원과 공식적이지 않은 차원 사이의 근본적인 차이에 관심이 있는 연구자는 '캠벨식' 및 '웨어식' 연구를 접할 때 열린 '범위 지정 마인드'를 유지해야 한다고 생각하며, 이는 공식적으로 그렇게 분류된 논문만 존재할 수 있다고 믿는다면 일어날 수 없는 일이라고 생각합니다.
Even researchers intimately familiar with the HC concept, including those who have used it elsewhere, can forego its use when they feel their arguments are best served by doing so. In our view, Wear’s analysis15—of how PowerPoint slides, competencies, and screen reading constitute a “perfect cognitive storm” within medical learning environments—is an HC article, particularly given how Wear frames her problem and interprets her data. Like Campbell and colleagues’ study,12 Wear’s analysis would not be captured by a traditionally organized (i.e., keyword-based) HC scoping review—even as other (and more formally tagged) articles by Wear16,17 made the cut for Lawrence and colleagues’ scoping review. We believe that researchers who are interested in the underlying distinction between formal versus other-than-formal dimensions of social life need to keep an open “scoping mind” when encountering “Campbellesque” and “Wear-like” studies, which cannot happen if they believe that the only HC articles that can exist are those formally labeled as such.

셋째, HC에 대한 연구 이전에도, 그리고 지금도 계속되고 있는 풍부한 이론적 프레임워크와 개념적 도구가 있습니다. 의학교육 문헌에서는 HC를 교육 분야의 초기 연구로 추적하는 경향이 있지만, 이 개념은 사회학 분야, 특히 케임브리지(매사추세츠) 학계와 더 밀접하게 연관되어 있습니다.

• 우리가 알고 있는 가장 초기의 HC 관련 문헌은 1965년 하버드 박사 학위를 받은 프레드 스트로트벡(Fred L. Strodtbeck)18의 보고서/출판물이며, 이후 1970년대 초에 "중산층 가정의 숨겨진 교육과정"에 대한 연구가 하버드 논문과 논문으로 다수 발표되었습니다.3
• 한편, 매사추세츠 애비뉴에서 1마일 반 거리에 있는 매사추세츠 공과대학(MIT)의 벤슨 스나이더 교수19는 1960년대에 MIT와 웰즐리 대학의 학생 학습 전략을 비교 분석하는 데 기초가 될 데이터를 수집하기 시작했으며, 이를 '숨겨진 커리큘럼'이라고 제목을 붙였습니다.
• 하버드 대학원생 시절에 발표된 로버트 K. 머튼의 예상치 못한 결과 이론11(1936년), 표면적 기능과 잠재적 기능에 대한 그의 후기 연구,20 그리고 의학교육의 사회학에 대한 그의 획기적인 연구(학생-의사)21 등 여러 하버드 학생 및 교수진의 사회학적 연구와 HC의 관계는 더욱 밀접한 관련이 있으며, 여기서 그는 현대 의학 HC 장학금에서 비공식적이고 숨겨진 교육과정의 전달의 핵심으로 널리 알려진 역할 모델링 개념을 도입했습니다.
• 1961년(이번에는 북쪽으로 3마일 떨어진 곳에서) 시카고 대학의 사회학자 에버렛 C. 휴즈가 터프츠 대학에 도착했습니다. "공식적인 교육"과 "병동 경험" 사이의 격차를 강조한 휴즈의 간호교육에 대한 초기 연구22는 간호교육이 오랫동안 집중해온 "이론-실무 격차"23에 대한 기초를 형성하는 데 도움이 되었으며, 이는 HC와 강력한 개념적 연관성을 지닌 개념입니다. 우연히도 휴즈는 1950년대 말과 1960년대 초에 의학교육에 관한 두 번째 주요 연구인 하워드 베커와 동료들의 Boys in White를 수행할 연구팀의 멘토가 되기도 했습니다.24 

Third, there is a wealth of theoretical frameworks and conceptual tools that precede—yet continue to surround—work on the HC. Although the medical education literature tends to trace the HC to earlier work in the field of education, the concept has more proximal linkages to the field of sociology, in particular to the Cambridge (Massachusetts) academic community.

• The earliest HC reference we are aware of is a 1965 report/publication by Fred L. Strodtbeck,18 a Harvard PhD, whose study of “the hidden curriculum in the middle class home” was followed by a scattering of Harvard theses and dissertations during the early 1970s.3 
• Meanwhile, a mile and a half down Massachusetts Avenue, Massachusetts Institute of Technology (MIT) professor Benson Snyder19 began collecting data in the 1960s that would form the basis of his comparative analysis of student learning strategies at MIT and Wellesley College—something he titled The Hidden Curriculum.
• More proximal still are the HC’s ties to sociological works by several Harvard students and faculty, including Robert K. Merton’s (1936) theory of unanticipated consequences11 (published as a Harvard graduate student), his later work on manifest versus latent function,20 and his landmark study on the sociology of medical education (The Student–Physician),21 in which he introduced his concept of role modeling, a vehicle widely identified within contemporary medical HC scholarship as core to the transmission of informal and hidden curricula.
• In 1961 (and this time three miles to the north), former University of Chicago sociologist Everett C. Hughes arrived at Tufts University. Hughes’ early studies on nursing education,22 which highlighted the gap between “formal instruction” and “ward experience,” would help form the basis for nursing education’s long-standing focus on the “theory–practice gap”23—a concept with strong conceptual linkages to the HC. Not so incidentally, Hughes also mentored the research team that would carry out the second major study of medical education in the late 1950s and early 1960s, Howard Becker and colleagues’ Boys in White.24

우리의 전반적인 요점은 맥락적 민감성과 포용성입니다. HC를 명시적으로 식별하거나 명시적으로 라벨을 붙인 작품으로 제한하면 HC에 대해 많은 것을 배울 수 있지만, 너무 적게 배울 수도 있습니다. 사회과학, 교육, 간호 분야에서 HC와 유사하고 HC에 대한 정보를 제공하는 풍부한 연구는 특히 학습의 공식적 차원과 공식적이지 않은 차원, 그리고 보다 일반적으로 사회생활 사이의 춤에 대한 이해에 기여합니다.25 우리는 연구자들이 용어를 정의하고 변수를 명확하게 조작해야 한다는 Lawrence와 그의 팀 및 MacLeod4 의 의견에 동의하지만, 개념 어휘를 제한하는 것이 이 저자들이 지적한 문제에 대한 해결책이라고 생각하지 않습니다.  
Our overall point is one of contextual sensitization and inclusiveness. Although one can learn a great deal about the HC by limiting oneself to works that explicitly identify or expressly label the HC, one also can learn too little. A wealth of work within the social sciences, education, and nursing that is HC-like and HC-informing contributes to our understandings of the dance between formal and other-than-formal dimensions of learning specifically, and social life more generally.25 Although we concur with Lawrence and his team and MacLeod4 that researchers should define their terms and clearly operationalize their variables, we do not feel that restricting the conceptual lexicon is a solution to the problems identified by these authors.

두 가지 주요 논문
Two Key Articles

위에서 언급한 바와 같이, 맥레오드4 논문은 저자들이 스코핑 검토의 존재 이유를 스스로 밝힌 것입니다. 따라서 이 논문을 다시 살펴봄으로써 로렌스와 공동 저자들이 도출한 결론에서 왜 그리고 어떻게 벗어나는지 더 잘 설명하고자 합니다. 맥리드는 이 개념에 문제를 제기하기 위해 다음과 같은 여러 가지 도발적인 문제를 제기합니다:

• (1) 한때 '급진적'이고 '혁명적'이었던 개념이 시간이 지나면서 어떻게 '보편적'이 되었는지,
• (2) 한때는 숨겨져 있었지만 지금은 '쉽게 인식되는' 현상을 '비공식적'으로 분류해야 하는지, 아니면 공식적인 교육 환경의 일부로 분류해야 하는지;
• (3) '숨겨진 커리큘럼'이라는 단일 명칭은 잘못된 명칭이며, 우리가 분석하고자 하는 것은 여러 개의 '숨겨진 커리큘럼'으로 개념화하는 것이 가장 적합하다는 점,
• (4) 그녀가 가장 중요한 문제라고 밝힌 것은, "특정 관행에 '숨겨진'이라는 이름을 붙인 후과"이다. 즉, 그러한 '숨겨진' 이라고 명명함으로써, 그 명칭이 어떻게 행동에 대한 책임을 "스스로 부인하게" 할 수 있는지이다.

As noted above, the MacLeod4 article stands as the authors’ self-identified raison d’être for their scoping review. We thus revisit this article to better outline why and how we depart from the conclusions drawn by Lawrence and coauthors. In seeking to problematize the concept, MacLeod raises a number of provocative issues, including the following:

• (1) how a once “radical” and “revolutionary” concept may have become “commonplace” over time;
• (2) whether a phenomenon once hidden, but now “handily recognized,” should be categorized as either “informal” or perhaps even part of the formal educational landscape;
• (3) how the singular (hidden curriculum) is a misnomer, and that what we seek to analyze is best conceptualized as multiple “hidden curricula”; and
• (4) what she identifies as her most important issue, “the consequences of naming a particular practice ‘hidden’”—including how such a label might “allow us to disavow ourselves of responsibility” for action.

저희는 위의 모든 내용에 동의합니다. 특히 마지막 문제, 즉 어떤 것을 '숨겨진'이라고 명명하는 것이 어떻게 손댈 수 없거나 심지어 존재하지 않는 상태로 격상시킬 수 있는지에 대해 흥미를 느낍니다. 맥레오드가 제기한 문제 외에도, 누가 '숨겨진 것'을 범위를 벗어난 것으로 분류할 수 있는 권한을 가지고 있으며, 그러한 관행으로 인해 누가 이득을 볼 수 있는지에 대해서도 질문합니다. 이 과정에서 어떤 종류의 특권과 권력이 (재)생산될까요? 실제로 우리는 미시적인 과정을 통해 무언가를 '손댈 수 없는 것'으로 만드는 행위를 HC 효과로 연구할 수 있다고 주장할 수 있습니다. 맥레오드는 다른 주장과 마찬가지로 "우리 의학교육계는 문제가 되는 [HC] 관행을 파악하는 데 탁월한 성과를 거두었다"고 결론을 내리고, 따라서 오늘날의 필요성은 "만연한 교육 문제, 즉 실제로는 그렇게 숨겨져 있지 않은 것들"을 해결하는 것이라고 말합니다. 또는 지금까지 표적이 되어온 문제와 관련 개선 노력이 특권을 반영하고 있는 것은 아닌지 궁금합니다. 보건 전문직 교육 내에서 권력과 특권이라는 보다 근본적인 문제가 계속해서 방해받지 않고 도전받지 않고 방치되고 있는 것일까요? 

We agree with all of the above. We are particularly intrigued by the last issue, how the labeling of something as “hidden” might elevate it to the status of untouchable or even nonexistent. In addition to the issues MacLeod raises, we also ask, Who has the power to label something “hidden” as out-of-bounds, and who benefits from such practices? What kinds of privilege and power are (re)produced in this process? Indeed, we would argue that the act of rendering something “untouchable” through micro processes can be studied as an HC effect. In line with her other arguments, MacLeod concludes that “we in medical education have done a superb job in identifying the problematic [HC] practices,” and thus, she continues, today’s need is to address the long list of “pervasive educational issues—the things that really aren’t so hidden.” Alternatively, we wonder if what has been targeted thus far, along with related remedial efforts, reflects privilege? Do the more fundamental issues of power and privilege within health professions education continue to lie undisturbed and unchallenged?

HC 개념의 광범위한 사용은 이 용어가 더 광범위한 사회정치적 관계에 어떻게 연관되어 있는지 해체할 필요가 있다는 신호라는 결론을 내렸기 때문에(이 용어를 완전히 추방하라는 요구가 아니라) 로렌스 팀은 MacLeod4 논문과 마르티미나키스 및 동료들의 범위 검토를 연결할 수 있었습니다.2 마르티미나키스 팀2은 HC 구조를 의사 휴머니즘과 명시적 또는 묵시적으로 연결한 6개의 의학 교육 저널에 발표된 200건의 논문을 확인했습니다. 그러나 로렌스 팀과는 달리, 저자가 특정 HC 정의를 적용하지 않았더라도 HC 현상을 언급한 논문도 포함했습니다. 마르티미나키스와 공동 저자들은 전통적인 분류학적 접근법(범위 검토와 일치하는)을 넘어 비판적 담론 분석과 주제 분석 기법을 적용함으로써 검토에 포함된 텍스트를 데이터로 취급하여 HC의 구성과 휴머니즘의 아이디어를 연결함으로써 얻을 수 있는 교육적 효과를 도표화할 수 있었습니다. 그 과정에서 그들은 부정적인 역할 모델링을 초래하는 의사 교사의 도덕적 침식에 대한 강한 집착을 확인했습니다. 인본주의 진료에 대한 이러한 인식은 의대생과 교수진의 문제 행동을 겨냥한 개혁과 같은 특정 유형의 개입/대응을 다른 유형보다 우선시하는 결과를 낳았지만 조직, 기관, 더 광범위한 사회정치적 관계가 그러한 문제 행동을 유발할 수 있는 방식에 대한 고려는 거의 없었습니다. 학생, 다른 수련의, 교수진의 행동을 규제하는 것을 지나치게 강조하다 보니 전문직업성과 인본주의26가 혼동되고, 보건 경제, 정치, 관행에 반영된 직장의 이해관계가 어떻게 그리고 왜 교육적 이상과 어긋나게 되는지에 대한 인식이 부족해졌습니다. 결론적으로, 마르티미나키스와 동료들2은 보건 전문직 교육자들에게 전문직업성 문제와 휴머니즘 문제를 의도적으로 분리하는 것이 어떻게 다른 종류의 HC 연구와 교육 개혁에 기여할 수 있는지, 즉 의료 교육이 사회정치적 진공 상태에서 이루어지지 않는다는 것을 인정하는 것에서 시작되는 것을 고려하도록 도전합니다.  

A conclusion that the pervasive use of the HC concept signals the need to deconstruct how the term is implicated in broader sociopolitical relations (rather than a call to banish the term altogether) might have allowed the Lawrence team to bridge the MacLeod4 article and Martimianakis and colleagues’ scoping review.2 The Martimianakis team2 identified 200 articles published in six medical education journals that explicitly or implicitly linked the HC construct to physician humanism. In contrast to the Lawrence team, however, they included articles that referenced the phenomenon of the HC even if the authors did not deploy a specific HC definition. By moving beyond a traditional taxonomic approach (which is consistent with scoping reviews), and by applying critical discourse analysis and thematic analysis techniques, Martimianakis and her coauthors were able to treat the texts in their review as data, and thus chart the educational effects of linking the construct of HC to ideas of humanism. In the process, they identified a strong preoccupation with the moral erosion of physician teachers that results in negative role modeling. These perceived attacks to humanistic care resulted in the privileging of certain types of interventions/responses over others—namely, reforms targeting problematic behaviors of medical students and faculty members—but with very little consideration for how organizations, institutions, and broader sociopolitical relations might give rise to such problematic behaviors. This overemphasis on regulating the behaviors of students, other trainees, and faculty has contributed to the conflation of professionalism and humanism26 along with an underappreciation of how and why workplace interests reflected in health economics, politics, and practices become misaligned with(in) educational ideals. In conclusion, Martimianakis and colleagues2 challenge health professions educators to consider how the deliberate disentanglement of professionalism issues from humanism issues might contribute to a different kind of HC study and educational reform, one that begins by acknowledging that medical training does not happen in a sociopolitical vacuum.

이론적 전환의 과제
The Challenge of Theoretical Conversion(s)

이제 결론에 도달했습니다. 마르티미나키스 연구팀2의 범위 검토는 HC 구성이 의학교육 연구에서 점점 더 많이 활용됨에 따라 어느 정도 개념적 변이를 겪어온 과정을 보여줍니다. 과거에는 주로 사회 구조 및 시스템 수준의 개입에 초점을 맞추던 의학교육 내 개선 노력이 개인과 해로운 영향에 대한 회복력을 발휘하는 능력에 초점을 맞추기 시작하면서 상대적으로 발견되지 않은 리모델링을 거쳤습니다.

• 이러한 변화는 Ng와 동료들이 의학교육 내에서 성찰 담론이 "원래의 성찰 및 성찰적 실천 이론과 어떻게 분리되었는가"에 대해 보고한 것과 유사합니다.
• 마찬가지로, 리츠와 공동저자28는 사회적 책무성의 개념이 어떻게 그 의미에서 "현저한 다양화"("사회적 반응성" 및 "사회적 책임"과 같은 용어와의 혼용 포함)를 겪었을 뿐만 아니라 어떻게 "비판적 분석의 영역을 넘어 독립적으로 존재하는 것처럼 보이는 담론의 영역으로" 격상되었는지를 기록합니다.
• 마지막으로, 바르피오와 동료들은29 방법론적 틀이나 이론적 개념이 한 학문에서 다른 학문으로 전수될 때 이를 온전하게 유지하는 것이 거의 불가능에 가깝다는 점을 자세히 설명합니다.

This brings us to our concluding point. The scoping review by the Martimianakis team2 makes visible how the HC construct has undergone a degree of conceptual mutation as it has become increasingly deployed within medical education research. What once (within education) focused predominantly on social structural and systems-level interventions underwent a relatively undetected remodeling as remediation efforts within medical education began focusing on individuals and their ability to manifest resilience to pernicious influences.

• This transmutation is similar to one reported by Ng and colleagues27 on how the discourse of reflection within medical education has become “divorced from original theories of reflection and reflective practice.”
• Similarly, Ritz and coauthors28 document not only how the concept of social accountability has undergone a “marked diversification” in its meaning (including a conflation with terms like “social responsiveness” and “social responsibility”) but also how it has become elevated “to a realm of discourse where it appears to have an independent existence … beyond the realm of critical analysis.”
• Finally, in a broadly framed argument, Varpio and colleagues29 detail how keeping a methodological framework or theoretical concept intact when it is being expropriated from one discipline to another is nigh impossible.

이 전이 문제를 제기하면서 우리는 다시 맥레오드에게로 돌아가,4 먼저 HC 개념을 문제점으로 도출한 다음, "따라서" HC가 "그 과정을 거쳤다"는 그녀의 우려에 도달합니다. 우리는 맥레오드가 문제를 제기하는 것을 부끄러워하지 않지만, 우리가 우려하는 것은 (마르티미나키스와 동료들이 제안한 것처럼2) 문제가 되는 것은 개념 자체보다는 개념이 특권에 의해 편향적으로 적용될 가능성입니다. 즉, 의학교육자들은 다른 전문직과의 관계에서 의사의 보수가 어떻게 설정되는지를 포함하여 의료 자원 문제와 같은 [구조적 또는 제도적 장치가 직장에서의 비전문적 행동에 어떻게 기여할 수 있는지 탐구하기]보다는, [학습자와 교사의 행동을 규제하는 데] 더 집중할 가능성이 높습니다.

In raising this issue of transmutation, we again reach back to MacLeod,4 first to her distillation of the HC concept as a problem, and then to her “therefore” concern that HC has “run its course.” Although we unabashedly endorse MacLeod’s predilection to problematize, our concern is with the possibility (as suggested by Martimianakis and colleagues2) that what is problematic is the concept’s biased-by-privilege application rather than the concept itself. That is, medical educators are more likely to focus on regulating behaviors of learners and teachers rather than exploring how structural or institutional arrangements such as health resourcing issues, including how physician remuneration is set up in relation to other professions, may contribute to unprofessional behaviors in the workplace.

지금까지 공유한 모든 사례에서 우리는 의학을 상당한 문화적 영향력을 가진 힘의 장으로 보고 있으며, 따라서 그 경계 내에서 현상이 전개되는 방식을 "구부리거나", 재구성하거나, 왜곡할 수 있는 분야로 보고 있습니다. 또한, 의학은 "문화가 없는 문화"30라는 공상적인 믿음으로 인해 이러한 힘의 장이 더욱 악화되고 있으며, 따라서 문화의 보다 기본적이고 공통적이며 주관적인 힘의 외부 또는 그 위에 존재하는 사회적 관행의 한 형태라고 생각합니다. 리츠와 동료들을 떠올리면,28 헤게모니는 자기기만적이고 자기 강화적이며 궁극적으로 자기 영속적인 것으로 간주됩니다.

In all the examples we have shared thus far, we view medicine as a force field of considerable cultural influence, and thus a field that can “bend,” reshape, or otherwise distort how phenomena unfold inside its boundaries. Furthermore, we see this force field being exacerbated because of medicine’s fanciful belief that it is a “culture of no culture”30 and therefore a form of social practice that resides outside or above the more base, common, and subjective forces of culture. Recalling Ritz and colleagues,28 we see hegemony as self-deluding, self-reinforcing, and ultimately self-perpetuating.

따라서 HC 및 보건 전문직 교육의 경우, 계급 투쟁이 의학교육의 포스트 실증주의적 출발점에 거의 포함되지 않았기 때문에 HC의 마르크스주의적 뿌리(그리고 그에 상응하는 체계적 불평등에 대한 초점)는 의학교육 청중에게 거의 보이지 않았습니다.31 
Thus, and in the case of the HC and health professions education, the Marxist roots of the HC (and the corresponding focus on systemic inequities) largely have been invisible to a medical education audience because class struggles rarely have been part of medical education’s postpositivist starting points.31

그럼에도 불구하고 우리가 강조하고 싶은 점은, 비록 이 개념이 "잘못 적용"되었지만, (잃어버린 계보의 산물인) HC는 마르크스주의를 포함한 다른 비판적 형태의 학문이 자리 잡을 수 있는 패러다임적 토대를 개발하는 데 기여했다는 점입니다. 예를 들어 Ng와 동료27는 사람들의 일상과 노동에 기반을 두고 있기 때문에 마르크스주의적 기반이 강한 페미니스트 방법론인 제도적 민족지학의 교리를 의학 청중에게 소개합니다. 이들은 제도 민족지학의 초석인 '문제적'이라는 개념을 설명하는 것으로 시작합니다. 이들은 문제적인 것이 "현존하는 문헌에서 발견되는 것이 아니라 사람들의 일과 경험을 뒷받침하는 사회적 관계에서 발견되기 때문에 연구 문제와는 다르다."27(54쪽) 이어서 사람들의 일과 경험을 뒷받침하는 사회적 관계가 어떻게 "즉각적인 시야에서 숨겨져 있으며" "지역 및 지역 외 관행의 복잡한 그물망"의 일부인지를 설명합니다. 의학교육 맥락에서 기관 민족지학을 적용하는 것은 연구자들이 문화와 구조에 대한 설명을 넘어 일상적인 일상적 관행이 커리큘럼 제공과 학습에 미치는 영향을 이해할 수 있게 해준다는 점에서 HC 효과를 차트화하는 학자들의 관심사와 분명히 비교할 수 있습니다. HC 구조와 기관 민족지학을 결합하면 의학교육자와 학자가 암묵적 및 비공식적 영향에 대해 알고 있는 것을 구축하고 향상시킬 수 있는 잠재력이 있으며, 이는 Webster와 동료들이 경험적으로 입증한 바 있습니다.32 

Nonetheless, and in a point we wish to emphasize—even as the concept has also been “misapplied”—the HC (a product of the lost genealogy) has contributed to the development of a paradigmatic foundation for other critical forms of scholarship to take hold, including Marxist. Ng and colleagues,27 for example, introduce to a medical audience the tenets of institutional ethnography, a feminist methodology with strong Marxist underpinnings because it is grounded in the everyday lives and work of people. They start by explaining the concept of the “problematic” a cornerstone of institutional ethnography. They note that the problematic “is different from a research problem” because it “is not found in the extant literature, but within the social relations underpinning people’s work and experience.”27(p54) They go on to describe how the social relations underpinning people’s work and experiences “are often hidden from immediate view” and are part of a “complex web of local and extra local practices.” The application of institutional ethnography in medical education contexts is clearly comparable with the interests of scholars charting HC effects, for it enables researchers to move beyond the description of culture and structures to understanding how routine day-to-day practices affect curriculum delivery and learning. Combining the use of the HC construct with institutional ethnography signals potential to build and enhance what medical educators and scholars know about tacit and informal influences, a point demonstrated empirically by Webster and colleagues.32

마무리 생각
Closing Thoughts

로렌스와 동료들의 범위 검토는 매우 훌륭합니다. 저자들의 기본 방법론과 논문 식별 및 분석에 대해 제공하는 세부 사항은 다른 검토의 롤모델이 될 수 있습니다. 또한 HC에 대한 네 가지 정의 영역(제도-조직, 대인관계-사회, 상황-문화, 동기-심리)을 구분하고 이러한 영역을 네 가지 학문적 렌즈(각각 정책, 사회학, 인류학, 심리학)에 매핑한 것도 주목할 만합니다. 이러한 맥락에서, 우리는 또한 연구자들이 다루고자 하는 연구 질문의 학문적, 이론적 뿌리(HC에 초점을 맞추든 맞추지 않든)를 어느 정도 파악하고 있어야 한다는 로렌스와 동료들의 요청을 지지합니다. 
Much of Lawrence and colleagues’ scoping review is admirable. The authors’ underlying methodology and the details they provide on article identification and analyses are a role model for other reviews. Also noteworthy is their discernment of four definitional domains (institutional-organizational, interpersonal-social, contextual-cultural, and motivational-psychological) for the HC, along with their mapping of these domains to four disciplinary lenses (respectively, policy, sociology, anthropology, and psychology). Within this context, we also endorse Lawrence and colleagues’ call for researchers to have some idea of the disciplinary and theoretical roots underscoring the research question(s)—HC focused or not—that they seek to address.

이 네 가지 영역을 통해 우리는 항상 개념적 이질성을 염두에 두어야 한다는 결론에 도달하게 됩니다. 다음 HC 범위 검토에서 '숨겨진', '비공식적', '암시적'(로렌스와 동료들의 검토의 근거)과 같은 키워드를 포기하고 대신 로렌스와 동료들이 제시한 것과 같은(반드시 이에 국한되지는 않음) 규율적 렌즈를 적용하여 기본 개념적 지형을 탐색하고 매핑하려고 한다면 어떻게 될까요? 위에서 살펴본 HC 사고의 사회학적 기원에 대한 간략한 탐구는 저희에게는 흥미로운 여정이었습니다. 다른 탐구도 비슷하게 진행될 수 있다고 생각합니다. 래빗홀은 마음을 확장하는 서식지가 될 수 있습니다. 앨리스에게 물어보세요. 
These four domains bring us to a closing enticement—always with an eye toward conceptual heterogeneity. What if the next HC scoping review abandons keywords such as “hidden,” informal,” and “implicit” (the basis for Lawrence and colleagues’ review) and, rather, seeks to explore and map the underlying conceptual landscape by applying disciplinary lenses such as (but not necessarily restricted to) those provided by Lawrence and colleagues? Our brief foray above into the sociological origins of HC thinking was an exciting excursion for us. We think other explorations might be similarly undertaken. Rabbit holes can be mind-expanding habitats. Just ask Alice.

결국, HC 프레임워크 내에서 작업하는 데 관심이 있거나 HC 현상을 탐구하는 데 관심이 있는 사람들은 두 가지 문제적인 단어와 싸워야 합니다: "숨겨진"과 "커리큘럼".

• 첫 번째는 사회적 학습의 대부분이 공식적인 학습 영역과 공식적이지 않은 다양한 학습 영역 사이의 중간 공간에서 일어난다는 것을 알고 있음에도 불구하고 학습의 보다 암묵적이고 의도하지 않은 암묵적인 측면으로 우리를 편향시킵니다.
• 두 번째는 우리가 부당하게 생각하는 교육이라는 사회적 제도에 대한 제한입니다. 학습의 사회적 역동성과 구조적 구조는 "커리큘럼"이라는 단어에서 일반적으로 떠올리는 것의 벽을 훨씬 뛰어넘습니다.

In the end, those of us interested in working within an HC framework or interested in exploring HC phenomena must contend with two problematic words: “hidden” and “curriculum.”

• The first biases us toward the more implicit, unintended, and tacit sides of learning—even as we know that much of social learning takes place within an interstitial space between the formal and a range of other-than-formal domains of learning.
• The second restricts us—unduly we think—to the social institution of education. The social dynamics and structural architecture of learning extend far beyond the walls of what commonly comes to mind when we say the word “curriculum.”

1965년 스트로트벡이 중산층 가정에서 HC를 발견한 것에서 교훈을 얻을 수 있을까요? 스트로트벡은 중산층 가정의 아동과 "의존적 빈곤층 아동"이 "거의 무의식적으로" 획득하는 사회적 이점에 대해 관심을 가졌습니다. 물론 스트로트벡이 고민했던 것은 아직 사회학 어휘집에 등장하지 않은 사회적 자본의 문제였습니다. 따라서 앨리스는 또 다른 구성 요소(사회적 자본)가 HC와 어떻게 상호작용할 수 있는지, 따라서 사회적 관계, 사회적 학습, 사회적 삶이라는 마술처럼 광활한 춤 속에서 HC를 재위치시키기 위해 끊임없이 도전받는 우리를 관찰하는 것을 기쁘게 여겼을 것입니다.

Perhaps there is a lesson in Strodtbeck’s18 1965 identification of an HC in the middle class home? Strodtbeck was concerned with the social advantages differentially and “almost unconsciously” acquired by children from middle class homes versus “children from the dependent poor.” What Strodtbeck was wrestling with, of course, was the issue of social capital—a term that had not yet made its way into the sociological lexicon. Alice would be pleased to thus observe us wrestling with how yet another construct (social capital) might interface with the HC, and thus how we continuously are challenged to resituate the HC within the magically expansive dance of social relationships, social learning, and social life.

평가에 대한 메타포의 사용과 남용(Adv Health Sci Educ Theory Pract. 2023)
On the use and abuse of metaphors in assessment
Jacob Pearce1 · Neville Chiavaroli1 · Walter Tavares2

토론: 평가에서 은유의 사용과 단점
Discussion: On the uses and disadvantages of metaphors in assessment

제목에서 은유의 '사용과 남용'이라는 다소 자극적인 표현에서 벗어나, 니체의 동일한 에세이(Nietzsche, 1997)의 다른 번역본(홀링데일 저)을 논의의 출발점으로 삼아 평가 맥락에서 은유의 '사용과 단점'을 보다 냉정하게 검토해 보려고 합니다. 제시된 다섯 가지 사례를 보면 은유가 평가에 가져다주는 가치가 무엇이든 그에 상응하는 비생산적인 연관성, 함의 또는 오해가 발생할 수 있는 것으로 보입니다. 따라서 은유를 사용할 때는 잠재적 장점과 그에 따른 잠재적 단점에 세심한 주의를 기울여야 합니다. 
Departing from the more provocative language of the ‘use and abuse’ of metaphor in our title, we take a different translation (by Hollingdale) of Nietzsche’s same essay (Nietzsche, 1997) as the starting point for our discussion, and examine, more dispassionately, the ‘uses and disadvantages’ of metaphor in assessment contexts. From the five examples given, it seems that whatever value a metaphor brings to assessment, there are potentially corresponding counterproductive associations, implications, or misinterpretations that may arise. We thus need to pay careful attention to potential advantages and their corollary potential disadvantages when using metaphors.

널리 받아들여지는 은유의 타당성에 대한 잠재적 자기충족성은 평가 프로그램의 방어 가능성에 영향을 미칠 수 있습니다. 예를 들어, 저희는 교육 활동에서 픽셀 은유(및 다른 은유)를 여러 번 사용했으며, 대부분 긍정적인 반응과 새로운 이해에 대한 뚜렷한 감각을 느낀 적이 있음을 인정합니다. 그러나 다른 경우에는 서로 다른 암묵적 가정에서 비롯된 잠재적 혼란을 발견하기도 했으며, 모든 은유가 그렇듯이 이 은유에도 한계와 오해의 소지가 있다는 것을 깨닫게 되었습니다. '신 용어god term'(비슷하게 직관적이지만 역시 한계가 있는 또 다른 은유)에 대한 링가드의 경고는 여기서 적절하며, 그녀는 은유가 "반복적인 사용과 친숙함을 통해" "자연스럽고 보편적이며 필연적인 현실의 질서를 암시하게 될 수 있다"(Lingard, 2009, 627쪽)고 지적합니다. 예를 들어, 픽셀 은유를 채택하는 것이 반드시 타당한 평가를 의미한다고 잘못 생각할 수 있습니다(예: 샘플링 대상과 이유에 대한 세심한 주의 없이 샘플링하는 것)(Tavares et al., 2020a, b). 
The potential self-fulfilling nature of the validity of widely accepted metaphors could have implications for the defensibility of an assessment program. For instance, we acknowledge that we have found ourselves drawing on the pixel metaphor (and others) many times in our educational activities, with mostly positive responses and even a palpable sense of new understanding. Yet on other occasions we have also noticed potential confusion, stemming from differing implicit assumptions, helping us realise that this metaphor, as with all metaphors, also has limitations and potential misleadings. Lingard’s warning about ‘god terms’(another metaphor, similarly intuitive but also limited) is relevant here, about which she notes that “through repeated use and familiarity” a metaphor may “become suggestive of a natural, universal and inevitable order of reality” (Lingard, 2009, p. 627). For example, one may incorrectly assume that adopting the pixel metaphor necessarily implies valid assessment (e.g., sampling without careful attention to what is being sampled and why) (Tavares et al., 2020a, b).

라코프와 존슨은 은유가 "개념을 더 정의하고 적용 범위를 변경하기 위한 체계적인 장치"가 될 수 있는 방법을 설명합니다(Lakoff & Johnson, 2003, 125쪽). 개념을 추론하는 데 사용되는 은유는 일관성이 없을 수 있으며, 이는 불협화음과 긴장을 유발할 수 있습니다. 이러한 불협화음은 생산적이고, 생성적이며, 변혁적일 수 있습니다(Bono, 1990). 즉, 평가 은유가 중요하다는 것이 요점입니다. 실제로 "은유적으로 생각하는 방식이 중요합니다."(Lakoff & Johnson, 2003, 243쪽). 이 다섯 가지 (그리고 다른) 평가 은유는 우리가 평가에 대해 생각하고 실천하는 방식을 변화시킵니다. Lakoff와 Johnson의 말을 빌리자면, "상상력이 풍부하고 창의적인 은유는 ... 우리의 경험을 새롭게 이해할 수 있게 해 줍니다. 따라서 은유는 우리의 과거, 일상 활동, 우리가 알고 믿는 것에 새로운 의미를 부여할 수 있습니다."(Lakoff & Johnson, 2003, 139쪽). 

Lakoff and Johnson outline how metaphors may be “systematic devices for further defining a concept and for changing its range of applicability” (Lakoff & Johnson, 2003, p. 125). The metaphors used to reason about concepts may be inconsistent (Lakoff & Johnson, 2003, p. 273), which can lead to dissonance and tension. Such dissonance can be productive, generative, and transformative (Bono, 1990) – the point being that assessment metaphors matter. Indeed, “How we think metaphorically matters” (Lakoff & Johnson, 2003, p. 243). These five (and other) assessment metaphors change the way we think about and practice assessment. In the words of Lakoff and Johnson, “metaphors that are imaginative and creative … are capable of giving us a new understanding of our experience. Thus, they can give new meaning to our pasts, to our daily activity, and to what we know and believe” (Lakoff & Johnson, 2003, p. 139).

우리는 은유 자체와 은유가 선택되어 평가에 적용되는 방식 사이에 또 다른 중요한 구분을 하고자 합니다. 이 글 전체에서 비판해 온 것은 후자이며, 실제로 은유의 인스턴스화는 더 많은 비판을 필요로 합니다. 니체가 역사에서 그랬던 것처럼, 은유가 평가에 방해가 되지 않고 평가에 도움이 되려면 은유를 주의 깊게 파악하고 정교화하거나 설명해야 한다고 판단합니다. 따라서 이러한 요구를 해결하기 위해 은유를 배치하기 전에 구체적인 평가 요구가 무엇인지 맥락에서 파악하는 것이 출발점이 되어야 합니다. 

We want to make another important distinction, this time between the metaphors themselves, and the way they are selected and applied to assessment. It is the latter that we have been critiquing throughout this piece, and the instantiation of metaphors in practice necessitate further critique. In the same way Nietzsche does for history, we determine that metaphors must be carefully grasped and elaborated or explained if they are to be useful in serving assessment needs, rather than hindering assessment. The starting point should thus be determining what the specific assessment needs are, in context, before any metaphor is deployed to address those needs.

아래 표는 평가 맥락에서 특정 은유를 적용하는 것의 유용성을 일반적인 용도/장점 및 식별 가능한 측면의 상응하는 위험/단점 측면에서 도출하기 위한 시도입니다. 은유를 사용하는 이유, 은유가 작동하는 방식, 고려해야 할 중요한 측면에 대한 유형입니다. 행위자가 은유의 특정 인스턴스화를 단점 또는 장점으로 보는지 여부는 행위자의 관점에 따라 달라질 수 있습니다.

The box below is our attempt to draw out the utility of applying specific metaphors in assessment contexts, in terms of general uses/advantages and corresponding dangers/disadvantages of identifiable aspects. This is our typology of why metaphors may be deployed, how they work, and important aspects to consider. Whether an actor sees a particular instantiation of a metaphor as a disadvantage or advantage is likely contingent on their vantage point.

 

© 2023. The Author(s), under exclusive licence to Springer Nature B.V.

사회문화적 학습이론과 학습을 위한 평가 (Med Educ, 2023)
Sociocultural learning theory and assessment for learning
Damian Castanelli

학습을 위한 평가는 프로그램 평가 및 역량 기반 의학교육(CBME)을 구현하는 데 있어 매력적인 동기 부여입니다. CBME가 광범위하게 채택됨에 따라 이제 전 세계 대학원 의학교육 프로그램에 직장 기반 평가(WBA)가 포함되고 있습니다. 그러나 실행 보고서에 따르면 WBA에서 학습을 위한 평가의 약속과 실현 사이에는 차이가 있을 수 있습니다. 실제로 교수진과 학습자는 요약 평가와 형성 평가를 혼동하고,1 수퍼바이저는 코치와 심사위원 역할을 동시에 수행하기 위해 고군분투하고,2 수련생은 공연 준비에 집중했습니다.3 많은 임상 교사와 수련생에게 학습을 위한 평가의 약속과 실현 사이의 간극은 틈새이며, WBA가 약속한 학습 포상금은 여전히 달성하기 어려운 것으로 나타났습니다. 
Assessment for learning is an enticing motivation for implementing programmatic assessment and competency-based medical education (CBME). With the widespread adoption of CBME, workplace-based assessment (WBA) is now embedded in postgraduate medical education programmes worldwide. However, implementation reports suggest that there may be a gap between the promise and realisation of assessment for learning in WBA. In practice, faculty and learners have confused summative and formative assessment,1 supervisors have struggled to act as both coach and judge,2 and trainees have focused on staging a performance.3 For many clinical teachers and trainees, the gap between the promise and realisation of assessment for learning is a chasm, and the promised learning bounty of WBA remains elusive.

많은 임상 교사와 수련생에게 학습을 위한 평가의 약속과 실현 사이의 격차gap가 틈새chasm입니다. 
For many clinical teachers and trainees, the gap between the promise and realisation of assessment for learning is a chasm.

이러한 배경에서 Martin 외4는 최근 검토에서 실제로 학습을 위한 평가의 성취를 안내할 수 있는 프레임워크가 없다는 점을 강조했습니다. 이에 따라 이들은 빌렛의 보건의료 업무를 통한 학습 모델5을 채택하여 검토의 틀을 마련하고, WBA가 학습에 미치는 영향에 대한 이해를 증진하기 위해 사회문화적 학습 이론을 사용해야 한다고 주장했습니다. 이 연구는 사회문화적 학습 이론이 WBA에서 학습 평가를 더 잘 실현하는 데 어떻게 도움이 될 수 있을까라는 질문을 자극합니다. 그러나 이 문제를 다루기 전에 학습을 위한 평가가 어떻게 작동해야 하는지에 대한 명확한 설명이 필요합니다.
Against this background, Martin et al.4 have highlighted in their recent review that there is no framework available to guide the achievement of assessment for learning in practice. In response, they have adopted Billett's model of learning through health care work5 to frame their review and argue for the use of sociocultural learning theories to further our understanding of the impact of WBA on learning. This work stimulates the question—How might sociocultural learning theory help us better realise assessment for learning in WBA? But before addressing this, clarification of how assessment for learning is supposed to work is required.

명확하게 표현되는 경우는 드물지만, 프로그램 평가와 CBME 모두 학습에 대한 구성주의적 관점을 취합니다.6,7 WBA의 초점은 임상 실습에서 수행되는 활동이며,

• 연수생은 능동적인 학습자로 간주되는 반면, 슈퍼바이저는 코치 또는 멘토로 간주됩니다.
• 수련자와 슈퍼바이저는 학습 결과 또는 역량으로 표현되는 학습 목표를 정의할 수 있으며, 최근에는 위임 가능한 전문 활동으로 표현하기도 합니다.8
• 목표는 수련자가 향후 실습을 향상시키기 위해 슈퍼바이저의 전문적인 판단에 접근하는 피드백 대화가 이어지는 것입니다.7
• 수련자는 필요한 수행 기준에 대한 슈퍼바이저의 관찰과 지식을 사용하여 자신의 수행에 대해 성찰하고 개선 방법을 계획하며,9 자기 주도적인 실습이 되기를 바랍니다.10
• 구성주의 관점에서 학습은 사고의 변화입니다. 교육생은 이전 경험을 바탕으로 다른 사람과의 상호작용 및 상황에 따라 능동적으로 지식을 재구성합니다.

Although seldom articulated clearly, both programmatic assessment and CBME take a constructivist view of learning.6, 7 The focus of a WBA is an activity performed in clinical practice, and

• trainees are viewed as active learners while supervisors are seen as coaches or mentors.
• The trainee and supervisor may have defined learning goals, expressed as a learning outcome or competency or, more recently, an entrustable professional activity.8 
• The aim is that a feedback conversation ensues where trainees access the expert judgement of supervisors to enhance their future practice.7 
• The trainee uses the supervisor's observations and knowledge of the required performance standard to help them reflect on their performance and plan how they will improve,9 with the hope that this will become a self-directed practice.10 
• From a constructivist viewpoint, learning is a change in our thinking. Trainees build upon their prior experiences and actively re-organise their knowledge in response to their interactions with others and their context.

연구자들이 학습을 위한 평가가 효과가 없다고 말하는 것은 이러한 과정이 일어나지 않는다는 것을 의미합니다. 
When researchers say assessment for learning is not working, they mean this process is not occurring.

사회문화적 학습 이론은 환경과의 관계를 강조하는 다양한 철학적 토대에서 출발합니다. 

• 사회문화적 관점에서 우리는 맥락의 영향을 받는 고립된 개체가 아니라 항상 사회 전체의 일부이며 사회와 분리될 수 없습니다.11 
• 사고하고 행동하는 우리의 능력은 활동과 실천에 대한 적극적인 참여와 관여에서 비롯됩니다.12, 13 
• 그러한 활동에 참여할 때 우리는 변화에 영향을 미치고, 변화를 받기도 합니다.13 
• 사회문화적으로 활동은 학습을 함의하며, 따라서 학습은 여러 활동 중 한 가지 유형이 아니라 모든 활동에 필수적인 요소입니다.14 

Sociocultural learning theories start from different philosophic underpinnings that emphasise our connection with our environment.

• From the sociocultural viewpoint, we are not isolated entities affected by context but are always a part of the social whole and cannot be separated from it.11 
• Our capacity to think and act arises from active engagement and participation in activity and practice.12, 13 
• When we engage in such activity, we both effect change and are changed.13 
• Socioculturally, activity implies learning, so that learning is not one type of activity among many but integral to all activity.14 

사회문화적 학습 이론을 사용하여 WBA에서 일어나는 일을 더 잘 이해할 수 있는 잠재적 이점은 이전에 제안되었지만,15 여기서는 이러한 철학적 뿌리에서 비롯된 WBA의 학습에 대한 두 가지 통찰력을 강조하고자 합니다. 

• 첫째, 학습은 항상 일어나며 의도적인 교수 또는 학습 활동에만 국한되지 않는다는 것입니다.
• 둘째, 학습은 사고의 변화를 넘어 우리 자신의 변화를 수반한다는 것입니다.

While potential benefits in using sociocultural learning theories to better understand what is happening in WBAs have been proposed previously,15 I will highlight here two insights into learning from WBA that flow from these philosophical roots.

• Firstly, that learning is always occurring and is not confined to intentional teaching or learning activities.
• Secondly, that beyond a change in thinking, learning involves a change in ourselves.

사회문화적으로 활동은 학습을 의미하므로, 학습은 여러 활동 중 한 가지 유형이 아니라 모든 활동에 필수적인 요소입니다. Socioculturally, activity implies learning, so that learning is not one type of activity among many but integral to all activity.

CBME의 학습 결과는 일반적으로 교육과정에 교육생이 원하는 역량으로 문서화되는데, 이는 교육과정이 제정된 맥락에서 벗어난 일반적이고 추상적인 의미입니다.16 학습이 학습 환경의 실천에 필수적인 사회문화적 관점에서 볼 때,17 

• 이러한 역량 또는 모든 실무자에게 기대되는 '표준적' 지식16 은 필수적이지만 학습해야 할 내용에 대한 불완전한 설명입니다. 
• 연수생은 실제 실습에 참여하여 특정한 물리적, 사회적 맥락에서 다른 독특한 개인과 상호 작용하면서 배웁니다. 
• 무엇을 배우고 어떻게 배울 것인지는 훈련생들의 참여와 그들이 인식하는 기회에 따라 달라집니다.17 
• 커리큘럼 설계자가 의도한 대로, WBA는 감독관이 훈련생들이 표준 지식을 사용할 맥락에서 학습할 수 있는 기회를 제공할 수 있습니다.15 
• 그러나 학습은 항상 일어나기 때문에 의도한 학습이 없는 것처럼 보이는 곳에서도 다른 학습이 일어날 수 있습니다. 

The learning outcomes in CBME are generally documented in curricula as the competencies desired of trainees, in a generic and abstract sense that is removed from the context in which they are enacted.16 From a sociocultural viewpoint, where learning is integral to the practices of the learning environment,17 

• these competencies, or the ‘canonical’ knowledge16 expected of all practitioners, are essential but incomplete descriptions of what is to be learned.
• Trainees learn from engaging in authentic practice, interacting with other unique individuals in particular physical and social contexts.
• What is to be learned and how it is learned depend upon their engagement and the opportunities they perceive.17 
• As curriculum designers intend, WBAs may provide an opportunity for supervisors to help trainees learn canonical knowledge in the context where it will be used.15 
• However, given that learning is always occurring, where intended learning appears absent, there will still be other learning.

장 라브는 '학습이 일어난다는 것은 문제가 되지 않는다... 학습된 것은 항상 복잡하게 문제가 된다'고 언급했습니다.14 향후 연구에서는 의도된 학습이 일어나고 있는지에 좁게 초점을 맞추기보다는 한 걸음 물러나서 WBA에서 어떤 학습이 일어나고 있으며 어떻게 발생하는지 탐구할 수 있습니다.15 이러한 연구는 학습을 위한 평가가 주로 훈련생이 표준 지식을 학습하도록 돕는다는 현재의 이해를 넓히고10 사회 문화적 관점에서 적절한 이론적 틀을 제공하는 데 도움이 될 수 있을 것입니다.
Jean Lave noted, ‘that learning occurs is not problematic … what is learned is always complexly problematic’.14 Rather than focusing narrowly on whether desired learning is occurring, future research could take a step back and explore what learning is occurring in WBA and how it comes about.15 Such research could help broaden our current understanding that assessment for learning primarily entails helping trainees learn canonical knowledge10 and a sociocultural perspective could provide suitable theoretical framing.

의도된 학습이 부재한 것처럼 보이는 경우에도 다른 학습이 있을 수 있습니다.
Where intended learning appears absent, there will still be other learning.

학습에 대한 사회문화적 이해에서는 지식을 동화시키고 '다르게 생각하는 법'을 배우는 것을 넘어, 수련생은 특정 맥락에서 전문직의 관행을 알고 이에 기여하게 됩니다.17 이러한 관행은 지역 역사 및 문화와 일치하지만, 각각의 재현은 고유하기 때문에 관행도 진화합니다. 수련생은 실습에 참여하는 동안 전문직의 가치와 신념에 동화됩니다.18 또한 수련생은 수퍼바이저와 자신을 차별화하여 기관의 한 개인이 되어 전문직 발전에 기여하고 실천 공동체의 완전한 구성원이 됩니다.18 Martin 등이 제안했듯이 향후 연구에서는 WBA가 학습의 이러한 측면에 어떻게 기여하는지 살펴볼 수 있습니다. 
In a sociocultural understanding of learning, beyond assimilating knowledge and learning to ‘think differently’, the trainee comes to know and contribute to the profession's practices in their particular context.17 Such practices concord with local history and culture, yet practice also evolves because each reproduction is unique. Trainees assimilate the profession's values and beliefs while they participate in practice.18 Additionally, trainees differentiate themselves from their supervisors, becoming an individual with the agency to contribute to the profession's development and assume full membership of their community of practice.18 As Martin et al. suggest, future research could explore how WBAs contribute to these aspects of learning.

사회문화적 관점에서, 의도한 대로 [학습을 위한 평가]를 달성하는 것으로 돌아가면, 수련생이 배우는 실무에는 전문직의 평가 관행이 포함됩니다. 임상 교사와 학습자가 학습을 향상시키기 위해 참여하는 활동인 WBA는 교육학적 관행을 나타냅니다.5 학습은 공동 생산되고 수련생은 자신의 경험, 가치, 동기를 가진 주체적 학습자이므로 수퍼바이저와의 상호작용은 각각 고유한 학습 사건을 나타냅니다. 슈퍼바이저와 실습생은 각 WBA에서 평가 실습이 어떻게 시행되는지에 대한 이해를 더합니다. 슈퍼바이저와 실습생은 참여를 통해 현지 평가 관행을 재현할 뿐만 아니라 잠재적으로 변화시킬 수 있습니다.
Circling back to achieving assessment for learning as intended, from a sociocultural point of view, the practices which trainees learn include the profession's assessment practices. WBA, as an activity that clinical teachers and learners participate in to enhance learning, represents a pedagogical practice.5 Since learning is co-produced and the trainee is an agentic learner with their own experience, values and motivation, each interaction with a supervisor represents a unique learning event. The supervisor and trainee add to their understanding of how assessment practice is enacted in each WBA. Through their participation, the supervisor and trainee not only reproduce but potentially change local assessment practices.

슈퍼바이저와 연수생은 참여를 통해 현지 평가 관행을 재생산할 뿐만 아니라 잠재적으로 변화시킬 수 있습니다.
Through their participation, the supervisor and trainee not only reproduce but potentially change local assessment practices.

WBA 연구에 사회문화적 프레임워크를 적용하면 WBA를 통한 학습의 복잡한 관계적, 맥락적 요소를 조사할 수 있습니다. 이러한 연구는 진화하는 WBA 문화에 대한 이해를 높이고 잠재적인 개선의 길을 제시할 수 있습니다. 예를 들어, 빌렛의 어포던스 및 참여 프레임워크는 직장에서 인식되는 초대적 특성이 연수생의 학습 참여에 어떻게 중요한 영향을 미치는지를 강조합니다.17 연수생의 참여 방식은 적어도 부분적으로는 감독자의 행동을 반영합니다. 따라서 각 WBA는 동기 부여가 된 감독자와 수련생이 현지 평가 실습이 원하는 방식으로 발전하도록 도울 수 있는 기회를 제공합니다. 
Applying a sociocultural framework in WBA research would allow us to examine the complex relational and contextual elements of learning through WBAs. Such research might enhance our understanding of the evolving culture of WBA and generate potential avenues for improvement. For example, Billett's framework of affordances and engagement emphasises how the perceived invitational qualities of the workplace critically influence trainee engagement in learning.17 At least in part, how the trainee engages reflects supervisor behaviour. Each WBA, therefore, represents an opportunity for motivated supervisors and trainees to help their local assessment practice evolve in the way they desire.

WBA 연구에 사회문화적 프레임워크를 적용하면 WBA를 통해 학습의 복잡한 관계적, 맥락적 요소를 조사할 수 있습니다.
Applying a sociocultural framework in WBA research would allow us to examine the complex relational and contextual elements of learning through WBAs.

학습을 위한 평가를 구현하는 것은 평가 관행의 혁신적인 변화를 의미하며7, 이러한 변화는 WBA 기간 동안 급격하게 부각됩니다. 직장 학습에 대한 사회문화적 이론은 학습을 위한 평가를 달성하는 데 방해가 되는 어려움을 더 잘 이해하고 이에 대응할 수 있는 매력적인 프레임워크를 제공합니다. 이러한 이론은 우리가 학습이라고 생각하는 것과 학습이 발생하는 시기를 확장할 수 있게 해줍니다. WBA를 재생산되면서 발전할 수 있는 관행으로 보는 것은 WBA를 개선하고 학습을 위한 평가를 더 잘 실현할 수 있는 새로운 기회를 제공할 수 있습니다.

Implementing assessment for learning represents a transformative change in assessment practice7 and that change comes sharply into focus during WBAs. Sociocultural theories of workplace learning provide an attractive framework to better understand and respond to the difficulties impeding us from achieving assessment for learning. They allow us to expand what we think of as learning and when we think learning occurs. Viewing WBAs as a practice that can evolve as it is reproduced may provide new opportunities to improve WBAs and better realise assessment for learning.

표면 아래로 긁어보기: 어떻게 조직문화가 교육과정 개편에 영향을 미치는가 (Med Educ, 2022)
Scratching beneath the surface: How organisational culture influences curricular reform 
Adarsh P. Shah1 | Kim A. Walker1 | Lorraine Hawick1 | Kenneth G. Walker2 | Jennifer Cleland3 

1 소개
1 INTRODUCTION

커리큘럼 개혁은 종종 의학교육 및 수련의 문제를 해결하기 위한 수단으로 제안됩니다. 그러나 이전 연구에 따르면 커리큘럼 개혁은 최선의 의도를 가지고 있더라도 눈에 띄는 변화로 이어지지 않을 수 있다고 합니다.1-4 실제로 화이트헤드와 동료들1은 회전목마라는 은유를 사용하여 커리큘럼 개혁의 주제가 반복적으로 순환하는 것을 설명합니다. 이 회전목마에서 벗어나려면 근본적으로 한 가지 업무 방식에서 다른 방식으로 변화해야 합니다. 
Curricular reform is often proposed as the means to address issues with medical education and training. However, previous studies have suggested that curricular reform, even with the best of intentions, may not lead to noticeable change.1-4 Indeed, Whitehead and colleagues1 use the metaphor of a carousel to illustrate that the returning themes of curricular reform circle around repeatedly. Getting off this carousel fundamentally requires changing from one way of doing things to another.

대부분의 조직 변화와 마찬가지로 커리큘럼 개혁은 리더가 커리큘럼의 비전, 구조 또는 절차를 변경할 것을 제안한 다음 다른 사람들이 그 제안을 실행하도록 설득하여 추진하는 경향이 있습니다.5-8 그러나 이러한 하향식 변화 노력은 종종 의도한 목적을 달성하지 못하고 오히려 개인과 그룹의 혼란, 변화에 대한 저항, 의도하지 않은 결과를 초래합니다.9-11 이는 이전에 커리큘럼 개혁 시도가 도전적이고 파괴적인 것으로 묘사되었던 의학 교육에서도 다르지 않습니다.12 
As with most organisational change, curriculum reform tends to be driven by leaders who propose to change the vision, structure or procedures of a curriculum and then persuade others to implement their recommendations.5-8 However, such top-down change efforts often fail to meet their intended purposes and instead result in disturbance, resistance to change from individuals and groups, and unintended consequences.9-11 This is no different in medical education, where attempts to reform curricula have been previously described as challenging and disruptive.12

커리큘럼을 개혁하려면 조직의 프로세스, 시스템 및 구조를 변경해야 하는데, 어느 것 하나 쉽게 바꿀 수 있는 것은 없습니다. 그러나 문화를 바꾸는 것은 훨씬 더 어렵습니다. 경영 문헌에서는 조직 문화, 즉 '조직 구성원의 당연한 가정과 행동'13(171쪽)이 변화 실행에 중요한, 실제로 가장 큰 장벽이라는 점을 분명히 하고 있습니다.14-16 조직 문화가 변화 과정에 영향을 미친다는 것은 비즈니스,17, 18 고등 교육,19 및 보건 및 의학 교육에서 입증되었습니다.20-26
Reforming a curriculum involves changing organisational processes, systems and structures, none of which is easy to change. However, even more challenging is changing culture: the management literature is clear that organisational culture—‘the taken-for-granted assumptions and behaviours of an organisation's members’13 (p171)—is a significant, indeed the greatest barrier, to change implementation.14-16 That organisational culture influences change processes has been demonstrated in business,17, 18 higher education,19 and healthcare and medical education.20-26

요컨대, 커리큘럼 개혁을 이해하려면 조직 문화에 대한 이해가 필요합니다. 그러나 의학교육의 변화/교육과정 개혁을 평가하는 경험적 연구들은 종종 관찰 결과를 설명하기 위해 문화를 언급하지만,27-29 이러한 연구들은 교수진의 전통과 가치를 충분히 인정하지 않는다는 비판을 받아왔습니다.9 다른 사람들은 의학교육 학자들이 '문화'라는 단어를 이해하기 위해 이론에 기반한 접근법을 간과했다고 제안합니다.28 따라서 의학교육 문헌에는 조직 문화가 어떻게 변화를 형성하는지 이해하기 위해 이론 중심 접근법을 사용하는 데 공백이 있습니다.30 이러한 이해는 변화를 제한하는 문화의 측면을 식별하고 해결하는 데 필요합니다.31, 32 
In short, to understand curriculum reform requires an understanding of organisational culture. However, although empirical studies evaluating change/curricular reform in medical education often invoke culture to explain their observations,27-29 these studies have been criticised for insufficiently acknowledging faculty traditions and values.9 Others suggest that medical education scholars have overlooked theory-informed approaches to demystify the word ‘culture’.28 A gap in the medical education literature thus exists for the use of theory-driven approaches to understand how organisational culture shapes change.30 This understanding is necessary to ensure aspects of culture, which may limit change are identified and addressed.31, 32

영국에서 초기 외과 수련의 커리큘럼 개혁('개선 외과 수련(IST)')33 이 시행되면서 외과 교육 및 수련에서 변화 실행에 대한 문화적 장벽과 이를 가능하게 하는 요인을 조사할 수 있는 자연스러운 기회가 생겼습니다. 시험 합격률, 외과 수련 지속 의향, 추후 프로그램 충원율과 같은 조잡한 결과 측정에 따르면 IST는 국가 차원에서 성공을 거두었습니다.34, 35 그러나 평가 데이터에 따르면 병원 간 이행과 수련생 및 강사의 IST 성공에 대한 인식에 차이가 있는 것으로 나타났습니다. 이러한 차이와 뿌리 깊은 가치와 관행이 수술에서 외부의 영향에 대해 강력한 저항력을 발휘할 수 있다는 이전 연구 결과를 고려할 때,36-39 우리는 문화가 변화에 미치는 영향을 고려할 가치가 있다고 생각했습니다. 따라서 우리의 구체적인 연구 질문은 조직 문화가 스코틀랜드 전역에서 IST를 구현하는 데 어떤 방식으로 영향을 미쳤는가 하는 것이었습니다. 
The roll out of a curricular reform of early-years surgical training in the UK (called ‘Improving Surgical Training (IST)’)33 was a natural opportunity to examine cultural barriers to, and enablers of change implementation in surgical education and training. IST had met with success at national level according to crude outcome measures as examination pass rates, intention to continue training in surgery and fill rates of onward programmes.34, 35 However, evaluation data showed variations in implementation between hospitals, and in trainees' and trainers' perceptions of the success of IST. Given these variations, and previous findings that deep-seated values and practices can exert powerful resistance to external influence in surgery,36-39 we considered that the influence of culture on change was worthy of consideration. Thus, our specific research question was: in what ways did organisational culture influence the implementation of IST throughout Scotland?

2 방법
2 METHODS

우리는 측정보다는 이해에 관심이 있었기 때문에 질적 접근법을 채택했습니다.40 이 연구는 현실이 사회적으로 구성되므로 지식 구성 및 축적 과정에서 문화와 맥락이 중요하다는 사회 구성주의에 기반을 두고 있습니다.41 우리는 개별 인터뷰를 통해 참가자들의 교육과정 개혁에 대한 경험, 개혁의 문화적 장벽과 조력자에 대한 견해 등을 탐색했습니다. 
We adopted a qualitative approach given our interest was understanding rather than measuring.40 Our study was underpinned by social constructivism, acknowledging that reality is socially constructed and thus culture and context are important in the process of knowledge construction and accumulation.41 We used individual interviews to explore participants' experiences of a curricular reform, including their views of cultural barriers to, and enablers of reform.

2.1 연구 배경
2.1 Context

연구 배경은 영국의 외과 수련(레지던트), 특히 의과대학 졸업 후 2년의 일반 파운데이션 프로그램 다음 단계인 대학원 외과 수련의 첫 2년간이었습니다. 핵심 외과 수련(CST)으로 알려진 이 외과 수련의 초기 단계는 수련의에게 다양한 외과 전문 분야에 걸쳐 폭넓은 경험을 제공하는 것을 목표로 합니다. 
Our context was UK surgical training (residency), specifically the first 2 years of postgraduate surgical training, which follows the 2-year generic Foundation Programme, which in turn follows medical school. This initial stage of surgical training, known as Core Surgical Training (CST), aims to give trainees a broad exposure across different surgical specialties.

2013년 수련의 형태 보고서는 서비스 제공과 수련 사이의 불균형, 수련 시간 부족, 수련 과정의 유연성 부족 등의 문제를 해결하기 위해 대학원 의학 교육에 변화를 권고했습니다.42-44 이러한 문제는 특히 CST에서 두드러지게 나타났습니다. 핵심 외과 수련의(일반적으로 레지던트 1, 2년차에 해당하는 CT1 또는 CT2라고 함)는 교대 근무와 과중한 임상 서비스 업무량으로 인해 수술 경험이 제한되고,43, 49, 50 팀 내 '소속감'이 낮고 수련의와의 관계가 상대적으로 좋지 않아 교육 및 수련 경험에 불만을 오랫동안 보고해 왔습니다.51, 52 이러한 긴장을 해소하고 수련 경험의 질을 개선하기 위해 '외과 수련 개선(IST)'이 제안되었습니다.33 IST의 권고사항은 다음에 중점을 두었습니다. 

• 수련의의 근무 시간을 줄이고 근무 주 동안 수련에 할애하는 시간을 늘리고
• 교육/임상 감독 역할을 하는 컨설턴트 외과 의사(이하 트레이너)가 수련 제공에 더 많은 시간을 할애할 수 있도록 하고,
• 로테이션 기간을 늘려 수련의와 트레이너 관계를 개선하며,
• 더 집중적인 수련 기회(예: 시뮬레이션)를 제공하고,
• 더 넓은 외과 팀 내에서 의료 전문가가 환자 치료를 제공하도록 참여시켜 수련의가 자유롭게 수련을 받을 수 있도록   

In 2013 the Shape of Training report recommended changes to postgraduate medical education to address problems including the imbalance between service provision and training, the lack of time for training and the lack of flexibility during the training process.42-44 These problems were particularly notable in CST. Core surgical trainees (usually referred to as CT1 or CT2s, equivalent to residency years 1 and 2) had long reported dissatisfaction with their education and training experiences45-48 because of shift working and heavy clinical service workloads, which limited surgical experience,43, 49, 50 and led to a lower sense of ‘belonging’ within teams and relatively poor relationships with their trainers.51, 52 ‘Improving Surgical Training (IST)’ was proposed to redress these tensions and to improve the quality of training experience.33 IST's recommendations focused on

• reducing trainees' service commitments and increasing the time dedicated to training during the working week,
• enabling Consultant Surgeons with educational/clinical supervision roles (henceforth trainers) to dedicate more time to deliver training,
• increasing the length of rotations to enhance trainee-trainer relationships, more focused training opportunities (e.g. simulation) and
• involving health professionals within the wider surgical team to deliver patient care thereby freeing trainees to seek training.

구체적인 상황은 2018년 8월부터 모든 CST 포스트에서 IST를 시행한 영국 스코틀랜드였습니다. 다른 영국 지역과 비교했을 때, 스코틀랜드에서는 교육 감독관의 추가 시간을 확보하고 CST 전반에 걸쳐 광범위한 시뮬레이션 기반 교육 프로그램을 제공하는 데 특히 우선순위를 두었습니다.53
Our specific context was Scotland, UK, where IST was implemented across all CST posts from August 2018. Compared with the other UK sites, in Scotland particular priority had been put on resourcing Educational Supervisors' additional time, and on providing an extensive programme of simulation-based training throughout CST.53

2.2 참가자
2.2 Participants

스코틀랜드 전역에서 매년 45~55명의 핵심 외과 수련의(CT)가 스코틀랜드 동부와 서부 두 개의 프로그램에 배정되며, 각 프로그램은 교육 프로그램 디렉터가 이끌고 있습니다. CT는 지역 3차 병원, 지역 종합병원, 지방 병원 등 다양한 병원 환경에서 14개 지역 보건위원회에 걸쳐 제공됩니다. 프로그램은 4~6개월의 순환 근무로 구성되며, 각 순환 근무 기간 동안 각 수련의에게는 한 명의 교육 감독관과 여러 명의 지명된 임상 감독관이 배정됩니다. 
There is an annual intake of 45–55 core surgical trainees (CTs) across Scotland, assigned into two programmes, East and West of Scotland, each of which is led by a Training Programme Director. CST is delivered across 14 territorial Health Boards, in a wide variety of hospital settings: regional tertiary units, district general hospitals and rural hospitals. The programmes consist of 4-to-6-month rotations and during every rotation each trainee is assigned one educational supervisor and several nominated clinical supervisors.

프로젝트 승인과 적절한 기관의 동의(이후 참조)를 받은 후 스코틀랜드 전역의 CT와 트레이너가 연구에 참여하도록 초대되었습니다. 두 명의 교육 프로그램 디렉터가 2020년 4월부터 8월(교육생 및 트레이너)과 2021년 2월부터 5월(트레이너만) 사이에 우리를 대신하여 잠재적 참가자에게 이메일을 통해 초대장을 보냈습니다. 또한 연구팀과 참가자들에게 잠재적 참가자를 식별하는 데 도움을 요청했습니다(스노우볼 샘플링54). 두 차례의 참가자 모집 기간 동안 연구에 대한 알림 이메일을 두 차례 보냈습니다. 관심 있는 참가자는 연구 책임자에게 직접 이메일로 연락하여 연구에 대한 자세한 정보를 제공받았습니다. 
On receiving project approval and appropriate institutional consents (see later), CTs and trainers from across Scotland were invited to participate in the study. The two Training Programme Directors emailed invitations to prospective participants on our behalf, between April to August 2020 (trainees and trainers) and February to May 2021 (trainers only). We also asked members of the research team and participants for assistance in identifying potential participants (snowball sampling54). Two email reminders about the study were sent during both participant recruitment rounds. Interested participants were asked to contact the main researcher directly by email and were then provided with more information about the study.

2.3 데이터 수집
2.3 Data collection

연구팀은 문헌17, 28 및 팀 내 논의와 스코틀랜드에서 IST를 조직하고 제공하는 관계자들과의 토론을 통해 반구조화된 인터뷰 일정55을 개발했습니다. 인터뷰 질문은 IST 시행 후 참가자들의 감독 및 교육에 대한 개별 경험을 탐색하기 위해 고안되었습니다. 또한 IST에 대한 조직 참여의 장벽과 조력자에 대한 참가자들의 견해를 조사하는 질문도 포함되었습니다. 
We developed a semi-structured interview schedule55 informed by the literature17, 28 and by discussions both within the team and more widely with those involved in organising and delivering IST in Scotland. Interview questions were designed to explore participants' individual experiences of supervision and training following IST implementation. Questions also probed participants' views of barriers and enablers to organisational engagement with IST.

인터뷰 일정은 일관성을 유지하되, 참가자가 자신의 경험을 충분히 공유했다고 느낄 때까지 반복적으로 인터뷰를 진행했습니다. 가능한 한 개방형 질문을 통해 토론을 유도하고 필요한 경우 질문으로 보완했습니다. 데이터는 코로나19 팬데믹 기간 동안 수집되었기 때문에 인터뷰는 Microsoft Teams 플랫폼을 사용하여 AS가 가상으로 진행했습니다.
The interview schedule ensured consistency, but interviews were iterative and continued until the participant felt that they had shared their experiences sufficiently. Open questions guided discussion as far as possible, supplemented by probes where required. Data were collected during the Covid-19 pandemic and so interviews were conducted virtually by AS using the Microsoft Teams platform.

2.4 데이터 분석
2.4 Data analysis

인터뷰는 나중에 필사하기 위해 디지털 오디오 녹음으로 진행되었습니다. 전사 과정에서 참가자는 익명으로 처리되었습니다. 녹취록은 데이터 관리 및 코딩을 용이하게 하기 위해 질적 데이터 분석 소프트웨어 NVivo v12.0(QRS International Pty Ltd, 호주 빅토리아주 동커스터)에 입력되었습니다. 먼저 주제와 하위 주제를 식별하기 위해 주제별 분석을 실시했습니다.56 예비 코드에 대한 팀 토론과 코딩 불일치를 해결한 후, 연구 질문에 초점을 맞춰 반복적이고 귀납적으로 코딩을 진행했습니다. 그 후, 추가 팀 토론과 JC의 경영 이론 및 문헌 지식을 바탕으로 단순한 주제별 분석을 넘어 Johnson의 문화 웹 이론을 사용하여 조직 문화를 비판적으로 분석했습니다.13 이 모델은 조직 문화의 발현과 이것이 IST의 실행에 어떤 영향을 미쳤는지를 드러내는 시각적 접근 방식을 제공했습니다.57-61  
Interviews were digitally audio-recorded for later transcription. Participants were anonymised during the transcription process. Transcripts were entered into the qualitative data analysis software NVivo v12.0 (QRS International Pty Ltd, Doncaster, Victoria, Australia) to facilitate data management and coding. We initially conducted a thematic analysis to identify themes and sub-themes.56 After team discussions of preliminary codes and resolution of any coding disagreements, coding occurred iteratively and inductively, focusing throughout on the research question. After this, following further team discussion and drawing on JC's knowledge of management theories and literature, we extended beyond simple thematic analysis to critically analyse organisational culture using Johnson's cultural web theory.13 This model offered a visual approach to expose the manifestations of organisational culture and how these might have influenced the implementation of IST.57-61

존슨의 문화 웹 모델은 세 가지 전제를 바탕으로 합니다. 

• 첫째, 조직 문화는 '조직 구성원의 당연한 가정과 행동'이라는 전제입니다.13(171쪽) 이러한 '당연함'은 조직 문화를 명확하게 표현하기 어렵게 만들며, 문화 웹 모델은 조직의 문화를 해명하고 시각화하는 데 도움이 됩니다.62
• 두 번째 전제는 문화 웹 모델의 6가지 요소 또는 인공물(루틴과 의식, 스토리, 상징, 권력 구조, 통제 시스템, 조직 구조)과 이들이 어떻게 관련되어 있는지 이해해야 중심 문화 패러다임을 이해할 수 있다는 것입니다(그림 1 참조). 문화 웹 이론에서 패러다임은 반드시 명시적이지 않고 문제가 되지 않는 가정에 대한 '큰 그림'을 의미하므로 과학 연구에서 패러다임의 의미와는 매우 다르다는 점에 주목할 필요가 있습니다.
• 세 번째 전제는 조직 내 변화와 같은 역사적 사건을 개인이나 집단이 어떻게 경험했는지가 현재의 행동과 미래 전략을 결정하는 데 중요한 역할을 한다는 것입니다. 예를 들어, 인수합병이나 매각과 같은 사건은 현재의 신념과 행동에 영향을 미치고, 이는 다시 미래의 환경 변화에 대한 대응을 결정합니다.

Johnson's cultural web model is built on three premises.

• First, that organisational culture is ‘the taken-for-granted assumptions and behaviours of an organisation's members’.13(p171) This ‘taken-for-grantedness’ makes articulating organisational culture difficult, and the cultural web model helps elucidate and visualise the culture of an organisation.62
• The second premise is that the six elements, or artefacts, of the cultural web model—routines and rituals, stories, symbols, power structures, control systems and organisational structures—and how they relate, need to be understood to comprehend the central cultural paradigm (see Fig. 1). It is noteworthy that the paradigm in the cultural web theory refers to the ‘big picture’ of the assumptions that are not necessarily explicit and not considered problematic and thus is very different from the meaning of paradigm in scientific research.
• The third premise is how individuals or groups experienced historic events such as change within an organisation, plays a key role in determining current behaviours and future strategies. For example, events such as mergers and acquisitions or devolutions impact current beliefs and behaviours, which in turn determine responses to future environmental changes.

2.5 반사성
2.5 Reflexivity

질적 연구는 연구자와 연구 과정 간의 관계에 따라 달라집니다.41, 63 우리는 서로 다른 학제 간 배경(심리학, 약리학, 간호학, 외과), 외과 교육, 훈련 및 연구 제공 및 관리에 대한 서로 다른 수준의 지식과 경험을 고려하여 우리의 입장과 데이터와의 관계를 지속적이고 비판적으로 고려했습니다. 예를 들어, 다른 영국 국가에서 온 외과 수련의로서 박사 학위를 취득하기 위해 수련을 중단한 AS는 스코틀랜드의 의료 시스템 외부에 있지만 NHS 내에서 수련에 대한 지식을 갖춘 외과 수련의라는 점에서 내부자이자 외부자였습니다. 
Qualitative research is dependent on the relationship between the researcher and the research process.41, 63 We considered our positions and relationships with the data continually and critically in view of our different inter-disciplinary backgrounds (psychology, pharmacology, nursing and surgery), different levels of knowledge and experience of delivering and managing surgical education, training and research. For example, as a surgical trainee from another UK country who took time out of training to do a PhD, AS was both an insider and an outsider; external to Scotland's healthcare system but an insider by being a surgical trainee with knowledge of training within the NHS.

2.6 윤리
2.6 Ethics

주관 대학의 연구 거버넌스 팀과 주관 NHS 제공자의 품질 개선 및 보증 팀은 이 연구를 국가 평가 감사(프로젝트 번호 4945)로 분류하여 윤리적 승인 대상에서 제외했습니다. 그러나 잠재적 연구 참여자로부터 (익명으로 처리된) 응답이 연구 목적으로 사용될 수 있고, 참여가 자발적이며, 참여자는 언제든지 철회할 권리가 있다는 서면 동의를 받는 등 핵심 윤리 원칙을 따랐습니다. 
The host University's Research Governance team and the host NHS provider's Quality Improvement and Assurance Team classified this study as a National Evaluation Audit (project number 4945), thus exempting it from ethical approval. However, we followed core ethical principles: obtaining written, informed consent from potential research participants that their (anonymised) responses could be used for research purposes, that participation was voluntary and that participants had the right to withdraw at any time.

3 결과
3 RESULTS

46명의 교육생과 25명의 트레이너가 이메일 초대에 응답했습니다. 표 1은 참가자의 특성을 보여줍니다. 스코틀랜드의 핵심 외과 수련 기관이 있는 13개 보건청을 모두 대표할 수 있었습니다. 참가자들은 신경외과를 제외한 모든 외과 전문 분야를 대표했으며, 핵심 외과 수련 기간 동안 27개의 다른 병원에서 순환 근무를 했습니다. 수련의와의 인터뷰 시간은 평균 54분(범위: 26~111분), 트레이너와의 인터뷰 시간은 평균 41분(범위: 18~60분)이었습니다. 트레이너의 교육 및 임상 감독 경력은 2~25년 사이였습니다. 
Forty-six trainees and 25 trainers responded to the email invitations. Table 1 reports participant characteristics. Representation from all 13 Health Boards in Scotland with core surgical training posts was achieved. Participants represented all surgical specialties except neurosurgery and had rotated through 27 different hospitals during their core surgical training. The mean duration of interviews with trainees was 54 mins (range: 26–111 min) and with trainers was 41 min (range: 18–60 min). Trainers' experience of educational and clinical supervision ranged from 2–25 years.

참가자는 익명으로 처리되었으며 연수생(CT) 또는 트레이너(TR)로 식별되었습니다. 인용문은 그대로 보도합니다. 줄임표(...)는 관련성이 낮은 부분을 잘라낸 텍스트를 나타내고, 대괄호는 축어체가 아닌 설명 텍스트를 나타냅니다. 인용문은 조사 결과의 확인을 돕고 독자가 이야기의 논리를 따라갈 수 있도록 하기 위해 포함되었습니다. 존슨의 문화 웹의 6가지 요소(그림 1)를 사용하여 데이터를 정리합니다. 이 여섯 가지 요소가 상호 작용하는 방식과 핵심 수술 훈련의 문화적 패러다임을 고려하는 토론에서 이 요소들을 한데 모았습니다. 
Participants have been anonymised and identified as trainee (CT) or trainer (TR). We report verbatim quotes. An ellipsis (…) indicates text that has been cut out where less relevant, and square brackets indicate any non-verbatim explanatory text. Quotations are included to aid confirmation of findings and to help the reader follow the logic of the story. We use the six elements of Johnson's cultural web (Fig. 1) to organise the data. We bring these together in the discussion, where we consider how the six elements interacted and the cultural paradigm of core surgical training.

3.1 의식과 루틴
3.1 Rituals and routines

의식과 루틴은 어떤 상황에서 일어날 것으로 예상되는 일, 시간이 지남에 따라 확립된 존재 방식과 행동 방식을 안내하며, 흔히 '우리가 이곳에서 하는 방식'이라고도 합니다. 외과 수련의들은 교대근무에 배치되며, 교대근무 로테이션에 따라 IST 교육 기회가 결정된다는 것이 분명했습니다. 예를 들어, 응급 로테이션에 속해 있는 전공의들은 '수술실에 가는 것은 외과의가 되는 법을 배우러 온 것이 아니라 좋은 행동에 대한 보상으로 여겨질 정도'(CT03)일 정도로 주로 급성 입원 환자('테이크')를 보는 임무를 맡는다고 보고했습니다. 마찬가지로, 선택적 업무의 경우, 일부 지역에서는 CT가 할당된 활동에 참석하기 전에 병동 회진을 완료해야 하는 일상이 있었습니다: '... 선택적 수술 목록에 포함될 예정이었지만 병동 회진을 마쳐야 했다...'(CT27). 
Rituals and routines guide what is expected to happen in a situation, ways of being and doing established over time, often referred to as ‘the way we do things around here’. Surgical trainees are rostered to shifts, and it was clear that the shift rota determined IST training opportunities. For example, when on the emergency rota, CTs reported being primarily tasked with seeing acute admissions (the ‘take’) such that ‘going to theatre is almost seen as a reward for good behaviour … not you're here to learn how to be a surgeon’ (CT03). Similarly, with elective duties, the routine in some places dictated that CTs complete the ward round prior to attending their allocated activity: ‘… you might have been scheduled to be in an elective operating list but then the ward round needed done …’ (CT27).

IST의 권고(예: 낮 시간대 교육 시간 최대화)에 따라 일부 부서는 교육 기회를 최대화하기 위해 기존 로타를 조정하거나 초과 역할을 도입하는 등 업무 방식을 변경했습니다. 첫 번째 예로 응급 로테이션을 두 개로 나누어 CT가 급성 수술 입원(임상 술기 개발) 또는 응급실(수술 술기 학습)을 담당할 수 있도록 한 것이 있습니다. 이원화된 역할이 생겨나면서 수련의들은 근무에서 해방되었고, 더 자유롭게 수련 기회를 찾을 수 있게 되었습니다: 
In response to IST recommendations (e.g. maximisation of training time during daytime hours), some departments changed their ways of working, either adapting existing rotas to maximise training opportunities or introducing supernumerary roles. An example of the first of these was dividing the emergency rota into two so that CTs could either be responsible for acute surgical admissions (developing clinical skills) or for the emergency theatre (thus learning operative skills). The creation of supernumerary roles freed trainees from service, and empowered them to seek training opportunities more freely:

새로운 로타를 도입한 부서의 교육 경험은 로타가 그대로 유지된 부서와 대조적이었습니다:
Training experiences between departments that adopted new rotas contrasted with those where rotas remained unchanged:

IST에도 불구하고 로타가 변하지 않는 경우, '코어 트레이닝에서 전환하면서 진정으로 IST로 전환되는 것은 아무것도 없는 것 같았습니다. 그냥 그대로인 것 같았습니다'(CT07). 요컨대, 로타가 특정 상황에 따라 IST 관련 변화를 지원하거나 차단할 수 있는 것처럼 보였습니다. 
Where rotas remain unchanged despite IST, ‘it didn't seem that anything was truly translating to IST in the switch from core training. It just seemed to be the same’ (CT07). In short, it seemed that rotas could either support or block IST-related change, depending on the specific context.

3.2 스토리
3.2 Stories

과거 사건에 대한 이야기는 무엇이 중요하다고 인식되는지 파악하는 데 도움이 되며64, 종종 일의 방식, 규범 및 가치에 대한 기대가 전달되고 학습되고 전수되는 방식이 되기도 합니다. 이러한 현상은 트레이너 자신의 교육에 대한 이야기에서 가장 두드러졌습니다. 예를 들어, 수련 기회에 대한 접근성 측면에서 선임 레지던트가 후배 레지던트보다 우대받는 것이 항상 그래왔으며, 이는 수련생들에게 이것이 과거에도 그랬고 앞으로도 그럴 것임을 시사하는 이야기들이 흔했습니다.
Stories of past events help identify what is perceived as important64 and are often the way in which expectations of ways of doing things, norms and values are transferred, learnt and passed on. Stories were most apparent in respect of trainer stories of their own education. For example, narratives about how it has always been the case that senior residents have preferential treatment over CTs in respect of access to training opportunities were common, indicating to trainees this was the way things were, and would continue to be.

또한 트레이너들은 교육 기회를 '접시에 담아 전달해서는 안 된다'(TR09), 교육생이 기회를 잡기 위해 자기 주도적이고 본질적으로 동기를 부여받아야 하며 모든 '서비스' 업무에 학습 기회가 내재되어 있다고 생각한다는 이야기도 있었습니다.65, 66 이러한 이야기와 태도는 전통적인 도제식 교육 모델에서 트레이너가 직접 교육생으로 경험한 영향인 것으로 보입니다. 이러한 이야기의 지속성과 지속되는 업무 방식은 변화를 가로막는 장벽으로 작용하는 것처럼 보였습니다: 
Stories also indicated that trainers believed training opportunities ‘should not be handed on a plate’ (TR09), that trainees needed to be self-directed and intrinsically motivated to seize opportunities and to see learning opportunities as inherent in every ‘service’ task.65, 66 These stories and attitudes seemed to be an influence of trainers' own experiences as trainees under the traditional apprenticeship training model. The persistence of these stories and the ways of working they perpetuated appeared to be a barrier to change:

'역사적으로 핵심 훈련생에 대한 태도는 천천히 변했습니다. '역사적으로 핵심 훈련생인 사람들은 병동 원숭이들이고, 우리는 그렇게 여겨지고 있습니다...'(CT03). 
Historical attitudes towards core trainees were slow to change: ‘historically the people that are core trainees, we're the ward monkeys, and that's what we're seen as …’ (CT03).

3.3 상징
3.3 Symbols

이 요소는 조직의 신념과 가치, 조직 내 관계에 영향을 미치는 방식으로 의미를 갖는 단어, 사물, 조건 및 행위와 관련이 있습니다.
This element relates to words, objects, conditions and acts that have meaning in ways that influence organisational beliefs and values, and relationships within organisations.

한 가지 분명한 상징은 교육과 관련된 행위였습니다. 종종 첫 번째 상징은 공식적이든 비공식적이든, 계획적이든 즉흥적이든, 환영이든 아니든 간에 로테이션이 시작될 때 직장으로 안내하는 행위였습니다. 예를 들어, 일부 트레이너는 연수생이 도착하기 전에 연수생과 접촉했는데, 이는 연수생들에게 환영을 받았습니다: '입문 과정을 일찍 시작하는 것 같고 정보 공유를 시작할 수 있다'(TR20). 
One obvious symbol was the acts associated with training. Often, the first symbol was the act of induction to the workplace at the start of the rotation: whether this was formal, informal, planned or ad hoc, welcoming or not. For example, some trainers made contact with their trainee prior to their arrival, an act that was welcomed by trainees: ‘it feels like you're starting the induction process early and you can start sharing information’ (TR20).

다음 상징은 물체, 특히 교육생의 e-포트폴리오에 학습 계약 및 커리큘럼 역량에 대한 진행 상황을 정기적으로 문서화해야 한다는 것이었습니다. IST의 목표 중 하나는 트레이너-트레이너 듀오 내에서 진행 상황을 더 자주 검토하는 것이었지만, 트레이너에 대한 서비스 제공의 압박은 관찰/감독 및 피드백의 질에 영향을 미쳤습니다:
The next symbol was an object, specifically the regular documentation required within the trainee's e-portfolio of their progress against the learning agreement and curricular competencies. Although one of the aims of IST was more frequent reviews of progression within the trainee-trainer dyad, the pressures of service delivery on trainers impacted on the quality of observation/supervision and feedback:

또 다른 상징 또는 신호는 부서의 내부 거버넌스 시스템 내에서 교육에 대한 가시성이라는 점입니다. 예를 들어, 소수의 외과 부서만 정기적으로 월별 교육 및 진척도 회의를 개최했습니다. 이러한 회의가 있는 경우, CT는 성과에 대한 여러 컨설턴트의 피드백을 받을 수 있었고 트레이너는 부서별 교육 관련 이슈를 파악할 수 있었습니다. 반면, 교육에 대한 자체 회의가 없거나 문제가 발생했을 때(예: 교육에 영향을 미치는 직원 부족) 월별 비즈니스 회의 안건으로만 상정되는 경우, 참가자들은 교육에 대한 우려 사항이 '표면적인 수준에서 경청되고... 정말 귀에 걸면 귀걸이가 되는 것 같았다'(CT44)고 보고했습니다.
Another symbol, or signal, was the visibility of education within the department's internal governance systems. For example, only a few surgical departments regularly held monthly education and progression meetings. Where these did occur, CTs benefited from multi-consultant feedback on performance and trainers kept abreast with departmental training-related issues. On the other hand, where education did not have its own meeting and/or was only tabled on the monthly business meeting agendas if problems occurred (e.g. staff shortages impacting training), participants reported that any concerns they had about training were ‘listened to on a surface level and dismissed … kind of falling on deaf ears really’ (CT44).

마지막으로 컨설턴트가 교육 감독자 역할을 맡게 된 이유에 대해 교육생들은 교육이 얼마나 중요하게 여겨지는지 알 수 있는 신호로 해석했습니다. 트레이너들 사이에는 '[교육] 프로그램이 무엇인지, 또는 역할이 무엇인지에 대한 관심이나 참여도 또는 인식 정도에 있어 매우 광범위한 스펙트럼이 존재했다'(TR22). 트레이너 참여도의 차이는 표면적으로는 개인의 문제로 보일 수 있지만, 시스템 문제, 특히 소규모 부서에서 개별 컨설턴트가 교육에 대한 '부담'을 짊어져야 하는 것과도 관련이 있는 것으로 나타났습니다: 
Finally, why a consultant took on an educational supervisor role, which was interpreted by trainees as a sign of how education was valued. There existed ‘a very broad spectrum of how interested or engaged or aware of what [the] training programme is, or what the role is’ (TR22) amongst trainers. Although differences in trainer engagement might on the surface seem to be an individual issue, it also appeared to be related to systems issues, specifically individual consultants having to ‘shoulder the burden’ of training in small departments:

요약하면, 시스템 구조(상징)는 교육과 훈련의 가치에 대한 인식과 관련하여 핵심적인 역할을 했습니다. 현지에서 교육훈련에 대한 가시성, 즉 인식은 개혁/변화 과정에서 중요한 역할을 했습니다. 가시성이 낮다는 것은 우선순위가 낮다는 신호였습니다. 
In summary, system structures (symbols) had a key role in respect of how education and training were perceived to be valued. The visibility, or recognition of training locally was instrumental in the process of reform/change. Low visibility was a signal of low priority.

3.4 권력 구조
3.4 Power structures

권력 구조는 가장 큰 영향력을 가진 집단 또는 개인을 말하며, 이들은 영향력이 적은 사람들에게 기대되는 행동과 행동을 결정하고 조직 문화의 핵심 가정에 가장 밀접하게 부합할 것으로 기대될 수 있습니다.64 외과 수련을 제공하는 의료 기관에서 가장 명백한 권력은 Trainer에게 있으며, 일부는 IST를 지렛대로 사용하여 CT에 준하는 의사로 로타 공백을 메우기 위해 추가 자금을 확보함으로써 좋은 수련 경험과 안전한 임상 치료 제공의 잠재력을 극대화했습니다:  
Power structure refers to the groups or individuals with the most influence, who determine the actions and behaviours expected of those with less power and who may be expected to be most closely aligned with the core assumptions of the organisational culture.64 In the healthcare institutions that deliver surgical training, the most obvious power lies with the trainers, some of whom used IST as leverage to maximise the potential for good training experiences and delivery of safe clinical care by obtaining extra funding to fill rota gaps with CT-equivalent doctors:

서비스 압력에도 불구하고 IST의 교육 원칙을 강력하게 옹호하는 사람들은 CT들 사이에서 IST의 신뢰도를 높이고 CT들이 가치 있다고 느끼게 만들었습니다: 
Those who strongly advocated for protection of IST's training principles despite service pressures enriched the credibility of IST amongst CTs and made the CTs feel valued:

하지만 다른 사람들도 수술 훈련에서 힘을 발휘했습니다. 예를 들어, 앞서 설명한 것처럼(의식과 루틴), 로타는 교육 경험에 매우 중요한 요소였습니다. 로타 관리는 종종 의료진이 아닌 로타 코디네이터의 책임이었습니다. 이들은 교육이 아닌 서비스 제공에 집중하는 것으로 인식되었고, 그에 따라 로타가 채워졌습니다. 이로 인해 CT는 동료 CT와 명단을 교환하거나 로타 마스터와 사전 합의를 통해 선택적 수술 기회 등을 협상해야 했습니다. 대규모 부서, 일반적으로 3차 병원에서는 여러 외과 전문과목과 수련 계층이 공존하기 때문에(사례 참조) CT가 급하게 공백을 메우거나 서비스 요구를 충족하기 위해 '로타 사료'(CT37)로 사용되는 경우가 많았습니다. 이러한 방식으로 로타 코디네이터는 IST의 현지 구현을 활성화하거나 억제할 수 있는 권한을 가졌습니다. 일부 부서는 이 문제를 인식하고 부서 내 임상 활동의 공정한 배분을 감독할 수 있는 트레이너를 지정하여 문제를 해결했습니다. 
However, other people also had power within surgical training. For example, as discussed earlier (Rituals and routines), the rota was critical to training experiences. Rota management was often the responsibility of a non-medical rota coordinator. These individuals were perceived as focused on service delivery, not education, and populated rotas accordingly. This left CTs having to negotiate, for example, elective operative opportunities by swapping lists with fellow CTs or by making prior agreements with the rota master. In large departments, typically tertiary units, the co-existence of multiple surgical specialties and training hierarchies (see Stories) meant CTs were often used as ‘rota fodder’ (CT37) to plug gaps at short notice or to meet service needs. In this way, the rota coordinator had power that could enable or inhibit local implementation of IST. Some departments recognised this issue and rectified it by nominating a trainer to oversee fair allocation of the department's clinical activities.

3.5 조직 구조
3.5 Organisational structures

조직 구조는 공식적인 구조, 역할 및 관계를 의미하며, 이는 서로 다른 역할을 수행하는 사람들 간의 권력 관계(예: 책임과 권한)를 반영합니다.64 변화의 가능성은 병원 경영진과 외과 트레이너 간의 관계에 의해 영향을 받았습니다. 예를 들어, 모든 병원에서 의학교육 책임자(일반적으로 선임 컨설턴트)는 IST를 지원하는 데 동의했습니다. 그러나 현장에서는 임상 서비스 관리자가 IST에 대한 이해가 부족하고 여전히 서비스 요구와 목표 달성에만 집중하는 것으로 인식되었습니다:  
Organisational structure refers to formal structures, roles and relationships, which reflect power relationships between people who carry out different roles (i.e. lines of accountability and responsibility).64 The potential for change was influenced by relationships between hospital management and surgical trainers. For example, at every hospital, the Directors of Medical Education (who are typically senior consultants) agreed to support IST. But, on the ground, clinical service managers lacked understanding of IST and were perceived to still focus solely on meeting service needs and targets:

IST의 목표 중 하나는 CT와 배정된 감독자 간의 정기적인 접촉을 늘리는 것이었습니다. 조직 구조와 관련된 요인이 이를 가능하게 했습니다. 예를 들어, 소규모 팀으로 구성된 교육과 근무는 연속성을 제공했습니다: 
One of IST's aims was increased, regular contact between CTs and their allocated supervisors. Factors relating to organisational structures enabled this. For example, training and working in smaller teams offered continuity:

IST는 CT 수련 기회와 관련하여 확장 수술팀(EST)을 긍정적인 조직 구조로 옹호했습니다. EST가 있는 조직의 참가자들은 EST 구성원이 제공하는 슈퍼비전 및 교육을 통해 전문직 간 및 직장 기반 학습과 관련하여 이점을 보고했습니다. 그러나 특정 전문과목에서는 그 반대의 결과가 나타났는데, 연장된 외과 팀원들이 CT에 적합한 수술 기회를 빼앗는다고 인식했습니다:
IST advocated the extended surgical team (EST) as a positive organisational structure in respect of CT training opportunities. Participants in organisations with EST reported benefits in respect of interprofessional and workplace-based learning from supervision and training delivered by members of the EST. In certain specialties, however, the opposite happened; extended surgical team members were perceived to take away operative opportunities suitable for CTs:

3.6 통제 시스템
3.6 Control systems

통제 시스템은 조직 내에서 개인을 모니터링하고 지원하는 공식적, 비공식적 방법을 말합니다. 이러한 통제 시스템은 무엇이 가치 있는지를 강조하고 어떤 행동과 태도가 기대되는지에 대한 신호를 보냅니다.64 
Control systems refers to the formal and informal ways of monitoring and supporting individuals within the organisation. These control systems emphasise what is valued and send signal as to what behaviour and attitudes are expected.64

컨설턴트 외과 의사의 직무 계획 및 교육 거버넌스 구조와 같은 통제 시스템은 변화 실행의 장벽이자 촉진제 역할을 하는 것으로 나타났습니다. 일부 수련의는 병원 경영진과 협상하고 더 많은 수퍼비전 시간을 확보하기 위해 이 시스템을 사용하기도 했습니다:
Control systems such as consultant surgeons' job plans and training governance structures seemed to act as both barriers and enablers of change implementation. Some trainers used the system to negotiate with hospital management and manoeuvre more supervision time:

그러나 고위 경영진의 합의에도 불구하고 대부분의 트레이너의 직무 계획은 IST가 도입되었을 때 변경되지 않았습니다. 이는 과거의 규범을 반영하는 것으로 보였는데(앞의 이야기 참조), 트레이너들은 '실제로 직무 계획에 따라 일한 적이 없었고'(TR25), 대신 바쁜 임상 활동에서 슈퍼비전을 위한 시간을 쪼개서 일했습니다. 또한 많은 트레이너는 관리자가 슈퍼비전이 무엇인지 제대로 이해하지 못하기 때문에 추가 슈퍼비전 시간을 협상하는 것이 의미가 없다고 생각했습니다.
However, despite agreement at higher levels of management, most trainers' job plans remained unaltered when IST was introduced. This seemed to be reflective of historical norms (see Stories earlier); trainers had ‘never really worked to a job plan’ (TR25), instead usually carving time for supervision out of busy clinical activities. Furthermore, many trainers believed there was no point in negotiating for additional supervision time because managers had a poor understanding of what supervision entailed.

4 토론
4 DISCUSSION

우리는 존슨의 문화 웹13 을 분석 프레임워크로 사용하여 외과 교육 및 훈련에 대한 국가 커리큘럼 개혁의 실행을 평가했으며, 평가 데이터에 따르면 각기 다른 곳에서 다르게 경험한 것으로 나타났습니다. 
We used Johnson's cultural web13 as an analytical framework to evaluate the implementation of a national curricular reform of surgical education and training, which evaluation data suggested had been experienced differently in different places.

조직 문화가 스코틀랜드에서 외과 교육 훈련 개선(IST)을 시행하는 데 영향을 미친 방식을 파악하는 구체적인 연구 질문과 관련하여, 일상, 구조 및 시스템에 변화가 없거나 미미한 경우(예: 교육 시간을 확보하기 위해 컨설턴트의 업무 계획에 변화가 없는 경우) 실제로는 아무것도 바뀌지 않았으며 역사적 맥락이 우세한 것으로 나타났습니다. 이러한 문화적 요소에 변화가 발생한 경우(때로는 트레이너가 병원 내에서 IST를 협상 도구로 사용했기 때문)에는 변화의 증거가 일부 있었습니다. 소규모 외과 부서에서 IST 권장 사항을 더 쉽게 수용하는 경향이 있었습니다. 이러한 부서는 대규모 부서보다 상호 작용과 연결 문화가 더 강해 더 효과적인 변화에 기여할 수 있는 것으로 보였습니다.67  
In terms of our specific research question, identifying the ways in which organisational culture influenced the implementation of Improving Surgical Training (IST) in Scotland, we found that where there was no or minimal change in routines, structures and systems (e.g. where there were no changes to consultants' job plans to free up time for training), then nothing really changed, and the historical context prevailed. Where changes in these cultural elements did occur—sometimes because trainers used IST as a negotiation tool within their hospital—there was some evidence of change. There was a sense that IST recommendations were more readily embraced in smaller surgical departments. These seemed to have more of a culture of interactions and connections than larger units, which likely to contribute to more effective change.67

우리는 트레이너의 현재와 과거의 감독 및 교육 경험이 핵심 외과 교육/수련의에 대한 가정과 기대 (스토리) 에 영향을 미친다는 사실을 발견했습니다. 지역/병원마다 설정, 서비스 구성, 우선순위(조직 구조)가 미묘하게 달랐으며, 이는 변화를 실행하기 위해 과거의 관행과 신념에서 벗어날 준비가 되어 있는지에 영향을 미쳤습니다. 우리는 로테이션의 성격과 관리(의식과 일상, 조직 구조), 기관의 트레이너와 관련 보건 전문가의 태도와 신념(이야기와 상징)을 포함하여 IST의 제정에 대한 구체적인 장벽과 조력자를 확인했습니다. 트레이너와 관리자 간의 긴장도 데이터(통제 시스템)에 기술되어 있습니다.
We found that trainers' current and past experiences of supervision and training influenced their assumptions and expectations of core surgical training/trainees (stories). Different localities/hospitals had subtly different set-ups, service configurations and priorities (organisational structures), which influenced their readiness to deviate from historic practices and beliefs to implement change. We identified specific barriers and enablers to the enactment of IST, including the nature of the rota and its' management (rituals and routines, organisational structures) and the attitudes and beliefs of an institutions' trainers and allied health professionals (stories and symbols). Tensions between trainers and managers were also described in our data (control systems).

우리는 몇 가지 요인이 우리가 관찰한 제한적인 변화를 설명할 수 있다고 잠정적으로 제안합니다. 첫째, IST는 외과 커리큘럼을 설정하고 직장 기반 외과 교육을 지원하는 영국의 4개 대학 중 하나인 영국 왕립 외과의 대학에서 개발했습니다. 그러나 외과 교육은 트레이너(컨설턴트)와 수련의를 고용하는 조직인 보건위원회와 병원에서 이루어집니다. 따라서 IST는 외부에서 추진되었습니다. 외부 동인은 강력한 변화의 동인이 될 수 있지만,68, 69 변화의 필요성에 대한 공유된 이해와 변화를 제공할 것으로 기대되는 사람들의 헌신이 있는 경우에만 가능합니다.70 외과의가 수련되는 조직(예: 병원)의 우선 순위는 교육이 아닌 서비스 제공이기 때문에 일부 환경에서는 IST가 변화를 위한 충분한 동인이 되지 못했을 수 있습니다.71, 72 마찬가지로, 병원 관리와 행정이 IST의 성공에 결정적인 역할을 했지만, 그들의 초점은 서비스에 있었으며 변화에 대한 인센티브나 투자는 거의 없었습니다.73-75 이러한 오래된 긴장은 외과나 스코틀랜드에만 국한된 것이 아닙니다.71, 72, 76
We tentatively suggest that several forces may explain the arguably limited change we observed. First, IST was developed by the Royal College of Surgeons of England, one of four UK Colleges responsible for setting the surgical curriculum and providing support to workplace-based surgical education. However, surgical education is delivered in Health Boards and hospitals, the organisations who employ the trainers (consultants) and trainees. IST was thus driven externally. External drivers can be powerful drivers of change,68, 69 but only where there is a shared understanding of the need for change and a commitment from those expected to deliver change.70 IST may not have been a sufficient driver for change in some settings because the priority of those organisations in which surgeons are trained (i.e. hospitals) is service delivery not training.71, 72 Similarly, while hospital management and administration were crucial to the success of IST, their focus was service, and they had little incentive for or investment in change.73-75 These age-old tensions are by no means unique to surgery or Scotland.71, 72, 76

이와 관련하여 외부 상황, 즉 더 넓은 환경이 변화의 성공에 큰 영향을 미칩니다.77 IST는 2018년에 시행되었으며, 변화에는 시간이 걸린다는 점을 인식하고 2020-2021년에 계획대로 데이터 수집이 이루어졌습니다. 그러나 데이터 수집이 코로나19 팬데믹으로 인해 외과 서비스 제공에 큰 차질을 빚으면서78, 79 서비스 교육에 대한 긴장이80, 81 확대되고 IST의 특정 측면, 즉 계획된 CT를 위한 시뮬레이션 기반 교육 이벤트 프로그램이 일시적으로 무력화되었습니다. 외부 자극이나 사건이 변화에 영향을 미친다는 점을 감안할 때,82 외과 훈련에 관련된 조직들은 코로나19의 혼란을 관리하는 데 너무 집중한 나머지 팬데믹 이전과 '정상 상태'에서 계획된 변화는커녕 다른 어떤 것도 감당할 여력이 없었다고 볼 수 있습니다. 코로나19 관리에 모든 관심과 행동의 초점이 맞춰져 있었습니다.83 
Related to this, external context, the wider environment, is a major influence on change success.77 IST was implemented in 2018, and appreciating that change takes time, our data collection took place as planned in 2020–2021. However, data collection then clashed with the Covid-19 pandemic, when surgical service delivery was heavily disrupted,78, 79 service-training tensions80, 81 magnified and specific aspects of IST—namely, the planned programme of simulation-based training events for CTs—disabled temporarily. Given that external stimuli or events impact on change,82 we suggest that the organisations involved in surgical training were so focused on managing Covid-19 disruptions that they had no capacity for anything else, let alone change planned before the pandemic and for ‘steady state’ conditions. Managing Covid-19 was the focus of all attention and action.83

셋째, 외과 수련에는 수련을 제공하는 병원, 수련의 질 보증을 담당하는 스코틀랜드 NHS 교육부, 외과 왕립대학 등 다양한 조직이 관여합니다.84 이러한 다양한 조직은 모두 고유한 문화 또는 맥락을 가지고 있으며, 이는 IST 실행을 직접적으로 촉진하거나 형성했을 수 있으며, 왜 지역마다 (즉, 문화와 문화적 요소의 '조합'이 다른 곳에서) 성공이 다르게 보이는지 설명할 수 있습니다. (반면, 이에 대한 반론은 외과 교육에는 고유한 문화가 있으며,15,16 문화는 하나의 물리적 조직에 포함될 필요가 없으며,26 특정 환경이 고유한 장벽과 조력자를 가져올 수 있지만(데이터에 나타난 바와 같이), 문화는 하나의 물리적 조직에 내장될 필요가 없다는 것입니다.)
Third, surgical training involves many different organisations—the hospitals in which training is delivered, the over-arching bodies such as NHS Education for Scotland who are responsible for quality assurance of training, and the Surgical Royal Colleges.84 All these different organisations have their own cultures, or contexts, which may have directly facilitated or shaped IST implementation, explaining why it's success seemed to be different in different places (i.e. where the ‘combination’ of cultures and cultural elements differed). (On the other hand, the counter argument to this is that surgical training has its own over-arching culture,15, 16 and culture does not need to be embedded in a single, physical organisation,26 although specific settings might bring their own barriers and enablers (as was indicated in our data).)

새로운 질문은 팬데믹 기간 동안 이루어진 변화가 어느 정도 유지되고 실무에 내재화되었는지, 그리고 외과 교육이 팬데믹 이전으로 돌아가 IST 주도의 변화를 재개할 수 있는지, 또는 실제로 재개해야 하는지에 대한 것입니다. 
The new questions are to what extent changes made during the pandemic have been maintained and embedded in practice and whether surgical training can—or indeed should—step back to pre-pandemic times, and resume IST-driven change.

모든 데이터 수집 접근법에는 장단점이 있습니다.55 팬데믹 기간 동안 가상 인터뷰는 다양한 상황에서 트레이너와 수련의로부터 응답을 얻을 수 있는 유일한 방법이었습니다. 처음에는 트레이너를 모집하는 데 어려움을 겪었기 때문에 연구 참여 초대를 두 번째로 진행했습니다. 이는 코로나19 팬데믹 때문이라고 판단하여 2차 팬데믹이 끝날 때까지 기다렸다가 트레이너에게만 2차 초대장을 보냈습니다. 
All data collection approaches have strengths and weaknesses.55 During the pandemic, virtual interviews were the only way to obtain responses from trainers and trainees across many different contexts. We encountered difficulty with recruiting trainers initially, hence our second round of invitations to take part in the study. We believe this was due to the COVID-19 pandemic, so we waited until after (what was) the second wave of the pandemic before sending out second invitations to trainers only.

관리자를 참가자로 모집하면 조직 내에서 커리큘럼 개혁을 시행하는 데 있어 그들의 관점을 반영할 수 있었을 것입니다. 그러나 의학교육 책임자를 제외한 의료 관리자들은 IST 제안 논의 및 커리큘럼 개혁의 실행 단계에 참여하지 않았습니다(물론 이 점이 앞서 설명한 바와 같이 보고된 문제에 영향을 미쳤을 수 있습니다). 
Recruiting managers as participants would have afforded their perspective on enacting curricular reforms within their organisation. However, healthcare managers, other than Directors of Medical Education, were not involved in the IST proposal discussions and implementation stages of the curricular reform (This, of course, may have contributed to the issues reported, as discussed earlier).

다른 자발적 연구와 마찬가지로 참가자가 스스로 선택하는 요소가 있었을 것입니다. 그러나 결국 동일한 아이디어가 반복적으로 제시되고 새로운 주제(주제 포화도 또는 데이터 충분성85)가 나타나지 않자 데이터 수집을 중단하고 데이터가 일반적인 경험을 반영한다고 확신하게 되었습니다. 
As with any voluntary study, there would have been an element of participant self-selection. However, as eventually we saw the same ideas coming up repeated and no new themes (thematic saturation or data sufficiency85), we stopped data collection and feel confident that our data reflects common experiences.

초기 귀납적 데이터 분석에서 문화의 중요성이 드러났기 때문에 우리는 경영 문헌을 광범위하게 읽고 다양한 이론을 고려한 끝에 문화 웹 이론을 채택했는데, 이는 우리가 보기에 (과정적 모델이 아닌) 변화의 설명적 모델86로서 데이터를 이해하는 데 가장 적합한 프레임워크를 제공했기 때문입니다. 그러나 문화 웹은 조직 문화의 가시적인 측면만을 보여주기 때문에 눈에 잘 띄지 않는 다른 가정을 식별하고 밝혀내지 못하여 문화를 오해할 위험이 있습니다.87 실제로 변화 관리 문헌에서는 대부분의 변화 모델이 조직 변화의 성공에 영향을 미치는 모든 요인을 완전히 탐색하거나 표시하지 못하며88, 89 단일 모델 또는 몇 가지 모델만으로는 다양한 변화 상황을 다루기에 충분하지 않다는 사실에 대한 논의가 광범위하게 이루어지고 있습니다.90, 91 또한 문화 웹 프레임워크는 조직 문화의 다양한 측면을 표현하기 위한 프레임워크를 제공하지만, 6가지 요소가 어떻게 상호 연관되거나 중첩되는지 조사하기 위한 명시적인 메커니즘을 제공하지 않습니다. 
The initial inductive data analysis indicated the importance of culture so we read the management literature widely and considered many different theories before settling on cultural web theory because, in our view and as a descriptive model of change (rather than a processual one86), it offered the most fitting framework to make sense of the data. However, the cultural web only shows visible aspects of organisational culture: we may not have identified and uncovered other, less visible assumptions, running the potential risk of misunderstanding culture.87 Indeed, there has been wider discussion in the change management literature about the fact that most models of change do not fully explore or display all factors that influence the success of organisational change88, 89 and the use of a single model or few models is not sufficient to cover various change situations.90, 91 Also, while the cultural web framework provides a framework for articulating different aspects of organisational culture, it does not offer any explicit mechanisms for examining how its six elements interrelate or overlap.

우리의 목표는 변화를 실행하는 것이 아니라 변화의 제정을 검토하는 것이었지만, 여러 가지 변화 모델을 결합하면 IST와 관련된 변화 프로세스에 대한 더 완전한 설명을 제공할 수 있었을 것입니다. 문화 웹 이론과 내부 요인과 외생적 사건 간의 상호 작용을 조사하는 이론을 결합하는 것이 특히 도움이 되었을 것입니다. 
While our aim was not to implement change, but rather to examine change enactment, combining several change models may have provided a fuller explanation of the change processes associated with IST. Combining cultural web theory with one which examines the interactions between internal factors and exogenous events may have been particularly helpful.

마지막으로, 어떤 이론도 데이터의 한 측면만을 조명할 뿐입니다.92 다른 관점에서는 관리자와 임상의 간의 관계의 성격, 이것이 변화에 미치는 영향93 또는 개별 조직(예: 여러 병원)의 변화 준비도 평가와 같이 문제의 다른 측면을 강조했을 수 있습니다.94 
Finally, any one theory only illuminates one aspect of data.92 Another lens may have emphasised different aspects of the problem, such as the nature of the relationships between managers and clinicians, and how this might have impacted on change93 or an assessment of individual organisations (e.g. different hospitals) readiness for change.94

5 결론
5 CONCLUSION

Johnson의 문화 웹이라는 렌즈를 통해 본 데이터는 여러 병원 현장에서 다양한 수준의 성공을 거둔 커리큘럼 개혁의 작동 방식을 조명합니다. 이는 커리큘럼 개혁이 단순히 권장 사항을 실행에 옮기는 것이 아니라는 점을 강조합니다. 변화를 계획하고 평가할 때는 반드시 컨텍스트를 고려해야 합니다.
Seen through the lens of Johnson's cultural web, our data illuminate the workings of a curricular reform that met with varying degrees of success across different hospital sites. This reinforces that curricular reform is not simply about putting recommendations into practice. Context must be taken into account when planning and evaluating change.

Med Educ. 2023 Jul;57(7):668-678. doi: 10.1111/medu.14994. Epub 2022 Dec 12.

© 2022 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

잠재교육과정이 교수의 교육에 미치는 영향 밝히기: 질적 연구(Med Educ, 2023)
Revealing the impact of the hidden curriculum on faculty teaching: A qualitative study
Ciara Ann Lee1 | Timothy James Wilkinson2 | Julie Anita Timmermans3 | Anthony Naushad Ali4 | Megan Grayce Anakin5

1 소개
1 INTRODUCTION

교수진은 가르치는 일이 힘들다고 느낀다고 보고합니다. 교직원은 소진,1-3 불만1 및 인정받지 못한다고 느낄 수 있습니다.4-6 이 글에서는 '교직원'을 보건 전문직 프로그램에서 학생들을 가르치고 병원, 지역사회 및 기타 환경에서 사람들에게 의료 서비스를 제공하는 사람으로 정의합니다. 교수진은 급여를 받거나 교육 기관의 직원으로 공식적으로 인정받지 못할 수도 있습니다. 교수진이 가르치는 일이 힘들다고 느끼면 가르치고자 하는 동기가 떨어지고 보건 전문직 교육 프로그램에서 교수직을 떠날 수 있습니다.1 이러한 교수진 손실은 차세대 보건 전문가들이 교수 역할을 맡으려는 의지에 영향을 미치고 보건 전문직 교육을 빈곤하게 만들 수 있습니다.4 따라서 교육에 초점을 맞추는 것은 중요한 추구 사항입니다. 
Faculty report that teaching can feel demanding. Faculty can feel burnout,1-3 dissatisfaction1 and unappreciated.4-6 In this article, we define ‘faculty’ as people who teach students in health professions programmes and who also provide health care to people in hospital, community and other settings. Faculty may or may not be paid or formally recognised as employees of educational institutions. When faculty feel that teaching is demanding, they may be less motivated to teach and leave their positions as teachers in health professions education programmes.1 This loss of faculty may impact willingness of the next generation of health professionals to take on teaching roles and impoverishes health professions education.4 A focus on teaching is therefore an important pursuit.

힘든 교수 경험은 개인이 절실하게 느끼지만, 교수직을 힘들게 느끼는 이유를 설명하는 한 가지 방법은 환경적 요인이 교수에게 어떤 영향을 미치는지 고려하는 것입니다.7,8 보건 전문직 교육 프로그램에서 교실 및 직장 학습 환경은 교수, 학생 및 지원 직원의 제도적 규범, 행동 및 태도, 전문직으로서 보건의료 및 교육에 뿌리내린 관행에 의해 형성됩니다. 숨겨진 커리큘럼이라는 개념은 교사가 교사로서의 정체성을 형성하고 유지하는 데 미치는 이러한 영향을 설명하는 데 유용한 방법이 될 수 있습니다.

• '숨겨진 교육과정'이라는 용어는 학생들의 학습 경험과 보건의료 전문가로서의 정체성 형성에 암묵적 또는 명시적으로 영향을 미치는 교육 프로그램에서 제정된 기대와 가정을 설명하는 데 자주 사용됩니다.9-11
• 숨겨진 교육과정은 '우리가 의학교육이라고 부르는 삶의 공간에서 일어나는 일에 대해 일반적으로 통용되는 '이해', 관습, 의식, 당연시되는 측면'으로 광범위하게 정의되어 왔습니다.9 (404쪽)
• 교육 환경에서 행동에 대한 숨겨진 영향으로서 사회 구조의 영향은 처음에는 사회학에서 고려되었으며,10 '숨겨진 교육과정'이라는 용어는 1960년대에 처음 사용되었습니다.12
• 숨겨진 교육과정을 설명하는 데 사용된 용어에는 '비공식적', '암묵적', '잠재적', '그림자'12,13 등이 있으며, 모두 교육 구조, 규범 및 관행이 교수 학습에 미치는 복잡하고 종종 암묵적인 영향을 강조하기 위한 것입니다.

Although demanding teaching experiences are felt acutely by individuals, one way to explain why teaching might feel demanding can be to consider how environmental factors may be influencing faculty as teachers.7, 8 In health professions education programmes, classroom and workplace learning environments are shaped by institutional norms, behaviours and attitudes of faculty, students and support staff and the practices entrenched in health care and education as professions. The concept of a hidden curriculum might be a useful way to describe these influences on faculty to form and maintain their identity as teachers.

• The term ‘hidden curriculum’ is often used to describe the expectations and assumptions enacted in educational programmes that tacitly or overtly impact students' learning experiences and the formation of their identity as health care professionals.9-11 
• The hidden curriculum has been broadly defined as the ‘commonly held “understandings”, customs, rituals, and taken-for-granted aspects of what goes on in the life-space we call medical education’.9 (p404) 
• The impact of social structures as a hidden influence on behaviours in an educational setting was considered initially in sociology,10 and the term ‘hidden curriculum’ was first used in the 1960s.12 
• Terms that have been used to describe the hidden curriculum include ‘informal’, ‘implicit’, ‘latent’ and ‘shadow’12, 13; all meant to emphasise the complex and often tacit influence of educational structures, norms and practices on teaching and learning.

숨겨진 교육과정은 학생들이 학습 기회에 참여하는 방식과 향후 진로에 대한 결정에 영향을 미칩니다.11, 14, 15 학생의 경우 숨겨진 교육과정은 의료 전문가로서의 정체성 형성에 영향을 미칠 수 있습니다.10, 11 마찬가지로 교수진을 위한 숨겨진 교육과정은 암묵적인 메시지를 전달하여 개인의 사회화에 영향을 주는 것으로 Hafler, Thompson 및 동료들에 의해 제안되었습니다. 그러나 교수진을 위한 숨겨진 커리큘럼의 개념은 잘 연구되지 않았습니다.13, 16 교수진을 위한 숨겨진 커리큘럼이 어떻게 운영될 수 있는지에 대한 추가 지식은 교수진 개발자에게 유용할 것이며, 이를 통해 소진 및 높은 교수진 이직률과 같은 부정적인 결과를 완화하는 데 도움이 되는 전략을 설계할 수 있습니다. 또한 이러한 지식은 교수진 개발 이니셔티브에 정보를 제공하는 데 사용될 수 있으므로 교수진은 교수 역할에서 성공할 수 있도록 지원받는다고 느낄 수 있습니다. 

The hidden curriculum influences the ways students engage with learning opportunities and the decisions they make about their future careers.11, 14, 15 For students, the hidden curriculum can impact on the formation of their identity as health care professionals.10, 11 Similarly, a hidden curriculum for faculty has been suggested by Hafler, Thompson and colleagues as communicating tacit messages, which influence an individual's socialisation into life as an academic. However, the notion of a hidden curriculum for faculty has not been well explored.13, 16 Further knowledge about how a hidden curriculum might operate for faculty would be useful for faculty developers, so they can design strategies to help mitigate negative outcomes such as burnout and high faculty turnover. This knowledge can also be used to inform faculty development initiatives, so faculty feel supported to thrive in their teaching roles.

교수진을 위해 숨겨진 교육과정이 어떻게 운영될 수 있는지 조사하는 한 가지 방법은 '숨겨진 교육과정'이라는 용어의 정의와 의학교육 문헌에서의 적용을 분석한 범위 검토의 결과를 기반으로 하는 것입니다.14 이 검토에서는 주로 학생 경험을 조사했으며 동기-심리, 대인관계-사회, 제도-조직, 맥락-문화 등 네 가지 연결된 개념적 경계를 제안합니다. 이러한 경계는 그림 1에 정의되어 있습니다. 상호 연결된 개념적 경계는 개인이 교육 프로그램 및 기관 내부와 외부에서 커리큘럼, 교수법 및 학습 환경과 관련된 요소와 가질 수 있는 상호작용에 대한 다면적이고 역동적인 관점을 강조합니다.12, 14 명확성을 위해 이 글의 나머지 부분에서는 다음 연구에서 개념적 프레임워크의 설명 및 사용과 혼동을 피하기 위해 이러한 개념적 경계를 숨겨진 교육과정의 '영역'으로 지칭할 것입니다. 우리는 하플러13가 설명한 교수진에 영향을 미치는 숨겨진 교육과정의 개념을 로렌스14의 범위 검토 결과에서 확인된 네 가지 영역과 통합하여 개념적 틀을 구성했으며, 주로 숨겨진 교육과정이 학습자에게 미치는 영향을 탐구했습니다. 
One way to investigate how a hidden curriculum could operate for faculty might be to build on findings from a scoping review that analysed definitions of the term ‘hidden curriculum’ and their application in the medical education literature.14 This review examined student experiences primarily and proposes four linked conceptual boundaries: motivational–psychological, interpersonal–social, institutional–organisational and contextual–cultural. These boundaries are defined in Figure 1. The interlinked conceptual boundaries emphasise a multifaceted and dynamic view of interactions individuals may have with factors related to the curriculum, instructional methods and learning environments from within educational programmes and institutions and beyond.12, 14 For clarity, we will refer to these conceptual boundaries as ‘domains’ of the hidden curriculum for the remainder of this article to avoid confusion with the description and use of the conceptual framework for our study that follows. We constructed a conceptual framework by integrating the concept of the hidden curriculum impacting on faculty as described by Hafler13 with the four domains identified in the results of the scoping review by Lawrence14 that primarily explore the impact of the hidden curriculum on learners.

독자를 돕고 교수진을 위한 숨겨진 커리큘럼이 어떤 모습일지 설명하기 위해 가상의 비네팅을 구성하고 분석했습니다(그림 1 참조). 명확성을 위해 숨겨진 커리큘럼의 각 영역에 대해 개별적인 예를 사용했지만 서로 연결되어 있고 중복된다는 점을 인식하고 있습니다.
To assist the reader and illustrate what a hidden curriculum for faculty might look like, we have constructed and analysed a fictional vignette (see Figure 1). For the purpose of clarity, we have used discrete examples for each domain of the hidden curriculum but recognise that they are interlinked and overlap.

교수진을 위한 숨겨진 커리큘럼에 대한 이해를 높이려면 더 많은 연구가 필요합니다. 10여 년 전 하플러와 동료들의 요청에도 불구하고,13 교수진을 위한 숨겨진 커리큘럼에 대한 연구는 제한적이었습니다. 200개가 넘는 논문이 Hafler와 동료들의 연구를 인용하고 있지만, 교수진을 위한 숨겨진 커리큘럼의 운영 측면과 관련된 연구 결과를 제시한 논문은 단 세 편에 불과합니다.

• 첫 번째는 전문성을 커리큘럼에 통합하는 데 실패한 이유를 조사한 연구였습니다.17 선임 교수진이 의도치 않게 전문성 교육의 중요성을 약화시킨 것으로 밝혀졌습니다.
• 두 번째 연구에서는 임상의가 진료 커뮤니티 내에서 교사로서의 정체성을 어떻게 발전시키는지 조사했습니다.18 숨겨진 커리큘럼은 교사의 정체성에 대한 신념과 실제 교육 관행 사이의 차이에 영향을 미치는 요인으로 제안되었으며, 이는 기관 문화에 의해 지속되는 것으로 생각됩니다.
• 세 번째 연구에서는 교사의 정체성, 특히 교수 역할이 교사의 정체성에 어떻게 통합되는지를 탐구했습니다.19 저자들은 교사의 정체성이 사회적으로 어떻게 구성되는지를 인식하면서 교사를 위한 숨겨진 커리큘럼의 증거를 제시했습니다.

More studies are needed to further our understanding of the hidden curriculum for faculty. Despite a call by Hafler and colleagues over a decade ago,13 research into the hidden curriculum for faculty has been limited. Although more than 200 papers cite Hafler and colleagues' work, we identified only three papers that present findings related to aspects of a hidden curriculum operating for faculty.

• The first was a study investigating why the integration of professionalism into a curriculum was unsuccessful.17 Senior faculty were found to have unintentionally undermined the importance of teaching about professionalism.
• The second study explored how clinicians develop their identities as teachers within communities of practice.18 The hidden curriculum was suggested to be an influencing factor in differences between teachers' beliefs about their identities and their actual teaching practices, thought to be perpetuated by the institutional culture.
• The third study also explored faculty identity, specifically how teaching roles are integrated into teacher identity.19 In recognising how teacher identities are socially constructed, the authors suggested evidence of a hidden curriculum for faculty.

이 세 가지 연구에서 숨겨진 커리큘럼은 연구의 초점이 아니라 교수 경험에 대한 결과를 설명하는 데 사용되었습니다. 이 세 가지 연구는 의학교육 맥락에서만 교수진을 위한 숨겨진 커리큘럼에 대한 인사이트를 제공합니다. 따라서 숨겨진 커리큘럼이 더 일반적으로 교수진의 보건 전문직 프로그램에서 어떻게 운영될 수 있는지에 대한 지식에는 차이가 있습니다. 이 연구의 목적은 보건 전문직 교육에서 교수진을 위해 숨겨진 커리큘럼이 어떻게 운영될 수 있는지 설명하는 것이었습니다.  
For these three studies, the hidden curriculum was used to explain findings about teaching experiences rather than being the focus of the research. These three studies provide insights about the hidden curriculum for faculty in medical education contexts only. Consequently, there is a gap in our knowledge about how the hidden curriculum might operate with faculty health professions programmes more generally. The aim of this study was to explain how a hidden curriculum might operate for faculty in health professions education.

2 방법
2 METHODS

우리는 교육을 사회적으로 매개되는 활동으로 간주하는 해석주의적 관점에서 이 연구에 접근했습니다. 여기서 지식은 개인이 역사적으로 영향을 받은 서로 및 주변 세계와의 상호 작용 패턴을 사용하여 공동 구성합니다. 이러한 관점은 서론에서 제시한 히든 커리큘럼의 정의 및 모델과 일치합니다. 우리는 교사의 숨겨진 교육과정에 영향을 미치는 요인을 도전의 현장이자 동시에 잠재적 혁신의 현장으로 볼 수 있기 때문에 까다로운demanding  교수 경험을 식별하는 것이 교사의 숨겨진 교육과정을 연구하는 생산적인 방법이라고 생각했습니다.20

• 우리는 까다로운 교수 경험을 보건 전문직 프로그램에서 학생들을 가르치거나 감독하는 동안 교사에게 고통, 불안 또는 기타 기억에 남을 수 있는 불리한 상황 또는 의도하지 않은 상황으로 정의했습니다. 

We approached this research from an interpretivist perspective, where education is viewed as a socially mediated activity. Here, knowledge is co-constructed by individuals using historically influenced patterns of interaction with each other and the world around them. This perspective is consistent with the definition and model of the hidden curriculum presented in the introduction. We considered identifying demanding teaching experiences to be a productive way of studying the hidden curriculum for faculty because the factors that influence the hidden curriculum for teachers can be viewed simultaneously as challenges and the sites of potential innovation.20 

• We defined a demanding teaching experience as any unfavourable or unintended situation, while teaching or supervising students in health professions programmes that might have been distressing, disturbing or otherwise memorable to the teacher.

이 연구는 뉴질랜드 더니든과 크라이스트처치의 오타고 대학교에서 진행되었습니다. 다양한 보건 전문직(영양학, 의학, 약학, 간호학, 치과, 물리치료학)과 학습 환경(예: 대학 강의실, 병원 병동, 지역사회 의료기관)의 교수진을 대상으로 의도적인 표본 추출을 통해 개인이나 특정 상황에 국한되지 않고 근본적이고 공통적인 과정을 파악하고자 했습니다. 교수진은 일대일 반구조화 인터뷰에 참여하도록 초대되었습니다. 초청된 교수진은 연구의 목적, 주제, 방법 및 결과에 대한 정보를 제공받고 참여하기 전에 서면 동의를 받았습니다. 참가자들은 힘들었다고 생각되는 강의 경험의 예와 이를 어떻게 관리했는지 설명하도록 요청받았습니다. 참가자들은 개인적, 사회적, 조직적 영향과 영향을 포함하여 각 힘든 경험에 기여했을 수 있다고 생각되는 요인에 대해 설명하도록 권장되었습니다. 인터뷰는 2000년 4월부터 9월까지 제1저자가 직접 또는 화상 회의를 통해 실시했으며 디지털 오디오 녹음으로 진행되었습니다. 
The study took place the University of Otago in Dunedin and Christchurch, New Zealand. Purposive sampling was used to include faculty from a variety of health professions (dietetics, medicine, pharmacy, nursing, dentistry and physiotherapy) and learning environments (i.e. university classrooms, hospital wards and community health care workplaces) to identify a process that was fundamental and common rather than specific to individuals or particular contexts. Faculty were invited to participate in one-to-one semi-structured interviews. Invited faculty were provided information about the purpose, topic, methods and outcomes of the study and gave written consent before participating. Participants were asked to describe examples of teaching experiences that they felt were demanding and how they managed them. Participants were encouraged to describe factors they thought may have contributed to each demanding experience including possible personal, social and organisational influences and impacts. Interviews were conducted in-person or via video conferencing by the first author from April to September 2000 and digitally audiorecorded.

이 연구를 위해 구축된 개념적 프레임워크에 따라 연구팀은 모든 녹취록을 읽고 토론했습니다.

• 제1저자는 교사가 의도한 실습과 성취할 수 있는 것 사이의 관계로 까다로운 경험을 대표적 인용문으로 뒷받침되는 간략한 서면 설명으로 요약했습니다.
• 연구팀원 세 명(CL, TW, MA)이 녹취록을 다시 읽고 참가자가 각 경험을 힘들다고 느낀 이유와 관련된 정보를 코딩했습니다.
• 모든 녹취록을 독립적으로 코딩한 후, 세 명의 연구원이 만나 제한된 수의 코드에 합의했습니다.
• 코드는 각 코드 그룹 내의 관계가 식별되고 다른 그룹 내에서 식별된 관계와 구별될 때까지 그룹화 및 재그룹화되었습니다.
• 이러한 관계는 보건 전문직 프로그램에서 교육할 때 참가자를 위해 숨겨진 커리큘럼이 운영되는 방식으로 해석되었습니다.
• 분석의 견고성을 높이기 위해 JT와 AA에게 분석 결과를 제시했으며, 이들은 분석과 결과를 독립적으로 검토했습니다.
• 연구팀은 결과 섹션에 제시된 연구 결과에 대해 논의하고 합의를 도출하기 위해 모임을 가졌습니다. 

Informed by the conceptual framework built for this study, the research team read and discussed all transcripts.

• The first author summarised demanding experiences as relationships between a teacher's intended practice and what they could accomplish with brief written descriptions supported with representative quotations.
• Three members of the research team (CL, TW and MA) re-read the transcripts to code information related to why the participant felt each experience was demanding.
• Once all transcripts were coded independently, three researchers met to agree upon a limited number of codes.
• Codes were grouped and regrouped until relationships within each group of codes were identified and were distinct from the relationships identified within other groups.
• The relationships were interpreted as the way the hidden curriculum was operating for participants when teaching in health professions programmes.
• To enhance the robustness of the analysis, the findings were presented to JT and AA who reviewed the analysis and findings independently.
• The research team met to discuss and come to consensus about the findings presented in the results section.

2.1 저자의 반성
2.1 Author reflexivity

이 연구를 진행하는 동안 우리는 각 저자가 연구 과정에 가져온 경험과 세계관을 염두에 두었습니다. 연구팀은 고등 교육 및 보건 전문직 교육 학습 환경에서 임상의, 교사 및/또는 교수진 개발자로서의 다양한 경험을 보유하고 있었습니다. 이러한 배경 덕분에 참가자들이 경험하는 사건과 요구의 유형에 민감하게 반응할 수 있었습니다. 모든 저자는 교수진을 위한 숨겨진 커리큘럼이라는 개념에 익숙했고, 이 연구 참여자에게는 어떻게 나타날지 궁금했습니다. 또한 숨겨진 커리큘럼이 종종 강력하지만 항상 부정적인 것만은 아니라는 점을 인식하고 있었기 때문에 데이터에서 요구가 긍정적으로 표현될 수 있음을 알고 있었습니다. 
Throughout this study, we were mindful of the experiences and worldview that each author brought to the research process. Collectively, the research team possessed a range of experiences as clinicians, teachers and/or faculty developers in higher education and health professions education learning environments. Our backgrounds sensitised us to the type of events and demands experienced by our participants. All authors were familiar with the concept of a hidden curriculum for faculty, and we were curious as to how it might manifest for the participants in this study. We also recognised that a hidden curriculum, while often powerful, may not always be negative, so we were aware that demands could be expressed positively in our data.

3 결과
3 RESULTS

16명의 교수진과의 인터뷰를 실시하고 분석했습니다. 물리치료(5명), 의학(5명), 약학(3명), 치과(1명), 영양학(1명), 간호학(1명) 등 6개 직종에 종사하는 여성 9명, 남성 7명이 참여했습니다. 연구에 참여한 교수진에게 숨겨진 커리큘럼이 운영되고 있는 세 가지 방식을 확인했습니다.  
Interviews with 16 faculty members were conducted and analysed. Nine female and seven male participants spanned six professions: physiotherapy (five), medicine (five), pharmacy (three), dentistry (one), dietetics (one) and nursing (one). We identified three ways the hidden curriculum was operating for the faculty who participated in our study.

3.1 저평가된 교수 전문성
3.1 Undervalued teaching expertise

히든 커리큘럼의 운영은 교사들이 교육 전문성의 중요성을 저평가하는 이유를 설명할 수 있습니다. 우리는 참여자들이 교육 전문성에 부여하는 가치와 교육 기관이 교육 전문성에 부여하는 가치에 대한 인식 사이에 불일치가 있음을 확인했습니다. 이러한 불일치는 참여자에게 할당된 교수 역할의 유형, 교수 관련 자율성 부족, 임상 교사의 역할에 대한 기관의 이해 부족으로 설명되었습니다. 
The operation of a hidden curriculum can explain why teachers felt the importance of having teaching expertise was undervalued. We identified a mismatch between the value participants placed on teaching expertise and their perception of the value the institution placed on teaching expertise. This mismatch was illustrated by the types of teaching roles allocated to participants, a lack of teaching-related autonomy and a perceived lack of institutional understanding of a clinical teacher's role.

참가자들은 기관이 교육을 중시한다고 주장하지만, 현대 교육 학습 및 교육 접근법에 대한 사전 경험이나 준비 없이 교육 역할을 할당받았다고 설명했습니다. 전문 임상 지식과 교육 전문 지식이 혼재되어 있어 참가자들은 교육 기술의 중요성이 저평가되었다고 인식했습니다. 예를 들어, 참가자들은 임상 지식만으로는 학생들이 교육 과정의 학습 성과를 달성하는 데 충분하지 않은 과정을 책임지는 위치에 배치되었습니다. 임상적 통찰력에도 불구하고 참가자는 세션을 원하는 수준으로 전달할 수 있는 교육 전문 지식이 부족했습니다. 경험이 풍부한 한 임상의는 '[교육 세션을 진행하기 위한] 교육이 부족하다는 것을 뼛속 깊이 알고 있었다'(P8)고 말했습니다. 
Although participants perceived that the institution claimed to value teaching, they described being allocated teaching roles without any prior experience or preparation with contemporary educational learning and teaching approaches. The conflation of expert clinical knowledge with teaching expertise led participants to perceive that the importance of teaching skills was undervalued. For example, participants were placed in positions of responsibility for courses where their clinical knowledge alone was not enough to ensure that students achieved the learning outcomes of the course. Despite their clinical acumen, the participant lacked teaching expertise to deliver the session to the desired standard. One very experienced clinician ‘knew it in my bones that I didn't have the training to facilitate [a teaching session]’ (P8).

교육 전문 지식의 가치는 행정적 결정으로 인해 훼손될 수도 있는데, 이로 인해 참가자들은 자신이 가르치는 내용에 대한 통제력이 부족하거나 선배 동료들이 원하지 않는 역할을 할당받았다고 느꼈습니다. 한 참가자는 자신의 상황을 이렇게 설명했습니다. "처음 입사했을 때 저는 신입이었습니다. 그래서 제 전공이 아닌 [코스 설명]을 가르치게 했습니다."(P12). 참가자들은 자신의 전문 분야를 벗어난 강의를 해달라는 요청을 받았을 때 '거절할 수 없었다'(P8)고 느꼈습니다. 이러한 경험으로 인해 참가자들은 때때로 자신이 가르치는 내용이나 가르치는 방식에 대해 발언권이 거의 없다고 느꼈고, 이는 참가자들이 교사로서의 역할에 부여하는 가치와 상충되었습니다. 또한 동료들이 동기를 부여하지 않거나 강의 내용을 변경하지 않으려는 '교수진 화석화'(P1)로 인해 변화를 실행하는 데 어려움을 겪을 때 참여자의 자율성은 더욱 약화될 수 있었습니다. 
The value of teaching expertise could also be undermined by administrative decisions, which led to participants feeling that they lacked control over the content they taught or were allocated roles that senior colleagues did not want. One participant described their situation: ‘When I first arrived, I was a new guy. So they had me teach [description of course], which is not my specialty’ (P12). When participants were asked to teach outside of their professional scope of practice, they felt like they ‘couldn't say no’ (P8). These experiences led participants to feel, at times, that they had little say in what they teach or how it is taught, conflicting with the value participants placed in their role as a teacher. Participants' autonomy could also be further undermined when they faced difficulties enacting change due to ‘faculty fossilisation’ (P1), where colleagues were unmotivated or unwilling to change course content.

참가자들은 임상의, 연구자, 교사로서의 역할 사이에서 균형을 잡는 것에 대한 이해가 부족하다고 설명했습니다. 참가자들은 자신의 가르침이 학생들의 교육과 전문성 개발에 필수적이라고 생각했지만, 소속 기관에서 자신의 가르침을 우선순위로 여기지 않는다고도 느꼈습니다. '의과대학이 다른 교육 학부와 같지 않다는 대학 측의 이해 부족'이 있었다고 인식했습니다(P9). 참가자들은 교육은 '부업으로 하는 것'이라는 메시지를 받았습니다(P9). 참가자들은 환자 치료와 양질의 교육 사이에서 균형을 찾아야 했습니다: 
Participants described a lack of understanding about the challenge of balancing their roles as clinician, researcher and teacher. Participants felt their teaching was integral to the education and professional development of their students; however, they also felt that their teaching was not viewed by their institution as a priority. There was a perceived ‘lack of understanding from the university that the med school is not the same [as other teaching faculties]’ (P9). Participants received the message that teaching was something ‘that's done on the side’ (P9). Participants had to find a balance between delivering patient care and high-quality teaching:

참가자들은 이러한 균형을 유지하는 데 필요한 전문성이 저평가될 때 이러한 균형을 유지하는 것이 얼마나 어려운지 설명했습니다. 
Participants described how maintaining this balance was difficult when the expertise required to achieve such a balance was undervalued.

3.2 훼손된 교육 목표
3.2 Undermined teaching goals

참가자들은 학생들을 지식 습득 모드에서 비판적 사고의 관점으로 전환하기 위해 비현실적인 기간이 주어질 수 있다고 설명했습니다. '정말 중요한 기술을 개발할 수 있는 시간이 3개월 정도밖에 없습니다'(P4). 
Participants described how they could be given unrealistic timeframes to shift students from a knowledge acquisition mode to a critical thinking perspective: ‘we've got like three months to develop these really important skills’ (P4).

환자 치료가 우선시되다 보니 임상 교육자들은 때때로 학습자의 독립성을 키우는 것이 어렵다는 것을 알게 되었습니다. 임상 학습 상황에서 참가자들은 환자의 안전을 보장하기 위해 학생의 독립성을 중단해야 했습니다. '어느 단계에서 시간이 부족해지면 학생에게 사과하고 시간이 부족하다고 말해야 합니다. 그들은 [임상의가] 대신해야 할 것입니다'(P15). 
The primacy of patient care meant that, at times, clinical educators found it challenging to foster learner independence. In a clinical learning context, participants were required to suspend students' independence in order to ensure patient safety: ‘And at some stage you run out of time and you need to apologize to the student and say, look, we're running out of time. They're [the clinician] going to have to take over’ (P15).

3.3 고립 대 협업
3.3 Isolation versus collaboration

숨겨진 커리큘럼의 운영은 일부 참가자들이 의료 서비스를 제공할 때 느꼈던 협업과 대조적으로 교사로서 고립감을 느낀 이유를 설명할 수 있습니다. 교사로서 역할을 수행하면서 참가자들은 협업의 장벽과 학생의 필요나 진행 상황에 대한 제한된 정보로 인해 고립감을 느낀다고 설명했습니다. 
The operation of a hidden curriculum can explain why some participants felt isolated as teachers in contrast to the collaboration they felt when providing health care. In their roles as teachers, participants described feelings of isolation due to barriers to collaboration and limited information available about student needs or progress.

참가자들은 협업 부족으로 인해 다른 교육자들로부터 배울 수 있는 기회가 제한되고 이용 가능한 지원이 부족하다고 인식되어 고립감을 느꼈다고 설명했습니다. 참가자들은 동료 교사로부터 배우고 관찰하고 싶지만 그럴 기회가 없었다고 입을 모았습니다: '다른 사람이 어떻게 가르치는지 실제로 관찰하는 것은 제가 경험해 본 적이 없는 일입니다'(P6). 참가자들은 '고립되어 있고, 주변에 팀이 없으니'(P9) 외로움을 느꼈고, 이러한 상황에 대해 '조금 굳어졌다'(P1)고 느끼며 동료들의 지원이 부족하다고 체념했습니다. 참가자들이 여러 역할을 수행하다 보니 교육과 학습에 대한 지원을 받기가 어려웠습니다:  
Participants described how a lack of collaboration resulted in isolation through limited opportunities to learn from other educators and a perceived lack of available support. Participants shared a desire to learn from and observe their peers teach but did not have the opportunity to do so: ‘Actually observing how somebody else teaches is not something I've had the pleasure of observing’ (P6). Participants felt alone: ‘You're isolated, you [have] not got the team around you’ (P9) and resigned to a lack of collegial support by feeling ‘a little bit hardened’ (P1) to the situation. The multiple roles performed by participants meant that support for teaching and learning was difficult to obtain:

참가자들이 고립감을 극복하기 위해 시도한 한 가지 방법은 동료들과 공식적, 비공식적 관계를 구축하는 것이었습니다. 이러한 관계는 참가자들이 이용할 수 있는 지원을 파악하는 데 도움이 되었습니다. 참가자들은 '통제 불능 상태가 되는 것을 막기 위해 비공식적으로 연락을 취하거나'(P15), 도움을 받을 수 있는 동료를 찾는다고 설명했습니다: '옆 방에 강사로 일하는 정말 좋은 직장 동료가 있는데, 정말 좋은 조언을 해주었습니다'(P12). 마찬가지로 교육 고문과 같은 교수진과의 공식적인 관계는 참가자들이 전문성 개발을 위한 지원을 받을 수 있음을 의미했습니다. '[교육 고문]에게 연락해서 방금 진행한 워크숍이 정말 형편없어서 도움이 필요하다고 말했죠! 며칠 만에 우리는 회의를 조직하고 몇 가지 아이디어를 브레인스토밍했습니다. (P2). 
Oneway participants tried to combat isolation was to build formal and informal relationships with colleagues. These relationships helped participants identify supports available to them. Participants described ‘informal catch-ups to try and prevent things spiralling out of control’ (P15) or identifying colleagues on whom they could rely for support: ‘I have a really good, um, office mate next door who is a lecturer as well, who gave me some really good advice’ (P12). Similarly, formal connections with faculty, such as education advisors, meant that participants could access support for professional development: ‘So I actually contacted [an education advisor] and I was like, this workshop I just had totally sucked and we need some help! Within a couple of days, we'd organized a meeting and we'd brainstorm some ideas’. (P2).

참가자들이 고립감을 느끼는 데 기여한 또 다른 요인은 학생들에 대한 정보가 제한적으로 공유되어 교육에 영향을 미쳤다는 점입니다. 이러한 상황은 최상의 치료를 제공하기 위해 환자에 대한 정보가 일상적으로 공유되는 임상 실습과는 대조적입니다. 참가자들은 학생을 만나기 전에는 학생이 어려움을 겪고 있거나 추가 학습 지원이 필요하다는 사실을 알지 못했다고 설명했습니다: '... 학생들이 어려움을 겪고 있다는 사실을 알기 전까지는 정보를 얻지 못하거나 전혀 얻지 못하기 때문에 조금 어렵습니다'(P7). 이러한 격차로 인해 참가자들은 자신이 제공하는 강의의 질이 영향을 받는다고 느낄 수 있습니다. '미리 알았더라면 실제로 그것에 맞춰 강의를 조금 더 조정할 수 있었을 텐데'(P7). 고립감은 프로그램 기간 동안 또는 프로그램 기간 내에 교육자에게 전달되지 않는 학생 진도에 대한 단면적인 스냅샷을 제공하는 평가 프로세스 때문일 수 있습니다. 참가자들은 현재의 평가 관행이 학생의 진도에 대한 제한된 관점을 제공함으로써 학생의 능력에 대한 우려로 이어진다고 느낀다고 설명했습니다: '어떤 영역에서는 학생들이 충분히 제대로 평가받지 못한 것 같아서 논문을 작성하게 되었습니다'(P4).  
Another factor, which contributed to participants' feelings of isolation, was the limited information shared about their students, which affected their teaching. This situation contrasts with clinical practice, where information about patients is routinely shared to deliver the best possible care. Participants described being unaware that students were having difficulties or required extra learning support prior to meeting them: ‘… it's a bit hard because we don't necessarily get information about the fact that the students are struggling until, or we don't at all’ (P7). This gap could lead to participants feeling that the quality of teaching they delivered was impacted: ‘If I'd known that beforehand, I would have actually been able to adapt my teaching around it a bit’ (P7). A feeling of isolation may be due to assessment processes that provide cross-sectional snapshots of student progress that are not communicated to educators across, or within, years of the programme. Participants described how they felt that current assessment practices meant that a limited view of student progress was obtained, leading to concern about students' abilities: ‘I feel in some areas they haven't been assessed robustly enough and then they come to our paper’ (P4).

4 토론
4 DISCUSSION

우리는 보건 전문직 프로그램에서 교수진에게 숨겨진 커리큘럼이 어떻게 운영될 수 있는지 설명하는 세 가지 방법을 확인했습니다. 이러한 설명에는 다음 등이 포함됩니다.

• 교수 전문성이 어떻게 평가되고 이해되는지,
• 교육 기관의 관습이 교육 목표에 어떤 영향을 미치는지,
• 교수진이 의료 전문가로서 경험하는 동료애에 비해 교사로서 고립감을 어떻게 느끼는지 

이러한 설명은 미래의 의료 전문가를 교육하는 교사와 안전한 환자 치료를 제공하는 의료 전문가라는 두 가지 역할을 동시에 수행하려는 교수진에게 숨겨진 커리큘럼이 어떻게 운영될 수 있는지를 보여줍니다. 교수진 교육에 영향을 미칠 수 있는 요인을 파악할 수 있도록 교수진을 위한 숨겨진 교육과정 모델의 네 가지 영역14 과 관련하여 세 가지 주요 연구 결과를 논의합니다. 숨겨진 교육과정의 모든 영역이 작동할 가능성이 있지만, 각 결과에 대한 논의와 가장 관련성이 높은 영역만 명시적으로 언급한다는 점에 유의하는 것이 중요합니다. 
We identified three ways to explain how a hidden curriculum can operate for faculty in health professions programmes. These explanations involve

• how teaching expertise is valued and understood,
• how institutional conventions impact on teaching goals and
• how faculty feel isolated as teachers compared to the collegiality they experience as health care professionals.

These explanations illustrate how a hidden curriculum can operate for faculty as they attempt to perform two roles simultaneously: as teachers who are educating future health care professionals and as health professionals who are ensuring the provision of safe patient care. We discuss the three main findings in relation to the four domains of the model of hidden curriculum for faculty14 so that possible factors influencing faculty teaching can be identified. It is important to note that although all domains of the hidden curriculum are likely operating, we will only explicitly name domains that are most relevant to our discussion of each finding.

교수진을 위한 숨겨진 커리큘럼이 작동하는 것으로 보이는 한 가지 방법은 교육 전문 지식의 중요성이 저평가될 때입니다. 숨겨진 교육과정의 동기-심리 및 제도-조직 영역과 관련된 요인은 특히 임상 업무 또는 연구 결과와 비교할 때 보건 전문직 교육자가 소속 기관에서 자신의 교육이 저평가되었다고 느끼는 다른 맥락의 결과와 이 결과를 이해하는 데 도움이 될 수 있습니다.4-6, 21, 22

• 참가자들이 설명했듯이, 교수진은 관련 교육 전문성 없이 교육 역할을 할당받을 수 있으며,23, 24 이는 자신의 진료 범위를 벗어난 임상 역할을 수행하지 않는 것과 대조될 수 있는 관행입니다. 교육 내용 지식의 개념은 교육과 관련된 지식과 실습을 식별합니다.25 교육 내용 지식은 교수 역할에 익숙하지 않은 교수진이 어려움을 겪는 이유를 이해하고 교수로서의 역량을 개발하기 위해 어떻게 지원할 수 있는지 파악하는 데 사용되었습니다.26
• 마찬가지로, 임상적 통찰력을 교육 전문성과 동일시하는 대학 정책 및 절차에 따라 교수진에게 전달되는 가정은 교수진이 취약성을 느끼고 자신의 역량을 의심하며 자신이 제공하는 교육의 질에 의문을 제기하게 할 수 있습니다. 이러한 상황은 보건 전문직 교육 전반에 걸쳐 나타납니다.27 

One way a hidden curriculum for faculty appears to operate is when the importance of having teaching expertise is undervalued. Factors related to the motivational–psychological and institutional–organisational domains of the hidden curriculum can assist us to understand this finding and those from other contexts about health professions educators feeling that their teaching is undervalued by their institution, especially when compared to clinical work or research outputs.4-6, 21, 22 

• As our participants described, faculty may be allocated teaching roles without relevant teaching expertise,23, 24 a practice, which may contrast with not being expected to undertake clinical roles outside one's scope of practice. The concept of Pedagogical Content Knowledge identifies knowledge and practice specific to teaching.25 Pedagogical Content Knowledge has been used to understand why faculty may struggle when new to a teaching role and identify how they can be assisted to develop competency as a teacher.26 
• Likewise, assumptions conveyed to faculty by university policies and procedures that equate clinical acumen with teaching expertise may lead faculty to feel vulnerable, doubt their capabilities and question the quality of teaching they provide. This situation appears across health professions education.27 

교수진이 행동할 능력이 부족하다고 인식하면 교육 기관에서 자신의 가시성에 의문을 제기할 수 있습니다.28 교육 목표를 훼손하는 영향은 숨겨진 커리큘럼의 문화적 맥락 영역에서도 식별할 수 있습니다. 예를 들어, 직장 학습 환경의 맥락에서 교육보다 건강 관리가 우선시되는 경우가 있는데, 이를 인정하지 않을 경우 교수진에게 필요한 교육 전문성을 약화시킬 수 있습니다. 교육보다 건강 관리를 우선시하는 것은 교직원과 학생에게 구조적인 장벽으로 작용할 수 있습니다. 현장 학습에 대한 구조적 장벽은 학생의 역량을 키우는 것을 더욱 어렵게 만들 수 있습니다.29 숨겨진 커리큘럼의 문화적 맥락적 경계에서 영향을 인식하면 직장 문화에 따라 교수진이 자신의 역할과 전문성을 어떻게 인식할 수 있는지 설명하는 데 도움이 될 수 있습니다. 교수진이 교육 관행을 개발하거나 변경하는 데 부서나 동료의 관성이 있다고 느끼는 경우, 기관의 정책과 절차에 도전할 자율성이 부족하다고 느낄 수도 있습니다. 
If faculty members perceive, they lack ability to act, then they may question their visibility in the institution.28 Influences that undermine teaching goals can also be identified within the cultural–contextual domain of the hidden curriculum. An example is how health care is prioritised over teaching in workplace learning environments contexts, however, and when unacknowledged, it can undermine the teaching expertise required by faculty. Prioritising health care over teaching can act as a structural barrier for faculty and students. Structural barriers to on-the-job learning can make it more difficult to foster students' capabilities.29 Awareness of influences in the cultural–contextual boundary of the hidden curriculum can assist us to account for how faculty may perceive their role and expertise are valued based on the workplace culture. When faculty feel there is inertia from departments or colleagues to develop or change teaching practice, they may also feel a lack of autonomy to challenge institutional policies and procedures.

교수진을 위한 숨겨진 커리큘럼이 운영되는 두 번째 방식은 교육 목표가 훼손되는 경우입니다. 교수진은 학생들이 의료 전문가로서 협동 실습을 할 수 있도록 준비시킨다는 교육기관의 목표에도 불구하고 학생의 참여와 협업을 제한하는 시간표와 커리큘럼 구조로 인해 어려움을 겪을 수 있습니다. 교육기관의 정책과 절차는 동료와 학생의 비전문직업적 행동을 방치할 수 있습니다. 숨겨진 커리큘럼의 제도적-조직적 및 동기-심리적 영역과 관련된 영향은 이러한 책무성과 책임감의 결여가 어떻게 수용 가능한 전문직업적 행동을 심어준다는 핵심 목표와 상충되는지 설명하는 데 사용될 수 있습니다. 이러한 연구 결과는 교수진을 위한 숨겨진 커리큘럼이 전문직업성 교육에 어떤 영향을 미칠 수 있는지 보여주는 연구에 추가됩니다.17 교수진을 위한 숨겨진 커리큘럼은 또한 우리의 행동이 비전문직업적 행동을 지속시키는 것과 같은 의도하지 않은 결과를 초래하는 방법을 더 고려할 수 있게 해줍니다. 
A second way a hidden curriculum for faculty appears to operate is when teaching goals are undermined. Faculty can be challenged by timetables and curriculum structures that limit student engagement and collaboration, despite the purported institutional goal of preparing students for collaborative practice as a health care professional. Institutional policies and procedures may allow unprofessional behaviours from colleagues and students to be left unchecked. Influences related to the institutional–organisational and the motivational–psychological domains of the hidden curriculum can be used to explain how this lack of responsibility and accountability is at odds with a core goal of instilling acceptable professional conduct. These findings add to work that shows how a hidden curriculum for faculty may influence the teaching of professionalism.17 A hidden curriculum for faculty also allows us to further consider how our actions result in unintended consequences, such as perpetuating unprofessional behaviours.

교직원을 위한 숨겨진 커리큘럼이 작동하는 것으로 보이는 세 번째 방식은 교직원이 가르칠 때 고립을 보고하는 것입니다. 이 발견은 교직원을 위한 숨겨진 커리큘럼의 동기-심리적, 대인관계-사회적, 상황-문화적 영역의 영향으로 설명할 수 있습니다. 종종 의료 전문가들은 최적의 환자 치료를 제공하기 위해 협력하고, 다양한 직종에 종사하는 개인의 전문성을 활용하여 환자의 경과를 모니터링하기 위한 정보를 공유합니다. 이러한 협업 관행은 교수진에게 교사로서의 역할에서도 유사한 협업과 정보 공유가 이루어질 것이라는 기대감을 심어줄 수 있습니다. 이러한 기대가 충족되지 않으면 교직원은 고립감을 느끼게 됩니다. 이러한 고립감은 고등 교육에서 학자들이 흔히 경험하는 것으로, 일반적으로 교사로서 우리는 '교실 문을 닫고 교육적 고독을 경험하는 반면, 학자로서의 삶에서는 활발한 커뮤니티의 일원'입니다.30 p6 임상의가 교사 역할을 맡으면 교사와 임상의로서의 경쟁 업무로 인해 다른 보건 전문 교육자로부터 배울 수 있는 기회와 교육 자원에 대한 접근성이 제한될 수 있습니다. 이러한 결과는 교수진에 대한 공동 지원과 관련된 연구에서 보고된 고립감과 지원의 필요성을 강화합니다.23 연구 참여자의 경우, 학생에 대한 정보가 교수진에게 제한적으로 제공되어 고립감이 악화될 수 있습니다. 학생 진도에 대한 단면적인 스냅샷은 교수진이 교사로서 자신이 생각하는 기준에 도달할 수 있도록 학생들에게 학습 기회를 제공하는 것을 어렵게 만들 수 있습니다.

A third way a hidden curriculum for faculty appears to operate encompasses the isolation faculty report when teaching. This finding can be explained by influences in the motivational–psychological, interpersonal–social and contextual–cultural domains of the hidden curriculum for faculty. Often, health professionals collaborate to provide optimal patient care and share information to monitor a patient's progress over time by drawing upon the expertise of individuals from different professions. This collaborative practice may set an expectation for faculty that there will be similar collaboration and information sharing in their role as teachers. When this expectation is not met, faculty feel isolated. This sense of isolation is a common experience of academics in higher education, more generally, where as teachers, we ‘close the classroom door and experience pedagogical solitude, whereas in our life as scholars, we are members of active communities’.30 p6 When clinicians take on the role of teacher, they may have limited access to educational resources and opportunities to learn from other health professional educators due to competing duties as teacher and clinician. These findings reinforce the isolation and need for support reported in a study involving collegial support for faculty.23 For our participants, feeling isolated may be exacerbated by the limited information provided to faculty about their students. Cross-sectional snapshots of student progress can make it difficult for faculty to provide learning opportunities to their students that allows them to attain the standard they hold for themselves as teachers.

숨겨진 커리큘럼의 제도적-조직적 영역의 구조를 고려함으로써 교수진이 고립감을 완화할 수 있는 방법을 파악할 수 있었습니다. 교수진은 공식 및 비공식 동료 검토 및 멘토링에 대해 교수진 개발자에게 지침과 조언을 구하고 이러한 옵션을 교사로서 격려와 성장의 원천으로 활용할 수 있습니다. 비공식적인 동료 지원은 교사의 정체성 형성을 강화할 수 있지만23, 이러한 관행 자체도 숨겨진 커리큘럼의 적용을 받을 수 있습니다. 동료 지원은 또한 교사가 소속 기관으로부터 가치를 인정받는 데 도움이 될 수 있습니다.2,22 숨겨진 교육과정의 대인관계-사회적 영역에서 가능한 영향을 숙고함으로써 우리는 동료와 교류함으로써 고립감을 개선하려는 참가자들의 시도를 숨겨진 교육과정이 교사에 미치는 긍정적인 영향이라고 볼 수 있었습니다. 교수진이 자신의 고립감을 인식하고 지원을 구할 때, 그들은 자신의 상황을 개선하기 위해 숨겨진 커리큘럼의 측면을 해결하기 위해 제도적 구조를 사용할 수 있습니다. 교원은 '수동적인 졸이 아니라 교육기관 내에서 저항'31(2쪽)하는 행위를 통해 숨겨진 교육과정에 맞서 주체성을 행사하고 자신에게 가장 중요한 것을 드러낼 수 있다고 제안되었습니다.32 그러나 제도적 구조와 문화적 규범은 이러한 저항 행위에 대항하여31, 33 교원이 경험하는 고립을 지속하거나 심지어 강화할 수 있습니다. 교직원을 위한 숨겨진 커리큘럼의 동기-심리적 영역에 대해 생각하면 교직원에게 무엇이 중요한지 이해하고 이러한 이해를 활용하여 긍정적인 변화를 촉진할 수 있습니다. 향후 연구에서는 자기 결정 이론34과 같은 동기 부여 이론의 개념을 적용하여 교직원을 위한 숨겨진 커리큘럼의 개인적 동기 부여 영역을 보다 심층적으로 조사할 수 있습니다.

Considering structures in the institutional–organisational domain of the hidden curriculum allowed us to identify how faculty can mitigate their sense of isolation. Faculty may seek guidance and advice from faculty developers about formal and informal peer review and mentoring and use these options as sources of encouragement and growth as teachers. Informal peer support can strengthen teacher identity formation23; however, such practices themselves may also be subject to the hidden curriculum. Peer support can also help faculty to feel valued by their institution.2, 22 By pondering possible influences from the interpersonal–social domain of the hidden curriculum, we were able to view our participants' attempts to ameliorate their isolation by engaging with colleagues as a positive impact of the hidden curriculum for faculty. When faculty recognise their isolation and seek supports, they may be using institutional structures to address aspects of the hidden curriculum to improve their situation. It has been suggested that faculty can exercise agency in the face of the hidden curriculum through acts of ‘resistance within education institutions rather than being passive pawns’31 (p. 2) and reveal that which is most important to them.32 Institutional structures and cultural norms, however, may counteract these acts of resistance,31, 33 thereby perpetuating or even reinforcing the isolation experienced by faculty. Thinking about the motivational–psychological domain of the hidden curriculum for faculty allows us to understand what is important to faculty and use this understanding to promote positive change. A future study might apply concepts from a motivation theory, such as Self-Determination Theory34 to probe more deeply into the personal–motivational domain of the hidden curriculum for faculty.

이 세 가지 주요 조사 결과를 종합해 보면, 숨겨진 교육과정이 교수진에 의해 상호 영향을 주고받으며 어떻게 경험될 수 있는지를 알 수 있습니다. 교수진이 교사로서의 역할이 저평가되고, 훼손되고, 고립되었다고 느끼는 것은 보건 전문직 교육에만 국한된 것이 아닙니다.22, 27 그러나 이러한 문제를 보건 전문직 교육에서 교수진을 위한 숨겨진 교육과정으로 구성하면 교사, 연구자 및 임상의로서의 역할을 수행하는 교수진에게 이러한 문제를 정당화하는 데 도움이 될 수 있습니다.4, 35-38 이 연구의 결과는 숨겨진 교육과정이 교수진이 교사로서의 역할을 수행하는 방식과 교사로서 자신을 보는 방식을 어떻게 형성하는지 이해하는 데 더 잘 사용될 수 있습니다.
When these three main findings are viewed together, they illustrate how the hidden curriculum can be experienced as overlapping interacting influences by faculty. Faculty feeling that their role as teachers is undervalued, undermined and isolated is not unique to health professions education.22, 27 However, framing these issues as a hidden curriculum for faculty in health professions education might help legitimise these issues for faculty who take on roles as teachers, researchers and clinicians.4, 35-38 Findings from this study can be used to better understand how the hidden curriculum might shape how faculty enact their roles as teachers and how they view themselves as teachers.

연구 결과에는 교수진 개발자가 고려할 수 있는 몇 가지 시사점이 있습니다. 아마도 가장 유용한 인사이트는 교수진이 지금까지 '숨겨진' 것을 가시화할 수 있도록 지원하는 것과 관련이 있을 것입니다. '무언가를 '숨겨진 것'으로 분류하면 손댈 수 없거나 심지어 존재하지 않는 상태로 격상될 수 있습니다'12(528쪽)-우리는 이러한 결과를 피하고자 합니다. 우리는 숨겨진 것을 드러내어 가시화함으로써 의문을 제기하고 해결할 수 있도록 하고 있습니다.39 교수진 개발자는 숨겨진 교육과정의 네 가지 개념 영역을 사용하여 교육기관 맥락에서 운영되는 숨겨진 교육과정이 교수진에게 미치는 영향을 인식하고 시각화하는 데 도움을 받을 수 있습니다. 이 연구의 초점이 교육에 맞춰져 있으므로 향후 연구에서는 교수 역할의 다른 차원과 관련하여 숨겨진 커리큘럼을 조사할 수 있습니다. 교수진에게 숨겨진 커리큘럼이 어떻게 운영되는지 이해함으로써 교수진 개발자는 예를 들어 까다로운 교육 경험을 논의하기 위한 공통 언어를 개발하고 사용하는 등 보건 전문직 교육자가 임상 및 비임상 학습 환경에서 성공할 수 있도록 지원하는 도구를 더 잘 설계하고 공유할 수 있습니다. 향후 연구에서 탐구해야 할 한 가지 영역은 교수진이 교육 현장에서 직면한 문제를 해결하기 위해 '해결 방법'을 시작하고 유지하는 방법입니다. 이러한 해결 방법은 연구 결과에서 발견되었으며, 교수진이 문제나 이슈에 직접 직면하지 않고 해결책을 구현하는 방법을 나타냅니다.  
Our findings have several implications that faculty developers can consider. Perhaps the most useful insight involves assisting faculty to make the hitherto ‘hidden’ visible. ‘Labelling of something as “hidden” might elevate it to the status of untouchable or even non-existent’12 (p. 528)—we want to avoid this outcome. We are uncovering the hidden to make it visible so that it can be questioned and addressed.39 Faculty developers can use the four conceptual domains of the hidden curriculum to help recognise and visualise the influence of a hidden curriculum operating in their institutional contexts for their faculty. Given the focus of this study on teaching, a future study could examine the hidden curriculum in relation to other dimensions of the faculty role. By understanding how the hidden curriculum operates for faculty, faculty developers can design and share tools to better support health professions educators to thrive in clinical and nonclinical learning environments by, for example, developing and using a common language to discuss demanding teaching experiences. One area to explore in a future study is how faculty initiate and maintain ‘workarounds’ to address the challenges they faced in their teaching practice. These workarounds were present in our findings and represent the ways that faculty implemented a solution to resolve a problem or issue without confronting it directly.

이번 조사 결과는 스스로를 교사라고 밝힌 임상의에 국한됩니다. 향후 연구에서는 가르치지 않기로 선택했거나 스스로를 교사로 생각하지 않는 임상의의 관점을 조명할 수 있습니다. 참가자들에게 교수진에 대한 숨겨진 커리큘럼에 대한 인식을 직접 물었다면 연구 결과를 강화할 수 있었을 것입니다. 대신, 참가자들이 까다로운 교육 경험에 대한 이야기를 나눈 인터뷰 녹취록을 분석했습니다. 그러나 이러한 경험을 탐색하는 과정을 통해 교수들이 거주하는 '의학교육이라는 삶의 공간'9(404쪽)에 대해 깊이 이해할 수 있었고, 이러한 관점을 숨겨진 교육과정에 대한 이해를 통해 설명할 수 있었다고 생각합니다. 우리의 연구 결과가 현재 문헌에 추가되어 더 많은 논의와 확장을 촉진할 수 있기를 바랍니다. 
Our findings are limited to clinicians who self-identify as teachers. A future study may shed light on the views of clinicians who choose not to teach or who do not view themselves as teachers. Asking participants directly about their perceptions of the hidden curriculum for faculty may have strengthened our research findings. Instead, we analysed interview transcripts where participants shared stories of demanding teaching experiences. Through the process of exploring these experiences, however, we feel that we were able to gain a deep understanding of the ‘life-space we call medical education’9 (p404) which faculty inhabit and were able to explain these perspectives through our understanding of the hidden curriculum. It is hoped that our results can add to the current literature and prompt further discussion and expansion.

5 결론
5 CONCLUSION

우리는 보건 전문직 프로그램에서 교수진을 위해 숨겨진 커리큘럼이 어떻게 운영될 수 있는지 설명하는 세 가지 방법을 확인했습니다. 이러한 설명에는 교육 전문 지식의 중요성이 어떻게 저평가되는지, 교육 목표가 어떻게 훼손되는지, 교수진이 의료 전문가로서 경험하는 동료애에 비해 교사로서 어떻게 고립감을 느끼는지 등이 포함됩니다. 교수진을 위한 숨겨진 커리큘럼은 교육에 대한 가정, 기대 및 행동을 확립하고 유지하는 구조, 규범 및 관행에 의해 강화되는 것으로 보입니다. 연구 결과는 숨겨진 커리큘럼이 여러 겹치는 영역에서 작동하는 것으로 시각화되어 교수진이 자신과 자신의 역할을 보는 방식을 어떻게 형성할 수 있는지 보여줍니다. 이러한 인사이트는 교수진 개발자가 숨겨진 커리큘럼을 가시화하여 보건 전문직 교육자를 지원하는 데 사용할 수 있습니다. 
We identified three ways to explain how a hidden curriculum can operate for faculty in health professions programmes. These explanations involve how the importance of teaching expertise is undervalued, how teaching goals are undermined and how faculty feel isolated as teachers compared to the collegiality they experience as health care professionals. The hidden curriculum for faculty appears to be reinforced by structures, norms and practices that establish and maintain assumptions, expectations and behaviours about education. Our results show how the hidden curriculum can be visualised as operating in multiple, overlapping domains and shape how faculty see themselves and their roles. These insights may be used by faculty developers to help make the hidden curriculum visible, and, thereby, support health professions educators.

Med Educ. 2023 Aug;57(8):761-769. doi: 10.1111/medu.15026. Epub 2023 Feb 14.

© 2023 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

강의평가는 가르침의 질 저하와 성적 인플레이션을 조장한다: 이론적 및 실증적 분석(BASIC AND APPLIED SOCIAL PSYCHOLOGY, 2020)
Student Evaluations of Teaching Encourages Poor Teaching and Contributes to Grade Inflation: A Theoretical and Empirical Analysis 
Wolfgang Stroebe

학생 교수 평가(SET)는 1920년대에 퍼듀 대학교의 교육 심리학자 Herman H. Remmers(예: Remmers & Brandenburg, 1927)와 워싱턴 대학교의 학습 심리학자 Edwin R. Guthrie(예: Guthrie, 1953)에 의해 독자적으로 개발되었습니다. Remmers와 Guthrie는 대학 교사에게 자신의 강의가 학생들에게 어떻게 인식되고 있는지에 대한 정보를 제공하여 필요한 경우 개선하는 데 도움을 주고자 했습니다. 그들은 이러한 강의 평가에 대한 접근 권한을 강의 교사에게만 제한하려고 했습니다. 1953년 거스리는 "이 정보를 궁극적인 능력의 척도로 받아들이는 것은 심각한 오용이 될 것"(221쪽)이라고 경고했지만, SET는 곧 대학 관리자들에게 중요한 정보원이 되었고, 이들은 이를 능력 향상 및 승진에 대한 결정의 근거로 사용했습니다. 
Student Evaluations of Teaching (SETs) were independently developed in the 1920s by the educational psychologist Herman H. Remmers at Purdue University (e.g., Remmers & Brandenburg, 1927) and the learning psychologist Edwin R. Guthrie (e.g., Guthrie, 1953) at the University of Washington. Remmers and Guthrie wanted to provide university teachers with information about how their teaching was perceived by students and thus help them to make improvements, where necessary. They intended to limit access to these course evaluations to course teachers. Even though Guthrie warned in 1953 that “it would be a serious misuse of this information to accept it as ultimate measure of merit” (p. 221), SETs soon became valued sources of information for university administrators, who used them as a basis for decisions about merit increases and promotion.

일반적인 SET는

• 학생들에게 코스 교사에 대한 인식을 묻는 양식으로 구성되며,
• 보통 매우 동의함부터 매우 동의하지 않음까지 5점 리커트 척도로 평가하도록 되어 있습니다
• . 학생은 교수자와 코스에 대한 전반적인 평점을 매기도록 요청받습니다.
• 또한 강사의 특정 특성(예: 지식, 공정성, 도움됨)과 코스의 특정 특성(예: 조직, 난이도, 유익함)을 평가하도록 요청받습니다.
• 그런 다음 모든 학생과 각 평가 항목 및 모든 평가 항목에 대해 평균 평점이 계산됩니다.
• 이러한 평균 평가는 종종 학과 또는 학부의 다른 교수들이 받은 평가와 비교하여 교수의 교육 효과를 평가하는 데 사용됩니다(Uttl 외., 2017).

The typical SET

• consists of forms that ask students to rate their perception of course teachers,
• often on 5-point Likert scales, ranging from strongly agree to strongly disagree.
• Students are asked to give overall ratings of both their instructor and their course.
• In addition, they are asked to rate specific characteristics of the instructor (e.g., knowledge, fairness, helpfulness) and of the course (e.g., organization, difficulty, informative).
• Mean ratings are then computed across all students and for each rated item, as well as across all rated items.
• These mean ratings are often used to evaluate a professor’s teaching effectiveness by comparing them with ratings received by other professors in the department or in the faculty (Uttl et al., 2017).

1973년에는 29%의 대학만이 SET를 수집했지만, 1983년에는 68%, 1993년에는 86%로 증가했습니다(Seldin, 1998). 2010년에 실시된 설문조사에 따르면 94%의 대학에서 SET를 수집하고 있으며, 거의 모든 학장이 강의실 수업이 교수진 성과 평가의 주요 부분이라고 답했으며, 일반적으로 강의실 수업의 질에 대한 주요 정보 출처는 SET라고 답했습니다(Miller & Seldin, 2014). 
Whereas in 1973 only 29% of colleges collected SETs, this practice increased to 68% in 1983 and to 86% in 1993 (Seldin, 1998). A survey conducted in 2010 indicated that SETs were collected in 94% of colleges, that nearly all deans declared that classroom teaching was a major part of the performance evaluation of their faculty, and that SETs were usually their main source of information about the quality of classroom teaching (Miller & Seldin, 2014).

승진 및 임기 결정의 근거로 SET를 사용하는 것은 SET가 교수 효과와 학생 학습의 유효한 척도인 경우에만 정당화됩니다. 그러나 그렇지 않은 경우도 있습니다(예: Boring et al., 2016; Uttl et al., 2017). 이는 코스에 대한 학생의 만족도를 반영하는 것일 가능성이 높으며, 이는 교육 효과와 무관한 여러 요인에 의해 영향을 받을 수 있습니다(Freishtat, 2016). 이 글의 

• 첫 번째 섹션에서는 SET가 학생 학습의 유효한 척도가 아니라는 증거를 제시합니다.
• 두 번째 섹션에서는 SET가 어떻게 부실한 교수를 조장하고 성적 인플레이션을 유발하는지 보여주는 프로세스 모델을 제안합니다.
• 세 번째 섹션에서는 과정 모델에서 가정하는 과정에 대한 증거를 검토합니다.
• 네 번째 섹션에서는 성적 인플레이션의 정도를 설명하고 이러한 인플레이션 과정의 어두운 측면에 대해 논의합니다.
• 마지막으로, SET의 책임감 있는 사용에 대한 결론을 논의합니다.

The use of SETs as a basis for decisions on promotion and tenure is justified only if SETs are a valid measure of teaching effectiveness and student learning. But they are not (e.g., Boring et al., 2016; Uttl et al., 2017). They are most likely a reflection of students’ satisfaction with a course, which can be influenced by many factors that are unrelated to teaching effectiveness (Freishtat, 2016).

• In the first section of this article, evidence is presented that SETs are not a valid measure of student learning.
• In the second section a process model is proposed, showing how SETs encourage poor teaching and cause grade inflation.
• The third section reviews evidence for the processes assumed by the process model.
• The fourth section illustrates the extent of grade inflation and discusses the dark side of this inflationary process.
• Finally, conclusions about a responsible use of SETs are discussed.

 

교수에 대한 학생 평가의 타당성에 대해
On the validity of student evaluations of teaching

SET는 안면 타당성이 매우 높습니다. 결국, 학생들은 많은 코스를 수강하므로 특정 강사가 효과적인 강사인지 판단할 수 있어야 합니다. 이러한 가정을 뒷받침하는 증거는 학생의 코스 평가가 해당 코스에서 받은 성적과 양의 상관관계가 있다는 것입니다. 다음의 가정을 하면 이 가정을 뒷받침하는 것으로 해석할 수 있습니다.

• (a) 학생은 좋은 교사로부터 더 잘 배울 것이다
• (b) 코스 성적은 학습의 좋은 척도이다
• (c) 학생은 강사의 강의 품질을 평가할 수 있다.

그러나 한 수업의 모든 학생이 동일한 강사에게 노출되기 때문에 더 많이 배우는 학생이 그 강사를 더 나은 교사로 인식하는지에 대해 의문을 가질 수 있습니다. 또 다른 근본적인 비판은 학생의 코스 성적과 교수자에 대한 평가 사이의 상관관계가 편견을 반영할 수 있다는 것입니다. 학생은 코스 종료 시점에 코스 성적을 받지만, 일반적으로 이미 예상되는 성적을 잘 알고 있습니다. 편향 해석은 좋은 성적을 받을 것으로 예상하는 학생이 나쁜 성적을 받을 것으로 예상하는 학생보다 교사를 더 긍정적으로 평가한다고 가정할 수 있습니다.

SETs have a great deal of face validity. After all, students take many courses and should therefore be able to judge whether a particular instructor is an effective teacher. Supporting this assumption is the evidence that students’ course evaluations are positively correlated with the grades they received in those courses. This can be interpreted as supportive if we make the following assumptions:

• (a) Students learn more from good teachers,
• (b) course grades are a good measure of learning, and
• (c) students are able to evaluate the quality of the teaching of their instructor.

However, because all students in a class are exposed to the same instructor, one could wonder if students who learn more also perceive him or her as a better teacher. Another more fundamental critique is that the correlation between students’ course grades and their evaluation of a teacher might merely reflect bias. Although students receive their course grades at the end of a course, they typically already have a good idea what to expect. A bias interpretation would assume that students who expect to receive a good grade evaluate a teacher more positively than students who expect to receive a poor grade.

교수에 대한 학생 평가에 대한 여러 섹션 연구
Multisection studies of student evaluations of teaching

이 두 가지 해석을 구분하는 한 가지 방법은 한 수업 집합의 평균 SET 점수가 해당 수업의 평점 평균(GPA)과 상관관계가 있는 경우 코스 성적과 SET 간의 관계가 유지되는지 테스트하는 것입니다. SET가 편향성이 아닌 교수 효과를 반영하고 코스 성적이 학습을 반영하는 경우, 수업 집합의 평균 SET는 해당 수업의 평균 GPA와 양의 상관관계를 가져야 합니다. 이 예측은 다중 섹션 코스에서 테스트되었습니다. 다중 섹션 코스는 각각 다른 교수자가 가르치는 여러 개의 병렬 섹션으로 분할된 코스입니다. 최적의 다중 섹션 코스는 다음 요구 사항을 충족해야 합니다:

• (a) 동일한 자료를 가르치는 여러 섹션이 있어야 하고,
• (b) 각 섹션은 다른 교수자가 가르쳐야 하며,
• (c) 학생이 스스로 선택하지 않도록 섹션에 무작위로 배정되어야 하고,
• (d) 모든 섹션은 동일한 중앙 관리 시험으로 평가되어야 하며,
• (e) 시험 직전 또는 시험과 함께 SET를 시행해야 합니다.

One way to distinguish between these two interpretations is to test whether the relationship between course grades and SETs would be maintained if the correlation of the average SET scores of a set of classes were correlated with the grade point average (GPA) of those classes. If SETs reflect teaching effectiveness rather than bias, and if course grades reflect learning, then the average SET of a set of classes should be positively correlated with the average GPA of these classes. This prediction has been tested with multisection courses. These are courses that are split into a number of parallel sections, each taught by a different instructor. An optimal multisection course should meet the following requirements:

• (a) It should have many sections in which the same material is being taught,
• (b) each section should be taught by a different instructor,
• (c) students should be randomly assigned to these sections to avoid self-selection,
• (d) all sections should be assessed with the same centrally administered exam, and
• (e) SETs should be administered either just before or with the exam.

나중에 설명할 Boring 등(2016)의 연구에서 모든 1학년 학생들은 동일한 필수 과목을 수강했습니다. 각 과목에서 한 명의 교수가 약 900명의 학생을 대상으로 주요 강의를 진행했습니다. 과목은 10~24명의 학생으로 구성된 섹션으로 나뉘어 강사가 가르쳤습니다. 모든 학생이 치르는 기말 시험은 코스 교수가 출제했습니다. 학생들이 학습한 양이 많은 섹션을 학습한 양이 적은 섹션보다 더 긍정적으로 평가한 경우(그리고 시험이 학생 학습의 유효한 척도인 경우), 섹션 평균 세트는 섹션 평균 성적(GPA)과 양의 상관관계가 있어야 합니다. 학생을 무작위로 섹션에 배정하는 것이 불가능한 경우가 많으므로 일부 다섹션 연구에서는 사전 학습 또는 능력의 지표(예: 전체 GPA, SAT 점수)에 따라 최종 성적을 보정합니다. 다중 섹션 설계는 SET의 유효성에 대한 연구에서 가장 표준적인 방법으로 간주됩니다(예: Abrami et al., 1990; Cohen, 1981, 1983; Feldman, 1989).  
In a study by Boring et al. (2016) to be described later, all 1st-year students took the same mandatory courses. In each course, main lectures were given by a professor to approximately 900 students. Courses were divided into sections of 10–24 students taught by instructors. The final exam, taken by all students, was written by the course professor. If students rated sections in which they learned a great deal more positively than sections in which they learned little (and if the exam was a valid measure of student learning), average-section SETs should correlate positively with average-section grades (GPA). As it is often impossible to assign students randomly to sections, some multisection studies correct final grades by indicators of prior learning or ability (e.g., overall GPA, SAT scores). The multisection design is considered the gold standard in research on the validity of SETs (e.g., Abrami et al., 1990; Cohen, 1981, 1983; Feldman, 1989).

이러한 다중 섹션 연구에 대한 초기 메타 분석(예: Cohen, 1981; Feldman, 1989)에서는 SET 평균과 GPA 사이에 중간 정도의 양의 상관관계가 있다는 결론을 내렸습니다. 가장 영향력 있는 메타 분석은 68개의 다중 섹션 연구를 기반으로 한 Cohen의 메타 분석으로, 이 중 67개 연구에서 유용한 데이터를 제공했습니다. 전체 강사 평점과 GPA 간의 평균 상관관계는 r = .43으로, 중간 정도의 큰 효과를 보였습니다. Cohen(1981)의 메타 분석과 이후 Feldman(1989)의 메타 분석에 대한 비판에서 Uttl 등(2017)은 대부분의 다중 섹션 연구에 포함된 섹션 수가 다소 적고 이러한 소규모 연구는 종종 상관관계가 매우 높았다고 지적했습니다. 예를 들어, 코헨의 다중 섹션 연구 중 1/3 이상이 섹션 수가 10개 이하였습니다(Uttl 외, 2017). 이러한 저자들이 표본 크기를 보정했다면 이 문제는 덜 심각했을 것입니다. 그러나 Uttl 등(2017)이 비판한 것처럼, 이러한 메타 분석은 표본의 크기와 관계없이 모든 연구에 동일한 가중치를 부여했습니다. Cohen(1981)은 최소 20개 이상의 섹션을 사용한 연구를 분석한 결과 평균 상관관계가 .37로 더 낮았다고 보고했지만, 이것이 문제가 될 수 있다고 부인했습니다. Uttl 등(2017)은 30개 이상의 섹션을 사용한 다중 섹션 연구만을 기준으로 분석할 경우 상관관계는 r = .27로 감소한다고 덧붙였습니다. 
Early meta-analyses of such multisection studies (e.g., Cohen, 1981; Feldman, 1989) concluded that there was a moderately positive correlation between SET averages and GPAs. Most influential was the meta-analysis of Cohen, which was based on 68 multisection studies of which 67 provided useful data. The average correlation between overall instructor ratings and GPA was r = .43, a moderately large effect. In a critique of Cohen’s (1981) meta-analysis, as well as the later meta-analysis by Feldman (1989), Uttl et al. (2017) pointed out that the number of sections included in most of their multisection studies was rather small and that these small studies often had extremely high correlations. For example, more than one third of Cohen’s multisection studies had 10 or fewer sections (Uttl et al., 2017). This would have been less of a problem if these authors had corrected for sample size. However, as Uttl et al. (2017) criticized, these meta-analyses gave the same weight to all studies, independent of their sample size. Cohen (1981) denied that this could be a problem, even though he reported that an analysis of studies that used at least 20 or more sections resulted in a lower average correlation of r = .37. As Uttl et al. (2017) added, the correlation is reduced to r = .27 if one bases one’s analysis only on multisection studies with 30 or more sections.

Clayson(2009)의 최근 메타 분석에 따르면 SET와 학습 간의 가중치 없는 평균 상관관계는 r = .33인 반면, 표본 크기에 따라 가중치를 둔 상관관계는 r = .13에 불과하다고 보고했습니다. 흥미롭게도 클레이슨은 SET-학습 상관관계와 출판 연도 간에 r = .48의 상관관계가 있으며, 초기 연구에서 효과가 가장 높다고 보고했습니다. 또한 그는 섹션 수와 SET 학습 상관관계 사이의 상관관계는 r = -.37이었으며, 섹션 수가 적은 연구에서 상관관계가 더 높았다는 사실을 발견했습니다. 그러나 클레이슨의 메타 분석은 SET-학습 상관관계가 r = .41이고 섹션 수가 35개인 코헨의 메타 분석을 다중 섹션 연구 중 하나로 포함했기 때문에 문제가 있습니다. Uttl 등(2017)이 언급했듯이, "메타분석에서 추정된 r을 다 중 섹션 연구의 r과 혼합하여 다중 섹션 r에 대한 또 다른 메타분석을 수행할 이유를 생각할 수 없습니다."(31페이지).
A more recent meta-analysis by Clayson (2009) reported that the unweighted average correlation between SETs and learning was r = .33, whereas the correlation weighted by sample size was only r = .13. Of interest, Clayson also reported a correlation of r = .48 between the SET–learning correlation and the year of publication, with effects being highest in early studies. He also found that the correlation between number of sections and the SET–learning correlation was r = −.37, with studies having few sections achieving higher correlations. However, Clayson’s meta-analysis is problematic, because he included Cohen’s meta-analysis as one of his multisection studies with a SET–learning correlation of r = .41 and 35 sections. As Uttl et al. (2017) remarked, “We cannot think of any reason mixing the meta-analysis estimated r with multisection studies’ r to conduct another meta-analysis of multi-section rs” (p. 31).

Uttl 등(2017)은 체계적인 문헌 검색을 통해 51개 논문에서 보고된 97개의 다중 섹션 연구를 기반으로 대규모 메타분석을 수행했습니다. 다시 말하지만, 섹션 수가 적은 연구는 종종 매우 높은 상관관계를 보고했습니다.

• 실제로 섹션 수와 SET 학습 상관관계의 상관계수는 r = -.35였습니다.
• 소규모 연구 효과를 통제했을 때 추정된 SET-학습 상관관계는 r = .12였습니다.
• 사전 지식/능력을 통제한 연구만 포함하면 SET-학습 상관관계는 r = -.06으로 감소했습니다.

Uttl 외(2017)는 "여러 섹션의 연구는 학생들이 높은 평가를 받은 교수로부터 더 많이 배운다는 주장을 뒷받침하지 않는다"고 결론지었습니다(35페이지).
Uttl et al. (2017) conducted a larger meta-analysis based on 97 multisection studies reported in 51 articles, which they identified after a systematic literature search. Again, studies with few sections often reported extremely high correlations.

• In fact, the correlation between number of sections and SET–learning correlation was r = −.35.
• When they controlled for small study effects, the estimated SET–learning correlation was r = .12.
• Including only studies that controlled for prior knowledge/ability reduced the SET–learning correlations to r = −.06.

Uttl et al. (2017) concluded that “multisection studies do not support the claims that students learn more from highly rated professors” (p. 35).

Web of Science 및 Scopus(검색어: "학생의 교수 평가")에서 문헌을 검색한 결과, Uttl 등(2017)이 문헌 검색을 중단한 이후에 발표된 최근의 다중 섹션 연구는 단 한 건뿐이었습니다(Boring 등, 2016; Boring, 2017에서도 논의됨). 이 연구는 유럽(즉, 프랑스) 학생의 데이터를 사용하며 379명의 강사가 가르치는 1,177개 섹션의 1학년 학생 4,423명의 23,000세트에 기반합니다. 이 데이터는 특히 흥미로운데, 섹션에 대한 자율 선택이 없었고 SET에 대한 응답이 의무적이었기 때문에 응답률이 거의 100%에 달했습니다. SET와 최종 시험 점수 간의 평균 상관관계는 r = .04였습니다. 
A literature search on Web of Science and Scopus (search term: “student evaluation of teaching”) revealed only one recent multisection study published after Uttl et al., (2017) stopped their literature search (Boring et al., 2016; also discussed in Boring, 2017). This study uses data from European (i.e., French) students and is based on 23,000 SETs from 4,423 first-year students in 1,177 sections taught by 379 instructors. The data are particularly interesting because there was no self-selection into sections and responses to SETs were compulsory so that there was a near 100% response rate. The average correlation between SETs and final exam scores was r = .04.

SET가 학생의 학습과 관련이 없다는 사실을 발견하는 데 40년이 걸렸다는 것이 어떻게 가능한 일인가요? 한 가지 이유는 대부분의 연구가 1981년 이전에 수행되었기 때문일 수 있습니다. Clayson(2009)이 보고한 바와 같이, SET-학습 상관관계의 크기는 출판 연도와 밀접한 상관관계가 있었습니다. Uttl 등(2019)이 이 연관성을 자세히 살펴본 결과, 1981년 이전에 발표된 69개 연구의 평균 상관계수는 .31인 반면, 1981년 이후에 발표된 28개 연구의 평균 상관계수는 .06으로 나타났습니다.
How is it possible that it took 40 years to discover that SETs are unrelated to student learning? One reason could be that the majority of studies had been conducted before 1981. As Clayson (2009) reported, the size of SET–learning correlations were strongly correlated with year of publication. When Uttl et al. (2019) looked in more detail at this association, they found that the 69 studies published prior to 1981 yielded an average correlation of r = .31, whereas the 28 studies published in or after 1981 had an average correlation of r = .06.

이는 상당한 차이이며, 이러한 차이를 어떻게 설명할 수 있을지 궁금해집니다. Uttl 등(2019)은 이해 상충(COI)을 설명으로 제시했습니다: 초기 연구의 대부분은 SET 시스템을 판매하는 기업에서 근무하거나 소유한 연구자들이 발표했으며, 따라서 상당한 SET-학습 상관관계를 찾는 데 (재정적) 이해관계가 있었습니다. 제약 연구에서도 자금 출처가 연구 결과에 영향을 미친다는 충분한 증거가 있습니다(예: Bekelman et al., 2003; Lundh et al., 2018). Vartanian 등(2007)은 설탕 함유 청량음료가 체중에 미치는 영향에 대한 연구 결과가 자금 출처의 영향을 받았다고 보고하기도 했습니다: 설탕 함유 청량음료는 중립적인 출처가 아닌 생산자가 연구 비용을 지불했을 때 체중에 미치는 영향이 적었습니다. 
This is a substantial difference, and one wonders how such a difference can be explained. Uttl et al. (2019) offered conflict of interest (COI) as an explanation: Many of the early studies were published by researchers who either worked for or owned corporations that sell SET systems and thus had a (financial) interest in finding substantial SET–learning correlations. There is ample evidence from pharmaceutical research that funding sources influence research outcomes (e.g., Bekelman et al., 2003; Lundh et al., 2018). Vartanian et al. (2007) even reported that findings of the effects of sugar-containing soft drinks on body weight were influenced by the funding source: Sugar-containing soft drinks had less impact on weight when the study was paid for by the producer rather than a neutral source.

이러한 COI의 영향은 잘 알려져 있지만, COI가 교육의 질을 측정하는 척도인 SET의 효과에 대한 연구에도 영향을 미친다는 사실은 새로운 발견입니다. 그러나 이는 놀라운 일이 아닙니다. 결국, SET 시스템을 판매하는 회사에서 일하거나 소유하고 있는 연구자는 SET와 교육 효과 사이의 상관관계가 낮기보다는 높기를 선호할 것이라고 가정할 수 있습니다. 업튼 싱클레어(1934/1940)는 "어떤 사람이 무언가를 이해하지 못해야 월급을 받는 상황에서, 그 사람이 무언가를 이해하도록 하는 것은 어렵다"(109쪽)고 말한 적이 있습니다. Uttl 등(2019)이 제시한 증거는 설득력이 있습니다. 그들은 연구 저자 중 적어도 한 명 이상이 SET 기업과 연관된 경우 SET-학습 상관관계가 훨씬 더 크다는 것을 발견했습니다. 기업 COI가 있는 15개 연구의 상관관계는 r = .58인 반면, 기업 이해관계가 없는 저자의 82개 연구의 상관관계는 r = .18이었습니다(그림 1).
Although these effects of COI are well known, the finding that COI also influenced research on the effectiveness of SETs as measure of teaching quality is new. However, it is not surprising. After all, it can be assumed that a researcher who either works for or owns a firm that sells SET systems would prefer to find a high rather than a low correlation between SET and teaching effectiveness. As Upton Sinclair (1934/1940) once wrote, “It is difficult to get a man to understand something, when his salary depends on his not understanding it” (p. 109). The evidence presented by Uttl et al. (2019) is persuasive. They found that SET–learning correlations were much larger when at least one author of a study was associated with an SET corporation. Whereas the correlation was r = .58 for the 15 studies with a corporate COI, the correlation was r = .18 for 82 studies of authors without corporate interests (Figure 1).

시스몬도(2008)는 제약 연구 결과에 대한 COI의 영향 분석에서 이러한 갈등이 의식적인 수준에서는 작동하지 않을 수 있지만, 업계로부터 자금을 받으면 연구자와 의뢰자 사이에 선물 관계가 형성되어 의뢰자가 보답해야 할 필요성을 느낄 수 있다고 제안했습니다. 심리학 연구에서는 COI로 인한 연구자의 동기가 알게 모르게 연구 결과에 영향을 미칠 수 있는 미묘한 방식이 있습니다. 연구자는 일관성이 없는 연구 결과보다 자신의 가설을 뒷받침하는 결과를 면밀히 조사할 동기가 떨어질 수 있으며, 따라서 가설을 뒷받침하는 결과를 면밀히 조사할 가능성이 낮아질 수 있습니다. 불일치를 면밀히 조사하려는 동기가 부족하다는 것을 보여주는 예로, Uttl 외(2017)이 언급한 Abrami 외(1988)의 논문을 들 수 있습니다. 이 저자들은 초기 메타분석을 비교하면서 Cohen(1981)과 McCallum(1984)이 같은 연구에서 추출한 데이터 간의 불일치를 관찰했지만 이를 추적하지는 않았습니다. Uttl 등(2017)은 추출된 데이터의 정확성을 확인하기 위해 원래 연구에서 추출한 데이터를 점검한 결과, McCallum 데이터의 상당 부분이 단순히 부정확하다는 사실을 발견했습니다. 
In an analysis of the effect of COI on outcome of pharmaceutical research, Sismondo (2008) suggested that such conflicts might not operate on a conscious level but that accepting funds from industry creates a gift relationship between the investigator and the sponsor, in which the sponsor might feel a need to reciprocate. In psychological research, there are subtle ways in which a researcher’s motivation due to COI can unknowingly influence study findings. Researchers may be less motivated—and therefore less likely—to scrutinize results that support their hypotheses than findings that are inconsistent. An example that suggests lack of motivation to scrutinize inconsistencies—mentioned by Uttl et al. (2017)—is in an article by Abrami et al. (1988). In comparing early meta-analyses, these authors observed disagreements between data extracted by Cohen (1981) and McCallum (1984) from the same studies but did not follow this up. When Uttl et al. (2017) checked the extracted data for accuracy in the original studies, they discovered that a large proportion of the McCallum data was simply incorrect.

 

교수와 무관한 요인이 학생의 교수 평가에 미치는 영향
The influence of teaching-irrelevant factors on student evaluations of teaching

SET는 성별, 인종 등 교육 효과와 무관한 수많은 변수의 영향을 받습니다. 교수자의 호감도와 같이 교수 효과와 관련이 없어 보이는 다른 변수도 효과와 관련이 있을 수 있습니다. 예를 들어, 강사가 학생에게 접근하기 쉽고 도움이 되기 때문에 호감을 가질 수 있습니다. 안타깝게도 이러한 특성에 대한 연구는 주로 코스 평점 또는 강사 평점과의 (직접적인) 관계를 입증하는 데만 집중되어 왔습니다. 이러한 요소와 강사 또는 코스의 전반적인 평가 사이의 연관성을 매개할 수 있는 이론적으로 그럴듯한 변수를 평가하려고 시도한 연구자는 거의 없었습니다. 코스 교사는 커뮤니케이터이므로 커뮤니케이터의 효율성을 높이는 것으로 알려진 변수(예: 인지된 전문성, 호감도, 권력)는 강사의 교수 효과를 높일 가능성이 높습니다. 따라서 교수 효과와 직접적인 관계가 없어 보이는 특성도 교수 효과와 관련된 프로세스를 통해 간접적인 영향을 미칠 수 있습니다.
SETs are influenced by numerous variables that are unrelated to teaching effectiveness, such as gender and race. Other variables, such as likeability of an instructor—which seem to be irrelevant—could be related to effectiveness. For example, the instructor may be liked because he or she is accessible and helpful to students. Unfortunately, research on these characteristics has exclusively focused on demonstrating the (direct) relationship with course ratings or instructor ratings. Rarely have researchers tried to assess theoretically plausible variables that might mediate the association between such factors and overall ratings of instructors or courses. Because course teachers are communicators, variables known to increase the effectiveness of a communicator (e.g., perceived expertise, likeability, power) are likely to increase an instructor’s teaching effectiveness. Thus, characteristics that seem to have no direct relationship with teaching effectiveness might have indirect effects through related processes that are associated with teaching effectiveness.

SET와 강한 연관성이 있는 것으로 반복적으로 밝혀진 가장 노골적으로 관련성이 없는 특성 중 하나는 강사의 신체적 매력입니다. 교육기관 SET에서는 신체적 매력을 평가하지 않기 때문에, 매력이 교수자에 대한 학생의 평가에 영향을 미친다는 대부분의 증거는 RateMyProfessors.com(RMP) 웹사이트를 사용한 연구에서 제공되었습니다. RMP의 또 다른 장점은 기관별 SET와 달리 이 정보를 공개적으로 이용할 수 있다는 것입니다. RMP 평점과 기관별 SET의 일치 여부에 대한 의문이 종종 제기되어 왔기 때문에(예: Legg & Wilson, 2012; Murray & Zdravkovic, 2016), 몇 가지 RMP 결과를 검토하기 전에 이 문제를 먼저 논의합니다.
One of the most blatantly irrelevant characteristics that has been repeatedly shown to be strongly associated with SETs is the physical attractiveness of instructors. Because institutional SETs do not assess physical attractiveness, most of the evidence that attractiveness influences students’ evaluation of teachers has been provided by studies using the RateMyProfessors.com (RMP) website. An added advantage of RMP is that, unlike institutional SETs, this information is publicly available. Because the correspondence of RMP ratings to institutional SETs has often been questioned (e.g., Legg & Wilson, 2012; Murray & Zdravkovic, 2016), I discuss this issue before reviewing some RMP findings.

RMP 등급과 기관 SET의 대응 관계
The correspondence of RMP ratings to institutional SETs

1999년에 설립된 RMP는 학생이 교수를 유용성, 명확성, Easiness 및 "인기도"의 네 가지 측면에서 평가할 수 있는 인기 있는 웹사이트입니다. 유용성과 명확성은 강의의 질을 나타내는 지표로 결합됩니다.1 RMP의 교수자 평가와 교육기관 SET를 비교한 대부분의 연구에서 상당한 상관관계가 발견되었으며(예: Brown et al., 2009; Colardarci & Kornfield, 2007; Sonntag et al., 2009; Timmerman, 2008), 이는 상당한 수준의 동등성이 있음을 시사합니다. 예를 들어, 

• 캘리포니아 대학교 샌디에이고의 1,002명의 교수를 대상으로 RMP 및 SET 등급을 모두 받은 Timmerman(2008)은 강사를 추천할 학생의 비율과 전반적인 품질에 대한 RMP 등급 간의 상관관계가 r = .66임을 확인했습니다. RMP 전반적인 품질과 학생의 수업 추천 비율 간의 상관관계는 r = .51이었고, RMP와 자기 보고 학습 간의 상관관계는 r = .57이었습니다.
• Sonntag 등(2009)은 랜더 대학교 교수 104명의 RMP 평점을 바탕으로 비슷한 결과를 보고했습니다. 사용된 SET 평가는 5점 척도로 교수와 수업에 대해 우수하다고 평가한 것입니다. RMP 전체 품질 평가와 교수자 우수성에 대한 SET 평가의 상관관계는 r = .69, 수업 우수성과의 상관관계는 r = .60이었습니다.
• Brown 등(2009)은 312명의 Brooklyn College 강사를 대상으로 한 연구에서, Colardarci와 Kornfield(2007)는 메인 대학의 283명의 강사를 대상으로 한 연구에서 유사한 상관관계를 보고했습니다.

이러한 상관관계의 크기는 일반적으로 RMP 평가가 SET 평가에 참여한 학생보다 훨씬 적은 수의 학생을 대상으로 한다는 점을 고려하면 특히 놀랍습니다. 
Established in 1999, RMP is a popular website where students can evaluate their professors on four dimensions: helpfulness, clarity, easiness, and “hotness.” Helpfulness and clarity are combined into an indicator of quality of teaching.1 Most studies comparing evaluations of instructors on RMP to institutional SETs have found substantial correlations (e.g., Brown et al., 2009; Colardarci & Kornfield, 2007; Sonntag et al., 2009; Timmerman, 2008) suggesting a fair degree of equivalence. For example,

• Timmerman (2008), who identified 1,002 professors at the University of California, San Diego, with both RMP and SET ratings, found a correlation of r = .66 between the percentage of students who would recommend an instructor and RMP ratings of overall quality. The correlation between RMP overall quality and the percentage of students’ recommending a class was r = .51 and between RMP and self-reported learning was r = .57. S
• imilar findings were reported by Sonntag et al. (2009) based on RMP ratings of 104 Lander University professors. The SET ratings used were ratings of professors and of classes as excellent on 5-point scales. The correlation of RMP overall quality ratings with SET ratings of instructor excellence was r = .69 and with class excellence was r = .60.
• Similar correlations were reported by Brown et al. (2009) in a study based on 312 Brooklyn College instructors and by Colardarci and Kornfield (2007) in a study based on 283 instructors at the University of Maine.

The size of these correlations is particularly surprising, if one considers that RMP ratings are typically based on much smaller numbers of students than those who participated in the SET evaluations.

레그와 윌슨(2012)이 "RateMyProfessors.com은 편향된 평가를 제공한다"라는 자극적인 제목의 논문을 발표했으므로, 그들의 연구를 간략히 검토해 볼 필요가 있습니다. 이들은 연구에 기꺼이 참여한 25명의 교수에 대한 세 세트의 RMP 평점을 수집했습니다. 첫 번째 세트는 해당 교수의 이전 수업에 대한 평가로 구성되었습니다. 두 번째 세트는 수업 중에 시행된 세트에 포함된 RMP 항목에 대한 평가로 구성되었습니다. 이 학생들은 나중에(아마도 학기 말에) RMP에서 수업을 평가하도록 요청받았습니다. 주요 결과는 수업 중 및 학기말에 평가한 명확성 평가가 이전 수업에서 수집한 명확성 평가보다 약 0.5점 정도 더 높았다는 것입니다. 또한 교수들은 연구 전에 진행된 수업에서 덜 도움이 되고 더 쉬웠다고 평가했습니다. 이러한 차이에 대한 한 가지 설명은 이러한 교수자가 연구 기간 동안 최상의 컨디션을 유지하고 있었기 때문일 수 있습니다. 
Since Legg and Wilson (2012) published a paper with the suggestive title “RateMyProfessors.com Offers Biased Evaluations,” a brief review of their study is warranted. They collected three sets of RMP ratings of 25 professors willing to participate in the study. The first set comprised ratings of previous classes given by those professors. The second comprised ratings of RMP items embedded in an SET administered during classes. These students were later (probably at the end of the semester) asked to rate the class on RMP. The main finding was that in-class and end-of-semester evaluations of clarity were slightly higher (by approximately 0.5 points) than clarity ratings collected on previous classes. Professors were also rated less helpful and easier in classes given before the study. One explanation for these differences could be that these instructors were on their best behavior during the study.

Murray와 즈드라브코비치(2016)의 비판적 연구도 마찬가지로 설득력이 떨어집니다. 이 저자들은 교수자의 RMP 등급을 12개 항목으로 구성된 척도로 비교했습니다.
A critical study by Murray and Zdravkovic (2016) is similarly unconvincing. These authors compared RMP ratings of instructors with a 12-item scale that

교수자가 (a) 가르치는 것을 즐기는지, (b) 잘 정리되어 있는지, (c) 친절하고 학생을 배려하는지, (d) 도전적인 과제를 내주는지, (e) 추가 도움을 제공할 수 있는지, (f) 강의 자료에 열정적인지 여부와 관련된 교수자 및 코스 측면을 다루었습니다. (p. 141)
addressed instructor and course aspects related to whether the professor (a) enjoys teaching, (b) is well organized, (c) is friendly and considerate of students, (d) makes challenging assignments, (e) is available to provide extra help and (f) is enthusiastic about the course material. (p. 141)

이러한 항목은 각 연구 참여자가 인지한 중요도에 따라 개별적으로 가중치를 부여했습니다. 저자들은 RMP 척도(M = 3.56)가 아닌 6항목 척도로 측정했을 때 강의에 대한 평가가 더 높았다(M = 3.80)고 보고했습니다. 저자들은 그들의 복합 지수가 RMP보다 더 유효한 교수 효과 척도라는 증거를 제시하지 않았습니다. 또한, 다소 복잡한 척도와 단순한 RMP 평가의 차이도 미미합니다.
These items were individually weighed by each study participant according to perceived importance. The authors reported that the evaluation of teaching was higher (M = 3.80) when measured with the six-item scale rather than the RMP scale (M = 3.56). The authors present no evidence that their complex index constituted a more valid measure of teaching effectiveness than the RMP. Furthermore, the difference between their rather complex measure and the simple RMP ratings is minor.

신체적 매력
Physical attractiveness

신체적으로 매력적인("섹시한") 강사는 덜 매력적인 동료 강사보다 더 긍정적인 교수 평가를 받았습니다(예: Boehmer & Wood, 2017; Felton 외., 2008; Fisher 외., 2019; Freng & Webber, 2009; Hamermesh & Parker, 2005); Johnson & Crews, 2013; Riniolo 외., 2006; Rosen, 2018; Wolbring & Riordan, 2016). 학생 평가가 20개 이상인 미국과 캐나다의 모든 교수(369개 기관의 교수 6,851명)에 대한 데이터를 사용한 초기 RMP 연구에서 Felton 등(2008)은 "인기도"와 "품질" 간의 상관관계가 r = .64로 나타났다고 보고했습니다. 
Physically attractive (i.e., “hot”) instructors receive more positive teaching ratings than their less attractive colleagues (e.g., Boehmer & Wood, 2017; Felton et al., 2008; Fisher et al., 2019; Freng & Webber, 2009; Hamermesh & Parker, 2005); Johnson & Crews, 2013; Riniolo et al., 2006; Rosen, 2018; Wolbring & Riordan, 2016). In an early RMP study that used data for all the professors in the United States and Canada who had at least 20 student ratings (6,851 professors from 369 institutions), Felton et al. (2008) reported a correlation of r = .64 between “hotness” and “quality.”

미국 4522개 대학의 190,006명의 교수에 대한 7,882,980개의 평가(최소 20개 평가)를 기반으로 한 Rosen(2018)의 최근 RMP 연구에서도 인기도와 자질 간의 강력한 연관성이 반복적으로 나타났습니다. 품질 평가가 2.5점 미만인 교수는 거의 없었으며, 품질 평가가 만점인 교수의 70%가 인기 있는 교수로 간주되었습니다. Riniolo 외(2006)의 연구에서도 이와 비슷한 강력한 효과가 보고되었습니다. 다른 RMP 연구에서는 이보다 약한 연관성을 발견했습니다. 예를 들어, Freng과 Webber(2009)는 r = .37의 상관관계를, Johnson과 Crews(2013)는 r = .16의 상관관계를 보고했습니다. 
A more recent RMP study by Rosen (2018), which was based on 7,882,980 ratings of 190,006 professors from 4522 U.S. colleges and universities, who had a minimum of 20 ratings, replicated the strong association between hotness and quality. Hardly any professor with a quality rating below 2.5 was considered hot, compared to 70% of professors with a perfect quality rating. Similarly strong effects were reported by Riniolo et al. (2006). Other RMP studies found weaker associations. For example, Freng and Webber (2009) reported a correlation of r = .37 and Johnson and Crews (2013) of r = .16.

이러한 신체적 매력의 영향이 RMP 평가에만 국한되지 않는다는 사실은 강사의 인지된 매력(웹사이트의 사진 평가에 기반)과 학기말 SET를 연관시킨 두 가지 연구에서 입증되었습니다. 

• 94명의 강사를 대상으로 한 연구에서 Hamermesh와 Parker(2005)는 "표본에서 가장 외모가 좋지 않은 강사와 가장 외모가 좋은 강사 간에 강의 평가가 거의 두 표준 편차만큼 차이가 났다"고 보고했습니다(372페이지). 
• 독일에서 125명의 강사를 대상으로 실시한 연구에서 Wolbring과 Riordan(2016)은 신체적 매력과 SET의 연관성이 다소 약하다는 것을 발견했습니다. 

그러나 SET 등급은 수업 결석률도 예측했습니다: 학생들은 신체적으로 매력적인 강사의 수업에 결석하는 횟수가 약간 적었습니다. 학생과 강사의 성별이 동성인지 이성인지는 아무런 차이가 없었습니다.
The fact that these effects of physical attractiveness are not limited to RMP ratings has been demonstrated in two studies that related perceived attractiveness of instructors (based on ratings of photographs from websites) to their end-of-semester SETs.

• Based on a study of 94 instructors, Hamermesh and Parker (2005) reported that “the instructional rating varies by nearly two standard deviations between the worst- and best-looking instructors in the sample” (p. 372).
• In a study conducted in Germany with 125 instructors, Wolbring and Riordan (2016) found a somewhat weaker association of physical attractiveness with SETs.

However, SET ratings also predicted absenteeism from class: Students missed slightly fewer classes of physically attractive instructors. It made no difference whether students and instructors were of the same or opposite sex.

Wolbring과 Riordan(2016)은 학생들이 매력적인 남성 또는 다소 덜 매력적인 남성 또는 여성의 사진(이력서에 첨부)에 노출되는 실험 연구를 통해 신체적 매력과 교수 평가의 연관성을 재현했습니다. 그런 다음 학생들은 이 자극을 준 사람이 하는 것으로 가정한 강의를 듣고 평가해야 했습니다. 다시 말하지만, 신체적 매력은 강의의 질에 대한 평가에 영향을 미쳤습니다. 마지막으로 Ambady와 Rosenthal(1993)은 두 명의 여대생이 13명의 대학 교수의 신체적 매력에 대해 평가(30초 무성 영화 클립 기준)한 결과, 해당 강사가 가르친 강의의 질에 대한 학생들의 학기말 평가와 상관계수가 r = .32로 나타났다고 보고했습니다. 
Wolbring and Riordan (2016) replicated their association of physical attractiveness and teaching evaluation in an experimental study in which students were exposed to pictures (attached to a CV) of either an attractive or a somewhat less attractive man or woman. Students then had to listen to—and evaluate—a lecture supposedly given by this stimulus person. Again, physical attractiveness influenced ratings of the quality of that lecture. Finally, Ambady and Rosenthal (1993) reported that ratings (based on a 30-s silent film clip) of the physical attractiveness of 13 college teachers by two female undergraduates correlated r = .32 with students’ end-of-term ratings of the quality of courses taught by these instructors.

강사에 대한 호감도
Likeability of instructor

신체적 매력이 강사의 인지된 효과를 높일 수 있는 한 가지 방법은 호감도와의 연관성을 통해서입니다. 호감도는 더 넓은 개념이지만, 신체적 매력은 호감도를 결정하는 주요 요인입니다. 미국 대학의 학생 861명을 대상으로 현재 수강 중인 수업의 두 강사의 신체적 매력을 평가하도록 한 연구에 따르면 호감도와 r = .47의 상관관계가 있는 것으로 나타났습니다(Gurung & Vespia, 2007). 강사에 대한 호감도와 수업의 즐거움 사이의 상관관계는 r = .80이었습니다. 출석과의 상관관계도 양의 상관관계(r = .30)를 보였는데, 이는 학생이 강사를 좋아하면 수업에 더 자주 출석한다는 것을 의미합니다. 
One way that physical attractiveness might increase the perceived effectiveness of an instructor is through its association with likeability. Although likeability is a broader concept, physical attractiveness is a major determinant of likeability. A study that asked 861 students from a U.S. university to rate the physical attractiveness of two instructors of classes they were currently taking reported a correlation of r = .47 with liking (Gurung & Vespia, 2007). The correlation between liking their instructor and enjoyment of the class was r = .80. The correlation with attendance was also positive (r = .30), suggesting that students will attend a class more regularly if they like an instructor.

Feistauer와 Richter(2018)는 독일 대학에서 심리학 강의 또는 세미나를 가르친 26명의 강사를 평가한 260명의 학생 표본을 바탕으로 비슷한 결과를 보고했습니다. Feistauer와 Richter는 학생들이 수강한 심리학 세미나 또는 강의의 강사에 대한 평가와 호감도의 연관성을 연구했습니다. 호감도는 첫 번째 세션의 첫 10분 동안과 학기가 끝나기 전에 단일 항목 측정으로 두 번 평가했습니다. 강사의 전반적인 성과는 학기 말에 단일 항목 척도로 평가했습니다. 두 가지 호감도 평가는 중간 정도의 상관관계(.55-.58)를 보였습니다. 학기 초에 측정된 '좋아요'는 강의에 대한 강사 전체 평점의 총 분산 중 9.4%를 차지했으며, 세미나에 대한 평점의 총 분산 중 20.5%를 차지했습니다. 학기 말(즉, 평가 시점)의 호감도는 강의의 경우 36.5%, 세미나의 경우 54.7%의 분산을 차지했습니다. 
Similar findings were reported by Feistauer and Richter (2018) based on a sample of 260 students rating 26 instructors who taught psychology lectures or seminars at a German university. Feistauer and Richter studied the association of likeability with the evaluation of instructors, whose seminars or lectures on psychology the students had attended. Likeability was rated twice with a single-item measure administered during the first 10 min of the first session and before the end of the semester. The overall performance of instructors was assessed with a single-item scale toward the end of the semester. The two liking ratings were moderately correlated (.55–.58). Liking measured at the beginning of the semester accounted for 9.4% of the total variance in overall ratings of the instructor for lectures and 20.5% of the variance for seminars. Liking at the end of the semester (i.e., at the time of the evaluation) accounted for 36.5% of the variance for lectures and 54.7% for seminars.

Delucchi(2000)의 연구는 호감도에 영향을 미치는 강사의 특성에 대해 몇 가지 시사점을 제공합니다. Delucchi는 SET 평가에 대한 요인 분석을 기반으로 다음과 같은 평가로 구성된 호감도 지수를 확인했습니다. 호감 가는 강사는 학생들과 좋은 관계를 맺고, 대화하기 쉬우며, 주제에 대해 열정적으로 보이고, 학생들 사이에 공동체 의식을 형성하는 것으로 나타났습니다. 이러한 결과는 단일 항목 측정의 타당성을 입증하기 위해 시간 1에서 Reysen(2005) 호감도 척도를 시행한 Feistauer와 Richter(2018)가 보고한 결과와 일치합니다. 레이센 척도는 학생이 강사를 친근하고, 호감이 가고, 마음이 따뜻하고, 접근하기 쉽고, 지식이 풍부하고, 신체적으로 매력적이며, 자신과 비슷하다고 인식하는지를 평가했습니다. 레이센 척도는 강의에서 r = .98, 세미나에서 r = .89의 상관관계를 보였으며, 같은 시기에 주어진 단일 항목 측정과 학기 말에 주어진 단일 항목 측정의 상관관계는 r = .46, r = .45였습니다. 첫 수업 모임의 첫 10분 동안 평가된 호감도는 주로 외모에 기반할 가능성이 높기 때문에, 이러한 (초기) 높은 상관관계는 레이센 척도가 사람들이 신체적으로 매력적인 타인에 대해 가지고 있는 고정관념을 완벽하게 포착하고 있음을 시사합니다. 초기 호감도 평가가 학기 말 호감도와 중간 정도의 상관관계만 있고, 학기 말 강사에 대한 전체 평가에서 초기 호감도가 후기 호감도보다 훨씬 적은 변수를 차지한다는 결과는 개인이 개별적인 정보를 받을 때 그 효과가 약해진다는 매력 고정관념에 대한 고전적인 메타 분석의 결론과 일치합니다(Eagly et al., 1991). 한 학기가 진행되는 동안 학생들은 강사가 첫인상을 바탕으로 기대했던 것만큼 따뜻하고 친근하며 지식이 풍부하지 않다는 사실을 발견했을 수 있습니다. 
A study by Delucchi (2000) provides some indications about the characteristics of instructors that influence likability. Based on a factor analysis of SET ratings, Delucchi identified a likeability index that consisted of some of the following evaluations. A likeable instructor had good rapport with students, was easy to talk to, seemed enthusiastic about the subject matter, and created a feeling of community among students. These findings are consistent with findings reported by Feistauer and Richter (2018), who had also administered the Reysen (2005) Likability Scale at Time 1 to establish the validity of their single-item measure. The Reysen scale assessed whether the instructor is perceived by students as friendly, likeable, warmhearted, approachable, knowledgeable, physically attractive, and similar to them. The Reysen scale correlated r = .98 in lectures and r = .89 in seminars with the single-item measure given at the same time and r = .46 and r = .45 with the single-item measure given at the end of the semester. Because likability assessed during the first 10 min of the first class meeting is likely to be mainly based on physical appearance, these (initially) high correlations suggest that the Reysen scale perfectly captures the stereotype people hold of physically attractive others. The finding that initial ratings of liking were only moderately correlated with liking at the end of the semester and that initial liking accounted for much less variance than later liking in the end-of-semester overall rating of instructors is consistent with the conclusions of the classic meta-analysis of the attractiveness stereotype that the effect is weakened when individuals receive individuating information (Eagly et al., 1991). In the course of the semesters, students might have discovered that their instructors were not quite as warmhearted, approachable, and knowledgeable as they had expected them to be based on their first impression.

호감도는 접근성, 친근함, 지식과 같이 좋은 강의의 일부인 특성의 결과인 것으로 보입니다. 신체적 매력이 이러한 특성과 상관관계가 있다는 발견은 후광 효과의 가능성을 시사합니다: 학생들은 신체적으로 매력적인 강사가 이러한 특성도 가지고 있다고 가정합니다. 이러한 해석은 신체적 매력이 수업 출석과 관련이 있는 이유 또는 RMP 연구에서 '섹시함'이 항상 인지된 도움과 높은 상관관계가 있는 이유를 설명할 수 있습니다. 마지막으로 Feistauer와 Richter(2018)의 연구에서 학생들이 10분간 친분을 쌓은 후 강사가 따뜻하고 친근하며 지식이 풍부하고 자신과 비슷하다고 판단한 이유를 설명할 수 있습니다.
Likeability appears to be the result of characteristics that are certainly part of good teaching, such as approachability, friendliness, and knowledgeableness. The finding that physical attractiveness is correlated with these characteristics suggests the possibility of a halo effect: Students assume that a physically attractive instructor also possesses these traits. This interpretation would explain why physical attractiveness is related to class attendance, or why “hotness” in RMP studies is always highly correlated with perceived helpfulness. It would finally explain why, in the study of Feistauer and Richter (2018), students decided after being acquainted for 10 min that their instructor was warmhearted, approachable, knowledgeable, and similar to them.

사전 과목 관심도
Prior subject interest

학생들은 관심이 적은 과목보다 관심이 있는 과목의 강의를 더 긍정적으로 평가할 것이라고 예상할 수 있습니다. 놀랍게도 증거는 엇갈립니다. Olivares(2001)는 첫 수업 모임이 시작될 때 측정한 사전 관심도는 코스에 대한 전반적인 평가와 관련이 없다는 사실을 발견했습니다. 이와는 대조적으로 Griffin(2004)은 초기 관심도와 교사 평가 간에 중간 정도의 상관관계(r = .37)가 있으며 코스 평가와는 훨씬 더 높은 상관관계(r = .50)가 있다고 보고했습니다. Feistauer와 Richter(2018)도 약하지만 통계적으로 신뢰할 수 있는 연관성을 보고했습니다. 
One would expect that students rate courses on topics in which they are interested more positively than courses of little interest. Surprisingly the evidence is mixed. Olivares (2001) found prior interest—measured at the beginning of the first class meeting—unrelated to global rating the course. In contrast, Griffin (2004) reported a moderate correlation between initial interest and teacher ratings (r = .37) and an even higher correlation with ratings of a course (r = .50). Feistauer and Richter (2018) also reported a weak but statistically reliable association.

학생은 종종 코스 콘텐츠와 자료가 자신에게 얼마나 흥미로울지에 대해 잘못된 기대를 갖게 됩니다. 특히 심리학 과목에서 이러한 현상이 두드러지게 나타나는데, 심리학을 처음 배우는 학생들은 학습 내용에 대해 비현실적인 기대를 하는 경우가 많습니다. 많은 사람들이 사람들을 아는 방법과 그들을 돕는 방법을 배울 것이라고 기대하지만, 이론과 통계 학습에 노출되는 것을 발견합니다. 따라서 강사 평가와 관련된 초기 관심도를 찾지 못한 Olivares(2001)가 학기 말에 평가한 관심도 변화가 강사에 대한 학생 평가와 중간 정도의 상관관계가 있다는 것을 발견한 것은 흥미롭습니다(r = .42). 초기 관심도와 관심도 변화 간의 상관관계가 r = .21에 불과한 것으로 보아 이 수업에서는 상당한 변화가 있었을 것입니다. 강의 내용에 대한 관심이 강의의 즐거움에 영향을 미치고, 따라서 강사에 대한 평가에도 영향을 미친다는 것은 그럴듯해 보입니다. 코스에 전혀 관심이 없는 학생은 강사에 대해 매우 긍정적인 평가를 내릴 가능성이 낮습니다. 가르치는 과목에 대한 학생의 흥미를 불러일으키는 것은 분명 교수 능력의 특징입니다. 불행히도 통계학보다는 사회 심리학을 가르치는 것이 더 쉽습니다. 
Students will often have false expectations about the content of a course and how interesting the material will be to them. This is particularly likely in psychology courses, in which beginning students often have unrealistic expectations of what they will learn. Although many expect that they will learn how to know people and how to help them, they find themselves exposed to learning theories and statistics. It is therefore interesting that Olivares (2001), who failed to find initial interest related to instructor ratings, found that interest change assessed at the end of the semester moderately correlated with student ratings of their instructors (r = .42). There must have been quite a bit of change happening in these classes, as the correlation between initial interest and interest change was only r = .21. It seems plausible that interest in the content of a course influences enjoyment of the course and therefore also ratings of the instructor. Students who are totally uninterested in a course are unlikely to give an instructor very positive ratings. Arousing students’ interest in the subject that one is teaching is certainly a characteristic of teaching ability. Unfortunately, it is easier if one teaches social psychology rather than statistics.

소수자 지위
Minority status

소수 집단에 속하는 교사가 일반적으로 다수 집단에 속하는 교사보다 능력이 떨어진다는 것은 믿을 수 없으므로, 소수 집단에 속하는 교사의 지위는 SET에 영향을 미치지 않아야 합니다. 그럼에도 불구하고 대부분의 연구에 따르면 비백인 강사는 백인 동료 강사보다 낮은 SET 등급을 받습니다(예: McPherson & Jewell, 2007; Reid, 2010; Smith, 2007). 22명의 강사가 가르친 280개의 대학원 수업으로 구성된 24개 학기 연속 데이터를 기반으로 한 연구에서 백인 강사는 비백인 동료보다 더 높은 SET 점수를 받았습니다(McPherson & Jewell, 2007). 미국 남부에 위치한 한 교육대학의 소수 교수진 표본을 대상으로 한 Smith(2007)의 연구에서도 비슷한 결과가 보고되었습니다. 역시 흑인 교수진은 백인 교수진보다 교수 효과성에 대해 낮은 평가를 받았으며, 다른 소수계 교수진(라틴계, 아시아계, 아메리카 원주민)의 평가는 그 사이에 머물렀습니다. Hamermesh와 Parker(2005)도 소수 교수진과 영어가 모국어가 아닌 교수진이 다수 교수진과 영어가 모국어인 교수진보다 훨씬 낮은 강의 평가를 받았다고 보고했습니다. 
Because it is implausible that teachers belonging to a minority are generally less able instructors than majority teachers, minority status should have no impact on SETs. And yet, most studies show that non-White instructors receive SET ratings that are lower than that of their White colleagues (e.g., McPherson & Jewell, 2007; Reid, 2010; Smith, 2007). In a study based on data from 24 consecutive semesters, comprising 280 graduate classes taught by 22 instructors, White instructors received higher SET scores than their non-White colleagues (McPherson & Jewell, 2007). Similar results were reported by Smith (2007) based on a much larger sample of minority faculty members from a college of education situated in the southern United States. Again, Black faculty members received lower evaluations of teaching effectiveness than their White colleagues, with ratings of other minority faculty (Latinos, Asians, Native Americans) falling in between. Hamermesh and Parker (2005) also reported that minority faculty members and non-native English speakers received substantially lower teaching ratings than majority faculty members and native English speakers.

5,630개 인문대학 교수진에 대한 평가를 기반으로 한 RMP 연구에서도 비슷한 패턴이 나타났습니다(Reid, 2010). RMP에는 교수진의 인종이 기재되어 있지 않기 때문에 Reid는 다인종 학생 그룹에게 교수진의 사진을 보고 인종을 결정하도록 했습니다. 소수 인종 교수진은 백인 교수진에 비해 강의의 질, 유용성, 명확성에서 덜 호의적인 평가를 받았습니다. 그러나 Easiness에서는 더 긍정적인 평가를 받았습니다. 이러한 차이는 주로 흑인 교수진의 품질 평가가 낮았기 때문이었습니다. 소수자 신분인 교사가 낮은 평점을 받은 가장 큰 요인은 편견입니다. 편견을 가진 사람들은 소수자 교직원을 덜 똑똑하고 전문성이 떨어진다고 인식하는 경향이 있습니다. 
A similar pattern emerged from an RMP study based on ratings of 5,630 faculties of liberal arts colleges (Reid, 2010). Because RMP does not list race of instructors, Reid had a multiracial group of students decide on race based on photographs of these faculty members. Racial minority faculty members were rated less favorably than White faculty members on quality, helpfulness, and clarity. However, they received more positive ratings on easiness. These differences were mainly due to lower quality ratings received by Black faculty members. The most likely determinant of the lower ratings received by minority status teachers is prejudice. Prejudiced individuals would tend to perceive minority faculty members as less intelligent and possessing less expertise.

성별
Gender

성별 차이에 대한 증거는 일관성이 떨어집니다. 그러나 성별 차이가 발견되는 경우 대부분 여성 강사가 강의 품질에 대해 더 낮은 평가를 받았습니다. Rosen(2018)의 RMP 연구에 따르면 여성은 강의의 질에서 약간 낮은 점수를 받았습니다. 이러한 성별 차이는 Boehmer와 Wood(2017)의 RMP 연구와 Arceo-Gomez와 Campos-Vazquez(2019)의 멕시코 인터넷 사이트(MisProfesores.com)를 기반으로 한 연구에서도 보고되었지만 Reid(2010)와 Stuber 외(2009)의 RMP 연구에서는 나타나지 않았습니다. 
Evidence for gender differences is less consistent. However, if gender differences are found, it is mostly female instructors, who receive lower ratings on teaching quality. The RMP study of Rosen (2018) found that women received slightly lower scores on quality. Such gender differences were also reported in an RMP study of Boehmer and Wood (2017) and by Arceo-Gomez and Campos-Vazquez (2019) in a study based on a Mexican internet site (MisProfesores.com) but not in RMP studies of Reid (2010) and Stuber et al. (2009).

기관 SET를 기반으로 한 세 개의 대규모 다집단 연구에서도 남성에 유리한 성별 차이가 보고되었습니다(Boring, 2017; Hamermesh & Parker, 2005; Mengel et al., 2019). 앞서 설명한 Boring 등(2016)의 데이터 세트를 사용하여 Boring(2017)은 남학생과 여학생 모두 전반적인 만족도에서 남교수에게 약간 더 높은 점수를 주었으며, 여학생의 경우 그 차이가 다소 덜 두드러진다는 것을 발견했습니다. 그러나 이러한 차이는 미미했습니다. 이와는 대조적으로 Hamermesh와 Parker(2005)는 여성 강사가 남성 동료보다 거의 절반 표준편차 낮은 평가를 받았다고 보고했습니다. 마지막으로 네덜란드 마스트리흐트 대학교 경영경제학부에서 실시한 약 20,000명의 학생 평가를 기반으로 한 연구에서 Mengel 등(2019)은 성적이나 학생의 학습 시간이 강사의 성별에 영향을 받지 않았음에도 불구하고 여성이 남성 동료보다 체계적으로 낮은 평가를 받는다는 사실을 발견했습니다. 이러한 성별 차이는 특히 수학적 내용이 포함된 강의에서 두드러졌습니다. 
Three large multisection studies based on institutional SETs also reported gender differences favoring men (Boring, 2017; Hamermesh & Parker, 2005; Mengel et al., 2019). Using the dataset of Boring et al. (2016) described earlier, Boring (2017) found that both male and female students gave male professors slightly higher ratings on overall satisfaction, with the difference somewhat less marked for female students. However, these differences were minimal. In contrast, Hamermesh and Parker (2005) reported that female instructors received ratings that were nearly half a standard deviation lower than those of their male colleagues. Finally, in a study based on nearly 20,000 student evaluations conducted at the School of Business and Economics of Maastricht University (Netherlands), Mengel et al. (2019) found that women received systematically lower ratings than their male colleagues, even though neither grades nor students’ study hours were affected by the gender of their instructor. These gender differences were particularly marked for courses with mathematical content.

이 마지막 결과는 학문 분야(예: 과학 대 인문학)에 따라 성별 차이가 조정될 수 있다는 가능성을 제기합니다. 그러나 증거는 일관성이 없습니다. 피셔 외(2019)의 RMP 연구에 따르면 영어, 역사, 철학보다 공학, 경영/경제학, 컴퓨터 과학과 같은 분야에서 성차별이 더 많이 발견되었으며, 이러한 부서의 여성 직원 비율을 통제한 경우에도 마찬가지였습니다. 그러나 Stuber 등(2009)은 이러한 차이를 발견하지 못했습니다. 이 연구자들은 하드 과학, 공학, 수학, 경영을 전통적으로 남성의 영역으로, 예술과 인문학은 전통적으로 여성의 영역으로 정의했습니다. 이들은 전통적으로 남성 분야 교수자가 인문이나 예술을 가르치는 교수자보다 더 부정적인 평가를 받는다는 일반적인 결과를 반복했지만, 성별에 따른 상호작용은 발견되지 않았습니다: 여성이 남성보다 더 많은 불이익을 받지 않았습니다. 
This last finding raises the possibility that gender differences could be moderated by discipline (e.g., science vs. humanities). However, the evidence is inconsistent. An RMP study by Fisher et al. (2019) found more gender discrimination in fields such as engineering, business/economics, and computer science than in English, history, and philosophy—even when they controlled for percentage of female staff in these departments. However, Stuber et al. (2009) did not find such differences. These authors defined the hard sciences, engineering, mathematics, and business as traditionally male areas and arts and humanities as traditionally female. Although they replicated the typical finding that instructors teaching in those traditionally male fields were rated more negatively than those teaching humanities or arts, there was no interaction with gender: Women were not more penalized than men.

여성 강사가 일반적으로 더 낮은 평가를 받는 것은 교수 능력이 낮기 때문일까요? 많은 인용을 받은 MacNell 등(2015)의 연구는 이러한 해석을 배제하는 것으로 보입니다. 이 연구자들은 강사의 인지된 성별을 조작하는 실험을 실시했습니다. 온라인 수업에 두 명의 보조 강사(남성 1명, 여성 1명)가 각각 다른 두 가지 성 정체성으로 활동했습니다. 실제 성별에 관계없이 남성 정체성을 가진 강사가 전문성, 신속성, 공정성, 존중, 칭찬, 열정에서 더 높은 평가를 받았습니다. 그러나 Uttl과 Violo(2020)는 여러 가지 측면에서 이러한 결과에 의문을 제기했습니다: 그들은 두 사람만을 대상으로 한 조사 결과를 모든 남성 또는 여성 강사에게 일반화하기 어렵다고 주장했습니다. 또한 각 조건의 학생 표본이 8명에서 12명으로 다소 적었습니다. 그러나 가장 중요한 것은 세 가지 이상값이 있었는데, 두 명의 여성 조건에서 모든 세트 항목에서 가장 낮은 평점을 받았다는 점입니다. 이러한 이상값을 제거하면 성별 차이가 사라졌습니다. 대신 학생들은 인지된 성별에 관계없이 실제 여성 강사를 남성 강사보다 더 높게 평가했습니다.  
Could the lower ratings typically received by female instructors reflect lower teaching ability? A highly-cited study by MacNell et al. (2015) appeared to rule out this interpretation. These authors conducted an experiment in which they manipulated the perceived gender of instructors. Two assistant instructors (one male and one female) in an online class each operated under two different gender identities. Regardless of actual gender, male-identity teachers received higher evaluation on professionalism, promptness, fairness, respectfulness, giving praise, and enthusiasm. However, Uttl and Violo (2020) questioned these findings on several accounts: They argued that one could hardly generalize to all male or female instructors based on findings with only two individuals. Furthermore, the sample of students in each condition was rather small, ranging from eight to 12 individuals. But most critically, there were three outliers; they gave the lowest ratings on all SET items in the two female conditions. If one removed these outliers, the gender difference disappeared. Instead, students rated the actual female instructor higher than the male instructor, regardless of perceived gender.

성별에 따른 또 다른 연구는 Mitchell과 Martin(2018)에 의해 수행되었습니다. 서로 다른 대학의 교수진인 크리스티나 미첼 박사와 조나단 마틴 박사가 각자의 대학에서 동일한 내용의 온라인 강의를 진행했습니다.2 이 강의는 여성 강사가 아닌 남성 강사가 맡았을 때 더 긍정적인 평가를 받았습니다. 각기 다른 학생 집단에게 강의가 제공되었기 때문에 강사의 성별이 강의에 대한 학생 집단의 평가와 혼동을 일으켰습니다. 또한 미첼 박사와 마틴 박사는 학생들에게 잘 알려져 있었을 가능성이 높았기 때문에 단순한 성별 정보보다는 강사에 대한 기존의 태도가 이러한 평가에 영향을 미쳤을 가능성이 있습니다. 이 가설을 배제할 수 없다고 해서 이 가설이 타당하다는 의미는 아니라는 점을 서둘러 덧붙이고 싶습니다.  

Another study that varied gender was conducted by Mitchell and Martin (2018). Dr. Kristina Mitchell or Dr. Jonathan Martin, who are faculty members at different colleges, gave an online course of identical content at their respective colleges.2 The course was rated more positively when attributed to a male instructor rather than a female instructor. Because the courses were given to different student populations, gender of instructor was confounded with the student population rating the courses. Furthermore, because Drs. Mitchell and Martin were likely to be known to their students, it seems possible that preexisting attitudes toward these instructors rather than mere gender information could have influenced these ratings. I hasten to add that the fact that we cannot rule out this hypothesis does not mean that it is plausible.

훈련
Discipline

신체적 매력, 인종, 성별에 대해서는 선택의 여지가 없는 반면, 전공 분야는 일반적으로 선택할 수 있습니다. 가르치는 것에 대해 긍정적인 평가를 받고 싶다면 수학, 공학 또는 컴퓨터 과학보다는 인문학이나 언어를 선택해야 한다는 충분한 증거가 있습니다. Centra(2009)는 238,471개 학급의 교육 시험 서비스 데이터를 사용하여 인문학(영어, 역사, 언어) 학급에 비해 자연과학(수학, 공학, 컴퓨터 과학) 학급이 0.30 표준편차 더 낮은 평가를 받았다는 사실을 발견했습니다. 이와 일관되게 Felton 등(2008)은 RMP 연구에서 가장 높은 평가를 받은 학과는 언어학, 사회학, 정치학이었고 공학, 컴퓨터 과학, 화학이 가장 낮은 평가를 받은 학과였다고 보고했습니다. 뉴욕대학교의 영어 및 수학 수업의 SET를 비교한 Uttl과 Smibert(2017)의 연구에서도 비슷한 차이가 발견되었습니다. 영어 수업의 평균 SET는 4.29, 수학 수업의 평균은 3.68이었습니다. SET가 인사 결정에 사용된다는 사실과 일관되게, Uttl과 Smibert(2017)는 정량적 과목을 가르치는 교수가 영어과 동료 교수보다 종신 재직, 승진 또는 성과급을 받을 가능성이 낮다는 사실을 발견했습니다. 
Whereas people have no choice regarding their physical attractiveness, race, or gender, they typically can choose their discipline. There is ample evidence that if they want to receive positive ratings for their teaching, they should choose humanities or languages rather than mathematics, engineering, or computer science. Using Educational Testing Service data from 238,471 classes, Centra (2009) found that compared with classes in humanities (English, history, languages), natural science classes (mathematics, engineering, and computer science) were rated 0.30 standard deviations lower. Consistent with this, Felton et al. (2008) reported from their RMP study that the departments with the highest quality ratings were languages, sociology, and political science, with engineering, computer science, and chemistry as the lowest ranking departments. A similar difference was found by Uttl and Smibert (2017) in a comparison of SETs of English and Math classes at New York University. The average SET of English classes was 4.29; the math average was 3.68. Consistent with the fact that SETs are used for personnel decisions, Uttl and Smibert (2017) found that professors teaching quantitative courses were also less likely than their colleagues in English departments to be tenured, promoted, or given merit pay.

결론
Conclusion

강의에 대한 학생 평가는 강의 효과를 측정하지 않습니다. 또한 강사의 소수자 여부, 외국 억양 및 성별, 가르치는 분야 등 강의의 질과 무관한 여러 요인에 의해 영향을 받습니다. 따라서 대학 관리자가 채용, 급여 인상 및 승진에 관한 결정에 이러한 요소를 사용하는 것은 불공정하고 잠재적으로 불법일 수 있습니다. 실제로 최근 캐나다 라이어슨 대학교와 교수 협회 간의 갈등에 관한 중재 결정(Ryerson University v Ryerson 교수 협회, 2018, CanLII 58446)에서 한 중재인은 "교육 효과성 평가에 관한 한, 특히 임기 및 승진에 관한 한-SET는 기껏해야 불완전하고 최악의 경우 완전히 편향되어 신뢰할 수 없다"고 주장했습니다. 그는 대학이 더 이상 승진 및 임기 결정에서 교수 효과성의 척도로 SET를 사용해서는 안 된다고 선언했습니다. 
Student evaluations of teaching do not measure teaching effectiveness. Furthermore, they are influenced by several factors unrelated to teaching quality such as minority status, foreign accent and gender of instructors, and the discipline they are teaching. This makes their use by university administrators in decisions about hiring, salary increases, and promotions unfair and potentially illegal. In fact, in a recent arbitration decision regarding a conflict between the Canadian Ryerson University and its faculty association (Ryerson University v Ryerson Faculty Association, 2018, CanLII 58446), an arbitrator argued that “insofar as assessing teaching effectiveness is concerned – especially in the context of tenure and promotion—SETs are imperfect at best and downright biased and unreliable at worst.” He decreed that the university should no longer use SETs as a measure of teaching effectiveness in promotion and tenure decisions.

교수에 대한 학생 평가의 편향 효과: 프로세스 모델
The biasing effects of student evaluations of teaching: a process model

이 섹션에서는 채용, 급여 인상, 승진 결정에 SET를 오용하는 것이 부실 교육과 성적 인플레이션의 원인이 될 수 있다고 주장합니다. 대학 관리자는 좋은 SET를 매우 중요하게 생각하기 때문에 교수자에게는 좋은 SET를 얻는 것이 매우 중요합니다. 이는 학생에게 자신이 받는 강의 유형에 영향을 미칠 수 있는 효과적인 도구를 제공합니다. SET가 교육 효과의 유효한 지표이고 학생들이 학습에 대한 필요성에 의해서만 동기를 부여받는다면 이는 문제가 되지 않을 것입니다. 그러나 SET는 교수 효과와 관련이 없고, 앞서 살펴본 바와 같이 상당수의 학생이 열심히 공부하고 많은 것을 배우려는 동기가 없는 것으로 보이며(예: Chiu 외, 2019; Felton 외, 2008; Rosen, 2018), 쉬운 코스와 관대한 채점을 선호하기 때문에 이러한 피드백을 수용하면 교육의 질이 떨어질 가능성이 높습니다. 이 과정을 설명하기 위해 대다수 학생의 동기에 대한 경험적으로 뒷받침되는 가정을 기반으로 한 모델을 제시합니다. 모델을 제시한 후에는 모델에서 가정하는 각 과정을 뒷받침하는 증거를 검토합니다. 
In this section, I argue that this misuse of SETs in decision about hiring, salary increases, and promotions could be the cause of bad teaching and grade inflation. University administrators place great emphasis on good SETs, which makes getting good SETs highly important for instructors. This provides students with an effective tool to influence the type of teaching they receive. This would be no problem if SETs were a valid indicator of teaching effectiveness and if students were motivated only by a need to learn. However, because SETs are unrelated to teaching effectiveness and because—as I show—a sizeable proportion of students does not seem motivated to work hard and to learn a great deal (e.g., Chiu et al., 2019; Felton et al., 2008; Rosen, 2018) and prefers easy courses and lenient grading, their feedback—if accepted—is likely to reduce the quality of teaching. To describe this process, a model is presented that is based on empirically supported assumptions about the motivation of a majority of students. After presenting the model, I review evidence that supports each of the processes assumed by the model.

이 분석은 모든 학생이 좋은 코스 성적을 받는 것을 좋아한다는 가정에서 시작합니다. 또한 이러한 학생들 중 다수는 읽기, 쓰기 및 기타 수업 준비에 너무 많은 시간을 소비하지 않기를 원합니다(그림 2, Chiu 외., 2019, Felton 외., 2008, Rosen, 2018). 일반적으로 상충되는 이러한 목표를 달성하는 한 가지 방법은 채점을 관대하게 하고 과제를 너무 많이 요구하지 않는 것으로 알려진 교사와 함께 수업을 듣는 것입니다(Johnson, 2003; Sabot & Wakeman-Linn, 1991). 그 결과, 많은 학생들이 노력이 필요하고 좋은 성적이 확실하지 않은 도전적인 과목보다 좋은 성적이 보장되는 쉬운 수업을 선호합니다(예: Bar et al., 2009; Johnson, 2003; Sabot & Wakeman-Linn, 1991). 따라서 학생은 관대하게 채점하고(예: Anderson et al., 1975; Greenwald & Gillmore, 1997a; Griffin, 2004; Olivares, 2001) 너무 많은 노력을 요구하지 않는 교사에게 좋은 SET의 보상을 제공합니다(예: Felton et al., 2008; Rosen, 2018). 

This analysis starts with the assumption that all students like getting good course grades. Many of these students would also prefer not to spend too much time on reading, writing, and other class preparation (Figure 2; Chiu et al., 2019; Felton et al., 2008; Rosen, 2018). One way to achieve these normally conflicting goals is to take classes with teachers who are known to grade leniently and not require too much coursework (Johnson, 2003; Sabot & Wakeman-Linn, 1991). As a result, many students prefer easy classes that promise good grades to challenging courses, where hard work is required and good grades are not a certainty (e.g., Bar et al., 2009; Johnson, 2003; Sabot & Wakeman-Linn, 1991). The students therefore give the reward of good SETs to teachers who grade leniently (e.g., Anderson et al., 1975; Greenwald & Gillmore, 1997a; Griffin, 2004; Olivares, 2001) and do not require too much work (e.g., Felton et al., 2008; Rosen, 2018).

교사는 자신의 코스에서 좋은 점수를 받기를 원할 뿐만 아니라 좋은 점수가 승진 및 성과급 상승에 중요하다는 것을 알고 있기 때문에 쉬운 코스를 제공하고 관대하게 채점하려는 인센티브가 생깁니다(Birnbaum, 2000; Keng, 2018; Moore & Trahan, 1998; Ryan et al., 1980; Simpson & Siguaw, 2000). 인센티브가 강할수록 부서에서 사용하는 비교 수준이 더 엄격해집니다(예: 강사는 부서 평균 이상의 점수를 받아야 하는가, 아니면 70번째 백분위수 이상의 점수를 받아야 하는가?). 비교 그룹은 학과입니까, 교수진입니까, 아니면 대학 전체입니까?). 이 과정의 가장 근거리적인 결과는 SET가 종종 부실한 강의와 관대한 채점에 대해 보상한다는 것입니다. 이러한 하위권 경쟁의 보다 원초적인 효과는 성적 인플레이션입니다. 
Teachers not only like their courses to receive good SETs but also know that good SETs are important for promotion and merit increases, which creates an incentive to offer easy courses and to grade leniently (Birnbaum, 2000; Keng, 2018; Moore & Trahan, 1998; Ryan et al., 1980; Simpson & Siguaw, 2000). The stronger the incentive, the stricter the comparison levels used in a department (e.g., Are instructors required to score above the mean of the department, or even above the 70th percentile? Is the comparison group the department, the faculty, or the whole university?). The most proximal result of this process is that SETs often reward poor teaching and lenient grading. The more distal effect of this race to the bottom is grade inflation.

이 모델은 미국 대학교육의 가장 큰 역설, 즉 GPA는 수십 년 동안 증가했지만(Rojstaczer, 2015) 대학생들이 더 열심히 일하거나 대학에 더 적합한 자격을 갖추지 못했다는 사실에 대한 설명을 제공합니다.3 반대로 SAT 점수는 하락 추세를 보이고 있으며(예: Adams, 2015; Washington Post, 2015) 오늘날 학생들은 수십 년 전보다 학업에 더 적은 시간을 소비하고 있습니다(예: Arum & Roksa, 2011; Babcock & Marks, 2011). 심지어 대학 교육이 수십 년 전보다 오늘날 비판적 사고, 복잡한 추론, 작문 능력의 향상을 저해한다는 증거도 있습니다(Arum & Roksa, 2011; Pascarella 외., 2011). 여기에 제시된 간단한 프로세스 모델에 따르면, SET의 광범위한 사용은 이러한 효과의 주요 원인입니다. 
This model offers an explanation for the great paradox of American university education—namely, that GPAs have increased for decades (Rojstaczer, 2015), yet university students have not become more hardworking or better qualified for college.3 On the contrary, SAT scores show a downward trend (e.g., Adams, 2015; Washington Post, 2015), and students spend less time on academic pursuits today than they did a few decades ago (e.g., Arum & Roksa, 2011; Babcock & Marks, 2011). There is even evidence to suggest that a college education results in a lower gain in critical thinking, complex reasoning, and writing skills today than it did several decades ago (Arum & Roksa, 2011; Pascarella et al., 2011). According to the simple process model suggested here, the widespread use of SETs is a major cause of these effects.

편향의 원인: 증거
Causes of bias: the evidence

이 섹션에서는 좋은 성적과 쉬운 코스에 대한 학생의 선호가 어떻게 SET를 편향시키고 코스 선택에 영향을 미치는지에 대해 설명합니다. Stroebe(2016)의 연구를 바탕으로 다음의 네 가지 명제에 대한 증거가 제시됩니다. 

• (a) 학생은 좋은 성적에 긍정적인 SET를 보상한다,
• (b) 학생은 쉬운 코스에 긍정적인 SET를 보상한다,
• (c) 학생은 좋은 성적을 약속하는 코스를 선택한다,
• (d) 교수자는 좋은 SET를 원한다(필요로 한다)

This section discusses how students’ preference for good grades and easy courses biases SETs and influences course choices. Building on Stroebe (2016), evidence for four propositions is presented:

• (a) Students reward good grades with positive SETs,
• (b) students reward easy courses with positive SETs,
• (c) students choose courses that promise good grades, and
• (d) instructors want (need) good SETs.

학생은 좋은 성적에 대해 긍정적인 SET로 보상합니다.
Students reward good grades with positive SETs

Anderson 등(1975)은 간단한 연구를 통해 이러한 편향을 입증했습니다. 그들은 한 수업에서 두 번, 즉 수업의 첫 번째 세션이 끝날 때와 마지막 세션이 끝날 때, 그리고 기말 시험 전에 기대 성적과 SET를 모두 평가했습니다. 그런 다음 참가자들을 성적 기대치가 더 나빠진 그룹, 좋아진 그룹, 동일하게 유지된 그룹으로 나누었습니다. 편향 해석을 뒷받침하는 결과, 강사와 코스에 대한 전반적인 평가는 성적 기대치가 높아질수록 향상되었고, 성적 기대치가 낮아질수록 크게 감소했습니다. 학부 경영학 과정 학생 499명을 대상으로 한 Clayson 등(2006)의 연구에서도 동일한 패턴이 보고되었습니다. 10주차에 그리고 16주차에 학생들은 강사와 기대 성적을 평가하도록 요청받았습니다. Anderson 등의 연구 결과와 마찬가지로, Clayson 등은 기대 성적의 변화가 강사에 대한 학생의 평가 변화와 연관되어 있음을 발견했습니다. 
Anderson et al. (1975) demonstrated this bias with a simple study. They assessed both grade expectations and SET twice in a class, once at the end of the first session of a class and again in the last session, but before the final exam. They then divided their participants into those whose grade expectations became worse, improved, or remained the same. In support of a bias interpretation, the overall ratings of instructor and course improved with improving grade expectations and decreased substantially with decreasing grade expectations. The same pattern was reported by Clayson et al. (2006) in a study of 499 students of undergraduate business courses. At Week 10 and again at Week 16, students were asked to evaluate their instructors and their expected grades. In line with the findings of Anderson et al., Clayson et al. found changes in expected grades to be associated with corresponding changes in students’ evaluation of their instructor.

웰슬리 대학이 관대한 학점을 부여하는 학과에 성적 상한선을 도입했을 때도 비슷한 패턴이 관찰되었습니다(Butcher 외., 2014). 2000년대 초, 웰슬리의 교수진과 행정부는 성적 인플레이션으로 인해 학교의 신뢰도가 위협받고 있다고 판단했습니다. 일반적으로 학점 인플레이션은 주로 인문사회과학 분야에서 문제가 되었지만 이공계 학과에는 영향을 미치지 않았습니다. 이 대학은 입문 및 중급 과정에서 평균 학점이 B+(3.33)를 넘지 않아야 한다는 규칙을 제정했습니다. 성적 상한제는 평균 학점을 낮추는 데는 효과적이었지만 교수 평가도 낮아지는 예상치 못한 부작용을 낳았습니다. 교수를 강력 추천하는 학생의 비율이 5% 감소하고, 중립 및 추천하지 않음 항목이 증가했습니다. Butcher 등(2014)은 "채점 정책으로 인해 평균 학점이 낮아지자 학생들이 교수에 대한 만족도가 낮아졌다는 결과가 강력하게 나타납니다."(200페이지)라고 결론지었습니다. 2019년에 이 대학은 이 채점 정책을 폐지했습니다 (https://www.wellesley.edu/registrar/grading/grading_policy). 

A similar pattern was observed when Wellesley College introduced a grade ceiling for lenient-grading departments (Butcher et al., 2014). In the early 2000s, the faculty and administration at Wellesley decided that the credibility of the institution was threatened by grade inflation. As is generally the case, grade inflation was mainly a problem in the humanities and social sciences but did not affect science departments. The college instituted the rule that the average grade must not exceed a B+ (3.33) in introductory and intermediate courses. Although the grade ceiling was effective in lowering average grades, it had the unexpected side effect that it also lowered faculty ratings. The percentage of students strongly recommending their professor decreased by 5%, and there was an increase in neutral and do not recommend categories. As Butcher et al. (2014) concluded, “The results strongly indicate that students were less pleased with their instructors, when the grading policy lowered average grades” (p. 200). In 2019, the college rescinded this grading policy (https://www.wellesley.edu/registrar/grading/grading_policy).

경영대학원 필수 수업에 성적 상한선을 도입한 한 대형 주립대학에서 실시한 연구에서도 비슷한 결과가 보고되었습니다(Gorry, 2017). 성적 상한선은 입문 과정에서는 2.8점, 중급 과정에서는 3.2점으로 설정되었습니다. 두 상한선 모두 평균 성적을 낮추는 데 효과적이었습니다. 그러나 상한선을 2.8로 설정하면 코스 평가가 크게 낮아지고 자퇴 횟수도 증가한 반면, 상한선을 높게 설정하면 코스 평가에 미치는 영향은 훨씬 작았습니다. 
Similar findings were reported from a study conducted at a large state university where grade ceilings were introduced in required business school classes (Gorry, 2017). The grade ceiling was set at 2.8 in introductory courses and at 3.2 in intermediate courses. Both ceilings were effective in lowering average grades. But while the 2.8 ceiling significantly lowered course evaluations and also increased the number of withdrawals, the effect of the higher ceiling on course evaluation was much smaller.

SET가 성적 기대치에 의해 편향된다는 가설에 대한 추가 지원은 Greenwald와 Gillmore(1997a)의 연구에서 나옵니다. 이 연구자들은 교수의 질과는 관련이 없는 세 가지 항목을 SET에 추가했습니다. 학생들은 강사의 필체의 가독성, 목소리의 명료성, 강의실 시설의 질을 평가해야 했습니다. 편향 해석에 따라 연구진은 기대 성적과 이러한 항목에 대한 평가의 긍정성 간에 양의 상관관계가 있음을 발견했습니다. 모든 학생이 같은 목소리를 듣고, 같은 글을 읽고, 같은 교실에서 수업을 들었기 때문에 이러한 학급 내 상관관계가 발견되었다는 것은 성적에 대한 기대치가 이러한 평가에 편향성을 가졌음을 시사합니다. 또한 학급 간 분석에서는 이러한 상관관계를 관찰할 수 없었으며, 이는 이러한 자질이 교수 효과와 관련이 없다는 가정을 더욱 뒷받침합니다. 
Further support for the hypothesis that SETs are biased by grade expectations comes from a study by Greenwald and Gillmore (1997a). These researchers added three items to an SET that were fairly unrelated to teaching quality. Students had to rate the legibility of the instructor’s handwriting, the audibility of his or her voice, and the quality of classroom facilities. In line with a bias interpretation, they found a positive correlation between expected grades and the positiveness of ratings on these items. Because all students heard the same voice, read the same writing, and worked in the same classroom, the finding of this within-class correlation suggests that grade expectations biased these evaluations. Furthermore, this correlation could not be observed for between-class analyses, which further supports the assumption that these qualities were unrelated to teaching effectiveness.

편향성 설명에 대한 보다 직접적인 증거는 올리바레스(2001)에 의해 제공되었는데, 그는 채점에 대한 관대함을 SET와 연관시켰습니다. 149명의 학생과 동일한 강사가 가르치는 두 학부 과정의 7개 섹션을 대상으로 한 연구에서 다음과 같은 질문을 통해 인식된 채점 관대함을 직접 측정했습니다: "지금까지 수강한 다른 모든 대학 강사와 비교했을 때, 이 강사의 채점을 어떻게 평가하시겠습니까?" 응답 척도는 매우 엄격함/엄격함부터 매우 쉬움/관대함까지 다양했습니다. 학기 말에 실시한 측정에서 채점 관용도는 교수자의 전체 평점(r = .45)과 여러 항목으로 구성된 SET 척도(r = .45) 모두와 상관관계가 있는 것으로 나타났습니다. 그리핀(2004)은 39개 교육 과정에 등록한 754명의 학부생을 대상으로 한 연구에서 이보다 다소 낮은 상관관계를 보고했습니다. 채점 관대함은 "이 교수자는 관대하거나 쉬운 채점자이다(매우 동의함부터 매우 동의하지 않음까지)"라는 문항으로 평가되었습니다. 모든 SET 평점의 평균과의 상관관계는 r = .23으로 Olivares(2001)의 연구보다 낮았습니다. 그러나 두 연구에서 모두 채점에 대한 관대함이 교수자 평가와 양의 상관관계를 보였으며, 이는 교수자가 관대하게 채점함으로써 강의 평가를 개선할 수 있어야 함을 시사합니다. 
Even more direct evidence for a bias explanation has been provided by Olivares (2001), who related perceived grading leniency to SETs. In a study based on 149 students and seven sections of two undergraduate courses taught by the same instructor, perceived grading leniency was measured directly with the following question: “Compared to all other college instructors you have had, how would you rate this instructor’s grading?” The response scale ranged from much harder/strict grader to much easier/lenient grader. In measures taken at the end of the semester, grading leniency correlated with both the global rating of the instructor (r = .45) and the multiple-items SET scale (r = .45). A somewhat lower correlation was reported by Griffin (2004) in a study based on 754 undergraduate students enrolled in 39 education courses. Grading leniency was assessed with the statement, “This instructor is a lenient/easy grader (strongly agree to strongly disagree).” The correlation with the average of all SET ratings was r = .23 and thus lower than in the study of Olivares (2001). However, in both studies, perceived grading leniency was positively correlated with instructor evaluation, suggesting that instructors should be able to improve their teaching ratings by grading leniently.

교수자가 관대하게 채점하거나 코스 요구 사항을 낮추고 싶지 않은 경우 다른 전략을 사용하여 SET를 개선할 수 있습니다. Youmans와 Jee(2007)의 연구에 따르면, 한 세트의 수업 중 절반은 세트에 응답해야 하는 날 초콜릿 바를 받았습니다. 초콜릿 바를 제공한 사람은 수업 강사와는 무관한 사람으로, 다른 기능에서 초콜릿 바를 가져온 것으로 추정됩니다. 초콜릿을 받은 학급의 평균 SET 점수가 더 높았습니다(4.07점 대 3.85점). 수업의 절반에게 첫 번째 세션에서 쿠키를 제공한 후 해당 세션의 강의 품질을 평가하도록 한 연구에서도 비슷한 평가 차이가 관찰되었습니다(Hessler et al., 2018). 
If instructors do not want to grade leniently or lower their course requirements, they can use other strategies to improve their SETs. In a study by Youmans and Jee (2007), half of a set of classes were treated with chocolate bars on the day they had to respond to the SET. The person giving the chocolate bars was independent of the class instructor and (allegedly) had these bars over from another function. The average SET score was higher for the classes receiving chocolate (4.07 vs. 3.85). A similar difference in ratings was observed in a study where half of the classes were given cookies during a first session and then had to evaluate the teaching quality of that session (Hessler et al., 2018).

학생들은 쉬운 코스에 좋은 SET로 보상
Students reward easy courses with good SETs

이 제안에 대한 지지는 주로 앞서 설명한 RMP 웹사이트의 연구에서 비롯됩니다. 이 웹사이트에서는 관대한 채점이라는 측면에서 '쉬움'이 명확하게 정의되어 있습니다. 학생들은 스스로에게 "이 교수가 가르치는 수업이 얼마나 쉬운가? 많은 노력 없이도 A를 받을 수 있는가?"라고 질문하도록 되어 있습니다. Easiness은 RMP 연구에서 교수 효과 평가의 강력한 예측 인자로 일관되게 밝혀졌습니다(Boehmer & Wood, 2017; Felton et al., 2008; Johnson & Crews, 2013; Rosen, 2018). 앞서 설명한 Felton 등(2008)의 연구에서 품질과 Easiness은 r = .62의 상관관계를 보였습니다. 학생들은 많은 노력 없이도 우수한 성적을 받을 수 있는 코스를 많은 시간과 노력이 필요한 코스보다 더 긍정적으로 평가했습니다. 뛰어난 교사가 아무리 어려운 내용도 쉽게 이해할 수 있도록 가르친다면 난이도가 교육의 질에 따른 결과일 수 있다고 주장할 수도 있지만, 이러한 해석은 난이도를 정의하는 방식과 일치하지 않을 수 있습니다. 또한 RMP에서는 학생이 교수에 대한 코멘트를 작성하여 자신의 평가를 정당화할 수 있으며, "'Easiness' 점수가 높은 교수는 일반적으로 업무량이 적고 학점이 높다는 코멘트를 받았습니다."(Felton 외., 2008, 40쪽). 이러한 결과는 Rosen(2018)에 의해 전반적인 품질과 Easiness 간의 상관관계가 r = .61로 나타나 펠튼 등이 보고한 상관관계와 거의 동일하게 재현되었습니다. Boehmer와 Wood(2017)와 Johnson과 Crews(2013)의 RMP 연구에서도 유사한 상관관계(각각 .66 및 .62)가 보고되었습니다. 앞서 설명한 RMP 연구에서 Timmerman(2008)이 보고한 난이도 평가와 교수자를 추천하는 학생의 비율 간의 상관관계는 r = .35로 다소 낮았습니다. 
Support for this proposition comes mainly from studies of the RMP website described earlier. On that website, easiness is clearly defined in terms of lenient grading. Students are instructed to ask themselves, “How easy are the classes this professor teaches? Is it possible to get an A without much work”? Easiness is consistently found to be a strong predictor of the evaluation of teaching effectiveness in RMP studies (Boehmer & Wood, 2017; Felton et al., 2008; Johnson & Crews, 2013; Rosen, 2018). In the study by Felton et al. (2008), described earlier, quality and easiness correlated at r = .62. Students rated courses that enabled them to get excellent grades without doing much work more positively than courses that required a great deal of time and effort. Although one could argue that easiness might be a consequence of quality, with brilliant teachers making even the most difficult material easy to understand, this interpretation would be inconsistent with the way easiness is defined. Furthermore, RMP allows students to write comments about a professor to justify their ratings and “professors with high ‘Easiness’ scores usually received comments regarding a low workload and high grades” (Felton et al., 2008, p. 40). These findings were replicated by Rosen (2018) with a correlation between overall quality and easiness of r = .61 that is practically identical to the correlation reported by Felton et al. RMP studies by Boehmer and Wood (2017) and Johnson and Crews (2013) reported similar correlations (.66 and .62, respectively). A somewhat lower correlation of r = .35 between easiness ratings and the percentage of students recommending an instructor was reported by Timmerman (2008) in the RMP study described earlier.

3,799개 대학의 교수 85,306명의 데이터를 사용한 또 다른 RMP 연구에서는 상위권 대학에서 Easiness과 품질 간의 상관관계가 다소 약한 것으로 나타났습니다(Chiu et al., 2019). 이 연구자들은 2016년 Forbes의 미국 상위 200개 대학 분류(http://www.forbes.com/top-colleges)를 사용하여 표본의 대학을 상위 또는 비상위 기관으로 분류했습니다. 연구진은 쉬운 코스가 더 높은 수준으로 평가된다는 강력한 주 효과를 재현했지만, 대학 분류와 상호작용하기 쉬운 정도도 발견했습니다: 상위권 대학의 학생들은 비 상위권 대학의 학생들보다 쉬운 코스의 질에 대해 약간 덜 긍정적으로 평가했지만(각각 4.0점 대 4.13점), 어려운 코스는 약간 더 긍정적으로 평가했습니다(각각 3.37점 대 3.27점). 이러한 (소소한) 효과에 대한 가장 그럴듯한 해석은 상위권 대학이 더 열심히 노력하려는 학생들을 끌어들여 더 어려운 과목에 더 잘 대처할 수 있게 한다는 것입니다. 
The association between easiness and quality was found to be somewhat weaker at top universities in another RMP study using data of 85,306 professors from 3,799 colleges and universities (Chiu et al., 2019). These researchers used the 2016 Forbes classification of top 200 U.S. colleges and universities (http://www.forbes.com/top-colleges) to classify the colleges and universities of their sample into top or nontop institutions. Although they replicated the strong main effect that easy courses were rated as having a higher quality, they also found easiness to interact with their college classification: Students at top colleges evaluated easy courses slightly less positively on quality than students from nontop colleges (4.0 vs. 4.13, respectively) but rated difficult courses slightly more positively (3.37 vs. 3.27, respectively). The most plausible interpretation of these (minor) effects is that top colleges attract students who are more willing to work hard, which enables them to cope better with more difficult courses.

일부 연구자들은 RMP 등급이 대학 SET 등급과 동등한지 의심하기 때문에(예: Legg & Wilson, 2012; Murray & Zdravkovic, 2016), 이러한 동등성이 여기에 제시된 주장에 필수적인 것은 아니라는 점에 유의하는 것이 중요합니다. 학생 평가에서 'Easiness'이 코스의 '품질'에 대한 평가와 높은 상관관계가 있는 것으로 나타났다는 사실은 이 두 가지 차원이 학생들의 마음속에 밀접하고 긍정적으로 연관되어 있다는 충분한 증거입니다. 
Because some researchers doubt that RMP ratings are equivalent to ratings on university SETs (e.g., Legg & Wilson, 2012; Murray & Zdravkovic, 2016), it is important to note that this equivalence is not essential for the argument presented here. The fact that “easiness” has been found to be highly correlated with evaluations of the “quality” of a course in students’ ratings is sufficient evidence that the two dimensions are closely and positively associated in the minds of these students.

학생들은 좋은 성적을 약속하는 코스를 선택합니다.
Students choose courses that promise good grades

경제학자 새뮤얼슨(1948)이 개척한 공개 선호 이론에 따르면 소비자의 선호도는 구매 행동으로 드러날 수 있습니다. 이 이론은 코스 선택에도 적용되어야 하므로, 관대하게 채점하는 교사의 코스에 대한 학생의 선호도는 코스 선택을 통해 드러나야 합니다. 초기 연구에서 Sabot과 Wakeman-Linn(1991)은 학생들이 한 학과에서 두 번째 과목을 수강할 가능성을 첫 번째 과목에서 받은 성적의 함수로 평가했습니다. 경제학을 전공할 의향이 없었지만 해당 학과의 과목을 수강한 적이 있는 학생 중 경제학 입문 과목에서 A가 아닌 B를 받은 경우 두 번째 과목을 수강할 확률이 18% 낮았고, C를 받은 경우 28% 낮았습니다. 
According to the revealed preference theory pioneered by the economist Samuelson (1948), the preferences of consumers can be revealed by their purchasing behavior. Because this theory should also apply to course choices, the preference of students for courses of teachers who grade leniently should be revealed by their course choice. In an early study, Sabot and Wakeman-Linn (1991) assessed the likelihood that students took a second course in a department as a function of the grades they received in their first course. Of students who did not intend to major in economics but had taken a course in that department, the probability of taking a second course was 18% lower if they received a B rather than an A and 28% lower if they received a C in an introductory course in economics.

마찬가지로 Johnson(2003)은 이전 학기에 수강한 과목의 평균 성적에 대한 정보를 제공한 종단 연구에서 이러한 정보가 학생의 향후 선택에 영향을 미친다는 사실을 발견했습니다. 한 학생이 두 명의 강사가 가르치는 과목 중 한 과목의 평균 학점이 A-이고 다른 과목의 평균 학점이 B인 경우, 학생이 두 번째 과목보다 첫 번째 과목을 선택할 확률은 2대 1이었습니다. 마지막으로, 물리 및 생명 과학 분야의 졸업에 대한 지속성에 대한 연구에서 Ost(2010)는 과학 과목보다 비과학 과목에서 더 높은 성적을 받은 학생이 선택한 과학 분야에서 더 높은 성적을 받은 학생보다 과학을 전과할 가능성이 더 높다는 것을 발견했습니다.
Similarly, in a longitudinal study that provided information about the extent to which students informed themselves about the average grade of courses taught in the previous semesters, Johnson (2003) found that this information influenced students’ future choices. If a student had a choice between courses taught by two instructors, one course having a GPA of A– and the other having a GPA of B, the odds that a student would choose the first course over the second were 2 to 1. Finally, in a study of persistence toward graduating in the physical and life sciences, Ost (2010) found that students who received higher grades in their nonscience courses than their science courses were more likely to transfer out of the sciences than were students who received higher grades in their chosen science field.

관대하게 채점된 코스에 대한 학생들의 "드러난 선호도"에 대한 추가 증거는 코넬 대학교의 연구에서 나옵니다(Bar 외., 2009). 이 대학은 1998년부터 모든 과목의 중간 성적을 웹사이트에 게시하고 학생의 성적표에 이를 기재하기로 결정했습니다. 이 대학은 "성과에 대한 정확한 인식을 통해 학생들이 중간 성적이 상대적으로 낮은 과목을 수강하도록 장려할 수 있을 것"이라고 기대했습니다(94페이지). 하지만 이 희망은 실현되지 않았습니다. 실제로 이 웹사이트를 도입한 후 중앙값이 A인 과목의 비율이 16% 증가했습니다. 그러나 더욱 놀라운 것은 이러한 강좌에 등록한 학생의 비율이 42% 증가했다는 것입니다. 그러나 이러한 증가는 주로 평균 이하의 학생들 때문이었습니다. SAT 점수 기준 상위 20%에 해당하는 고능력 학생은 이러한 관대한 채점 방식의 강좌에 매력을 느끼지 못했습니다. 
Further evidence for students’ “revealed preference” for leniently graded courses comes from a study at Cornell University (Bar et al., 2009). This university decided as of 1998 to publish median grades for all courses on a website and to mention them in students’ transcripts. The university hoped that a more “accurate recognition of performance may encourage students to take courses in which the median grade is relatively low” (p. 94). This hope was not supported. In fact, the proportion of courses with an A median increased by 16% after the introduction of this website. But even more striking, the proportion of students who enrolled in such courses increased by 42%. However, this increase was mainly due to students of average or lower ability. High-ability students—in the top 20% according to their SAT scores—were less attracted by these leniently graded courses.

교수자가 좋은 SET 점수를 원한(필요로 한)다
Instructors want (need) good SETs

좋은 성적과 적은 학습량을 약속하는 코스에 대한 학생의 선호가 코스 성적에 영향을 미치려면 교수자가 이러한 선호를 채택하여 교수자의 선호로 전환해야 합니다. 앞서 언급했듯이 이러한 전환의 매개체는 바로 SET입니다. 학생과 교수진은 암묵적인 협상 상황에 놓여 있으며, 양측 모두 상대방에게 가치 있는 '좋은 것'을 가지고 있습니다. 교수진은 좋은 성적과 쉬운 코스를 제공할 수 있고, 학생은 긍정적인 SET를 제공할 수 있습니다. 교육의 질은 교수 평가의 중요한 측면이며, 앞서 언급했듯이 SET는 종종 교육의 질을 나타내는 주요 지표로 사용됩니다. 학생들이 좋아하고 많은 것을 배울 수 있는 코스를 만들기 위해 최선을 다했을 가능성이 높은 교사에게 낮은 평가를 받는 것은 불쾌한 경험이 될 수 있습니다. 낮은 SET는 교사의 종신 재직 또는 성과급 인상 기회를 감소시킬 수 있다는 사실 때문에 이러한 경험을 더욱 불쾌하게 만듭니다. 따라서 바람직한 행동에 대한 보상과 바람직하지 않은 행동에 대한 처벌이라는 SET의 분배 권한은 학생들이 교사의 행동을 형성할 수 있도록 합니다. 
For students’ preferences of courses that promise good grades and low workloads to influence course grades, these preferences must be adopted by faculty members and transformed into faculty preferences. As mentioned earlier, the medium of this transfer is the SET. Students and faculty are in an implicit negotiation situation, where each side has a “good” that is valuable to the other side. Faculty can provide good grades and easy courses, and students can provide positive SETs. Teaching quality is an important aspect of faculty evaluation and, as mentioned earlier, SETs are often used as major indicator of teaching quality. Receiving poor ratings is an unpleasant experience for teachers who are likely to have done their best to produce courses that students enjoy and in which they learn a great deal. The fact that poor SETs might decrease a teacher’s chance of tenure or of a merit salary increase makes this experience even more unpleasant. Thus, the power of dispensing SETs—to reward desirable and to punish undesirable behavior—enables students to shape faculty behavior.

불안정한 지위에 있는 교수진(예: 젊은 테뉴어 트랙 교수진)은 특히 관대한 채점을 통해 자신의 강의에 대한 평점을 개선하려는 동기를 갖게 된다는 증거가 있습니다. 한 중형 주립대학의 연구에 따르면 종신직과 비종신직이 가르치는 수업의 평점 차이는 0.5점 정도였으며, 비종신직이 더 좋은 성적을 받은 것으로 나타났습니다(Moore & Trahan, 1998). 대만 대학에서 실시한 연구에서 Keng(2018)도 비슷한 결과를 보고했습니다. 
There is evidence that faculty members in precarious positions (e.g., young tenure track faculty) will be particularly motivated to improve the ratings they receive for their course by grading leniently. A study at a medium-sized state university showed a difference in the GPA of classes taught by tenured versus untenured staff of half a grade point, with untenured staff giving better grades (Moore & Trahan, 1998). Similar results were reported by Keng (2018) in a study conducted at a Taiwan university.

긍정적인 SET에 대한 교수진의 선호도는 의도적 경로와 비의도적 경로라는 두 가지 경로를 통해 교수자의 교육에 영향을 미칠 수 있습니다. 교수자를 대상으로 한 설문조사에 따르면 많은 교수자가 학생들이 관대하게 채점되고 쉬운 코스를 선호한다는 사실을 알고 있습니다(예: Birnbaum, 2000; Ryan et al., 1980; Simpson & Siguaw, 2000). 예를 들어, 캘리포니아 주립대 풀러턴 캠퍼스에서 Birnbaum(2000)이 실시한 소규모 설문조사에 응답한 교수진의 65%는 기준을 높이고 내용을 늘리면 교수 평가가 낮아진다고 생각했지만, 45%는 학생 학습이 향상될 것이라고 생각했습니다. 심지어 일부는 SET를 개선하기 위해 전략적으로 업무량을 줄이고 채점에 관대함을 사용했다고 인정했습니다. 72%는 SET를 사용하면 교수진이 강의 내용을 축소할 것이라고 생각했습니다. 
Faculty preference for positive SETs can influence faculty teaching by two routes—namely, a deliberate and a nondeliberate route. Surveys of instructors indicate that many teachers are aware of students’ preference for leniently graded, easy courses (e.g., Birnbaum, 2000; Ryan et al., 1980; Simpson & Siguaw, 2000). For example, 65% of the faculty members who responded to a small survey conducted by Birnbaum (2000) at the California State University, Fullerton, believed that raising standards and increasing content lowered teaching evaluation, even though 45% thought that it would increase student learning. Some even admitted using strategic workload reduction and grading leniency to improve their SETs. Seventy-two percent believed that the use of SETs would encourage faculty members to water down the content of their course.

실제로 위스콘신대학교 라크로스 캠퍼스에서 실시한 소규모 설문조사에 응답한 교수진의 22%는 SET의 도입으로 인해 코스에서 다루는 자료의 양을 줄이게 되었다고 답했으며, 38%는 난이도를 낮췄다고 인정했습니다(Ryan et al., 1980). 마지막으로, 안타깝게도 응답률이 매우 낮았던 마케팅 과학 아카데미 회원을 대상으로 한 웹 기반 설문조사에서는 응답자에게 동료가 SET에 영향을 미치기 위해 사용한 전략의 이름을 말하도록 요청했습니다. 가장 자주 언급된 전략은 관대한 채점이었습니다. 시험 당일에 쿠키, 스낵, 피자를 제공하는 것도 자주 언급되었습니다. 앞서 설명한 것처럼 이러한 전략은 모두 효과적일 가능성이 높습니다. 교사들이 자신의 평가를 높일 수 있는 기법을 충분히 알고 있다면, 특히 낮은 평가를 받은 교사들 중 일부는 이러한 전략을 채택하고 싶은 유혹을 받을 것입니다. 
In fact, 22% of faculty respondents to a small survey conducted at the University of Wisconsin–La Crosse indicated that the introduction of SETs had induced them to decrease the amount of material covered in their course, and 38% admitted to lowering the difficulty level (Ryan et al., 1980). Finally, a web-based survey of members of the Academy of Marketing Science, which unfortunately had an extremely low response rate, asked respondents to name strategies that their colleagues had used to influence SETs. The most frequently mentioned strategy was grading leniency. Another frequently mentioned technique was serving cookies, snacks, or pizza on the day of the exam. As discussed earlier, all of these strategies are likely to be effective. If teachers are fully aware of techniques that could raise their evaluations, some of those receiving poor evaluations will be tempted to adopt these strategies, particularly if they are still untenured.

또한 학생은 교수자와 학생 중 어느 한쪽이 완전히 인식하지 못하는 사이에 원하는 방향으로 교수자의 행동을 변화시킬 수 있습니다.

• 코스에 대한 낮은 평가를 받은 교수자는 평가를 개선하기 위해 어떻게 해야 하는지 몇 명의 학생에게 물어볼 수 있습니다. 학생은 너무 많은 자료가 제시되고 토론 시간이 너무 짧았다고 불평할 수 있습니다. 또한 수강 중인 다른 수업에 비해 이 특정 코스에 너무 많은 독서가 필요하다고 언급할 수도 있습니다.
• 교수진은 '올해의 교사상'을 받은 동료가 이론과 연구 결과를 생생하게 보여주기 위해 몇 편의 영화를 보여준다는 사실을 더 알아차릴 수도 있습니다. 따라서 교수진은 자신의 SET를 개선하기 위해 강의에 제시되는 자료를 줄여 토론 시간을 만들고, 읽기 요구 사항을 줄이며, 강의를 더 매력적으로 만들기 위해 영화를 상영하기로 결정할 수 있습니다.

이러한 모든 변화는 학생들의 작업량을 상당히 줄여주고 훨씬 적은 양의 자료를 다루는 시험에서 좋은 성적을 거둘 가능성을 높여줍니다. 
Students can also shape the behavior of faculty members in a desired direction without either side being fully aware of doing so.

• After receiving poor evaluations for a course, a faculty member might ask a few students what he or she should do to improve ratings. Students might complain that too much material was presented and there was too little time for discussion. They might also mention that too much reading was required for this particular course compared with other classes they were taking.
• The faculty member might further realize that colleagues who receive “Teacher of the Year” awards show a few films to bring theories and findings to life. To improve his or her SETs, the faculty member might therefore decide to reduce the material presented in lectures to create time for discussion, to reduce reading requirements, and to show films to make lectures more attractive.

All of these changes will considerably reduce students’ workload and increase the chances that they will do well in exams that will cover much less material.

Uttl 등(2017)이 논의한 것처럼, 실제로 일부 SET 지지자들이 염두에 두고 있던 것이 바로 이 점이라는 점이 흥미롭습니다. 아브라미와 아폴로니아(1990)가 주장했듯이,
It is interesting to note that, as Uttl et al. (2017) discussed, this is actually what some proponents of SETs had in mind. As Abrami and Apolonia (1990) argued,

너무 높은 학업 기준은 너무 낮은 학업 기준만큼이나 학생의 학습에 해로울 수 있습니다. 좋은 교수법의 과학적 기술은 학생들이 배울 수 있는 것과 학생들이 기대할 수 있는 것 사이의 균형을 찾는 것입니다. 평가는 이를 잘 수행하는 강사를 식별하는 데 도움이 된다고 믿습니다. (p. 520) 
academic standards that are too high may be as detrimental to the learning of students as academic standards that are too low. The art of science of good teaching is finding the balance between what students might learn and what students are capable of leaning. We believe that ratings help identify those instructors who do this well. (p. 520)

따라서 한 과목에서 가르쳐야 할 양을 결정해야 하는 것은 대학의 학문적 수준이나 학문을 습득하는 데 필요한 지식이 아니라 학생들이 과목에 기꺼이 노력을 투자하려는 의지와 그 내용을 습득할 수 있는 능력입니다. 그리고 이러한 지침을 기꺼이 따르는 교사만이 좋은 교수 평가를 받을 수 있습니다. 
So it is not the academic standard of a university or the knowledge that is required for mastering a discipline that should determine the amount that needs to be taught in a course but students’ willingness to invest effort in a course and their ability to master the material. And only teachers, who are willing and able to follow these guidelines will be rewarded with good teaching evaluations.

성적 인플레이션: 증거
Grade inflation: the evidence

대규모 사립 및 공립 대학 표본의 GPA 변화에 대한 광범위한 연구에서 Rojstaczer(2015; Rojstaczer & Healy, 2010)는 1930년대와 1940년대 이후 성적이 서서히 상승하고 있다는 사실을 발견했습니다. 그러나 1960년대에 가파른 상승세를 보이다가 1970년대에 평준화되었습니다(그림 3). 이러한 증가는 베트남 전쟁과 성적이 저조한 학생들이 징집되지 않도록 보호하고자 하는 바람 때문인 경우가 많았습니다(Rojstaczer & Healy, 2010). 1980년대에는 SET가 교수 평가의 주요 정보원이 되면서(Seldin, 1998), 10년에 0.10~0.15점의 비율로 성적이 다시 상승하기 시작했습니다. 이러한 증가는 공립 대학보다 사립 대학에서 훨씬 더 가파르게 나타났습니다. 로이스타처는 이러한 증가의 원인을 세 가지로 꼽았습니다:

• (a) 수업에 대한 학생 평가가 의무화되었고,
• (b) 학생들이 점점 더 진로에 집중하게 되었으며,
• (c) 등록금 상승률이 가계 소득을 앞질렀습니다.

In an extensive study of changes in GPAs of a large sample of private and public universities, Rojstaczer (2015; Rojstaczer & Healy, 2010) found that grades have been slowly rising since the 1930s and 1940s. However, there was a steep increase in the 1960s that leveled off in the 1970s (Figure 3). This increase has often been attributed to the Vietnam War and the wish to protect poorly performing students from being drafted (Rojstaczer & Healy, 2010). In the 1980s, the time when SETs became major information sources in faculty evaluations (Seldin, 1998), grades began to rise again at a rate of 0.10 to 0.15 GPA points per decade. These increases were much steeper for private than for public universities. Rojstaczer attributed this increase to three factors:

• (a) Student evaluation of classes became mandatory,
• (b) students became increasingly career focused, and
• (c) tuition rises outpaced family incomes.

학생들은 고객이 되었고, (돈을 지불하는) 고객으로서 좋은 최종 결과물, 즉 취업 시장에서 경쟁력을 갖출 수 있는 성적을 받은 기말고사를 기대했습니다. 이러한 해석은 높은 등록금을 부과하는 유럽 국가 중 하나인 영국에서 고등 교육에 성적 인플레이션이 발생하는 이유도 설명할 수 있습니다(Bachan, 2017). 
Students became customers and, as (paying) customers, expected a good end product—namely, a final exam with a grade that would allow them to be competitive on the job market. This interpretation would also explain why there is grade inflation in higher education in the United Kingdom (Bachan, 2017), the one European country that charges high tuition rates.

최근 수십 년 동안 학생들이 더 똑똑해지거나 더 열심히 일하게 되었다는 증거는 없습니다. 오히려 증거는 반대 방향을 가리키고 있습니다. 1969년과 1993년 사이에 SAT 평균 총점은 5% 감소했습니다(Rosovsky & Harley, 2002). 이러한 추세가 계속되고 있다는 것은 워싱턴 포스트(2015)에 실린 SAT 점수의 하락 추세가 계속되고 있다는 보고서에 의해 시사됩니다. 또한 학생들이 공부하는 데 더 많은 시간을 소비한다는 증거도 없습니다. 오히려 1960년에는 학생들이 학업에 주당 40시간을 투자했지만, 2003년에는 27시간, 2008년에는 15시간을 투자했습니다. 공부하는 시간, 실험실 시간, 수업 시간을 모두 합쳐도 오늘날 학생들은 학업에 보내는 시간은 16%에 불과합니다(Arum et al., 2011). 
 
There is no evidence that students have become more intelligent or hardworking in recent decades. If anything, the evidence points in the opposite direction. Between 1969 and 1993, the average combined score on the SAT declined by 5% (Rosovsky & Harley, 2002). That this trend has continued is suggested by a report in the Washington Post (2015) that SAT scores had continued their downward trend. There is also no evidence that students spend more time studying. On the contrary, whereas students spent 40 hr per week on academic work in 1960, they devoted 27 hr in 2003 and 15 hr in 2008. Combining time for studying, for labs, and in classes, students today spend only 16% of their time on academic pursuits (Arum et al., 2011).

금전적 인플레이션에 비해 성적 인플레이션의 문제점은 성적이 5점 응답 척도로 표시된다는 점입니다. 성적이 상향 평준화되면 곧 상위권으로 쏠림 현상이 심해집니다. 성적 인플레이션은 주로 A의 증가에 의해 주도되었습니다. 2006년에는 전체 문자 성적 중 43%가 A였으며, 이는 1960년 이후 28% 포인트, 1988년 이후 12% 포인트 증가한 수치입니다(Rojstaczer & Healy, 2010). 성적 인플레이션의 가장 강력한 영향은 사립 대학에서 발생했으며, 사립 대학은 공립 대학보다 A와 B가 훨씬 더 많았습니다. 하버드 대학교에서는 학부 과정의 A 비율이 1966년 22%에서 1996-1997년 46%로 증가했습니다(B.P. Wilson, 1998). 가장 놀라운 점은 2013년에는 학부생의 평균 학점이 A-가 되었다는 점입니다(Bernhard, 2014). 
The problem with grade inflation as compared with monetary inflation is that grades are expressed on a 5-point response scale. With the upward shift in grading, it soon becomes very crowded at the top. The grade inflation was mainly driven by an increase in As. In 2006, 43% of all letter grades were As, an increase of 28 percentage points since 1960 and of 12 percentage points since 1988 (Rojstaczer & Healy, 2010). The strongest effect of grade inflation occurred for private universities, where As and Bs became even more prevalent than at public universities. At Harvard, the percentage of As for undergraduate courses increased from 22% in 1966 to 46% in 1996–1997 (B.P. Wilson, 1998). Most striking, by 2013, A– had become the median grade for undergraduates (Bernhard, 2014).

성적 인플레이션은 주로 인문학과 사회과학(경제학 제외)에 영향을 미친 것으로 보입니다. 물리학, 화학, 수학에서는 성적 인플레이션이 훨씬 적은 것으로 보입니다. 그 이유는 명확하지 않습니다. 앞서 보고된 바와 같이, 이러한 "어려운 과학" 분야의 학생들이 좋은 성적을 받는 데 관심이 없다는 징후는 확실히 없습니다(Uttl & Smibert, 2017). 그렇다면 왜 이러한 교수들은 코스 부하를 완화하고 더 관대하게 채점하지 않을까요? 한 가지 설명은 어려운 과학과 수학 수업의 교육 목표가 훨씬 더 명확하게 정의되어 있기 때문일 수 있습니다. Lodahl과 Gordon(1972)은 이러한 차이를 설명하기 위해 Kuhn(1964)의 패러다임 개념을 사용합니다: "패러다임 개념의 본질은 이론, 방법론, 기술 및 문제에 대한 과학 분야 내 신념의 합의 또는 공유 정도입니다."(Lodahl & Gordon, 1972, 58쪽). 따라서 패러다임이 높은 분야일수록 코스 내용에 대한 합의가 더 높습니다. 교수자는 심리학 입문 수업에서 학생의 학습량을 자유롭게 결정할 수 있지만 수학, 물리학 또는 화학을 가르치는 수업에서는 그렇지 않을 수 있습니다. 
Grade inflation appears to have mainly affected the humanities and social sciences (with the exception of economics). There appears to be much less grade inflation in physics, chemistry, and mathematics. It is not clear why this is the case. As reported earlier, there certainly is no indication that students in those “hard science” areas are uninterested in receiving good grades (Uttl & Smibert, 2017). So why do these professors not ease course loads and grade more leniently? One explanation could be that classes in hard sciences and mathematics have much more clearly defined teaching goals. Lodahl and Gordon (1972) use Kuhn’s (1964) concept of paradigm to describe this difference: “The essence of a paradigm concept is the degree of consensus or sharing of beliefs within a scientific field about theory, methodology, techniques and problems” (Lodahl & Gordon, 1972, p. 58). High paradigm fields will therefore have greater agreement about the content of a course. Whereas instructors have a great deal of freedom in deciding how much a student has to learn in an introductory psychology class, this might not be the case in a class teaching mathematics, physics, or chemistry.

성적 인플레이션의 어두운 면
The dark side of grade inflation

학점 인플레이션이 서로 윈윈하는 상황이라고 주장할 수도 있습니다. 학생은 좋은 성적을 받고 강사는 좋은 SET를 받으니 모두가 만족할 수 있습니다. 안타깝게도 성적 인플레이션에는 어두운 면이 있으며 실제 효과는 훨씬 덜 긍정적입니다. 성적 인플레이션은 우수한 성과를 내거나 합리적으로 열심히 일하려는 인센티브를 감소시킵니다. 모두가 A를 받는다면 학생이 왜 수업에 많은 시간을 투자해야 할까요? 따라서 성적이 관대하게 매겨진 수업에서 학생들이 덜 열심히 노력하는 것으로 밝혀진 것은 놀라운 일이 아닙니다(Babcock, 2010; Greenwald & Gillmore, 1997b). 
One could argue that grade inflation is a win-win situation. Students receive good grades and instructors receive good SETs and everybody is happy. Unfortunately, there is a dark side to grade inflation and the actual effects are much less positive. Grade inflation reduces the incentive to excel, or even to work reasonably hard. Why should a student invest a great deal of time in working for a class, if everybody gets an A? It is therefore not surprising that students have been found to work less hard in leniently graded classes (Babcock, 2010; Greenwald & Gillmore, 1997b).

예를 들어, Greenwald와 Gillmore(1997b)는 표준 SET에 코스에서 예상되는 성적과 작업량(학생이 코스에 투자한 시간 수)에 관한 질문을 추가했습니다. 학생이 코스에서 좋은 성적을 기대하는 경우 더 열심히 노력할 것이라고 생각할 수 있지만, 이러한 성적 기대가 채점 관용에 대한 지식에 기반한 것이라면 이는 적용되지 않을 것입니다. 이 후자의 가설과 일치하는 Greenwald와 Gillmore(1997b)의 연구에 따르면 작업량과 기대 성적 간에 음의 상관관계가 있는 것으로 나타났습니다. 이 효과는 상대적 기대 성적을 상관관계로 사용했을 때 더욱 강해졌습니다. 학생들이 평소 성적과 비교하여 현재 코스에서 더 나은 성적을 기대할수록 코스 활동에 투자하는 시간이 줄어드는 것으로 나타났습니다. 이 결과는 2003년부터 2007년까지 약 8,000개의 수업을 대상으로 한 Babcock(2010)에 의해 재현되었습니다. Babcock은 기대 성적이 1점 상승하면 주당 학습 시간이 0.94시간 감소할 것으로 추정했습니다.
For example, Greenwald and Gillmore (1997b) added questions about expected grades in a course and about workload (numbers of hours students spent on a course) to a standard SET. Whereas one would think that students would work harder if they expected a good grade in a course, this should not apply if this grade expectation is based on knowledge about grading leniency. Consistent with this latter hypothesis, Greenwald and Gillmore (1997b) found a negative correlation between workload and expected grades. This effect became even stronger when relative expected grade was used as a correlate. The better students expected to do in the present course compared with their usual performance, the less time they invested in coursework. This finding was replicated by Babcock (2010) with nearly 8,000 classes covering the years 2003 to 2007. Babcock estimated that a 1-point increase in expected grade would reduce weekly study time by 0.94 hr.

학생들이 성적이 관대할수록 과목을 더 긍정적으로 평가하지만(예: Griffin, 2004; Olivares, 2001), 동시에 그러한 과목에서 더 적게 학습한다면, 학생들이 더 긍정적으로 평가하는 과목에서 더 적게 학습할 것으로 예상할 수 있습니다. 이는 적어도 '나쁜 강의'를 학생이 많이 배우지 못하는 강의로 정의한다면 좋은 강의 평가가 실제로는 나쁜 강의에 대한 보상일 수 있음을 시사합니다(Stroebe, 2016). 코스 성적이 더 이상 학습의 유효한 지표로 간주될 수 없다는 사실은 교수 효과를 측정할 수 없게 만듭니다. Johnson(2003)은 후속 과정에서의 학생의 성과를 학습의 척도로 삼는 훌륭하지만 간단한 해결책을 제안했습니다. 즉, 학생들이 통계 입문 과목에서 학습한 양은 입문 과목에서 습득한 지식을 기반으로 하는 고급 통계 과목에서 받는 성적과 관련이 있어야 한다는 것입니다. 
If students evaluate a course more positively the more leniently they are graded (e.g., Griffin, 2004; Olivares, 2001), but at the same time work less in such courses, one could expect that students learn less in their more positively evaluated courses. This would suggest that good teaching evaluations may, in fact, reward bad teaching, at least if one defines “bad teaching” as courses in which students do not learn a great deal (Stroebe, 2016). The fact that course grades can no longer be considered a valid indicator of learning leaves us without a measure of teaching effectiveness. Johnson (2003) suggested the brilliant but simple solution to take students’ performance in follow-up courses as a measure of learning. Thus, the amount students learned in an introductory statistics course should be related to the grades they receive in an advanced statistics course that builds on the knowledge acquired in the introduction.

이 패러다임을 사용한 6개의 연구가 수행되었습니다(Braga et al., 2014; Carrell & West, 2010; Johnson, 2003; Keng, 2018; Weinberg et al., 2009; Yunker & Yunker, 2003). 대부분은 많은 수의 코스 섹션에 의존할 수 있습니다. 이는 SET가 익명으로 처리되고 개별 학생에 대한 평가가 알려지지 않기 때문에 중요합니다. 따라서 SET와 동시 코스의 성적 간의 연관성은 일반적으로 한 섹션의 평균 SET와 해당 섹션의 평균 성적의 상관관계로 계산됩니다. Yunker와 Yunker(2003)의 연구는 12명의 교수자가 가르치는 46개 섹션만을 대상으로 한 것이지만, 미국 공군사관학교에서 수행된 Carrell과 West(2010)의 보다 일반적인 연구는 421명의 교수자가 2,820개의 개별 코스 섹션에서 가르치는 10,534명의 학생을 대상으로 표본 크기를 설정했습니다. 이 연구와 Braga 등(2014)의 연구 역시 학생들이 무작위로 섹션에 배정되었다는 장점이 있습니다. 6개의 연구 모두에서 SET는 동시 수강한 과목의 학생 성적과 양의 상관관계가 있었습니다. 그러나 후속 심화 과정의 성적을 기준으로 삼았을 때 5개의 연구에서 코스 평가는 음의 상관관계를 보였습니다(Braga et al., 2014; Carrell & West, 2010; Johnson, 2003; Keng, 2018; Yunker & Yunker, 2003).4 Weinberg 등(2009)의 연구에서는 현재 코스에 대한 학생 평가가 후속 코스에서의 성과와 무관한 것으로 나타났습니다. 
Six studies that used this paradigm have been conducted (Braga et al., 2014; Carrell & West, 2010; Johnson, 2003; Keng, 2018; Weinberg et al., 2009; Yunker & Yunker, 2003). Most of them could rely on large numbers of course sections. This is important, because SETs are anonymous and ratings are not known for individual students. Therefore, the association of SETs to grades in concurrent courses is typically computed as correlation of the average SET of a section with the average grades of that section. Although the study by Yunker and Yunker (2003) is based on only 46 sections taught by 12 faculty members, the more typical study of Carrell and West (2010)—conducted at the U.S. Air Force Academy—had a sample size of 10,534 students taught in 2,820 separate course sections by 421 faculty members. This study and the study by Braga et al. (2014) also have the advantage that students were randomly assigned to sections. In all six studies, SETs were positively correlated with students’ grades in the concurrent course. However, when performance in subsequent—more advanced—courses was used as criterion, course ratings were negatively correlated in five of the studies (Braga et al., 2014; Carrell & West, 2010; Johnson, 2003; Keng, 2018; Yunker & Yunker, 2003).4 In the Weinberg et al. (2009) study, student evaluations of the current course were found unrelated to the performance in a subsequent course.

요약하면, Weinberg 등(2009)의 연구를 제외하고 이 연구들은 학생들이 많은 것을 배우지 못한 코스를 더 긍정적으로 평가하는 경향이 있다는 증거를 제시합니다. 또는 Braga 등(2014)의 결론처럼 "미래의 성과를 촉진하는 데 더 효과적인 교사가 학생들로부터 더 나쁜 평가를 받는다"(81쪽)는 결론을 내릴 수도 있습니다. 
In summary, then, with the exception of the study by Weinberg et al. (2009), these studies present evidence that students tend to evaluate more positively the courses in which they did not learn a great deal. Or, as Braga et al. (2014) concluded, “teachers, who are more effective in promoting future performance receive worse evaluations from their students” (p. 81).

일반적인 결론
General conclusion

이 글에서 검토한 증거를 통해 도출할 수 있는 주요 결론은 SET가 교수 효과성의 유효한 측정 기준이 아니므로 학장이나 학과장이 교수진을 평가하는 데 사용해서는 안 된다는 것입니다. 여전히 SET의 증거에 근거하여 인사 결정을 내리는 대학 관리자는 법정에서 자신의 결정에 이의를 제기할 수 있는 위험을 감수해야 합니다. 교수 효과성의 척도로서 SET가 무효라는 증거가 있고, Ryerson 대학의 사례에서 알 수 있듯이 이러한 법정 소송에서 승소할 가능성은 그리 높지 않습니다. 
The main conclusion to be derived from the evidence reviewed in this article is that SETs are not valid measures of teaching effectiveness and should therefore not be used by deans or chairpersons to evaluate faculty members. University administrators, who still base personnel decisions on evidence from SETs, run the risk that their decisions could be challenged in court. Given the evidence that SETs are invalid as measures of teaching effectiveness—and as the example of Ryerson University suggests—the chances of winning such court cases are not very good.

교수 능력은 성과급 인상이나 승진에 대한 결정에 중요한 요소이므로 대학 관리자는 다른 정보원을 사용할 수 있습니다. SET를 사용하는 대신 교사에게 강의 개발 방법과 강조하는 문제에 대한 자세한 설명을 담은 강의 포트폴리오를 작성하도록 요청할 수 있으며, 포트폴리오에는 권장 도서 목록과 시험 문제도 포함되어야 합니다. 이렇게 하면 적어도 특정 영역에 대한 강좌가 해당 영역의 핵심으로 간주되는 콘텐츠(예: 이론, 연구)를 다루고 최신 문헌에 기반하고 있음을 보장할 수 있습니다. 또한 이러한 포트폴리오에는 일부 주요 강의의 파워포인트 프레젠테이션이 포함될 수 있습니다(예: Goss & Bernstein, 2015). 테뉴어 결정의 경우, 선배 동료의 평가를 위해 몇 개의 강의를 비디오로 녹화할 수 있습니다. 강의에 대한 결정은 매우 저조한 성과를 확인하는 것만 포함하므로 이러한 평가에서 합의에 도달할 수 있어야 합니다. 
Because teaching ability is an important factor in decisions about merit increases or promotions, university administrators could use alternative sources of information. Instead of using SETs, they could ask teachers to compile teaching portfolios in which they give detailed descriptions of how they develop their courses and which issues they emphasize; the portfolio should also contain lists of recommended reading and exam questions. This would at least ensure that a course on a given area covers the content (i.e., theories, research) considered central to that area and is based on up-to-date literature. In addition, such a portfolio could include the PowerPoint presentations of some of the main lectures (e.g., Goss & Bernstein, 2015). In the case of tenure decisions, one could video record a few lectures for evaluation by senior colleagues. Because the decision about teaching would only involve identifying a very poor performance, it should be possible to reach agreement in such evaluations.

SET 정보는 평가를 받는 교수자에게만 제공되어야 합니다. 이렇게 하면 교수자가 SET에서 높은 점수를 받아야 한다는 압박을 크게 줄일 수 있습니다(예: 기준을 낮추고 채점을 관대하게 함). SET가 편향되어 있기는 하지만, 이를 완전히 폐지하면 학생뿐만 아니라 교수자가 유용하게 활용할 수 있는 정보를 얻을 수 있는 기회를 박탈당하게 됩니다. 그러나 교수자는 SET에 영향을 미치는 다양한 편향의 원인을 인식하고 자신의 강의 평가를 평가할 때 이를 고려해야 합니다. 채점을 까다롭게 하고, 많은 독서를 요구하며, 학생에게 열심히 노력하는 모습을 보이는데도 최고 평점을 받는 영감을 주는 교사가 있습니다. 그러나 대부분의 교수자에게 이러한 전략은 적어도 학부 과정을 가르칠 때는 일반적으로 최적의 세트에 미치지 못하는 결과를 초래합니다. 그러나 대학 캠퍼스의 학부 학습에 대한 대규모 연구를 바탕으로 Arum과 Roksa(2011)는 "상당한 양의 읽기(일주일에 40페이지 이상)와 쓰기(한 학기 동안 20페이지 이상)가 모두 필요한 과목을 수강한 학생들의 학습률이 더 높았다"(205페이지)고 결론지었습니다. 
SET information should be provided only to the instructors who are evaluated. This would substantially reduce the pressure on faculty members to receive top SET scores (e.g., by lowering standards and lenient grading). Although SETs are biased, totally abandoning them would deprive not only students of their voice with regard to teaching quality but also instructors of information they might find useful. However, instructors should be aware of the various sources of bias that affect SETs and take them into account when assessing the evaluation of their own teaching. There are some inspired teachers who receive top ratings even though they are tough graders, require a lot of reading, look for hard work from their students. However, for most instructors such strategies will typically result in less-than-optimal SETs, at least when they teach undergraduate courses. Yet, based on a large study of undergraduate learning at college campuses, Arum and Roksa (2011) concluded “that students, who took courses requiring both significant reading (more than 40 pages a week) and writing (more than 20 pages over the course of the semester) had higher rates of learning” (p. 205).

적어도 사회과학과 인문학에서는 학생들이 좋은 학점을 받는 데 익숙해져 있기 때문에 학점 인플레이션을 없애기 위해서는 근본적인 대책이 필요합니다. 성적 상한제 도입은 효과적인 전략 중 하나입니다(Butcher et al., 2014; Gorry, 2017). 안타깝게도 학점 상한제는 이 정책을 시행하는 대학 학생들의 경쟁력을 떨어뜨린다는 단점이 있습니다. 고용주들은 프린스턴의 학점 상한제를 알지 못할 수도 있기 때문에, B+가 A-보다 취득하기 더 어려웠을지라도 프린스턴 졸업생보다 A-를 받은 하버드 졸업생을 선호할 수 있습니다. 이것이 프린스턴이 2014년에 이 제도를 폐지한 이유일 것입니다(Windemuth, 2014). 그리고 웰슬리 칼리지가 2019년에 이 제도를 폐지한 이유일 것입니다. 따라서 성적 상한제는 사립 및 공립 대학의 전체 시스템에 도입되는 경우에만 허용될 수 있습니다. 미국에서는 그런 일이 일어날 가능성이 거의 없습니다. 대신, 일반적으로 도입될 수 있고 잠재적 고용주에게 더 많은 정보를 제공할 수 있는 덜 야심 찬 조치는 성적표에 학생의 개별 성적과 함께 수업의 중간 성적을 표시하는 것입니다. 그러나 대학 교사에게 자신의 강의가 학생들에게 어떻게 인식되었는지에 대한 정보를 제공하여 개선에 도움을 주기 위한 SET가 성적 인플레이션뿐만 아니라 교육의 질 저하를 초래한 것은 아이러니한 일입니다. 
Because students have become used to getting good grades, at least in the social sciences and humanities, radical measures would be needed to eliminate grade inflation. The introduction of grade ceilings is one effective strategy (Butcher et al., 2014; Gorry, 2017). Unfortunately, grade ceilings have the disadvantage of lowering the competitiveness of students from universities practicing this policy. Because employers might not be aware of the Princeton grade ceiling, they might prefer a Harvard graduate with an A– to a Princeton graduate with a B+, even if the B+ might have been more difficult to get than the A–. This is probably the reason why Princeton dropped this measure in 2014 (Windemuth, 2014), and why Wellesley College dropped it in 2019. Thus, grade ceilings would be acceptable only if they were introduced by the whole system of private and public universities. In the United States, something that is unlikely to happen. Instead, a less ambitious measure that could generally be instituted and would make grades more informative for potential employers would be to indicate the median grade of a class with students’ individual grades on their transcripts. It is ironic, though, that SETs intended to provide university teachers with information about how their teaching was perceived by students and thus help them to make improvements resulted not only in grade inflation but also in a deterioration of teaching quality.

참고
Notes

Abstract

Student Evaluations of Teaching (SETs) do not measure teaching effectiveness, and their widespread use by university administrators in decisions about faculty hiring, promotions, and merit increases encourages poor teaching and causes grade inflation. Students need to get good grades, and faculty members need to get good SETs. Therefore, SETs empower students to shape faculty behavior. This power can be used to reward lenient-grading instructors who require little work and to punish strict-grading instructors. This article reviews research that shows that students (a) reward teachers who grade leniently with positive SETs, (b) reward easy courses with positive SETs, and (c) choose courses that promise good grades. The study also shows that instructors want (and need) good SETs.

테크놀로지 강화 학습 (Understanding Medical Education Ch10)
Technology‐enhanced Learning
Rachel H. Ellaway
Department of Community Health Sciences, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada

소개
Introduction

의학 교육에는 오랜 역사를 지닌 많은 테크놀로지(예: 교과서, 모형, 삽화)가 있지만, 현대에 '테크놀로지'라는 용어는 일반적으로 디지털 도구 및 시스템을 지칭하는 것으로 이해됩니다. 실제로 최근 몇 년 동안 개인용 디지털 기기가 급증하면서 미래의 의사를 양성하는 데 있어 (디지털) 테크놀로지는 거의 유비쿼터스에 가까운 존재가 되었습니다. 독자들이 이 장을 디지털 테크놀로지뿐만 아니라 의학교육에서 사용되는 모든 테크놀로지의 맥락에서 생각해 보시기 바랍니다. 테크놀로지 사용과 의학교육 관행 사이의 다양한 교차점을 완전히 다루는 것은 한 장의 범위를 넘어서는 것이므로 이 책 전체에 제시된 자료에 반영된 테크놀로지 사용을 고려하는 것도 독자들에게 권장합니다. 
While there are many technologies (such as textbooks, models, and illustrations) that have a long pedigree in medical education, the contemporary use of the term ‘technology’ is generally understood as referring to digital tools and systems. Indeed, there has been a proliferation of personal digital devices in recent years, to the point that (digital) technologies have become a near‐ubiquitous presence in the training of tomorrow’s doctors. I invite readers to consider this chapter in the context of all technology use in medical education, not just digital technologies. To fully address the multitude of intersections between technology use and medical education practices is beyond the scope of a single chapter so I would also encourage readers to consider technology use as it is reflected in the material presented throughout this volume.

저는 'e-러닝'이라는 보다 대중적이지만 다소 문제가 있는 개념보다는 '테크놀로지 강화 학습'(TEL)이라는 용어를 주요 참조 프레임으로 사용합니다. TEL 개념의 핵심은 테크놀로지의 매개 역할에 초점을 맞추는 것입니다. 교사는 가르치고 학습자는 배우며, 테크놀로지를 사용함으로써 변화되는 것은 바로 이러한 일을 수행하는 방법과 그 이후의 과정입니다. 이 주제를 탐구하면서 저는 의학교육에서 테크놀로지 사용을 평가하기 위한 다양한 이론적 틀을 고려하고, 이를 바탕으로 의학교육에서 테크놀로지 강화 학습을 개발, 사용 및 평가하기 위한 일련의 기법을 제시할 것입니다. 이를 통해 현대 의학교육에서 테크놀로지 사용과 관련된 입장, 관행, 기회 및 과제에 대한 비판적 검토를 제공하는 것이 저의 목표입니다. 
I use the term ‘technology‐enhanced learning’ (TEL) as my main frame of reference rather than the more popular but rather problematic concept of ‘e‐learning’. Central to the concept of TEL is a focus on the mediating role of technology. Teachers teach and learners learn; it is how they do these things (and what follows) that is changed by their use of technology. In exploring this topic, I will consider a range of theoretical frames for appraising the use of technology in medical education, and from these I will set out a series of techniques for developing, using, and evaluating technology‐enhanced learning in medical education. My goal in doing so is to provide a critical review of the positions, practices, opportunities, and challenges associated with using technology in contemporary medical education.

의학교육에서의 테크놀로지 사용
Technology Use in Medical Education

현대 의학교육에는 장치(노트북 컴퓨터, 태블릿, 모바일 장치 등) 및 주변 장치(프린터, 카메라, 키보드 등), 소프트웨어(이 장을 작성하는 데 사용한 워드 프로세싱 및 일러스트레이션 도구 등) 및 앱(모바일 장치 및 태블릿용), 서비스(Google 및 Skype에서 제공하는 것 등), 디지털 콘텐츠(YouTube 및 Wikipedia에서 제공하는 것 등), 소셜 미디어(Twitter 및 Facebook 등) 등 매우 많은 테크놀로지가 사용되고 있습니다. 이러한 테크놀로지 중 일부는 의료 교육 기관에서 제공하지만(예: 학습 관리 시스템), 대부분은 학습자(예: 노트북 및 모바일 장치)가 제공하거나 의료 교육과 직접적인 관련이 거의 또는 전혀 없는 제3자(예: Google 및 Wikipedia)가 제공합니다. 따라서 테크놀로지를 의학교육 또는 의학교육자에게 특정한 것으로 논의하는 것은 어려울 수 있으며, 다양한 출처를 고려할 때 평가하거나 지시하기 어려울 수 있습니다. 학생 또는 교수진의 노트북이나 모바일 기기는 교육 및 학습 목적으로 사용될 수 있지만, 다른 많은 목적과 다양한 맥락에서 사용됩니다. 의료 교육의 맥락에서 이러한 교차성에 대해 생각해 보는 것이 중요한데, 예를 들어 교사와 학습자가 소셜 미디어를 사용할 때 사회적 및 교육적 이점이 다소 모호해질 수 있습니다. 우리는 직접적으로 상호작용하는 테크놀로지에 더 많은 주의를 기울이는 경향이 있으며, 이러한 테크놀로지에 의존하는 많은 지원 테크놀로지의 중요한 역할은 종종 잊어버립니다. 네트워크 및 전력의 가용성, 보안 및 로그인 서비스 제공, 강력한 방식으로 시스템을 호스팅할 수 있는 능력 등은 의학교육에서 테크놀로지를 사용하기 위한 기반을 제공하는 데 필수적인 요소입니다. 비용, 분쟁, 자연재해 등의 이유로 이러한 기반 테크놀로지를 쉽게 사용할 수 없는 의과대학은 테크놀로지를 더 임시적으로 사용하는 경향이 있습니다. 매슬로우의 욕구위계설에 따라 의료 교사와 학습자의 테크놀로지에 대한 의존도를 '욕구 계층'(그림 10.1)[1]의 관점에서 이해할 수 있습니다. 여기서 중요한 교훈은 의존적 요소가 불확실하거나 부재할 경우 의료 교육에서 테크놀로지 사용이 손상되거나 약화될 수 있다는 것입니다. 여기에는 기능 및 안전 요소뿐만 아니라 의학교육에서 테크놀로지 사용의 정당성 및 수용 가능성(또는 학생이 침대 옆에서 스마트폰을 사용하는 것과 같은 특정 테크놀로지 사용)에도 달려 있습니다.  

There are a great many technologies being used in contemporary medical education, including devices (such as laptop computers, tablets, and mobile devices) and their peripherals (such as printers, cameras, and keyboards), software (such as the word processing and illustration tools that I used to write this chapter) and apps (for mobile devices and tablets), services (such as those offered by Google and Skype), digital content (such as that offered by YouTube and Wikipedia), and social media (such as Twitter and Facebook). While some of these technologies are provided by institutions of medical education (such as learning management systems), many are provided by learners (such as laptops and mobile devices), or by third parties with little or no direct focus on medical education (such as Google and Wikipedia). It can therefore be challenging to discuss technology as something specific to medical education or medical educators, and difficult to appraise or direct given its diverse provenance. Although a student or faculty laptop or mobile device can be used for teaching and learning purposes, it is also used for many other purposes and in many other contexts. It is important to think about this intersectionality in the context of medical education, exemplified for instance by teacher and learner use of social media where the social and instructional benefits can become rather blurred. We tend to pay more attention to the technologies with which we interact directly and often oblivious to the critical role of the many supporting technologies they depend on. Essential if unexciting factors such as availability of networks and electrical power, the provision of security and sign‐ in services, and the ability to host systems in a robust way are necessary to provide a foundation for the use of technology in medical education. Medical schools that do not have these foundational technologies readily available (for instance because of cost, conflict, or natural disasters) tend to make more tentative use of technologies. Drawing loosely from Maslow, the dependence of medical teachers and learners on their technologies can be understood in terms of a ‘hierarchy of needs’ (Figure 10.1) [1]. The key lesson here is that the use of technology in medical education can be compromised or undermined if its dependent factors are uncertain or absent. Not only does this include functional and safety factors, it also depends on the legitimacy and acceptability of using technology, (or particular uses of technology such as students having smartphones at the bedside) in medical education.

의학 교육에서 테크놀로지 사용에 관한 분업에 유의하는 것도 중요합니다. 일부 테크놀로지는 학습자와 교수자 모두가 사용하지만 사용 방식이 다릅니다. 예를 들어, 온라인 포트폴리오와 학습 관리 시스템은 사용자 역할에 따라 서로 다른 도구와 보기를 제공합니다. 다른 테크놀로지들은 학습자 또는 교사에게 어느 정도 특화된 경향이 있습니다. 예를 들어, 교사는 PowerPoint와 같은 도구를 광범위하게 사용하는 반면, 학습자는 참고 자료를 훨씬 더 많이 사용하는 경향이 있습니다. 
It is also important to note the division of labour regarding the use of technology in medical education. Some technologies are used by both learners and teachers but in different ways. For instance, online portfolios and learning management systems present different tools and views depending on the user role. Other technologies tend to be more or less learner, or teacher, specific. For instance, teachers may make extensive use of tools like PowerPoint, while learners tend to make much greater use of reference materials.

이러한 예비 관찰 결과를 종합해 보면 의학교육의 맥락에서 테크놀로지 사용이 절대적으로 효과적이거나 그렇지 않다고 말할 수 없다는 것이 분명해집니다. 그 유용성은 과제, 테크놀로지, 개인 및 상황에 따라 달라집니다. 따라서 의학교육에서 사용되는 테크놀로지와 그 활용의 다양성을 고려할 때 간결하고 일반화할 수 있는 방식으로 실습을 안내하는 것은 압도적인 작업처럼 보일 수 있습니다. 그러나 의학교육에서 테크놀로지 사용과 관련된 문제에 대한 포괄적인 모델을 설정하기 위해 활용할 수 있는 몇 가지 이론적 프레임워크가 있습니다. 
Drawing these preliminary observations together, it becomes clear that we cannot say that technology use is, or is not, effective in any absolute way in the context of medical education. Its utility depends on the task, the technology, the individual, and their circumstances. Given the plurality and diversity of technologies and their uses in medical education it may therefore seem like an overwhelming task to guide practice in both a succinct and generalisable way. However, there are several theoretical frames we can draw on to set out an inclusive model of issues in and around technology use in medical education.

학습을 위한 테크놀로지
Technologies for Learning

의학교육은 상호 연결된 일련의 활동(예: 강의, 술기 실습, 문제 기반 학습, 시험, 침상 학습 등)으로 이해할 수 있습니다. 활동 이론[2]의 개념을 사용하여 이러한 활동을 분석할 수 있는데, 이 이론의 핵심은 활동은 매개되며, 활동은 그것을 매개하는 인공물에 의존하고, 그것에 의해 형성된다는 것입니다. 예를 들어,

• 10여 년 전만 해도 많은 의과대학에서 강의, 실습 및 기타 학습 세션에서 학습자에게 종이 유인물을 제공하는 것이 일반적인 관행이었지만, 이제는 전자적으로 노트를 제공하거나 심지어 노트 없이 교사의 PowerPoint 슬라이드에 액세스하는 것이 훨씬 더 일반적입니다.
• 한때 주석이 달린 유인물과 종이 메모로 가득했던 링 바인더는 대부분 전자 파일과 문서로 대체되었습니다.

따라서 이제 컴퓨터와 컴퓨터가 지원하는 다양한 도구가 학습자의 개인 지식 기반 생성 및 사용을 매개한다고 말할 수 있습니다.
Medical education can be understood as sequences of interconnected activities (e.g. lectures, skills labs, problem‐based learning, exams, bedside learning, etc.). We can analyse these activities using concepts from activity theory [2], a central tenet of which is that activities are mediated; they both depend on mediating artefacts and are shaped by them. For example, whereas 10 or more years ago it was normal practice for many medical schools to provide their learners with paper handouts for lectures, labs, and other learning sessions, it is now much more common for notes to be provided electronically or even that there are no notes, simply access to the teacher’s PowerPoint slides. The once ubiquitous ring binder full of annotated handouts and paper notes has been largely replaced by electronic files and documents. We can say, therefore, that computers and the various tools they support now mediate learners’ creation and use of their personal knowledgebase.

의학교육의 모든 활동을 나열하고 각각의 활동을 매개하는 특정 테크놀로지를 설명하는 대신, 의학교육에서의 기능적 역할과 이와 관련된 다양한 매개 테크놀로지의 관점에서 다양한 유형의 활동을 고려할 수 있습니다. 상자 10.1을 참조하십시오.
Rather than listing all activities in medical education and describing specific mediating technologies within each, we can instead consider different types of activity in terms of their functional role in medical education and different mediating technologies associated with them. See Box 10.1.

의학교육에는 분명히 많은 활동 유형과 이를 중재하는 데 사용할 수 있는 많은 테크놀로지가 있습니다. 또한 일부 테크놀로지(예: 학습 관리 시스템)은 두 가지 이상의 활동을 중재하는 데 사용될 수 있으며, 특정 세션(수업, 로테이션, 실습 등)에는 여러 활동 유형이 사용되며 여러 테크놀로지가 중재할 수 있습니다. 따라서 우리는 단일 활동과 매개 테크놀로지에만 관심을 가져서는 안 되며, 의학교육의 표준인 활동과 매개 테크놀로지가 얽혀 있는 클러스터도 고려해야 합니다. 이를 통해 테크놀로지 매개가 다른 종류의 매개와 얽혀 있는 '블렌디드 러닝'이라는 개념으로 이어집니다. 예를 들어, 디지털 테크놀로지를 사용하여 대면 수업 환경에서 자료를 찾거나 자료를 만드는 것입니다. 블렌디드 학습은 학습 자체가 아니라 학습을 지원하기 위해 다양한 매개 요소를 사용하는 것임을 분명히 해야 합니다. TEL을 단독으로 사용하는 것보다 혼합하여 사용하는 것이 TEL을 단독으로 사용하는 것보다 더 나은 학습 결과를 가져온다는 증거가 있습니다[4].
Clearly there are many activity types in medical education and many technologies that can be used to mediate them. Moreover, some technologies can be used to mediate more than one kind of activity (such as learning management systems), and any given session (class, rotation, lab, etc.) may employ many activity types and be mediated by many technologies. We should not therefore be concerned solely with single instants of activity plus mediating technology, we should also consider the entangled clusters of activities and mediating technologies that are the norm in medical education. This leads us to the concept of ‘blended learning’ where technology mediation is entangled with other kinds of mediation. For instance, using digital technologies to look things up or create materials within a face‐to‐face class setting. We should be clear that it is not the learning that is blended, rather it is the use of different mediating components in support of learning that is blended. There is evidence to suggest that blended uses of TEL rather than isolated uses of TEL lead to better learning outcomes than using TEL on its own [4].

기기는 일반적으로 한 번에 한 사람만 사용하도록 설계되지만, 테크놀로지 사용은 사회적 맥락에서 이루어지며 상황에 따라 다른 사람이 보고 해석합니다. 따라서 학습자 및 실무자의 테크놀로지 사용은 전문적인 행동으로 볼 수 있습니다. 실제로 학습자의 컴퓨터, 태블릿, 스마트폰 사용은 학습자가 강의실이나 침대 옆에서 기기를 사용하도록 허용하거나 장려해야 하는지에 대한 논쟁에서 전문직업성에 대한 우려의 초점이 되어 왔습니다. 강의에서 테크놀로지를 사용하는 것은 이제 보편화되었지만, 학습자가 침대 옆에서 디지털 테크놀로지를 사용하는 것은 여전히 논쟁의 여지가 있습니다. TEL과 전문성 사이의 교차점은 '디지털 전문직업성'의 문제로 간주할 수 있습니다[5]. 이는 테크놀로지를 어디에서 사용해야 하고 사용하지 말아야 하는지에 대한 문제일 뿐만 아니라, 테크놀로지가 어떻게 사용되는지, 그리고 테크놀로지의 사용이 개인의 삶에서 개인적 측면과 직업적 측면을 어떻게 모호하게 만들 수 있는지에 초점을 맞추고 있습니다. 대표적인 예로 학습자와 실무자의 소셜 미디어 사용을 들 수 있습니다. 페이스북이나 트위터와 같은 도구는 다른 사람들과 소통할 수 있는 비할 데 없는 능력을 제공하지만, 개인, 특히 전문가로서 비공개로 유지되어야 할 삶의 측면을 공개함으로써 실수를 범할 수 있는 수단을 제공하기도 합니다. 기밀 정보 공개, 잠재적으로 위험한 상황에 처한 자신 또는 타인의 이미지 공유, 비전문적인 의견과 의견 공유 등, 디지털 미디어를 전문적으로 사용하는 능력은 미래의 의사를 양성하는 데 있어 필수적인 요소가 되었습니다. 박스 10.2를 참조하십시오. 
Although devices are usually designed to be used by one person at a time, technology use is enacted in a social context; it is seen and interpreted by others according to circumstance. Learner and practitioner uses of technologies can therefore be seen as professional behaviours. Indeed, learner use of computers, tablets, and smartphones has been a focus of professionalism concerns reflected in debates over whether learners should be allowed or encouraged to use their devices in lectures or at the bedside. While the use of technology in lectures is now commonplace, learners’ use of digital technologies at the bedside is still a matter of contention. The intersections between TEL and professionalism can be considered as a matter of ‘digital professionalism’ [5]. This is not just about where technologies should and should not be used, it also focuses on how technologies are used and how the use of technologies can blur personal and professional aspects of individuals’ lives. A key example of this is learner and practitioner use of social media. Tools such as Facebook and Twitter afford an unparalleled ability to communicate with others, but they also create the means by which individuals can misstep by making aspects of their lives public, particularly as professionals, that should have been kept private. Whether concerned with disclosing confidential information, sharing images of oneself or others in potentially compromising situations, or sharing unprofessional opinions and comments, the ability to use digital media in a professional way has become part of the training of tomorrow’s doctors. See Box 10.2.

상자 10.2 중점 사항: 디지털 전문직업성
BOX 10.2 FOCUS ON: Digital professionalism

보건 전문직 학습자, 교사, 실무자는 디지털 테크놀로지 사용을 통해 새로운 기회와 위험에 노출됩니다.

• 기회에는 전문 네트워크를 형성하고 유지할 수 있는 능력과 필요에 따라 정보에 액세스하고 공유할 수 있는 능력이 포함됩니다.
• 위험에는 개인과 직업의 경계가 모호해지고 직업적 평판에 대한 위협에 더 많이 노출되는 것이 포함됩니다.

제도적 대응은 종종 테크놀로지 사용을 금지하거나 제한하는 것이었는데, 이는 테크놀로지 사용의 이점뿐만 아니라 위험도 제한합니다. 디지털 전문직업성은 의료 전문직업성 의 원칙에 기반하여 테크놀로지 사용을 보다 공평한 관점에서 바라봅니다: 
Health professional learners, teachers, and practitioners are exposed to new opportunities and risks through their use of digital technologies.

• Opportunities include the ability to form and sustain professional networks and the ability to access and share information on demand.
• Risks include a blurring of personal and professional boundaries and a greater exposure to threats to professional reputations.

The institutional response has often been to proscribe or limit the use of technologies, which limits the benefits of technology use as well as the risks. Digital professionalism builds on the principles of medical professionalism to frame technology use in a more equable light:

디지털 미디어는 의료 전문직업성에 대한 본질적인 위협이 아닙니다. 전문가는 환자 치료, 연민, 이타주의, 신뢰성의 원칙을 지지하는 방식으로 긍정적인 목적으로 디지털 미디어를 사용해야 합니다. 전문가는 디지털 미디어와의 관계가 형성되는 특성을 인식하고 신중하고 윤리적이며 책임감 있게 진료할 수 있는 역량을 유지해야 합니다. [5] 
Digital media are not an intrinsic threat to medical professionalism. Professionals should use digital media for positive purposes in ways that support principles of patient care, compassion, altruism, and trustworthiness. Professionals should be aware of the shaping nature of their relationships with digital media and they should maintain the capacity for deliberate, ethical, and accountable practice. [5]

디지털 전문직업성은 다음 사항에 주의를 기울여 가르치고, 모델링하고, 평가할 수 있습니다:

• 숙련도: 테크놀로지를 효과적이고 안전하며 책임감 있게 사용할 수 있는 능력.
  
• 평판: 자신의 행동과 다른 사람의 행동에 대한 대응을 통해 자신의 직업적 평판을 유지할 수 있는 능력.
  
• 책임감: 전문적으로 건전한 테크놀로지 사용 방법을 개발 및 유지하고, 다른 사람들에게 이를 가르치고, 모델링하고, 장려하는 능력입니다.

Digital professionalism can be taught, modelled, and assessed by attending to:

• Proficiency: the ability to use technologies effectively, safely, and responsibly.
• Reputation: the ability to maintain one’s professional reputation both through their own actions and in responding to the actions of others.
• Responsibility: developing and sustaining professionally sound ways of using technologies, and teaching, modelling, and encouraging this in others.

디지털 전문직업성은 우리가 고려해야 할 테크놀로지, 의료 교육 및 진료의 유일한 교차점은 아닙니다. 전자 의료 기록, 의료 영상 보관 및 통신 시스템(PACS), 처방전 및 주문 입력 시스템과 같은 디지털 테크놀로지가 점점 더 의료 행위를 매개하고 있으며, 이는 학습자가 디지털 환경에서 실습할 수 있도록 준비하는 것이 의학교육에서 점점 더 중요한 과제가 되고 있음을 의미합니다. 이러한 테크놀로지는 임상 의료행위뿐만 아니라 학습을 매개할 수 있으며, 이를 위해 '메시지로서 매개하는 테크놀로지'라고 부릅니다. [6] 의학교육에 대한 시사점은 이러한 테크놀로지를 학습을 매개하는 데 사용하는 스킬을 개발하는 것과 함께 이러한 테크놀로지를 사용하는 스킬을 개발해야 한다는 것입니다. 명확히 말하자면, 이는 운영자 테크놀로지를 개발하는 것이 아니라 임상 활동 및 워크플로우 내에서 디지털 도구와 정보를 사용하는 원리를 이해하는 것입니다. 상자 10.3을 참조하십시오.
Digital professionalism is not the only intersection of technology, medical education, and practice that we need to consider. Digital technologies such as electronic health records, picture archiving and communication systems (PACS), formularies, and order entry systems are increasingly mediating the practice of medicine, which means that preparing learners to practice in a digital environment is a growing issue for medical education. These technologies can mediate learning as well as clinical practice, and to that end, have called them ‘medium‐as‐message technologies’. [6] The implication for medical education is that developing skills in the use of these technologies needs to be combined with their use for mediating learning. To be clear, this is more than developing operator skills, but rather about understanding the principles of using digital tools and information within clinical activities and workflows. See Box 10.3.

이 섹션을 마무리하기 전에, 현대 학습자들이 모두 학습에 테크놀로지를 사용하는 데 열중한다는 널리 퍼진 가정에 대해 한 마디 주의를 기울일 필요가 있습니다. '넷 세대' 및 '디지털 네이티브'와 같은 용어는 디지털 시대의 학습자 및 학습의 본질적인 변화를 암시하기 위해 만들어졌습니다[8]. 그러나 학습자 자체에 큰 차이가 있다는 증거는 거의 없으며, 오히려 학습자와 교사 등 다른 사람들이 사용하는 테크놀로지의 변화로 인한 기회와 위험에 대한 증거가 더 많습니다. 특정 집단이나 학급에는 다양한 사람들이 존재한다는 것이 현실입니다.

• 학습을 위해 테크놀로지를 사용하고 탐구하는 데 관심이 있는 사람,
• 인쇄물이나 필기 자료와 같은 전통적인 미디어를 선호하는 사람,
• 일부 테크놀로지는 좋아하지만 다른 테크놀로지는 사용하지 않는 사람, 또는
• 학습에 사용하는 미디어에 무관심한 사람 등 

테크놀로지에 대한 학습자의 다양한 태도와 학습자가 다양한 테크놀로지를 다양하게 활용할 수 있다는 점을 고려해야 합니다. 
Before closing this section, it is important to add a word of caution regarding the widespread assumption that contemporary learners are all keen on using technology in their studies. Terms such as the ‘Net Generation’ and ‘digital natives’ have been coined to allude to some intrinsic change in the nature of learners and learning in the digital age [8]. There is, however, little evidence that there are significant differences in the learners themselves but rather in the opportunities and risks afforded by the changing range of technologies that they and others, such as their teachers, use. The reality is that, in any given cohort or class, there will be

• those who are interested in using and exploring technologies for learning,
• those who would rather use traditional media such as print and hand‐written resources, and
• many who like some technologies but prefer not to use others, or
• those who are indifferent to the media with which they are using to learn.

TEL practices need to encompass the diversity of learner attitudes to technology as well as the diverse uses they may make of different technologies.

교육용 테크놀로지
Technologies for Teaching

학습자가 여전히 학습을 하는 것과 마찬가지로 교사는 여전히 가르치는 사람입니다. 의료 교육에서 테크놀로지를 사용하는 것은 단순히 학습을 매개하는 것뿐만 아니라 가르침을 매개하는 것이기도 합니다. 예를 들어, 이제 

• 강의를 준비한다는 것은 파워포인트 프레젠테이션을 만드는 것을 의미하고, 
• 강의를 한다는 것은 일반적으로 파워포인트 슬라이드와 대화하거나 그 주변에서 이야기하는 것을 의미하며, 
• 강의실은 일반적으로 파워포인트 프레젠테이션을 보여주는 데 필요한 스크린과 데이터 프로젝터를 중심으로 구성되고, 
• 학습자는 강사의 파워포인트 슬라이드를 다운로드하고 검토하는 방식으로 후속 조치를 취합니다. 

따라서 PowerPoint(및 관련 테크놀로지)의 사용은 현대 강의와 관련된 많은 활동을 매개한다고 말할 수 있습니다.
In the same way that learners are still the ones doing the learning, teachers still teach. Using technologies in medical education is not just about mediating learning, it is also about mediating teaching. For example,

• preparing a lecture now means building a PowerPoint presentation,
• giving a lecture usually means talking to or around one’s PowerPoint slides,
• lecture theatres are typically configured around the screens and data projectors needed to show PowerPoint presentations, and
• learners follow up by downloading and reviewing their lecturers’ PowerPoint slides.

We can say therefore that the use of PowerPoint (and its associated technologies) mediates many of the activities associated with the contemporary lecture.

다양한 교수 활동은 다양한 방식으로 매개될 수 있습니다. 상자 10.1에 요약된 활동 유형을 기반으로 교수 활동 유형과 관련 매개 테크놀로지를 고려할 수 있습니다. 상자 10.4를 참조하세요.
Different teaching activities may be mediated in different ways. We can build on the activity types outlined in Box 10.1 to consider teaching activity types and their associated mediating technologies. See Box 10.4.

테크놀로지가 학습자의 학습을 대신하지는 않지만, 일부 테크놀로지는 교사의 교육 방식을 매개합니다. 예를 들어, 멀티미디어 교육 리소스나 YouTube 동영상을 사용하여 임상 절차를 수행하는 방법을 배우는 것은 인간 교사의 지시를 받는 것이 아니라 교사의 교육 방식을 매개합니다. 이는 TEL에 교사가 존재하지 않는다는 뜻이 아니라 교사가 TEL의 사용에 의하여 매개된다는 의미입니다. 따라서 우리는 TEL에서 가르침의 존재감이라는 개념을 고려할 수 있습니다. 최소한의 중재에서 완전한 중재에 이르는 교사 존재감의 연속체를 다음과 같이 고려할 수 있습니다:
Although technologies do not do the learning for learners, some technologies mediate how teachers teach, for instance using a multimedia teaching resource or a YouTube video to learn how to execute a clinical procedure rather than being instructed by a human teacher. This is not to say that there is no teacher present in TEL, only that the teacher is mediated by the use of TEL. We can therefore consider the concept of teaching presence in TEL. We can consider a continuum of teacher presence from minimally mediated to fully mediated as follows:

• 최소한의 중재: 디지털 테크놀로지는 교사와의 구체화된 상호작용을 보강합니다. 예를 들어, 문제 기반 학습 그룹의 학습자는 온라인에서 자료를 조사하고 참조하여 대면 토론을 촉진하는 데 기여할 수 있습니다.
  • Minimal mediation: digital technologies augment embodied interactions with teachers. For instance, learners in a problem‐based learning group may research and reference materials online to contribute to their facilitated in‐person discussions.
• 동기식 중재: 교사는 학습자와 함께 참여하지는 않지만 하나 이상의 테크놀로지를 사용하여 학습자와 상호 작용합니다. 예를 들어, 교사가 웹 세미나 또는 대규모 공개 온라인 코스(MOOC)에서 그룹에 프레젠테이션을 하고 모든 참가자가 컴퓨터를 통해 상호 작용하는 경우를 들 수 있습니다. 원격 회의, 웹 회의, 가상 세계와 같은 다양한 테크놀로지를 통해 동기식 중재를 다양하게 활용할 수 있습니다.
  • Synchronous mediation: the teacher is not co‐present with their learners but interacts with them using one or more technologies. For instance, a teacher presenting to a group in a webinar or massive open online course (MOOC) with all participants interacting through their computers. A range of technologies, such as teleconferencing, web‐conferencing, and virtual worlds, can all afford variations on synchronous mediation.
• 비동기식 중재: 교사가 학습자와 상호 작용하지만 실시간은 아닙니다. 예를 들어, 교사가 토론 게시판이나 공유 블로그를 사용하여 전문성 개발의 개념적 문제에 대해 토론하는 경우입니다. 토론 게시판, 이메일, 소셜 미디어, 위키 및 블로그와 같은 테크놀로지는 모두 비동기식 중재를 다양하게 활용할 수 있습니다.
  • Asynchronous mediation: the teacher interacts with their learners but not in real time. For instance, a teacher uses a discussion board or a shared blog to discuss conceptual issues in professional development. Technologies such as discussion boards, email, social media, wikis, and blogs can all afford variations on asynchronous mediation.
• 완전 중재: 교사와 학습자 간의 상호작용이 테크놀로지와 학습자 간의 상호작용으로 대체되는 경우로, 학습자가 비디오를 보거나 멀티미디어 교육 패키지를 사용하거나 온라인 교과서를 사용하는 경우를 예로 들 수 있습니다. 이 경우 교사(또는 적어도 교사 한 명)는 학습자가 사용하는 자료의 디자인에 대한 지침을 기록해 두었습니다. 학습자가 교사와 직접 상호작용할 수 없다는 점을 고려할 때, 이러한 자료의 교육적 유용성은 부분적으로 이러한 테크놀로지에 내장된 교육적 상호 작용에 달려 있습니다. TEL의 맥락에서 상호 작용은 상호 작용할 대상이 있느냐의 문제가 아니라 학습자가 중개된 교수자 존재와 상호 작용할 수 있는 방법의 문제입니다.
  • Full mediation: interactions between a teacher and their learners are replaced by interactions between technologies and learners; for example learners view videos, use multimedia teaching packages, or even online textbooks. In this case the teacher (or at least a teacher) has recorded their instruction in the design of the materials the learners use. Given that the learners cannot interact directly with a teacher, the instructional utility of these materials is in part dependent on the instructional interactivity built in to these technologies. Interactivity in the context of TEL is not so much a matter of having things to interact with but rather how learners can interact with a mediated teaching presence.

교육에 사용되는 일부 형태의 테크놀로지는 타사 온라인 참고 자료를 사용하여 사실을 검색하는 것과 같이 상당히 자연스럽게 배포할 수 있지만, 대부분의 경우 효과적이기 위해서는 신중한 설계와 구성이 필요합니다. 따라서 '디자인'은 교육에 테크놀로지를 사용하는 데 있어 핵심적인 문제입니다. 교육용 테크놀로지 사용에는 설계가 필요한 다양한 측면이 있습니다.

• 콘텐츠(프레젠테이션, 강의 자료),
• 활동(시뮬레이션, 시나리오, 실습),
• 커뮤니케이션(토론, 협업),
• 교육 및 지원(가이드 및 매뉴얼) 등 

Some forms of technology used for teaching can be deployed fairly spontaneously (such as looking up facts using third‐party online reference materials), but most need careful design and configuration to be effective. ‘Design’ then is a key issue in using technologies for teaching. There are many different aspects of technology use for teaching that need to be designed:

• content (presentations, course materials),
• activities (simulations, scenarios, labs),
• communication (discussion, collaboration), and
• training and support (guides and manuals).

의료 교사가 이러한 설계 작업을 직접 수행할 수도 있지만, 학교에서는 교사의 설계 활동을 지원하기 위해 교육 디자이너를 전문가로 고용하는 경우가 많습니다. 교수 설계에 관한 풍부한 문헌[9, 10]이 있어 교사가 수업에서 테크놀로지를 사용하는 데 도움이 됩니다. 예를 들어, Mayer의 '멀티미디어 원칙'은 테크놀로지 매개 교육 자료 설계를 위한 증거 기반 지침을 제시합니다(상자 10.5)[11]. 교육 설계에 영향을 주는 다른 관련 교육 원칙은 이 책의 다른 곳에서 논의됩니다(예: 6장). 
Although medical teachers may undertake these design tasks themselves, schools often engage instructional designers as specialists to support teachers in their design activities. There is a rich literature on instructional design [9, 10] to support teachers in using technology in their teaching. For instance, Mayer’s ‘multimedia principles’ sets out evidence‐based guidance for designing technology‐mediated teaching materials (Box 10.5) [11]. Other relevant educational principles informing instructional design are discussed elsewhere in this book (e.g. Chapter 6).

테크놀로지 매개 교육 활동의 설계에 정보를 제공하는 데 사용할 수 있는 강력한 연역적 원칙이 있지만, 교육을 지원하는 테크놀로지 설계 및 사용의 대부분은 교사가 사용할 수 있는 테크놀로지와 같이 교사가 직면하는 실질적인 제약에 의해 형성됩니다. 예를 들어, 대학과 의과 대학에서는 교수자가 사용해야 하는 Blackboard 또는 Moodle과 같은 단일 교육기관용 온라인 학습 플랫폼이 있는 것이 일반적입니다. 보다 유연한 태도를 가진 학교의 경우에도 여러 시스템을 지원하는 프로그램에 대한 비용 및 기타 위험은 지속 불가능한 것으로 판명될 수 있습니다. 교육 디자이너와 함께 일하든 아니든, 의료 교사는 교육에 대해 다음을 알아야 합니다[12]. 

• 어떤 테크놀로지를 사용할 수 있고 사용해야 하는지,
• 어떤 테크놀로지를 사용할 수 있는지,
• 어떤 테크놀로지가 예상되는 특정 상황에서 가장 효과적일지,
• 테크놀로지를 어떻게 구성하고 제시해야 하는지 

또한 현지의 테크놀로지 사용 문화(허용되는 테크놀로지 사용과 허용되지 않는 테크놀로지 사용 등)와 참가자의 역량(경험 정도, 사용할 수 있는 도구 및 장치 등)을 이해해야 합니다.  
Although there are robust deductive principles that can be used to inform the design of technology‐mediated teaching activities, much of the design and use of technology in support of teaching is shaped by the practical constraints that teachers face, such as what technologies are available to them. For instance, it is common for universities and medical schools to have single institutional elearning platforms, such as Blackboard or Moodle, which instructors are required to use. Even for schools with a more flexible posture, the costs and other risks for a programme supporting multiple systems will likely to prove unsustainable. Whether or not they are working with instructional designers, medical teachers need to know

• what technologies can and should be used in their teaching,
• what technologies are available to them,
• what technologies would work best in the particular situation envisaged, and
• how the technology should be configured and presented [12].

They should also appreciate the local culture of technology use (what technology use is and is not acceptable or popular, etc.), and the capabilities of the participants (how experienced they are, what tools and devices they have available to them, etc.).

분명히 의학 교육에 테크놀로지를 사용하는 것은 풍부하고 때로는 복잡한 작업이 될 수 있으며, 이러한 복잡성은 일부 교사에게는 흥미를 유발하고 다른 교사에게는 불쾌감을 줄 수 있습니다. 학습자와 마찬가지로, 특정 교사 그룹에는 다양한 교사 가 있을 수 있습니다. 

• 다양한 테크놀로지를 사용하고 싶어 하는 교사,
• 어떤 종류의 테크놀로지도 사용하는 것을 좋아하지 않는 교사,
• 어떤 테크놀로지는 좋아하지만 다른 테크놀로지는 사용하지 않는 교사

테크놀로지 사용과 관련하여 교사와 학습자의 선호도를 일치시키는 것은 협상하기 어려울 수 있으며, 특정 의료 교육 활동에서 테크놀로지 사용의 정도를 어느 정도 유연하게 조정하는 것이 바람직합니다. 
Clearly the use of technologies for teaching in medicine can be a rich and at times complex undertaking, and this complexity may be intriguing to some teachers and off‐putting to others. As with learners, for any given group of teachers there are likely to be

• those who are keen to use different technologies,
• those who do not like using technologies of any kind, and
• those who like using some technologies but not others.

Matching teacher and learner preferences as regards technology use can be difficult to negotiate and some flexibility in how much technology use is involved in any given medical education activity is advisable.

평가를 위한 테크놀로지
Technologies for Assessment

학습 및 교수를 위한 테크놀로지를 살펴보았으므로 이제 평가를 위한 테크놀로지를 살펴보겠습니다. 일반적인 평가와 마찬가지로 학습자 관점에서의 테크놀로지 사용은 형성적 평가와 총괄적 평가로 구분되는 경향이 있습니다. 
Having considered technologies for learning and teaching, we turn now to technologies for assessment. As with assessment in general, uses of technologies from a learner point of view tend to fall into formative and summative.

형성 평가 목적의 테크놀로지 사용은 온라인 시험, 퀴즈 및 현재 지식을 측정하고 격차나 약점을 파악하는 기타 방법에 중점을 두는 경향이 있습니다. 이러한 시험은 독립형 시험(예: 스마트폰용 시험 준비 앱)일 수도 있고 멀티미디어 교재에 포함될 수도 있습니다. 어느 쪽이든 테크놀로지를 통해 시험을 출제, 자동화 및 채점할 수 있지만, 문제나 시험의 가치는 여전히 좋은 평가 자료를 작성하는 교사의 스킬에 달려 있습니다. 테크놀로지가 형성 평가를 매개할 수는 있지만 그 자체로 더 나은 평가가 되는 것은 아닙니다. 
Formative uses of technology tend to focus on online tests, quizzes, and other ways of gauging current knowledge and identifying gaps or weaknesses. These may be standalone tests (such as exam preparation Apps for smartphones) or they may be embedded in multimedia teaching materials. Either way, although technologies allow for the presentation, automation, and scoring of tests, the value of a question or test still depends on teachers’ skills in writing good assessment materials: technologies can mediate formative assessments but they do not in and of themselves make for better assessment.

총괄 평가 목적으로 테크놀로지를 사용하는 예로는 종이 기반 형식이 아닌 온라인으로 시험을 출제하거나 지속적인 의료 교육 활동에 대한 보고(예: 일종의 e-포트폴리오 시스템 사용)가 있습니다. 
Uses of technology for summative assessment purposes include presenting exams online (rather than in a paper‐based format), and reporting on continuing medical education activities (such as using some kind of e‐portfolio system).

평가 테크놀로지 자체는 형성형 또는 총괄형 프로세스를 지원하도록 설계될 수 있지만, 많은 평가 테크놀로지가 두 가지 용도로 모두 사용될 수 있습니다. 질문은 질문이고, 시험은 시험이며, 포트폴리오는 포트폴리오입니다. 차이를 만드는 것은 의도와 관련된 절차적 엄격성입니다. 총점 평가 목적의 테크놀로지, 특히 고부담 평가 활동을 위한 테크놀로지는 더 높은 수준의 접근 제어 및 보안과 더 큰 로딩 용량이 필요합니다. 감독(감독) 컴퓨터 매개 고부담 시험은 부정행위와 허위 진술로부터 안전해야 하며 동시 대량 시스템 액세스를 처리할 수 있어야 합니다.
Assessment technologies themselves may be designed to support either formative or summative processes but many of them can be used for both purposes. A question is a question, a test is a test, and a portfolio is a portfolio: it is the intent and the procedural rigour involved that makes the difference. Technologies for summative assessment purposes, particularly for high stakes assessment activities, need higher levels of access control and security, and greater loading capacity: a proctored (supervised) computer‐ mediated high stakes examination must be secure against cheating and misrepresentation and be able to handle simultaneous mass system access.

테크놀로지는 형성적 평가와 총괄적 평가 활동을 중재하는 데 유용할 수 있지만, 평가를 지원하는 테크놀로지 사용은 평가 관리 및 배포, 평가 데이터 분석과 관련된 물류 및 워크플로우에 가장 큰 영향을 미쳤으며 가장 많이 활용되고 있습니다. 예를 들어, 전 세계 의과대학에서는 대량의 문제를 관리하고 평가해야 하는 프로그램 때문에 평가 구축 및 관리를 위한 온라인 시스템(예: ExamSoft 및 Respondus)을 사용하는 것이 점점 더 보편화되고 있습니다. 이러한 시스템의 데이터베이스에서 제공하는 문제 은행은 시험 시행 전에 문제를 조합하고 다듬을 수 있으며, 이전 문제 사용 내역과 성과 지표를 추적하여 시험 설계자가 시험을 조합하는 데 도움을 줍니다. 또한 이러한 시스템은 종이 기반 시스템보다 훨씬 빠르게 시험에서 학습자의 성과를 처리하고 보고할 수 있습니다. 그러나 이러한 시스템이 모든 형태의 평가를 지원하는 데에는 한계가 있습니다. 예를 들어, 이러한 시스템은 에세이나 장답형 시험 문제와 같은 서술형 답안을 처리하는 데는 한계가 있으며, 객관식 문제나 응답 그리드(OSCE의 평가자 양식 등)와 같은 표 형식 또는 구조화된 답안을 처리하는 데는 강점이 있습니다. 따라서 테크놀로지가 평가 프로세스를 중재하고 지원하는 역할을 할 수 있지만, 의학교육을 지원하는 강력한 평가를 제공하기 위해서는 여전히 교수진 및 평가에 관련된 다른 사람들의 핵심 스킬과 역할이 필수적입니다. 
As much as technologies can be useful in mediating formative and summative assessment activities, technology use in support of assessment has arguably had the greatest uptake and the greatest impact on the logistics and workflows associated with managing and deploying assessments, and analysing assessment data. For instance, the use of online systems for building and managing assessments (such as ExamSoft and Respondus) is increasingly common in medical schools around the world, not least because programmes have to manage and evaluate large quantities of questions. The question banks that databases in these systems offer, from which exams can be assembled and refined before delivery, track previous uses of questions and their performance metrics to support exam designers’ in assembling exams. These systems can often also process and report on learner performance in exams much faster than paper‐based systems can. However, there are also limitations to the ability of these systems to support all forms of assessment. For instance, these systems tend to be limited in their ability to deal with written answers (such as essays or long‐answer test questions), their strength is in handling tabulated or structured responses such as multiple‐ choice questions or response grids (such as assessor forms in OSCEs). Thus, while technologies can play a role in mediating and supporting assessment processes, the core skills and roles of faculty and others involved in assessment are still an essential part of delivering robust assessments in support of medical education.

평가 중재는 학습자의 시험 결과를 손상시킬 수 있는 인공물을 도입할 수도 있습니다. 예를 들어, 테크놀로지 사용 경험이 많은 학습자(예: 컴퓨터 사용 또는 화면상의 물체 조작 능력)에게 유리한 시험이 있다면, 시험은 어느 정도 이러한 능력을 측정하고 보고할 것입니다. 학습자의 테크놀로지 사용 태도와 능력을 완전히 균질화normalize하는 것은 비현실적이므로, 테크놀로지 매개 시험 및 평가는 테크놀로지 매개로 인해 발생하는 인공물이 평가 프로세스 및 데이터에 침입하는 것을 최소화하도록 설계되어야 합니다. 
Mediation of assessment can also introduce artefacts that can compromise the results of testing learners. For instance, if a test favours learners with more experience using technology (such as being able to use a computer or to manipulate onscreen objects) then the test will to some extent measure and report on this ability. Given that complete normalisation of learner attitudes and capabilities in using technology is unrealistic, technology‐mediated tests and assessments should be designed to minimalise the intrusion of artefacts arising from technology‐mediation in to assessment processes and data.

효과적인 평가 설계의 원칙은 제20장 및 제18장에서 고려한 전자 포트폴리오 관련 문제에 설명되어 있지만, 테크놀로지 활용 평가(TEA)의 일반적인 사용과 관련하여 Amin 등[13]이 유용한 지침을 제공합니다(상자 10.6).
Principles of effective assessment design are described in Chapter 20 and issues concerning e‐portfolios considered in Chapter 18, but in relation to the general use of technology‐enabled assessment (TEA), Amin et al. [13] provide helpful guidance (Box 10.6).

상자 10.6 사용 방법: 테크놀로지 지원 평가 사용
BOX 10.6 HOW TO: Use technology‐enabled assessment

테크놀로지 지원 평가(TEA) 사용 지침[13].
Guidelines for the use of technology‐enabled assessment (TEA) [13].

• TEA의 참신성에도 불구하고 여전히 강력한 일반 평가 원칙을 따라야 한다.
  
• 학교는 분명한 이점이 있는 경우에만 TEA를 사용해야 합니다.
  
• 학교는 특히 중요한 목적을 위해 TEA를 사용할 때 강점, 약점, 기회 및 위협을 평가해야 합니다.
  
• TEA를 위한 테크놀로지는 프로그램 수준의 평가 시스템 및 관행에 통합되어야 합니다.
  
• TEA에는 특별한 테크놀로지 및 평가 전문 지식이 필요하며, 이는 프로그램 내에서 구축되고 유지되어야 합니다.
  
• 시험 개발자는 TEA의 타당성, 특히 측정되는 구성 요소의 타당성을 보장해야 합니다.
• Despite the novelty of TEA, it is still dependent on robust general assessment principles.
• Schools should only use TEA where it confers a clear advantage.
• Schools should appraise the strengths, weaknesses, opportunities, and threats of using TEA, particularly for highstakes purposes.
• Technologies for TEA should be integrated within programme‐level assessment systems and practices.
• TEA requires particular technical and assessment expertise, which should be built and sustained within the programme.
• Test developers should ensure the validity of TEA, in particular the constructs being measured.

의학교육 관리를 위한 테크놀로지
Technologies for Managing Medical Education

평가 테크놀로지의 많은 가치가 평가 프로세스의 관리에서 찾을 수 있다는 관찰을 바탕으로, 의학교육에서 테크놀로지의 마지막 주요 적용 분야는 의학교육 시스템(프로그램, 코스 등) 지원, 일반적으로 시스템 내 활동을 관리, 추적 및 보고하는 역할에 사용되는 테크놀로지입니다. 다른 정보 관리 시스템과 마찬가지로 그 가치는 종종 규모의 경제에 따라 달라집니다. 단기간에 걸쳐 소수의 학습자의 진도를 추적하는 것은 직접적인 상호작용과 관찰을 통해 더 잘 이루어질 수 있지만, 다년간의 학습 프로그램에 걸쳐 수백 명의 학습자의 진도를 추적하려면 강력한 정보 추적 및 관리 시스템이 필요합니다. 이제 학습 프로그램에서는 온라인 지원 시스템으로 가상 학습 환경(VLE)이라고도 하는 학습 관리 시스템을 사용하는 것이 일반적인 관행이 되었습니다. 이러한 시스템은 일반적인 시스템(예: Moodle 및 Blackboard)과 의학 전용 시스템(예: Entrada) 모두 학습자, 교사 및 프로그램 관리자를 위한 통합된 도구를 제공합니다. 이러한 시스템은 일반적으로 학습자와 교사가 시스템에서 수행한 작업을 모니터링, 추적, 기록 및 보고하기 위한 도구를 제공하므로 이러한 시스템을 사용하여 가장 큰 이점을 얻을 수 있는 그룹은 후자의 그룹입니다. 따라서 활동 로깅은 이러한 도구의 핵심 기능입니다. 일부 활동 로그는 로그인, 파일 다운로드 또는 토론 게시판 참여와 같이 자동으로 생성되는 반면, 다른 활동 로그는 보다 명시적으로 활동을 추적하고 보고하기 위한 것입니다(예: 임상 만남 추적). 
Building on the observation that much of the value of assessment technologies is to be found in the management of assessment processes, the last major area of application for technologies in medical education we will consider is their use in support of systems of medical education (programmes, courses, etc.), typically in the role of managing, tracking, and reporting on activities within those systems. As with any other information management system, their value often depends on economies of scale. While tracking the progress of a few learners over a short period of time may be better done through direct interaction and observation, tracking the progress of hundreds of learners over multi‐year programmes of study requires robust information tracking and management systems. It is now common practice for programmes of study to make use of learning management systems, also sometimes called Virtual Learning Environments (VLEs), as an online support system. These systems, both generic (e.g. Moodle and Blackboard) and medicine specific (e.g. Entrada), provide an integrated array of tools for learners, teachers, and programme managers. It is the latter group who may benefit the most from using these systems as these systems usually provide tools for monitoring, tracking, recording, and reporting on what learners and teachers have done in the system. Activity logging is therefore a key function of these tools. Some activity logs are generated automatically (such as logins, downloading files, or contributing to discussion boards) while others are more explicitly about tracking and reporting on activity (such as clinical encounter tracking).

로그 데이터는 그 자체로는 내재적 가치가 없으며, 이를 분석하고 이 분석을 통해 결론과 추론을 도출해야만 유용하게 사용할 수 있습니다. 이를 위해 학습 분석은 고등 교육과 의학 교육에서 점점 더 많은 관심을 받고 있는 분야입니다. 예를 들어, 역량 기반 의학교육(CBME)의 채택은 부분적으로 종단적 연속 평가와 개별 학습자의 진행 상황을 예상되는 발달 이정표와 비교하는 것을 기반으로 하며, 이 두 가지 모두 온라인 추적 및 보고의 이점을 누릴 수 있고 실제로 필요할 수 있습니다. 마찬가지로, 평생 의료 교육 및 역량 유지 프로그램도 데이터의 양과 관련된 개인의 수를 고려할 때 통합 시스템이 필요합니다. 
Log data has no intrinsic value in and of itself, it needs to be analysed and conclusions and inferences drawn from this analysis for it to become useful. To this end, learning analytics is a growing area of interest in higher education and in medical education. For instance, the adoption of competency‐based medical education (CBME) is in part based on longitudinal continuous assessment and the comparison of individual learner progress with expected developmental milestones, both of which can benefit from, and may indeed require, online tracking and reporting. Similarly, continuing medical education and maintenance of competence programmes also require integrated systems given the quantities of data and number of individuals involved.

그러나 러닝 애널리틱스에는 여러 가지 과제와 한계가 있으며, 그 중 가장 중요한 것은 수집할 수 있는 데이터와 이러한 데이터가 무엇을 나타내는가 하는 점입니다.

• 전자 시스템은 주로 마우스 클릭(또는 트랙패드 탭) 및 키 누름과 같이 시스템 내에서 수행된 전자 이벤트만 기록할 수 있습니다.
• 이러한 이벤트는 일반적으로 다음과 연관됩니다.
  • 특정 사람(사용자),
  • 특정 컨텍스트(이 페이지 또는 이 시스템 내),
  • 특정 날짜 및 시간
• 이러한 시스템에서는 다음은 기록하지 않습니다.
  • 이벤트가 발생한 이유,
  • 시스템상의 신원이 실제로 이벤트를 일으킨 개인과 동일한지 여부,
  • 해당 이벤트가 해당 개인에게 미친 영향(예: 해당 이벤트의 결과로 학습한 내용)
• 사용자가 페이지를 로드하고 다음 페이지로 이동하기까지의 시간과 같은 측정값은 사용자가 자료를 읽었는지 또는 숙고했는지 여부를 반영할 수 있지만, 사용자가 동시에 다른 일을 하고 있었는지 또는 학습의 질과 관련이 없는 다른 많은 요인에 따라 달라질 수도 있습니다[14].

However, learning analytics does have a number of challenges and limitations, not least of which are what data can be collected and what these data represent.

• Electronic systems can only record electronic events undertaken within them, primarily mouse clicks (or trackpad taps), and keypresses.
• These are usually associated with
  • a particular person (user),
  • particular context (on this page or in this system), and
  • a particular date and time.
• These systems do not record
  • why the event took place,
  • whether the identity of the person in the system is the same as the individual actually causing the events, or
  • what impact those events had on that individual (such as what they learned as a result of this event.
• Measures such as the time between a user loading a page and moving to the next page may reflect whether or not they read or reflected on the material, but they could also depend on whether the user was doing something else at the same time, or many other factors not associated with the quality of learning [14].

학습 분석의 유용성은 기록할 수 있는 이벤트와 해당 이벤트가 의미하는 의미의 정확성에 의해 제한됩니다. 또한 의료 교육 시스템은 학습자의 행동뿐만 아니라 교사의 행동도 추적하는 데 사용될 수 있다는 점에 유의해야 합니다. 모든 사용자를 관찰하고 면밀히 조사하여 그들에 대한 가치 판단을 유추할 수 있는 이러한 파놉틱 기능은 (종종 관련자가 이러한 조사를 인지하지 못한 채) 윤리적 및 숨겨진 커리큘럼에 미치는 영향을 신중하게 고려해야 합니다[15]. 
The utility of learning analytics is limited by the events that can be recorded and the semantic precision of what those events mean. It should also be noted that medical education systems may be used to track teacher behaviours as well as those of their learners. This panoptic ability to observe and scrutinise all users and to infer value judgments about them (often without the individuals concerned being aware of this scrutiny) requires careful consideration of the ethical and hidden curriculum implications of doing so [15].

규모의 경제 원칙은 커리큘럼 매핑 도구 및 시스템의 사용으로 예시되는 교육 프로그램 관리에 테크놀로지가 사용되는 방식에도 반영됩니다. 커리큘럼 매핑에 대한 표준 접근 방식은 없지만, 모든 세션, 목표, 시험, 결과 및 기타 커리큘럼 구성 요소에 대한 포괄적이고 질문 가능한 데이터베이스는 의학교육 커리큘럼을 관리, 수정 및 보고하는 데 귀중한 자산이 될 수 있습니다. 평가 및 연구를 위해 커리큘럼 맵을 집계하고 비교할 수 있다면 더 많은 이점이 발생할 수 있습니다[16]. 그러나 일반적으로 커리큘럼 매핑 데이터베이스를 설정하고 유지하는 데 필요한 시간과 노력으로 인해 의과대학에서 이러한 종류의 도구를 사용하는 데 한계가 있는 경향이 있습니다. 실제로 경제성과 투자 수익률은 의학교육 시스템 관리를 위한 테크놀로지 사용에 있어 중요한 제한 요소입니다. 
The principle of economies of scale also reflects how technologies are used in managing educational programmes, exemplified by the use of curriculum mapping tools and systems. Although there is no standard approach to curriculum mapping, a comprehensive and interrogatable database of all the sessions, objectives, tests, outcomes, and other curriculum components can be an invaluable asset in managing, revising, and reporting on medical education curricula. Further benefits can accrue when curriculum maps can be aggregated and compared in the interests of evaluation and research [16]. However, the time and effort typically required to set up and maintain curriculum mapping databases tends to limit medical schools’ commitment to using tools of this kind. Indeed, economics and return on investment is a critical limiting factor in the use of technologies for managing medical education systems.

교육용 보철물로서의 테크놀로지
Technologies as Educational Prostheses

주로 의료 교육 활동의 매개체로서 테크놀로지를 고려했다면, 저는 테크놀로지를 '교육적 보철물'로도 생각해보고 싶습니다. 이는 테크놀로지를 활용한 의학교육의 활용과 관련하여 중요한 역설 중 하나를 제기하는데, 가장 효과적인 교육 및 학습 접근 방식에는 일반적으로 매개 테크놀로지가 거의 포함되지 않는다는 것입니다. 실제로 교실과 병상 모두에서 교사와 학습자 간의 일대일 대면 상호작용은 양쪽 모두 경험할 수 있는 가장 효과적이고 가치 있는 상호작용입니다. 이러한 상호작용을 테크놀로지를 통해 다시 중재하는 것은 종종 친밀감과 즉각성을 떨어뜨리는 결과를 낳습니다. TEL을 사용하는 것이 최적의 개별 교육 접근 방식인 경우는 거의 없습니다. 그러나 상황이 항상 최적인 것은 아니며, 테크놀로지는 차선책으로 최적의 조건을 보완하는 보조 수단으로 사용될 수 있습니다. 
Having primarily considered technology as a medium for medical education activities, I would also like to consider technologies as ‘educational prostheses’. This raises one of the key paradoxes around the use of technologyenhanced medical education, which is that approaches to teaching and learning that work best typically involve little mediating technology. Indeed, one‐to‐one in-person interactions between teachers and learners, both in the classroom and at the bedside are some of the most effective and valuable either party can experience. To re-mediate these interactions through technology is often to diminish their intimacy and immediacy. Using TEL is rarely the optimal individual instructional approach to take. But circumstances are rarely optimal, and technologies can work as prostheses to compensate for suboptimal conditions.

테크놀로지는 학습자를 대신하여 학습하지는 않지만, 다음을 통해 학습을 강화할 수 있습니다.

• 학습자가 지식을 찾고, 기록하고, 조직화하고, 구조화하고, 기억하도록 돕고,
• 사물을 상기시키고, 시간을 정리하도록 돕고,
• 다른 사람과 연결시켜주고,
• 학습을 연습하고, 테스트하고, 분석하고, 보고하도록 도와줌으로써 

따라서 테크놀로지는 학습자가 학습하고 주변 세계와 상호 작용하는 방식을 확장하고, 구조화하고, 지원하는 학습 보철물로 기능할 수 있습니다.
Although technologies do not learn for learners, they can augment learning

• by helping them to find, record, organise, structure, and recall knowledge,
• by reminding them of things and helping to organise their time,
• by connecting them with others, and
• by helping them to rehearse, test, analyse, and report on their learning.

Technologies can therefore function as learning prostheses; they can extend, structure, and support the ways in which learners learn and interact with the world around them.

또한 테크놀로지는 교사가 기록, 정리, 구조화, 기억, 상기, 연결, 찾기, 리허설, 테스트, 분석, 보고를 할 수 있도록 지원함으로써 교수 보조 도구의 역할을 할 수 있습니다. 디지털 테크놀로지가 우리의 행동과 상호작용 방식을 보강할 수 있는 몇 가지 방법은 상자 10.7에 나와 있습니다. 
Technologies can also act as teaching prostheses by helping teachers to record, organise, structure, remember, remind, connect, find, rehearse, test, analyse, and report on their teaching. Some of the ways in which digital technologies can augment the way we act and interact are set out in Box 10.7.

박스 10.7 디지털 테크놀로지의 보조적 특성
BOX 10.7 Prosthetic properties of digital technologies

디지털 테크놀로지를 통해 교육과 학습을 강화할 수 있습니다:
Digital technologies can be used to augment teaching and learning through:

• 시간과 노력을 절약할 수 있습니다: 사용자가 작업을 기억하고, 반복하고, 찾고, 기록하고, 정리할 수 있도록 돕고, 다른 사람이나 새로운 사건에 행동하고 대응하는 속도를 가속화하여 
• 물리적 한계를 뛰어넘을 수 있도록 지원합니다: 사용자가 데이터 집합 시각화와 같이 규모가 크거나(데이터 집합 시각화), 서로 다른 장소에 있는 사람들이 함께 작업할 수 있도록 하여 지리적 한계를 극복하거나, 비동기적으로 함께 작업할 수 있도록 하여 시간적 한계를 극복하는 등 
• 다른 사람들과 조직하고 연결합니다: 사용자가 자료와 생각을 만들고, 방송하고, 공유하고, 댓글을 달고, 특정 아이디어와 입장을 지지하거나 반대하는 토론, 논쟁, 도전, 로비를 할 수 있도록 지원함으로써 
• 사회적 관습을 변화, 모호화 또는 평탄화합니다: 대면 상호작용을 형성하는 사회 구조가 사용자의 능력을 저해하는 방식으로 행동하고 상호작용할 수 있도록 지원함으로써 
• 개인과 개인의 행동에 대한 가시성과 책임성을 높입니다: 사용자가 자신 또는 타인의 행동과 말을 면밀히 조사하고, 기록하고, 추적할 수 있도록 지원함으로써 
• Saving time and effort
  • by helping their users to remember, repeat, find, record, and organise their work, and by accelerating the speed at which they can act and respond to others or emerging events.
• Going beyond physical limitations
  • by helping their users to interact with things that are big (such as visualising datasets), far (such as defeating geography by allowing individuals in different places to work together), or time shifted (such as defeating temporality by allowing individuals to work together asynchronously).
• Organising and connecting with others
  • by helping users to create, broadcast, share, and comment on materials and thoughts, and to discuss, debate, challenge, or lobby for or against particular ideas and positions.
• Changing, blurring, or flattening social conventions
  • by helping their users to act and interact in ways where social structures that shape face to face interactions would have inhibited their ability to do so.
• Heightening the visibility and accountability of individuals and their actions
  • by helping their users to scrutinise, record, and track what they or others do and say.

보철 테크놀로지를 통해 일상적인 의료 교육에서 직면하는 많은 실질적인 한계를 해결할 수 있습니다. 이러한 방식으로 '규칙'을 바꾸면 특정 이점을 얻을 수 있지만, 테크놀로지 중재는 중재 활동에 대한 인식과 가치관도 변화시키는 경향이 있습니다. 고든 그레이엄은 다음과 같이 말했습니다: 

• '테크놀로지 혁신은 단순히 미리 선택된 목적을 위한 개선된 수단으로만 간주될 수 없으며, 일부 테크놀로지는 단순히 수정하는 반면 다른 테크놀로지는 변화시키기 때문입니다'[17, 168쪽]. 

Prosthetic technologies allow us to work around many of the practical limitations we face in day‐to‐day medical education practice. Changing the ‘rules’ in this way may confer certain advantages, but technology mediation tends also to shift perceptions and values around the mediated activities. As Gordon Graham observed:

• ‘technological innovation cannot and should not be regarded merely as an improved means to a pre‐selected end, because, while some technology merely modifies, other technology transforms’ [17, p. 168].

테크놀로지적 중재를 통한 증강은 종종 일련의 트레이드오프와 가치관의 변화를 수반합니다. 예를 들어, 

• 온라인 토론 게시판의 사용은 학습자 간, 교사-학습자 간 상호작용이 영구적으로 기록된다는 것을 의미하며, 이는 다시 말해 온라인 토론 게시판이 등장하기 전에는 의학교육에서 불가능했던 평가 및 평가 목적의 데이터로 활용될 수 있다는 것을 의미합니다.
• 마찬가지로, 교사와 학습자의 상호작용이 다양한 방식으로 매개될 수 있게 되면서 이전에는 의료 전문가 교육에 적용되지 않았던 것에 대해 생각하기 시작했습니다.
  
  • 존재의 경제(온라인 상호작용이 아닌 대면 상호작용의 가치)와 
  • 주의의 경제(학습자 또는 교사의 주의를 끌고 유지하는 능력)

Augmentation through technological mediation often involves a series of trade‐offs and a shifting of values. For instance, the use of online discussion boards means that intra‐learner and teacher–learner interactions are now permanently recorded, which in turn means that they can be used as data for evaluation and assessment purposes, something that had no place in medical education until it became possible. Similarly, when teacher and learner interactions can be mediated in many different ways we begin to think about economies of presence (the value of, say, face‐to‐face as opposed to online interactions) and economies of attention (the ability to attract and retain learner or teacher attention) in ways that previously had no place in the training of health professionals.

의학교육에서의 TEL 평가 및 연구
Evaluating and Researching TEL in Medical Education

의학교육의 모든 측면과 마찬가지로 효율적이고 효과적인 실습은 강력한 연구 및 평가 근거에 기반해야 합니다. 의학교육에서 테크놀로지 사용에 대한 연구가 부족하지는 않지만, 근거의 질과 그 통화 및 진료 지침과의 관련성은 다소 제한적입니다(상자 10.8). 
As with any aspect of medical education practice, efficient and effective practice needs to be based on robust research and evaluation evidence. Although there has been no shortage of studies into technology use in medical education, the quality of the evidence and its currency and relevance to guiding practice is somewhat limited (Box 10.8).

상자 10.8 증거는 어디에 있는가? 테크놀로지 기반 학습
BOX 10.8 WHERE’S THE EVIDENCE: Technology‐enhanced learning

TEL이 효과가 있는지 없는지에 대한 체계적인 검토가 많이 이루어졌습니다. 예를 들어, 가장 큰 규모의 리뷰 중 하나(초등 및 중등 교육에 초점을 맞춘)에서는 테크놀로지가 혼합된 형태로 사용될 때 상당한 교육적 이점을 제공할 수 있다는 결론을 내렸습니다[4]. 그러나 의학교육에 사용되는 테크놀로지의 다양성과 다양한 사용 방식을 고려할 때 단순히 'TEL이 효과가 있는가'라고 묻는 것만으로는 결정적인 대답은 물론 의미 있는 대답도 할 수 없습니다. 대신 어떤 상황에서 어떤 종류의 TEL이 효과적일 수 있는지, TEL의 어떤 기능이 학습의 수준과 질을 달리할 수 있는지를 고려해야 합니다. 
There have been a number of systematic reviews into whether TEL does or does not work. For instance, one of the largest reviews (focused on primary and secondary education) concluded that technology can confer significant educational advantage when used in a blended form [4]. However, given the diversity of technologies used in medical education and the many different ways in which they are used, simply asking ‘does TEL work?’ is impossible to answer meaningfully let alone conclusively. We should instead consider in what situations specific kinds of TEL can work and what features of TEL afford different levels and qualities of learning.

Cook과 동료 연구자들[18, 19]이 제기한 이러한 주장은 테크놀로지 매개 개입과 무중재 또는 테크놀로지 매개 개입과 비테크놀로지 개입을 비교한 수많은 연구 결과에 대응하는 것으로, 어느 쪽도 이 분야에 실질적인 도움이 되지 못합니다. 비용, 지속 가능성, 위험과 같은 다른 본질적인 요소는 거의 고려되지 않았습니다[20]. TEL의 효능 및 효과와 관련된 상황적 변수가 매우 많기 때문에 상황적 요인도 고려해야 합니다[14]. 그러나 부분적으로는 교육적 우월성보다는 물류 및 편의성, 부분적으로는 사회 전반의 디지털 테크놀로지로의 광범위한 전환에 따라 테크놀로지 중재가 이미 의학교육의 표준이 되고 있기 때문에 이 모든 것이 논쟁의 여지가 있을 수 있습니다. 실습과 혁신을 평가하고 안내하기 위해서는 더 많은 연구가 필요할 수 있지만, '테크놀로지를 전혀 사용해야 하는가'라는 질문은 얼마 전에 역을 떠났습니다. 
This argument, advanced by Cook and colleagues [18, 19], responds to the large number of studies that have compared a technology‐mediated intervention to no intervention or a technology‐mediated intervention to a non‐technological intervention, neither of which substantially add to the field. Other germane factors such as cost, sustainability, and risk are seldom considered at all [20]. Contextual factors also need to be considered as there are so many circumstantial variables associated with the efficacy and effectiveness of TEL [14]. All of this may be moot, however, as technological mediation is already becoming the norm in medical education, partly for logistical and convenience reasons rather than for instructional superiority, and partly in response to the broader switch to digital technologies in society as a whole. More research may be needed to evaluate and guide practice and innovation, but the ‘should we use technology at all?’ train left the station some time ago.

테크놀로지를 매개로 한 의학교육의 측면은 (적어도 초기에는) 새롭고 낯선 경향이 있기 때문에 전통적인 접근 방식보다 더 높은 입증 부담, 회의론, 과도한 자신감에 직면하는 경우가 많습니다. 우리는

• 테크놀로지가 해야 할 일을 신뢰할 수 있고 일관된 방식으로 수행할 수 있는지 평가해야 할 뿐만 아니라,
• 테크놀로지가 사용될 맥락에서 효과가 있는지, 그리고
• 그 테크놀로지를 사용할 모든 사람들에게 일관되게 효과가 있는지도 고려해야 합니다.

TEL에 대한 평가와 연구에는 다음 등이 활용될 수 있습니다. 

• 요구 분석과 환경 조사(해당 테크놀로지가 해결해야 할 필요나 기회는 무엇인가),
• (개발 및 적용에 대한) 문서화,
• 사용성(예상대로 작동하는가, 사용자가 쉽고 일관되게 사용할 수 있는가?),
• 구현 관찰(사람들이 실제로 사용하면 어떤 일이 일어나는가?),
• 참여자 경험 및 만족도(사용자에게 어떤가?),
• 학습 결과(테크놀로지 사용이 어떤 영향을 미치는가?),
• 비용, 재사용 가능성 및 지속가능성(테크놀로지 사용이 좋은 투자 수익률인가)[21] 

Technology‐mediated aspects of medical education (at least initially) tend to be new and unfamiliar and as such they often face a higher burden of proof, scepticism, and over confidence than more traditional approaches. Not only do we need to appraise

• whether a technology can do what it is supposed to do in a reliable and consistent way, we also need to consider
• whether it will work in the contexts within which it is going to be used, and
• whether it will do so consistently for all of those who are going to use it.

Both evaluation and research into TEL may draw on

• needs analyses and environmental scans (what need or opportunity is the technology to address),
• documentation (of development and application),
• usability (does it function as expected, can its users use it easily and consistently?),
• observation of implementation (what happens when people do use it?),
• participant experience and satisfaction (what is it like for users),
• learning outcomes (what impacts does using technology have?), and
• cost, reusability, and sustainability (is using technology a good return on investment?) [21].

또한 연구가 어디에 초점을 두는지  명확히 할 필요가 있습니다. 

• 테크놀로지 그 자체를 평가하는 데 초점을 맞추고 있는지('이 도구는 어떤 속성과 기능을 가지고 있는가?' 등),
• 테크놀로지를 사용하는 활동에 초점을 맞추고 있는지('온라인 PBL은 얼마나 잘 작동하는가?' 등),
• 특정 활동 내에서 테크놀로지를 사용하는 데 초점을 맞추고 있는지('모바일 장치 사용이 학습자-환자 상호작용에 어떤 영향을 미치는가?' 등)

요약하자면, 저는 TEL 안팎에서 무엇을 연구하고 평가해야 하는지에 대한 의제를 제안하기보다는 TEL을 연구하고 평가하는 방식에서 엄격함을 확립하고 유지하는 것이 더 중요하다고 주장합니다.
We also need clarity as to whether studies are focusing

• on evaluating the technologies themselves (such as ‘what properties and capabilities does this tool have?’),
• on activities that use technology (such as ‘how well does online PBL work?’), or
• on the use of technology within particular activities (such as ‘what impact does the use of mobile devices have on learner–patient interactions’?).

To summarise, rather than proposing an agenda regarding what we should research and evaluate in and around TEL, I argue that it is more important to establish and maintain rigour in the ways we research and evaluate TEL.

움직이는 목표
A Moving Target

영원한 것은 없으며 디지털 테크놀로지는 의학교육의 다른 측면보다 일시적인 경향이 있습니다. 'e-러닝 혁명'이 끝난 것처럼 보이지만[22] 테크놀로지는 계속 변화하고 있습니다. 일부 신테크놀로지는 주류 의학교육의 일부가 되기도 하고(예: PowerPoint), 다른 신테크놀로지는 시들해지기도 합니다. 어떤 테크놀로지가 성공할지 실패할지 예측하는 것은 매우 어렵습니다. 예를 들어, 의학 교육에서의 가상현실(VR)[23]은 VR 복강경 수술 시뮬레이터와 같은 일부 용도가 있기는 하지만, 적어도 지금까지는 주류 의학 교육에서 VR 테크놀로지의 사용은 주변적인 수준에 머물러 있습니다. 
Nothing lasts for ever and digital technologies tend to be more transient than most other aspects of medical education. Although the ‘e‐learning revolution’ would seem to be over [22] technologies continue to change. Some new technologies become part of mainstream medical education (such as PowerPoint), others wither on the vine. Predicting which ones will succeed or fail is notoriously hard to predict. For instance, virtual reality (VR) in medical education [23] but, although there are some uses (such as VR laparoscopic surgery simulators), at least so far, the use of VR technologies remains peripheral to mainstream medical education.

디지털 전문성만이 의학교육에서 새롭게 떠오르는 관심 분야는 아니며, TEL을 사용할 때 고려해야 할 다른 법적, 평판 및 보안 문제도 있습니다. 의학 교사들이 가장 흔히 직면하는 문제 중 하나는 웹의 자료를 교육 및 학습에 사용하거나 재사용할 수 있는 대상과 방법입니다. 디지털 테크놀로지를 사용하면 자료를 '복사하여 붙여넣기'하거나 다운로드하고 다른 사람과 공유하는 것이 매우 쉬워집니다. 하지만 이렇게 하는 것이 아무리 쉬워도 이를 합법적으로 처리하는 것은 그리 간단하지 않습니다. 국가마다 교육 목적으로 타사 자료를 재사용하는 것에 관한 법률이 다르고 변화하는 경향이 있을 뿐만 아니라, 타인의 지적 재산 오용에 대한 책임에 관한 기준도 제각각이기 때문입니다. 이는 크리에이티브 커먼즈와 같은 라이선스 모델을 개발하게 된 주요 동인 중 하나였습니다. 상자 10.9를 참조하세요. 
Digital professionalism is not the only emerging area of concern in medical education, there are other legal, reputational, and security issues to consider when using TEL. One of the most common challenges for medical teachers is what and how materials from the Web can be used or reused in teaching and learning. Digital technologies can make it very easy to ‘copy and paste’ or download materials and to share them with others. However easy it is to do this, the legality of doing so is rarely so simple. Not only do different countries tend to have different and shifting laws regarding the reuse of third‐party materials for educational purposes, there are differing standards regarding liability for misuse of someone else’s intellectual property. This was one of the main drivers behind the development of licensing models such as Creative Commons. See Box 10.9.

상자 10.9 중점 사항: 교육 및 학습을 위한 자료 재사용
BOX 10.9 FOCUS ON: Reusing materials for teaching and learning

타사 자료 사용에 대한 권리는 '퍼블릭 도메인'(사용에 제한이 없음)과 '모든 권리 보유'(저작권자의 허락 없이는 자료를 사용할 수 없음, 다른 약정이 없는 경우 기본값) 사이에 속하는 경향이 있습니다. 이 두 가지 극단 사이에서 라이선스는 자료 사용 방법에 대한 구체적인 조건을 명시합니다. 라이선스는 상업적(예: 퍼블리셔)이거나 오픈 소스(예: 크리에이티브 커먼즈)일 수 있습니다. 크리에이티브 커먼즈(http:// creativecommons.org)에서 개발한 라이선스 시스템은 다음에 관한 규정을 기반으로 합니다.

• 저작물의 창작자 인정 여부(저작자 표시),
• 다른 저작물의 일부로 포함될 수 있는지 또는 원본 저작물의 구성 요소를 재사용할 수 있는지 여부(각색),
• 저작물을 상업적 목적으로 재사용할 수 있는지 여부,
• 파생 저작물이 소스와 동일한 라이선스 모델을 따라야 하는지

Rights for using third‐party materials tend to fall between ‘public domain’ (no restrictions on use) and ‘all rights reserved’ (materials cannot be used without the copyright holder’s permission, the default in the absence of any other arrangement). Between these two extremes, licences set out the specific conditions as to how materials can be used. Licences may be commercial (such as with publishers), or open source, (such as Creative Commons). The licensing system developed by Creative Commons (http:// creativecommons.org) is based on statements regarding

• acknowledging the creator(s) of the work (attribution),
• whether it can be included as part of something else or whether components of the original work can be reused (adaptation),
• whether or not the work can be reused for commercial purposes, and
• whether any derivative works need to follow the same licensing model as the source.

크리에이티브 커먼즈 라이선스는 재사용 가능한 학습 객체(RLO), 오픈 코스웨어, 무료 오픈 액세스 교육(FOAM) 자료를 게시하는 데 사용되었으며, MedEdPortal(www. mededportal.org), MedEdWorld(http://www.mededworld.org), 위키미디어(commons.wikimedia.org) 등의 온라인 저장소에 있는 많은 리소스를 게시하는 데도 사용되었습니다. 명시적인 라이선스 계약이나 타인의 자료 사용에 대한 허가가 없는 경우, 항상 모든 권리가 유보되어 있으며 재사용할 수 없다고 가정해야 합니다. 저작권 침해는 공정 사용(미국) 또는 공정 거래(영국, 캐나다)에 명시된 원칙에 따라 (관할권에 따라) 방어할 수 있지만, 이는 권리라기보다는 방어권으로 표현되는 경향이 있습니다. 또한 타사 자료의 라이선스 없는 사용은 관련 개인과 기관에 위험할 뿐만 아니라 학습자와 동료에게 부적절한 전문성 메시지를 전달할 수 있다는 점에 유의해야 합니다. 퍼블릭 도메인 및 크리에이티브 커먼즈 라이선스 자료를 사용하면 이러한 문제를 해결하는 데 큰 도움이 될 수 있습니다. 

Creative Commons licences have been used to publish Reusable Learning Objects (RLOs), OpenCourseware, and Free Open Access Meducation (FOAM) materials, as well as many of the resources in online repositories such as MedEdPortal (www. mededportal.org), MedEdWorld (www.mededworld.org), and Wikimedia (commons.wikimedia.org). In the absence of an explicit licensing agreement or permissions for the use of someone else’s material you should always assume that all rights are reserved and that you cannot reuse it. Copyright breaches may be defended (depending on jurisdiction) under principles set out in Fair Use (USA) or Fair Dealing (UK, Canada), but these tend to be expressed as a defence rather than a right. It should also be noted that not only is unlicensed use of third‐party materials risky for the individuals and institutions involved, it also sends inappropriate professionalism messages to their learners and colleagues. Using public domain and Creative Commons licensed materials can go a long way to addressing these issues.

신원 도용, 사이버 범죄 및 해킹의 증가로 인해 TEL을 사용하는 의료 교육자 및 학습자의 안전과 생존 가능성은 근본적으로 도전받고 있습니다. 전자 시스템의 보안을 보장하고 유지하는 것은 교육자가 거의 고려하지 않더라도 끊임없는 싸움입니다. 이 문제를 해결하는 한 가지 방법은 전자 시스템을 공격으로부터 강화하는 것이지만, 테크놀로지적 약점(예: 유출된 비밀번호)보다는 인적 약점이 더 큰 위협인 경우가 많으며, 사용자의 실수나 경범죄를 교육하고 단속하는 데는 많은 비용이 소요될 수 있습니다. 어느 정도 주목을 받고 있는 대안적이고 다소 급진적인 접근 방식은 프라이버시보다는 보안에 중점을 두고 모든 정보를 공개하는 '포스트 프라이버시 사회'라는 개념입니다[24]. 이 글을 쓰는 시점에서 이러한 문화적 변화가 임박했다는 전망은 없지만, 전 세계적으로 디지털 테크놀로지가 널리 보급되면서 의학과 교육 모두에 근본적인 수준의 영향을 미쳤고 그 결과 의학교육이 원하든 원치 않든 변화하고 있다는 것은 부인할 수 없는 사실입니다. 
The safety and viability of medical educators and learners using TEL is fundamentally challenged by the growing problem of identity theft, cybercrime, and hacking. Assuring and maintaining the security of electronic systems is a constant battle, even if it is one that educators rarely consider. While one way of addressing this is to harden electronic systems against attack, human rather than technical weaknesses (such as compromised passwords) are often the bigger threat problem, and training and policing user mistakes and misdemeanours can be expensive. An alternative and somewhat radical approach that has been gaining a degree of traction is the concept of a ‘post privacy society’ where all information is made publicly available [24] with a focus on security rather than privacy. While, at the time of writing, there is no imminent prospect of such a major cultural shift, it is undeniable that the widespread uptake of digital technologies around the world has impacted both medicine and education at a fundamental level and that, as a result, medical education is changing – whether it wishes to or not.

의학교육자는 TEL을 어떤 용도로 사용하든 시스템 장애, 업그레이드, 교체 또는 요구 사항 변경 등 변화와 불안정성에 대비해야 합니다. 또한 사용하는 인프라(예: 네트워크 및 보안)에 대한 의존도를 염두에 두어야 하며, 테크놀로지 사용의 실행 가능성과 공격에 대한 복원력을 모니터링해야 합니다. 
Whatever use they make of TEL, medical educators need to plan for change and instability including system failures, upgrades, replacements, or changing requirements. They need to be mindful of their dependence on the infrastructure they use (such as networks and security), and they need to monitor the viability of their technology use and its resilience in the face of attack.

결론
Conclusions

테크놀로지는 매우 빠르게 구식이 되기 때문에 이 장에서 언급된 테크놀로지 중 일부는 이 책이 출판될 때 이미 구식이 되었을 가능성이 높습니다. 따라서 저는 특정 시점에 의학교육에서 사용되고 있는 다소 일시적인 특정 테크놀로지를 초월해야 하는 원칙과 개념에 중점을 두었습니다. 그럼에도 불구하고 저의 주장을 설명하기 위해 구체적인 사례를 제시하려고 노력했습니다. 이러한 사례들은 필연적으로 시대에 뒤떨어질 수밖에 없지만, 그 사례들이 보여주는 원칙은 여전히 유효하기를 바랍니다. 따라서 독자들은 (역사적 호기심에 의한 경우를 제외하고는) 구체적인 내용에 초점을 맞추기보다는 이러한 원칙에 비추어 각자의 시대와 상황에 맞게 재해석할 것을 제안합니다. 
Technologies go out of date so quickly; indeed, it is quite possible that some of the technologies mentioned in this chapter will have already become obsolete by the time this book is published. My focus has therefore been on principles and concepts that should transcend the specific and somewhat ephemeral technologies that are being used in medical education at any given time. Nevertheless, I have tried to provide concrete examples to illustrate my arguments. While these examples will inevitably become dated, I hope that the principles they illustrate will stand. I suggest therefore that readers reinterpret the specifics of their own time and circumstances in light of these principles rather than (except perhaps in the sense of historical curiosity) focusing on the specifics.

의학교육에서 TEL의 사용은 긍정적인 변화를 위한 조력자 또는 촉매제가 될 수도 있고, 혼란을 야기하고 주의를 산만하게 하며 책임이 될 수도 있습니다. 테크놀로지 사용의 가치는 순전히 교육적인 문제에 기반하는 경우는 드물고 편의성, 중재 및 증강의 문제로 귀결되는 경향이 있습니다. 따라서 TEL 사용에 대한 찬반 논쟁은 교육적 효과보다는 교육 경제성에 관한 것이 대부분입니다. 문제는 더 효율적이고 편리한 교육 및 학습 방법을 찾는 것이며, 여기에는 테크놀로지 사용이 포함될 수도 있고 포함되지 않을 수도 있습니다. TEL은 또한 사용 가능한 것의 제약을 받습니다. 교사와 학습자는 현재 사용 가능한 테크놀로지의 어포던스를 활용하고 이에 적응하는 경향이 있습니다. 또한 테크놀로지는 기존 관행을 대체하기보다는 부가적인 방식으로 사용되는 경향이 있습니다. 대체는 한 테크놀로지의 편리함과 유용성이 다른 테크놀로지를 압도하여 효과적으로 시들어 버릴 때만 발생합니다. 
The use of TEL in medical education can be an enabler or a catalyst for positive change, and it can also be a disruptor, a distractor, and a liability. The value of technology use is rarely based on purely educational issues and tends instead to be a matter of convenience, mediation, and augmentation. To that extent, arguments for and against the use of TEL are as much, if not more, about educational economics rather than instruction. The challenge is to find more efficient and convenient ways to teach and learn, and these may or may not involve the use of technologies. TEL is also constrained by what is available. Teachers and learners tend to make do with and adapt to the affordances of the technologies they have at hand. Moreover, technologies tend to be used in an additive way rather than displacing existing practices. Displacement only happens when the convenience and utility of one technique so outweighs the other that it effectively withers away.

학습과 교수의 질은 많은 요소(학습 대상, 학습 내용, 학습 장소, 학습에 투입할 수 있는 시간과 노력 등)에 따라 달라진다는 점을 고려할 때, 특정 학습 테크놀로지가 대안(테크놀로지적 또는 기타)보다 나은지 나쁜지를 묻기보다는, 특정 학습자와 교사의 특정 요구 사항을 특정 장소와 시간에 지원하는 데 유용하고 효과적인지를 물어야 합니다. 따라서 저는 이 장에서 반복되는 주제, 즉 의료 교육의 테크놀로지적 중재가 빠르게 표준이 되고 있으며, 따라서 교육자들은 테크놀로지적 문제와 교육적 문제의 교차성을 둘 중 하나만 따로 고려하지 말고 함께 고려해야 한다는 주제로 돌아갑니다. 따라서 이 장에서 제시하는 아이디어와 원칙은 이 책의 다른 모든 장에서 제시하는 아이디어와 원칙과 교차하고 정보를 제공하는 것으로 이해해야 합니다. 테크놀로지가 의학에서 교육과 학습을 중재하고 보강하는 것과 마찬가지로, TEL 개념은 모든 다양한 형태와 관행에서 의학교육을 중재하고 보강하는 것으로 간주되어야 합니다. 
Given that the quality of learning and teaching depends on so many things (considerations such as who is involved, what they are learning, where they are learning, and how much time and effort can they put into their learning and so on), then, rather than asking whether a particular learning technology is better or worse than an alternative (technological or otherwise), we should ask whether it is useful and effective in supporting particular needs of particular learners and teachers in a particular place and time. I therefore return to a recurring theme in this chapter; that technological mediation of medical education is rapidly becoming the norm and as such educators should consider the intersectionalities of technical and educational issues rather than one or the other in isolation. The ideas and principles I have set out in this chapter should therefore be understood as intersecting with and informing the ideas and principles set out in every other chapter in this book. In the same way that technologies mediate and augment teaching and learning in medicine, TEL concepts should be seen as mediating and augmenting medical education in all its many forms and practices.

Summary

모듈에서 MOOCs로: 온라인 교육과정 개발의 여섯-단계 접근법(Acad Med, 2019)
From Modules to MOOCs: Application of the Six-Step Approach to Online Curriculum Development for Medical Education
Belinda Y. Chen, MD, David E. Kern, MD, MPH, Robert M. Kearns, MSEd, Patricia A. Thomas, MD, Mark T. Hughes, MD, MA, and Sean Tackett, MD, MPH 

온라인 커리큘럼은 중요한 온라인 상호작용이 포함된 계획된 교육 경험입니다. 온라인 커리큘럼은 기관, 지리적, 시간적 경계를 넘나들며 교수 및 학습 효율성을 높이고 교육 학술활동을 구성할 수 있습니다. 대부분의 보건 전문직 학위 및 교육 프로그램에서 온라인 학습 버전을 채택하고 있습니다.1-3 
Online curricula are planned educational experiences with significant online interactions. Online curricula can span institutional, geographic, and temporal boundaries; increase teaching and learning efficiency; and constitute educational scholarship. Versions of online learning have been adopted by most health professions degree and training programs.1–3

많은 교수진이 교육적 책임을 다하기 위해 온라인 커리큘럼 개발(CD)에 참여하고 있습니다. 커리큘럼 결과에 대한 책임을 지는 경우가 많지만, 교수진은 온라인 CD에 참여할 준비가 되어 있지 않을 수 있습니다. 이로 인해 교수진의 불만, 비효율적인 리소스 사용, 비효율적인 커리큘럼이 발생할 수 있습니다.2,4-6 
Many faculty participate in online curriculum development (CD) to fulfill their educational responsibilities. Although often held accountable for curricular outcomes, faculty may be unprepared to engage in online CD. This can result in faculty frustration, inefficient resource use, and ineffective curricula.2,4–6

보건 전문직 커리큘럼은 대중의 건강 관리 요구를 충족해야 할 책임이 있기 때문에 건전한 CD 프로세스를 요구합니다. 온라인 교육 과정은 많은 청중에게 도달할 수 있기 때문에 온라인 CD는 특히 이러한 요구에 대한 책임이 있습니다. 이 글에서는 의료 교육용 CD에 대해 널리 받아들여지고 있는 체계적인 접근 방식7,8인 의학교육용 커리큘럼 개발을 위한 6단계 접근 방식을 온라인 CD에 어떻게 적용할 수 있는지 설명합니다. 
Health professions curricula demand sound CD processes because of their responsibility to meet the health care needs of the public. Online CD is particularly accountable to these demands because online curricula can reach large audiences. We describe how a widely accepted, systematic approach to CD for health care education7,8—the Six-Step Approach for Curriculum Development for Medical Education—can be applied to online CD.

이 글에서는 현재 널리 사용되는 네 가지 온라인 커리큘럼 형식을 설명하고 비교하며, 그 차이점이 온라인 CD에 실질적인 영향을 미칩니다(표 1):
In this article we describe and compare four currently popular online curricular formats whose differences have practical implications for online CD (Table 1):

온라인 커리큘럼의 네 가지 일반적인 형식 비교
Comparisons of Four Common Formats of Online Curriculaa

• 혼합형 커리큘럼: 온라인과 대면 세션이 결합된 형태로, '플립형 강의실'은 혼합형 학습의 한 버전입니다.
  Blended curricula: Online and face-to-face sessions are combined; the “flipped classroom” is a version of blended learning.
• 교수자가 주도하는 완전 온라인 커리큘럼: 모든 커리큘럼 콘텐츠가 온라인으로 제공되며 교수진과 정의된 학습자 그룹 간에 온라인 상호 작용이 이루어집니다.
  Instructor-led fully online curricula: All curricular content is online, and online interaction occurs between faculty and a defined group of learners.
• 자기 주도형 모듈: 학습자가 커리큘럼을 시작하고 주도하며, 학습자가 학습하는 동안 교수자의 추가 입력이 필요하지 않습니다.
  Self-paced modules: The curriculum is initiated and directed by the learner, with no additional faculty input during the learner’s experience.
• 대규모 공개 온라인 코스(MOOC): 이 커리큘럼은 대규모의 쌍방향 참여를 목표로 하며 인터넷에 접속할 수 있는 사람이라면 누구나 참여할 수 있습니다.
  Massive open online courses (MOOCs): The curriculum aims for large-scale interactive participation and is open to anyone with Internet access.

의학 커리큘럼에서 사용되는 교육 방법, 평가 방법 및 리소스 유형에 대한 표준화된 용어도 만들어졌습니다.9
Standardized terminologies have also been created for the instructional methods, assessment methods, and resource types used within medical curricula.9

개요
Overview

6단계 접근법은 커리큘럼을 "계획된 교육 경험"으로 정의하며, 단기 교육 세션 또는 다년간의 프로그램에 적용할 수 있습니다. CD는 순차적으로 제시되지만 연속적이고 순환적인 프로세스이며 모든 단계는 서로 영향을 미칩니다(그림 1). 특정 교육 방법(4단계)을 고려하는 것으로 시작할 수 있지만, 실행을 위한 리소스 및 관리 요구 사항(5단계), 해당 방법이 대상 학습자의 요구 사항과 일치하는지 여부(2단계), 교육 목표(3단계), 학습자 및 프로그램 평가 계획(6단계) 등도 고려해야 합니다. 그림 1의 상단에 있는 1단계는 모든 보건 전문직 CD가 보건의료 문제를 해결하는 것을 목표로 한다는 점을 강조합니다. 아래에서는 각 단계의 기본 사항을 요약하고 온라인 CD의 각 단계에 대한 특별한 고려 사항을 설명합니다.  
The Six-Step Approach defines curriculum as any “planned educational experience” and can be applied to short educational sessions or multiyear programs. Though presented sequentially, CD is a continuous, cyclical process, and all steps influence each other (Figure 1). One might begin by considering a specific educational method (Step 4), but must also consider resource and administrative requirements for implementation (Step 5) and the method’s congruency with targeted learners’ needs (Step 2), as well as educational objectives (Step 3) and both learner and program evaluation plans (Step 6). Step 1 is at the top of Figure 1 to emphasize that all health professions CD aims to address a health care problem. Below, we summarize the fundamentals of each step and describe special considerations for each step in online CD.

1단계: 문제 식별 및 일반적인 요구 사항 평가
Step 1: Problem Identification and General Needs Assessment

일반 원칙
General principles

1단계에서 교육자는 교육 개입으로 해결할 의료 문제를 파악하고 지역적 수준에서 국제적 수준까지 그 중요성(예: 유병률, 이환율, 비용)을 특성화합니다. 이는 일반적으로 이용 가능한 데이터(예: 출판된 문헌, 공중 보건 통계)를 검토하고 새로운 데이터(예: 전문가 자문)를 수집하여 수행합니다. 
In Step 1, the educator identifies the health care problem that the educational intervention will address and, on a regional to international level, characterizes its importance (e.g., prevalence, morbidity, cost). This is typically done by a review of available data (e.g., published literature, public health statistics) and collection of new data (e.g., expert consultation).

일반적 요구도 평가는 환자, 사회, 보건의료 교육자, 보건의료 전문가가 파악한 문제에 대한 이상적인 접근 방식과 현재 접근 방식 사이의 격차를 정의합니다. 1단계는 대규모로 수행하거나10 소규모 CD 팀에 의해 수행될 수 있습니다. 1단계가 끝나면 교육자는 계획된 교육 활동을 통해 보건의료 전문직 교육생이 미래 환자의 요구를 충족할 수 있도록 준비하는 방법을 명확히 설명할 수 있습니다. 
The general needs assessment defines the gap between the ideal and current approaches to the identified problem by patients, society, health care educators, and health care professionals. Step 1 may be conducted on a large scale10 or by smaller CD teams. By the end of Step 1, educators can articulate how planned educational activities will prepare health professions trainees to meet the needs of future patients.

특별 고려사항
Special considerations

온라인 CD의 1단계는 기존 CD와 유사한 경우가 많지만, 온라인 CD에서는 기존 온라인 커리큘럼을 검색하는 데 더 많은 노력이 필요합니다. 동료 검토를 거친 온라인 커리큘럼 저장소(예: http://www.mededportal.org)를 검색하고 교육기관 및 전문 학회 웹사이트(예: http://www.POGOe.org)8를 검토하면 결과를 얻을 수 있습니다. 교육자들과 네트워킹하거나 의학 사서와 상담하면 비슷한 문제를 해결하기 위한 다른 커리큘럼을 파악하는 데 도움이 될 수 있습니다. 
Often, Step 1 for online CD is similar to traditional CD, although more effort is required in online CD to search for existing online curricula. Searching online peer-reviewed curriculum repositories (e.g., www.mededportal.org) and reviewing websites of institutions and professional and specialty societies (e.g., www.POGOe.org)8 can yield results. Networking with educators or consulting with medical librarians can help identify other curricula that aim to solve similar problems.

다음은 1단계가 결핵(TB) 치료를 개선하기 위해 온라인 CD에 어떤 영향을 미쳤는지 보여주는 예시입니다.

• 결핵은 효과적인 치료 옵션이 있음에도 불구하고 저소득 및 중간 소득 국가(LMIC)에서 이환율과 사망률의 주요 원인으로 확인되었습니다. 사례 발견 및 치료 권고에 관한 의료진의 지식 격차가 중요한 장벽으로 밝혀져 교육적 개입이 결핵 치료에 도움이 될 수 있습니다. 기존 커리큘럼은 대면 교육으로 진행되었기 때문에 출장 비용과 일정 관리 등의 문제로 인해 접근성이 제한적이었습니다. 이러한 단점을 해결하기 위해 "글로벌 결핵 임상 관리 및 연구"라는 제목의 MOOC를 개발하여 LMIC의 의료진에게 마케팅하여 7,800명의 학습자에게 성공적으로 도달했으며, 이 중 87%는 결핵 유병률이 높은 환경에서 근무하는 사람들이었습니다.11 

Here is an illustration of how Step 1 influenced online CD to improve tuberculosis (TB) care.

• TB was identified as a leading cause of morbidity and mortality in low- and middle-income countries (LMICs) despite the existence of effective treatment options. Provider knowledge gaps regarding case-finding and treatment recommendations were found to be an important barrier, making TB care amenable to an educational intervention. Existing curricula were face-to-face, which limited their reach because of travel costs and scheduling logistics. To address these shortcomings, a MOOC titled “Global Tuberculosis Clinical Management and Research” was developed and marketed to providers in LMICs, successfully reaching 7,800 learners, 87% of whom were in settings with high TB prevalence.11

단순히 온라인으로 커리큘럼을 제공하는 것만으로는 보건 요구 사항을 해결하지 못할 수 있습니다. 일반적인 MOOC 데이터에 따르면 가장 필요한 사람들에게 도달하지 못하는 경우가 많습니다.12,13 커리큘럼의 목적을 명확히 하면 커리큘럼 개발자가 교육 효과를 극대화하는 결정을 내리는 데 도움이 됩니다. 
Simply making a curriculum available online may not address health needs. General MOOC data indicate that many may not reach those who need them most.12,13 Clarifying one’s curricular purpose helps the curriculum developer make decisions to maximize educational impact.

2단계: 목표 요구 사항 평가
Step 2: Targeted Needs Assessment

일반 원칙
General principles

2단계에서는 대상 학습자의 요구 사항과 학습 환경에 초점을 맞춥니다. 목표 요구 사항 평가에는 대상 학습자 및 이해 관계자의 특성, 요구 사항, 선호도, 학습자 환경에서 사용 가능한 리소스 등의 데이터 수집이 포함됩니다. 
Step 2 focuses on the needs of one’s targeted learners and their learning environments. The targeted needs assessment involves the collection of data, such as the characteristics, needs, and preferences of the targeted learners and stakeholders, and available resources in the learners’ environments.

특별 고려 사항
Special considerations

온라인 CD의 목표 요구 사항 평가는 범위와 복잡성이 다양할 수 있습니다. "강의실 뒤집기"14는 교수자가 청중을 알고 있기 때문에 비교적 간단할 수 있습니다. 자기 주도형 모듈 또는 MOOC는 지리적으로 분산된 다양한 학습자 그룹을 대상으로 하기 때문에 복잡할 수 있습니다. 
Targeted needs assessments for online CD can vary in scope and complexity. “Flipping the classroom”14 may be relatively simple because the instructor knows the audience. Self-paced modules or MOOCs can be complex because they target diverse groups of geographically dispersed learners.

온라인 커리큘럼은 낮은 사회적 참여도, 낮은 관련성 인식, 부적절한 자기 조절 행동과 관련하여 중도 탈락률이 높을 수 있으므로,15,16 학습자의 요구, 선호도, 동기, 온라인 학습에 대한 과거의 긍정적 및 부정적 경험17을 이해하는 것이 참여도를 유지하는 데 중요합니다.

• 학습자의 언어 능력,
• 문화,
• 선호하는 콘텐츠 액세스 모드(예: 노트북, 태블릿, 모바일 장치),
• 학습 경험에 사용할 수 있는 시간,
• 동기식 세션의 가용성(예: 지역사회 건강 결과 커리큘럼 연장에 참여하는 의료 제공자18),
• 학점의 필요성(예: 계속 의학 교육[CME], 자격증 유지),
• 액세스 또는 수료 인정에 대한 지불 의향

...도 온라인 교육 과정의 수용에 영향을 줄 수 있습니다. 
Online curricula can have high dropout rates related to low social engagement, low perceived relevance, and inadequate self-regulatory behaviors,15,16 so understanding learner needs, preferences, motivations, and past positive and negative experiences with online learning17 is important for maintaining engagement.

• Learners’ language skills,
• cultures,
• preferred modes of accessing content (e.g., laptop, tablet, mobile device),
• time available for the learning experience,
• availability for synchronous sessions (e.g., practicing providers to participate in extension for community health outcomes curricula18),
• the need for credit (e.g., continuing medical education [CME], maintenance of certification), and
• the willingness to pay for access or recognition of completion

...may also affect the uptake of an online curriculum.

평가해야 할 환경적 요인으로는 인터넷 접속의 가용성 및 품질, 현지 테크놀로지 지원 등이 있습니다. 국제 커리큘럼의 경우, 미디어 공유(예: YouTube) 및 소셜 미디어(예: Facebook) 플랫폼에 대한 접근 제한과 같은 법률 및 규정이 커리큘럼 콘텐츠 제공 또는 커뮤니케이션을 위해 어떤 사이트를 선택할지에 영향을 미칠 수 있습니다. 
Environmental factors to evaluate include the availability and quality of Internet access and local technical support. For international curricula, laws and regulations, such as restricted access to media-sharing (e.g., YouTube) and social media (e.g., Facebook) platforms, can affect which sites are chosen for curricular content delivery or communication.

학습자와 학습자의 환경을 사전에 완전히 평가할 수 없는 경우, 목표 요구 사항 평가의 일부를 온라인 커리큘럼에 포함시킬 수 있습니다. 예를 들어, 커리큘럼을 진행하는 동안 학습자의 피드백을 의도적으로 수집하면 혼란스러운 용어나 문화적으로 민감한 이미지 중 수정이 필요한 부분을 파악할 수 있습니다.  
When learners and their environments cannot be fully assessed in advance, parts of a targeted needs assessment can be embedded in online curricula. For example, intentionally gathering feedback from learners during the curriculum can identify confusing terminology or culturally sensitive images needing revision.

3단계: 목표 및 목적
Step 3: Goals and Objectives

일반 원칙
General principles

요구 사항 평가를 기반으로 3단계에서 목적과 목표를 정의합니다.

• 목적goals은 방향을 제시하고 커리큘럼의 경계를 설정합니다.
• 목표objectives는 학습자의 인지, 정서 및 정신 운동 성취도에 대한 구체적이고 측정 가능한 기대치를 설명합니다.
• 목표objectives는 건강 관리에 미칠 것으로 예상되는 영향을 명확히 설명할 수 있습니다.
• 교육 목적과 목표는 이후 단계에서 교육 및 평가 전략의 선택을 안내합니다.

Based on the needs assessments, goals and objectives are defined in Step 3.

• Goals provide direction and set curricular boundaries.
• Objectives describe specific and measurable expectations for learners’ cognitive, affective, and psychomotor achievements.
• Objectives can also articulate the anticipated impact on health care.
• Goals and objectives guide the selection of educational and evaluation strategies in later steps.

특별 고려 사항
Special considerations

교직원은 새로운 교육 테크놀로지의 '화려한' 기능을 시험해 보고 싶은 유혹을 받을 수 있습니다. 그러나 1단계에서 설명한 의료 요구 사항과 2단계의 목표 요구 사항 평가를 기반으로 목표를 작성하면 기존 테크놀로지 및 새로운 테크놀로지를 보다 신중하게 사용할 수 있습니다.

• 블렌디드 커리큘럼은 라이브 세션 중에 실습과 피드백을 통합하여 의사소통 및 절차적 스킬에서 고차원적인 목표를 달성하는 데 도움이 될 수 있습니다.
• MOOC와 자기 주도형 모듈은 더 많은 학습자에게 정보를 전달할 수 있지만, 현재 학습자의 심리 운동 스킬을 개발하거나 학습자의 행동을 변화시키는 데는 한계가 있습니다.
• 앞으로는 복잡한 분기 로직이 포함된 시뮬레이션 사례 시나리오와 가상 환경과 같은 새로운 테크놀로지를 통해 학습자가 고차원적인 인지적 사고, 절차, 심지어 팀워크와 커뮤니케이션 스킬까지 연습할 수 있게 될 것입니다.

일반적으로 고차원적인 목표19,20를 설정하고 그에 따라 테크놀로지를 선택해야 합니다. 또한 테크놀로지가 허용하는 경우 학습자가 직접 목표를 설정하는 데 참여해야 합니다.21
Faculty may be tempted to try out the “bells and whistles” of new educational technologies. However, writing objectives based on the health care need delineated in Step 1 and the targeted needs assessment in Step 2 can direct more thoughtful use of established and emerging technologies.

• Blended curricula can help achieve higher-order objectives in communication and procedural skills by integrating practice and feedback during live sessions.
• MOOCs and self-paced modules may convey information to a larger number of learners, but are currently limited in their ability to develop learners’ psychomotor skills or change learners’ behaviors.
• In the future, new technologies such as simulated case scenarios with complex branching logic and virtual environments may allow learners to practice higher-order cognitive thinking, procedures, and even teamwork and communication skills.

Generally, one should aim for higher-order objectives19,20 and select technologies accordingly. Also, when technology permits, learners should be engaged in setting their own objectives.21

4단계: 교육 전략
Step 4: Educational Strategies

일반 원칙
General principles

4단계는 교육 목표 달성을 촉진하기 위해 실현 가능한 교육 전략과 콘텐츠를 선택하는 단계입니다. 교육 목표에 부합하는 여러 교육 방법을 사용하면 학습을 강화하고 학습자 선호도의 차이를 해결할 수 있습니다.
Step 4 involves selecting feasible educational strategies and content to facilitate achievement of educational objectives. Using multiple educational methods congruent with educational objectives reinforces learning and addresses differences in learner preferences.

특별 고려 사항
Special considerations

온라인 커리큘럼은 멀티미디어, 상호 작용 및 가상 소셜 구성 요소를 통합하여 기존의 교실 기반 모델보다 더 유연하고 접근 가능하며 개별화된 학습을 가능하게 할 수 있습니다. 최적의 온라인 학습을 위한 공식은 없지만,22,23 교육 전략의 선택을 안내하는 증거와 원칙이 존재합니다. 예를 들어,

• 연구에 따르면 연습 문제, 간격을 둔 반복, 피드백, 사회적 존재감이 고차원적인 학습자 목표를 달성하는 데 가장 효과적이라고 합니다.6,24
• 콘텐츠 레이아웃 및 멀티미디어 통합 지침25,26에서는 정보를 '청크'하고 그래픽과 단어를 결합하여 청각과 시각 경로를 동시에 자극하는 것을 권장합니다.
• 연구와 전문가 지침이 불충분한 경우 일반적인 교육 과학과 이론이 교육 전략을 안내할 수 있습니다.

Online curricula can incorporate multimedia, interactivity, and virtual social components to allow for more flexible, accessible, and individualized learning than traditional classroom-based models. Although there is no formula for optimal online learning,22,23 evidence and principles exist to guide selection of educational strategies. For example,

• studies have suggested that practice exercises, spaced repetition, feedback, and a social presence are most effective for achieving higher-order learner objectives.6,24 
• Guidelines for content layout and incorporating multimedia25,26 endorse “chunking” information, combining graphics and words, and simultaneously stimulating auditory and visual pathways.
• When studies and expert guidelines are insufficient, general educational science and theory can guide educational strategies.

대부분의 온라인 커리큘럼은 커리큘럼 콘텐츠를 저장 및 전달하고 평가 및 평가를 용이하게 하는 소프트웨어인 학습 관리 시스템(LMS)을 통해 전달됩니다. 많은 교육기관이 이미 LMS 공급업체와 계약을 맺었지만 일부 LMS는 오픈 액세스 방식입니다. LMS는 테크놀로지 지원을 제공할 수 있지만 커리큘럼 옵션을 제한할 수도 있습니다. 새로운 테크놀로지는 인터넷 접속이 원활하지 않은 환경에서도 '온라인 커리큘럼'에 접근할 수 있게 해주며,27 이러한 테크놀로지가 LMS와 어떻게 연동되는지에 따라 교육 전략에 더 많은 영향을 미칠 수 있습니다. 커리큘럼 내에서 LMS 선택 및 교육 설계를 결정할 때는 LMS 옵션의 특성을 파악하는 것이 중요합니다. 
Most online curricula are delivered through learning management systems (LMSs), software that stores and delivers curricular content and facilitates assessment and evaluation. Some LMSs are open-access, although many institutions have already contracted with LMS vendors. LMSs can offer technical support but may also constrain curricular options. New technologies make it possible to access “online curricula” despite poor Internet access,27 and how these interface with LMSs may further influence educational strategies. Knowing characteristics of one’s LMS options is important for LMS selection and instructional design decisions within the curriculum.

기존 커리큘럼을 온라인 형식으로 전환하면 교수진과 학습자 간의 동기식 상호 작용을 유지하면서 더 많은 청중에게 다가갈 수 있고 강의실 공간의 제약을 극복할 수 있습니다. 웹 회의 소프트웨어를 사용하는 라이브 세션이 포함된 완전 온라인 커리큘럼과 같은 온라인 동기식 세션을 사용하면 기존의 대면 방식을 간단하게 조정할 수 있습니다. 특수 온라인 미디어 룸을 사용하면 강사가 학습자의 표정과 몸짓을 관찰하는 등 실시간으로 학습자를 볼 수 있으므로 기존 강의실을 시뮬레이션할 수 있습니다. 학습자의 유연성을 높이기 위해 기존 방식을 비동기식 온라인 형식에 적용하는 것은 쉽지 않지만, 유사한 방식이 존재하고(표 2) 대부분의 LMS와 호환되는 경우가 많습니다. 
Converting a traditional curriculum to an online format can allow faculty to reach a larger audience and overcome classroom space limitations while maintaining synchronous interactions between faculty and learners. Adapting traditional face-to-face methods can be made straightforward by using online synchronous sessions, such as fully online curricula with live sessions that use web conferencing software. Use of special online media rooms can simulate traditional classrooms as an instructor can view learners in real time, including observing facial expressions and body language. Adapting traditional methods to asynchronous online formats, often to increase learner flexibility, is less straightforward, although analogous methods exist (Table 2) and are compatible with most LMSs.

저작권 및 공정 사용 원칙은 온라인 커리큘럼에 사용할 콘텐츠를 선택할 때 고려해야 할 주요 사항입니다. 

• 저작권은 원본 콘텐츠의 제작자가 배포를 승인할 수 있는 법적 권리입니다.
• 공정 사용은 저작권이 있는 저작물을 교육 목적으로 제한적으로 사용하는 경우에 적용됩니다. 그러나 자료가 온라인으로 널리 배포되거나 온라인 커리큘럼에 대한 요금이 부과되는 경우에는 공정 사용 원칙이 더 이상 적용되지 않을 수 있으며, 법률 상담이 필요할 수 있습니다.
• 저작권법은 국가마다 다르며 무엇이 공정 사용으로 간주되는지는 해석에 따라 달라질 수 있습니다.28 저작권 규정을 위반하지 않으려면 공개적으로 이용 가능한 콘텐츠 또는 크리에이티브 커먼즈 라이선스(적절한 저작자 표시를 통해 원본 저작물의 공유를 허용하는 라이선스)가 있는 콘텐츠를 사용하는 것이 좋습니다.29

Principles of copyright and fair use are major considerations when choosing the content for online curricula.

• Copyright is the legal right of a creator of original content to authorize its distribution.
• Fair use applies to limited use of a copyrighted work for educational purposes. However, when material is widely distributed online or there is a charge for online curricula, the principle of fair use may no longer apply, and legal consultation may be needed.
• Copyright laws vary internationally, and what is considered fair use is subject to interpretation.28 To avoid violating copyright regulations, consider using publicly available content or content with a Creative Commons license (which permits sharing of an original work with appropriate author attribution).29

마지막으로 예산은 방법 선택에 영향을 미칩니다. 텍스트와 기성 그래픽은 일반적으로 비용이 저렴하지만, 맞춤형 그래픽과 전문 동영상은 제작 비용이 수백 또는 수천 달러에 달할 수 있습니다. 먼저 목표에 부합하는 여러 전략을 파악한 다음 사용 가능한 리소스에 따라 선택하는 것이 좋습니다.
Finally, budgets influence choice of methods. Text and ready-made graphics are typically inexpensive, whereas custom graphics and professional videos can cost hundreds or thousands of dollars to produce. We recommend first identifying multiple strategies congruent with one’s objectives, and then selecting based on available resources.

5단계: 구현
Step 5: Implementation

일반 원칙
General principles

5단계에서는 교육과정을 실행하기 위한 자원(예: 인력, 시간, 공간 및 자료, 자금), 정치적 지원, 행정 메커니즘을 식별, 조달, 적절히 사용하는 것이 포함됩니다. 파일럿은 정식 시행에 앞서 학습자의 경험을 바탕으로 교육과정을 수정할 수 있는 기회를 제공합니다. 커리큘럼이 혁신적이거나 학습자가 회의적인 경우에는 우호적인 청중을 대상으로 파일럿을 실시하는 것이 현명합니다. 복잡한 커리큘럼은 리소스를 집중하고 초기 성공 가능성을 극대화하며 더 많은 수요를 창출하기 위해 별도의 세그먼트로 단계적으로 도입할 수 있습니다. 
Step 5 involves the identification, procurement, and appropriate use of resources (e.g., personnel, time, space and materials, funding), political support, and administrative mechanisms to implement the curriculum. Piloting provides an opportunity to revise a curriculum, based on learner experience, prior to full implementation. When the curriculum is innovative or learners are skeptical, piloting on a friendly audience is wise. Complicated curricula may be phased in as separate segments to focus resources, maximize the likelihood of initial success, and create demand for more.

특별 고려 사항
Special considerations

온라인 커리큘럼은 더 많은 인력과 재정적 요구 사항, 다양한 대상에게 배포해야 하는 어려움, 학습자와 참여 교수진 모두 온라인 교육에 익숙해져야 하기 때문에 기존 커리큘럼보다 구현이 더 복잡한 경우가 많습니다30. 교육기관마다 테크놀로지에 투자하는 방식은 다르지만,31 온라인 CD를 교육기관의 우선순위에 맞게 조정하면 복잡성을 관리하고 CD를 간소화하는 데 필수적인 리소스에 접근할 수 있습니다. 
Implementation for online curricula is often more complex than for traditional curricula30 because of greater personnel and financial requirements; challenges of disseminating to large, diverse audiences; and the need to familiarize both learners and participating faculty with online instruction. Although academic centers vary in how they invest in technology,31 aligning online CD with institutional priorities can provide access to essential resources to manage complexities and streamline CD.

온라인 커리큘럼을 탐색하는 것이 간단해 보이는 경우에도 학습자와 교수진에게 지침과 데모를 제공하는 것이 필요한 경우가 많습니다. 일부 교육기관에서는 LMS 탐색을 도입하는 온라인 커리큘럼을 필수로 제공합니다. 온라인 커리큘럼에는 처음에 탐색을 위한 간단한 지침이 포함될 수도 있습니다. 커리큘럼을 진행하는 동안 문제를 해결하기 위한 지속적인 테크놀로지 지원이 필요한 경우가 많습니다. LMS 공급업체에서 테크놀로지 지원을 제공하지 않거나 여러 시스템을 사용하는 경우, 교육기관 또는 후원 조직에서 테크놀로지 지원을 제공하여 교직원의 중요한 리소스가 테크놀로지 문제 해결에 전용되지 않도록 해야 합니다. 
Providing instructions and demonstrations for learners and faculty is often necessary even when navigating online curricula seems straightforward. Some institutions have prerequisite online curricula that introduce LMS navigation. Online curricula can also include brief instructions for navigation at the outset. Ongoing technical support to troubleshoot issues during the curriculum is often necessary. If the LMS vendor does not provide technical support or if multiple systems are used, the institution or sponsoring organization will need to provide technical assistance to avoid diverting significant faculty resources to overcoming technical issues.

교수진은 혼합형 커리큘럼을 개발할 때 온라인 요소를 독립적으로 통합할 수 있지만, 일반적으로 온라인 CD의 다양한 측면에 익숙한 팀원과 협력하는 것이 좋습니다(표 3). 교수는 일반적으로 교수 설계자, 프로젝트 관리자 및/또는 미디어 테크놀로지자(예: 비디오그래퍼, 그래픽 디자이너)와 협력하여 주제별 전문가(SME)의 역할을 수행합니다. 부록 디지털 부록 1(https://links.lww.com/ACADMED/A625)은 온라인 CD 팀에서 사용할 수 있는 일반적인 용어에 대한 가이드를 제공합니다. 
Although faculty can independently incorporate online elements when developing blended curricula, one should generally seek to work with team members familiar with different aspects of online CD (Table 3). Faculty usually serve as subject matter experts (SMEs) in collaboration with instructional designers, project managers, and/or media technicians (e.g., videographers, graphic designers). Supplemental Digital Appendix 1, available at https://links.lww.com/ACADMED/A625, provides a guide to common terminology that can be used by online CD teams.

리소스 생성 및 커리큘럼 설계에 소요되는 선행 시간은 상당한 경우가 많습니다. 중소기업에서 요구하는 시간은 계획된 커리큘럼의 복잡성과 다른 CD 팀원의 가용성, 경험 및 스킬에 따라 달라집니다.32 Delgaty는 강사 주도의 완전 온라인 커리큘럼을 개발한 경험을 바탕으로 커리큘럼 활동 1시간당 7시간의 교수 시간4을 제안합니다.33 커리큘럼 중 토론 게시판 진행과 같은 활동에는 많은 시간이 소요될 수 있으며 Delgaty4는 학생 활동 1시간당 4시간의 교수 시간이 필요하다고 추산합니다. 교수진이 정기적인 커리큘럼 주기에 참여할 수 없을 것 같으면 자기 주도형 커리큘럼을 선택하는 것이 현명한 선택일 수 있습니다. 이러한 커리큘럼은 생성 후 교수진의 지속적인 입력이 필요하지 않지만, 훨씬 더 많은 교수자의 사전 시간이 필요합니다. 프로젝트 관리자 없이 새로운 LMS에서 3시간짜리 자기 주도형 모듈 시리즈를 개발하기 위해 3명의 교수진으로 구성된 저희 팀은 각 커리큘럼 활동의 각 시간에 대해 25시간 이상 계획하고 피드백하는 데 투자했습니다. 중소기업과 개발 팀의 다른 사람들이 사용 가능한 시간을 파악하면 온라인 커리큘럼 옵션 중에서 적절한 선택을 하고 지속 가능성을 보장할 수 있습니다(표 1). 
Upfront time for resource creation and curricular design is often substantial. Time demanded from SMEs depends on the complexity of the planned curriculum and the availability, experience, and skills of other CD team members.32 Delgaty proposes an estimate of 7 hours of faculty time for each 1 hour of curricular activity4 based on her experience developing an instructor-led fully online curriculum.33 Activities such as moderating discussion boards during the curriculum can be time-consuming; Delgaty4 estimates that 4 hours of faculty time per hour of student activity was necessary. If faculty are unlikely to be available for regular cycles of the curriculum, self-paced curricula may be a prudent choice. Such curricula require no ongoing faculty input after creation, but require much more upfront faculty time. To develop a 3-hour series of self-paced modules in a new LMS without a project manager, our team of 3 faculty each devoted more than 25 hours of planning and feedback for each hour of curricular activity. Having a sense of the time available to SMEs and others on the development team allows one to make appropriate selections among online curricular options and ensure sustainability (Table 1).

온라인 커리큘럼의 개방적인 특성으로 인해 기밀 유지 및 접근성에 관한 규정에 주의를 기울여야 합니다. 미국 의학교육의 예로는 다음 등이 있습니다. 

• 개인 건강 정보를 보호해야 하는 의료보험 이동성 및 책임에 관한 법률(HIPAA),
• 학생 정보를 기밀로 유지해야 하는 가족교육권 및 개인정보 보호법(FERPA),
• 장애인(청각 또는 시각 장애를 포함하되 이에 국한되지 않음)이 교육 과정에 접근할 수 있도록 요구하는 미국 장애인법(ADA)

대부분의 교육기관 LMS는 이미 기밀 유지 요구 사항을 충족하고 있으므로, CD 팀은 일반적으로 비디오 콘텐츠에 캡션을 추가하고 '대체 태그'(시각 장애인을 위해 이미지 대신 표시되는 문구)를 제공함으로써 접근성 요구 사항에 집중할 수 있습니다. 
The open nature of online curricula requires attention to regulations governing confidentiality and accessibility. U.S. medical education examples include

• the Health Insurance Portability and Accountability Act (HIPAA), which requires that personal health information be protected;
• the Family Educational Rights and Privacy Act (FERPA), which requires that student information be kept confidential; and
• the Americans with Disabilities Act (ADA), which requires that individuals with disabilities (including, but not limited to, hearing or vision impairment) have access to the curriculum.

Because most institutional LMSs already ensure that confidentiality requirements are met, the CD team can usually focus on accessibility requirements by captioning video content and providing “alt tags” (wording that appears in place of images for the visually impaired).

온라인 커리큘럼 예산은 상당히 다양하며(표 1) 개발, 구현 및 유지 관리 비용을 포함해야 합니다. 일부 교수진은 사용 가능한 리소스에 맞게 목표와 목적을 축소하는 반면, 다른 교수진은 1단계와 2단계에서 파악한 문제와 요구 사항의 강도에 따라 추가 리소스를 성공적으로 확보할 수 있습니다.
Online curricular budgets range considerably (Table 1) and should include the cost of development, implementation, and maintenance. Some faculty scale back goals and objectives to fit available resources, while others may successfully garner additional resources based on the strength of the problem identification and needs demonstrated during Steps 1 and 2.

온라인 커리큘럼은 무료 개방형 접근 방식, 유료 접근 방식, 하이브리드 접근 방식(예: 누구나 접근할 수 있지만 교육 학점을 받으려면 비용을 지불해야 함) 중 하나를 채택할 수 있습니다. 온라인 커리큘럼은 가장 많이 사용되는 CME 활동 유형으로, 2016년에 13억 달러의 등록비가 발생했습니다.34 MOOC는 보통 자격증에 25달러에서 50달러를 청구하며, 인기 있는 MOOC는 직접 수익으로 상당한 수익을 창출할 수 있습니다. 독립적으로 수익성이 없는 온라인 커리큘럼은 보완적인 학업 프로그램 등록을 위한 광고로서 가치가 있을 수 있습니다.
Online curricula can be free and open-access, require payment for access, or adopt a hybrid approach (e.g., anyone may access, but receiving educational credit requires payment). Online curricula are the most-used type of CME activity, which generated $1.3 billion in registration fees in 2016.34 MOOCs often charge $25 to $50 for a certificate; popular MOOCs can generate significant returns as direct revenue. Online curricula that are not independently profitable may be valuable as advertising for enrollment in complementary academic programs.

수강료를 부과하면 커리큘럼 수정 및 유지 관리에 도움이 될 수 있지만 온라인 커리큘럼의 활용도와 영향력을 제한할 수 있습니다. 수강료를 부과할 계획이라면 추가 요소를 고려해야 합니다: 

• 온라인 커리큘럼을 결제 포털과 어떻게 통합할 것인가?
• 개인 또는 교육기관이 수수료를 지불할 것인가?
• 개별 커리큘럼 구성 요소를 기준으로 수수료를 부과할 것인가, 아니면 시간 제한을 기준으로 부과할 것인가?
• 커리큘럼 교수진, 해당 부서 또는 학과, 교육기관 간에 수익이 어떻게 배분됩니까?

Charging fees can support curriculum revision and maintenance, but may limit the uptake and impact of an online curriculum. If planning to charge fees, one must consider additional factors:

• How will the online curriculum integrate with a payment portal?
• Will fees be paid by individuals or institutions?
• Will fees be based on individual curricular components or on a time-limited basis?
• How will revenue be distributed among curriculum faculty, their divisions or departments, and the institution?

커리큘럼을 광범위하게 배포하려는 교수진은 브랜딩 문제(조직의 이름 또는 로고 사용에 관한 정책)도 고려해야 하며, 지적 재산권 소유권도 고려해야 할 수 있습니다. 또한 커리큘럼 개발자는 커리큘럼의 일부가 통제 범위를 벗어나 원치 않는 사용, 변경 또는 배포되지 않도록 보호하고자 할 수 있으며, 우려되는 경우 법률 자문을 구해야 합니다.
Faculty seeking to disseminate curricula broadly must also consider issues of branding—the policies governing use of an organization’s name or logo—and may need to consider intellectual property ownership. Curriculum developers may also wish to protect parts of their curricula from undesired use, alteration, or dissemination beyond their control and, where concerns exist, should seek legal advice.

6단계: 평가 및 피드백
Step 6: Evaluation and Feedback

일반 원칙
General principles

6단계에서는 커리큘럼이 성공적인지, 어떻게 개선할 수 있는지 평가합니다. 여기에는 다음의 10가지 작업이 포함됩니다.

• 평가 사용자 식별, 
• 사용자 요구 사항 명시, 
• 평가 질문의 우선순위 지정, 
• 평가 설계(예: 사후 시험만, 사전/사후 시험, 비교 그룹) 선택, 
• 평가 방법 선택, 
• 도구 구성, 
• 윤리적 문제(예: 기밀성) 해결, 
• 데이터 수집, 
• 데이터 분석, 
• 결과 보고 등 

6단계에는 개별 참가자에 대한 평가와 프로그램의 구조, 프로세스 및 결과에 대한 평가가 포함됩니다. 정성적 및 정량적 데이터는 형성적 및 종합적 목적으로 수집되어야 합니다. 평가 방법론은 실현 가능하고 교육 목표와 일치해야 합니다.
Step 6 evaluates whether the curriculum was successful and how it can be improved. It includes 10 tasks:

• identifying evaluation users,
• articulating user needs,
• prioritizing evaluation questions,
• choosing evaluation designs (e.g., posttest only, pre/posttest, comparison group),
• selecting evaluation methods,
• constructing instruments,
• addressing ethical concerns (e.g., confidentiality),
• collecting data,
• analyzing data, and
• reporting results.

Step 6 includes assessment of individual participants and evaluation of the program’s structures, processes, and outcomes. Qualitative and quantitative data should be collected for formative and summative purposes. Evaluation methodology must be feasible and congruent with educational objectives.

특별 고려 사항
Special considerations

• 혼합형 커리큘럼은 대면 세션을 포함하므로 기존 커리큘럼과 동일한 평가 옵션을 제공합니다.
• 완전 온라인 커리큘럼에서도 교수자는 LMS를 통해 업로드된 문서 및 멀티미디어 파일을 검토하고 온라인 토론에 대한 참여를 추적할 수 있습니다.
• 자기 주도형 모듈과 MOOC는 일반적으로 자동 채점이 필요하므로 평가 옵션이 가장 적습니다.
  • MOOC는 동료 채점도 제공하지만, 이는 타당성을 보장하고 학습자의 참여를 높이기 위해 신중하게 설계되어야 하며, 비슷한 배경을 가진 등록자를 짝지어 동료 평가의 품질을 교수자의 평가와 비교하여 보정하고 가중치를 부여하는 것이 유용할 수 있습니다.35
• Blended curricula offer the same assessment options as traditional curricula because they include face-to-face sessions.
• Even in fully online curricula, instructors can review uploaded documents and multimedia files through an LMS and track participation in online discussions.
• Self-paced modules and MOOCs have the fewest assessment options as both typically require automated grading.
  • MOOCs also offer peer grading, although this must be thoughtfully designed to ensure validity and enhance learner engagement; pairing enrollees of similar backgrounds and calibrating and weighting the quality of peer assessments against the instructor’s may be beneficial.35

온라인 형성 평가의 경우 모바일 장치를 사용하면 언제 어디서나 평가를 수행할 수 있습니다. 학습 대시보드는 학습자에게 자신의 응답이 다른 사람과 어떻게 비교되는지 실시간으로 보여줄 수 있습니다. 게임화 기능은 학습자의 노력과 집중력을 높여 학습 효과를 높일 수 있습니다.36,37 온라인 총괄 평가의 경우 시험 보안 및 무결성을 위한 안전장치가 필요한 경우가 많습니다. 
For online formative assessments, mobile devices can allow assessments to occur at any time and in any location. Learning dashboards can show learners how their responses compare to others in real time. Gamification features can help learners increase effort and focus to enhance learning.36,37 For online summative assessments, safeguards for exam security and integrity are often necessary.

온라인 커리큘럼의 평가에는 일반적으로 다음이 포함되어야 합니다.38 

• 사용성, 재사용 가능성, 지속 가능성, 학습자 경험, 테크놀로지에 대한 만족도 등 비전통적 요소를 평가
• 프로세스/구현에 대한 보다 강력한 평가

온라인 커리큘럼은 또한 신속한 평가 및 조정을 위해 두 가지 대안을 비교하는 "A/B 테스트"를 수행할 수 있는 기회를 제공합니다. 학습자가 커리큘럼에 참여하는 동안 데이터를 전자적으로 수집해야 하는 경우가 많기 때문에 비교 그룹(식별 및 접근이 어려울 수 있음)을 사용하거나 종단적 추적 관찰이 필요한 평가(학습자가 분산되어 있어 응답률이 낮을 수 있음)와 같은 특정 평가 설계가 어려울 수 있습니다.
Evaluation of online curricula should generally include