지식 통합의 방법: 개괄 (Heart Lung, 2014)

Methods for knowledge synthesis: An overview

Robin Whittemore, PhD, APRN, FAAN, Ariana Chao, MSN, RN, FNP-BC, Myoungock Jang, MSN, RN*, Karl E. Minges, MPH, Chorong Park, MSN, RN





도입 Introduction


[특정 질문이나 주제에 관한 모든 관련 연구의 요약]지식 합성KS이 실천, 연구, 정책을 진전시키는데 중요한 반면, 문학의 이질적 본체로부터 얻은 지식을 명확하고 정확한 방법으로 종합하는 것은 어려울 수 있다. 모든 관련 연구를 위해 문헌을 검색하고, 연구의 품질을 평가하고, 이질적인 데이터를 종합하는 것은 연구자들이 문헌을 체계적으로 검토할 때 경험하는 방법론적 난제의 일부다.

While knowledge synthesis - a summary of all pertinent studies on a specific question or topic1 - is critical to advancing practice, research, and policy, synthesizing knowledge froma heterogenous body of literature in a clear and accurate manner can be challenging. Searching the literature for all relevant studies, assessing quality of studies, and synthesizing heterogenous data are some of the methodological challenges researchers experience when undertaking a systematic review of the literature.


확립된 지식 종합 방법으로는 체계적인 검토, 메타 분석, 정성 종합, 통합 검토 등이 있다. 좀 더 최근에는 혼성학 검토, 범위 검토, 효과성과 일반성을 검토하는 검토(즉, RE-AIM 검토), 체계적 검토(즉, 우산 검토)에 대한 검토 방법이 제안되고 있다. 개별 연구뿐만 아니라 검토 결과 보고에 대한 이러한 방법과 지침은 지식 종합 방법의 엄격성과 실천과 정책에 대한 소견의 적용성 및 투명성을 높이기 위해 지속적으로 수정되고 있다.

Established knowledge synthesis methods include the systematic review, meta-analysis, qualitative synthesis, and integrative review. More recently, methods on mixed-studies reviews, scoping reviews, reviews that examine efficacy and generalizability (i.e., RE-AIM review), and reviews of systematic reviews (i.e., umbrella reviews) have been proposed. These methods and guidelines for reporting results from reviews, as well as individual studies, continue to be revised to enhance the rigor of knowledge synthesis methods and the applicability and transparency of findings to practice and policy.


이러한 지식은 개별 연구의 적절하고 정확한 보고를 강화하고, 문헌 검토를 수행할 때 적절한 검토 방법을 결정하며, 연구의 질과 편견을 고려하고, 리뷰를 해석하는 데 도움이 된다.2

This knowledge helps to enhance appropriate and accurate reporting of individual studies, to determine an appropriate review method when undertaking a review of the literature, to consider quality and bias of studies, and to interpret reviews.2


지식 합성 방법론 개요

Overview of knowledge synthesis methodology


모든 지식 합성 방법에는 개별 연구가 신뢰할 수 있는 연구 결과를 가지고 있고 합성된 연구 결과가 개별 연구의 통합 또는 합성을 정확하게 나타내기 위해 체계적이고 감사 가능한 접근법이 포함되어야 한다.3 모든 지식 합성 방법에는 다음과 같은 공통점이 있다. 

  • a) 명시적 목적 

  • b) 방법론적 프로토콜의 개발; 

  • c) 관련 연구 기사를 찾기 위한 종합적인 검색 전략; 

  • d) 개별 연구에서 편향의 품질 및 잠재적 위험을 평가하는 방법 또는 전통 

  • e) 명시적 데이터 수집 및 종합 절차3e5 

All knowledge synthesis methods must include a systematic and auditable approach to assure that individual studies have trustworthy findings and that the synthesized findings accurately represent the aggregation or synthesis of individual studies.3 Common to all knowledge synthesis methods are: 

  • a) an explicit aim; 

  • b) development of a methodological protocol; 

  • c) comprehensive search strategies to find relevant research articles; 

  • d) a method or tradition of evaluating quality and potential risk of bias in individual studies; and 

  • e) explicit data collection and synthesis procedures.3e5 


결과의 제시는 특정 방법에 따라, 방법의 기초적인 가정에 따라 다르다.

Presentation of the results varies depending on the specific method and the underlying assumptions of the method.


Gough와 동료2는 집적 논리나 구성 논리의 사용으로 나누어 검토방법에 있어서 차별화를 명확히 했으며, 이는 결과적으로 결과의 제시에 영향을 미친다. 

  • 평균 효과 크기나 수치 계산을 결정하기 위해 균질한 경험적 데이터를 포함하는 검토는 집적 논리(예: 일부 체계적 검토, 메타분석)에 기초하며, 결과는 일반적으로 수치 데이터와 숫자로 제시된다. 

  • 이와는 대조적으로 현상의 보다 탐구적이고 다양성과 복잡성을 추구하는 검토는 결과가 개념적 모델이나 서술적 텍스트로 제시되며 구성 논리(예: 질적 종합, 혼합 연구 검토)에 기초한다.

Gough and colleagues2 have articulated a differentiation in review methods that either use aggregative logic or configuring logic, which subsequently affects the presentation of results. 

  • Reviews that include homogenous empirical data in order to determine average effect sizes or numerical counting are based in aggregative logic (e.g., some systematic reviews, meta-analyses), and results are typically presented as numerical data and figures. 

  • In contrast, reviews that are more exploratory and seek variation and complexity of phenomenon are based on configuring logic (e.g., qualitative synthesis, mixed-studies review) with results presented as a conceptual model or narrative text.



지식 종합 방법 가이드라인

Guidelines for knowledge synthesis methods


가이드라인은 그러한 유형의 검토, 검색 전략 및 데이터 수집 방법, 품질 평가 도구, 데이터 추출 및 분석 절차, 보고 권고사항에 필요한 연구 설계 유형을 명시한다. 

  • 체계적 검토 및 메타분석 가이드라인이 잘 개발되어 있으며, 상세한 정보와 체크리스트를 제공하여 엄격한 검토를 실시하고, 검토 방법의 공표에 포함시키는 데 필요한 정보를 제공한다. 

  • 이와는 대조적으로 질적합성, 혼성연구 검토, 우산 검토 등에 대한 가이드라인이 등장하고 있으며, 검토와 본문합성의 방향성을 제시하고 있지만, 현재 방법론적 접근방법에 대해서는 합의가 이루어지지 않고 있다.

Guidelines specify the type of study design required for that type of review, search strategies and data collection methods, quality appraisal tools, data extraction and analysis procedures, and reporting recommendations. 

  • Guidelines for systematic reviews and meta-analyses are well developed and provide detailed information and checklists to conduct a rigorous reviewand the necessary information to include in the publication of a review method. 

  • In contrast, guidelines for qualitative syntheses, mixed studies reviews, and umbrella reviews are emerging and provide direction to conduct the review and synthesize text, however there is no consensus on the methodological approach at this time.

모든 검토 방법에 대한 주요 과제 중 하나는 [검토에 포함된 연구의 품질에 대한 평가]다. 개별 연구의 품질에 대한 평가는 어렵고, 잠재적으로 편향될 수 있으며, 메타분석을 제외하고는 개별 연구의 품질을 검토 분석에 어떻게 고려할지 불분명하다. 그럼에도 불구하고, 모든 검토 방법에 대한 품질 기준이 제안되었다.

One of the major challenges for all review methods is the appraisal of the quality of studies included in the review. Assessment of the quality of individual studies is difficult and potentially biased, and with the exception of the meta-analysis, it is unclear how to factor in the quality of an individual study into the review analysis. Nonetheless, quality standards for all review methods have been proposed.



체계적 검토

Systematic review


체계적 검토는 [관련 연구를 식별하고, 연구 품질을 평가하고, 결과를 요약함으로써 복수의 연구의 증거를 결합하기 위해 사용되는 방법]이다.17,18 편향을 최소화하고, 신뢰할 수 있는 발견과 증거를 제공하기 위해 명시적이고 체계적이며 투명한 방법을 이용한다.5 체계적 검토는 통계적 분석(연구 설계와 결과가 동일한 경우) 또는 서술적 분석을 사용하여 수행할 수 있다. 분석적 접근방식과 무관하게, 복수의 구성요소를 가진 개입이나 다른 조치를 포함하는 개별 연구의 결과를 종합하는 것은 추가적인 어려움을 야기한다체계적 검토의 품질이 떨어지고 일관성 없는 보고가 과학적 추론과 결론을 내리는데 유용성을 감소시킬 수 있다.19,20

A systematic review is a method used to combine evidence of multiple studies by identifying relevant research, appraising study quality, and summarizing findings.17,18 It utilizes explicit, systematic, and transparent methods to minimize bias and provide reliable findings and evidence.5 Systematic reviews can be conducted using a statistical analysis (if study designs and outcomes are homogenous) or a narrative analysis. Regardless of analytic approach, synthesizing the results of individual studies that includes interventions with multiple components or different measures poses additional challenges. Poor quality and inconsistent reporting of the systematic review may diminish their usefulness to make scientific inferences and conclusions.19,20


체계적 검토에서 보고의 표준화를 강화하기 위해 체계적 검토 및 메타분석(PRISMA)에 대한 보고의 투명성을 개선하고 체계적 검토 전반에 걸친 일관성을 높이기 위해 PRISMA(Prize Reporting Items for Systemic Reviews and Meta-Analyses)를 권고하였다.21 PRISMA는 QUOROM statement에서 진화되었다. 그리고 그것은 연구자들이 검토를 수행하고 결과를 요약하는 데 사용할 수 있는 명시적이고 체계적인 접근법을 제공한다.19 PRISMA 문항은 27개 항목 체크리스트와 4개 단계 흐름도로 구성된다.21 보고서는 개별 연구의 편향 위험과 개별 연구의 편향 위험을 평가할 필요성을 강조한다. 누적 증거에 영향을 미치다19

To enhance the standardization of reporting in systematic reviews, the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) has been recommended to improve the transparency of reporting systematic reviews and enhance consistency across systematic reviews.21 The PRISMA statement evolved from the Quality of Reporting Meta-analyses (QUOROM) statement,22 and it provides an explicit and systematic approach that researchers may use to conduct a review and summarize findings.19 The PRISMA Statement comprises a 27-item checklist and a four-phase flow diagram.21 The report emphasizes the need to assess risk of bias in individual studies and risk of bias across studies that may affect the cumulative evidence.19


심부전에 대한 체계적인 검토의 예는 표 3에 수록되어 있다. 이 검토의 목적은 [심부전이 있는 성인의 우울증에 대한 다양한 치료법을 평가]하는 것이었다.6

An example of a systematic review in heart failure is included in Table 3. The purpose of this review was to evaluate different types of treatment for depression in adults with heart failure.6


메타-분석

Meta-analysis


메타분석(meta analysis)은 [효과크기의 전체적인 효과와 크기를 결정하기 위해 통계적 방법을 사용하여 증거를 결합]하는 체계적 검토의 한 유형이다.23 이 기법은 연구 결과의 수렴, 다양성 및 강건성, 증가된 힘을 가진 효과의 통계적 유의성, 모어의 발달에 관한 질문에 대답하는 데 사용할 수 있다.e 효과의 정확한 추정 및 효과의 조정자 검사(즉, 부분군 및 조건에 걸쳐 일관성이 있는지 여부).24,25 이러한 연구의 목적은 기존 연구의 균형적이고 공정한 개요를 제시하는 것이며, 수많은 전략이 발견의 품질을 높이기 위해 고안되었다.

Meta-analysis is a type of systematic review that combines evidence using statistical methods to determine overall effects and magnitude of effect size.23 This technique can be used to answer questions about the convergence, divergence, and robustness of study results, statistical significance of an effect with increased power, development of a more precise estimate of effects, and examination of moderators of effects (i.e., whether they are consistent across subgroups and conditions).24,25 The objective of these studies is to present a balanced and impartial summary of existing research, and numerous strategies have been designed to increase the quality of findings.


Findings의 품질을 보장하기 위해 메타분석을 실시할 때 고려해야 할 다양한 고유한 특징과 고려사항이 있다. 

There are a variety of unique features and considerations to think about when conducting a meta-analysis to help ensure the quality of findings. 


    • 첫째, 연구자들이 분석에 포함된 각 개별 연구에 품질 점수를 부여할 것을 제안한다. 수많은 도구가 개발되었지만, 가장 잘 확립된 품질 평가 도구는 코크란 협업에 의해, 각 개별 연구의 편향 위험을 평가할 것을 권고한다.24 

    • 둘째, 저품질 연구와 표본 크기의 영향을 평가하기 위해서는 민감도 분석을 포함하는 것이 좋다. 또한 오즈비, 위험비 등 효과 크기를 계산하고 깔때기 그림 및 에거의 회귀 테스트를 사용하여 간행물 편향을 평가하는 기법도 개발되었다. 

    • First, it is suggested that researchers assign quality scores to each individual study included in the analysis. Though numerous tools have been developed,26,27 the most well-established quality appraisal tool is by the Cochrane Collaboration, which recommends assessing the risk of bias of each individual study.24 

    • Second, to assess the impact of low quality studies and sample size, it is recommended to include a sensitivity analysis.28,29 Techniques have also been developed for calculating effect sizes including odds ratios and risk ratios, and assessing publication bias using funnel plots29,30 and Egger’s regression tests.25,31 


연구자들은 [forest plot]을 사용하여 결과에 대한 그림적 표시를 제공할 수 있으며 코크란의 Q를 사용하여 연구의 이질성을 테스트하고 분석 결정을 안내할 수 있다(예: 가중 평균 또는 고정 또는 무작위 효과 모델 사용). 

Researchers can use forest plots to provide a pictorial presentation of the results and can use Cochrane’s Q to test the heterogeneity of the studies and to guide analysis decisions (e.g., using weighted averages or a fixed or random effects model).32,33 


메타리그레션은 이러한 이질적 요인을 더욱 탐구하기 위해 활용할 수 있다. 메타분석을 실시할 때 연구자가 갖는 수많은 선택에도 불구하고, 연구자와 임상의가 고품질 메타분석을 수행하고 검토의 포괄성과 완전성을 평가할 수 있도록 가이드라인이 필수적이다.

Metaregression can be utilized to further explore these heterogenous factors.34 Despite the numerous choices researchers have when conducting meta-analyses, guidelines are essential to help researchers and clinicians conduct a high quality meta-analysis and assess the comprehensiveness and completeness of the review.


무작위 제어 시험과 관찰 연구의 메타 분석 모두를 위한 지침이 제정되었다. 연구자, 검토자, 편집자는 종종 이 지침을 출판의 표준으로 사용한다. 

    • 무작위 통제 시험의 메타분석 보고 개선 지침은 앞에서 논의한 바와 같이 체계적 검토인 PRISMA에 사용된 지침과 동일하다. 

    • 관측 연구의 메타분석을 실시하는 사람들을 위해 역학 관측 연구의 메타분석 체크리스트가 작성되었다.35

Guidelines have been established for meta-analyses of both randomized controlled trials and observational studies. Researchers, reviewers, and editors often use these guidelines as standards for publication. 

    • The guideline to improve the reporting of meta-analyses of randomized controlled trials is the same guideline used for systematic reviews, PRISMA, as previously discussed. 

    • The Meta-Analysis of Observational Studies in Epidemiology (MOOSE) checklist has been created for those conducting a metaanalysis of observational studies.35


심부전 문헌의 메타분석의 예는 표 3에 제시되어 있다. 이 검토의 목적은 심부전이 진행된 환자와 증상성 질환이 적은 환자에 대한 심장 재동기화 요법(CRT)의 이점과 위해성을 평가하는 것이었다.8

An example of a meta-analysis in the heart failure literature is provided in Table 3. The purpose of this review was to evaluate the benefits and harms of cardiac resynchronization therapy (CRT) in patients with advanced heart failure and those with less symptomatic disease.8


질적 합성 Qualitative synthesis


일차 질적 연구의 합성을 수행하는 목적은 다음을 포함한다. 

    • 조사 중인 현상에 대한 깊은 이해를 발전시키고 이전에 숨겨져 있던 패턴을 밝혀낸다. 

    • 이론을 생성한다. 

    • 참가자의 관점에서 장벽, 촉진자, 인식 및 태도를 탐구한다. 

    • 연습과 연구의 새로운 영역을 식별한다. 

    • 복잡한 중재와 임상 실험의 변동 이유를 밝힌다.  

The purposes of conducting a synthesis of primary qualitative studies include to: 

    • develop a deeper understanding of the phenomenon under investigation and uncover previously hidden patterns, 

    • generate theory, 

    • explore the barriers, facilitators, perceptions, and attitudes from the participants’ perspective, 

    • identify emerging areas of practice and research, and 

    • reveal reasons for variation in complex interventions and clinical trials.36e38


질적 연구의 발표된 합성물의 수는 계속 증가하고 있으며, 해석적 패러다임과 통합적 패러다임을 모두 아우르는 4개에서 9개까지의 합성 방법까지 질적 합성을 수행하기 위해 취할 수 있는 접근법의 수에 대해서는 다양성과 이견이 있다. 

The number of published syntheses of qualitative studies continues to increase,39,40 and there is diversity and disagreement as to the number of approaches one may take to conduct a qualitative synthesis, ranging from four to nine synthesis methods that span both interpretative and integrative paradigms.41e43 


궁극적으로, 어떤 방법을 채택할 것인가는 합성 질문 및 목적, 발표된 연구의 수, 그리고 합성을 수행하는 팀의 지식과 전문지식을 포함한 몇 가지 요인에 따라 달라진다. 또한 연구자의 인식론적 입장, 일차적 질적 연구의 방법론, 그리고 결과를 설명하려는 것인지 종합하려고 하는지의 여부에 따라서도 달라진다.

Ultimately, the choice of which method to employ varies on several factors, including the question and purpose of the synthesis, number of published studies, and knowledge and expertise of the team conducting the synthesis,42 as well as the researcher’s epistemological stance, methodology of primary qualitative studies, and whether one seeks to describe or synthesize results.41


    • 메타-민족지학은 가장 널리 인용된 질적 합성 방법이며, 질적 데이터 분석에 대한 귀납적 및 해석적 접근방식으로 구성된다.12,44 각 1차 연구의 소견을 전체 합성으로 이론적 샘플링과 상호 변환하는 것을 포함한다.12,44 이후 이를 통해 텍스트로 그리고 그래픽으로 제공할 수 있다. 요약표, 모델 또는 도표.45 메타윤리학은 종종 새로운 연구 질문과 이론의 생성을 포함하여 현상에 대한 새로운 통찰력을 가져오거나 포화상태에 도달한 지점을 나타낸다.

The meta-ethnography has been the most widely cited qualitative synthesis method and comprises an inductive and interpretive approach to qualitative data analysis.12,44 It involves theoretical sampling and reciprocal translations of findings from each primary study into the overall synthesis, which can then be presented textually and graphically via summary tables, models, or diagrams.45 The meta-ethnography often results in new insights to a phenomenon, including the generation of new research questions and theories, or indicates a point where saturation has been reached.


    • 타신테시스(metasynthesis)는 질적 연구를 합성하기 위해 자주 사용되는 또 다른 방법이다. 기술 방법 46과 다소 모호하고 상호 교환이 가능한 용도에 대한 합의가 부족하지만, 우리가 여기서 언급하고 있는 포괄적 용어는 샌들노프스키와 바로소가 제공한 질적 전이성 방법이다.48 질적 메타신테시스(Quality metasynthesis)은 여러 가지 서로 다르지만 상호관련된 질적 연구의 결과를 통합하여 연구 결과를 종합하고 관심현상에 대한 보다 높은 개념적, 맥락적 이해에 기여하는 체계적인 접근법이다.46,48

The metasynthesis is another frequently used method to synthesize qualitative studies. While there is a lack of consensus about the technique’s methods,46 and its somewhat ambiguous and interchangeable use,38,47 the umbrella term we are referring to here is the qualitative metasynthesis method as provided by Sandelowski and Barroso.48 Qualitative metasynthesis is a systematic approach that integrates results from a number of different, but inter-related qualitative studies to synthesize research findings and contribute to a new higher conceptual and contextual understanding of the phenomenon of interest.46,48


    • "근거 형식 이론"이라고도 알려진 메타-근거 이론 방법론은 일차적 근거 이론 연구를 분석하기 위해 일정한 비교 및 이론적 샘플링을 사용하는 귀납적 접근을 포함한다. 그것은 종종 현상의 과정과 새로운 이론의 발전에 대한 더 높은 수준의 통찰력을 알려준다.

Meta-grounded theory methodology, also known as “grounded formal theory,” involves an inductive approach that uses constant comparative and theoretical sampling to analyze primary grounded theory studies. It often informs higher-level insight into the processes of a phenomenon and the development of new theories.47,49,50


일차적 질적 연구를 검색하는 것이 어려운 과제가 될 수 있지만, 질적 연구를 찾아내고 검색하는 몇 가지 검색 전략이 존재한다. 이러한 접근법은 데이터베이스 필터를 사용하고, 민감도와 특수성 알고리즘을 극대화하여 주요 데이터베이스에 대한 최적의 검색 전략을 개발한다.51e54년

Although searching for primary qualitative studies can be a difficult task, several search strategies exist to locate and retrieve qualitative studies. These approaches use database filters, and maximizing sensitivity and specificity algorithms to develop optimal search strategies for key databases.51e54


포함 및 제외 기준의 식별은 선택된 질적 합성 방법에 따라 결정된다. 품질에 근거한 선택도 일부 정성적 기법과의 고려사항이다. 실제로, 1차 질적 연구에 품질 평가 지침을 적용하기로 한 결정은 논쟁의 하나이다. 40,55e57 품질 평가를 위한 많은 지침과 기준이 존재하지만, 10,44,58e60 어느 것도 선호되는 접근법으로서 합의에 도달하지 못했다.

Identification of inclusion and exclusion criteria is contingent upon the qualitative synthesis method that is selected. Exclusion on the basis of quality is also a consideration with some qualitative techniques. Indeed, the decision to apply quality appraisal guidelines to primary qualitative studies is one of contention.40,55e57 While many guidelines and criteria exist for assessing quality,10,44,58e60 none have reached consensus as the preferred approach.


1차 질적 연구에 적용되는 품질평가 가이드라인을 포함시키기 위한 논의가 계속되고 있지만, 질적 종합의 품질을 높이기 위한 일부 전략이 제시될 수도 있다. 일차 질적 연구를 수행하는 연구자가 신뢰도(신뢰성, 이전성, 신뢰성, 확인성)를 통해 방법론적 엄격성을 달성하는 것과 거의 동일한 방식으로, 질적 합성을 수행하는 연구자는 일차 연구의 합성에 사용되는 방법의 투명성을 보고해야 한다. 

While the debate to include quality appraisal guidelines applied to primary qualitative studies continues, some strategies may be suggested to enhance the quality of qualitative syntheses. Much in the same way that researchers conducting primary qualitative studies achieve methodological rigor through trustworthiness (credibility, transferability, dependability, and confirmability),61 researchers conducting a qualitative synthesis should report transparency in the methods used to synthesize primary studies. 


투명성을 통합한 보고 도구의 한 예는 "질적 연구의 종합성 보고의 투명성 향상(ENTREQ)"이다.62 이 지침은 도입, 방법, 문헌 검색 등 합성의 주요 측면에 대한 평가를 수반하는 21항목 체크리스트를 사용한다. 정성적 종합 검토 보고에 대한 몇 가지 다른 지침이 존재하지만, 대부분의 품질 평가 가이드라인에 포함된 62e65의 주요 고려사항에는 감사 추적, 회원 확인 및 방법론의 투명성이 포함된다. 기타 질적 연구를 관리, 평가, 분석 및 종합하기 위한 포괄적인 지침이 제공된다.41,63,66

One example of a reporting tool that incorporates transparency is entitled “Enhancing Transparency in Reporting the Synthesis of Qualitative Research (ENTREQ).”62 This guideline uses a 21-item checklist that entails the appraisal of key aspects of the synthesis, including introduction, methods, and literature search. While several other guidelines exist for the reporting of qualitative syntheses reviews,62e65 key considerations encompassed in most quality appraisal guides include an audit trail, member checking, and transparency of methodology. Other comprehensive guides to manage, appraise, analyze, and synthesize qualitative research are available.41,63,66


심부전 문헌의 전이성 예시는 표 3에 제시되어 있다. 본 연구의 목적은 노인들이 만성적인 심장마비로 어떻게 살아가는지에 대한 정성적 연구의 결과를 종합하는 것이었다.9

An example of a metasynthesis in the heart failure literature is provided in Table 3. The purpose of this study was to synthesize results of qualitative studies on how older people live with chronic heart failure.9


혼합 연구 검토

Mixed studies review


혼합 연구 검토는 질적, 정량적 및/또는 혼합적 방법을 동시에 검토하는 문헌 검토이다.67 혼합 연구 검토라는 용어는 통합적 검토, 혼합 방법 검토, 혼합 방법 검토, 혼합 방법(연구) 종합 또는 정량 및 정성적 연구의 결과의 종합과 함께 종종 상호 교환적으로 사용된다.67 Pluye와 동료 67은 '혼합 연구 검토'라는 용어를 정량적, 정성적 및 혼합 방법 연구 설계를 포함하는 검토에 사용할 것을 제안했다.

Mixed studies review is a literature review that concurrently examines qualitative, quantitative and/or mixed methods primary studies.67 The term mixed studies review is often used interchangeably with integrative review, mixed methods review, mixed methods (research) synthesis, or synthesis of results of quantitative and qualitative studies.67 Pluye and colleagues67 have suggested the term ‘mixed studies review’ be used for reviews that include quantitative, qualitative, and/or mixed methods study designs.


혼합 연구 검토는 질적 연구와 양적 연구의 장점을 결합하여 동일한 중복 또는 보완적 검토 문제를 해결하는 것을 목표로 한다3. 따라서, 혼합 연구 검토는 복잡한 현상 67에 대한 견실한 통찰력을 제공할 수 있을 뿐만 아니라, "이런 종류의 개입이 누구를 위해, 어떤 상황에서, 어떤 면에서, 그리고 왜"에 대하여 대답함으로써 개입의 발전도 제공할 수 있다."68

A mixed studies review aims to address the same overlapping or complementary review questions3 by combining the strengths of both qualitative and quantitative studies. Thus, a mixed studies review can provide robust insight to a complex phenomenon67 as well as development of an intervention by answering “what is it about this kind of intervention that works, for whom, in what circumstances, in what respects, and why.”68


그러나 혼합 연구 리뷰를 기획, 설계, 평가하기 위한 가이드라인에 대한 공감대가 부족하다. 검토 질문에 따라 다양한 유형의 1차 연구(질적, 정량적 관찰, 정량적 실험 및 혼합 방법 연구)의 다양한 조합과 이러한 연구 결과를 통합하는 다양한 방법으로 혼합 연구 검토를 수행할 수 있다. 혼합 연구 검토의 특성상, 혼합 연구 검토의 방법론적 품질을 평가하기 위한 지침이나 기준을 잘 정립하는 것이 어렵다. 증거 기반 실천에 초점을 맞춘 비영리 단체인 조안나 브릭스 연구소(JBI)는 혼합 방법 검토를 수행하는 방법에 대한 지침을 포함하는 매뉴얼을 개발했다.69 이 매뉴얼에는 혼합 연구 검토의 결과를 보고할 때 포함해야 할 필수 구성요소의 지침도 포함되어 있다.

However, there is a lack of consensus for guidelines to plan, design, and assess mixed studies reviews. Depending on the review question(s), a mixed studies review can be conducted with a diverse combination of different types of primary studies (qualitative, quantitative-observational, quantitative-experimental, and mixed method studies) and with varied ways of integrating those findings. Due to the nature of mixed studies review, it is challenging to develop a well-specified guideline or criteria for appraising the methodological quality of a mixed studies review. The Joanna Briggs Institute (JBI), a non-profit organization focused on evidence based practice, has developed a manual that contains guidelines about methods to conduct mixed methods reviews.69 The manual also contains guidelines of essential components to include when reporting results from a mixed studies review.


심부전 문헌의 혼합 연구 리뷰의 예는 표 3에 제시되어 있다. 이 연구의 목적은 심부전이 있는 성인의 자기 관리에 기여하는 간병인의 활동을 설명하는 것이었다.11

An example of a mixed studies review in the heart failure literature is provided in Table 3. The purpose of this study was to describe caregivers’ activities contributing to self-care in adults with heart failure.11


통합 검토

Integrative review


통합 검토는 검토의 목적에 따라 경험적 또는 이론적 문헌을 포함할 수 있는 광범위한 접근법과 표본 추출 프레임을 포함하는 지식 종합 방법의 범주다.15 통합 검토는 다음과 같은 것들에 초점으 ㄹ둘 수 있다.

    • 방법론(예: 개념의 개념 및 운영 정의 평가), 

    • 이론(예: 다른 행동 변화 이론 평가) 및/또는 

    • 연구하다

Integrative reviews are a category of knowledge synthesis methods that include a broad approach and sampling frame that can include empirical or theoretical literature, or both, depending on the purpose of the review.15 Integrative reviews can focus on 

    • methodology (e.g., evaluating the conceptual and operational definitions of a concept), 

    • theory (e.g., evaluating different behavior change theories), and/or 

    • research.70 


지식 합성 방법의 방법론적 발전으로, 통합 검토 방법은 [일차 연구]를 [방법론적 및 이론적 문헌]과 결합하여 지식을 종합하는 데 가장 적합하다. 검토의 모든 논문이 1차 연구일 경우 체계적인 검토, 메타 분석 또는 혼합 연구 검토 방법을 사용해야 한다.

Due to the methodological development of knowledge synthesis methods, the integrative review method is best suited for synthesizing knowledge on primary research combined with methodological and/or theoretical manuscripts. If all of the articles in a review are primary research, then a systematic review, meta-analysis, or mixed studies review method should be used. 


통합적 검토를 위한 방법론적 지침이 제안되었다. 그러나 품질 평가는 특히 이론적 및 경험적 출처를 포함하는 것이 어렵다. 일차 소스의 품질을 평가할 필요가 있으며, 한 가지 가능한 방법은 진위성, 방법론적 품질, 정보 가치 및 일차 소스의 대표성을 조사하면서 역사적 연구의 접근법을 사용하는 것이다.71 

Methodological guidelines for the integrative review have been proposed15; however quality appraisal is challenging, particularly with the inclusion of theoretical and empirical sources. Evaluating the quality of primary sources needs to be considered and one possible method would be to use the approach of historical research, examining authenticity, methodological quality, informational value, and representativeness of primary sources.71


심부전 문헌의 통합적 검토의 예는 표 3에 제시되어 있다. 이 연구의 목적은 심부전이 있는 성인에 대한 간호사가 주도하는 과도기적 치료 개입이 다양한 결과에 미치는 영향을 조사하는 것이었다.14

An example of an integrative review in the heart failure literature is provided in Table 3. The purpose of this study was to examine the effects of nurse-led transitional care interventions for adults with heart failure on various outcomes.14


이와 같이, 검토에 포함된 모든 원고가 개입의 효과를 평가하는 정량적 연구라면 이러한 통합적 검토도 체계적인 검토로 분류할 수 있을 것이다. 서로 다른 유형의 검토의 방법론을 개발하는 데 더 많은 관심을 기울임에 따라, 각 방법의 구별되는 특징과 용어 사용은 더욱 일관성이 있어야 한다. 

As can be seen, this integrative review could also be classified as a systematic review as all manuscripts included in the review were quantitative research evaluating the efficacy of an intervention. As greater attention is paid to the developing methodology of different types of reviews,the distinguishing features of each method and the use of terminology should become more consistent. 


범위 지정 검토

Scoping review


범위 검토는 [최근 현상에 대해 알려진 것을 광범위하게 이해하기 위해 다양한 증거를 요약하는 지식 종합 방법]으로 제안되었다. 범위 지정 검토는 "연구 영역을 뒷받침하는 핵심 개념과 이용 가능한 주요 출처 및 유형의 증거를 신속하게 식별해야 하며, 특히 영역이 복잡하거나 이전에 종합적으로 검토되지 않은 경우 그 자체로 독립형 프로젝트로 수행할 수 있다"고 한다.

Scoping reviews have recently been proposed as a knowledge synthesis method to summarize a range of evidence in order to understand broadly what is known about a phenomenon.72 Scoping reviews “aim to rapidly identify the key concepts under-pinning a research area and the main sources and types of evidence available, and can be undertaken as stand alone projects in their own right, especially where an area is complex or has not been reviewed comprehensively before.”73 


범위 지정 검토는 [주제에 대한 폭넓은 접근법, 목적성 있는 표본 추출 프레임, 문헌의 gap 확인 등]과 같은 지점에서 체계적인 검토와 차별화된다. 방법론적 지침이 제안되어 왔으며, 범위 검토에 사용할 수 있는 다양한 주요 출처 때문에 일반적으로 품질을 평가하지 않는다. 심장 마비에 대한 범위 지정 리뷰를 찾을 수 없었다.

Scoping reviews are differentiated from systematic reviews in their broad approach to a topic, purposive sampling frame, and identification of gaps in the literature.74 Methodological guidelines have been proposed72 and quality is generally not appraised due to the variety of primary sources that can be used in the scoping review. A scoping review about heart failure was unable to be located. 


RE-AIM 검토

RE-AIM review


[연구의 개입 및 실천으로의 전환이 공중 보건에 미치는 영향을 평가해야 하는 필요성]에 대한 관심이 늘어나며, 글래스고와 동료들은 개입의 도달 범위, 효능 또는 효과, 채택, 이행 및 유지관리(RE-AIM Framework)를 촉진하고 평가하는 가이드라인을 확립하기 위한 광범위한 작업에 착수했다.

In response to concerns regarding the need to assess the public health impact of interventions and translation of research to practice, Glasgow and colleagues have undertaken extensive work to establish guidelines that promote and evaluate the reach, efficacy or effectiveness, adoption, implementation, and maintenance (RE-AIM Framework) of interventions. 


이 프레임워크는 최근 23개 항목의 데이터 추출 도구를 사용하여 지식 합성 방법으로 확장되었다. 이 도구는 5개의 RE-AIM 치수에 걸쳐 개별 연구의 데이터를 코드화하고 합성하는 데 사용할 수 있다. 이러한 유형의 검토 결과는 개입의 효과뿐만 아니라 개입의 일반성에 대한 증거를 제공한다.

This framework has recently been extended to knowledge synthesis methods through the use of a 23-item data extraction tool.81 This tool can be used to code and synthesize data from individual studies across the five RE-AIM dimensions.81 The result of this type of review provides evidence not only on the efficacy of an intervention, but also the generalizability of the intervention


엄브렐라 리뷰

Umbrella review


체계적 검토가 급속도로 증가하고, 실천과 정책을 위한 증거의 적시에 번역이 필요함에 따라, 최근 우산 검토의 필요성과 효용이 명백해졌다. 우산 리뷰는 '메타리뷰' 또는 '리뷰의 오버뷰'로 알려져 있으며, 기존의 체계적 리뷰에 대한 리뷰다. 우산 검토는 이용 가능한 증거를 요약하기 위한 목적으로 폭에 초점을 맞춘다. 

Driven by the rapid increase in the number of systematic reviews and need for timely translation of evidence to practice and policy, the need for and utility of umbrella reviews has recently become apparent. Umbrella reviews are also known as metareviews and overviews of reviews, and are reviews of existing systemic reviews. Umbrella reviews focus on breadth with the aim of summarizing available evidence. 


그것들은 어떤 주제에 대해 알려진 것과 전형적으로 여러 종류의 합성을 포함하는 것을 요약하기 위해 출판된 리뷰의 유사성과 차이점을 평가하는 데 사용될 수 있다. 우산 검토 수행 및 결과 보고 지침은 JBI69와 Cochrane에서 이용할 수 있다(검토 개요라고 한다). 이러한 유형의 검토 내에서, 연구자들은 종종 체계적 검토의 방법론적 품질을 평가하기 위해 검증된 11항목 측정 도구인 다중 체계적 검토(AMSTAR)의 평가를 사용하지만, 명확하게 확립된 지침은 없다.

They can be used to assess similarities and differences in published reviews to summarize what is known about a topic69,82,83 and typically involve a number of the different types of syntheses. Guidelines for conducting umbrella reviews and reporting the results are available from JBI69 and Cochrane (referred to as overviews of reviews).84 Within these types of reviews, researchers often use the assessment of multiple systematic reviews (AMSTAR), a validated 11-item measurement tool, to assess the methodological quality of the systematic reviews85; however, there are no clearly established guidelines.


개별 연구 보고 지침

Guidelines for reporting of individual studies


무작위 통제 재판(RCT)의 결과 보고 지침은 통합 보고 재판 표준(Consort)과 함께 개발된 첫 번째 지침 중 하나이다. CONSORT 가이드라인은 25개 항목 체크리스트에 무작위 시험 보고에 대한 최소 기준을 명시하고 있으며, 여기에는 시험을 통한 참가자 흐름을 도식화하는 권고사항이 포함된다.87 CONSORT 표준은 편집 그룹의 광범위한 지지를 얻었으며 대부분의 저널에서 RCT에 대한 연구 보고서 발행을 위해 요구된다.

A guideline for reporting results of a randomized control trial (RCT) was one of the first to be developed with the Consolidated Standards of Reporting Trials (CONSORT). The CONSORT guidelines specify the minimum criteria for reporting randomized trials in a 25-item checklist, which includes recommendations to diagram participant flow through the trial.87 The CONSORT standards have gained extensive support by editorial groups and are required by most journals for publication of a research report on an RCT.


CONSORT 지침의 사용에 따른 보고 추적의 표준화 개선은, 특정 유형의 시험trial에 대한 보고 개선을 위한 추가적인 이니셔티브를 촉발하였다. 예를 들어, 클러스터 무작위 시험의 보고와 eHealth 개입에 대한 지침이 있다.88,89 또한 다양한 유형의 연구에 대해 가이드라인이 개발되었다. 예를 들어 관찰연구 보고(STROBE), 비임의 행동개입(TREND), 91, 보고질적 연구(COREQ)에 대한 보고지침이 개발되었다.

The improvement in standardization of reporting trails that resulted from the use of the CONSORT guidelines has resulted in additional initiatives to improve the reporting of specific types of trials. For example, there are guidelines for the reporting of cluster randomized trials and eHealth interventions.88,89 Guidelines have also been developed for different types of research. For example, guidelines for reporting of observational studies (STROBE),90 reporting for non-randomized behavioral interventions (TREND),91 and reporting qualitative research have been developed (COREQ).65


1993년 CONSORT 가이드라인이 개발된 이후, 연구/연구 설계 유형에 따른 200개 이상의 보고 가이드라인이 제안되었다. 전세계 과학자들에게 중요한 이러한 급증하는 정보의 결과로, 건강 연구를 위한 보고 지침 카탈로그 - EQUATOR 네트워크 -가 제정되었다. 이 저장소는 보건 연구 보고에 있어 가이드라인의 활용을 개선하기 위해 특별히 설립되었다. 네트워크는 작성자, 저널 편집자, 동료 검토자 및 보고 가이드라인 개발자에게 보건 연구 보고와 관련된 쉽게 접근할 수 있는 자원을 제공한다.

Since the development of the CONSORT guidelines in 1993, over 200 different reporting guidelines according to the type of study/research design have been proposed. As a result of this burgeoning information that is critical to scientists worldwide, the Catalogue of Reporting Guidelines for Health Research - EQUATOR Network - was established. This repository was specifically established to improve the use of guidelines in the reporting of health research. The network provides easily accessible resources related to health research reporting for authors, journal editors, peer reviewers, and reporting guideline developers.


고찰 Discussion


이와 관련하여 본 논문은 지식 종합 기법의 향후 방법론적 발전을 위한 몇 가지 영역을 식별하였다. 연구자들은 먼저 각 유형의 검토에 대한 기본적인 가정을 고려해야 하지만, 정성적 종합, 혼합 연구 검토, 통합 검토 및 범위 지정 검토를 위한 품질 평가뿐만 아니라 방법론적 접근법과 보고 지침을 다룰 기회가 존재한다. 이러한 방법들 중 몇 가지가 새로운 것이기 때문에(예: 혼합 연구 검토, 범위 지정 검토, 우산 검토), 각 유형의 검토의 진전된 개발은 궁극적으로 미래 건강관리 연구를 종합하는 방법의 품질, 범위 및 적용 가능성을 개선할 것이다.

In this regard, this paper has identified several areas for future methodological development of knowledge synthesis techniques. While researchers should first consider the underlying assumptions of each type of review, opportunities exist to address methodological approaches and reporting guidelines, as well as quality appraisal for qualitative synthesis, mixed studies review, integrative review, and scoping reviews. As several of these methods are new(e.g., mixed studies review, scoping review, umbrella reviews), the advanced development of each type of review will ultimately improve the quality, scope, and applicability of the method to synthesis future health care research.


참고로, 이러한 표준과 지침의 상당수는 주로 내부 타당성에 초점을 맞추고 있으며, 체계적 검토를 위한 RE-AIM 지침의 개발과 함께 지식 종합에 관한 외부 타당성에 대한 논의가 최근에 와서야 이루어졌다.81 갭을 실천하기 위한 연구를 감안할 때, [개입의 외적 타당성을 평가하고 합성]하기 위한 명시적 관심이 필요하다. 그러한 연구가 없으면, 연구자, 임상의, 정책 입안자가 개입 연구의 결과를 transfer하고 일반화할 수 있는 능력이 감소한다.

Of note, many of these standards and guidelines are primarily focused on internal validity and only recently has there been discussion of external validity in regards to knowledge synthesis with the development of the RE-AIM guidelines for systematic reviews.81 Given the research to practice gap,93 explicit attention is needed to assess and synthesize the external validity of interventions. Without such work, the ability for researchers, clinicians, and policymakers to transfer and generalize results from intervention studies is diminished.


여러 유형의 검토의 투명성과 품질을 높이는 것은 물론 중복되는 노력을 피하기 위해, 최근 체계적인 검토의 등록을 촉진하기 위한 국제적인 이니셔티브가 추진되고 있다.

To increase the transparency and quality of different types of reviews, as well as avoid the duplication of effort, an international initiative has been recently undertaken to promote the registration of systematic reviews.










. Sep-Oct 2014;43(5):453-61.
 doi: 10.1016/j.hrtlng.2014.05.014. Epub 2014 Jul 8.

Methods for knowledge synthesis: an overview

Affiliations 

Affiliations

  • 1Yale University School of Nursing, 400 West Campus Drive, Orange, CT 06477, USA.
  • 2Yale University School of Nursing, 400 West Campus Drive, Orange, CT 06477, USA. Electronic address: myoungock.jang@yale.edu.

Abstract

Objectives: To highlight recent advances in knowledge synthesis methods and reporting guidelines.

Background: Knowledge synthesis is critical to advancing practice, research, and policy, but synthesizing knowledge from an often-heterogeneous body of literature is challenging.

Methods: A review of knowledge synthesis methods and reporting guidelines for health sciences research was completed using Google Scholar, Medline, CINAHL, and PsycInfo. Relevant information was critiqued and summarized for applicability to health science and practice.

Results: Recent advances and guidelines pertaining to systematic reviews, meta-analysis, qualitative synthesis, mixed studies reviews, integrative reviews, scoping reviews, RE-AIM reviews, and umbrella reviews are discussed and examples of the application of each method to cardiopulmonary research are provided. Methods of quality appraisal are also presented.

Conclusions: Advancements in knowledge synthesis and reporting guidelines enhance the quality, scope, and applicability of results; thus improving health science and clinical practice, and advancing health policy.

Keywords: Integrative review; Meta-analysis; Metasynthesis; Mixed studies reviews; Systematic review.

임상추론 교육을 어떻게 개선할 것인가: 내러티브 리뷰와 제안(Med Educ, 2015)

How to improve the teaching of clinical reasoning: a narrative review and a proposal

Henk G Schmidt1 & Sılvia Mamede2




도입 INTRODUCTION


의대생들이 진단학자가 될 수 있도록 돕는 것은 아마도 의학 교육의 가장 중요한 목표일 것이다. 그러나 진단 문제 해결은 어려운 과제다.

Helping medical students to become able diagnosticians is perhaps the most important objective of medical education. However, the solving of diagnostic problems is a challenging task.


임상적 만남의 결과에 영향을 미치는 맥락적 상황은 진단 과제를 더욱 복잡하게 만든다. 예를 들어, 가용성 편향에 대한 연구는 의사가 피상적으로 유사한 증상을 가진 환자를 이전에 본 적이 있다면, 의사의 진단이 덜 정확해질 가능성이 있다는 것을 시사한다.1 또한, 진단과 직접 관련이 없는 환자의 특징은 의사를 잘못된 길로 이끌 수 있다.2,3 마지막으로, 의사들도 다른 인간과 마찬가지로 환자를 다룰 때 어떤 관점으로 출발할 필요가 있다. 조우 초기에 나타나는 가설들이 그 역할을 한다. 그러나, 이러한 (초기) 가설들은 의사에게 환자의 증상에 대한 대안적, 그리고 아마도 더 적절한 설명에 눈을 멀게 할 수 있다.4

Contextual circumstances influencing the outcome of a clinical encounter make the diagnostic task even more complicated. For example, research on availability bias suggests that a doctor’s diagnoses are likely to become less accurate if the doctor has previously seen a patient with superficially similar symptoms.1 In addition, features of patients not directly relevant to the diagnosis may lead physicians astray.2,3 Finally, doctors, like other human beings, need a point of view from which to depart when dealing with a patient. Hypotheses appearing early in the encounter play that role. However, these hypotheses may blind the doctor to alternative, and perhaps more appropriate, explanations for the patient’s symptoms.4


임상추론에 대한 적성의 획득은 전통적으로 임상로테이션에 맡겨진다. 병동에서 학생들은 첫 번째 실제 환자를 보고, 이러한 환자에게 처음으로 질병에 대한 지식을 적용해야 한다. 그러나 

  • 로테이션을 하는 동안 배우는 것은 주로 행함으로써 배우는 과정이며, 자신의 성과를 비판적으로 검토할 수 있는 기회는 제한되어 있다. 

  • 관리감독의 퀄리티는 가변적이며 피드백은 불규칙하며 항상 일관되지는 않는다. 

  • 또한 실습이 가능한 환자의 수와 다양성이 제한되는 경우가 많다는 것은 도움이 되지 않는다.5 

  • 임상실습이 이루어지는 임상 환경에 대한 대규모 연구에서는 유병률이 가장 높은 의료 문제를 가진 환자를 본 학생이 절반 이하인 것으로 나타났다. 예를 들어, 단지 6%의 학생들만이 내과 사무원 근무 중에 소화성 궤양에 걸린 환자를 만났다.6

The acquisition of the aptitude to reason clinically is traditionally left to clinical rotations. On the ward, students see their first real patients and are required to apply their knowledge of disease to these patients for the first time. Learning during rotations is, however, largely a process of learning by doing, and opportunities to critically review one’s own performance are limited. Supervision is of variable quality and feedback is irregular and not always consistent. Further, it is not helpful that the number and variety of patients available for practice are often limited.5 A large study of clinical settings in which clerkships take place showed that fewer than half of students saw any patients with the medical problems that have the highest prevalence rates. Only 6% of students encountered, for example, a patient with a peptic ulcer during internal medicine clerkships.6


따라서 의과대학들이 학생들에게 충분한 연습 기회를 제공하고 그들의 감독 및 피드백 요구를 처리할 수 있는 임상 추론(CR) 과정을 개발하기 시작하면서 이러한 불만족스러운 상황에 대응했다는 것은 놀랄 일이 아닐 것이다. 전형적으로, 이 과정들은 [전임상 커리큘럼]의 일부분이다.

It will therefore come as no surprise that medical schools have responded to this unsatisfactory state of affairs by beginning to develop clinical reasoning (CR) courses that provide students with ample opportunities to practise and take care of their supervision and feedback needs. Typically, these courses are part of the pre-clinical curriculum.


경험적 발견에 대한 검토를 기대하는 독자들은 실망할 것이다; 아직 우리가 접근법 사이에서 결정을 내리는 데 도움이 될 충분한 연구가 없다. 그러므로 우리의 검토는 본질적으로 대체로 서술적임에 틀림없다.

Readers who expect a review of empirical findings will be disappointed; there is not yet sufficient research available to help us decide between approaches. Our review, therefore, must be largely narrative in nature.


CR을 가르칠 때 사용되는 전술 유형

Types of tactics employed when teaching CR


다음 섹션에서는 CR의 교육에 채택된 다양한 전술에 대한 결과를 요약한다.

In the following section, we will summarise our findings on the various tactics employed in the teaching of CR


방법 METHODS


우리는 이 기사들을 두 가지 이론적 고려를 바탕으로 분류하기로 결정했다.

We decided to categorise these articles based on two theoretical considerations.


첫 번째는 인지 부하 이론에 기초한 고려였다.7 이 이론은 모든 관련 정보가 완전히 제시될 때 자신의 영역에서 문제를 푸는 학생들이 더 잘 지원되어 작업 기억력에 대한 부하를 줄인다고 주장한다. 이러한 생각을 바탕으로, 사례 정보가 학생들에게 순차적으로 제시되는 방식('시리얼큐' 접근법)과 환자에 대한 모든 정보가 한 번에 제시되고 진단 과정 전반에 걸쳐 이용 가능한 상태로 유지되는 방식('whole-case' 접근법)을 구분하는 것이 의미 있다고 가정했다..

The first was a consideration based on cognitive load theory.7 This theory claims that students solving problems in their domain are better supported when all relevant information is presented to them in full, decreasing load on working memory. Based on this idea, we assumed that it would be meaningful to distinguish between approaches in which case information is presented to students in a sequential fashion (the ‘serial-cue’ approach) and those in which all information about a patient is presented at once and remains available throughout the diagnostic process (the ‘whole-case’ approach).


두 번째 고려사항은 CR 문헌의 근본적인 구분에 기초하였다. 어떤 사람들은 임상적으로 이성에 대한 학습의 특징들이 예를 들어 가설연역적 추론과 같이, 전문 진단학자들이 진단 문제를 해결하는 [사고 과정을 학습]하거나 경험적 접근법이나 [분석적 접근법]을 따르는 것으로 표현된다고 제안한다.9 다른 이들은 CR이 대체로 [지식 기반 활동]이라고 주장한다. 10,11 추론 과정은 후자의 관점에서 본 결과, 성공적인 진단에 수반되는 지식과 경험의 양과 본질에 대한 덧없는 것이다.

The second consideration was based on a fundamental divide in the CR literature. Some suggest that the hallmark of learning to reason clinically is represented by learning of the thinking processes by which expert diagnosticians solve diagnostic problems, for instance hypothetico-deduction,8 or by following a heuristic or analytical approach.9 Others claim that CR is a largely knowledge-based activity.10,11 Processes of reasoning are in the latter perspective ephemeral to the nature and the amount of knowledge and experience involved in successful diagnosis.


이러한 구별은 표 1에 나타난 것과 같은 가능성 행렬로 이어졌다.

These distinctions led to a matrix of possibilities as displayed in Table 1.




결과 RESULTS


검토된 48개의 논문 중 24개는 특정 접근법을 검토한 경험적 연구에 대해 보고했다.21–44

Of the 48 papers reviewed, 24 reported on empirical studies in which a particular approach was examined.21–44


대부분의 경험적 논문(n = 19)은 연장된 커리큘럼 시간에 걸쳐 또는 1회 세션 학습 단계에서 제공되는 교육적 개입과 관련된 연구에 대해 보고했으며, 임상 사례 진단에서 학생의 수행에 대한 즉각적인 및/또는 지연 평가가 뒤따랐다. 이러한 교육 개입에서 주요한 학습 자원은 임상 사례였다. 이러한 임상 사례의 제공 방식은 상당히 다양했다. 어떤 조사관은 사례를 서면 형태로 제시했고, 다른 조사관은 모의 환자나 실제 환자를 통해 사례들을 제시하기도 했다. 학생들은 교실 활동이나 임상 환경으로 이 사례들을 개별적으로 또는 소규모 그룹으로 연구했다.

The majority (n = 19) of the empirical papers reported on studies that involved an educational intervention delivered across extended curriculum time or during a one-session learning phase, followed by an immediate and/or delayed assessment of students’ performance in diagnosing clinical cases. The primary learning resources in these educational interventions were clinical cases. The ways in which these clinical cases were offered varied considerably. Some investigators presented cases in written form, others through simulated or real patients. Students studied these cases individually or in small groups, as classroom activities or in clinical settings.


순차적 힌트 접근법

Serial-cue approach


임상 문제가 제시되는 방식 측면에서 문헌에서 접하는 CR의 가르침에 대한 가장 보편적인 접근방식은 시리얼큐 방법이다. 이 접근법에서는 사례를 진단하는 데 필요한 정보를 연속적으로 학생들에게 제시한다그것은 보통 CC의 제공으로부터 시작된다. 이러한 주요 불만 사항과 그로 인해 발생하는 가설을 고려하여, 학생들은 진단을 내리는 데 필요한 정보를 수집한다. 직렬-큐 방법은 검토된 48개 논문 중 21개 논문에서 설명되었다.21–25,35,40,42–52,55,57,58 기본적으로 직렬-큐 방법은 학생들이 '의사역할놀이'를 하는 실제 임상적 만남을 시뮬레이션하고 진단에 필요한 정보를 적극적으로 수집하도록 요청 받는다.

In terms of the way in which clinical problems are presented, the most prevalent approach to the teaching of CR encountered in the literature is the serial-cue method. In this approach, the information necessary to diagnose the case is presented to students in a serial fashion. It usually starts with the provision of a chief complaint. Given this chief complaint and the hypotheses that arise fromit, students gather the information required to make a diagnosis. The serial-cue method was described in 21 of the 48 papers reviewed.21–25,35,40,42–52,55,57,58 Basically, the serial-cue method simulates a real clinical encounter, in which students ‘play the doctor’ and are requested to actively gather the information necessary to arrive at a diagnosis.


학생들은 병력청취부터 진단검사 의뢰까지 차근차근 진척되며, 정보요청에 대한 응답으로 소견이 펼쳐진다. 그렇게 함으로써, 학생들은 왜 그러한 임상 정보를 요청했는지, 그리고 그것이 어떻게 차등 진단 범위를 좁히는 데 도움이 되는지에 대해 설명하도록 요구 받을 수 있다. 교사는 임상 정보를 수집하는 동안 또는 후속 피드백 세션에서 학생과 상호 작용하여 학생들의 질문과 반응에 대한 의견을 제시할 수 있다.

Students progress step by step, from history taking to requesting diagnostic tests, and findings are unfolded in response to their information requests. As they do so, students may be asked to explain why they have requested that clinical information, and how it would help narrow the differential diagnosis.21,47,49 A teacher may interact with the students, either while they are gathering clinical information,23,48,49 or in subsequent feedback sessions,47 to comment on the students’ questions and responses.


시리얼큐 방법을 설명하는 21개 논문 중 10개 논문만이 경험적 발견을 보고했다.21–25,35,40,42–44 이 논문들 중 3개는 주로 학생들의 추론 과정 24,25,40을 개발한다는 목표를 가지고 직렬-큐 방법을 사용했으며, 프로세스 지향적 교수 접근법에 대한 섹션에서 논의될 것이다. 세 가지 경험적 연구는 학생의 진단 성과 육성에 있어 접근방법의 효과를 탐구했지만, 그 중 단 두 가지 연구에서는 CR의 가르침에 대한 접근방식이 학생들의 학습에 미치는 영향을 새로운 사례에 대한 평가로 평가한 무작위 실험에서 도출한 결과가 나왔다.22,23

Only 10 of the 21 papers describing the serial-cue method reported empirical findings.21–25,35,40,42–44 Three of these papers used the serial-cue method primarily with the goal of developing students’ reasoning processes24,25,40 and will be discussed in the section on process-oriented teaching approaches. Three empirical studies explored the effectiveness of the approach in fostering students’ diagnostic performance, but in only two of them were the findings derived from a randomised experiment in which the impact of the approach to the teaching of CR on students’ learning was evaluated by assessing their diagnostic performance on new cases.22,23


마지막으로, 시리얼큐 방법을 포함하는 한 실험에서는 임상 문제가 전체 케이스 형식과 반대로 시리얼큐 형식으로 제시되었을 때 의사, 레지던트 및 학생의 진단 정확도를 비교했다.35

Finally, one experiment involving the serial-cue method compared the diagnostic accuracy of physicians, residents and students when the clinical problem was presented in a serial-cue format as opposed to a whole-case format.35


이용 가능한 연구 숫자가 적어서 시리얼큐 접근법의 효과에 대한 결론을 도출하기에 확실히 불충분하다. 현재 경험적 뒷받침이 부족한 그러한 접근법이 왜 임상 교사들 사이에서 만연할 것인가? 시리얼큐 접근법은 실제 임상적 만남을 시뮬레이션하기 때문에 안면타당성이 높을 수 있다. 실제 진단 프로세스는 의사가 CC에 추가하여 차등 진단에 필요한 정보를 결정해야 한다. 교사들은 직렬 큐 접근법이 그러므로 학생들이 실제 연습에서 해야 할 일에 더 잘 대비할 것이라고 믿는 경향이 있을 것이다. 그러나 이러한 명백한 이점은 단점을 숨길 수 있다. 접근방식은 개별화된 정보와 피드백을 제공해야 하기 때문에 상당히 교사집약적이다.

The little research available is certainly insufficient to derive conclusions on the effectiveness of the serial-cue approach. Why might such an approach, which presently lacks empirical support, prevail among clinical teachers? The serial-cue approach may have high face validity because it simulates a real clinical encounter. The actual diagnostic process requires the physician to determine which information additional to the chief complaint is needed for the differential diagnosis. Teachers may tend to believe that the serial-cue approach would therefore better prepare students for what they will have to do in real practice. However, this apparent advantage may hide drawbacks. The approach is quite teacher-intensive because it requires the provision of individualised information and feedback.


더 중요한 것은 학습을 촉진하기보다는 그것이 방해할 가능성을 고려해야 한다. 실제 임상적 만남에서 의사는 환자의 문제에 대한 초기 가설을 하나 또는 몇 개 확인(또는 반박)하는 데 도움이 되는 추가 정보를 검색한다. 의사에게 있어 이러한 가설은 환자의 이력에서 단서가 의사의 기억에서 'illness script'을 활성화시키거나 특정 질병에 걸린 전형적인 환자의 정신적 표상을 활성화시키기 때문에 떠오른다. 

More important, the possibility that it hinders rather than fosters learning should be considered. In real clinical encounters, physicians search for additional information that helps them confirm (or refute) one or a few initial hypotheses on the patient’s problem. For the physician, these hypotheses come to mind because cues in the patient’s history activate ‘illness scripts’ from the physician’s memory, or mental representations of a typical patient with a particular disease.59 


이 스크립트에는 해당 질환 환자에게서 발견될 것으로 예상되는 결과가 수록되어 있으며, 내과의사가 기록 복용, 신체 검사 또는 진단 테스트를 통해 수집해야 할 정보를 결정할 수 있도록 안내한다. 학생들은 특히 훈련 1년차인 경우, 아직 잘 발달된 질병 대본을 가지고 있지 않으며, 환자로부터 무엇을 물어봐야 하는지를 결정하는 과정이 크게는 작업 기억력에 높은 요구를 하는 시행착오의 과정이 되어 학습에 지장을 줄 수 있다.7

These scripts contain findings that are expected to be present in patients with that disease and guide physicians in determining which information needs to be gathered through history taking, physical examination or diagnostic tests. Students do not yet have well-developed illness scripts, especially if they are in the first years of training, and their process of deciding what must be asked from the patient may become, to a large extent, a process of trial and error that places high demands on working memory and may turn out to be overwhelming, possibly hindering learning.7


전체 사례 접근법

Whole-case approach


검토된 48개 논문 중 12개 논문에서 CR의 교육에 대한 접근방식은 학생들로 하여금 임상 사례를 진단하게 하는 것을 포함했으며, 이에 대한 설명은 이미 환자의 필수적인 특징을 모두 포함하고 있다.30–39,53,54

In 12 of the 48 papers reviewed, the approach taken to the teaching of CR involved having students diagnose clinical cases, the descriptions of which already contained all the patient’s essential features.30–39,53,54


Sacher와 Detsky54의 서술적 논문은 전체 사례 접근방식을 예시하는 CR 강의의 모델을 제안한다. 학생들은 우선 임상 사례(즉, 진단 가능성을 확장하거나 좁히는 결과)에서 '초점 소견'을 식별한 후, 다양한 병인과 신체 시스템을 고려하여 그래픽 주최자의 지원, 차등 진단으로 체계적인 탐색을 진행해야 한다. 모든 관련 정보가 제공되기 때문에 학생들은 다양한 가능성을 추구하면서 왔다 갔다 할 수 있다. 그러나 새허와 데츠키54는 접근법의 효과를 시험하지 않았다.

The descriptive paper by Sacher and Detsky54 proposes a model for CR teaching sessions that exemplifies the whole-case approach. Students are first required to identify ‘focal findings’ in a clinical case (i.e. findings that expand or narrow diagnostic possibilities) and then to proceed to systematically explore, with the support of a graphic organiser, the differential diagnosis, taking into account the various aetiologies and body systems. Because all the relevant information is available, students are able to go to and fro, pursuing the various possibilities. However, Sacher and Detzky54 did not test the effects of their approach.


질병의 병태생리학적 메커니즘의 이해를 지원하는 것을 목적으로 하는 지식 지향적 접근법

Knowledge-oriented approach aimed at supporting understanding of pathophysiological mechanisms of disease


검토된 논문 중 세 가지는 [질병의 근본적인 메커니즘에 대한 지식 개발]을 지향하는 CR의 교육에 대한 접근방식을 기술했다. 이 중 두 논문은 CR의 가르침에 대한 지침적 전략으로서 자기 설명의 사용을 탐구한 경험적 연구에 대해 보고했다. 자기 설명은 다른 영역에서 채용된 기법으로서, 학생들이 자신에게 제시된 학습 자료를 스스로 설명(큰 소리로)하도록 하는 것으로 구성된다. 

Three of the reviewed papers described approaches to the teaching of CR that are oriented towards developing knowledge of the underlying mechanisms of diseases.30,31,54 Two of these papers reported on empirical studies that explored the use of self-explanation as an instructional strategy for the teaching of CR.30,31 Self-explanation, a technique that has been employed in other domains, consists of having students explain to themselves (out loud) to-be learned materials presented to them.60


임상 사례를 진단하는 동안 학생들은 이 자기 설명 과정에 의해 사례를 읽고 스스로 설명해야 한다. 

    • 사례에 존재하는 발견이 기초적인 병리학 메커니즘에 의해 어떻게 생성되었는지, 

    • 이러한 징후와 증상들이 서로 어떻게 연관되어 있는지, 그리고 

    • 어떻게 그들이 그 경우에 고려된 가능한 진단과 관련이 있는지.

 While diagnosing clinical cases, students are required by this process of self-explanation to read the case and to explain to themselves 

    • how the findings present in the case may have been produced by underlying pathophysiological mechanisms, 

    • how these signs and symptoms relate to one another, and 

    • how they relate to the possible diagnoses considered for the case.


환자의 증상의 기초가 되는 메커니즘을 스스로 설명하면서, 학생들은 이러한 증상들이 어떻게 서로 연결되어 있는지 더 잘 이해할 수 있을 것이다. 이것은 질병의 정신적 표현에 일관성을 더하고 미래에 그것을 더 쉽게 인식할 수 있게 하는 것으로 보인다.

While self-explaining the mechanisms underlying a patient’s symptoms, students may better understand how these symptoms are linked together, which appears to add coherence to a mental representation of the disease and make it easier to recognise in the future.


외관상 질병의 구별에 대한 학습을 지원하는 것을 목적으로 하는 지식 지향적 접근법

Knowledge-oriented approach aimed at supporting learning of the distinctions between lookalike diseases


9개의 논문, 29,36–39,41–43,53 8개가 경험적 발견을 제시했으며, [유사한 임상 표현을 공유하는 질병을 구별하는 학생들의 능력]을 높이는 데 초점을 맞춘 CR의 가르침에 대한 접근법을 설명했다. 간단히 말해서, 이러한 접근방식은 학생들로 하여금 각 사례에 대한 대안적 진단의 임상 결과를 비교하고 대조함으로써, 임상양상이 닮은 환자를 묘사하는 임상 사례를 연습하도록 하는 것으로 구성된다. 두 가지를 제외한 모든 경험적 연구는 학생들의 임상 진단 학습을 촉진하는 효과 면에서 이 접근방식을 더 전통적인 교수법으로 CR의 가르침에 비교했다.

Nine papers,29,36–39,41–43,53 eight of which presented empirical findings, described approaches to the teaching of CR that focus on increasing students’ ability to distinguish between diseases that share similar clinical presentations. Briefly, these approaches consist of having students practise with clinical cases that portray patients whose presentations look alike by comparing and contrasting the clinical findings of the alternative diagnoses for each case. All but two42,43 empirical studies compared this approach to the teaching of CR with more conventional teaching methods in terms of their effectiveness to foster students’ learning of clinical diagnosis.


이러한 연구 결과를 종합하면, 학생들의 진단 성과를 육성하는 데 있어 CR의 교육에 대한 이 접근방식의 가치에 대한 몇 가지 증거를 제공한다. [Case을 성찰하면서 대체진단을 비교 대조하는 과정]은 검사된 질병의 정신적 표현을 풍부하게 하고, 관련은 있지만 서로 다른 질병의 표상에도 영향을 미쳐 향후 유사한 사례에서 구별하기 쉬워지는 것으로 보인다.37 일부 연구에서는 심지어 피드백이 없는 경우에도 접근방식의 긍정적인 효과가 나타나면서, 학생들이 특정 사례에 대한 성찰의 궁극적인 오류와 무관하게 지식 재구조화knowledge restructuring가 발생함이 명백해졌다.

Taken together, the findings of these studies provide some evidence for the value of this approach to the teaching of CR in fostering students’ diagnostic performance. The process of comparing and contrasting alternative diagnoses while reflecting upon a case seems to enrich mental representations of the diseases examined and possibly also to influence the representations of related but different diseases, making it easier to distinguish them in similar cases in the future.37 As the positive effects of the approach emerged, in some studies36,37 even in the absence of any feedback, it became clear that knowledge restructuring apparently takes place regardless of eventual errors in students’ reflection upon the cases.


프로세스 지향 접근법: 학생들에게 추론하는 방법을 가르침

Process-oriented approach: teaching students how to reason


이 중 10편의 경험적 연구를 보고한 18편의 논문은 CR의 가르침에서 [학생들의 추론 과정]에 초점을 맞췄다. 이 논문들은 임상 사례를 진단하면서 학생들에게 추론하는 방법을 가르치거나 학생들의 추론 방식이 진단 성과에 미치는 영향을 평가하는 것과 관련이 있다.27,28

Eighteen papers, 10 of which reported empirical research, focused on students’ reasoning processes in the teaching of CR.21,24–28,33,40,44–49,51,52,56,57 These papers were concerned either with teaching students how to reason while diagnosing clinical cases,21,24–26,33,40,44–49,51,52,56,57 or with evaluating the influences of students’ modes of reasoning on their diagnostic performance.27,28


임상 사례를 진단하면서 학생들에게 추론하는 방법을 가르치는 두 가지 다른 유형의 시도가 설명되었다. 

    • 첫 번째는 임상적 의사결정에 관한 짧은 과정이나 세미나를 말하며, 대개 문제 해결 과정의 단계(정보 획득에서 가설 평가에 이르기까지), 베이지스의 정리, 의사결정 분석 및 임상 알고리즘과 같은 주제를 다룬다. 

    • 두 번째 시도는 (의사결정 이론에 초점을 맞추지 않고) 학생들에게 진단에 도달하기 위한 체계적인 추론 접근법을 가르치는 것을 목표로 한다. 

Two different types of attempt to teach students how to reason while diagnosing clinical cases were described. 

    • The first refers to short courses or seminars on clinical decision making,26,40 usually addressing topics such as the steps of the problemsolving process (from acquiring information to evaluating hypotheses), Bayes’ theorem, decision analysis and clinical algorithms. 

    • The second attempt does not focus on decision theories, but aims to teach students a systematic reasoning approach to reaching a diagnosis.24,25,44–47,51,52,57


간단히 말해서, 가르침은 임상 사례를 중심으로 이루어지는데, 실제 환자나 교사가 교육 목적으로 준비하고 학생들에게 문서 형태로 또는 비디오를 통해 제공할 수 있다.51 보통 가르침은 개인 또는 소그룹 업무를 쌍방향 세션과 결합한다. 학생들은 병력청취부터 진단확인을 위한 기획조사까지 사건을 순차적으로 처리하며, 교사의 역할은 가설연역적 추론 과정을 중심으로 학생들의 반응 이면에 있는 rationale에 의문을 제기하는 것이다.

 Briefly, teaching takes place around clinical cases, which may be either real patients48,52,56 or cases prepared by teachers for educational purposes and presented to students in written form,24,25,48 or through video.51 Usually teaching combines individual or small-group work with interactive sessions. Students work through cases sequentially, from history taking to planning investigations to confirm the diagnosis, and the role of the teacher is to question the rationales behind students’ responses, focusing on the hypothetico-deductive reasoning process.


요약하자면, 학생들에게 더 나은 진단학자가 될 수 있는 특정한 추론 과정을 가르치려는 접근방식에 대한 드문 경험적 연구는 그 효과에 대한 근거는 제한적이다. [일반적인 추론 기술]은 [특정 질병을 이해하고 진단하는 데 필요한 전문 지식]과 별도로 존재하지 않는다고 주장하는 문헌을 고려한다면 이는 놀랄 일이 아니다.65,66 의학에서 전문지식이 어떻게 발달하는지에 대한 일부 설명에서 [일반적인 추론 전략]은 전혀 역할을 하지 못한다.10,67

To sum up, the scarce empirical studies on approaches that attempt to teach students a specific reasoning process through which they may become better diagnosticians provide only limited evidence of their effectiveness. This should come as no surprise if we consider literature arguing that general reasoning skills do not exist separately from the specialised knowledge necessary to understand and diagnose particular diseases.65,66 In some accounts of how expertise develops in medicine, general reasoning strategies play no role at all.10,67


임상 추론 교육의 효과성에 대한 일반적 논의 및 개선 제안

GENERAL DISCUSSION AND A PROPOSAL TO IMPROVE ON THE EFFECTIVENESS OF THE TEACHING OF CLINICAL REASONING


CR의 가르침에 관한 문헌에 대한 이러한 검토는 많은 결론을 가능하게 한다. 

This review of the literature on the teaching of CR allows for a number of conclusions. 


첫 번째 그리고 아마도 가장 중요한 것은 의대생들에게 임상적으로 이성을 가르치도록 하는 것과 관련된 중요성을 고려할 때, 연구가 크게 부족하다는 것이다. 우리가 이 분야에서 진보하는데 도움을 줄 수 있는 연구가 정말로 필요하다. 이것은 특히 중요한데, 왜냐하면 그 분야의 향상을 임상실습이나 로테이션에만 의존할 수 없기 때문이다. 학생들에게 제공되는 다양한 사례들은 단순히 너무 제한적이다,6 그리고 전문적인 환경을 신뢰하기에는 피드백과 코칭의 제공이 너무 무모하다,5는 이러한 적성의 발전을 위한 견고한 기반을 제공한다. 의학 교육자들은 더 많은 것을 더 체계적으로 할 필요가 있다. 학부 연수의 일환으로 CR 교육과정을 개설하는 것은 이미 오래 전에 끝난 일이다. PBL과 같은 교육 혁신은 이러한 커리큘럼에서 제시된 사례의 수가 (일반적으로) 너무 제한적이기 때문에 그 공백을 완전히 메울 수 없다.

The first and perhaps most important is that, given the significance attached to teaching medical students to reason clinically, research is largely lacking. There is a real need for studies that may help us progress in this domain. This is particularly important because the field cannot rely on clerkships or rotations as the breeding ground for this skill. The variety of cases offered to students is simply too limited,6 and the provision of feedback and coaching too haphazard,5 to trust the professional environment to provide a solid base for the development of this aptitude. Medical educators need to do more and in a more systematic fashion. The establishment of a CR curriculum as part of undergraduate training is in our view long overdue. Educational innovations such as problem-based learning cannot fill the gap entirely because the numbers of cases presented in such curricula are usually too limited.


두 번째 결론은 임상적 의사결정에 관련된 [추론의 일반적인 과정]을 학생들에게 가르치기 위한 과정들이 실패하는 것처럼 보인다는 것이다. 이는 그러한 과정의 효과를 뒷받침하는 증거가 부족할 뿐만 아니라 이론적인 이유 때문이기도 하다: 일반적인 추론 전략은 특정 질병에 대한 지식과 별도로 존재하지 않는다. 그러므로 그들을 고립된 상태에서 가르치는 것은 무의미하다.65,66

A second conclusion is that courses aimed at teaching students the general process of reasoning involved in clinical decision making seem to fail. This is not only because evidence supporting the effectiveness of such courses is lacking, but for theoretical reasons as well: general reasoning strategies do not exist separately from knowledge about a particular disease. It is therefore pointless to teach them in isolation.65,66


세 번째 결론은 문헌에서 흘러나오는 인상이 정확하다면 전문적 실무의 직접 시뮬레이션, 즉 시리얼-큐 접근법이 CR의 가르침에 있어 임상교사가 선호하는 전술이라는 것이다. 우리는 이 저혈압 접근법을 선택의 방법으로 설명하는 많은 논문들을 발견했는데, 반면에 다른 접근법들은 문헌과 아마도 의학 교육의 일상적인 관행에서 훨씬 적은 관심을 받는다. 이는 직렬 큐 접근방식이 여기에서 논의된 접근방식의 가장 높은 안면 타당성을 분명히 가지고 있기 때문에 이해할 수 있다. 즉, 만약 우리가 학생들이 CR 기술을 습득하도록 돕고 싶다면, 왜 그들을 실물에 노출시키지 않는가? 

The third conclusion is that, if the impression flowing from the literature is correct, the direct simulation of professional practice – or the serial-cue approach – is the clinical teacher’s favourite tactic for the teaching of CR. We found many papers describing this hypothetico-deductive approach as the method of choice, whereas other approaches receive far less attention in the literature and probably in the everyday practice of medical education. This is understandable because the serial-cue approach clearly has the highest face validity of the approaches discussed here: if we wish to help students acquire CR skills, why not expose them to the real thing? 


그러나 시리얼 큐 접근방식의 직관적인 매력에 대해 다소 회의적일 이유가 두 가지 이상 있다. 첫 번째는 의학이 아닌 다른 영역에서는 교육 도구로서 전체 사례 접근법이 작동 기억력에 대한 인지 부하를 감소시키기 때문에 더 효과적이라는 것을 입증하는 연구에 기초하고 있다.7 이러한 관점은 이전에 논의한 Nendaz 외, 35의 연구에서 일부 초기 지지를 발견하며, 이는 시리얼 큐 접근법이 전체 사례 접근법보다 덜 효과적이라는 것을 입증했다. 따라서, 학생들을 실물에 노출시키는 것이 항상 가장 좋은 가르침은 아닐 수도 있다.

However, there are at least two reasons to be somewhat sceptical about the intuitive appeal of the serial-cue approach. The first is based on research which demonstrates that – in domains other than medicine – whole-case approaches as tools for education are more effective because they decrease cognitive load on working memory.7 This point of view finds some initial support in the previously discussed study by Nendaz et al.,35 which demonstrated the serial-cue approach to be less effective than the whole-case approach. Thus, exposing students to the real thing may not always be the best way to teach.


회의적인 두 번째 이유는 훈련의 각기 다른 단계에 있는 학생들이 전문성 습득의 길을 따라가기 위해서는 서로 다른 종류의 지원이 필요할 수 있기 때문이다. 이 후자의 생각은 더 정교하게 설명할 가치가 있다.

A second reason to be sceptical is that students in different phases of their training may need different kinds of support to follow the path to expertise. This latter idea deserves further elaboration.


1단계 : 병태생리학적 원리의 관점에서 질병을 설명하는 상세한 인과지식을 기억하여 개발

First stage: development in memory of detailed causal knowledge explaining disease in terms of pathophysiological principles


초기 의학적 훈련 과정에서 학생들은 질병의 원인과 결과를 일반적인 생물학적 또는 병태생리학적 과정으로 설명할 수 있는 풍부하고 정교한 인과 네트워크 개념으로 설명할 수 있는 정신 지식 구조를 빠르게 개발한다. 이 발달 단계에서 임상 사례에 직면했을 때, 학생들은 오직 고립된 징후와 증상에만 집중할 수 있고, 이러한 증상들을 그들이 배운 병리학 개념과 연관시키려고 시도할 수 있다. 이것은 힘든 과정이다. 또한 서로 맞는fit together 증상의 패턴을 아직 인식하지 못하기 때문에, 프로세싱은 상세하다.68

In the course of their early medical training, students rapidly develop mental knowledge structures that can be described as rich, elaborated causal networks of concepts and ideas explaining the causes and consequences of disease in terms of general underlying biological or pathophysiological processes. When confronted with a clinical case in this stage of development, students can focus only on isolated signs and symptoms and attempt to relate each of these to the pathophysiological concepts they have learned. This is an effortful process. In addition, as they do not yet recognise patterns of symptoms that fit together, processing is detailed.68


예를 들어, 오염된 주사기를 사용할 가능성이 있고 고열, 탈진, 높은 맥박수와 혈압 강하를 보이는 약물 사용자와 마주쳤을 때, 중급 학생은 이러한 증상을 다음과 같이 설명할 수 있다: 

'주사기를 통해 혈류로 들어가 면역 반응을 유도한다. 이런 면역반응이 고열의 원인이다. 이 박테리아는 혈관확장을 유발하여 혈압 저하와 아마도 독성 쇼크를 유발하는 엔도톡신을 생산한다.'

For instance, when confronted with a drug user who possibly uses contaminated syringes and who shows high fever, exhaustion, high pulse rate and a drop in blood pressure, an intermediate-level student might explain these symptoms in terms of: 

‘Staphylococci entering the bloodstream via the syringe leading to an immune response. This immune response is responsible for the high fever. The bacteria produce endotoxins causing vasodilatation, causing a drop in blood pressure and perhaps toxic shock.’


두 번째 단계: 병리학 지식의 캡슐화

Second stage: encapsulation of pathophysiological knowledge


그러나 그러한 지식을 광범위하고 반복적으로 적용하고 특히 환자 문제에 노출함으로써 이러한 학생들의 지식 구조에 변화가 발생한다. 질병에 대한 상세한 인과적 병리학적 지식의 그들의 네트워크는 진단 라벨이나 징후와 증상을 설명하는 [높은 수준의 단순화된 인과 모델로 캡슐화]된다. 

따라서 상급 학생은 패혈증의 임상적 개념을 호출하여 약물 사용자의 증상을 설명할 수 있다. 패혈증은 학생들이 질병을 이해하려고 애쓰면서 먼저 배우는 보다 상세한 인과적 설명을 캡슐화한다.

However, through extensive and repeated application of such knowledge and particularly through exposure to patient problems, changes in the knowledge structures of these students occur. Their networks of detailed, causal, pathophysiological knowledge of a disease become encapsulated into diagnostic labels or high-level, simplified causal models explaining signs and symptoms. 

An advanced student might therefore explain the symptoms of the drug user by invoking the clinical concept of sepsis. Sepsis encapsulates the more detailed causal explanation that students learn first while trying to understand disease.


캡슐화 과정을 가속화하기 위해서, 학생들은 그들의 병태생리학적 근원에 관하여 징후와 증상을 설명하는 것을 명시적으로 연습할 수 있어야 한다. 앞 단락에서 서술한 [자기 설명 방법]은 단지 이것을 성취하는 데 적합한 것 같다.31,31 그것은 학생들이 [인간의 생물학이 어떻게 질병을 발생시키는가에 대한 세부사항]에 주의를 기울이도록 장려하기 때문에, 그것은 겉으로 보기에 이질적인 징후와 증상들 사이에 일관성을 만들어낸다. 개념과 현상을 한데 묶고 시간의 질에서 살아남아 니즈가 발생했을 때 쉽게 활성화되는 강한 인지구조를 만들어내는 '접착제' 중 [인과성]이 가장 중요하다는 것은 잘 알려져 있다. 예를 들어, 우즈17은 일련의 증상들을 연관시키기 위해 인과적 설명을 배워야 했던 학생들이 1주일 후 이러한 증상들과 관련된 진단을 방금 배운 그룹들과 유사하지만 다른 사례들을 제시 받았을 때 그들의 진단에서 더 정확하다는 것을 발견했다.

To speed up this process of encapsulation, students must be enabled to explicitly practise in explaining signs and symptoms in terms of their pathophysiological sources. The self-explanation method, delineated in the previous paragraphs, seems suited to accomplish just this.30,31 Because it encourages students to pay attention to the details of how human biology produces disease, it creates coherence among seemingly disparate signs and symptoms. It is well known that causality is the most important of the glues that bind concepts and phenomena together and create strong cognitive structures that survive the vagaries of time and are easily activated when the need arises. For instance, Woods17 found that those students who had to learn a causal explanation to relate a set of symptoms were more accurate in their diagnosis 1 week later when they were presented with similar but different cases than groups who just learned a diagnosis associated with these symptoms.


세 번째 단계: 질병 스크립트 개발

Third stage: development of illness scripts


학생들이 실제 환자와 함께 광범위하게 연습하기 시작하면서 두 번째 시프트가 일어난다. 그들은 질병이 나타나는 조건, 이른바 '활성화 조건'에 대한 더 많은 지식을 습득하고, 일상 생활에서 질병이 나타나는 증상의 가변성을 인식하기 시작한다. 그들의 캡슐화된 지식은 우리가 [illness script]이라고 부르는 서술 구조로 재편성된다. 

As students begin to practise extensively with actual patients, a second shift occurs. They acquire more knowledge of the conditions under which disease manifests, the so-called ‘enabling conditions’, and begin to appreciate the variability of the symptoms with which disease presents itself in everyday life. Their encapsulated knowledge is reorganised into narrative structures we refer to as illness scripts.59,69 


이러한 [질병 스크립트]는 활성화되었을 때 증상 및 불만사항의 병태생리학적 원인에 대한 비교적 적은 지식을 포함하고 있는 인지 시나리오다그러나 질병의 가능enabling 조건과 질병이 스스로 나타나는 징후와 증상의 변동성에 대해 [임상적으로 관련되는 정보가 풍부]하다.

These illness scripts are cognitive scenarios containing, when activated, relatively little knowledge about the pathophysiological causes of symptoms and complaints (because of encapsulation), but an abundance of clinically relevant information about the enabling conditions of disease, and the variability in the signs and symptoms with which disease presents itself.


물론 (illness script는) 경험에 의해서만 풍부해질 수 있기 때문에, 초창기 학생들의 질병 대본은 반드시 초보적인 것이다.

Of course, initially students’ illness scripts are necessarily rudimentary because they can only be enriched by experience.


특정 질병에 대한 적절한 대본을 개발하기 위해 학생들은 인접한 질병을 비교하고 대조할 수 있는 연습이 필요하다. 인접한 질병은 급성 바이러스성 간염이나 콜레도콜리토콜리아스와 같이 [증상의 측면에서 상당한 중첩을 보이는 다른 질병]이거나, 노인 환자의 '침묵한' 심근경색처럼 [상당히 다른 방식으로 나타나는 단일 질환]의 표현이다. 이러한 증상들을 구분하는 방법을 배우려면 특정 진단과 관련된 일련의 증상들을 비교하고 대조하는 데 초점을 맞춘 분석적 접근법이 필요하다. 의도적인 성찰 전략이 이러한 노력에 적합하다는 것이 여기에서 제안된다.29,36–38,41,53 이 전략 하에서 학생들은 환자의 이력에서 나타나는 징후와 증상이 어떤 점에서 또는 제안된 진단과 맞지 않는 면에서 다른 질병을 비교하도록 명시적으로 권장된다.

To develop adequate scripts for particular diseases, students need practice that enables themto compare and contrast adjacent diseases. Adjacent diseases are either different diseases that show considerable overlap in terms of symptoms, such as acute viral hepatitis and choledocolithiasis, or representations of a single disease that manifests in quite different ways, such as the ‘silent’ myocardial infarction in elderly patients. Learning how to keep them apart calls for an analytical approach that focuses on comparing and contrasting sets of symptoms related to particular diagnoses. It is proposed here that the deliberate reflection strategy is suited for this endeavour.29,36–38,41,53 Under this strategy, students are explicitly encouraged to compare different diseases in terms of which signs and symptoms in a patient’s history fit or do not fit with the proposed diagnosis.


마지막으로, illness script은 위에서 설명한 연습에 의해 충분히 성숙되고 '날카로워진' 만큼, 예비 의사의 [독립적인 정보 수집의 가이드]로 채용되어야 한다. 환자들에 대한 제한된 정보만 이용할 수 있을 때 적절한 질병 스크립트가 이미 활성화되고 진단과 관련된 환자로부터 추가 정보를 검색하도록 안내하기 때문에 직렬 큐 접근법이 우리의 관점에서 가장 유용하게 쓰이게 된다. 학생이 기억 속에 충분히 완전한 질병 대본을 가지고 있을 때, 검색은 무모한 것이 아니라 합리적일 것이며, 만남의 시작에 활성화되거나 새로운 증거에 의해 촉발되는 다양한 질병 대본에 비추어 증거를 저울질하는 것에 기초하게 될 것이다.

Finally, as illness scripts are sufficiently matured and ‘sharpened’ by the exercises described above, they should be employed as guides in the independent information gathering of the doctor-to-be. It is here that the serial-cue approach becomes most useful in our view because appropriate illness scripts will already be activated when only limited information about a patient is available and will guide the search for further information from the patient relevant for a diagnosis. When a student has sufficiently complete illness scripts in memory, the search will not be haphazard but rational and will be based on weighing of the evidence in the light of the various illness scripts that are either activated at the beginning of the encounter or triggered by new evidence.


결론 CONCLUSIONS


우리는 의학교육의 기에는 학생들이 반드시 [인간의 생물학을 구성하는 인과적 메커니즘]에 의해 [질병과 그와 연관된 징후와 증상들이 어떻게 생성되는가]에 몰두하고 있다고 주장해왔다. 이 연구 단계에서 학생들은 [자기 설명 연습]이나 이와 유사한 접근법을 통해 가장 잘 지원되며, 이러한 접근방식은 어떤 사례의 징후와 증상을 기초적인 병리학 관점에서 자세히 설명함으로써 진단을 찾도록 장려된다.

We have argued that, at the beginnings of their medical studies, students are necessarily preoccupied with how disease and its associated signs and symptoms are produced by the causal mechanisms that make up human biology. In this phase of their studies, students are best supported by self-explanation exercises or similar approaches in which they are encouraged to search for a diagnosis by explaining in detail the signs and symptoms of a case in terms of the underlying pathophysiology.


반복적인 적용을 통해 병태생리학적 지식이 캡슐화되어 [초보적인 질병 대본]이 기억 속에 나타난다면, CR교육의 초점은 [다양한 질병들 간의 차별화 방법]을 배우는 도구로서 그리고 종종 질병이 나타나는expresses itself 방법의 미묘한 차이 사이에서 [의도적인 성찰]로 바뀔 수 있다. 그러한 [비교-대비 접근법]은 일련의 실험에서 [단순 감별 진단]보다 우수하다는 것이 입증되었다.

If pathophysiological knowledge – through repeated application – has become encapsulated and rudimentary illness scripts emerge in memory, the focus in the teaching of CR could shift to deliberate reflection as a tool for learning how to differentiate among various diseases and between the often subtle variations in how disease expresses itself. Such a compare-and-contrast approach has been demonstrated to be superior to simple differential diagnosis in a series of experiments.


의학 교육에서 보편적으로 사용되는 직렬 큐 접근법은 학생들이 올바른 질문을 하고, 적절한 신체 검사를 수행하고, 환자의 요구와 정말로 관련된 추가 조사를 지시하는 데 도움을 주는 질병 대본을 개발할 때 유용하다고 우리는 본다.

The serial-cue approach, ubiquitously used in medical education, is in our view useful when students have developed illness scripts that really help them to ask the right questions, to undertake appropriate physical examination, and to order further investigations that are really relevant to the needs of the patient.


여기에 요약된 가정을 바탕으로, 우리는 

  • 초보자들 사이에서 [자기 설명 절차]가 더 나은 진단 성과로 이어질 것이라고 예측하고, 

  • 중간자 사이에서는 [의도적 성찰] 전략이 나머지 두 가지를 능가할 것이며, 

  • 상급생들 사이에서는 [시리얼 큐] 절차가 가장 유용할 것이라고 예측한다.

Based on the assumptions outlined herein, we predict that among novices, the self-explanation procedure will lead to better diagnostic performance; among intermediates, the deliberate reflection strategy will outshine the other two, and in advanced students, the serial cue procedure will be most useful.








Review
 
. 2015 Oct;49(10):961-73.
 doi: 10.1111/medu.12775.

How to improve the teaching of clinical reasoning: a narrative review and a proposal

Affiliations 

Affiliations

  • 1Department of Psychology, Erasmus University Rotterdam, Rotterdam, The Netherlands.
  • 2Institute of Medical Education Research Rotterdam, Erasmus Medical Centre, Rotterdam, The Netherlands.

Abstract

Context: The development of clinical reasoning (CR) in students has traditionally been left to clinical rotations, which, however, often offer limited practice and suboptimal supervision. Medical schools begin to address these limitations by organising pre-clinical CR courses. The purpose of this paper is to review the variety of approaches employed in the teaching of CR and to present a proposal to improve these practices.

Methods: We conducted a narrative review of the literature on teaching CR. To that end, we searched PubMed and Web of Science for papers published until June 2014. Additional publications were identified in the references cited in the initial papers. We used theoretical considerations to characterise approaches and noted empirical findings, when available.

Results: Of the 48 reviewed papers, only 24 reported empirical findings. The approaches to teaching CR were shown to vary on two dimensions. The first pertains to the way the case information is presented. The case is either unfolded to students gradually - the 'serial-cue' approach - or is presented in a 'whole-case' format. The second dimension concerns the purpose of the exercise: is its aim to help students acquire or apply knowledge, or is its purpose to teach students a way of thinking? The most prevalent approach is the serial-cue approach, perhaps because it tries to directly simulate the diagnostic activities of doctors. Evidence supporting its effectiveness is, however, lacking. There is some empirical evidence that whole-case, knowledge-oriented approaches contribute to the improvement of students' CR. However, thinking process-oriented approaches were shown to be largely ineffective.

Conclusions: Based on research on how expertise develops in medicine, we argue that students in different phases of their training may benefit from different approaches to the teaching of CR.


의학교육에서 적응적 전문성: 자기조절학습을 촉진하여 학습궤적 촉진하기(Med Teach, 2018)

Adaptive expertise in medical education: Accelerating learning trajectories by fostering self-regulated learning

Susanne P. Lajoie and Maren Gube




도입 

Introduction


교육자들은 관련된 모든 사람들에게 최상의 학습 결과를 가져다 주는 학습 환경을 조성하는 일을 맡는다. 그러나 학습자들은 능력, 맥락, 동기 부여, 이전 영역 지식에 따라 달라지는 개별 프로파일을 가지고 있기 때문에 모든 사람의 요구에 맞는 하나의 모든 형태의 강의는 없다. 대부분의 교육자들은 학생들이 학습 궤도를 따라 성장할 수 있도록 돕는 임무를 맡고 있으며, 주로 학생들이 전문가가 될 수 있도록 돕는 일은 아니다.

Educators are tasked with creating learning environments that result in the best learning outcomes for all involved. However, there is no one-size-fits-all form of instruction that matches everyone’s needs since learners have individual profiles that vary according to ability, context, motivation, and prior domain knowledge. Most educators are tasked with helping their students grow along a learning trajectory, and not principally with helping their students become experts.


전문성의 정의

Defining expertise


최근의 위키백과 https://en.wikipedia.org/wiki/Expert 검색은 전문가를 '특정 분야의 실습과 교육을 통해 장기적이거나 강렬한 경험을 가진 사람… [특정한 잘 알려진 영역에서 동료 또는 대중에 의하여올바르고, 정의롭고, 현명하게 판단하거나 결정하는 능력에 대한 권위와 지위를 부여받아, 신뢰할 수 있는 기술 또는 기술의 원천으로 널리 인정됨…연구, 경험 또는 직업과 특정 연구 분야에 기초하여 광범위한 지식 또는 능력을 갖춘 사람'이라고 말했다.

A recent wikipedia https://en.wikipedia.org/wiki/Expert search defined an expert as ‘someone who has a prolonged or intense experience through practice and education in a particular field… widely recognized as a reliable source of technique or skill whose faculty for judging or deciding rightly, justly, or wisely is accorded authority and status by peers or the public in a specific well-distinguished domain…a person with extensive knowledge or ability based on research, experience, or occupation and in a particular area of study.’


K. 에릭슨은 

  • 전문지식을 '전문가와 초보자를 구별하는 특성, 기술, 지식'으로 정의하고, 

  • 전문가는 '도메인의 대표 업무에서 지속적으로 우수한 성과를 발휘할 수 있는 개인'으로 정의한다(에릭슨 2006).

K. Ericsson defines 

  • expertise as ‘the characteristics, skills, and knowledge that differentiate experts from novices’ and 

  • experts as individuals ‘who are consistently able to exhibit superior performance on representative tasks in a domain’ (Ericsson 2006).


전문 지식의 차원

Dimensions of expertise


전문가들은 어떤 것에 전문가지만 모든 것은 아니다; 전문성은 영역별로 다르다. 그러나 연구 결과, 모든 전문가들이 공통적인 속성을 공유하고 있는 것으로 나타났다. 그들은 

    • 더 빠르다; 

    • 보다 정확한 솔루션 제공 및 우수한 성능의 일관성 제공 

    • 해당 분야의 정보에 대한 기억력이 우수함 

    • 깊이 있고 고도로 상호연결된 지식과 더 나은 패턴 인식을 가지고 있다. 

    • 자신의 성과를 관찰하고 평가하는 더 나은 자기 평가 기술을 입증한다.(Chi et al. 1988; La).Joie 2003; Ericsson et al. 2006).

Experts are expert at something but not all things; expertise is domain-specific. However, research has shown that all experts share common attributes. They 

    • are faster; 

    • provide more accurate solutions and consistency in their superior performance; 

    • have superior memories for information in their field; 

    • have deeper and more highly interconnected knowledge and better pattern recognition; and 

    • demonstrate better self-regulatory skills observing and evaluating their own performance (Chi et al. 1988; Lajoie 2003; Ericsson et al. 2006).


일상적 전문성 대 적응적 전문성

Routine versus Adaptive expertise


전문성expertise은 지능이나 능력을 뛰어넘는 특성으로 규정한다. 최근, 일상적 전문지식과 적응적 전문지식을 구별하는 구별이 문헌에 나타나고 있다. 비록 모든 전문가들이 그들의 지식을 접근하는 여러 가지 방법을 가지고 있지만(브랜스포드 외) 2000년) 일부 전문가는 자신의 지식을 적응적이고 창의적으로 적용할 수 있는 능력을 가지고 있는 반면, 다른 전문가들은 일상적인 수행 능력을 가지고 있다. 적응형 전문가들은 새로운 상황에 더 효과적이고 혁신적으로 반응하는 반면, 일상적 전문가들은 작업 효율을 계속 향상시킨다(Schwartz et al. 2005).

Expertise has defining characteristics that go beyond intelligence or ability. Recently, a distinction has appeared in the literature that differentiates between routine and adaptive expertise. Although all experts have multiple ways of accessing their knowledge (Bransford et al. 2000), some experts have the ability to apply their knowledge adaptively and creatively, while others stay with routine performances. Adaptive experts respond to novel situations more effectively and innovatively, while routine experts continue improving task efficiency (Schwartz et al. 2005).


일상적이고 적응력 있는 전문가들이 가장 높은 수준의 기술 개발 수준에 있다. 그러나 브랜스포드 외 (2000)는 일상적 전문가를 '장인artisans'이라고 하고, 적응적 전문가를 '거장virtuosos'이라고 한다. 거장이 지식의 경계를 넓힐 수 있는 기회를 찾는 반면, 장인들은 그들의 경계 안에서 계속 일한다. 적응적 전문가는 개인이 영역별 기술을 계속 개발함에 따라 일상적인 전문가(Carbonell et al. 2014)로부터 발전한다. 일반적으로 전문지식은 자동화되거나 일상화되어 학습된 이후 인지자원이 덜 필요하게 된다. 그러나, 이 거장은 지식의 지속적인 사용과 확장을 통해 이러한 자동화를 피하기 위해 의식적인 노력을 기울일 수 있다(Ericsson 2006).

Routine and adaptive experts are at the highest level of skill development. However, Bransford et al. (2000) refer to routine experts as ‘artisans’ and adaptive experts as ‘virtuosos’. Artisans continue to work within their boundaries while virtuosos seek opportunities to broaden their knowledge. Adaptive experts develop from routine experts (Carbonell et al. 2014), as individuals continue to develop domain-specific skills. Generally, expertise becomes automated or routine, requiring less cognitive resources since it is learned. However, its possible that the virtuso makes a conscious effort to avoid such automation by continual use and extension of their knowledge (Ericsson 2006).


적응형 전문가들은 독특한 기여를 하기 위해 더 혁신적이고 즉흥적일 수 있다. 즉흥연주자들은 기억에서 상황에 맞는 청크와 패턴을 자유롭게 회수하는 동시에 뇌의 통제와 검열 기능을 동시에 억제한다. 신경과학 연구에서는 습득한 전문지식이 유동적이고 놀이적으로 현재의 환경과 연계될 때 아이디어의 창조적 생산에 필요한 특정 뇌 패턴이 활성화된다는 것을 밝혀냈다(소이어 2006).

Adaptive experts may be more innovative and improvise to make unique contributions. Improvisers freely retrieve context-appropriate chunks and patterns from memory, while simultaneously curbing the controlling and censoring functions of the brain. Neuroscience research has revealed that certain brain patterns necessary for the creative production of ideas are activated when acquired expert knowledge is flexibly and playfully linked with the current environment (Sawyer 2006).


전문 지식 습득: 역량으로 가는 길

Acquiring expertise: Road to competence revisited


전문지식의 습득은 (꾸준히 잘못 해석되고 있는) 경험의 법칙인 1만 시간의 실천에 의존하고 있는 것으로 인용되어 왔다. 1만 시간 동안 피아노를 연습한다고 해서 피아니스트가 되는 것은 아니다. 모든 연습이 완벽을 만들어주는 것은 아니다. 에릭슨은 특히 무분별한 연습보다는 성과에 대한 피드백을 통해 정확한 스킬에 대한 1만 시간의 의도적 연습에 기반한 전문지식의 개발을 언급했다(Ericsson et al. 1993).

The acquisition of expertise has been quoted as being dependent upon 10,000hours of practice, a rule of thumb that is consistently misrepresented. Practicing the piano for 10,000hours does not make one a concert pianist. All practice does not make perfect. Ericsson specifically referred to the development of expertise based on 10,000hours of deliberate practice on the correct skills with feedback regarding performance, rather than practice indiscriminately (Ericsson et al. 1993).


학습은 점진적인 전환이지, all-or-none 현상이 아니다. 초보자를 보조하기 위해서는, 전문지식으로 가는 길을 보다 가시적으로 만들기 위해, [역량으로 가는 길]을 설계해야 한다. 학습 전환을 식별하고 학습자가 과제에 적응할 수 있도록 돕는 것은 역량을 더 효율적으로 달성하는 데 도움이 될 수 있다(Lajoie 2003).

Learning is a gradual transition, not an all-or-none phenomenon. To assist novices, the road to competence1 should be mapped out to make the path to expertise more visible. Identifying learning transitions and helping learners adapt to challenges can assist them achieve competence more efficiently (Lajoie 2003).


인지 견습 프레임워크(아래 간략하게 설명)는 특정 분야의 전문지식을 위한 학습 환경을 설계하기 위한 지침을 제공한다(전체 설명은 콜린스 외 1987, 브라운 외 1989 참조).

The cognitive apprenticeship framework (described briefly below) provides guidelines for designing learning environments for expertise in particular areas (see Collins et al. 1987; Brown et al. 1989 for full description).


인지적 도제

Cognitive apprenticeship


[전통적인 견습]에서, 학습자들은 다른 사람들이 과제를 하는 것을 관찰하고, 그들의 멘토나 그룹 멤버들이 지도를 하는 동안 그러한 기술을 연습한다. 의대생들은 의사 결정을 안내하는 의사들로부터 그러한 환경에서 배운다(Lajoie 2009, 2017). 다만 [의대생을 가르치는 것]보다, [환자안전을 보장하는 것]이 핵심 우선순위인 만큼 의대 견습은 성과 중심으로 추진된다. 인지 견습은 전통적인 견습을 모방하지만, [학생들이 전문가의 피드백을 받아 자신의 기술을 의도적으로 연습할 수 있는 안전한 학습 환경을 조성한다]는 부가적 가치added value를 가지고 있다(Ericsson et al. 1993). 인지 견습은 초보 학습자의 모델 역할을 하는 인지 영역 지식과 전략의 외부화가 필요하다. 이러한 [전문가 모델을 추출하는 것]은 교육 과정에 필수적이다.

In traditional apprenticeships, learners observe others doing a task and then practice those skills while their mentor or group members provide guidance. Medical students learn in such settings from physicians who guide them in their decision-making (Lajoie 2009, 2017). However, medical apprenticeships are outcome driven as the key priority is to ensure patient safety rather than to instruct the medical student. Cognitive apprenticeships mimic traditional apprenticeships but have the added value of creating a safe learning environment where students can practice their skills deliberately with feedback from experts (Ericsson et al. 1993). Cognitive apprenticeships require the externalization of cognitive domain knowledge and strategies that serve as models for the novice learners. Extracting these expert models is essential to the teaching process.


인지 도제 프레임워크는 [학습자가 특정 영역 내용, 교수법, 교육 순서, 학습의 사회학을 설명함으로써] 전문성을 습득하는 데 도움이 되는 학습 환경을 설계하기 위한 고려사항을 개략적으로 설명한다. 교육 내용은 [특정 영역에서 문제를 해결하고 새로운 사실을 습득하는 데 유용한 전문가 학습 전략]과 함께 명시한다. 교수법에는 모델링, 비계 및 페이딩이 포함된다. 

    • 모델링(Modeling)은 학습자가 자신의 성과를 관찰하고 반영할 수 있도록 전문가 프로세스와 전략을 외부화하는 것을 말한다. 

    • 비계란 학습자의 잠재력에 도달하는 데 도움이 되는 피드백과 지도를 말한다(Vygotsky 1978). 

    • 이런 지원은 학습자가 스스로 학습을 통제하면서 점차 희미해진다. 

The cognitive apprenticeship framework outlines considerations for designing learning environments that assist learners in acquiring expertise by describing specific domain content, teaching methods, instructional sequencing, and the sociology of learning. The instructional content is specified along with expert learning strategies that are useful for solving problems and acquiring new facts in a specific domain. Teaching methods include modeling, scaffolding and fading. 

    • Modelling refers to externalizing the expert processes and strategies for learners to observe and incorporate into their own performances. 

    • Scaffolding refers to feedback and guidance helping learners’ reach their potential (Vygotsky 1978). 

    • Such assistance is gradually faded as learners take control of their own learning. 


에릭슨(2015년)은 의대생들이 [전문가 수행능력의 양상representation을 검사하고, 이를 자신의 수행으로 환산한 후, 그 수행에 대한 평가와 반성을 통해 배우는 방식]을 기술하고 있다. 그는 학습자가 올바른 기술을 습득하고 반복적인 실수를 피하기 위해 필요한 비교와 조정을 할 수 있도록 돕는 의료 교사/교사의 역할에 대해 논한다.

Ericsson (2015) describes how medical students learn from examining representations of expert performance, translating them into their own performance, and subsequently evaluating and reflecting on their performance. He discusses medical tutors/teachers’ roles as helping learners make the necessary comparisons and adjustments to acquire the correct skills and avoid repeating mistakes.


학습과 동기부여를 강화하기 위해서는 [적절한 수준의 도전을 순차적으로 교육하는 것]이 필요하다. [여러 맥락에서 배우는 것]은 지식 전이를 촉진할 수 있다. 가장 중요한 것은 인지적 견습에서는 ['큰 그림'에 대한 더 고차원적 추론]을 지지한다. 이는 한 번에 하나씩 배우는 것이 아니라 역량을 연속적in tandem으로 제시하는 통합적 접근법과 유사하다(Mylopoulos et al. 2017). 

Sequencing instruction with appropriate levels of challenge is necessary to enhance learning and motivation. Learning in multiple contexts can foster knowledge transfer. Most importantly, cognitive apprenticeships support higher order reasoning about the ‘big picture’. This parallels an integrative approach to learning competencies in tandem, rather than one at a time (Mylopoulos et al. 2017). 


학습 과제는 또한 학습자가 [다양한 관점을 공유하고, 논쟁 기술을 쌓고, 자신의 성과를 타인과 비교하며, 해결책과 자신의 이해를 비판적으로 평가]하는 [학습의 사회적 측면]을 육성할 수 있다. 

    • 다원적 관점을 취하도록 권장하는 문제 기반 학습 접근법(Hmelo-Silver 및 Barrows 2008) 및 

    • 성찰, 토론 및 결과 보고를 위한 피드백 기회와 함께 안전한 실험을 제공하는 시뮬레이션 (Kawamura et al. 2016) 

...등은 [집단의 사회학]이 학습과 환자의 결과를 향상시킬 수 있는 맥락의 예들이다. 

Learning tasks can also foster the social aspect of learning where learners share multiple perspectives, build argumentation skills, compare their performance with others, and critically evaluate solutions and their own understanding. 

    • Problem based learning approaches that encourage multiple perspective taking (Hmelo-Silver and Barrows 2008) and 

    • simulations that provide safe experimentation with feedback opportunities for reflection, discussion and debriefs (Kawamura et al. 2016) 

...are examples of contexts where the sociology of the group can improve learning and patient outcomes. 


우리는 그들이 적응적 전문지식을 어떻게 지원하는지에 대한 통찰력을 제공하기 위한 시도로 아래에서 반성과 자율규제에 대해 논의한다.

We discuss reflection and self-regulation below in an attempt to provide insight into how they support adaptive expertise.


자체 규제 학습 활성화

Enabling self-regulated learning


연구에 따르면, 전문가들은 많은 분야에서 초보자들보다 자기 규제 학습(SRL)이 더 높다. 학습자는 학습 에피소드 전후에 자신의 노력을 평가하고 통제함으로써 자신의 학습을 적극적으로 관리할 수 있을 정도로 자율적으로 조절된다. SRL 이론은 정교한 정신 모델을 구축하려는 학습자의 노력을 특징짓는 인지적, 감정적, 전이적, 동기적 과정을 설명한다(Pintrich 2000; Zimmerman 2000; Winne 2001).

Research suggests that experts have higher self-regulated learning (SRL) than novices in many domains. Learners are self-regulated to the extent that they are actively managing their own learning by evaluating and controlling their efforts before, during, and after a learning episode. SRL theories account for the cognitive, affective, metacognitive, and motivational processes that characterize learners’ efforts to build sophisticated mental models (Pintrich 2000; Zimmerman 2000; Winne 2001).


SRL 이론은 몇 가지 일반적인 가정을 공유하지만(Pintrich 2000; Zimmerman 2000), 특정 영역에서 자율 규제 구조들이 어떻게 운영되는지에는 차이가 있다(Alexander et al. 2011). 예를 들어 의료영역의 문제해결 규제는 특정업무에 내재된 선언적·절차적 지식(Lajoie and Poitras 2014; Lajoie 2017)에 의해 안내된다. 일단 우리가 전문가 SRL 프로세스의 특성을 파악하면, 우리는 그것들을 초보자를 위한 기초가 될 수 있다.

Although SRL theories share some common assumptions (Pintrich 2000; Zimmerman 2000), there are differences in how self-regulatory constructs are operationalized in specific domains (Alexander et al. 2011). For example, regulation of problem-solving in the medical domain is guided by the declarative and procedural knowledge that is inherent to the specific tasks (Lajoie and Poitras 2014; Lajoie 2017). Once we identify the nature of expert SRL processes, we can scaffold them for novices.


자기조절적 문제 해결자는 사전 사고, 성과, 성찰의 반복적 사이클을 실천한다

    • 사전 사고는 문제해결에 영향을 줄 수 있는 선행신념을 말한다. 

    • 수행단계는 문제 해결을 위해 모니터링되고 통제된 조치를 취하는 것을 포함하며, 

    • 자기 성찰은 성과에 대한 판단과 반응으로 이루어진다. 

Self-regulated problem solvers engage in a recursive cycle of forethought, performance, and reflection (Zimmerman 2000). 

    • Forethought refers to prior beliefs that can affect problem-solving. 

    • The performance phase involves taking monitored and controlled steps to solve the problem, and 

    • self-reflection consists of judgement and reaction to performance. 


의학에서 적응형 SRL 기술은 의료 상황의 역동적 특성을 인식하고 상황 인식 목표를 설정하는 것에 기초한다.

In medicine, adaptive SRL skills are based on recognizing the dynamic nature of the medical situation and establishing context-aware goals.


  • Lajoie 및 Poitras(2014년)는 다음과 같은 예를 제공한다. 빈맥 환자를 진단할 때 

    • 사전 생각 단계에서 문제를 파악하고 필요한 단계를 계획해야 한다. 예를 들어 혈청 수준을 확인하기 위한 실험실 테스트 주문. 

    • 수행에는 진단 타당성을 평가하기 위한 단계 실행(시험 실시)과 결과 모니터링(세럼 레벨)이 포함된다. 

    • 성찰을 통해 의사는 문제의 상태를 재평가하거나 최종 해결책을 상세히 설명한다. 그 후 반성은 후속 단계에 대해 미리 생각한 것에 영향을 미친다.

  • Lajoie and Poitras (2014) provide examples: 

    • Forethought in diagnosing a tachycardia patient requires orienting to the problem and planning the necessary steps; e.g. ordering lab tests to verify serum levels. 

    • Performance involves executing steps (conducting tests) and monitoring outcomes (serum levels) to evaluate the plausibility of the diagnosis. 

    • In reflection, physicians reevaluate the state of the problem or elaborate their final solution. Reflection then influences forethought in relation to subsequent steps.


SRL 프로세스의 적합성은 문제 공간의 요구에 의해 결정된다

    • 즉, 안정적인 환자를 진단할 때, 사용 가능한 모든 정보를 고려하여 방향성이 광범위할 수 있지만, 

    • 악화되는 환자를 안정화할 때는 시간이 짧고 의료 비상사태에 대처하기 위해 경험적 접근법이 필요할 수 있다.

The appropriateness of SRL processes is determined by the demands of the problem space: 

    • when diagnosing a stable patient, orientation can be extensive considering all available information; however, 

    • when stabilizing a deteriorating patient, less time is available and a heuristic approach may be necessary to address medical emergencies.


그림과 같이, 자기조절의 단계는 방향 설정, 계획, 실행, 모니터링, 평가 및 상세화 같은 메타 수준 프로세스를 포함한다. 이러한 프로세스는 적응적 전문지식을 개발하기 위한 Cutrer 외(2017년)의 전제 조건과 일치한다.

    • 실천에 대한 성찰을 위한 개방성, 

    • 단점을 인식하기 위한 메타추론, 

    • 기존 가정에 도전하기 위한 비판적 사고, 

    • 문제를 재구성하는 능력

As illustrated, the phases of self-regulation involve meta-level processes like orienting, planning, executing, monitoring, evaluating, and elaborating. These processes are congruent with Cutrer et al.'s (2017) prerequisites to developing adaptive expertise: 

    • openness to reflect on practice, 

    • metareasoning to recognize shortcomings, 

    • critical thinking to challenge existing assumptions, and 

    • ability to reconstruct the problem. 


SRL은 학습자가 지식을 자동화하기 보다는, [능동적이고 유연하게 유지]하도록 도울 수 있으며, 적응형 전문가는 일상 전문가보다 더 높은 수준의 메타인지를 가지고 있다(Makary 및 Daniel 2016). 

SRL may help learners keep knowledge active and flexible rather than automated, and adaptive experts have more advanced levels of metacognition than routine experts (Makary and Daniel 2016). 


앞에서 논의한 자동성은 앤더슨(1993)의 기술 습득 모델에서도 설명할 수 있는 전문지식의 특성으로, 다음의 3단계를 가리킨다. 

    • 선언적 단계(사실적 지식을 습득하는 것), 

    • 절차적 단계(그런 지식을 적용하는 방법을 아는 것), 

    • 자율적 단계(지식 보다 자동화되고 신속해지는 것

Automaticity, discussed earlier, is a characteristic of expertise that can also be explained by Anderson's (1993) model of skill acquisition that refers to three stages of skill development: 

    • the declarative stage (acquiring factual knowledge); 

    • the procedural stage (knowing how to apply such knowledge); and 

    • the autonomous stage (where knowledge is more automated and rapid).


결론 Conclusions


적응형 전문가에게 있어서 학습은 평생의 과정이며 SRL은 개인이 새로운 지식 습득에 개방적인 상태를 유지하고 지식이 유연하게 사용되도록 보장한다. SRL(인지적, 행동적, 감정적, 전이적, 동기적)의 다항성적 성격을 신중하게 고려해야 한다.

For adaptive experts, learning is a life-long process and SRL ensures that individuals remain open to new knowledge acquisition and that knowledge is used flexibly. One must carefully consider the multi-componential nature of SRL (cognitive, behavioral, affective, metacognitive, and motivational).








. 2018 Aug;40(8):809-812.
 doi: 10.1080/0142159X.2018.1485886. Epub 2018 Jul 23.

Adaptive expertise in medical education: Accelerating learning trajectories by fostering self-regulated learning

Affiliations 

Affiliation

  • 1a Department of Educational and Counselling Psychology , McGill University , Montreal , Canada.

Abstract

Medical school is designed to provide students with the necessary education and training needed to be effective and safe physicians. Debates about how best to instruct medical students along this trajectory are abundant. Students learn through a planned curriculum as well as a self-directed one motivated by their own level of interest and ability to access and integrate the exponential growth of medical information available through technology. The rate of change in clinical findings means that some of what is learned in today's classroom will likely be out of date by the time of graduation. To achieve and maintain expertise, students are faced with this challenge. This article explores ways to support medical students in acquiring the skills they need to become adaptive experts. In particular, instructional strategies for supporting the acquisition of fast, accurate, and superior reproducible performance are described with an emphasis on self-regulated learning where students learn to learn flexibly, seeking out opportunities to take knowledge to new levels.


의학적 의사결정에서 적응적 전문성(Med Teach, 2018)

Adaptive expertise in medical decision making

Pat Croskerry




도입 Introduction


특히 진단 과정의 기초가 되는 임상 추론은 매우 복잡하다. 과거에는 이 분야에서 유능하다고 여겨지는 것이 단순히 "특히 실무적인 문제에서 지각, 분별 또는 차별의 정확성과 깊이"로 정의되는 통찰력을 갖는 것이었다(Merriam-Webster 2018). 집합적으로, 이러한 능력들은 개인의 판단과 의사결정으로 분류할 수 있다. Osler와 같은 초기 마스터 임상의들에게 [자신의 진단 실패를 기록하도록 격려]하면서, [임상추론 기술의 함양에 대한 책임을 개별 임상의들의 발 밑에 분명히 두었다](Roland 1982년).

Clinical reasoning, especially, that which underlies the diagnostic process, is extraordinarily complicated. It used to be that to be regarded as competent in this area was simply to have acumen – defined as “keenness and depth of perception, discernment, or discrimination, especially in practical matters” (Merriam-Webster 2018). Collectively, these faculties group under individual judgment and decision making. Early master clinicians like Osler lay the responsibility for the cultivation of these skills clearly at the feet of individual clinicians, encouraging them to record their diagnostic failures (Roland 1982).



의학지식에 대한 철저한 기초 외에도 연령, 지성, 경험, 성별, 종교 등의 다른 인구통계학적 요인(그림 1의 클러스터 A), 합리성, 성격, 의사결정 스타일 등의 인지/사고적 요인(클러스터 B)이 중요하다(크로스커리 2017c).

Besides having a thorough foundation in medical knowledge, other demographic factors such as age, intellect, experience, gender, religion, and others (cluster A of Figure 1), and cognitive/thinking style factors such as rationality, personality, decision style, and others (cluster B) are important (Croskerry 2017c).


버거(2008, 페이지 100)는 다음과 같이 언급하고 있다: "의사의 역할과 보다 구체적으로, [의사의 인구통계학적 특성이 임상 치료에 미치는 영향]은 상대적으로 간과되어 왔다."

As Berger (2008, p. 100) notes: “The role of the physician and, more specifically, the influence of physicians’ demographic characteristics on clinical care—has been relatively overlooked.”


성격 특성의 유전성은 약 50%로 추정되므로(Jang et al. 1996), 이러한 특성과 특성들 중 일부는 다른 특징들보다 더 경직되어 있지만, 그렇다고 해서 훈련을 통한 변화가 불가능한 것은 아니다.

Heritability of personality traits is estimated at about 50% (Jang et al. 1996), so some of these traits and characteristics are more hard-wired than others but this does not make them impervious to modification by training.


  • 또한 [주위ambient 요인], 피로, 수면 부족, 스트레스, 이상 징후와 같은 항상성 및 일주기 요인, 인지 하중(클러스터 C)은 이제 모두 임상 결정이 취할 최종 공통 경로에 영향을 미치는 것으로 인식된다(Croskerry 2014). 

  • 네 번째 클러스터(D)는 전체 물리적 발전소, 작업자와 기계 사이의 인체공학적 인터페이스, 그리고 정보 기술의 점점 더 먼 도달거리와 같은 [시스템 요소]로 구성된다. 좋은 환경은 좋은 의사결정을 지원하는 반면 나쁜 환경은 그렇지 않다는 것이 일반적으로 받아들여진다(Hogarth 2010). 

  • 다섯 번째 클러스터(E)는 정확한 진단을 내릴 수 있는 용이성에 영향을 미칠 수 있는 [의료 상태의 특성]을 포함한다. 

  • 여섯 번째 클러스터(F)에는 [환자가 의사결정 과정에 포함되며, 가족, 친구, 간병인]과 함께 자신에게 영향을 미치는 의사결정에 중요한 역할을 한다.

  • Further, ambient factors, and homeostatic/circadian factors such as fatigue, sleep deprivation, stress, and dysphoria, as well as cognitive loading (cluster C) are now all recognized to influence the final common path that clinical decisions will take (Croskerry 2014). 

  • The fourth cluster (D) comprises system factors: the overall physical plant, the ergonomic interface between workers and machines, and the increasingly far reach of information technology. It is generally accepted that good environments support good decision making while poor ones do not (Hogarth 2010). 

  • The fifth cluster (E) includes characteristics of the medical condition which may influence the ease with which a correct diagnosis may be made. 

  • The sixth cluster (F) includes the patient in the decision-making process, along with their family, friends, and caregivers who play a critical role in the decisions that impact them. 


[일상적 전문성]은 필요한 대부분의 임상적 의사결정에 충분하지만, 어떤 경우에는 이러한 요인의 복잡성과 상호관계의 상호관계는 현재 [적응적 전문성]으로 언급되는 보다 정교한 수준의 전문지식을 필요로 할 것이다(Hatano와 Inagaki 1986).

While routine expertise will suffice for the majority of clinical decisions that need to be made, in some instances, the complexity of these factors and their interrelationships will require a more sophisticated level of expertise, now referred to as adaptive expertise (Hatano and Inagaki 1986).


적응적 의사결정 특성

Characteristics of adaptive decision making


적응형 의사결정자는 다양한 관점을 수용하고 그들 사이의 연결성을 인식할 필요가 있다. [비판적 사고력]과 함께 [성찰]과 [마음챙김] 같은 메타인지적 과정이 필요하다. 핵심 개념의 광범위한 숙달성을 보여주는 종합적인 기술 수준에 도달하기 위해서는 그림 1의 모든 클러스터의 다양한 요소들에 대한 사고, 유연성, 혁신 및 적극적인 참여가 필요하다. 역시 중요한 것은 transfer 능력이다.

The adaptive decision maker needs to embrace multiple perspectives and appreciate the connectivity between them. Critical thinking skills are required, along with metacognitive processes such as reflection and mindfulness. Efficiency of thought, flexibility, innovation, and active engagement with the various factors from all clusters in Figure 1 are needed to reach a comprehensive skill level that demonstrates a wide mastery of core concepts. Important, too, is the ability to transfer.


예를 들어, 합리적인 의사결정의 주요 장애물 중 하나는 인지편향의 침입이다(Staronovic 2011b). 많은 인지적, 감정적 편견이 있지만, 전형적인 예는 의사결정자가 임상적 문제를 해결하기 위해 [충분한 검색이 이루어졌다고 스스로 만족하는 검색 만족search satisficing]이다. 이는 방사선학에서 두 번째로 흔한 오류(Bruno et al. 2015)이며 다른 의학 분야에서도 쉽게 입증된다. "응급의료에서 가장 흔히 놓치는 골절은 두 번째 골절"이라는 훈계로 이어져 1차 골절이 발견되면 추가적 탐색search이 중단됐다.

For example, one of the major impediments to rational decision making is the intrusion of cognitive bias (Stanovich 2011b). There are many cognitive and affective biases but a classic example is search satisficing where the decision maker satisfies himself that sufficient search has been done to solve a clinical problem. This is the second most common error in radiology (Bruno et al. 2015) and is readily demonstrated in other medical disciplines. It has led to the admonition that “the most commonly missed fracture in emergency medicine is the second one,” the search having been called off once the first fracture is found.


또한, transfer를 평가하는 데 있어서, 교육자는 미래 학습을 준비하는 trasnfer(PFL)과 격리된 문제 해결(SPS)의 구별을 높이 평가하는 것도 중요하다. PFL은 학습 내용을 수정하고 수정할 수 있는 기회와 함께 피드백이 필요하다. 새롭게 경험된 개념(SPS)을 직접 적용하여 즉시 이전하기 위한 테스트는 초기에 좋지 않은 결과를 산출할 수 있으며, 나중에 transfer의 증거가 나타날 수 있다(Schwartz et al. 2005).

It is important, too, that in evaluating transfer educators appreciate the distinction between transfer that prepares for future learning (PFL) and that in sequestered problem solving (SPS). PFL needs feedback along with the opportunity to revise and refine learning. Testing for immediate transfer through direct application of a newly experienced concept (SPS) may initially yield poor results, with evidence of transfer emerging later (Schwartz et al. 2005).


추론과 문제해결에 중요한 또 다른 특징은 [측면 사고lateral thinking](De Bono 1970)이다 – 구어적으로 "상자 밖의 사고"로 묘사된다. 그것은 간접적이고 종종 창의적인 문제 해결을 위한 길을 택하는 것을 의미하며, 수직적vertical 사고에서 [전통적으로 사용되는 일반적인 단계적 지혜의 논리]로부터 벗어날 필요가 있다. 흥미롭게도, 도발과 같은 측면lateral 사고에서의 몇몇 유용한 전략들은 추리와 의사결정을 향상시키는 탈편향적 전략의 역할을 할 수 있다. '반대를 생각하라'는 도전은 확증편향이나 조기 진단폐쇄와 같은 일반적인 편견을 피할 수 있는 대체적이고 확증되지 않는 전략에 마음을 열 수 있다.

Another characteristic important to reasoning and problem solving is lateral thinking (De Bono 1970) – colloquially described as “thinking outside the box.” It involves taking an indirect, often creative path toward problem solving, necessitating a departure from the usual stepwise logic traditionally used in vertical thinking. Interestingly, some useful strategies in lateral thinking such as provocation can serve as de-biasing strategies to improve reasoning and decision making. The challenge to “think the opposite” can open the mind up to alternate and disconfirming strategies that can avoid common biases such as confirmation bias and premature diagnostic closure. 


그러한 도발은 알려져 있거나 예상된 아이디어에서 벗어나 새로운 아이디어로 이동하도록 장려한다는 점에서 "이동적 가치movement value"를 가지고 있다고 하며, 그렇지 않으면 고려를 받지 못할 수 있고, 예를 들어 비정형적인 발표와 같이 유용할 수 있다. 또한 측면적인 사고는 "왜"에 대해서 반복적으로 질문을 하고, 다시 한번 조기 폐쇄를 피할 수 있을 뿐만 아니라, 포장 풀기 원칙unpacking principle을 지지하도록 한다. 이 원칙은 간과되었을 수 있는 가능성을 의사 결정자에게 상기시키고, 감별 진단을 개선할 수 있는 역할을 한다(Redelmeier et al. 1995).

Such provocations are said to have “movement value” in that they encourage movement away from a known or anticipated idea toward novel ideas that might otherwise not receive consideration and may be useful, for example, with atypical presentations. Lateral thinking also encourages asking the question “why” iteratively, again likely avoiding premature closure, as well as supporting the unpacking principle – serving to remind the decision maker of possibilities that may have been overlooked, and possibly improving the differential diagnosis (Redelmeier et al. 1995).


의학 인문학은 다양한 학문들이 의학 교육에 미치는 영향, 내재적 가치, 창의성, 지적 잠재력을 오랫동안 인정해 왔다. 한 세기 전 옥스퍼드대 고전학협회 연설에서 오스러(1919)는 이들의 상호보완적 관계를 인정하면서 "한 줄기의 트윈 베리"라고 표현했다.

The medical humanities have long acknowledged the influence, inherent value, creativity and intellectual potential of diverse disciplines on medical education. A century ago, in an address to the Classical Association at Oxford University, Osler (1919) recognized their complementary relationship, describing them as “twin berries on one stem.”


전문 지식으로 가는 길

The route to expertise


  • 그 과정에서 학습자가 통찰력 없이 단순암기 학습을 사용하여 질문하지 않는 수동적인 태도를 보일 경우, 경험을 축적하지만 전문지식을 습득하지 못할 수 있다. 즉, 경험이 없는 전문가가 되는 것이다(그림 2(A)

  • 그러나, 그들이 통찰력을 가지고 있고 임상 환경에 능동적으로 관여하는 경우, 그들은 숙련도와 능력으로 나아가는 대신 "클래식" 또는 "루틴" 전문지식을 달성하기 위한 효율적이고 정확한 개념 숙달성을 보여줄 수 있다(그림 2(B)). 이것은 레지던트의 최종 단계와 독립 실행의 초기 단계에 해당한다.  

  • 만일 그들이 새로운 사례와 비정형atypical 사례에 대한 혁신적인 접근방식을 채택하는 능력과 함께 질병의 다양한 양상를 통해 경험을 축적하면서, 위에서 설명한 적응적 학습의 특성을 구현하는 학습 접근방식을 지속한다면, 그들은 일상적인 전문지식을 넘어 적응적 전문지식을 향해 나아갈 수 있다(그림).re 2(C) 이것은 앞으로 5년에서 10년의 계획적인 실천에 의해 더 발전할 것으로 예상된다.

  • Along the way, if learners have an unquestioning, passive attitude, using rote learning with minimal insight, they will accumulate experience but may not acquire expertise i.e. they become experienced non-experts (Figure 2(A)). 

  • However, if they do have insight, and actively engage with the clinical setting, they may progress instead toward proficiency and competence, demonstrating efficient and accurate mastery of concepts to achieve “classic” or “routine” expertise (Figure 2(B)). This corresponds to the final stages of residency and early years of independent practice. 

  • If they subsequently sustain a learning approach that imbues the characteristics of adaptive learning described above, accumulating experience with many presentations of disease, together with the capability of adopting innovative approaches toward novel and atypical cases, they may progress beyond routine expertise toward adaptive expertise (Figure 2(C)). This would be expected to develop over a further five to 10 years of deliberate practice.




과제

Challenges


임상 의사결정자들이 직면하는 가장 중요한 도전 중 하나는 [불리한 조건에도 불구하고 합리성을 유지하는 것]에 대한 위협이다. 몇몇은 대표적인데, 그 중 하나는 대표성representativeness의 문제다. 의료 커리큘럼은 흔히 임상 문제를 프로토타입 방식으로 제시하며, "공통적인 것은 흔하다"와 같은 임상적 격언을 따르도록 권한다. 문제는, 실제 임상 세계에서는 비정형적이고 차별화되지 않은 프레젠테이션이 드물지 않다는 점이다. 

    • 예를 들어, 폐색전증은 비정형적이거나 구별되지 않은 방식으로 자주 나타나며, 첫 번째 프레젠테이션에서 최대 50%의 경우를 놓칠 수 있다(Pinea et al. 2001). 시제품이나 고전적인 프리젠테이션을 찾는 것은 도움이 되지 않을 수 있으며, 일부 질병 스크립트는 오류 입증 자체가 학습 기회를 제공하지만 도움이 되지 않을 수 있고, 해로울 수도 있다. 적응형 문제 해결은 의사결정자에게 더 큰 혁신 기술을 제공할 가능성이 높고 최소한 차이에 대한 진단을 고려하고 그것이 올바르게 이루어질 가능성을 개선할 수 있는 개선된 기회를 제공할 것이다.

One of the most important challenges that clinical decision makers face, is the threats against maintaining rationality in the face of adverse conditions. Several stand out; one such is the problem of representativeness. Medical curricula often present clinical problems in a prototypical fashion, along with exhortations to follow clinical maxims such as “common things are common.” The problem in the real clinical world is that atypical and undifferentiated presentations are not uncommon. 

    • Pulmonary embolus, for example, frequently presents in an atypical or undifferentiated way, and may be missed up to 50% of the time on first presentation (Pineda et al. 2001). Looking for prototypes or classic presentations may not help, and some illness scripts will not be helpful, and possibly detrimental, although demonstrating the error itself presents a learning opportunity. Adaptive problem solving would likely equip the decision maker with greater innovation skills and an improved chance of at least considering the diagnosis on the differential and improving the likelihood that it will be made correctly.


두 번째 문제는, 충분히 인식되지 않지만, 임상 추론에서의 오류 관리의 어려움이다. 오류 관리 이론(EMT)은 거짓 음성 및 거짓 양성 오류의 불확실성과 비대칭 비용을 우려한다(Croskerry 2008). 수천 년 전, 진화 적응의 환경에 있는 우리의 조상들에게, 이러한 오류들은 비용이 많이 들 수 있다. 만약 막대기가 뱀처럼 생겼고, 실제로 막대(허위 양성)일 때 뱀처럼 취급하기로 한 결정이었다면, 그 비용은 전략적 우회도로의 가벼운 불편함보다 크지 않았을지도 모른다. 그러나 만약 위음성 오류가 발생한다면 – 뱀일 때 그 물체를 막대기로 취급하는 것 - 비용이 많이 들거나 치명적일 수 있다. 현대 의학에서는 비슷한 트레이드오프가 이루어져야 한다

    • 언급된 바와 같이 폐색전증의 비특이적 양상은 불확실성을 발생시키고, EMT는 잠재적으로 치명적인 진단을 놓치지 않기 위해 우리가 기꺼이 값비싸고 시간 소모적인 시험에 전념할 수 있는 임계값을 고려하도록 강제한다. CT 혈관 조영술이나 인공호흡기 주입 스캔을 몇 번이나 해야 할까? 위양성 비율은 어떻게 되어야 하는가? 다양한 맥락에서, 특히 인지 부하 증가에서 EMT를 위해 어떻게 훈련할 것인가?

A second problem, not fully appreciated, is the challenge of error management in clinical reasoning. Error management theory (EMT) concerns the uncertainty and asymmetric costs of false negative and false positive errors (Croskerry 2008). For our ancestors in the environment of evolutionary adaptation (EEA), many thousands of years ago, these errors could be costly. If a stick looked like a snake and the decision to treat it like a snake was made when in fact it was a stick (false positive), then the cost may have been no higher than the mild inconvenience of a strategic detour. But if a false negative error was made – treating the object as a stick when it was a snake could be very costly, perhaps fatal. In modern times, in medicine, similar tradeoffs have to be made. 

    • The nonspecific presentation of pulmonary embolus, as noted, generates uncertainty and EMT forces a consideration of the threshold at which we would be willing to commit to expensive, timeconsuming tests in order not to miss a potentially fatal diagnosis. How many CT-angiograms or ventilation-perfusion scans do we need to be doing? What should the false positive rate be? How do we train for EMT in varying contexts, especially increased cognitive load?


세 번째 영역은 의사 결정자(클러스터 C)가 [주변 환경과 다양한 항상성의 공격]에 대처하는 것에 관한 것이다. 규칙, 알고리즘, 경로 집합은 하루의 차가운 시각에서 잘 쉬고, 잘 먹고, 잘 자는 사람들에 의해 개발될 수 있으며, 앞으로 나아가기 위한 합리적인 알고리즘이 보통 이용 가능하다. 하지만, 마이크 타이슨처럼, 헤비급 권투선수는 "주둥이를 두들겨 맞기 전까진 모든 사람은 계획을 가지고 있다."라고 말했다. 예기치 않은 사건의 전환은 특히 의사결정자의 회복탄력적인 정신을 시험할 것이며, 특히 항상성과 웰빙을 위협하는 경우에 더 그렇다수면부족으로 항상성이 깨지면, 진단 실패가 6배 증가한다(랜드리건 외). 2004). 문제와 문맥 모두에 대한 응답으로 남아있을 수 있는 적응력이 높은 정신은 이러한 조건 하에서 나타날 수 있다.

A third area concerns dealing with the ambient environment and the various homeostatic insults that are leveled at decision makers (cluster C). Sets of rules, algorithms, and pathways can be developed in the cold light of day by people who are well rested, well fed, and well slept, and a rational algorithm for going forward is usually available. However, as Mike Tyson, the heavyweight boxer noted: “Everyone has a plan until they are punched in the mouth.” (Moynagh 2015). An unexpected turn of events will test the most resilient mind, especially, if it is compromised by threats to the homeostasis and well-being of the decision maker. Under the homeostatic insult of sleep deprivation, there is a six-fold increase in diagnostic failure (Landrigan et al. 2004). The more adaptive mind that can remain prevail responsive to both problem and context might under these conditions.


적응적 전문지식을 위해 어떻게 훈련할 수 있을까?

How can we train for adaptive expertise?


전문지식을 습득하기 위한 전통적인 모델은 제한적이며, 특히 그림 1의 클러스터와 이들의 상호작용으로 인해 발생하는 복잡성과 불확실성으로 인해 어느 정도 예측 가능한 속도로 실패할 것이다. 일상적인 전문 지식은 대부분 충분하지만 항상은 아닐 것이다.

Traditional models for attaining expertise are limited and will fail at some predictable rate, especially with the complexity and uncertainty generated by the clusters of Figure 1 and their interplay. Routine expertise will be sufficient most of the time but not all of the time,


    • 1. 훈련과정에서 가장 이른 기회에 비판적 사고에 대한 명시적 훈련을 도입함으로써 추론과 문제해결의 현저한 향상을 이룰 수 있다. 비판적 사고에 대한 립서비스는 자주 지불되지만, 그것을 가르치기 위한 구체적인 전략은 덜 흔하다.

1. Significant improvements in reasoning and problem solving can be made by introducing explicit training in critical thinking at the earliest opportunity in the training process. While lip service to critical thinking is frequently paid, specific strategies to teach it are less common.


    • 2. 마찬가지로, 교육자들 사이에서도 모니터링을 위한 메타인지적 과정의 중요성에 대한 인식이 존재하지만(Colbert et al. 2015; Sawhney 2015) 성찰과 명상은 다른 인지 능력과 마찬가지로 구체적으로 코칭될 필요가 있다.

2. Similarly, there is an awareness among educators of the importance of metacognitive processes for monitoring thinking (Colbert et al. 2015; Sawhney 2015) but reflection and mindfulness need to be specifically coached, much like any other cognitive skill.


    • 3. 의사 결정에 대한 인지적 편견과 감정적 편견을 반드시 인식해야 한다. 편견에 대한 지식은 인간의 노력의 많은 분야에서 확대되었다. 이러한 편향에 대한 설명은 모든 의학 분야와 일부 하위 분야로 발표되었으며, 현재 의과대학의 수가 증가하는 교육 커리큘럼의 일부가 되었다. 탈편향 전략에 대한 인지도는 낮지만 이 분야에서는 초창기다; 다수의 리뷰가 발표되었고, 탐색 및 연구 전략의 부족함이 없다(Croskerry 2017b), 최근 리뷰는 그 효능을 확립했다(Lambe et al. 2016; Ludolph and Schulz 2018).

3. Awareness of cognitive and affective biases on decision making is imperative. Knowledge about them has expanded in many fields of human endeavor. Accounts of these biases have been published in all disciplines of medicine and in some sub-disciplines, and they are now part of the educational curriculum in increasing numbers of medical schools. There is less awareness of strategies for de-biasing but it is early days in this area; a number of reviews have been published and there is no shortage of strategies to explore and research (Croskerry 2017b); recent reviews have established their efficacy (Lambe et al. 2016; Ludolph and Schulz 2018).


    • 4. 문제 해결을 위해 이용 가능한 많은 전략들은 12,000개 이상의 질병에 대한 양상에 걸쳐서 모두 광범위하게 적용되기 때문에 긍정적인 전이positive transfer의 개념을 분명히 가르치고 장려해야 한다.

4. The concept of positive transfer should be explicitly taught and encouraged as many of the available strategies for problem solving have broad application throughout the presentations of over 12,000 illnesses.


    • 5. 혁신과 창의성 그리고 그것이 번창할 수 있는 조건들에 대해 지속으로 생각할 필요가 있다. 의과대학의 인문학 프로그램은 의학의 적응적 전문지식을 발전시키는데 어떻게 기여할 수 있을까? 학제간 관계는 의사결정자의 관점과 유연성을 어떻게 확장할 수 있는가? (Viney et al. 2015)

5. We need to give continuing thought to innovation and creativity and the conditions under which they might flourish. How might humanities programs in of medical school contribute to the development adaptive expertise in medicine? How might interdisciplinary relationships expand the perspective and flexibility of decision makers (Viney et al. 2015)?


    • 6. 합리성의 증진을 지향한 많은 노력이 투입되어야 한다. 합리성을 손상시키는compromise 요인은 무엇이며, 개선시키는 요인은 무엇인가? 궁극적으로, 우리는 의대 입학 선발 과정 자체가 어떻게 최적화될 수 있는지 생각해보고 싶을 것이다. 지원자의 합리성 지수(RQ) (Staronovich et al. 2016)를 현재 요구 조건의 부속물로 점수로 하는 것이 유용할까? 우리는 이미 인문학에 대한 인정과 참여를 보여준 지원자를 선발해야 하는가?

6. A major effort should be directed at the promotion of rationality. What are the factors that compromise it, what improves it? Ultimately, we may wish to consider how the selection process for medical school admission itself might be optimized. Would it be useful to have candidate’s rationality quotient (RQ) (Stanovich et al. 2016) scores as an adjunct to current requirements? Should we be selecting candidates who already demonstrate an appreciation of and engagement in the humanities?



Croskerry P. 2017c. Individual variability in clinical decision making and diagnosis. In: Croskerry P, Cosby KC, Graber ML, Singh H, editors. Diagnosis: interpreting the shadows. Boca Raton (FL): CRC Taylor and Francis Group; p. 129–158.









Review
 
. 2018 Aug;40(8):803-808.
 doi: 10.1080/0142159X.2018.1484898. Epub 2018 Jul 23.

Adaptive expertise in medical decision making

Affiliations 

Affiliation

  • 1a Continuing Professional Development and Department of Emergency Medicine, Faculty of Medicine , Dalhousie University , Halifax , Canada.

Abstract

Aim: Recently, a growing awareness has developed of the extraordinary complexity of factors that influence the clinical reasoning underpinning the diagnostic process. The aim of the present report is to delineate these factors and suggest strategies for dealing more effectively with this complexity.

Method: Six major clusters of factors are described here: (A) individual characteristics of the decision maker, (B) individual intellectual and cognitive styles, (C) ambient and homeostatic factors, (D) factors in the work environment including team factors, (E) characteristics of the medical condition, and (F) factors associated with the patient. Additional factors, such as health care systems, culture, politics, and others are also important.

Results: A review of the literature suggests that most clinicians trained under existing methods achieve a level of expertise presently referred to as "routine" or "classic." The results of studies of diagnostic failure, however, suggest that this level of expertise has proved insufficient. A growing literature suggests that more effective clinical decision might be achieved through adaptive reasoning, leading to enhanced levels of expertise and mastery.

Conclusions: It is proposed here that adaptive expertise may be achieved through emphasizing additional features of the reasoning process: being aware of the inhibitors and facilitators of rationality; pursuing the standards of critical thinking; developing a comprehensive awareness of cognitive and affective biases and how to mitigate them; developing a similar depth and understanding of logic and its fallacies; engaging metacognitive processes such as reflection and mindfulness; and through approaches embracing creativity, lateral thinking, and innovation.


고군분투를 넘어: 학부에서 임상실습으로 전환 시기에 대한 범위검토(Med Educ, 2019)

Beyond the struggles: a scoping review on the transition to undergraduate clinical training

Anique Atherley,1 Diana Dolmans,1 Wendy Hu,2 Iman Hegazi,2 Sonita Alexander3 & Pim W Teunissen1,4




도입

INTRODUCTION


의료전문가들은 의료교육의 연속성을 가로지르면서 학부부터 대학원 연수까지의 [맥락과 책임의 변화]에 반복적으로 노출된다. 이 연속체는 신인이 새로운 환경에 적응함에 따라 장기화되고 역동적인 전환기로 막을 내린다.1-4 ['임상 전' 강의실 환경에 주로 있는 것에서 '임상' 환자 중심 환경에 주로 있는 것으로 변화하는 것]은 의료 연수생들이 일단 의료 훈련을 시작하고 의사로서의 궤도에 오르면 마주치게 될 많은 전환기 중 첫 번째 전환기다.

Medical professionals are repeatedly exposed to changes in contexts and responsibilities from undergraduate to postgraduate training as they traverse the medical education continuum. This continuum is punctuated with prolonged, dynamic transition periods as a newcomer adjusts to a new environment.1–4 Changing from primarily being in a ‘pre-clinical’ classroom environment to mainly being in a ‘clinical’ patient-focused environment is the first of many transition periods that medical trainees will encounter once they have begun medical training and are on a trajectory to being a doctor.


(기존의 연구들은) 학생들의 대비력을 높이고 임상 전 훈련과 임상 훈련 사이의 지식과 기술 격차를 줄이는 데 큰 초점이 맞춰져 있다.5–8 이전의 체계적인 검토 결과, 임상 전 교육에서 임상 교육으로 전환하는 동안 인지된 준비성과 관련된 많은 측면들이 커리큘럼에서 다루어질 수 있다는 것을 발견했다.9 그러나 이러한 개입에도 불구하고, 8,12,13 학생들은 여전히 스트레스와 불안감을 느끼고 있으며, 마치 그들이 임상 환경에 들어갈 때 '깊은 곳에 던져진다'는 것처럼 느낀다.

There is a large focus on increasing students’ preparedness and reducing the gap in knowledge and skills between pre-clinical and clinical training.5–8 A previous systematic review found that many aspects related to perceived preparedness during the transition from pre-clinical to clinical training can be addressed in curricula.9 However, despite these interventions, students still feel stressed and anxious,8,12,13 and as if they are ‘thrown into the deep end’14 when entering the clinical environment.


야들리의 리뷰는 어떤 전환의 영향을 평가할 때 학생 인식 이상을 보아야 함을 제안한다.3 그리고 나아가 [학생들의 인식을 넘어선 결과가 부족했다는 점이 'transition의 개념에 대한 현존하는 문헌에 영향을 미쳤을 수 있다...'고 지적한다3 이 제안은 트랜의 현재 프레임을 보여주고refer 여기에 초점을 두고 있을 가능성이 높기에, 문헌에 나타난 현상과 이것이 무엇을 구성하는지는 여전히 불분명하다.

Yardley’s review proposes moving beyond student perceptions when evaluating the impact of any transition,3 and further suggests that the lack of outcomes beyond students’3 perceptions could ‘have influenced the existent literature on the concept of transitions ...’.3 This suggestion is likely to refer to the current framing, and thus focus, of transitions in the literature and it remains unclear what this constitutes.


대학원 레지던트로의 전환에 대한 최근의 논평에서 오브라이언은 아마도 의학 교육의 전환이 틀에 박힌 방식에서 뭔가 빠져 있다고 제안하고, 이 전환을 '문제'로 보기보다는 [변형transformative 과정]으로 프레임화하는 방향으로의 전환을 제안한다.15 의과대학 내의 임상 훈련으로의 전환도 또한 [의학교육에서 현재 인식되고 개념화된 방법의 재구성]으로부터 이득을 볼 수 있을 것이다.

In a recent commentary on the transition to postgraduate residency, O’Brien suggests that perhaps something is missing from the way transitions in medical education are framed and proposes a shift to framing this transition as a transformative process as opposed to a problem.15 The transition to clinical training within medical school might also benefit from a similar reframing of how it is currently perceived and conceptualised in medical education.


방법

METHODS


우리는 Levac 등이 설명한 5가지 단계에 따라 범위 조정을 실시했다. 

(i) 연구 질문의 식별 

(ii) 관련 연구를 식별한다. 

(iii) 스터디 선택 

(iv) 데이터 차트 작성 및 

(v) 결과의 수집, 요약 및 보고.16 

We conducted a scoping review following five stages as described by Levac et al.: 

(i) identifying the research questions; 

(ii) identifying the relevant studies; 

(iii) study selection; 

(iv) charting the data, and 

(v) collating, summarising and reporting results.16 


피터스 외는 다음과 같이 기술한다.

Peters et al. describe that


'... 이전의 체계적인 검토를 넘어, 범위 검토scoping review는 문헌의 격차를 파악하고, 핵심 개념을 명확히 하고, 실천요강을 다루고, 이를 알리는 증거의 유형에 대해 보고하기 위해 넓은 영역을 탐구하는 데 독립적으로 사용된다.'17

‘... beyond preceding systematic reviews, scoping reviews are independently used to explore broad areas to identify gaps in the literature, clarify key concepts and report on the types of evidence that address and inform practice’.17


이와 같이, 범위 지정 검토는 연구 영역 내에서 핵심 개념을 매핑하는 데 가치가 있다.18 따라서, 학부 임상 훈련으로의 전환에 관한 문헌에서 취해진 현재의 개념적 관점을 파악하기 위해 범위 검토를 실시했다.

As such, scoping reviews are valuable for mapping the key concepts within a research area.18 Therefore, we conducted a scoping review in order to identify current conceptual perspectives taken in the literature regarding the transition to undergraduate clinical training


연구 질문 식별

Identifying the research question


이 범위 검토는 다음과 같은 연구 질문에 초점을 맞췄다. 연구자들은 의과대학 내에서 임상 전 훈련에서 임상 훈련으로 이행하는 과정에 어떻게 접근해왔으며, 이러한 접근방식의 차이점은 무엇인가?

This scoping review focused on the following research question: How have researchers approached the transition within medical school from pre-clinical to clinical training and what are the gaps in these approaches?


관련 연구 식별

Identifying relevant studies



스터디 선택

Study selection


연구자 AA와 SA는 기사 제목과 개요를 독립적으로 심사하여 포함 기준(상자 2)에 대한 전체 텍스트 검토의 적격성을 결정했다.

Researchers AA and SA independently screened article titles and abstracts to determine eligibility for full-text review against the inclusion criteria (Box 2).


그림 1은 이 검색 및 선택 프로세스를 나타내는 흐름도를 보여준다.

Figure 1 shows a flowchart indicating this search and selection process.


데이터 차트 작성

Charting the data


제1저자(AA)는 작성자, 간행물 연도, 저널, 연구 목적, 연구 설계, 이론적 프레임워크, 데이터 수집 방법, 데이터 수집 연도, 주요 결과의 요약, 특정 지원 전략의 설명 및 관련 참고 자료를 추출하기 위해 데이터 차트 작성 양식(부록 S1 참조)을 개발했다.

The first author (AA) developed a data charting form (see Appendix S1) to extract data, including author, publication year, journal, study aim, study design, theoretical framework, data collection methods, year of data collection, summary of key findings, description of a specific support strategy and relevant references.


결과의 수집, 요약 및 보고

Collating, summarising and reporting results







결과 RESULTS


기술 요약

Descriptive summary


개념적 관점

Conceptual perspectives


상자 3은 이러한 관점에 대한 우리의 해석에 대한 짧은 설명을 보여준다.

Box 3 shows a short description of our interpretations of these perspectives.


표 1은 관련 용어, 전환에 접근하는 데 사용되는 전략 및 각 관점을 예시하는 연구에 대한 주석과 관련하여 이러한 관점을 요약한다.

Table 1 summarises these perspectives with regard to associated terminology, strategies used to approach the transition and annotations on a study that exemplifies each perspective.




교육적 관점

Educational perspective


연구자들은 종종 임상 훈련으로의 전환을 부정적으로 묘사하면서 다음과 같이 묘사했다. 

      • 어려운,6,39,50 

      • 스트레스, 8,12,13,19,21,23,28,35,37,47,49 

      • 불안 발생 8,12,13,32–34,36,37 및 

      • 투쟁. 7,26,27,44 

Researchers often portrayed the transition to clinical training negatively, describing it as 

      • difficult,6,39,50 

      • stressful,8,12,13,19,21,23,28,35,37,47,49 

      • anxiety generating8,12,13,32–34,36,37 and 

      • a struggle.7,26,27,44 


일부 연구는 학생들을 포함한 다양한 투쟁을 제거할 필요가 있다는 입장에서 시작되었다. 

      • 필요한 지식과 기술이 부족하다는 느낌, 6,11,13,19,27,34 

      • 준비되지 않은 기분, 11,28,30,32 

      • 임상 훈련의 요구에 부담을 느끼면서, 11,19,28,42 

      • 교직원의 기대에 미치지 못하는 9,33 

      • 문맥의 잦은 변화로 스트레스를 받는27

Some studies started froma stance that there was a need to eliminate a variety of struggles, including students: 

      • feeling like they lacked the required knowledge and skills,6,11,13,19,27,34 

      • feeling unprepared,11,28,30,32 

      • feeling burdened by the demands of clinical training,11,19,28,42 

      • not meeting faculty members’ expectations,9,33 and 

      • stressed by frequent changes in context.27


지식이나 기술의 격차를 해소하려는 경향은 연구자들이 학생들을 준비하는데 주력하고 이러한 격차를 줄이게 했다. 연구진은 '학생들의 구두 환자발표 기본 숙련도, 혈전, 동맥혈 가스, 봉합 기술 등'을 강화하여 '임상 환경에서 학습자로서 우수할 수 있도록 준비' 49를 도모했다.

The tendency to address a gap in knowledge or skills led to researchers focusing on preparing students and reducing this gap. Researchers sought to ‘prepare students to excel as learners in clinical settings’49 by strengthening ‘students’ basic proficiency in oral patient presentations ...basic skills in phlebotomy, arterial blood gases and suturing ...’.12


교육적 관점에서 임상 훈련으로의 전환을 개념화하는 것은 '학생들이 임상 전 연도에서 임상 연도로의 전환을' 목표로 하는 전략의 작성에 영향을 미쳤다.42 이러한 전략은 다음을 포함한다. 

      • 임상실습 과정으로의 구체적인 전환 과정의 개발 및 전임상 교육과정 혁신에 대한 평가 

      • 새롭게 개발한 과정이 학생의 전환 경험에 미치는 영향.6,10,11,14,22–24,28,29,32,33,46 

Conceptualising the transition to clinical training from an educational perspective has influenced the creation of strategies aimed to ‘ease students’ transition from the pre-clinical to clinical years’.42 These strategies include 

      • the development of specific transition to clerkship courses5,7,8,12,35–37,39,40,42,49,50 and evaluating pre-clinical curriculum innovations and 

      • their impact on students’ transition experiences.6,10,11,14,22–24,28,29,32,33,46 


문헌의 커리큘럼 혁신은 다음을 포함한다. 

      • 임상 전 문제 기반 학습(PBL) 커리큘럼, 6,11,24,28,29,32 

      • 초기 환자 접촉을 위한 공간 생성10,14,33 및 

      • 임상 교육 중 종방향 통합 사무직(LIC) 개발.22

Curriculum innovations in the literature include 

      • pre-clinical problem-based learning (PBL) curricula, 6,11,24,28,29,32 

      • creating space for early patient contact10,14,33 and 

      • development of longitudinal integrated clerkships (LIC) during clinical training.22


앞서 언급한 연구들은 임상 훈련으로의 전환과 다음과 같은 결과에 대한 관련 개입을 평가하였다.

      • 특정 전략에 대한 학생 만족도 5,12,37,39,40 

      • 불안감에 대한 영향 측정12 및 자신감 35,42 

      • 지식, 기술 또는 행동의 변화 계산. 12,35–37,39

The aforementioned studies evaluated the transition to clinical training and relevant interventions with outcomes such as:

      • student satisfaction with a particular strategy,5,12,37,39,40 

      • measuring impact on anxiety12 and confidence35,42 and 

      • calculating change in knowledge, skills or behaviour.12,35–37,39


일부 기사는 사무직으로의 전환 과정과 커리큘럼의 혁신을 보여주었다. 

      • 임상 교육에 대한 학생들의 인식된 준비 상태, 12,39,49 

      • 자신감 증가, 9,29,35,42 

      • 불안감 감소12 및 

      • 의욕에 찬 학생들24

      • 그러나, 일부 학생들은 여전히 사회화에 어려움을 겪고 있다.10,23

Some articles showed that transition-to- clerkship courses and curriculum innovations 

      • increased students’ perceived preparedness for clinical training,12,39,49 

      • increased confidence,9,29,35,42 

      • reduced anxiety12 and 

      • motivated students.24 

      • However, some students still struggled with socialisation.10,23


임상 훈련으로의 전환에 관한 대부분의 문헌은 [교육적인 관점]에서 볼 수 있었는데, 이 관점에서 '전환시기에 겪는 어려움'을 학생들이 가지고 있는 지식과 기술 부족에 따른 투쟁으로 보고 있다. 결과적으로, 연구자들은 이에 대한 개입으로 [임상 전 과정]과 [인덕션]을 통하여 이러한 결손을 해결하고자 했다. 그 결과, 연구는 학생 만족도 및 인식된 준비 상태와 같은 결과에 초점을 맞추고 있으며, 일부는 준비 상태와 학생 만족도를 높였다.

Most literature on the transition to clinical training was froman educational perspective, which sees the transition as a struggle due to the knowledge and skill deficits that students have. Consequently, interventions were designed to address these deficits with pre-clinical courses and inductions. As a result, studies focus on outcomes such as student satisfaction and perceived preparedness, with some showing increased preparedness and student satisfaction.


사회적 관점

Social perspective


다시 한번, (이 관점에서도) 연구원들은 임상 훈련으로의 전환을 부정적인 용어로 묘사하고, 학생들을 포함한 다양한 투쟁을 제거할 필요성을 강조하였다

      • 내부자에게 나를 맞추려고 노력중, 32,46,48 

      • 다른 사람들에게 겁을 먹고, 32,34세 

      • 자신의 역할에 대해 확신이 없어, 9,27 그리고 

      • 상 환경의 문화적 규범 학습.27 

Again, researchers described the transition to clinical training in negative terms and highlighted a need to eliminate a variety of struggles, including students: 

      • trying to fit in with insiders,32,46,48 

      • feeling intimidated by others,32,34 

      • being unsure of their role,9,27 and 

      • learning the cultural norms of the clinical environment.27 


연구에 따르면 학생들은 '직장 내 학습에 익숙하지 않았고 이해되지 않은 팀과 문화 내에서 어떻게 탐색하고 관여하는지에 대해 불확실하다'.43 결과적으로 학생들은 학습과 반대로 임상 팀에 적응하는 데 유의미한 초점을 두는 경우가 많았다.46

Studies suggest that students were ‘unfamiliar with learning within the workplace and uncertain about how to navigate and engage within teams and culture they have not come to understand’.43 As a result, students often placed a significant focus on fitting in with the clinical team as opposed to learning.46


학생들의 통합을 다루면서 [동료와 동료 팀 관계]에 초점을 맞추게 되었다. 연구원들은 '학생들이 효과적인 팀원이 되기 위해 필요한 숨겨진 지식' 25를 명시적으로 만들고 '임상 환경과 관련된 역할과 기대, 루틴과 로지스틱 등을 명하는 전략'을 만드는 것이 중요하다고 생각했다. . 12 따라서 [타인과의 의미 있는 상호 작용과 관계 구축]을 촉진하는 것이 중요했다.25,43,48

Addressing students’ integration led to a focus on peer–peer and peer–team relationships. Researchers thought it was important to make explicit ‘the hidden knowledge that students need to become effective team members’25 and to create strategies that would ‘describe the roles and expectations ... routines and logistics’ relevant to the clinical environment.12 It therefore was important to facilitate meaningful interactions and relationship building with others.25,43,48


이러한 사회적 전략의 예는 다음과 같다. 

      • 피어 그룹 촉발,25 

      • 니어피어 교육 세션,48 

      • 학생들이 경험을 공유하도록 촉진, 43 

      • 동료 학습 커뮤니티를 만든다.45 

Examples of these social strategies included 

      • initiating peer groups,25 

      • near- peer teaching sessions,48 

      • facilitating students sharing experiences,43 and 

      • creating peer learning communities.45 


또한, 임상 환경에서 학생과 직원 간의 관계를 증진하기 위해, 일부 연구자들은 [교육적 인덕션]에 대한 다원적 접근법의 사용과 이러한 방향의 레지던트를 포함시키는 것에 대해 보고했다.

Additionally, to promote student– staff relationships in the clinical environment, some researchers reported on the use of multidisciplinary approaches to educational inductions and including residents in these orientations.12,39


측정 결과의 측정과 관련하여, 사회적 지원의 증가는 스트레스를 감소시킬 가능성이 높았고, 한 연구에서 임상 팀으로의 통합과 관련하여 학생들의 준비 상태에 대한 인식을 증가시켰다.48

Regarding measuring outcomes, increased social support was likely to reduce stress19 and, in one study, increased students’ perceptions of preparedness as it related to integrating into the clinical team.48


[사회적 관점]에서 임상훈련으로의 이행에 관한 문헌은 여전히 전환을 [학생들이 새로운 환경에 적응하려고 노력하면서 기존의 문화적 규범과 관계를 형성하는 방법에 익숙하지 못한 결과에서 생기는 쟁]으로 보고 있다. 따라서 접근방식은 임상 환경에서 다른 사람(전문가와 동료)과 친숙한 활동을 개발하는 것이었다. 결과적으로, 연구는 임상 팀에 적응하는 것과 관련된 결과에 초점을 맞췄다.

Literature on the transition to clinical training conducted from a social perspective still sees the transition as a struggle as a result of students trying to fit into the new environment and not being familiar with existing cultural norms and how to build relationships. The approach was therefore to develop activities that familiarise students with others (professionals and peers) in the clinical environment. As a result, studies focused on outcomes related to fitting into the clinical team.


우리는 임상 훈련으로의 전환이 학생들의 투쟁에 문제가 되지 않는다는 점에서 처음 두 가지와 다른 세 번째 개념화를 인식했다.

We recognised a third conceptualisation of the transition to clinical training that differs from the first two in that it doesn’t problematise students’ struggles.


발달적 관점

Developmental perspective


발달적 관점에서 특수한 점은 연구자들은 임상 훈련으로의 전환을 도전적인 것challening으로 본다는 것이다.1,5,7,9,36–38,43,44,50 이 용어는 다른 두 관점의 용어와는 다르며, 연구자들이 [학생들의 성장 가능성을 강조]함으로써 긍정적인 인지적 평가로 간주할 수 있다.52,53 이 관점에서의 연구는 토론이 임상 훈련으로 이행하는 동안 [학생들이 경험하는 특정한 투쟁을 최소화]하는 것에서 벗어나, [학생들이 변화에 대처할 수 있는 필요성을 인식하는 자세]를 지향한다.

Unique to this perspective, researchers reported the transition to clinical training as challenging.1,5,7,9,36–38,43,44,50 This terminology differs to that of the other two perspectives and could be considered a positive cognitive appraisal by researchers highlighting the potential for students’ growth.52,53 Research within this perspective allows the discussion to shift away from a stance of minimising particular struggles that students experience during the transition to clinical training and towards recognising the need for students to be able to cope with change.


발달적 관점에서 임상 훈련으로의 전환을 개념화하는 것은 권한empowerment 부여를 목표로 하는 전략의 수립으로 이어졌다. 연구자들이 교육적, 사회적 관점에서 문제에 초점을 맞추는 것과는 대조적으로, 개발적 관점을 취할 때, 연구자들은 그 욕구를 언급했다. '학부 3학년 의대생들이 [임상적 배치에서 학습 기회를 인식]하고 이를 적극적으로 활용하여 자기자신의 이해와 실천을 발전시킬 수 있도록 empower] 한다.'

Conceptualising the transition to clinical training from a developmental perspective has led to the creation of strategies aimed at empowerment. By contrast with researchers’ focus on problems from educational and social perspectives, when taking a developmental perspective, researchers mentioned the desire ‘to empower third-year undergraduate medical students to recognize learning opportunities in their clinical placements and to proactively use them to develop their understanding and practice’.43


이 문헌은 임상 훈련으로 이행하는 동안 연구자들이 개발에 어떻게 접근했는지를 보여주는 몇 가지 예를 제공한다. 임상 훈련으로 전환transition하려면 학생들이 자기 주도적으로 학습할 수 있도록 학습 전략을 수정해야 하지만, 이것이 자동으로 발전하지는 않는다. 또한 임상 환경은 전이적 자율성을 감소시킬 때 외적 목표 지향성을 증가시킴으로써 자가 조절 학습 능력에 부정적인 영향을 미칠 수 있다. 따라서 임상 학습 전략을 최적화하는 것은 새로운 임상 학생에게 중요하다.

The literature provides some examples of how researchers approached development during the transition to clinical training. The transition to clinical training requires that students adapt their learning strategies to learn in a self-directed way but this does not automatically develop.44 Additionally, the clinical environment could have a negative impact on self-regulated learning skills44 by increasing extrinsic goal orientation when decreasing metacognitive self-regulation.44 Optimising clinical learning strategies is therefore important for new clinical students.


고찰 DISCUSSION


[교육적 관점]을 갖는 것은 주로 연구자들이 [임상 전 훈련과 임상 훈련 사이의 격차를 줄이는 데 초점]을 맞추고, 학생들이 이러한 훈련 단계 사이의 격차를 덜 경험할 수 있도록 학생들의 지식과 능력을 향상시키고자 하는 욕구를 낳는다. 이러한 관점에서 교육적 관점에서 '좋은' 전환은 [학생들이 준비되었다고 느끼고, 임상 훈련을 시작하는 데 필요한 모든 지식과 기술을 갖추고 있으며, 커버해야 할 학습량에 압도되지 않는 전환]일 가능성이 높다.

Having an educational perspective primarily focuses researchers on reducing the gap between pre- clinical and clinical training and produces a desire to increase students’ knowledge and skills so that students experience a smaller gap between these training stages. In this light, a ‘good’ transition from an educational perspective, is likely to be one where students feel prepared, have all the knowledge and skills required to start clinical training and do not feel overwhelmed by the amount of learning to cover.


그러나 학생들이 준비감을 느끼는 것만으로는 충분하지 않으며, 그 자체가 불안정한 새로운 환경의 역학관계에 적절히 대비할 수 있다고 기대해서는 안 된다. 이것은 교육적 준비가 중요하지 않다는 것을 암시하는 것이 아니다. 그러나 이것이 유일한 요소는 아니다. 킬민스터는 대학원 교육의 전환이 매우 집중적인 학습 기간이라고 설명했다.54

However, it is not enough for students to feel prepared3,54 nor should we expect that we can adequately prepare them for the dynamics of a new environment, which itself is unstable. This is not to suggest that educational preparation is not important; however, this is not the sole factor. Kilminster described transitions in postgraduate training to be critically intensive learning periods.54


임상 훈련으로의 전환에 대한 [사회적 관점]은 학생들이 학식과 기술을 갖춰야 한다는 기대를 낮추는 대신, [직원, 동료 또는 가까운 선후배 관계 형성에 초점]을 맞출 수 있도록 함으로써 오로지 교육적인 관점을 취하는데 있어서의 공백을 메운다. 학생들이 [주눅들지 않는 양육적nurturing 의료 환경을 조성]하면 팀 구성과 학생 참여를 유도할 수 있다.55

A social perspective on the transition to clinical training fills the gaps in taking a solely educational perspective by reducing the expectation that students need to be knowledgeable and skilled, thus allowing a focus on building relationships with staff, peers or near-peers. Cultivating a nurturing medical environment where students are not intimidated can encourage team building and student engagement.55


대부분의 연구는 학생들을 대상으로 하는 것에 초점을 맞추었으며, 매우 드물게 (학생들이 임상 팀 내에서 통합하는 것을 돕기 위해) 직원들을 훈련시키는 것에 초점을 맞추고 있다.39,50 학생들은 여전히 임상 훈련으로 전환되는 동안 학문적 괴롭힘과 부정적인 역할 모델링을 경험한다. 따라서 임상실습의 문화와 환경은 새로 온 임상의학과 학생들에 적응해야 새로운 공동체를 만들 수 있을 것이다. 이것은 새로운 사람들이 환경의 일상 업무에 통합되어야 할 것이며, 이것은 학습과 동기 부여를 촉진할 수 있고 심지어 지역사회에 가치를 더할 수 있다.58

Most research has focused on targeting students and very rarely explicitly focuses on training staff to help students to integrate within clinical teams.39,50 Students still experience academic bullying and negative role modelling during the transition to clinical training56,57,so it is likely that the clerkship culture and environment need to adapt with newly arriving clinical students to create a new community functioning with newcomers. This would require the newcomers to be integrated into the daily work of the environment, which could promote learning and motivation and could even add value to the community.58


[사회적 관점]에서 ['좋은' 전환]은 학생들이 임상실습 환경의 실천 공동체에 통합되어 참여를 통해 학습 기회에 대한 정당한 접근을 얻는 것이 될 가능성이 높다. 그러나 이러한 관점은 [학생들이 어떤 행동을 모방해야 하는지를 이해하도록 돕기 위해] [자기 성찰과 함께 사회적 서포트를 활용하는 것]의 유용성을 간과하고 있을 수 있다.59

A ‘good’ transition from a social perspective is likely to be one where students integrate into the community of practice of the clerkship environment and gain legitimate access to learning opportunities through participation. This perspective, however, might be overlooking the usefulness of social support being used alongside self-reflection to help students decipher which behaviours should be imitated.59


이러한 [발전적 관점]을 취함으로써 학생들에게 권한을 부여empower하고, 성찰하고 전이 가능한 학습 능력을 최적화함으로써 [학습 및 전환 경험의 오너십]을 위한 도구를 제공한다. 전환은 능동적이고 대응적인 지원을 제공하고 대처 능력을 배울 수 있는 기회를 제공하며, 이는 의료 연수생으로서 미래 학습에 필수적이다.60

Taking this developmental perspective empowers students and provides them with the tools for ownership of their learning and transition experience through reflection and optimising transferrable learning skills. Transitions provide opportunities to offer proactive and reactive support and learn coping skills, which are imperative for future learning as medical trainees.60


류 외 연구진.61은 때때로 '투쟁'이 학습의 동기가 될 수 있다는 점을 강조한다.61 이미 어려움이 있을 때 발생하는 [사후 대응 전략]과 달리 [사전 지원 전략]은 연습생들이 높은 스트레스를 받는 변화에 대처하는 법을 배우는데 특히 유용할 가능성이 높다. 학생들은 커리어에 걸쳐 높은 스트레스를 받게 될 가능성이 높기에, 성찰과 같은 발달적 능력, 자기 조절 학습 능력, 회복력과 같은 다른 기술들을 장려하는 것은 학생들이 변화에 적응하는 데 도움이 될 수 있다.


Liu et al.61 highlights that sometimes ‘struggles’ could serve as motivation for learning.61 Proactive support strategies, as opposed to reactive strategies occurring when difficulties already exist, are likely to be particularly useful to help trainees learn to deal with stressful change, which is highly likely in their career.60 Promoting developmental skills such as reflection, self-regulated learning skills and other skills such as resilience, could help students adapt to change.2,3,60


발전적 관점에서 ['좋은' 전환]은 그 전환이 도전적이지만 학습에 대한 동기 부여를 위해 이용될 수 있다는 연구자들의 입장에서 시작될 수 있다.

A ‘good’ transition from a developmental perspective might start from a stance where researchers understand that the transition is challenging but can be harnessed to provide motivation for learning.


새로운 연구 안건

A new research agenda


  • 사회적 관점에서 본 연구는 다음과 같은 질문을 할 수 있다. 다른 사람과의 관계는 임상 환경에 들어갈 때 학생들의 전이 경험과 학습에 어떻게 도움이 되는가? 

  • 발전적 관점에서 다음을 이해하는 것이 유용할 수 있다. 전환기 동안 성찰하는 절차는 어떤 것이 학생들의 경험에 가장 유익할까? 

  • 마지막으로, 통합된 관점에서 다음을 탐구할 수 있다. 어떻게 반성이 임상 훈련으로 이행하는 동안 학생들의 관계에 영향을 미칠 수 있었는가?

  • Research from a social perspective could ask: How do relationships with others aid students’ transition experiences and learning when entering the clinical environment? 

  • From a developmental perspective, it could be useful to understand: Which procedures for reflection during the transition would be most beneficial to students’ experiences? 

  • Lastly from a combined perspective one might explore: How could reflection influence students’ relationships during the transition to clinical training?


연구자 반사성과 이론의 기초가 되는 경험적 연구를 결합하는 것은 임상 훈련으로의 전환을 연구하는 데 있어 강력한 다음 단계가 될 수 있다. 예를 들어, 스트레스를 받는 경험은 변혁적인 학습을 유발할 수 있는데, 메지로우는 변혁적 학습은 [자신에 대한 개인의 기존 관점, 그들의 신념과 행동]을 변화시키기 위해서는 [다른 사람들과의 경험, 비판적 성찰, 대화]를 필요로 한다고 제안한다미래의 연구자들은 임상 훈련으로의 전환을 변혁적 경험으로 개념화하여 교육적, 사회적, 발달적 관점을 결합할 수 있다.

Combining researcher reflexivity with underpinning empirical research with theory could be powerful next steps in researching the transition to clinical training. For example, stressful experiences can trigger transformative learning, which Mezirow suggests requires experiences, critical reflection and dialogue with others in order to transform individuals’ existing perspectives of themselves, their beliefs and their behaviours.62 Future researchers could conceptualise the transition to clinical training as a transformational experience, thereby combining educational, social and developmental perspectives.


O'Brien은 의학 교육자들이 그 transition이 '적응 가능한 학습 과정'이라는 것을 인식해야 한다고 주장하며, 대학원 레지던스로 전환되는 동안 변화된 학습 62의 잠재력에 대해 말한다. 이것은 의대 경험자뿐만 아니라 미래의 진로를 위한 예비 대학원생들에게도 이전될 수 있다.

O’Brien posits that medical educators should recognise that the transition is ‘an adaptable learning process’15 and speaks to the potential for transformative learning62 during the postgraduate transition to residency; this could be transferrable to medical school experiences,3 as well as priming postgraduates for future careers.


임상 훈련으로의 전환을 '변혁적 경험'으로 새롭게 개념화한다면, 이 분야의 연구에 대한 새로운 결과를 고려할 수 있고 연구자들이 해독할 수 있다. 예컨대,

    • 성공적인 전환이 어떤 모습일지, 

    • 어떤 결과가 중요한지, 

    • 그 결과를 어떻게 측정할지

    • 학생들의 전환을 지원하는 효과적인 방법

Focusing on a new conceptualisation of the transition to clinical training – being a transformative experience – could allow new outcomes for research in this area to be considered and researchers might decrypt what a successful transition might look like, what outcomes are important, how to measure them, and effective ways to support students’ transitions.


라자루스와 포크맨은 학생들이 임상 훈련으로 전환하면서 [위협]과 [도전]의 감정이 동시에 일어날 수 있고, 비록 관련은 있지만 도전과 위협은 같은 연속체에 있지 않을 수 있고, 오히려 별도의 construct일 수 있다고 제안한다.53

Lazarus and Folkman suggest that feelings of threat and challenge may occur simultaneously as students transition into clinical training and, although related, challenge and threat may not be on the same continuum, but instead are separate constructs.53


Limitations


CONCLUSIONS



59 Benbassat J. Role modeling in medical education: the importance of a reflective imitation. Acad Med 2014;89 (4):550–4.


60 Sandars J, Patel R, Steele H, McAreavey M. Developmental student support in undergraduate medical education: AMEE Guide No. 92. Med Teach 2014;36 (12):1015–26.










. 2019 Jun;53(6):559-570.
 doi: 10.1111/medu.13883. Epub 2019 Apr 23.

Beyond the struggles: a scoping review on the transition to undergraduate clinical training

Affiliations 

Affiliations

  • 1School of Health Professions Education (SHE), Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, the Netherlands.
  • 2School of Medicine, University of Western Sydney, Campbelltown, New South Wales, Australia.
  • 3The University of the West Indies, Cave Hill, Barbados.
  • 4Department of Obstetrics and Gynaecology, VU University Medical Centre, Amsterdam, the Netherlands.
Free PMC article

Abstract

Context: The transition to clinical training within medical school is often seen as a struggle and students remain in distress despite numerous efforts to minimise threats. Efforts to change this may be misdirected if they are based on narrow conceptualisations of transitions. The authors conducted a scoping review to explore existing conceptual perspectives regarding the transition within medical school from pre-clinical training to clinical training to suggest a research agenda and practical implications.

Methods: Between October 2017 and February 2018 the authors searched PubMed, MEDLINE, ERIC, PsycINFO, Web of Science and CINAHL for English language literature with no date limits and retrieved 1582 articles; 46 were included in this review. Two reviewers independently screened articles and extracted data. Data were then charted, analysed and discussed with the research team.

Results: The transition to clinical training was often described negatively as 'difficult', 'a problem' and 'a struggle'. Our analysis found that researchers in medical education conducted studies on the transition to clinical training from three conceptual perspectives: educational; social, and developmental. Most research approached the transition to clinical training as a problem to be addressed from an educational perspective through transition to clerkship courses and curriculum innovations. Some research was conducted from a social perspective, focusing on building relationships. Regarding development, authors found a few articles highlighting opportunities for personal and professional development by nurturing transferrable learning strategies and reflection.

Conclusions: This review provides an empirical base on which future research can be built to better understand and support medical students' ability to navigate change. Finding new perspectives to approach the transition to clinical training could allow researchers to look beyond preparing students for struggles.

관리 추론: 진단을 넘어(JAMA, 2018)

Management Reasoning: Beyond the Diagnosis




임상적 추론—환자 치료에 대한 결정을 내리기 위한 임상 정보, 의료 지식 및 상황적(상황적) 요인의 통합은 의료행위의 기본이다.1-3 불충분한 추론은 의료 오류의 중요한 원인이다. 예를 들어, 진단 오류는 환자 사망과 호스의 약 10%에 기여하는 것으로 생각된다.극악무도한 사건4 임상 추론에 관한 대부분의 연구는 진단, 즉 진단 추론과 관련된 결정에 초점을 맞추었다. 

Clinical reasoning—the integration of clinical information, medical knowledge, and contextual (situational) factors to make decisions about patient care—is fundamental to medical practice.1-3 Poor reasoning is an important cause of medical error; for example, diagnostic errors are thought to contribute to approximately 10% of patient deaths and hospital adverse events.4Most research in clinical reasoning has focused on decisions related to diagnosis, ie, diagnostic reasoning. 


대조적으로, [치료, 후속 방문, 추가 테스트 및 제한된 자원의 할당에 대한 선택을 포함하여 환자 관리에 대한 결정을 내리는 과정]이라고 정의한 [관리 추론]은 잘 이해되지 않고 있다.2,3 역설적으로, 관리는 실제로 더 중요할 수 있다: 진단은 단지 목적을 위한 수단일 뿐이고(즉, 적절한 관리), 임상의는 확정 진단을 내리기 전에 환자를 관리해야 하는 경우가 자주 있으며, 진단은 종종 관리 결정에 달려 있다(예: 추가 진단 테스트와 관련된 선택). 

By contrast,management reasoning—which we define as the process of making decisions about patient management, including choices about treatment, followup visits, further testing, and allocation of limited resources— remains less well understood.2,3 Paradoxically, management actually may be more important: diagnosis is only a means to an end (namely, proper management),5 clinicians must frequently manage patients before making a definitive diagnosis, and diagnosis often hinges on management decisions (eg, choices regarding additional diagnostic testing). 


진단 및 관리의 구분은 새로운 것이 아니다. 예를 들어, 정보학자들은 일반적으로 진단 지원 도구와 약물 처방 도구를 구별한다. 그러나 관리 추론의 인지 과정에 대한 연구는 잘 발달되어 있지 않다. 관리 추론을 더 잘 이해하면 의료 오류에 대한 현재의 개념을 확장하는 데 도움이 될 수 있으며 오류 예방, 임상 관행 품질 개선, 진단 테스트의 과용 및 적절한 사용, 보건 전문가 교육 및 평가에 관한 잠재적 통찰력을 제공할 수 있다.

The distinction of diagnosis and management is not new; for example, informaticians commonly distinguish diagnostic support tools from drug prescribing tools. However, research in the cognitive processes of management reasoning is not well developed. A better understanding of management reasoning could help to expand the current conception of medical error and may offer potential insights regarding error prevention, clinical practice quality improvement, overuse and appropriate use of diagnostic tests, and training and assessment of health professionals. 


진단 및 관리 추론의 특징 

Features of Diagnostic and Management Reasoning 


진단 추론은 주로 증상, 검사 결과 및 검사 결과에 의미 있는 라벨을 할당하는 [분류 작업]이다.1 이러한 라벨은 종종 특정한 기본 병리학을 암시하며, 임상의와 환자의 기본 질병에 대한 이해를 형성하고 팀원들과 환자와의 의사소통을 용이하게 한다.5 대조적으로, 경영 추론은 우선 순위 결정, 공유된 의사 결정, 모니터링의 일차적인 작업이며, 일반적으로 더 복잡하다. 관리 추론은 진단 추론과 최소 5가지 면에서 다르다. 

Diagnostic reasoning is primarily a classification task that assigns meaningful labels to a constellation of symptoms, examination findings, and test results.1 These labels, which often connote a specific underlying pathology, shape the clinician’s and patient’s understanding of the underlying illness and facilitate communication among team members and with the patient.5 By contrast, management reasoning is primarily a task of prioritization, shared decision making, and monitoring,and is typically more complex. Management reasoning differs from diagnostic reasoning in at least 5 ways. 


첫째, 진단 추론은 옳거나 그른 것으로 성립될 수 있다. 다른 라벨은 특정 임상 결과 별자리(예: "상위 호흡기 감염" 또는 "급성 축농증")에 적절히 할당될 수 있으며, 일부 진단(예: 만성 림프병)의 경우 라벨이 정확히 무엇을 의미하는지와 관련하여 논란이 있다. 그럼에도 불구하고, 기저 질환의 정확한 반영으로서의 각 라벨의 정확성은 (적어도 이론상으로) 결정될 수 있다. 반대로 관리 추론에서는 '그때그때 다르다'는 답이 나오는 경우가 많다. 환자 선호, 사회적 가치, 물류 제약 및 자원 가용성은 관리 결정에 적절히 영향을 미친다. 성공적인 결과에는 대개 여러 경로가 있으며, 종종 허용되는 여러 결과가 있다. 관리 추론에는 수많은 합리적인(방어할 수 있는) 옵션 중에서 대조, 우선순위 설정 및 선택이 포함된다. 

First, diagnoses can be established as correct or incorrect. Different labels might appropriately be assigned to a given constellation of clinical findings (eg, “upper respiratory infection” or “acute sinusitis”), and for some diagnoses (eg, chronic Lyme disease) controversy exists regarding exactly what the label signifies. Nonetheless, the correctness of each label as an accurate reflection of the underlying illness can (at least in theory) be determined. Conversely, in management, the answer is often, “It depends.” Patient preferences, societal values, logistical constraints, and resource availability appropriately influence management decisions. There are usually multiple paths to a successful outcome, and often multiple acceptable outcomes. Management reasoning involves contrasting, prioritizing, and selecting among the myriad reasonable (defensible) options. 


둘째, 관리계획은 환자, 임상의사, 기타 의료전문가, 기관 및 지불자의 선호도, 가치, 자원 및 제약조건을 통합해야 한다.6 이와는 대조적으로 진단추론은 일반적으로 가치와 선호의 영향을 받지 않는다. 가슴통증이 있는 남성은 본인의 희망이나 선호, 지불 능력, 심장 카테터세트에 가까운 곳에 상관없이 심근경색을 경험하고 있거나 그렇지 않다. 관리 계획(예: 심장 카테터화 수행 여부)은 이러한 모든 요인에 따라 달라진다. 

Second, management plans are influenced by, and management reasoning must integrate, the preferences, values, resources, and constraints of the patient, clinician, other health care professionals, the institution, and payers.6 Diagnostic reasoning, by contrast, is generally not influenced by values and preferences. A man with chest pain either is or is not experiencing a myocardial infarction regardless of his wishes or preferences, ability to pay, or proximity to a cardiac catheterization suite. The management plan (eg,whether to perform cardiac catheterization) depends on all these factors. 


셋째, 진단추론은 종종 환자와 격리되어 행해질 수 있다. 임상의사는 기록된 임상 정보(이력, 검사 결과, 시험 결과)를 검토하고 진단을 할 수 있다. 실제로 이는 임상적 예시를 해결하는 데 흔히 행해진다. 반대로, 관리추론에서의 결정은 대개 환자와의 의사소통 및 공유된 의사결정을 필요로 하며, (간호사, 사회복지사, 병원 관리자, 보험기관 및 공공정책 입안자와 같은) 다른 사람들과도 자주 의사 결정을 해야 한다. 이들은 각각 어떤 상태가 어떻게 관리되는지 관심을 가질 수 있다. 객관식 문항은 종종 "차기 경영 최고 단계"를 하나만 인식하지만, 실제로는 거의 항상 최선의 선택지를 선택하는 것은 협상 요소를 필요로 한다. 

Third, diagnosis can often be done in isolation from the patient. A clinician can review recorded clinical information (history, examination findings, test results) and render a diagnosis; indeed, this is commonly done in solving clinical vignettes. Conversely, management decisions usually require communication and shared decision making with the patient and often with others including nurses, social workers, hospital administrators, insurance agencies, and public policy makers, each of whom could have an interest in how a condition is managed. Although multiple-choice questions frequently recognize only one “next best step in management,” in reality, selecting the best option nearly always requires some element of negotiation. 


넷째, 관리계획은 본질적으로 유동적이며 지속적인 모니터링과 빈번한 조정이 필요하다. 숙련된 임상의들은 종종 그러한 조정을 예상할 수 있다("우리는 라이프스타일 측정으로 시작할 것이다; 만약 혈당이 3개월 후에도 높게 유지된다면, 우리는 메트포민을 시작할 것이고 이후에 글라임피라이드를 첨가할 것이다.") 그러나 계획은 주어진 순간에 불완전하게 명시되어 있다. 반대로 진단은 일반적으로 주어진 시점에 확실하게 배정될 수 있다. 그 진단은 시간이 지남에 따라 변화할 수 있지만("2기 전립선암"은 "완화상태의 종양" 또는 "4기 전립선암"이 된다) 이것이 초기 진단의 정확성과 완전성을 무효화하지는 않는다. 

Fourth, management plans are inherently fluid and require ongoing monitoring and frequent adjustments. Experienced clinicians can often anticipate such adjustments(“We will start with lifestyle measures; if blood sugar remains high after 3 months, we will start metformin and might subsequently add glimepiride.”) but the plan remains incompletely specified at any given moment. Conversely, diagnoses can typically be definitively assigned at a given point in time. The diagnosis might subsequently change over time (“stage II prostate cancer” becomes “prostate cancer in remission” or “stage IV prostate cancer”), but this does not invalidate the correctness and completeness of the initial diagnosis. 


다섯째, 진단 추론에는 유한한 범위의 해결책과 상호 작용 요인이 포함된다. 또한 진단에 있어 일부 불확실성(예: 불완전한 정보)이 있다면, 이것을 덜 특정한 라벨을 적용함으로써 수용할 수 있다(예: 원인 병원체를 특정하려고 하지 않고 "커뮤니티 후천성 폐렴"으로 진단을 내림). 대조적으로, 관리 추론은 사람, 시스템, 설정 및 경쟁 우선순위 사이의 동적 상호작용을 포함하며, 따라서 본질적으로 복잡하고 맥락적으로 "위치해있다situated".더욱이 경영진은 종종 더 많은 불확실성을 수반한다(예: 치료에 대한 예측 불가능한 대응). 그리고 이러한 불확실성들은 더 상세한 계획(즉, 더 넓은 기반 치료, 더 많은 우발성, 더 빈번한 모니터링)을 필요로 한다. 

Fifth, diagnostic reasoning involves a finite range of solutions and interacting factors. Additionally, some uncertainties in diagnosis (eg, incomplete information) can be accommodated by applying less-specific labels (eg, accepting a diagnosis of “community acquired pneumonia” without trying to specify the causative pathogen). By contrast, management reasoning involves a dynamic interplay among people, systems, settings, and competing priorities, and is thus inherently complex and contextually “situated.”7 Moreover, management often entails more uncertainties (eg, unpredictable response to treatment) and these uncertainties often require a more detailed plan (ie, broader-based treatments, more contingencies, more frequent monitoring). 


연구 우선순위 

Research Priorities 


첫째, 현재 관리 추론은 진단 추론과 유사한 인지 과정을 수반한다는 가정 하에 교육, 평가, 실행된다. 이 가정은 검증이 필요하다. 예를 들어, 전문가는 일반적으로 진단 렌더링에 매우 효율적이고 정확한 패턴 인식 프로세스를 통합한다.2 그러나 치료비 및 편익에 대한 명시적인 고려, 관리 결정을 안내하기 위한 루브릭의 사용, 그리고 각 환자의 고유한 상황의 통합은 모두 고의적이고 분석적인 과정을 시사한다. 이와 같이 이러한 인지 과정 간의 균형은 경영 추론에 따라 다를 수 있다. 

First, management reasoning is taught, assessed, and then practiced under the presumption that it involves cognitive processes similar to diagnostic reasoning. This presumption should be tested. For example, experts commonly incorporate highly efficient and accurate pattern recognition processes in rendering a diagnosis.2 Yet the explicit consideration of treatment costs and benefits, the use of rubrics to guide management decisions, and the integration of each patient’s unique circumstances all suggest a deliberate, analytical process. As such, the balance among these cognitive processes may differ for management reasoning. 


둘째, 관리 측면의 오류를 어떻게 정의하고 인지할 수 있는지에 대해 보다 나은 이해가 필요하다. (적어도 이론상으로는) 확고히definitive 올바른/잘못된 판단을 내릴 수 있는 진단과 대조적으로, 여러 개의 합리적인 관리 옵션이 거의 항상 존재한다.7 또한 환자 선호의 정확성과 통합 방법을 판단하기가 어렵다. 효과적이면서도 서로 다른 의사소통 접근방식을 가진 임상의는 서로 다른 가치를 도출하거나 다른 우선 순위를 지정하여 관리 결정을 내릴 수 있다. 

  • 좋은 관리 계획은 임상 결과(최적 치료에도 불구하고 암이 진행됨), 

  • 차최적 계획(바이러스 호흡기 감염에 대한 항균 치료)을 초래할 수 있으며, 

  • 부정확하거나 불확실한 진단에 기반한 계획은 진단에는 정확하지만 전반적으로 차최적한 결과를 초래할 수 있다(관상동맥 해부에 의해 야기된 것으로 특징지어지는 후두부 허혈에 아스피린). 

Second, better understanding is needed regarding how to define and recognize management errors. In contrast with diagnoses, for which a definitive correct/incorrect judgment can (at least in theory) usually be made, multiple reasonable management options nearly always exist.7 It is also difficult to judge the correctness of patient preferences and how these are integrated; clinicians with effective yet different communication approaches might elicit different values or prioritize values differently, resulting in different management decisions. 

  • A good management plan might result in a poor clinical outcome (progression of cancer despite optimal therapy), 

  • a suboptimal plan might result in a good outcome (antibacterial treatment for viral respiratory infection), and 

  • a plan based on an incorrect or uncertain diagnosis might be correct for the diagnosis but suboptimal overall (aspirin for myocardial ischemia subsequently characterized as caused by coronary artery dissection). 

이러한 문제는 임상 문제의 주요 측면(예: vignet 또는 진단상의 특수성)을 제어함으로써 비임상 연구 환경에서 단순화될 수 있지만 통제된 연구 설정과 임상 연구 설정 모두에서 관리 오류의 정의는 신중한 검토가 필요하다. 

These issues might be simplified in nonclinical research settings by controlling key aspects of the clinical problem (eg, the information in a vignette or the specificity of a diagnosis), but in both controlled and clinical research settings the definition of management error requires careful consideration. 


셋째, 관리 추론을 어떻게 교육할 것인가를 결정하기 위한 연구가 필요하다. 필수적인 역량은 공유된 의사 결정, 이해관계자 선호의 통합(즉, 환자, 의료 전문가, 기관 및 지급인의 선호) 및 치료 대응의 모니터링을 포함하지만, 이것과 기타 관리 기술을 최적으로 학습하는 방법을 알 수 없다. 임상의는 또한 복잡성을 인정하고 불확실성의 조건에서 행동하는 법을 배워야 한다. 관리 추론에 대한 평가는 이러한 스킬을 다룰 뿐만 아니라 여러 개의 그럴듯한 솔루션을 수용하는 방법을 사용해야 한다. 

Third, research is needed to determine how to teach management reasoning, both in training and continuing into practice. Essential competencies include shared decision making, integration of stakeholder preferences (ie, those of patients, health care professionals, institutions, and payers), and monitoring of treatment response, yet how to optimally facilitate learning these and other management skills remains unknown. Clinicians must also learn to acknowledge complexity and act under conditions of uncertainty. Assessment of management reasoning must not only address these skills, but also use methods that accommodate multiple plausible solutions. 


넷째, 임상실무에서 관리추론을 뒷받침하는 전략을 파악하고 실행할 필요가 있다. 특히 관리를 복잡하고 잠재적으로 압도적으로 만드는 상호 작용 및 상황별 요인(환자, 임상 팀, 의료 시스템의 특성과 선호도)을 관리하는 데 도움이 되는 도구와 프로세스가 필요할 것이다. 이러한 전략에는 다음이 포함될 수 있다. 

  • 선호도 도출, 환자 교육, 계획 설명 및 모니터링 치료에 모든 의료팀 구성원이 참여 

  • 관리 작업을 지원하기 위한 새로운 기술 구현(예: 컴퓨터 생성 또는 크라우드소싱 처리 권장사항, 여러 대안 계획의 식별 및 우선순위 지정 시 임상의사를 지원하는 도구) 

  • 환자 가치와 선호의 통합을 지원하는 정보(예: 환자 고유의 예후와 유익성, 위해성 및 잠재적 검사 및 치료 옵션의 주머니 밖 비용을 설명하는 의사결정 보조 도구)에 대한 접근을 용이하게 한다. 

  • 인지 작업 부하를 모니터링하여 임상의의 인지 능력을 초과하기 전에 개입을 허용한다. 

Fourth, strategies that support management reasoning in clinical practice need to be identified and implemented. In particular, tools and processes will be needed to help manage the interacting and situation-specific factors (ie, characteristics and preferences of the patient, clinical team, and health care system) that make management complex and potentially overwhelming. These strategies might include 

  • involving all members of the health care team in eliciting preferences, educating patients, articulating a plan, and monitoring therapy; 

  • implementing novel technologies to support management tasks (eg,computer-generated or crowdsourced treatment recommendations; tools that support clinicians in identifying and prioritizing multiple alternative plans); 

  • facilitating access to information that supports the integration of patient values and preferences (eg, decision aids explaining the patient-specific prognosis and benefits, risks, and out-of-pocket costs of potential test and treatment options); and 

  • monitoring the cognitive task load to permit intervention before it exceeds the clinician’s cognitive capacity. 


연구와 실천 혁신은 이미 이 영역에서 문제와 잠재적 해결책을 모두 식별했다4; 진단 추론과 관리 추론이라는 별개의 렌즈를 통해 이러한 문제들을 보는 것은 추가적인 통찰력을 촉진할 수 있다.

Research and practice innovations have already identified both problems and potential solutions in this area4; viewing these issues through the distinct lenses of diagnostic and management reasoning may facilitate additional insights. 






. 2018 Jun 12;319(22):2267-2268.
 doi: 10.1001/jama.2018.4385.

Management Reasoning: Beyond the Diagnosis

Affiliations 

Affiliations

  • 1Office of Applied Scholarship and Education Science, Mayo Clinic College of Medicine, Rochester, Minnesota.
  • 2Division of General Internal Medicine, Mayo Clinic, Rochester, Minnesota.
  • 3McMaster Education Research, Innovation and Theory, Faculty of Health Sciences, McMaster University, Hamilton, Ontario, Canada.
  • 4Division of Health Professions Education, Uniformed Services University of the Health Sciences, Bethesda, Maryland.


시뮬레이션 기반 훈련에서 충실도의 재고찰 (Acad Med, 2014)

Reconsidering Fidelity in Simulation-Based Training

Stanley J. Hamstra, PhD, Ryan Brydges, PhD, Rose Hatala, MD, MSc, Benjamin Zendejas, MD, MSc, and David A. Cook, MD, MHPE



교육 도구로서 시뮬레이션의 효과에 여러 교수설계적 특징들이 기여한다. 이제 시뮬레이션 기반 교육에서 모범 사례로서 피드백, 인지 상호작용, 반복적 관행 및 난이도 범위를 뒷받침하는 증거.1,2

Many instructional design features contribute to the effectiveness of simulation as an educational tool. Evidence now supports the presence of feedback, cognitive interactivity, repetitive practice, and range of difficulty as best practices in simulation- based training.1,2


의학 교육에서 첨단 기술 시뮬레이션이 인기를 끌면서 시뮬레이터 충실도는 잠재적으로 중요한 교육 설계 특징으로 부상했으며, 충실도가 높을수록 학습이 강화될 것이라는 가정도 있다. 그러나 항공 산업과 군에서 나온 시뮬레이터 충실도에 대한 이전 검토에서는 충실도는 다요인적multifactorial이어서, 학습 맥락에 따라 충실도 요건이 다르다는 점을 강조하였다.5,6 보건 전문직 교육 리뷰에서도 유사한 우려를 확인하였다.7–9

As high-technology simulation has risen in popularity in medical education, simulator fidelity has emerged as a potentially significant instructional design feature, with the assumption that greater fidelity will result in enhanced learning. Yet previous reviews of simulator fidelity emerging from the aviation industry and military have highlighted that fidelity is multifactorial3,4 and that fidelity requirements vary according to the learning context.5,6 Reviews from health professions education have identified similar concerns.7–9


용어 충실도를 둘러싼 혼란

Confusion Surrounding the Term Fidelity


그러나 이 "충실도"라는 개념을 높은 신뢰도로 코딩하는 것은 불가능하다는 것을 알았다. 목록 1은 우리가 합의를 이루기 위해 노력했을 때 우리의 좌절의 일부를 보여준다. 가장 두드러진 점들 중에서는 어떤 특징을 강조하거나 무시하느냐에 따라 동일한 시뮬레이터를 높은 충실도 또는 낮은 충실도로 볼 수 있으며, 충실도 요건은 훈련 과제에 따라 다르며, 충실도를 높거나 낮은 것으로 분류하는 것은 너무 단순하다는 것을 깨달았다. 우리는 검토 중에 이 용어를 정의, 정제, 명확화, 하위 분류화, 구현하려고 노력했지만 소용이 없었다. 우리의 정의를 명확히 하려는 몇 번의 시도에도 불구하고, 우리는 결코 (측정자 사이의 혹은 심지어 측정자 내에서의) 충실도를 일관되게 인식할 수 없었다.

However, we found it impossible to code this feature with high reliability. List 1 illustrates some of our frustrations as we struggled to achieve consensus. Among the most salient points, we realized that the same simulator could be viewed as high or low fidelity depending on which features were emphasized or ignored, that fidelity requirements vary depending on the training task, and that classifying fidelity as high or low is too simplistic. We attempted to define, refine, clarify, subcategorize, and implement this term during our review, but to no avail. Despite several attempts to clarify our definitions, we were never able to consistently recognize fidelity between or even within raters.



목록 1 저자의 의견 샘플: 충실도 개념의 정의를 찾는 어려움*

List 1 Sample of Comments From the Authors Illustrating the Difficulty of Finding a Definition of the Concept of Fidelity*


• "충실도에 대해서, 팀으로서의 우리의 합의는 끔찍하다. 사실, 나는 내 내부에서조차 구조적, 기능적 충실성을 모두 코딩하는 방법에 있어서 매우 일관성이 없다는 것을 발견한다. 이는 우리가 찾고 있는 것에 대한 공감대가 형성되지 않았다는 신호라고 생각한다. 그리고 그 없이는 높은 합의를 이룰 수 없을 것이다."

• “Our agreement as a team on fidelity is horrible. In fact, I find that even within myself, I am terribly inconsistent in how I code both structural and functional fidelity. I think this is a sign that we don’t have consensus on what we’re looking for; and without that, it will be impossible to have high agreement.”


• "한 가지 나에게 튀어나온 것은 죽은 동물 조직을 낮은 구조적 충실도로, 마네킹의 높은 구조적 충실도로 부를 용의가 있다는 것이다. 동물 조직은 플라스틱보다 인간의 조직과 훨씬 더 비슷하게 행동한다. 내가 뭔가 놓친 게 있나?"

• “One thing that jumps out at me is that you’re willing to call dead animal tissue low structural fidelity and [a] mannequin high structural fidelity. Animal tissue looks and behaves much more like human tissue than plastic does. Am I missing something here?”


• "마네킹 헤드와 같은 경우, 삽관에는 낮은 충실도가 될 수 있지만 나체관 배치를 연습하는 데는 높은 충실도가 될 수 있다."

• “Same thing with the mannequin head, it could be low fidelity for intubation, but high fidelity to practice nasogastric tube placement.”


• "이 모든 논의는 왜 구조적인 충실성이 관련되지 않는지 내게 명확히 보여줬다. 보는 사람의 눈 속에 있고 보는 사람의 눈에도 다양하고, 보는 사람도 다양하고, 기술도 달라지고."

• “All these discussions have crystallized for me why structural fidelity is probably irrelevant. It’s in the eye of the beholder and the eyes vary, the beholders vary, and the technology changes.”


• "교육 효과에 있어 중요한 것은 그것이 실제처럼 보이느냐가 아니라(대부분 그렇지 않은 경우), 학습자가 당면한 과제에 대해 "buy-in"하는 것이다. 우리가 주요 특징으로 "바이인"을 코드화하지 않기로 선택했기 때문에, 이 코딩 방식에서 그것은 대부분 기능적 충실성에 의해 포착된다. 그리고 "바이인"은 기능 충실도와 설계 요소, 커리큘럼 통합 정도 및 기타 상황별 요인과 더 관련이 있다."

• “The important thing for teaching effectiveness isn’t whether it looks real or not (most of the time it doesn’t), but whether the learner “buys-in” for the task at hand. That is largely captured by functional fidelity in this coding scheme, since we have chosen not to code “buy-in” under key features. And “buy-in” has more to do with functional fidelity and the design elements, and the degree of curricular integration, and other contextual factors.”


• "우리의 대화가 핵심을 입증한다. 이 짐승은 너무 복잡해서 이분법적 변수 한 쌍으로 적절하게 포획할 수 없다."

• “Our conversations prove the point: This beast is far too complex to adequately capture in a pair of dichotomous variables.”


*이러한 의견들은 보건직 교육에서 기술 강화 시뮬레이션에 관한 문헌의 대규모 체계적 검토와 메타분석 과정에서 이 관점의 저자와 다른 동료들이 반복적인 토론에서 충실도의 개념을 위해 코딩하려고 노력하면서 주고받은 온라인 코멘트들 가운데 하나이다.10

*These are among the online comments that the authors of this Perspective and other colleagues exchanged during repeated discussions while trying to code for the concept of fidelity during their large systematic review and meta-analysis of the literature on technology-enhanced simulation in health professions education.10



문제는 충성심이 움직이는 표적이 된 것 같다는 것이었다. 다른 저자들은 동일한 시뮬레이터를 시뮬레이터의 시각적, 청각적, 촉각적 또는 기능적 특징을 강조했는지에 따라, 또한 학습자, 학습 목적 및 학습 맥락에 따라 높은 충실도나 낮은 충실도를 반영하는 것으로 설명하였다.

The problem was that fidelity seemed to be a moving target. Different authors described the same simulator as reflecting high or low fidelity depending on whether they emphasized the visual, auditory, tactile, or functional features of the simulator, and also depending on the learners, learning objectives, and learning context.


충실성에 대한 혼란은 다른 분야에서도 어제오늘의 일이 아니다. 보비엔과 베이커7은 팀워크를 위한 시뮬레이션에 대한 리뷰에서 산업 및 조직 심리학 분야 초기에 충실도가 '높음'과 '낮음'으로 구성된 양극성 개념으로 보였다고 지적한다. 그러나 저자들은 이 관점이 "훈련의 목표, 내용, 설계와 같은 보다 실질적인 문제"를 희생하여 기술을 지나치게 강조한다는 점에서, 이제 이 관점을 너무 단순화한다고 본다.7 마찬가지로, 군용 항공에서도 "무수히 많은 시뮬레이션 충실도의 차원이 제안되었다"7 문헌 검토에서 충실도 개념에 대해 여러 분야에 걸쳐 다양한 개념을 검토했을 때, 마치 기본적인 합의는 거의 없는 것처럼, 광범위하게 다양한 정의만을 찾아냈다.

The confusion over fidelity is not new in other fields. In their review of simulation for teamwork, Beaubien and Baker7 point out that early in the field of industrial and organizational psychology, fidelity was seen as a bipolar concept—that is, consisting of “high” and “low.” But authors now view this perspective as too simplistic, especially in the sense that it overemphasizes the technology at the expense of “more substantive issues, such as the training’s goals, content, and design.”7 Likewise, in military aviation, “countless dimensions of simulation fidelity have been proposed.”7 In reviewing the literature on these various conceptions of fidelity across many fields, we uncovered a wide variety of definitions, reflecting little underlying consensus.3,5,16–21


앨런 외 연구진, 3은 두 가지 주요 차원이 충실도에 대한 다양한 정의와 구성 요소, 즉 구조적 충실도(시뮬레이터가 어떻게 나타나는가)와 기능 충실도(시뮬레이터가 하는 일)를 뒷받침한다고 결론지었다.

Allen et al,3 concluded that two major dimensions underpinned the large variety of definitions and constructs for fidelity—that of 

  • structural fidelity (how the simulator appears) and 

  • functional fidelity (what the simulator does).


구조적 충실성에 대한 과도한 강조?

An Undue Emphasis on Structural Fidelity?


현재 많은 연구가 구조적 충실도의 증가는 교육 효과의 증가와 반드시 일치하지 않는다는 것을 보여준다. 3,5,22–29. 그리고 구조적 충실도의 효과가 학습자의 숙련도에 따라 달라진다는 것을 보여주는 구체적인 증거도 있다.17,30,31

Many studies have now shown that increases in structural fidelity do not necessarily correspond to increases in educational effectiveness,3,5,22–29 and there is also specific evidence showing that the effect of structural fidelity depends on the skill level of the learner.17,30,31


  • 팀워크와 의사소통의 경우 학습자가 서로 상호작용하는 방식이 무엇보다 중요하기 때문에 시뮬레이터 자체의 구조적 충실성보다 이러한 스킬을 위한 훈련에서 시뮬레이션 환경이 더 중요하다는 것은 아마도 놀라운 일이 아닐 것이다.21

For teamwork and communication, the way in which learners interact with one another is of paramount importance, so it is perhaps not surprising that the simulation environment is more important in training for these skills than is the structural fidelity of the simulator itself.21


  • 수술 절차의 경우, 구조적 충실도는 업무의 일부 부분(예: 학습자가 조직과 직접 상호작용하는 부분)에 매우 중요할 수 있지만 다른 부분(예: 의사결정 또는 커뮤니케이션)에는 중요하지 않다.

For surgical procedures, structural fidelity might be very important for some parts of the task (e.g., where the learner is interacting directly with the tissue), but not others (e.g., decision making or communication).


  • 해부용 시신들은 수술 훈련의 "금본기준"으로 불려왔지만, 33년, 그마저도 조직 보존 정도에 따라 구조적 충실도에 차이가 있을 수 있다.8 어떤 경우든, 구조적인 특징보다는 시스템의 동적(기능적) 특성에 관한 학습자의 요구에 맞추는 것이 더 중요할 수 있다.

Cadavers have been called the “gold standard” for training in surgery,33 but even they can vary in structural fidelity, depending on the degree of tissue preservation.8 In any case, it is perhaps more important to match the learners’ needs regarding the dynamic (functional) properties of the system rather than the structural features.


Salas 외 25는 "시뮬레이터에 내장된 충실도의 수준은 과제에 대한 학습을 지원하는 데 필요한 수준에 따라 결정되어야 한다"고 결론지었다.

Salas et al25 have concluded that “the level of fidelity built into the simulator should be determined by the level needed to support learning on the tasks.”


Nevone16은 구조적 충실성이 항상 교육 효과와 일치하는 것은 아니라고 강조해 왔다:"너무 자주, 시뮬레이션을 개발하는 표면적 리얼리즘이 사람들의 창의성을 점유하고 있다. 그러면서 교육 및 학습의 주요 이슈는 간과한다. 낮은 수준의 충실도도 결과를 훼손하지 않고 기술적 한계와 비용을 감소시킬 수 있다."

Kneebone16 has emphasized that structural fidelity does not always correspond to educational effectiveness: “All too often it is the surface realism of the simulation that occupies the ingenuity of those who develop it, eclipsing key issues of teaching and learning … lower levels of fidelity may reduce technological limitations and cost without compromising outcomes.”


기능적 충실성이 중요한 이유

Why Functional Fidelity Matters


인간 환자와 신체적 유사성(구조적 충실도)보다는 임상 작업 요구(기능 충실도)에 상대적인 시뮬레이션 시나리오의 충실성을 고려한다면 교육적 관점에서 더 생산적일 수 있다. 학습자에게 학습해야 할 특정한 과제가 주어지고, 학습자가 학습해야 할 맥락과 물리적 플랫폼을 적절히 지향하는 경우, 학습자는 실제로 시뮬레이션 시나리오에 충실도를 "투영project"할 수 있다.

It may be more productive from an educational standpoint if we consider the fidelity of the simulation scenario relative to clinical task demands (functional fidelity) rather than the physical resemblance to the human patient (structural fidelity). If the learner is given a particular task to learn, and oriented properly to the context and physical platform on which to learn it, that learner may actually “project” fidelity onto the simulation scenario.


예를 들어, 구조적 충실도를 저하시키면서 기능 충실도를 향상시키는 경우(예: 결합 조직을 나타내기 위해 셀로판 사용) 교육 효과의 전반적인 잠재력을 보존하거나 개선시킬 수 있다.

For instance, if one enhances functional fidelity (e.g., using cellophane to represent connective tissue) while degrading structural fidelity, the overall potential for educational effectiveness could be preserved or even improved.


이것이 그렇게 될 수 있는 충분한 이론적인 이유들이 있다. 교육 및 지식 습득의 구성주의적 프레임워크에서 학습자는 학습 맥락을 자신의 목표와 관련되도록 적극적으로 시도한다. 따라서 낮은 구조적 충실도의 관련성은 학습자의 목표에 따라 달라진다.35–37 그러한 능동적 학습 프레임워크는 낮은 구조적 충실도가 왜 효과적일 수 있는지 그리고 결과적으로 충실도가 시뮬레이터의 정적 속성이 아닌지를 설명하는 데 도움이 된다.

There are good theoretical reasons why this might be so. In the constructivist framework of education and knowledge acquisition, the learner actively attempts to make the learning context relevant to their objectives.† Thus, the relevance of low structural fidelity depends on the goals of the learner.35–37 Such an active learning framework helps to explain why low structural fidelity can be effective and, consequently, how fidelity is not a static attribute of the simulator.


[높은 구조적 충실도]가 오히려 사람을 산만하게 하는distracting 효과를 설명하기 위해 인지 능력 모델을 사용하였다.9,39–41 높은 구조적 충실도를 지나치게 강조하면 시뮬레이션 플랫폼의 관련 없는 측면으로 주의를 유도할 수 있으며, 이러한 경우에 주요 교육 목표의 중심에서 벗어날 수 있다.42

A cognitive capacity model has also been used to explain the distracting effect of high structural fidelity.9,39–41 An undue emphasis on high structural fidelity can direct attention toward irrelevant aspects of the simulation platform and away from those elements central to the primary training objective.42


시뮬레이션 기반 보건 전문직 교육에서 [임상 작업과 시뮬레이션 작업(즉, 기능 충실도) 사이의 긴밀한 정렬]이 훈련 목표를 달성하기 위한 [구조적 충실도]보다 더 중요한 경우가 많다.

In simulation-based health professions education, close alignment between the clinical task and the simulation task (i.e., functional fidelity) is often more important than structural fidelity for achieving the training goals.


마츠모토 외 연구진(36)은 커피 컵과 빨대를 이용해 성공적으로 요관학 기술을 양성했다. 그 연구에서, 내용 전문가들은 단순한 모델을 설계하는 동안 학습 목표에 대해 보고받고 대상 임상 과제의 주요 기능 매개변수를 파악했다.

Matsumoto et al36 used a coffee cup and drinking straws to successfully train ureteroscopic skills. In that study, content experts were briefed on the learning objectives and identified key functional parameters of the target clinical task while designing the simple model.


강사는 [기존 플랫폼을 활용해 이 기술을 어떻게 가르칠 것인가?]가 아니라 ['무엇을 가르칠 것인가']라는 질문을 통해 학습자에게 효과적으로 초점을 옮기고 능동적인 학습의 원리를 끌어낼 수 있는 더 큰 기회를 제공한다. 구조적 충실도가 낮은 시뮬레이터는 설계가 단순하고 전자제품이 없어 일반적으로 설계, 시공 및 수정이 용이하다. 이것의 주요 장점은 의도한 학습 목표를 해결하기 위해 물리적 플랫폼으로 [고도로 구체적인 과제 요구]에 맞추어 설계할 수 있는 능력(즉, 기능적 과제 정렬)에 있다. 그것은 교육 원리에 기초하여 효과적인 시뮬레이션 기반 훈련으로 이어지는 이러한 설계 접근방식이다.

By asking “What are we going to teach?” rather than “How will we use the existing platform to teach this skill?” the instructor effectively shifts focus toward the learner and allows greater opportunity for engaging principles of active learning. Simulators with low structural fidelity are usually simple in their design and devoid of electronics, which renders them generally easy to design, construct, and modify. Their main advantage lies in the ability to design highly specific task demands into the physical platforms to address targeted learning objectives (i.e., functional task alignment). It is this design approach, based on educational principles, which leads to effective simulation-based training.


충성의 개념은 결함이 있다.

The Concept of Fidelity Is Flawed


그러나 위에서 언급한 바와 같이 구조적 충실성은 지침적 목표와 무관하게 결정될 수 없다. 한 상황에서 낮은 충실도로 간주되는 시뮬레이터는 정당한 이유로 다른 상황에서 높은 충실도로 간주될 수 있다.

However, as noted above, structural fidelity cannot be determined independent of the instructional goals. A simulator that is considered low fidelity in one circumstance might be considered high fidelity in another for legitimate reasons.


충실도라는 말

the term fidelity


대부분의 경우 사람들은 [시뮬레이터의 신체적 유사성]을 언급하기 위해 이 단어를 사용하지만, [학습 과제, 교육 설계 및 강사와의 기능적 정렬]이 즉각적인 학습, 유지 및 새로운 환경으로의 transfer에 훨씬 더 큰 영향을 미칠 것으로 보인다.

It seems that in most cases people use this word to refer to the physical resemblance of the simulator, yet the functional alignment with the learning task, the instructional design, and the instructor likely have far greater impact on immediate learning, retention, and transfer to new settings.


권고 Recommendations


권고 #1: 충실도라는 용어를 버려라.

Recommendation #1: Abandon the term fidelity.


단어 선택에 있어서 정밀함의 중요성은 아무리 강조해도 지나치지 않다. 토마스 쿤45는 [기본 용어의 불일치]는 특정 분야 발전의 초기 단계를 나타낸다고 주장했다. 정확한 언어는 사고의 정확하고 간결한 의사소통을 용이하게 한다. 그러나 시뮬레이션 기반 보건 전문직 교육 분야에서 사용되는 충실도라는 용어는 정확하지 않고, 그 대신 몇 가지 뚜렷한 개념을 언급하고 있다. 시뮬레이션 분야는 충실도라는 용어를 버리고, 대신에 효과적인 학습을 위한 다양한 기본 원리에 초점을 맞출 것을 제안한다. 

      • 우리는 구조적 충실도라는 용어를 [신체적 유사성]이라는 용어로 바꿀 것을 제안한다. 여기에는 신체적 외관을 강화하도록 설계된 시뮬레이터의 촉각, 시각, 청각 및 후각 기능이 포함된다. 

      • 또한 기능 충실도라는 용어는 [기능적 직무 정렬]이라는 용어로 대체될 것을 제안한다.

The importance of precision in one’s choice of words cannot be overemphasized. Thomas Kuhn45 argued that disagreements in basic terminology represent an early phase in the development of a field. Precise language facilitates accurate and concise communication of thought. Yet the term fidelity as employed in the field of simulation-based health professions education is imprecise, referring, instead, to several distinct concepts. We propose that the field of simulation abandon the term fidelity and, instead, focus on the various underlying principles for effective learning. 

      • We propose that the term structural fidelity be replaced by the term physical resemblance. This would include tactile, visual, auditory, and olfactory features of the simulator designed to enhance its physical appearance. 

      • We also propose that the term functional fidelity be replaced by the term functional task alignment.


권고사항 #2: 강조점을 신체적 유사성에서 기능적 업무 정렬로 전환한다.

Recommendation #2: Shift emphasis from physical resemblance to functional task alignment.


시뮬레이터의 기능적 측면과 적용된 컨텍스트 사이에 적절한 일치성이 있는 경우, 교육적 효과의 손실을 최소화하거나 전혀 주지 않으면서 신체적 유사성이 감소할 수 있다는 증거가 현재 많이 있다. 그러한 특징에는 유사한 인력 배치 또는 구성 요소의 공간 배치와 같은 상황별 단서가 포함될 수 있으며, 시뮬레이션 시나리오 중에 사례에 대한 적절한 방향을 보장할 수 있다. 위에서 언급한 바와 같이 시뮬레이터의 물리적 특성의 중요성은 기능적 작업 정렬 및 교수설계보다 부차적인 경우가 많다. 신체적 유사성은 시뮬레이터의 선택에 있어 여전히 고려되어야 하지만, 교육적 필요성에 대한 세심한 고려가 있어야만 한다.

There is now plenty of evidence that physical resemblance can be reduced with minimal or no loss of educational effectiveness, provided there is appropriate correspondence between functional aspects of the simulator and the applied context. Such features can include contextual cues such as similar staffing or spatial arrangement of components, or ensuring appropriate orientation to the case during the simulation scenario. As noted above, the physical properties of the simulator are often of secondary importance relative to the functional task alignment and instructional design. Physical resemblance should still be considered in the choice of the simulator, but only after careful consideration of educational need.


Hayes26은 최대의 훈련 효과에 대한 신체적 유사성의 선택은 [시뮬레이터가 사용되는 맥락, 학습자가 훈련받고 있는 과제의 종류, 관련된 학습 단계, 학습 능력과 능력, 과제 난이도, 여러 가지 교육적 특징의 효과 등] 여러 요인에 따라 결정된다고 지적했다. 

Hays26 has pointed out that the choice of physical resemblance for maximal training effectiveness depends on a number of factors, including the context within which the simulator is used, the kind of task for which the learner is being trained, the stages of learning involved, learner abilities and capabilities, task difficulty, and the effects of various instructional features.


권고 #3: 학습 전이를 강화하는 방법에 집중한다.

Recommendation #3: Focus on methods to enhance transfer of learning.


학습의 transfer은 한 맥락에서 학습한 기술을 다른 맥락에 적용하는 것을 포함하며, 따라서 의료 교육에서 시뮬레이터를 사용하는 강력한 동기부여가 될 수 있다. 역사적으로, 구조적 충실성에 대한 강조는 학습자 참여를 통한 학습 전달을 강화하기 위한 수단으로 진화되었다.24 실제로 인지적 참여cognitive engagement는 더 높은 학습 성과와 연관되어 있다.2,46,47 그러나 신체적 유사성은 학습자 참여를 강화하는 한 가지 방법일 뿐이며 학섭의 전이를 강화하는 여러 방법 중 하나일 뿐이다.

Transfer of learning involves the application of skills learned in one context to another context, and as such can be a powerful motivation for making use of simulators in medical education. The historical emphasis on structural fidelity evolved as a means to enhance transfer of learning through learner engagement.24 Indeed, cognitive engagement is associated with higher learning outcomes.2,46,47 However, physical resemblance is only one way to enhance learner engagement, and it is only one of several ways in which transfer of learning is enhanced.


교육 효과성은 [시뮬레이터]와 [(적절한 방향 및 학습 목표의 제공과 같이) 교육자 및 학습자가 시뮬레이터로, 인간 요소로, 무엇을 하는지]의 복잡한 상호작용이며, 시뮬레이터 자체보다 더 많은 영향력을 행사하는 경우가 가장 많다.3

Educational effectiveness results from a complex interaction between the simulator and what the educator and/or the learner does with the simulator, including the provision of appropriate orientation and learning objectives, with the human element most often exerting more influence than the simulator itself.3


해야 할 일이 많다.

Much remains to be done


시뮬레이션 시나리오는 효과적인 지침 설계의 맥락 안에서 물리적 및 기능적 유사성의 혼합을 포함하여 필요한 모든 수단에 의해 전달을 강화하도록 설계되어야 한다.

Simulation scenarios should be designed to enhance transfer by whatever means necessary, including a mix of physical and functional resemblance, within the context of effective instructional design.


[학습자가 교육 경험을 실제 임상 현장을 잘 모방한다고 인식하는지]는 측정해야 할 성과일 수 있다. 그러나 이러한 인식은 일반적으로 [시뮬레이터의 고정된 특성]이 아니라 [더 시나리오 개발에서의 더 효과적인 설계]의존한다.

Whether an educational experience is perceived by the learner to mimic real clinical practice could be considered an educational outcome that should be measured; this perception is typically not a fixed property of the simulator but depends more on effective design in scenario development.



목록 2 시뮬레이션 기반 의료 교육에서 조사자를 위한 저자의 권고사항*

List 2 The Authors’ Recommendations for Investigators in Simulation-Based Medical Education*


권고 #1: 충성도라는 용어를 버려라.

Recommendation #1: Abandon the term fidelity.


우리는 다차원적이고 부정확한 용어 충실성을 포기할 것을 권고한다. 신체적 유사성 및 기능적 업무 정렬과 같은 효과적인 훈련과 이전 원칙을 반영하는 보다 직접적으로 유용한 용어를 사용해야 한다.

We recommend that the multidimensional and imprecise term fidelity be abandoned. More directly useful terms should be employed that reflect principles of effective training and transfer, such as physical resemblance and functional task alignment.


권고사항 #2: 강조점을 신체적 유사성에서 기능적 업무 정렬로 전환한다.

Recommendation #2: Shift emphasis from physical resemblance to functional task alignment.


시뮬레이션 분야는 시뮬레이터의 구조적 특성(즉, 물리적 유사성)에서 학습 목표와 일치하는 전체 시뮬레이션 컨텍스트의 기능적 특성(즉, 기능적 작업 정렬)으로 강조점을 이동시켜야 한다. 시뮬레이터의 기능적 측면과 적용된 컨텍스트 사이에 적절한 일치성이 있는 경우, 교육적 효과의 손실을 최소화하거나 전혀 주지 않으면서 신체적 유사성이 감소할 수 있다는 증거가 현재 많이 있다.

The field of simulation should shift emphasis away from structural properties of the simulator (i.e., physical resemblance) to functional properties of the entire simulation context that align with learning objectives (i.e., functional task alignment). There is now plenty of evidence that physical resemblance can be reduced with minimal or no loss of educational effectiveness, provided there is appropriate correspondence between functional aspects of the simulator and the applied context.


권고 #3: 학습 전이를 강화하는 방법에 집중한다.

Recommendation #3: Focus on methods to enhance transfer of learning.


시뮬레이터의 물리적 유사성 설계에 대한 강조는 학습 환경의 실제 환경으로의 전달을 촉진하는 수단으로 진화했다. 효과적인 학습자 오리엔테이션, 학습자 참여 및 기능적 과제 정렬을 보장하기 위한 학습 목표 개발을 위한 근거 기반에 의해 지원되는 적용 환경으로의 학습 전달을 강화하기 위한 구체적인 방법에 대한 리포커스를 권고한다.

The emphasis on designing physical resemblance into the simulator evolved as a means to promote transfer of learning to real-life settings. We recommend a refocus on specific methods for enhancing transfer of learning to the applied setting, supported by an evidence base for effective learner orientation, learner engagement, and the development of learning objectives to ensure functional task alignment.


*이 권고사항의 자세한 버전은 이 관점의 "권장사항" 섹션에서 확인할 수 있다.

*A more detailed version of these recommendations may be found in the “Recommendations” section of this Perspective.


고찰 Discussion


교육에 대한 의미

Implications for education


많은 시뮬레이션 기반 건강 직업 교육의 궁극적인 목적은 임상 환경으로의 학습 transfer을 촉진하는 것이므로, 교육자로서 우리는 주어진 시뮬레이터가 이러한 transfer을 지원하는 정도를 판단해야 한다. 이 때 [신체적 유사성]은 (단순히 높거나 낮음보다는) 학습자와 특정 학습 목표에 따라 달라질 수 있는 연속체로서의 고려하는 것이 가장 도움이 될 수 있다.

The ultimate intent of much simulation- based health professions education is to promote transfer of learning to the clinical setting, and this compels us, as educators, to determine the degree to which a given simulator supports such transfer. It is perhaps most helpful to consider physical resemblance as a continuum (rather than as high or low) that can vary on the basis of the learners and the specific learning objectives.


학습자의 [적절한 오리엔테이션 설정]과 [자신의 훈련 수준에 맞는 시뮬레이션 시나리오 및 물리적 플랫폼을 선택]하여 학습자 참여도를 높일 수 있다. 

    • 예를 들어 수술실에서 경험이 풍부한 시니어 심장 수술 레지던트는 조직 특성을 주의 깊게 보존하지 않으면 돼지의 심장 밸브와 세션에서 훈련의 가치를 찾지 못할 수 있다. 교육자들은 반드시 학습자 수준에 부합하는 시뮬레이터에 투자하는 동기적 가치에 대해 경각심을 가져야 한다. 이는 특히 일반적으로 실제 환자에 대한 경험이 있고 정기적으로 접근하는 고급 학습자에게 중요하다. 그러한 수준의 학습자에게, 높은 수준의 빈도, 낮은 빈도 사건에 대해 가르치는 것에 집중하는 것이 아마도 가장 도움이 될 것이다.

Learner engagement can be enhanced by appropriate orientation of the learner and selection of a simulation scenario and physical platform that matches his or her level of training. 

    • For example, a senior cardiac surgery resident with plenty of experience in the operating room might not see the value in a session with pig’s heart valves if the tissue properties are not carefully preserved. Educators must remain alert to the motivational value of investing in simulators in correspondence with the level of the learner. This is especially important for more advanced learners, who typically have experience with and access to real patients on a regular basis. For that level of learner, it is perhaps most helpful to focus on teaching around high-acuity, low-frequency events.


미래 연구에 대한 시사점

Implications for future research


신체적 유사성의 장점과 역할은 체계적으로 연구되어야 한다. 구체적인 연구는 어떤 직무에 대해 신체적 유사성이 중요한지, 그리고 어떤 조건에서 초보자가 시뮬레이터의 표면적인 외관을 개선하여 이익을 얻거나 주의가 산만해지는지를 결정할 수 있다. 학습자 참의 수준이 다양한 이유와 주어진 시뮬레이션 시나리오에서 참여도를 높일 수 있는 방법에 대한 질문도 남는다.

The merits and role of physical resemblance should be systematically studied. Specific research could determine for what tasks physical resemblance is important, and under what conditions novices benefit from or become distracted by enhancing a simulator’s superficial appearance. Questions also remain about why learners engage to varying degrees and how we can enhance engagement in a given simulation scenario.


[불신의 중지]가 있다면 어떤 역할을 할까? 예를 들어 마츠모토나 동료의 36컵이나 빨대와 같은 [로우-테크 모델]의 경우, 학습자는 펜로즈 배수구의 밑부분에 있는 검은 점이 베루몽타눔을 잘 나타내지 못한다는 것을 쉽게 이해할 수 있다. 하지만 학습자는 이 훈련 맥락에서 중요한 문제는 그 표지자indicator의 위치이기 때문에 당분간 불신을 보류할 용의가 있다. 이러한 방식으로, [불신의 중지]는 학습자가 학습 목표를 물리적 구조에 투영하기 위해 관여하는 메커니즘이다. 그들은 당면한 과제와 무관한 특징을 기꺼이 무시하게 된다. 신체적 유사성은 단순히 학습자를 참여시키기 위한 또 다른 접근법일 뿐이며, 특히 강한 접근법은 아니다.

What role if any does suspension of disbelief play? For low-tech models such as Matsumoto and colleagues’36 cup and straws, for example, the learner can readily understand that the black dot at the base of the Penrose drain is not a good representation of the verumontanum, but is willing to suspend disbelief for the moment because the important issue in this training context is the location of that indicator. In this way, suspension of disbelief is a mechanism that learners engage in to project the learning objective onto the physical structure; they become willing to ignore features that are irrelevant to the task at hand. Physical resemblance may simply be just another approach for engaging the learner (and not a particularly strong one in isolation).





. 2014 Mar;89(3):387-92.
 doi: 10.1097/ACM.0000000000000130.

Reconsidering fidelity in simulation-based training

Affiliations 

Affiliation

  • 1Dr. Hamstra is professor, Departments of Medicine, Anesthesia and Surgery; research director, University of Ottawa Skills and Simulation Centre; and director, Academy for Innovation in Medical Education, Faculty of Medicine, University of Ottawa, Ottawa, Ontario, Canada. Dr. Brydges is assistant professor, Department of Medicine, University of Toronto, Toronto, Ontario, Canada. Dr. Hatala is associate professor, Department of Medicine, University of British Columbia, Vancouver, British Columbia, Canada. Dr. Zendejas is resident, Department of Surgery, Mayo Clinic College of Medicine, Rochester, Minnesota. Dr. Cook is professor of medicine and medical education, Department of Medicine, Mayo Clinic College of Medicine, and director, Office of Education Research, Mayo Medical School, Rochester, Minnesota.
Free article

Abstract

In simulation-based health professions education, the concept of simulator fidelity is usually understood as the degree to which a simulator looks, feels, and acts like a human patient. Although this can be a useful guide in designing simulators, this definition emphasizes technological advances and physical resemblance over principles of educational effectiveness. In fact, several empirical studies have shown that the degree of fidelity appears to be independent of educational effectiveness. The authors confronted these issues while conducting a recent systematic review of simulation-based health professions education, and in this Perspective they use their experience in conducting that review to examine key concepts and assumptions surrounding the topic of fidelity in simulation.Several concepts typically associated with fidelity are more useful in explaining educational effectiveness, such as transfer of learning, learner engagement, and suspension of disbelief. Given that these concepts more directly influence properties of the learning experience, the authors make the following recommendations: (1) abandon the term fidelity in simulation-based health professions education and replace it with terms reflecting the underlying primary concepts of physical resemblance and functional task alignment; (2) make a shift away from the current emphasis on physical resemblance to a focus on functional correspondence between the simulator and the applied context; and (3) focus on methods to enhance educational effectiveness using principles of transfer of learning, learner engagement, and suspension of disbelief. These recommendations clarify underlying concepts for researchers in simulation-based health professions education and will help advance this burgeoning field.


롤모델로서 임상 트레이너의 특성: 체계적 문헌고찰(Acad Med, 2013)

The Attributes of the Clinical Trainer as a Role Model: A Systematic Review

H.G.A. Ria Jochemsen-van der Leeuw, MD, Nynke van Dijk, MD, PhD, Faridi S. van Etten-Jamaludin, and Margreet Wieringa-de Waard, MD, PhD




유능하고 전문적인 의사가 되는 것은 환자에게 양질의 진료를 제공하기 위한 필수 조건이다.1,2

Being a competent, professional doctor is a prerequisite for providing high-quality care to patients.1,2


반두라의 사회학습 이론에 따르면, 연습생들은 롤모델을 관찰함으로써 필수적인 전문적 역량을 배운다. 롤모델이란 [본받을 수 있는 우수성의 기준을 입증하는 것으로 여겨지는 사람]으로서 의학 문헌에 정의되어 있다. Bandura3는 효과적인 관찰 학습을 위해 주의력, 보유, 재생산 및 동기 부여가 필요하다는 것을 나타낸다. 이 과정은 환경, 행동 및 개인적 요인에 의해 상호적으로 영향을 받는다(그림 1). 따라서 롤모델링은 관찰에 의한 학습을 통해 젊은 의사들에게 전문적인 행동을 심어주는 강력한 전략이다.6,8–11

According to Bandura’s3 social learning theory, trainees learn essential professional competencies by observing a role model— defined in the medical literature as a person considered to demonstrate a standard of excellence to be imitated.4–8 Bandura3 also indicates that attention, retention, reproduction, and motivation are necessary for effective observational learning; this process is reciprocally influenced by environmental, behavioral, and personal factors (Figure 1). Thus, role modeling is a powerful strategy by which to instill professional behavior in young doctors through learning by observation.6,8–11



대학원 의학 교육에서 임상 훈련사(즉, 임상 실습에서 연습생을 감독하는 의사)는 연습생의 롤모델 역할을 한다. 결과적으로, 전문적 행동에 대한 임상 강사의 display는 연습생에게 긍정적인 영향을 미칠 수 있는 반면, 비전문적 행동에 대한 강사의 display는 부정적인 영향을 미칠 수 있다. 5,12–15

In graduate medical education, the clinical trainer—that is, any physician who supervises the trainee in clinical practice—serves as the role model for the trainee. Consequently, the clinical trainer’s display of professional behavior may positively affect the trainee, whereas the trainer’s display of unprofessional behavior may have a negative effect.5,12–15


우리의 연구 질문은 어떤 것이 임상 트레이너를 연습생에게 긍정적이고 부정적인 역할 모델로 특징지우는가?

Our research question was, which attributes characterize the clinical trainer as a positive and negative role model for the trainee?


방법 Method


논문 검색 Literature search


선별 절차 Selection process


질 평가 및 데이터 추출 Quality assessment and data extraction


결과 Results


연구 선택 Study selection


우리의 문헌 조사 결과 4,955개의 독특한 논문이 나왔다(그림 2).

Our literature search yielded 4,955 unique articles (Figure 2).



포함된 연구의 특성 및 품질

Characteristics and quality of included studies


표 1은 본 체계적 검토에 포함된 17개 연구의 품질 평가의 특징과 결과를 나타낸다.

Table 1 presents the characteristics of and results of the quality assessment of the 17 studies4–8,26–37 included in this systematic review.



긍정적인 역할 모델의 가장 중요한 특성

Most important attributes of positive role models


긍정적인 역할 모델(표 2)의 속성은 크게 환자 치료 품질, 교수 품질, 개인적 자질 등 세 가지 범주로 나눌 수 있다고 판단했다. 이것은 1996년에 발견된 라이트8과 같은 분류다.

We determined that the attributes of positive role models (Table 2) can be divided into three main categories: patient care qualities, teaching qualities, and personal qualities. This is the same classification Wright8 found in 1996.


환자 관리 자질.

Patient care qualities.


첫째, 긍정적인 역할 모델은 최신 지식을 가진 유능한 전문가6이다.26,30,34 우수성과 성장에 대한 헌신, 5 효과적인 진단 6,8 및 치료 기술, 30,33 및 건전한 임상적 추론. 6,30 또한 긍정적인 역할 모델은 동정심, 8,29 돌봄, 매력,29 환자 6,31과 공감하며 개인적 연계를 구축할 수 있다. 그들.7,28,29,31 환자 돌봄의 질에 헌신하며, 환자 5,6 환자 돌봄의 중심이 된다.37 긍정적인 역할 모델은 환자와 그 친척들과 잘 소통한다,6,8,26,31은 환자에 대한 존중을 나타내고,31은 환자에 대한 인간주의적 태도를 가지고 있고,26,30,37은 교육하고, 충분히 알려준다. 환자.6 또한 타인을 존중하고 인정하며, 6은 다른 의료 종사자와 긍정적인 상호작용을 야기한다.

First, a positive role model is a competent specialist6 with up-to-date knowledge.26,30,34 He or she is an experienced34,37 and strong clinician5 with a commitment to excellence and growth,5 effective diagnostic6,8 and therapeutic skills,30,33 and sound clinical reasoning.6,30 Furthermore, a positive role model is compassionate,8,29 caring, engaging,29 and empathic to patients6,31 and is able to build a personal connection with them.7,28,29,31 He or she is dedicated to the quality of patient care5,6 and centers the care he or she provides on the patient rather than the illness.37 A positive role model communicates well with patients and their relatives,6,8,26,31 shows respect to patients,31 has a humanistic attitude toward patients,26,30,37 and educates and fully informs patients.6 In addition, he or she has respect for and gives recognition to others,6 resulting in positive interactions with other health care workers.6,8,30,37


게다가, 긍정적인 역할 모델은 높은 수준의 전문성을 보여준다. 26,27은 어려운 임상 상황에서 책임을 지고 역경에 대처할 수 있다. 35,36 일상생활에서, 4,8,29는 직업 28,29를 즐기고, 자신이 선택한 전문분야에 대한 만족도를 나타낸다. 7,29

Moreover, a positive role model displays a high degree of professionalism,26,27 assumes responsibility in difficult clinical situations,5 and is able to cope with adversity.35,36 In daily life, he or she demonstrates enthusiasm for his or her work,4,8,29 enjoys the job,28,29 and displays satisfaction with his or her chosen specialty.7,29


교직 자질.

Teaching qualities.


임상 교육자로서, 긍정적인 역할 모델은 인본주의적인 교육 방식을 채용하고, 26은 학습자와 친밀감을 형성하고, 5명의 학습자가 자신의 가르침을 학습자의 필요에 맞게 맞추며tailor, 7은 안전한 학습 환경을 조성하고, 28은 학습자에게 독립적인 의사결정을 할 수 있는 자율성을 준다.32,33 또한, 긍정적인 역할 모델은 교육자에게 심리학적 측면, 의사와 환자 관계의 중요성에 대해 가르친다.7 동시에 연습생에 대해 긍정적인 태도를 취하는 동시에, 4,6은 가르치는 것에 대한 열정을 보이고, 6은 연습생들에게 자신을 available하게 하고, 질문에도 쉽게 접근할 수 있게 한다.29 비판적 사고를 자극하며, 32,33은 학습을 흥미진진하게 하고, 8을 고무시킨다.28 마지막으로, 긍정적 역할 모델은 의료 교육에 대한 자신의 역할 모델 지위의 중요성을 인식하고, 따라서 헌신적이고 능동적인 역할 모델로서 활동하며, 교육생이 유사한 행동을 취하도록 장려한다.27

As a clinical educator, a positive role model employs a humanistic style of teaching,26 establishes rapport with learners,5 tailors his or her teaching to learners’ needs,7 creates a safe learning environment,28 and gives learners the autonomy to make independent decisions.32,33 Moreover, a positive role model teaches trainees about the psychological aspects of medicine and the importance of the doctor–patient relationship.7 At the same time, he or she adopts a positive attitude toward trainees,4,6 shows enthusiasm for teaching,6 and makes himself or herself available for trainees4,7 and accessible for questions.29 He or she stimulates critical thinking,32,33 makes learning exciting,8 and is inspirational.28 Finally, a positive role model is aware of the importance of his or her role model status for medical education5,7,31 and, therefore, acts as a dedicated and active role model,34 encouraging the trainee to adopt similar behavior.27


개인적인 자질.

Personal qualities.


긍정적인 역할 모델은 인내심이 있고, 6,8,29는 자신감 30,34,자긍심 35,36 그리고 정직함과 성실함을 보여준다.4–6 29와 함께 일하기 쉽고, 35,36은 겸손과 휴머니즘을 보여주며, 26,30,37, 리더십을 가지고 있다.

A positive role model is patient,6,8,29 has self-confidence30,34 and self-esteem,35,36 and displays honesty and integrity.4–6 He or she is easy to work with29 and cooperative,35,36 shows humility and humanism,26,30,37 and has leadership ability.5,7,30


긍정적인 역할 모델의 가장 중요하지 않은 특성

Least important attributes of positive role models


7개(41%) 연구 4,6–8,30,32,33의 보고된 속성은 임상 트레이너를 양의 역할 모델로 식별하는 데 가장 덜 중요하다고 간주된다(표 2).

Seven (41%) studies4,6–8,30,32,33 reported attributes considered the least important in identifying a clinical trainer as a positive role model (Table 2).


여기에는 연구에 대한 연습생의 흥미를 자극하거나, 연습생의 연구를 찾아 완성하는 것을 돕는 것이 포함된다. 6,30,32,33은 수많은 논문의 저자로, 4,6,8은 국가 또는 국제적으로 명성이 높거나, 4,30의 영예와 상을 받았다. 임상 트레이너가 관리 30 또는 프레젠테이션 스킬6 또는 컨퍼런스에 참석하는지 여부6,32,33 또한 거의 중요하지 않다. 임상 트레이너의 일반적인 신체적 외관 4,6,8,30은 트레이너가 의학 외 분야에서 trainee와 관심사를 나누는 것, 트레이너와 함께 시간을 보내는 것, 트레이니의 사생활에 대해 배우는 것,7 또는 지역사회 일에 참여하는 것 등 거의 영향을 미치지 않는 것으로 보고되고 있다.6

These include stimulating the trainee’s interest in research or assisting the trainee with finding and completing research,6,30,32,33 being the author of numerous publications,4,6,8 having a national or international reputation,4,30 or having received honors and awards.4 Whether the clinical trainer has management30 or presentation skills6 or attends conferences6,32,33 also has little importance. The clinical trainer’s general physical appearance4,6,8,30 is reported as having little influence, as are the trainer’s sharing of interests with the trainee outside medicine,6,8 spending time with trainees and learning about their personal lives,7 or participating in community affairs.6


부정적인 역할 모델의 속성

Attributes of negative role models


17개 연구 중 6개(35%) 5,27–30,34는 부정적 역할 모델의 속성을 보고했다(표 2).

Six (35%)5,27–30,34 of the 17 studies reported attributes of negative role models (Table 2).


환자 관리 자질.

Patient care qualities.


부정적인 역할 모델은 29,30을 환자에게 무관심하게 전달하고, 의료 종사자에 대해 비협조적인 태도를 취하며, 비전문적 태도와 비윤리적인 행동을 보인다.34 또한, 강사의 현장 지식이 최신 상태가 아닌 경우, 훈련생은 훈련관보다 더 많은 지식을 느낄 수 있다.34

A negative role model is uncaring29 toward and communicates poorly29,30 with patients, adopts an uncooperative attitude toward health care workers,30 and displays unprofessional attitudes27 and unethical behavior.34 In addition, if the trainer’s knowledge of the field is not up-to-date, the trainee may feel more knowledgeable than the trainer.34


교직 자질.

Teaching qualities.


부정적인 역할 모델은 연습생에게 잘못된 행동과 잘못된 행동을 가르친다. 27은 학습자들에게 서투른 지지를 주고, 27은 훈련생들에게 거의 피드백을 제공하지 않는다.28 처음부터 씽크-오-스윔 접근법을 연습한다. swim) 접근법을 연습한다.28 게다가, 그나 그녀는 흥미가 없고 이름과 얼굴을 기억하는데 어려움을 겪는다.5

A negative role model teaches the trainee the wrong thing to do and the wrong way to behave,27 gives poor support to learners,27 and rarely provides feedback to trainees.28 He or she practices a sink-or-swim approach from the outset.28 Furthermore, he or she is disinterested8 and has difficulty remembering names and faces.5


개인적인 자질.

Personal qualities.


부정적인 역할 모델은 냉소적이며, 28,29는 성차별적인 태도를 가지고 있으며, 34살이고, 참을성이 없고, 융통성이 없으며, 지나치게 관대하다.5 그 또는 그녀는 트집을 잡아 혹독하게, 불공평하게, 또는 자기 잇속만 차릴 수 있다.34 마지막으로, 부정적인 역할 모델은 자신감 30이나 리더십 30이 부족할 수 있다; 그 또는 그녀는 조용하고 내성적이며 5 또는 지나치게 과장될 수 있다.5

A negative role model is cynical,28,29 has a sexist attitude,34 and is impatient, inflexible, and overopinionated.5 He or she may nitpick and be harsh, unfair, or self-serving.34 Finally, a negative role model may lack self-confidence30 or leadership skills30; he or she may be quiet and reserved5 or overextended.5


토론 및 결론

Discussion and Conclusions


비록 가르침, 8 멘토링, 10, 13 및 역할 모델링의 차이는 종종 일상 실습의 중복으로 인해 불명확하다고 생각되지만, 역할 모델링은 가장 암묵적인 것이다(즉, 임상 트레이너의 초점이 연습생과 관련된 과제가 아닌 다른 업무에 집중될 때도 발생한다).9,10,13,16 우리의 연구 결과는 역할 모델링의 이러한 암묵적인 측면을 설명한다: 

Although the differences among teaching,8 mentoring,10,13 and role modeling are often thought to be unclear due to overlap in daily practice, role modeling is the most implicit (i.e., also occurs when the clinical trainer’s focus is on other, not trainee-related, tasks).9,10,13,16 Our findings illustrate this implicit aspect of role modeling: 


Positive 역할 모델은 환자에 대한 공감과 환자, 환자 가족 및 기타 의료 종사자와의 긍정적인 상호작용을 가진 우수하고 경험이 풍부한 임상의로 가장 일반적으로 설명되었다. 긍정적인 역할 모델은 또한 학습자의 성장에 대한 헌신과 인본주의적인 교육 스타일을 포함한 교육적 자질과 열정과 같은 개인적 자질을 보여주는 것으로 자주 묘사되었다.

Positive role models were most commonly described as being excellent, experienced clinicians who had empathy for patients and positive interactions with patients, patients’ families, and other health care workers. Positive role models were also frequently described as displaying teaching qualities, including commitment to the growth of learners and a humanistic style of teaching, as well as personal qualities such as enthusiasm.


훌륭한 임상 훈련사는 역할 모델링에 대한 경각심이 높아지면 자신의 역할 모델 상태를 알아야 한다. 왜냐하면 강사가 [행동으로 보여주고, 무엇이 수행되었는지에 대해 의견을 제시하고, 무엇을 수행했는지 설명할 기회]를 찾을 수 있기 때문이다.5 일부 저자들은 임상 훈련사가 자신의 [롤모델로서의 암묵적인 행동을 연습생에게 명시적으로 설명하여야] 한다고 강조했다.9,16 이것은 연습생이 [주의를 기울이고, 트레이너가 모델링하는 것을 유지하고, 동기 부여를 받고, 모델링된 행동을 연습생 자신의 행동에 대한 지침으로 사용]하는 데 도움이 될 것이다.

A good clinical trainer should be aware of his or her role model status because heightened awareness of role modeling may lead the trainer to seek the opportunity to demonstrate behavior, to comment on what was done, and to explain what was done.5 Some authors stressed that the clinical trainer should make his or her implicit behavior as a role model explicit to the trainee.9,16 This would help the trainee pay attention, retain what the trainer is modeling, become motivated, and use the modeled behavior as a guide for the trainee’s own actions.


긍정적인 역할 모델의 가장 중요한 속성을 설명하는 것 외에도, 검토된 연구의 거의 절반은 가장 덜 중요하다고 여겨지는 속성에 대해 보고했다. 여기에는 임상 트레이너가 연구에 적극적이었는지, 논문을 발표했는지, 관리 역할을 했는지, 국제적이거나 국가적인 명성을 얻었는지, 또는 상을 받았는지 등이 있다. 4,6, 4,6,8,30

In addition to describing the most important attributes of positive role models, almost half of the studies reviewed reported those attributes considered least important. These included whether the clinical trainer was active in research, published articles, played a management role, had achieved an international or national reputation, or had received awards.4,6,8,30


환자 관리, 개인 및 교육 자질을 통해 입증된 임상 트레이너의 행동이 트레이너의 외관이나 과학적 성과보다 더 중요한 것 같다.

it seems that the clinical trainer’s behavior—as demonstrated through patient care, personal, and teaching qualities—is more important than the trainer’s appearance or scientific achievements.


검토된 연구에서 보고된 바와 같이 부정적인 역할 모델의 특징은 환자에 대한 무관심뿐만 아니라 환자 및 다른 의료 종사자들과의 관계가 좋지 않다는 것을 포함했다. 또한, 부정적인 역할 모델은 학습자에 대해 비지원적이고 무관심하며 냉소적이고 조급하거나 성차별적인 태도를 가진 것으로 묘사되었다.

The characteristics of negative role models, as reported in the studies reviewed, included being uncaring toward patients as well as having poor relationships with patients and other health care workers. Additionally, negative role models were described as being unsupportive and disinterested toward learners, being cynical and impatient, or having a sexist attitude.



제한 사항

Limitation


의료교육 및 향후 연구에 미치는 영향

Implications for medical education and future research


문헌은 임상 역할 모델링을 개선하기 위한 노력이 이루어졌음을 보여준다.

The literature shows that efforts have been made to improve clinical role modeling.


따라서 검토에서 확인된 긍정적인 역할 모델의 가장 중요한 속성이 임상 트레이너를 위한 교육 과정의 기초를 형성할 수 있을 것으로 제안한다. 그들은 또한 역할 모델이 되는 임상 트레이너의 인식을 향상시키고 트레이너들의 역할 모델링 행동에 대한 피드백을 주기 위한 도구를 개발하는 데 사용될 수 있다.

Thus, we suggest that the most important attributes of positive role models identified in our review could form the foundation of a training course for clinical trainers. They could also be used to develop an instrument for enhancing clinical trainers’ awareness of being a role model and to give trainers feedback on their role-modeling behaviors.


따라서 본 검토에서 파악한 속성을 연습생이 감식을 통해 트레이너의 역할 모델링된 행동을 모방할 것인지 여부를 결정하는 데 도움이 되는 도구에 통합할 것을 권고한다. 그러한 도구는 훈련생들이 고품질의 환자 진료를 제공할 수 있는 의사가 될 수 있는 전문적인 역량을 배우도록 하는 데 도움이 될 것이다.

Therefore, we recommend incorporating the attributes we identified in this review into a tool to help trainees determine, through apperception, whether to imitate a trainer’s role-modeled behavior. Such a tool would help ensure that trainees learn the professional competencies that will enable them to become doctors capable of providing high-quality patient care.









Review
 
. 2013 Jan;88(1):26-34.
 doi: 10.1097/ACM.0b013e318276d070.

The attributes of the clinical trainer as a role model: a systematic review

Affiliations 

Affiliation

  • 1Department of General Practice/Family Medicine, Academic Medical Center-University of Amsterdam, Amsterdam, the Netherlands. h.g.jochemsen@amc.uva.nl

Abstract

Purpose: Medical trainees (interns and residents) and their clinical trainers need to be aware of the differences between positive and negative role modeling to ensure that trainees imitate and that trainers demonstrate the professional behavior required to provide high-quality patient care. The authors systematically reviewed the medical and medical education literature to identify the attributes characterizing clinical trainers as positive and negative role models for trainees.

Method: The authors searched the MEDLINE, EMBASE, ERIC, and PsycINFO databases from their earliest dates until May 2011. They included quantitative and qualitative original studies, published in any language, on role modeling by clinical trainers for trainees in graduate medical education. They assessed the methodological quality of and extracted data from the included studies, using predefined forms.

Results: Seventeen articles met inclusion criteria. The authors divided attributes of role models into three categories: patient care qualities, teaching qualities, and personal qualities. Positive role models were frequently described as excellent clinicians who were invested in the doctor-patient relationship. They inspired and taught trainees while carrying out other tasks, were patient, and had integrity. These findings confirm the implicit nature of role modeling. Positive role models' appearance and scientific achievements were among their least important attributes. Negative role models were described as uncaring toward patients, unsupportive of trainees, cynical, and impatient.

Conclusions: The identified attributes may help trainees recognize which aspects of the clinical trainer's professional behavior to imitate, by adding the important step of apperception to the process of learning professional competencies through observation.


최적의 적응적 전문성을 위한 효율성과 혁신의 균형을 배우기(Med Teach, 2018)

Learning to balance efficiency and innovation for optimal adaptive expertise

Martin V. Pusica , Sally A. Santenb , Michael Dekhtyarc , Ann N. Ponceletd , Nicole K. Robertse , Amy L. Wilson-Delfossef and William B. Cutrerg




도입 Introduction


학문의 전이는 간단하지 않다. 한 맥락에서 일어나는 학습은 다른 맥락으로 잘 전달되지 않을 수 있다. 예를 들어, 강의실 학습은 임상적 성과를 개선하지 못할 수 있다; 시뮬레이션 실험실 작업 훈련은 수술실 성능을 약간만 개선할 수 있다. 이에 따라 교육 연구자들은 학습한 내용을 새로운 낯선 문제들로 옮기는 학습자의 능력 향상에 대한 지향적인 목표 향상으로 설정했다. 핵심 요점은 Transfer를 고려한다면 교육 설계가 진정으로 원하는 결과에 미치는 영향을 적절히 평가할 수 있다는 것이다. 즉, 새로운 지식을 복잡하고 예측성이 떨어지는 세상에 적용할 준비가 된 학습자가 그것이다.

Transfer of learning is not straightforward. Learning which occurs in one context may not transfer well to another. For example, classroom learning may not improve clinical performance; simulation lab task training may only modestly improve operating room performance. Education researchers, charged with improving instruction, have accordingly set as an orienting target improvement in the ability of the learners to transfer what they have learned to new unfamiliar problems. The key point is that considerations of transfer allow us to properly weigh the effects of an instructional design on the truly desired outcome: a learner prepared to apply new knowledge to a complex, less predictable world.


[적응형 전문성]을 위한 교육은 전공을 최적화할 수 있다. 많은 면에서, 그것은 더 큰 교육 야망을 요구한다. 드레퓌스, 드레퓌스 개념화에서 전문 지식의 모델은 전통적으로 [완전히 훈련된 개인을 더 이상 임상 실습에서 감독을 필요로 하지 않는 사람]으로 표현해 왔으며, 졸업시에 실천의 기준을 충족시켰다(그림 1의 "A"로 표현). (Dreyfus and Dreyfus 1980; Kalet and Pusic 2014). 이 경우에 실무에서 강조되는 것은 "유지관리"(즉, 비손실)와 능력의 "경로화"에 이다.

Training for adaptive expertise may optimize transfer. In many ways, it calls for greater educational ambition. Models of expertise such as the Dreyfus and Dreyfus conceptualization have traditionally represented the fully trained individual as one who no longer requires supervision in clinical practice, meeting the standards of practice at graduation (represented by Line “A” in Figure 1) (Dreyfus and Dreyfus 1980; Kalet and Pusic 2014). The emphasis in practice has been on the “maintenance” (i.e. non-loss) and “routinization” of competence.



그러나, 새로운 경향은 이것을 문제 삼는다. 의료의 환경은 일상적 전문지식의 저장 수명을 더 짧게 하여 점점 더 빠른 속도로 변화하고 있다(Cutrer et al. 2017). 동시에, 시스템 효율을 최적화하기 위한 전환은 많은 일상적인 업무를 하위 수준의 제공자나 알고리즘으로 전환하여 임상의사는 [맞춤형 솔루션을 필요로 하는 복잡한 요구를 가진 복잡한 환자의 보다 풍부하고 혼합된 사례]를 갖게 되었다(Smith et al. 2013; Cutrer et al. 2017). 최소한의 전문지식에 대한 이러한 새롭고 정상적인 이동을 위해서는 지속적인 적응이 필요하다(그림 1의 라인 "B").

However, emerging trends call this into question. The landscape of healthcare is shifting at an ever-accelerating pace rendering the shelf-life of routine expertise shorter (Cutrer et al. 2017). At the same time, a shift to optimizing systems efficiency has diverted many routine tasks to either lower-level providers or algorithms, leaving the clinician with an ever-richer case mix of complex patients with complex needs requiring bespoke solutions (Smith et al. 2013; Cutrer et al. 2017). This new, shifting normal for minimum expertise requires ongoing adaptation (Line “B” in Figure 1).


상황이 심각해 보인다: 지금 성과를 향상시키는 것을 가르치면서, 동시에 미래에 더욱 복잡한 의료 시스템에서 성과를 향상시킬 수 있는 무언가를 가르쳐야 한다. [효율성]과 [혁신]은 원칙이 될 수 있다.

The situation seems fraught: teach something that improves performance today and will improve performance tomorrow in an ever-more complex healthcare system. Efficiency and innovation can be guiding principles.


적응형 전문지식의 핵심 측면은 효율성과 혁신의 균형이다. 한편으로, 임상의는 더 적은 리소스로 동일한 프로세스를 수행하거나 더 짧은 시간에 보다 효율적으로 수행하도록 요청 받는다.

A key aspect of adaptive expertise is the balancing of efficiency and innovation. On the one hand, clinicians are asked to become ever more efficient, doing the same process with fewer resources or in less time.


이러한 유형의 학습은 가능한 경우 practice의 변형, 배포 또는 자동화를 줄이고, 집중적인 관련 벤치마크를 극대화하기 위해 더욱 묶음된bundled 공정을 유도하는 누적 엔지니어링을 포함한다. 수술이든 양궁이든, [최종 성과와 정확히 동일한 고정된 조건] 하에서 연습하는 것이 [혼합 연습]보다 더 좋은 결과를 보여주었다(Gawande 1998; Singh and Statats 2012; Navinik et al. 2018).

This type of learning involves decreasing practice variation, distributing, or automating processes where possible, and cumulative engineering that leads to an ever-more bundled process, in service of maximizing a focused relevant benchmark. Whether for surgery or archery, practice under the exact fixed conditions of eventual performance have shown better results than mixed practice (Gawande 1998; Singh and Staats 2012; Nabavinik et al. 2018).


한편, 복잡한 치료법과 기술을 복잡한 만성 질환에 다학제적이고 변화무쌍한 맥락에서 맞춤화해야 하는 실무자에게 [혁신 능력]이 중시된다. 혁신을 위한 학습에는 모호성, 실험, 일상적 교란 및 도전적인 일반적인 가정에 대한 내성이 필요하다(Christensen 2006; Sarooghi et al. 2014).

On the other hand, the ability to innovate is valued in the practitioner who must customize complicated therapies and technologies to complex chronic illnesses in a multi-disciplinary, shifting context. Learning for innovation requires tolerance of ambiguity, experimentation, disrupting routines, and challenging common assumptions (Christensen 2006; Sarooghi et al. 2014).


의료 분야의 일상적 지식과 적응적 전문 지식의 균형

The balance of routine and adaptive expertise in the health professions


먼저 [적응형 전문성]의 효율성 측면을 보자. 가완데는 데르니아의 외과적 수리가 일상화된 캐나다 온타리오에 있는 카이스 헤르니아 병원을 기념했다. (가완데 1998) 표준화와 재현성을 무자비하게 강조함으로써, Shouldice Hernia Hospital은 다른 곳의 표준보다 훨씬 낮은 재발률을 가진 효율성과 효과성의 모델이 되었다. 유명한 것은, 이 클리닉은 표준화된 알고리즘을 선호하여 개별 외과의사의 혁신을 방해한다는 것이다. 많은 임상의들이 다른 외과적 훈련이 없는 가정의사들이다. 이것은 적응적 전문지식을 위한 학습 설계에 대한 우리의 고려사항의 중요한 경계선 예다. 제한된 범위의 예에 대한 효율성 중심의 교육은 실무자들이 단일 작업에 잘 적응하지만 새로운 작업을 학습할 수 있는 준비가 미흡한 결과를 초래할 수 있다.

Consider first the efficiency dimension of adaptive expertise. Gawande rightly celebrated the Shouldice Hernia Hospital in Ontario, Canada where surgical repair of hernias is done in a routinized fashion (Gawande 1998). By placing a ruthless emphasis on standardization and reproducibility, the Shouldice Hernia Hospital has become a model of efficiency and effectiveness with recurrence rates well below norms elsewhere. Famously, the clinic discourages individual surgeon innovation in favor of the standardized algorithm. Many of their clinicians are family doctors without other surgical training. This is an important boundary example for our consideration of designing learning for adaptive expertise. An efficiency-oriented training on a limited spectrum of examples would result in practitioners well-tuned to that single task but perhaps poorly equipped to learn new ones.


다음으로, 두 번째 바우더리 사례를 보자. 이번에는 혁신을 극단적으로 강조하는 쪽이다. 새로운 형태의 수술을 개발하는 것과 같은 임상 혁신은 잠재적 해결책의 황무지를 방황하는 기간을 필요로 한다. 과거 사례로는 이전에 개방적인 방식으로 수행된 절차에 대한 최소 침습적 접근법의 개발이 있을 것이다(Ramsay et al. 2001; Singh and Statats 2012). 여기서 강조할 것은 겉보기에는 아무리 믿을 수 없을 것 같아 보여도 단서를 추구하고 가능성에 맞추는데 있을 것이다(Johnson 2012). 생산적인 실패는 혁신의 필수 요소가 될 수 있다(Firestein 2016). 정통화된 접근법은 혁신에 대한 깊은 접근에 필요한 [가정에 얽매이지 않는 "초심"]과는 정반대일 것이다(Johnson 2012). 기술혁신 중심적 교육은, 특이 사례의 깊고 체계적이며 느린 탐구에 기초하여, 실무자들이 특이한 사례에 잘 적응하는 결과를 가져올 수 있지만, 표준화된 효율적 실천을 위한 준비가 덜 되어 있을 수 있다.

Next, we describe a second boundary example, this time at the innovation end. Clinical innovation, such as developing a new form of surgery, requires a period of wandering in a wilderness of potential solutions. A historical example would be the development of minimally invasive approaches to a procedure that has previously been performed in an open fashion (Ramsay et al. 2001; Singh and Staats 2012). The emphasis here would be on pursuing leads and being attuned to possibilities no matter how seemingly implausible on the surface (Johnson 2012). Productive failure can be a necessary component of innovation (Firestein 2016). A routinized approach would be the exact opposite of the assumption-free “beginner’s mind” necessary for a deep approach to innovation (Johnson 2012). Innovation-oriented training, based on a deep, methodical, slow exploration of idiosyncratic examples, would result in practitioners well-tuned to unusual cases but perhaps less equipped for standardized efficient practice.


브란스포드와 슈워츠는 지식의 효율적인 적용을 한 과정으로 가르치고, 종종 다른 예와 함께 다른 시간과 장소에서 메타인지적 사고와 같은 혁신 전략을 별도로 가르치는 개념을 비판했다. 그들은 "최적 적응성"을 모델링한 학습 궤적에서 두 편견biases이 균형을 이룬다면 최고의 교육 이전이 일어날 것이라고 생각했다.

Bransford and Schwartz criticized the notion of teaching efficient application of knowledge in one course and separately teaching innovation strategies like metacognitive thinking in a different time and place, often with different examples. They reasoned that the best educational transfer would occur if the two biases were balanced during a learning trajectory that modeled “optimal adaptability”.


Mylopoulos와 Regehr는 나중에 의대생들이 혁신을 위한 학습을 자신의 능력 밖의 것으로 보고 적응적 전문지식의 개발에 대한 함의를 걱정한다는 사실을 발견했다(Mylopoulos와 Regehr 2009).

Mylopoulos and Regehr later found that medical students viewed learning for innovation as being beyond their capacity and worried about the implications for their development of adaptive expertise (Mylopoulos and Regehr 2009).


그림 2에서는 브란스포드와 슈워츠 논문(Schwartz et al. 2005)에서 그것으로부터 수정된 혁신과 효율성 사이의 긴장도를 도표로 제시한다. 여기서, 비신뢰적 시술자는 주어진 혁신 효율성 트레이드오프(새로운 지반을 깨는 순수한 혁신자)에서 환자 관리에 귀중한 기여를 할 수 있다고 가정한다.

In Figure 2, we present a diagram of the tension between Innovation and Efficiency that is modified from that in the original Bransford and Schwartz paper (Schwartz et al. 2005). Here, we assume that a non-novice practitioner can make a valuable contribution to the care of patients at any given innovation-efficiency tradeoff: the pure innovator by breaking new ground;



적응력adaptivity은 공짜가 아니다. 그것은 더 나은 방법(어느 쪽에 대한 것이든)이 존재할 가능성에 대한 숙련된 메타인지적 인식과 접근의 변화를 허용하는 동기, 시스템 인식 및 환경을 필요로 한다. 몰로풀로스와 레게어는 이것이 [전문성 향상 과정의 자동적인 부산물이 아니라] 특정한 습관과 행동에 따라 달라지는 [별도로 개발된 능력]이라고 주장해 왔다(Mylopulos와 Regehr 2009).

Adaptivity does not come for free. It requires a cultivated metacognitive awareness of the possibility of there being a better way (towards either pole) and then the motivation, systems awareness, and environment to allow a shift in approach. Mylopoulos and Regehr have argued that this is not an emergent process that is an automatic byproduct of increasing expertise, but rather a separately developed capacity that depends on certain habits and behaviors (Mylopoulos and Regehr 2009).


임상적 효과

=일상적인 전문지식(효율성)

+ 반사적, 파괴적 전문 지식(혁신)

+ 둘 사이를 전환할 수 있는 능력(적응성)

Clinical effectiveness

= Compiled routine expertise (Efficiency)

+ Reflective; disruptive expertise (Innovation)

+ Ability to switch between them (Adaptability)


분산 인식 프레임워크의 최적 적응성

Optimal adaptability in a distributed cognition framework


이때까지 우리는 적응적 전문지식을 임상의의 특성이나 역량으로서 고려했다. 그러나 현대의 의료 시스템은 복잡하지만 잠재적으로 더 효과적인 인지 작업의 distribution을 특징으로 한다(Hazlehurst 2015). 이것은 다양한 유형과 수준의 훈련과 전문화를 가진 개인들, 다양한 구성과 일시성을 가지고 모이는 팀들, 그리고 적절한 치료를 위한 피드백, 지침 및 세심한 채널을 제공하는 의사결정 지원 시스템을 포함하는 정보 시스템에 내재된 지속적으로 증가하는 지능을 포함할 수 있다. 이 풍부한 태피스트리에서는 효율적이고 혁신적이며 적응적인 전문가들이 각각 중요한 기여를 할 수 있다. 우리는 표 1에 몇 가지 예를 열거한다.

Up to this point we have considered adaptive expertise as a trait or capacity of a given clinician. However, modern health systems feature a complex yet potentially more effective distribution of cognitive work (Hazlehurst 2015). This can be across individuals of different types and levels of training and specializations; teams that assemble with varying composition and temporality; and ever-increasing intelligence embedded in information systems that include decision-support systems that provide feedback, guidance, and careful channels to appropriate care. In this rich tapestry, efficient, innovative, and adaptive experts each can make important contributions. We list some examples in Table 1.




전문가 커뮤니티가 인구의 요구를 충족시키기 위해 발전함에 따라, 효율성과 혁신의 필요성 사이의 매칭이 작업work의 분배를 촉진한다. 간종양 절제술과 같은 복잡한 수술을 고려하라. 두 가지 사례가 동일하지 않기 때문에 조타실helm에서 ["해야 할 때" 속도를 늦출 수 있는 적응적 전문가]지만, 개발된 속도를 강조하여 안정적으로 봉합할 수 있는 [숙련된 시술자가 최종 피부마감]을 달성할 수 있다. 사례가 제대로 진행되지 않을 때, 혁신 편견을 가진 전문가에 의해 신중한 근본 원인 분석이 주도되어 시스템을 더욱 개선시킬 수 있을 것이다.

As a community of professionals develops to meet the needs of a population, matching between the need for efficiency and innovation imperatives drives the distribution of the work. Consider a complicated operation such as a hepatic tumor resection. Since no two cases are identical, this requires an adaptive expert who can “slow down when they should” at the helm; but the final skin closure can be accomplished by routinized practitioners who can reliably suture with an emphasis on developed speed. When a case goes poorly, a careful Root Cause Analysis would be led by an expert with an innovation bias, looking to make the system ever better.


건강 시스템과 같은 조직들은 때때로 예측 가능한 방식으로 배운다. 최근 효율성에 대한 편향으로 인해 그룹 실무에 합류한 훨씬 더 적은 수의 개인 의료 종사자들이 점점 더 많은 진료 단위를 수집하게 되었고, 이는 다시 연습 네트워크나 더 큰 통합 건강 시스템의 구성원이 된다. 이상적으로, 이것들은 자연에서도 적응력이 있는 "학습 조직"이 될 수 있다. [혁신의 문화]가 있는 조직에서는 혁신이 이득을 본다. 

Organizations such as health systems learn in a sometimes predictable fashion. A recent bias towards efficiency has led to aggregations of ever-larger units of care with far fewer solo practitioners who have joined group practices which are in turn members of either practice networks or even larger integrated health systems. Ideally, these can be “learning organizations” which are also adaptive in nature. Innovation is advantaged in organizations that have a culture of innovation (Miron et al. 2004).


그러므로 일상적 전문지식과 적응적 전문지식 사이의 긴장은 (그리고 개인이 이러한 긴장감을 가지고 더 큰 계획 안에 들어맞는 것이) 조직적 차원에서도 발휘될 수 있다. 실제로, 필요에 따라, 혁신-적응-효율성 연속체에 대해 서로 다른 관점을 가진 개인들을 혼합하여 팀을 의도적으로 구성할 수 있다(Taylor et al. 2010).

Thus, the tension between routine and adaptive expertise, and where an individual fits within a larger scheme with this tension, may also play out at the organizational level. Indeed, as needed, teams could be intentionally constructed with a blend of individuals with differing perspectives on the innovation–adaptation–efficiency continuum (Taylor et al. 2010).


교육적 시사점

Educational implications


[적응적 전문성]은 개인 또는 조직 수준에서 기술혁신에 비해 효율성에 대한 상대적 강조를 의도적으로 고려할 것을 요구한다. 대부분의 건강직종의 역할은 [효율적인 접근방식과 혁신적인 접근방식 사이의 긴장]이 정의내리는 스킬스페이스 내에 배치될 수 있으며, 이 두 가지 사이의 전환에는 추가적인 에너지와 기술이 필요하다.

Adaptive expertise requires, whether at the individual or organization level, an intentional consideration of the relative emphasis on efficiency compared with innovation. Most health professions roles can be placed within the skill space defined by the tension between efficient and innovative approaches, with the additional consideration that shifting between them requires additional energy and skill.


우리는 전문직은, 정의와 교육과정 그리고 교육활동에서, 이러한 근본적인 긴장을 고려해야 한다고 것을 주장한다. MAL(Master Adaptive Learner) 모델은 교육생이 자율에 기초하여 학습에 대한 메타인지적 접근법을 채택할 수 있도록 지원하는 하나의 프레임워크를 제공한다(Cutrer et al. 2017).

We advocate that a profession, in defining itself, its curriculum and its educational activities, take into account this fundamental tension. The Master Adaptive Learner (MAL) model offers one framework for helping trainees employ a metacognitive approach to learning, based on self-regulation (Cutrer et al. 2017).


[알려진 것을 효율적으로 적용하는 것]을 수월성으로 개념화하는 교육 프로그램은 [효율적인 전문가]를 졸업시킬 것이다. 우리의 의료 시스템은 그러한 전문가와 역할 모델을 필요로 한다. 효율성을 엔드포인트로 지향하는 필요한 교육 방법은 종종 잘 확립되어 있다. 개인 수준에서 엔드포인트를 숙달하기 위한 의도적인 연습의 원칙은 높은 수준의 기술을 신뢰할 수 있는 수준으로 달성하는 것으로 나타났다(McGaghie et al. 2006). 완벽할 때까지 반복적으로 연습하면 심폐소생술과 같은 복잡한 작업에도 불구하고 전문 의료진의 거의 군사적 정밀도를 초래할 수 있다(Hunt et al. 2008).

Training programs that conceptualize excellence as the efficient application of known best practices will graduate efficient experts. Our healthcare systems need such experts and role models. The necessary educational methods which are oriented to an efficiency endpoint are often well-established. At the individual level, the precepts of deliberate practice to mastery end-points has been shown to reliably achieve high levels of skill (McGaghie et al. 2006). Repetitively practicing until perfect can result in almost military precision for interprofessional healthcare teams even for as complex a task as cardiopulmonary resuscitation (Hunt et al. 2008).


[새롭고 혁신적인 접근법을 추구하는 것]을 수월성으로 개념화하는 교육 프로그램이 혁신 전문가를 배출한다. 우리의 의료 시스템은 또한 이러한 유형의 전문가와 역할 모델을 필요로 한다. PhD 연구 프로그램은 임상, 기초 또는 번역의 연구에 집중적이고 깊이 있는 접근을 오랫동안 가능하게 해왔다. 보다 최근에 기업가정신 교육은 의료 전문직 교육에 진출하여 혁신에 대한 다른 접근방식을 취하고 있다(Kuratko 2005). 이러한 유형의 훈련은 생산적 실패에 대해 관대한(사실상 실패를 장려하는) 프로젝트 기반 구성주의 교육학 기초를 공유한다. 문제 기반 학습 접근법은 이러한 유형의 혁신적 사고를 이용하도록 설계된다.

Educational programs that conceptualize excellence as the pursuit of new and innovative approaches will graduate innovative experts. Our healthcare systems also need these types of experts and role models. PhD research programs have long enabled concentrated, depth approaches to research whether clinical, basic or translational. More recently, entrepreneurship training has made its way into health professions education, taking a different approach to innovation (Kuratko 2005). These types of training share project-based constructivist pedagogical underpinnings that are tolerant (indeed encouraging) of productive failure. Problem-based learning approaches are designed to advantage this type of innovative thinking.


혁신적 접근방식과 경로화된 접근방식의 상호작용을 위해서는 적응적 전문지식의 개발이 필요하다(그림 3 참조). 이것은 혁신 교육 설계 또는 효율성 교육 설계를 각각 적용하는 것 이상을 요구한다. 대신에, 학습자들은 [수준과 상관없이 그들의 전문지식을 적응시키는 기술을 개발하고 연습]할 필요가 있을 것이다.

  • 초보 학습자의 경우, 이것은 메타인지, 실행 기능 또는 단순히 "해야 할 때 속도를 늦추는 것"이라고 부르든 적응에 대한 공유된 언어를 학습하는 것을 수반할 수 있다. (Moulton et al. 2007) 속도보다는 이해에 중점을 두고 자연적 가변성을 제공하는 환경에서 연습하면 초보 학습자도 적응적 전문지식을 습득할 수 있다. 

  • 보다 진보한 학습자의 경우 임상적으로 중요한 목표를 향해 절제된 즉흥화가 필요한 시뮬레이션 또는 실제 환경에 배치하는 것이 이러한 기술을 개발하는 데 도움이 될 수 있다(Hatano 및 Inagaki 1991). 

  • 마스터 적응 학습자 모델은 더 큰 장력에 대한 메타인지 인식과 이러한 유형의 혼합 전문지식을 정확하게 촉진할 수 있는 해당 요소 교육 이론 및 방법을 모두 위한 명시적 프레임워크를 제공한다(Cutrer et al. 2017; Cutrer 이 문제).

The interaction of routinized approaches with innovative ones requires development of adaptive expertise (See Figure 3). This requires more than separate application of innovation or efficiency instructional designs. Instead, learners will need to develop and practice the skill of adapting their expertise, no matter their level. 

  • For novice learners this might entail learning the shared language of adaptation, whether termed metacognition, executive function, or simply “slowing down when you should” (Moulton et al. 2007). Practice in environments providing natural variability, with an emphasis on understanding rather than speed, may allow even novice learners to acquire adaptive expertise. 

  • For more advanced learners, situating them in simulated or real environments that require disciplined improvization towards clinically important goals can help to develop these skills (Hatano and Inagaki 1991). 

  • The Master Adaptive Learner model provides an explicit framework for both meta-cognitive awareness of the larger tension, as well as corresponding component educational theories and methods that can facilitate exactly this type of blended expertise (Cutrer et al. 2017; Cutrer this issue).



평가는 중요한 고려 사항이다.

Assessment is an important consideration.


  • 포트폴리오가 성찰을 촉진하는 반면, 적응적 전문지식의 스펙트럼을 완전히 평가하기 위해서는 평가에 대한 새로운 접근방식이 필요하다. 

  • EPA 접근방식은 결국 적응성의 더 나은 판단과 강화를 가능하게 할 수 있다(Lomis et al. 2017). 

  • Double-transfer 설계는 비용이 많이 들고 번거롭기 때문에 교육 시스템으로의 광범위한 일반화가 불가능하다. 

  • 대신, 우리는 "지저분한messy" 직장 기반 평가, 정성적인 텍스트 기반 접근법 또는 동료 검토에 의존해야 할 수 있다(예: 긴즈버그 외 2015).

  • While portfolios promote reflection, an adaptive behavior in and of itself, in order to fully assess the spectrum of adaptive expertise new approaches to assessment are needed. 

  • The nascent Entrustable Profession Activity approach may eventually allow better determination and reinforcement of adaptability (Lomis et al. 2017). 

  • double-transfer design are expensive and cumbersome making their widespread generalization into education systems unlikely. Instead, we may have to rely on “messy” workplace-based assessments, qualitative text-based approaches, or peer-review (e.g. Ginsburg et al. 2015).


[혁신-적응성-효율성 연속체]는 HPE의 설계와 구현에 많은 영향을 미친다. 첫째, 기술혁신과 효율성 경험을 상호 연계하여 적응적 전문성을 촉진하는 것이 필요할 수 있다. 예를 들어, 외과 연수생을 레지던트 프로그램에서 꺼내어 실험실에 삽입하는 연구 경험은 적응력을 증가시키는 결과를 초래하지 않는 일시적이고 지리적으로 분리된 경험의 종류일 수 있다. 대신에 환자 안전, 품질 및 가치 향상을 위한 혁신을 평가하기 위해 분석 방법을 사용하는 1년 동안 품질 개선 프로젝트에 참여하면 최종 전문가의 적응력에 더 큰 도움이 될 수 있다.

The innovation–adaptability–efficiency continuum has a number of implications for the design and implementation of HPE. First, it may be that interleaving innovation and efficiency experiences is necessary to promote adaptive expertise. For example, research experiences in which a surgical trainee is taken out of their residency program and inserted into a laboratory may be the kind of temporally and geographically segregated experience that does not necessarily result in increased adaptability, were that the goal. Instead, involvement in year-long quality improvement projects, in which analytical methods are used to evaluate innovations for improved patient safety, quality, and value might do more for the adaptability of the eventual expert.


요약 Summary









Review

 

. 2018 Aug;40(8):820-827.
 doi: 10.1080/0142159X.2018.1485887. Epub 2018 Aug 9.

Learning to balance efficiency and innovation for optimal adaptive expertise

Affiliations 

Affiliations

  • 1a NYU School of Medicine , New York , NY , USA.
  • 2b Department of Medicine, Virginia Commonwealth University , Richmond , VA , USA.
  • 3c American Medical Association , Chicago , IL , USA.
  • 4d Department of Neurology, University of California San Francisco , San Francisco , CA , USA.
  • 5e Department of Medical Education, City University of New York , New York , NY , USA.
  • 6f Department of Pharmacology, Case Western Reserve University , Cleveland , OH , USA.
  • 7g Department of Pediatrics, Vanderbilt University School of Medicine , Nashville , TN , USA.

Abstract

It is critical for health professionals to continue to learn and this must be supported by health professions education (HPE). Adaptive expert clinicians are not only expert in their work but have the additional capacity to learn and improve in their practices. The authors review a selective aspect of learning to become an adaptive expert: the capacity to optimally balance routine approaches that maximize efficiency with innovative ones where energy and resources are used to customize actions for novel or difficult situations. Optimal transfer of learning, and hence the design of instruction, differs depending on whether the goal is efficient or innovative practice. However, the task is necessarily further complicated when the aspiration is an adaptive expert practitioner who can fluidly balance innovation with efficiency as the situation requires. Using HPE examples at both the individual and organizational level, the authors explore the instructional implications of learning to shift from efficient to innovative expert functioning, and back. They argue that the efficiency-innovation tension is likely to endure deep into the future and therefore warrants important consideration in HPE.


우리가 필요로하는 전문성 기르기: 교육을 통한 적응적 전문성 촉진(J Eval Clin Pract, 2018)

Developing the experts we need: Fostering adaptive expertise through education

Maria Mylopoulos Dr., PhD, Associate Professor and Scientist1 |

Kulamakan Kulasegaram Dr., PhD, Assistant Professor and Scientist2 |

Nicole N. Woods Dr., PhD, Associate Professor and Scientist2




1 도입

1 INTRODUCTION


오늘날 급속도로 발전하고 있는 의료 시스템은 점점 더 복잡해지는 과제를 해결할 수 있는 의사가 필요로한다. 의료 교육에 주로 기반하여 접근하는 전문지식 모델은 전문가 지식과 기술의 습득과 보유를 이해하는 데 유용하지만, 이렇게 변화하는 의료 환경에서 우수성을 위해 필수적인 많은 기능을 충분히 설명하지는 못한다.5 특히 지식의 gold standard로서 기계론적, 비독점적 적용을 지나치게 강조하는 의학 교육에 대한 접근방식은 의사들이 새로움, 모호성 및 복잡성의 상황에서 효과적인 임상적 의사결정을 할 준비를 못한게 한다. 그 결과, 의학 전문가들이 해야 할 일과 우리가 그들에게 제공하는 교육 사이에 점점 더 격차가 벌어지고 있다.5

Today's rapidly evolving health care systems require physicians who are capable of meeting increasingly complex challenges. The models of expertise that dominantly underpin approaches to medical education are valuable for understanding the acquisition and retention of expert knowledge and skills,2-4 but do not sufficiently account for many of the capabilities essential for excellence in this changing health care context.5 In particular, approaches to medical education that over‐ emphasize the mechanistic and unreflective application of knowledge as the gold standard do not prepare physicians for effective clinical decision making in situations of novelty, ambiguity, and complexity. As a result, there is a growing gap between what medical experts need to do and the training we provide them.5


의학 전문지식에 대한 연구의 가장 두드러진 줄기는 전문지식의 구성과 적용에 초점을 맞춰온 임상 추론이다.

The most prominent thread of research on medical expertise is the study of clinical reasoning, which has focused on the organization and application of expert knowledge.


임상 지식이 초보자와 숙련된 임상의에 의해 조직되고 검색되는 방식을 설명하기 위해 다양한 인식 이론이 사용되어 왔다. 예를 들어, 스크립트 이론의 지지자들은 의학 지식이 "질병 스크립트"나 "스키마"로 조직된다고 주장해왔다. 이러한 임상 및 과학적 지식의 묶음은 임상 활동을 수행하거나 다른 사람에 의해 수행되는 것을 지켜보는 결과로 발전하는 징후, 증상, 메커니즘 및 관리 접근법의 일반적인 모델을 형성한다. 현재 환자나 문제를 메모리에 저장된 스크립트나 스키마에 연결하면 임상의사가 적절한 진단이나 관리 전략을 선택할 수 있다. 판단의 오류는 스키마가 부정확하거나 부적절하게 재구성되거나 없을 때 발생한다.6

Various theories of cognition have been used to describe the way clinical knowledge is organized and retrieved by novices and experienced clinicians. For example, proponents of script theory have argued that medical knowledge is organized into “illness scripts” or “schemas.” These bundles of clinical and scientific knowledge form generic models of signs, symptoms, mechanisms, and management approaches that develop as a consequence of performing clinical activity or watching it be performed by others. Matching a current patient or problem to a script or schema stored in memory allows the clinician to select an appropriate diagnosis or management strategy. Errors in judgement arise when schemas are inaccurate, inappropriately reconstructed, or absent.6


다른 임상 추론 이론가들은 추상적인 내용 지식 외에도 구체적인 경험의 영향을 강조하였다. 인간 기억 및 분류에 관한 문헌의 예시 기반 모델들은 의사결정에 관해 [특정한 이전 사례에 대한 리콜]을 강조한다. 전문가 및 초보 진단 전문가가 [이전 사례와의 유사성]을 사용하여 임상 판단을 안내하는 것을 확인했다.7-9

Other clinical reasoning theorists have highlighted the impact of specific experiences in addition to abstract content knowledge. Exemplar‐based models from the literature on human memory and categorization emphasize recall for specific prior cases on decision making. Expert and novice diagnosticians have been found to use similarity to previous cases to guide clinical judgments.7-9


의학 전문지식의 보다 최근의 개념화는 [전문가들이 일하는 동안 그들의 지식을 변화시키고 확장하는 방법]에 대한 탐구들을 포함하기 위해 이 토대를 기반으로 하고 있다. 그 결과로 만들어진 "적응적 전문지식"의 구조는 지식의 유연한 사용과 새로운 해결책을 창출하고 임상적 의사 결정의 핵심 과정으로서 일상적인 문제 해결로부터 배우는 능력을 강조한다. 구체적으로는 [적응적 전문가]는 [이전에 습득한 지식의 효율적인 이용]과 [새로움과 복잡성에 대응한 새로운 지식의 창출]의 균형을 맞출 수 있다.

More recent conceptualizations of medical expertise have built on this foundation to include explorations of the ways in which experts transform and expand their knowledge as they work.10-13 The resulting constructions of “adaptive expertise” emphasize the flexible use of knowledge and the ability to generate new solutions and learn from daily problem solving as key processes of clinical decision making.14-16 Specifically, adaptive experts are able to balance the efficient use of their previously acquired knowledge with the creation of new knowledge in response to novelty and complexity.


예를 들어 북미 6개 기관의 저명한 의사들은 환자 서술에서 얻은 지식과 그들 자신의 광범위한 지식을 통합하는 것을 기술했다. 환자와의 만남에서 얻은 이러한 통합 경험은 지식 기반에 대한 지속적인 진화의 기초를 형성했다.17

For example, renowned physicians across 6 North American institutions described integrating their own extensive knowledge with the knowledge they gathered from the patient narrative. These experiences of integration from patient encounters formed the basis for the continuous evolution of their knowledge base.17


의학 분야의 전문가 활동에 대한 이러한 연구와 다른 연구들은, 전문가들이 임상적 만남에서 meaning-making을 위한 출발점으로 그들의 지식을 사용하는 방법을 보여준다.20

These and other studies of expert activity in medicine demonstrate the ways that experts use their knowledge as a starting point for meaning‐making during a clinical encounter.20


이 증거는 적응적 전문지식이 임상적 판단의 탁월함에 있어 중심이라는 주장을 강하게 뒷받침한다. 따라서 임상적 추론과 적응적 전문성 문헌 모두에서, 의료 전문성의 포괄적인 모델은 [전문가가 필요로 하는 지식의 유형]과 [작업 중 이 지식을 생산적으로 사용하는 방법]을 동시에 고려해야 한다.

  • 지식의 구성과 적용에만 초점을 맞추면 환자 치료 활동 중에 지식이 변형되고 진화하는 방법은 제외된다. 

  • 마찬가지로, 전문가들이 그들의 지식을 변화시키고 발전시키는 방법에 독점적으로 초점을 맞추는 것은 습득한 지식이 환자 치료를 뒷받침하고 지도하는 중요한 방식들을 무시하게 될 것이다.

This evidence strongly supports that assertion that adaptive expertise is central to excellence in clinical judgement. Thus, taking from both the clinical reasoning and adaptive expertise literatures, a comprehensive model of medical expertise must simultaneously account for the types of knowledge that experts need as well as the ways in which they use this knowledge productively during their work.16 

  • Focusing only on the organization and application of knowledge excludes the ways in which knowledge is transformed and evolved during the activity of patient care. 

  • Similarly, an exclusive focus on the ways that experts transform and evolve their knowledge would ignore the important ways that acquired knowledge underpins and guides patient care.


전문가 연구에서는 이러한 격차가 서서히 메워지고 있지만, 의학 교육의 연구를 align하는 것도 필요하다. 적응적 전문성의 틀은 수십 년 동안 교육문헌의 일부로서 전 세계 고등교육의 연구와 설계를 알려 주었지만, 아직 의료교육에 대해 광범위하게 알려주지 않고 있다. 그 대신에 의료 교육자와 학자들은 임상적 판단과 후속 훈련 활동에 대한 이해에서 지식의 구성과 적용에 초점을 맞추는 경향이 있다. 종합적인 전문지식을 개발하기 위해서는 의료교육이 지식의 습득과 조직화를 지원하고 적응형 전문지식의 핵심역량을 개발해야 한다. 가장 중요한 요소 중 하나는 "미래 학습을 위한 준비"(PFL)이다.23 의학 교육에서 비교적 새로운 개념인 PFL은 "실제에서의 학습과 문제 해결을 지원하기 위해 새로운 정보를 배우고, 자원을 효과적으로 사용하고, 새로운 절차를 발명할 수 있는 능력"이다.

While this gap is slowly being bridged in studies of experts, it is also necessary to align the scholarship of medical education. Although the framework of adaptive expertise has been a part of the education literature for decades, informing the study and design of higher education around the world, it has yet to extensively inform medical education. Instead, medical educators and scholars tend to focus on the organization and application of knowledge in their understanding of clinical judgement and subsequent training activities.22 To develop comprehensive expertise, medical education must both support acquisition and organization of knowledge as well as develop key capabilities of adaptive expertise. One of the most critical elements is “preparation for future learning” (PFL).23 A relatively new concept in medical education, PFL is “ability to learn new information, make effective use of resources, and invent new procedures in order to support learning and problem solving in practice.”23,24


대체로 이러한 접근방식은 PFL과 그에 따른 적응적 전문지식을 위해서는 교육이 다음의 것들을 강조해야 함을 시사한다. 

(1) 성과보다는 이해

(2) 투쟁과 위험감수를 강조한다. 

(3) 의미 있는 변이variation을 지지한다. 

Broadly, these approaches suggest that for PFL and subsequent adaptive expertise, education must emphasize 

(1) understanding rather than performance, 

(2) emphasize struggle and risk taking, and 

(3) support meaningful variation. 


이러한 광범위한 원칙이 올바르게 작동한다면 임상의는 새로운 복잡성과 모호성에 직면하여 필요할 때 신속하고 효율적인 문제 해결자가 될 수 있다.

These broad principles, if operationalized correctly, can put clinicians on the path to becoming quick and efficient problem solvers when needed and effective innovators in the face of novelty complexity and ambiguity.


첫 번째 원칙을 operationalize하는 것이 늘 어려웠던 이유는 선생님과 학생 모두가 [깊은 이해]와 반대로 종종 [리콜이나 사실 학습의 평가]를 통해 측정되는 성과에 초점을 맞추는 것을 선호하기 때문이었다. 이해를 강조하는 가르침은 학습자가 절차적 지식(예: 어떤 일을 하는 방법을 아는 것)을 넘어 전문지식에 중요한 개념적 지식(예: 그 이유를 아는 것)을 통합하는 것으로 나아가는 것을 보장한다.25 

Operationalizing the first principle has been a struggle for medical education as both teachers and students often prefer to focus on performance—often measured through assessments of recall or factual learning—as opposed to deep understanding. Instruction that emphasizes understanding ensures that learners move beyond procedural knowledge (eg, knowing how to do something) to incorporating conceptual knowledge (eg, knowing why), which is critical for expertise.25


광범위하게 정의하자면, 개념적 지식은 다음과 같은 원리에 대한 암묵적 이해와 명시적 이해를 포괄한다. 

  • (1) 개념이나 기술이 어떻게, 왜 작용하는지,

  • (2) 전문가 활동 또는 전문지식에 필요한 여러 개념의 요소들이 서로 어떻게 관련되는지.

Broadly defined, conceptual knowledge encompasses both implicit and explicit understanding of the principles that 

  • (1) govern how a concept or skill works and why and 

  • (2) how elements of an expert activity or multiple concepts necessary for expertise relate to one another.


개념 이해를 해석하는 한 가지 방법은 의사들이 정신적 의미 네트워크를 개발하는 것이다. 진단 활동에서 이는 노드 기호, 증상, 병태생리학 및 경험적 지식의 네트워크를 의미하며, 이러한 예시들은 모두 그러한 징후와 증상이 함께 발생하는 이유에 대한 기계론적mechanistic 설명인 커넥터에 의해 연결된다. 비록 의학 훈련에서 징후와 증상들의 목록과 같은 임상 정보에 중점을 두는 것은 유혹적이지만, 의미 네트워크의 가장 중요한 측면은 그러한 징후와 증상을 의미 있게 연결하는 연결이다. 개념들 사이의 연결을 통한 기계론적 이해는 본질적으로 의학에 있어서의 개념지식의 기초가 된다.

One way of interpreting conceptual understanding is that physicians develop a mental semantic network.26,27 For the activity of diagnosis, this means a network of node signs, symptoms, pathophysiology, and experiential knowledge such exemplars all of which are linked by connectors that are the mechanistic explanations of why those signs and symptoms occur together. Although it is tempting to place emphasis on clinical information such as a list of signs and symptoms in medical training, the most important aspect of a semantic network is the connections that meaningfully link those signs and symptoms. Mechanistic understanding through connections between concepts is essentially the basis of conceptual knowledge in medicine.


이러한 연결의 한 원천은 생물학적 메커니즘의 기원 또는 결과에 대한 이해이다.28 실험 연구는 지시 중 생물학적/기초과학 지식을 임상적 지식과 밀접하게 통합하는 것이 개념적 이해의 형성을 초래한다는 것을 보여주었다. 더구나 임상적 지식이나 생체의학 지식만을 받는 학생에 비해 통합지시에 노출된 학생은 진단 정확도가 높고 복잡한 사례를 해결할 가능성이 높으며 절차적 기술까지 익힐 수 있다. 결정적으로, 통합적 교육은 또한 PFL의 개발을 지원하는 것으로 나타났다. 통합 교육을 받은 학생들은 처음에 임상 과학 교육만 받은 학생들에 비해 나중에 새로운 관련 임상 내용을 더 잘 배울 수 있었다. 또한 이 연구는 PFL이 "콘텐츠가 없는" 결과나 "일반화할 수 있는" 결과가 아니며, 일부 핵심 지식의 통합적이고 개념적인 이해에 기초해야 한다는 것을 보여주었다.

One source of these connections is an understanding of biomedical mechanisms origins or consequences.28 Experimental studies have shown that integrating biomedical/basic science knowledge closely with clinical knowledge during instruction results in the formation of a conceptual understanding. Moreover, compared with students who receive only clinical or only biomedical knowledge, students exposed to integrated instruction have higher diagnostic accuracy,29 and are more likely to solve complex cases,25 and even learn procedural skills.30 Critically, integrated instruction has also been shown to support development of PFL.31 Students who received integrated instruction were better able to later learn novel related clinical content compared with those who initially received only clinical science instruction.31 It is worth noting that this work also demonstrates that PFL is not a “content free” or “generalizable” outcome and must be grounded in integrated and conceptual understanding of some core knowledge.


또 다른 유용한 교훈은 의학에서의 기계론적 이해는 전통적인 기초과학 콘텐츠 영역에 국한될 필요가 없다는 것이다. 흔히 임상 징후와 증상에 대해 생화학적, 해부학적, 생리학적 설명이 있다는 것은 당연하게 여겨지지만, 네트워크 내에서 설명적 링크를 만들어내는 사실상 어떤 형태의 지식도 임상적 판단에서 가치를 가질 수 있다. 루시에 의한 연구는 의학에 관련된 지식의 전통적인 공식화 이상으로 확장되는 "새로운 기초 및 임상 과학"을 규명했다.

The other useful lesson is that mechanistic understanding in medicine does not need to be constrained to traditional basic science content domains. While it is often taken for granted that there are biochemical, anatomical, and physiological explanations for clinical signs and symptoms, virtually any form of knowledge that creates explanatory links within a network can have value in clinical judgement.32 Work by Lucey has identified “new basic and clinical sciences” that extend beyond the traditional formulations of relevant knowledge in medicine.33


심리학과 경제학과 같은 행동과학은 임상적 전문지식에 필요한 중요한 개념적 이해를 형성하기 위해 생의학과 함께 사용될 수 있다. 의사는 이러한 새로운 기초과학을 사용하여 환자의 경험과 시스템 영향력에 대한 지식뿐만 아니라 질병의 징후와 증상을 포함하는 임상 개념의 일관성 있는 정신 네트워크를 결합할 수 있다. "기초과학"을 바이오의학을 넘어서로 확장함으로써 PFL에 필요한 개념적 이해를 높일 수 있다.

Behavioural sciences such as psychology and economics can be used alongside biomedical sciences to form the critical conceptual understanding needed for clinical expertise. Physicians can use these new basic sciences to hold together a coherent mental network of clinical concepts that includes the signs and symptoms of disease as well as knowledge of patient experiences and system influences.19,33 Expanding the “basic sciences” beyond biomedical can enhance conceptual understanding necessary for PFL.


새로운 콘텐츠 제공과 함께 연습생들이 투쟁struggle과 발견을 통해 콘텐츠와 소통하는 방식이 중요하다. 의학교육의 상당 부분은 절차적 지식을 학생들에게 직접 전달하고, 반복적으로 실천할 수 있는 작업 사례와 기회로 보강하는 '직접 교육'이다. 반복적인 문제 해결 연습은 더 빠르고 더 정확한 수행으로 이어질 수 있지만, 학습자가 개념적 지식을 개발하지 않아도 그렇게 할 수 있다. 이런 '절차적 유창성'은 학생들에게는 '학습'을 하고 있는 생각을 하게 하고, 교사에게는 학생이 미리 정해진 수준의 수행능력을 갖추게 훈련했다고 생각하게 만들기 때문에 학생과 교사 모두에게 흔한 함정이다.

Alongside the provision of new content, the ways in which trainees engage with the content through struggle and discovery is important. Much of medical education is “direct instruction” in which procedural knowledge is directly communicated to students and reinforced with worked examples and opportunities to practice with repetition. Repetitive problem‐solving practice can lead to faster and more accurate performance but can do so without learners developing conceptual knowledge.13 This “procedural fluency” is a common trap for both students and teachers as students perceive that they are “learning” and teachers are able to train students to a predetermined level of performance.


의료 훈련에서 "직접 교육"의 많은 부분은 성과에 초점을 맞추며, 이는 학생들이 미래 학습을 준비하도록 도울 수 있는 활동들을 희생함으로써 이뤄진다. 후자를 다룰 수 있으려면, 연습생들이 지식의 종합, 분석, 생성을 촉진하는 활동을 통해 능동적인 학습에 임할 수 있는 기회를 가져야 한다. 학생들을 투쟁, 위험 감수 및 실패에 노출시키는 것은 모두 개념적 지식과 PFL의 개발을 지원하는 것으로 나타났다.

much of the “direct instruction” in medical training focuses on performance at the expense of activities that can help prepare students for future learning. To be able to address the latter, trainees must have opportunities to engage in active learning through activities that promote synthesis, analysis, and generation of knowledge. Exposing students to struggle, risk‐taking, and failure have all been shown to support development of conceptual knowledge and PFL.


의학교육에 대한 약속이 있는 능동적 학습의 한 버전은 지도발견guided discovery으로, 학생들은 투쟁이나 실패를 통해 스스로 새로운 내용을 "발견"할 수 있는 기회를 갖게 되고, 그 후에 직접 지도를 받게 된다. 발견 단계는 공식적인 지시 이전에 문제나 절차를 시도하는 것과 같은 많은 형태를 취할 수 있다.

One version of active learning that has promise for medical education is guided discovery, where students are given the opportunity to “discover” new content on their own through struggle or failure, followed by direct instruction. The discovery phase can take many forms such as attempting a problem or procedure prior to formal instruction.


[직접지시 후에 발견discovery이 오게 하는 시퀀스]학습자가 새로운 문제를 해결하기 위해 새로운 내용을 학습해야 하는 PFL 과제에 대한 학생들의 수행 능력을 향상시키는 것으로 나타났다. 안내된 발견은 [편안하지만 잘못된 절차적 유창성]의 기회를 제거하기 때문에 [학습 과제의 난이도]를 더 높게 느끼게 만들지만, 절차적 유창성(을 측정하는 과제에 대한 수행)은 저하되지 않는다.34 이는 전통적인 초점이 절차적 유창성 개발에 맞춰져 있을 때 [직접 지도가 후에 유도 발견이 따라오는 학습 사이클]이 심지어 의료 교육의 초기단계에도 통합될 수 있음을 시사한다.

This sequencing of discovery followed by direct instruction has been shown to improve student performance on PFL tasks where learners are required to learn new content to solve a novel problem.34,35 While guided discovery increases the perceived difficulty of the learning task as it removes opportunities for a comforting but false sense of procedural fluency, performance on tasks that measure procedural fluency is not compromised.34 This suggests that cycles of learning involving guided discovery followed by direct instruction can be incorporated into even the earliest states of medical education when traditional focus has been on developing procedural fluency.


결정적으로, 능동적 학습은 개념적 또는 절차적 지식을 중심으로 의미 있는 변화를 볼 수 있는 기회와 결합되어야 한. 전문가들, 특히 의학계 종사자들에게 있어 가변성variability을 다루는 것은 중요한 기술이며, 실제로, 가장 엘리트적인 전문가들은 비정형적이거나 복잡한 경우를 다루는 능력에 의해 두드러진다. 의학 교육은 개념들을 어느 정도 명료하게 보여주기 위한 "이상적인" 사례로부터 종종 시작된다. 그러나 [환자 프레젠테이션, 절차적 기술에 대한 접근법 또는 심지어 의료 시스템 등] 개념을 둘러싼 다양성으로 인해 학생들은 임상 영역에 대한 개념적 이해를 구축할 수 있다. 단순히 피상적으로 다른 사례나 예를 제공하는 것은 불충분하다. 대신에, 학생들이 "개념에 대한 차별화된 지식을 개발하고 그러한 차이점의 중요성을 이해할 수 있도록" 하는 것에 근간을 두고 variation을 선택해야 한다.35

Critically, active learning must be coupled with an opportunity to see meaningful variation around conceptual or procedural knowledge. For experts, especially those in medicine, addressing variability is a crucial skill, and indeed, the most elite experts are marked by their ability to address the atypical or complex case. Medical education often begins with the “ideal” case to demonstrate concepts with some clarity. However, variation around concepts—in patient presentations, approaches to procedural skills, or even health care systems—allows students to build their conceptual understanding of clinical domains. Simply providing superficially different cases or examples is insufficient. Instead, variation must be selected on bases that allows students to “develop differentiated knowledge about concepts and an understand the significance of those differences.”35


[분석 과제]가 없었다면 학습자들은 변동variation의 두드러진 차원에 참여하지 못했을 수도 있고, 개념적 지식을 확장하지도 않았을 수도 있다. 변형variation은 또한 학생들이 학습의 전수를 준비하고 진단 전문지식에 필요한 예시를 쌓기 위해, 복수의 맥락에서 "개념 보기seeing concepts"의 중요성을 주장해온 임상 추론 연구자들의 연구와도 일치한다.

Without the analysis task, learners may not have attended to the salient dimensions of variation nor would they have expanded on their conceptual knowledge. Variation also aligns with the work of clinical reasoning scholars who have argued for the importance of “seeing concepts” in multiple contexts to prepare students for transfer of learning and for building the store of exemplars necessary for diagnostic expertise.36,37


  • 프로그램 수준에서, 커리큘럼 설계자와 관리자는 이러한 원칙을 사용하여 어떤 개념과 주제(즉, 내용)가 의학의 실천에 핵심적인지에 대한 결정을 안내하고 통합 전략을 결정할 수 있다. 

  • 과정 수준에서 임상 교육자는 개념에 대한 의미 있는 변화가 과정 기간 전체에 걸쳐 발생하도록 보장할 수 있다. 

  • 세션 레벨에서는 강사가 지도발견을 통해 학습자에게 고군분투할 수 있는 기회를 제공하고 통합지도를 통해 이해를 함양할 수 있다.

  • at the program level, curriculum designers and administrators can use these principles to guide decisions about what concepts and topics—ie, content— are core to the practice of medicine and decide on strategies for integration. 

  • At the course level, clinical educators can ensure that meaningful variation for concepts occurs across the duration of a course. 

  • At the session level, instructors can provide learners with the opportunity to struggle through guided discovery and foster understanding through integrated instruction.


19. Mylopoulos M, Borschel DT, O'Brien T, Martimianakis S, Woods NN. Exploring integration in action: competencies as building blocks of expertise. Acad Med. 2017;92(12):1794‐1799. XXX


37. Kulasegaram KM, Chaudhary Z, Woods N, Dore K, Neville A, Norman G. Contexts, concepts and cognition: principles for the transfer of basic science knowledge. Med Educ [Internet]. 2017 Feb [cited 2018 Jan 9];51(2):184‐195. XXX





. 2018 Jun;24(3):674-677.
 doi: 10.1111/jep.12905. Epub 2018 Mar 8.

Developing the experts we need: Fostering adaptive expertise through education

Affiliations 

Abstract

In this era of increasing complexity, there is a growing gap between what we need our medical experts to do and the training we provide them. While medical education has a long history of being guided by theories of expertise to inform curriculum design and implementation, the theories that currently underpin our educational programs do not account for the expertise necessary for excellence in the changing health care context. The more comprehensive view of expertise gained by research on both clinical reasoning and adaptive expertise provides a useful framing for re-shaping physician education, placing emphasis on the training of clinicians who will be adaptive experts. That is, have both the ability to apply their extensive knowledge base as well as create new knowledge as dictated by patient needs and context. Three key educational approaches have been shown to foster the development of adaptive expertise: learning that emphasizes understanding, providing students with opportunities to embrace struggle and discovery in their learning, and maximizing variation in the teaching of clinical concepts. There is solid evidence that a commitment to these educational approaches can help medical educators to set trainees on the path towards adaptive expertise.

Keywords: adaptive expertise; clinical reasoning; innovation; medical education.

숙련된 임상의는 어떻게 직관적으로 임상 진단을 인식하는가(Am J Med, 2017)

How Expert Clinicians Intuitively Recognize a Medical Diagnosis

John E. Brush, Jr, MD,a Jonathan Sherbino, MD, MEd,b Geoffrey R. Norman, PhDc



급성 심근경색과 같은 의료 진단은 종종 전문가 패널에 의해 성문화되는 규칙이나 기준에 의해 정의된다.1,2 그러나 진단이 시작되었을 때, 그러한 규칙은 임상의의 마음에서 더 멀어질 수 없었다. 진단 분석 및 검증에 규칙이 사용되지만 전문 임상의가 사용하는 초기 진단 단계는 규칙 기반이 아니다. 전문 임상의가 가능한 진단을 인지할 수 있는 능력은 직관적이고 비분석적 추론이다.3,4

A medical diagnosis, such as acute myocardial infarction, often is defined by rules or criteria that are codified by panels of experts.1,2 At the outset of making a diagnosis, however, those rules could not be further from the mind of a clinician. Rules are used for analyzing and verifying a diagnosis, but the initial diagnostic step used by expert clinicians is not rule based. The ability of expert clinicians to recognize a possible diagnosis is intuitive, nonanalytic reasoning.3,4


40여 년 전, 다수의 연구자가 독립적으로 진단 과정을 해체하여 전문 임상의가 일반적으로 의대생에 의해 추론에 사용되는 가설 생성과 검증의 동일한 과정을 사용한다는 것을 발견했다.5-8 숙련된 진단학자의 기술은 독특한 추론 과정 때문이 아니었다. 그러나 대신, 가능한 진단 목록을 짧게 작성하기 위해 과거 [경험에서 얻은 지식을 이용]할 수 있는 임상 능력에 의존했다. Elstein et al5 및 Barrows et al7은 전문 임상의들이 진단 조사를 시작한 지 몇 초에서 몇 분 사이에 3 - 5개의 가설을 개발했다고 언급했다. Barrows 외 연구진은 초기 가설 생성이 최종 진단의 정확성에 매우 중요하다는 것을 보여주었다. 만약 임상의사가 5분 이내에 정확한 진단을 내린다면, 최종 정확도는 98%이고, 그렇지 않다면 정확도는 25%로 떨어졌다.7

More than 4 decades ago, a number of researchers independently deconstructed the diagnostic process and found that expert clinicians use the same process of hypothesis generation and verification that is generally used for reasoning by beginning medical students.5-8 The skill of master diagnosticians was not due to a distinctive reasoning process, but instead depended on a clinician’s ability to access knowledge from past experience to generate short lists of possible diagnoses. Elstein et al5 and Barrows et al7 noted that expert clinicians developed 3 to 5 hypotheses within seconds to minutes of starting a diagnostic inquiry. Barrows et al7 showed that early hypothesis generation was critical to the accuracy of the eventual diagnosis. If the clinician thought of the correct diagnosis within 5 minutes, eventual accuracy was 98%; if not, accuracy decreased to 25%.7


인지심리학자 허버트 사이먼은 다음과 같이 말하면서 이 놀라운 인간의 능력을 설명했다. "상황은 힌트를 제공한다. 이 큐는 전문가에게 메모리에 저장된 정보에 대한 접근을 제공한고, 정보는 해답을 제공한다. 직관은 인식recognition에 지나지 않는다."11

The cognitive psychologist Herbert Simon described this astonishing human ability by stating: “the situation has provided a cue; this cue has given the expert access to information stored in memory, and the information provides the answer. Intuition is nothing more and nothing less than recognition.”11


진단 범주 DIAGNOSTIC CATEGORIES


진단 가설을 생성하는 것은 분류 과정이다. 심리학자들은 다양한 의사결정자들이 어떻게 범주를 형성하는지 그리고 어떻게 그들이 그 범주에 새로운 대상을 배치하는지 설명한다. 심리학자 더글러스 메딘에 따르면, "범주는 어떤 주장이나 주장 집합이 적용될 수 있는 분할partitioning이나 계급class이다."12

Generating diagnostic hypotheses is a categorization process. Psychologists describe how various decision-makers form categories and how they place new objects into those categories. According to psychologist Douglas Medin, “a category is a partitioning or class to which some assertion or set of assertions might apply.”12


특정 징후와 증상이 있는 환자를 범주(예: 심근경색)에 넣었을 때, 사전 경험이 있는 전문가는 급성심근경색 환자가 급성심근경색 이전 환자와 닮았기 때문에 급성심근경색이 진단 가능성임을 즉시 인식할 수 있다.

When placing a patient with specific signs and symptoms into a category (eg, myocardial infarction), experts with prior experience can immediately recognize that acute myocardial infarction is a diagnostic possibility because the patient resembles a prior patient with acute myocardial infarction.


환자를 진단 범주에 넣는 이 능력은 새, 개 또는 의자와 같은 일반적인 개체를 범주에 넣는 일반적인 능력과 비슷하다. 사람들은 이전에 다양한 새들을 본 적이 있고 새들의 범주 아래에 그들을 기억 속에 두었기 때문에 울새에서 펭귄에 이르는 다양한 새들을 알아볼 수 있다. 마찬가지로 전문 임상의는 이전에 급성 심근경색 환자를 다양하게 보아 급성 심근경색이라는 범주에 속하는 장기기억에 넣었기 때문에 광범위한 급성 심근경색 환자를 인식할 수 있다.

This ability to place a patient in a diagnostic category is similar to the general ability to place a common object such as a bird, dog, or chair into a category. People can recognize a variety of birds, ranging from a robin to a penguin, because they have seen a variety of birds before and have placed them in memory under the category of birds. Likewise, expert clinicians can recognize a broad range of patients with acute myocardial infarction because they have seen a variety of patients with acute myocardial infarction before and have placed them in long-term memory under the category of acute myocardial infarction.


진단 가능성이 항상 즉시 인식되는 것은 아니며, 임상 전문가가 조각그림 퍼즐을 맞추는 것과 같이 임상적 단서를 연결해야 한다. 이러한 과정을 돕기 위해 임상의는 환자의 병력history를 가져다가 내러티브로 정리하는 법을 배우게 된다.13-16 내러티브는 [문맥과 디테일을 더하고 서사적 요소에 우선순위와 무게를 부여]하여 이야기를 구성하는 방법이다. 전문 임상의가 이야기를 리텔링하면 환자의 말이 의사의 말이 된다. '숨이 가빠'는 'dyspnea'이 되고, '땀이 나서'는 '다뇨증'이 된다. 경험이 풍부한 임상의는 의미적 한정자를 추가하게 되는데, 이는 "급성" 또는 "만성"과 같은 의미 있는 형용사, 그리고 "에피소드" 또는 "연속"을 통해 임상적 발현을 충분히 설명할 수 있다.17 인간은 타고난 이야기꾼이며, 환자의 이야기가 일관성 있는 서술로 정리될 때 진단이 더 잘 인식되는 경우가 많다.

Diagnostic possibilities are not always immediately recognizable, requiring the clinician to connect the clinical cues, like piecing together a jigsaw puzzle. To help this process, clinicians are taught patient’s to take a history and organize it into a narrative.13-16 A narrative is a way of organizing a story by adding context and detail, and assigning priority and weight to elements of the narrative. When an expert clinician retells the story, the patient’s words become the doctor’s words. “I’m short of breath” becomes “dyspnea,” and “I broke out in a sweat” becomes “diaphoresis.” The experienced clinician will add semantic qualifiers, which are meaningful adjectives such as “acute” or “chronic,” and “episodic” or “continuous” to fully describe a clinical presentation.17 Humans are natural storytellers, and often the diagnosis is more recognizable when the patient’s story is organized as a coherent narrative.


과거의 경험에 대한 지식의 구조화 방법

HOW KNOWLEDGE OF PAST EXPERIENCE IS STRUCTURED


진단을 인식하는 능력이 특색 있는 추리과정에 덜 의존하고 [과거 경험에 대한 지식]에 더 의존한다면 과거 경험의 기억이 어떻게 저장되고 검색되는지를 이해하는 것이 중요하다.

If the ability to recognize a diagnosis is less dependent on a distinctive reasoning process and more dependent on knowledge of past experience, it is important to understand how memories of past experiences are stored and retrieved.


지식은 맥락적으로 기억되며, 직접적인 경험에서 얻은 경험적 지식은 추상적(예: 책) 학습에서 얻은 정형화된 생물의학 지식과는 다르게 구조화된다. 경험적 지식은 심리학 문헌에서 흔히 "대표적 경험examplar"으로 언급되는 과거 경험의 예로 기억된다.: 기억 속에 분류되고 저장되어 온 이전의 경험들.22 경험을 범주에 할당하는 "instantiation"라는 과정은 경험에 의미를 부여한다. 경험이 쌓임에 따라, 범주는 [거의 용량의 제한이 없고 자동으로 검색할 수 있는] 장기 기억장치에 저장될 많은 예들을 포함할 것이다.

Knowledge is remembered in context, and experiential knowledge gained from direct experience is structured differently than formalized biomedical knowledge gained from abstract (eg, book) learning. Experiential knowledge is remembered as instances of past experience, often referred to in the psychology literature as “exemplars”: prior experiences that have been categorized and stored in memory.22 Assigning an experience to a category gives it meaning, a process called “instantiation.” With experience, a category will contain a number of exemplars that are stored in a nearly limitless long-term memory and are automatically retrievable.


각각의 임상적 만남은 임상의에게 특정한 의미를 갖는 프레젠테이션의 주요 특징에 따라 독특하고 독특한 방식으로 장기 기억으로 표현된다. 이 두 가지 표현 모두 질병의 관련 특징과 이 특정인에게만 고유한 다른 특징을 포함할 수 있다.

Each clinical encounter is represented in long-term memory in a unique and idiosyncratic fashion, attending to key features of the presentation that hold meaning that specific to clinician. This both representation may contain the relevant features of the disease and other features unique to this specific person.


학습자가 전문가가 되면 다른 질병 범주가 어떻게 중복되고 구별되는 특징을 가지고 있는지를 기억하도록 examplars와 비교하고 대조할 수 있다.28

As learners become experts, exemplars can be compared and contrasted to help the learner remember how different disease categories have overlapping and distinguishing features.28


환자 양상은 다양하다. 어떤 환자들은 질병의 특징이 많고, 어떤 환자들은 몇 가지밖에 없다. 예시는 질병 표시의 변화를 다루는데 도움을 주고 질병의 전형적인 특징이 모두 부족한 환자들을 인식할 수 있게 해준다.

Patient presentations vary. Some patients have many disease features, and some have only a few. Exemplars help us handle the variation of disease presentation and allow us to recognize patients who lack all of the typical features of a disease.


공통적인 프리젠테이션은 반복적으로 접하게 되고, 그 결과 보다 쉽게 상기되는 사례가 더 많이 발생하게 된다. 이를 통해 전문가는 범주 내 기능의 기본 비율base rate을 직관적으로 파악할 수 있다.24

Common presentations are repeatedly encountered, resulting in more numerous exemplars that are recalled more readily. This gives the expert an intuitive sense of the base rates of features within a category.24


Examplars를 보완하여 심리학자들은 질병 스크립트 이론을 제안하였다.29 질병 스크립트는 임상의에게만 고유한 스키마 또는 맵이며, 일반적인 프레젠테이션을 설명하기 위해 다양한 정보 노드를 통합하고 연결한다. 예를 들어, 구분되지 않은 가슴 통증 표시에 대한 질병 대본은 이전의 임상 경험(예: 예시)과 정형화된 지식(예: 병리학, 역학)을 연결시킬 것이다. 스크립트를 탐색하면 임상의사가 급성 심근경색이나 대동맥 해부와 같은 진단과 일관되거나 일치하지 않는 프리젠테이션의 특징을 식별할 수 있다.

Complementary to exemplars, psychologists have proposed the theory of illness scripts.29 An illness script is a schema or map, unique to the clinician, integrating and linking various nodes of information to describe a general presentation. For example, an illness script for an undifferentiated chest pain presentation would link previous clinical experiences (ie, exemplars) with formalized knowledge (eg, pathophysiology, epidemiology). Navigating the script allows the clinician to identify features of the presentation that are consistent or inconsistent with a diagnosis such as acute myocardial infarction or aortic dissection.


  • 초보 의대생들은 경험이 부족하여, 인과 추론에 의존하여 진단 가설을 만들어 낸다

  • 연습생들이 경험을 쌓으면서 질병 스크립트를 쓰기 시작한다. 

  • 임상의가 전문가가 되면 초기 가설 생성시에 examplar에 더욱 의존하게 된다.29,30

  • Novice medical students lack experience and rely on causal reasoning to generate diagnostic hypotheses. 

  • As trainees gain experience, they begin to use illness scripts. 

  • As clinicians become experts, they become more reliant on exemplars for early hypothesis generation.29,30


초기 가설 생성이 예시, 프로토타입 또는 질병 스크립트를 통해 가장 잘 설명되는지 여부와 상관없이 전문지식은 환자 결과에 대한 피드백을 통해 제공되는 진정한authentic 임상 경험을 필요로 한다는 것은 분명하다.31

Regardless of whether early hypothesis generation is best explained via exemplars, prototypes, or illness scripts, it is clear that expertise requires authentic clinical experiences informed by feedback on patient outcomes.31


이중 처리 이론

DUAL PROCESS THEORY


이중공정 이론은 우리가 일반적으로 문제를 해결하고 특히 환자를 진단하기 위해 직관적 추론과 분석적 추론의 조합을 어떻게 사용하는가에 대한 하나의 설명이다.4,32,33 이 이론에 따르면, 우리는 "시스템 1"과 "시스템 2"라고 불리는 두 가지의 정의 가능한 사고 체계를 사용한다. 시스템 1 사고는 직관적이고, 자동적이며, 빠르고, 힘들이지 않는다. 시스템 2 사고는 분석적이고, 성찰적이며, 느리고, 노력적이다. 진단을 위해 시스템 1은 장기기억에 저장된 예시를 신속하게 검색하여 진단 가능성을 떠올리게 한다. 이것은 자동적으로, 자연적으로, 의식적인 통제 없이 일어난다. 시스템 2는 진단 가설을 테스트, 분석 및 검증하는 데 사용된다. 이것은 집중력, 주의력, 인지력을 필요로 한다. 기능성 자기공명영상연구는 시스템 1과 시스템 2의 사고가 뇌의 다른 영역을 포함하며 대사 요건이 서로 다르다는 것을 보여주었다.34,35

Dual process theory is one explanation of how we use a combination of intuition and analytic reasoning to solve problems in general and diagnose patients in particular.4,32,33 According to this theory, we use 2 definable systems of thinking called “System 1” and “System 2.” System 1 thinking is intuitive, automatic, quick, and effortless. System 2 thinking is analytic, reflective, slow, and effortful. For making a diagnosis, System 1 enables the quick retrieval of an exemplar stored in long-term memory to bring to mind a diagnostic possibility. This occurs automatically, naturally, and without conscious control. System 2 is used for testing, analyzing, and verifying a diagnostic hypothesis. This requires focus, attention, and cognitive effort. Functional magnetic resonance imaging studies have shown that System 1 and System 2 thinking involve different areas of the brain and have different metabolic requirements.34,35


시스템 1 사고는 종종 휴리스틱스를 이용한다. 이 용어는 그리스어 허리스케인('발견하다'라는 뜻)에서 파생된 말로, 경험을 통해 학습되는 문제해결에 대한 보조수단으로 정의된다. 인지심리학자들은 불확실성의 조건에서 신속한 의사결정을 가능하게 하는 정신적 지름길을 설명하기 위해 이 용어를 사용한다.4, 4,11,36

System 1 thinking frequently makes use of heuristics. This term, derived from the Greek word heuriskein (to discover), is defined as an aid to problem solving that is learned through experience. Cognitive psychologists use the term to describe a mental shortcut that enables rapid decision-making under conditions of uncertainty.4,11,36


조지 폴리아(37) 스탠퍼드대 수학 교수 폴리아 교수는 학생들에게 수학 문제에 접근하기 위해 다양한 간단한 정신적 과정을 사용하는 습관을 가르쳤다. 그는 학생들이 문제의 본질은 무엇인가 등의 질문을 하도록 독려했다. 알려진 것과 알려지지 않은 것은 무엇인가? 전에도 이런 걸 본 적이 있나?"

George Polya,37 a Stanford mathematics professor. Polya taught students the habit of using a variety of simple mental processes to approach mathematics problems. He encouraged students to ask questions such as, “What is the nature of the problem? What is known and what is unknown? Have I seen anything like this before?”


사이먼은 [구조화되지 않은 문제]와 [구조화된 선택]이라는 두 가지 일반적인 유형의 문제를 설명했다. 사이먼에 따르면, 휴리스틱은 비구조화된 문제에 이용되어 단서들을 정리하고, 문제 공간을 좁히고, 난해해해 보이는 문제를 [관리 가능한 일련의 구조화된 선택]으로 단순화한다. 시몬의 일반적인 휴리스틱스의 개념은 진단 추론을 이해하는 데 유용하다. 왜냐하면 환자들은 초기에는 구조화되지 않고 구분되지 않은 문제를 가지고 있는 경우가 많기 때문이다.

Simon described 2 general types of problems: unstructured problems and structured choices. According to Simon, heuristics are used for unstructured problems to organize cues, narrow the problem space, and simplify a seemingly intractable problem into a manageable series of structured choices. Simon’s general concept of heuristics is useful for understanding diagnostic reasoning because patients often present with problems that are initially unstructured and undifferentiated.


휴리스틱스 기반의 비분석적 추리를 통해 전문 임상의는 초기에 진단 정보를 선별하고 분류할 수 있다. 초기 가설 생성은 임상의가 검색 범위를 좁히고 당면한 문제에 더욱 집중할 수 있게 한다. 일단 가상의 진단 가능성이 확인되면, 문제는 시스템 2 분석적 추론을 이용한 추가 평가와 진단 시험에 의해 해결된 구조화된 선택이 된다.

Heuristic-based, nonanalytic reasoning enables the expert clinician to initially sift and sort through diagnostic information. Early hypothesis generation enables the clinician to narrow the search and become more focused on the problem at hand. Once the hypothetical diagnostic possibilities are identified, the problem becomes a structured choice solved by further evaluation and diagnostic testing using System 2 analytic reasoning.


의학에서는 의사들이 "이 문제가 뭘까?"라고 묻는 훈련을 받는다. 현지화인가, 체계화인가? 뭐긴 뭐야? 어떤 비판적 진단을 놓칠 수 있을까?"13-16 이 질문들은 폴리아의 휴리스틱한 문제해결 개념과 비슷한 방식으로 시스템 1과 시스템 2의 사고를 연결시켜주는 것 같다.37

In medicine, physicians are trained to ask, “What could this problem be? Is it localized or systemic? What else could it be? What critical diagnosis can I not miss?”13-16 These questions seem to bridge System 1 and System 2 thinking, in a manner similar to Polya’s notion of heuristic problem solving.37


휴리스틱스는 종종 인지적 편견과 관련이 있다. 카네만4와 트버스키는 무엇보다도 휴리스틱스는 속도와 정확성의 절충을 나타내며, 그 속도가 편향과 오차를 초래할 수 있다고 제안했다.

Heuristics often are linked to cognitive biases. Kahneman4 and Tversky, among others,36 proposed that heuristics represent a speed and accuracy tradeoff, in which their speed may lead to bias and error.


이 휴리스틱은 의사결정자들이 더 자주 기억되는 사건을 어떻게 판단하는지를 설명한다. 이러한 휴리스틱스는 실무에서 임상의에게 유용하지만, Kahneman4와 Tversky는 최근의 사건 또는 기억에 남는 사건이 의사결정자의 빈도 추정치를 어떻게 편향시킬 수 있는지를 기술했다. 대부분의 임상의는 특히 기억에 남는 경우(예: '대동맥 박리' 진단을 놓친 것)가 이후 판단에 영향을 미쳤을 수 있는 에피소드를 기억할 수 있다.

This heuristic describes how decision makers judge events that are more readily remembered as being more frequent. This heuristic is useful for clinicians in practice, but Kahneman4 and Tversky have described how a recent or salient memory can sometimes bias a decision maker’s frequency estimate. Most clinicians can remember an episode when a particularly memorable case (eg, a missed aortic dissection) may have subsequently affected their judgment.


여러 저자가 비분석적 시스템 1 추론을 주요 진단 오류의 근원으로 포함시켰다.40-42 그러나 이 위치를 뒷받침하는 연구는 희박하다.

Several authors have implicated nonanalytic System 1 reasoning as the major source of diagnostic error.40-42 However, research supporting this position is sparse.


그래버 외 45명은 응급 부서에서 100건의 진단 오류 사례를 연구했고, 68%의 사례가 인지 편향, 주로 조기 폐쇄(즉, 필요한 중요한 정보를 모두 수집하기 전에 진단 가설 검색을 종료)와 관련이 있다는 것을 발견했다.45 그러나 조기폐쇄는 시스템 1의 오류라기 보다는 시스템 2의 프로세스의 파괴인 것처럼 보일 수 있다.46

Graber et al45 studied 100 cases of diagnostic errors in the emergency department and found that 68% of cases were associated with cognitive bias, primarily premature closure (ie, terminating the search for diagnostic hypotheses before collecting all of the necessary critical information).45 However, premature closure would seem to be a breakdown of a System 2 process, rather than a System 1 error.46


진단적 정확성 높이기

IMPROVING DIAGNOSTIC ACCURACY


최근 의학 연구소의 보고서는 진단 오류의 높은 유병률에 주목하게 했다.49

A recent Institute of Medicine report brought attention to the high prevalence of diagnostic error.49


품질 전문가인 W. 에드워즈 데밍50은 자신이 하고 있는 일을 하나의 과정으로 묘사할 수 없다면 자신이 하고 있는 일을 모르는 것이다고 말했다. 어떻게 하면 진단 가능성의 직관적인 인식을 개선할 수 있을까?

The quality expert W. Edwards Deming50 said, “If you can’t describe what you’re doing as a process, you don’t know what you’re doing.” How can we improve the intuitive recognition of diagnostic possibilities?


카네만은 다음과 같은 조언을 한다: "시스템1에서 비롯되는 오류를 차단하는 방법은 원칙적으로 간단하다: 인지 지뢰밭에 있다는 신호를 인식하고 속도를 늦추고 시스템 2에 강화를 요청하라." 에반스는 "아마 이중 프로세스 이론의 인식에서 가장 지속적인 오류는 유형 1 프로세스(직관적, 경험적)가 모든 나쁜 사고에 책임이 있고 유형 2 프로세스(반사적, 분석적)가 반드시 올바른 반응을 이끌어 낸다는 생각일 것이다"라고 반박한다. 이런 좋음-나쁨 이분법적 사고방식이 너무나 뿌리깊어서 일부 이중과정 이론들이 핵심 용어에 그것을 내장하고 있다."

Kahneman provides the following advice: “The way to block errors that originate in System1 is simple in principle: recognize the signs that you are in a cognitive minefield, slow down, and ask for reinforcement from System 2.”4 Evans counters by stating, “perhaps the most persistent fallacy in the perception of dual-process theories is the idea that Type 1 processes (intuitive, heuristic) are responsible for all bad thinking and that Type 2 processes (reflective, analytic) necessarily lead to correct responses. So ingrained is this good-bad thinking idea that some dual process theories have built it into their core terminology.”32


속도가 느려지면 시스템 1 오류가 방지되고 진단 성능이 향상되는가? 다수의 연구에 따르면 응답 시간이 빨라지는 것이 정확한 진단과 더 자주 연관되는 것으로 나타나, 숙고(시스템 2)와 관련된 추가 시간이 오류를 줄이지 않을 수 있음을 시사한다. 시험 대상자들에게 천천히 더 분석적이 되라는 지시를 받았을 때(시스템 2 사고에서 시스템 1을 의도적으로 우선시함) 진단의 정확성에 영향을 주지 않기 때문에 분석적 시스템 2 사고를 가지고 시스템 1을 느리게 하고 길들이라는 Kahneman의 권고는 의학 전문가들에게는 적용되지 않을 수 있다.

Will slowing down prevent System 1 errors and improve diagnostic performance? A number of studies show that faster response times are more often associated with a correct diagnosis, suggesting that the additional time associated with deliberation (System 2) may not reduce errors.51-54 When test subjects are instructed to go slow and be more analytic (deliberately overriding System 1 thinking with System 2 thinking), there is no effect on the accuracy of diagnosis.51 Thus, Kahneman’s4 instructions to slow down and tame System 1 with analytic System 2 thinking may not apply to experts in medicine.


일부 조사자들은 잠재적인 편견에 대해 의사들에게 교육하고 의사들이 그들의 생각을 실무에서 일상적으로 토론하도록 권장하는 것을 지지했다.40-42,55 이 권고안을 뒷받침하는 연구는 희박하다.39 의료 훈련생들에게 인지적 편견을 가르치기 위한 교육적 개입의 영향을 조사하는 세 가지 연구들은 그 개입이 효과가 있었다는 것을 보여주었다. 효과 없음.56-58

Some investigators have advocated educating physicians about potential biases and encouraging themto routinely debias their thinking in practice.40-42,55 Research supporting this recommendation is sparse.39 Three studies examining the effects of educational interventions to teach cognitive biases to medical trainees showed that the intervention had no effect.56-58


진단 가설에 정보를 제공하기 위한 [경험적 지식에 접근하는 능력]은 질병 스크립트illness script과 대표사례examplars의 보관과 검색 모두에 달려 있다.

The ability to access experiential knowledge to inform a diagnostic hypothesis depends on both storage and retrieval of illness scripts and exemplars.


유사해 보이는 질병 표시 사이의 차이를 식별하기 위해 사례를 비교하고 대조하는 것도 유용해 보인다. 그러나 검토된 48개 기사 중 실증적 증거가 있는 기사는 24개에 불과했고, 검토된 개입은 효과가 작았다.

Comparing and contrasting cases to identify distinctions between look-alike disease presentations also seems useful. However, of the 48 articles reviewed, only 24 had empirical evidence and the interventions that were examined had small effects.


마지막으로, 과거 경험의 검색을 개선하기 위해 조사자들은 체크리스트를 사용할 것을 제안했다.60 한 연구는 차등진단 체크리스트가 의대생들의 진단 정확도를 향상시킨 반면, 디바이어싱 체크리스트는 아무런 효과도 없다는 것을 보여주었다.61

Finally, to improve the retrieval of past experience, investigators have proposed using checklists.60 One study showed that a differential diagnosis checklist improved the diagnostic accuracy of medical students, whereas a debiasing checklist had no effect.61


진단 정확도를 높이는 데 있어서, 경험과 지식(의 축적)을 넘어서는 대안은 없는 것 같다. 진단 가설에 정보를 얻기 위해 예시examplars를 찾는 것은 쉬운 일일 수도 있지만, 이러한 예시를 개발하기 위해서는 지속적인 노력이 필요하다. 임상 경험을 최대한 활용하는 것(예: 환자 결과에 대한 피드백을 제공하는 광범위한 노출)이 진단 품질 향상의 핵심인 것 같다.

It seems that there is no substitute for experience and knowledge for improving diagnostic accuracy. Retrieving exemplars to inform a diagnostic hypothesis may be effortless, but it takes sustained effort to develop these exemplars. Making the most of clinical experience (eg, broad exposure with feedback on patient outcomes) seems to be the key to improving the quality of making a diagnosis.


결론

CONCLUSIONS


경험적 지식을 신속하게 접할 수 있는 능력은 전문지식의 특징이다. 자기 설명, 의도적 성찰, 체크리스트 등 지식지향적 개입은 진단 정확도를 향상시킬 수 있지만, 광범위한 임상노출과 환자 결과에 대한 정기적인 피드백을 통해 얻은 경험을 대체할 수는 없다. 진단 의사결정을 개선하는 것은 의료 교육 및 임상 실습에서 더 큰 중점을 두어야 한다.

The ability to rapidly access experiential knowledge is a hallmark of expertise. Knowledge-oriented interventions such as self-explanation, deliberate reflection, and checklists may improve diagnostic accuracy, but there is no substitute for experience gained through broad clinical exposure and regular feedback on patient outcomes. Improving diagnostic decision-making deserves greater emphasis in medical education and clinical practice.




59. Schmidt HG, Mamede S. How to improve the teaching of clinical reasoning: a narrative review and a proposal. Med Educ. 2015;49:961-973.








Review

 

. 2017 Jun;130(6):629-634.
 doi: 10.1016/j.amjmed.2017.01.045. Epub 2017 Feb 24.

How Expert Clinicians Intuitively Recognize a Medical Diagnosis

Affiliations 

Affiliations

  • 1Department of Internal Medicine, Eastern Virginia Medical School and Sentara Healthcare, Norfolk, Va. Electronic address: jebrush@me.com.
  • 2Department of Medicine, McMaster University, Hamilton, Ontario, Canada.
  • 3Department of Clinical Epidemiology and Biostatistics, McMaster University, Hamilton, Ontario, Canada.

Abstract

Research has shown that expert clinicians make a medical diagnosis through a process of hypothesis generation and verification. Experts begin the diagnostic process by generating a list of diagnostic hypotheses using intuitive, nonanalytic reasoning. Analytic reasoning then allows the clinician to test and verify or reject each hypothesis, leading to a diagnostic conclusion. In this article, we focus on the initial step of hypothesis generation and review how expert clinicians use experiential knowledge to intuitively recognize a medical diagnosis.

Keywords: Exemplars; Experiential knowledge; Heuristics; Illness script; Intuition.

임상 수행능력의 상호의존성 고려하기: 평가와 위임에 대한 함의(Med Educ, 2018)

Considering the interdependence of clinical performance: implications for assessment and entrustment

Stefanie S Sebok-Syer, Saad Chahine, Christopher J Watling, Mark Goldszmidt, Sayra Cristancho & Lorelei Lingard





도입

INTRODUCTION


대부분의 의료행위가 진정으로 '독립적'이 아니라는 이해가 증가하고 있음에도 불구하고, [독립적인 졸업후 연수생 성과]를 평가할 수 있는 능력은 역량 기반 의료교육(CBME)의 핵심 전제다. 이러한 목표를 달성하기 위해, 프로그램은 다양한 과제를 완료함에 따라 교육생의 관찰과 위탁에 초점을 맞춘 새로운 역량 기반 평가 도구를 개발하도록 요구되어 왔다.1 위임 가능한 프로페셔널 활동(EPA)으로 특징지어지는 이러한 작업은 관찰 가능하고 측정 가능한 행동이며, 교육생이 특정 수준의 역량을 달성한 후 (독립적으로) 성공적으로 수행하도록 감독관이 신뢰할 수 있다.2 이러한 위임 결정은 감독되지 않은 환자 진료를 제공할 준비가 되어 있는지 판단하는 데 사용되기 때문에 독립적 실습을 준비하는 선배 훈련생들에게 특히 중요하다.3 그러나 직장 기반 임상 환경에서는 연습생의 성과가 감독하는 교직원과 분리할 수 없이 연계되는 경우가 많기 때문에 수행 결과를 특정 연습생 한 명과 연결시키기가 어려울 수 있다.4

Despite an increasing understanding that most clinical practice is not truly ‘independent’, the ability to assess independent postgraduate trainee performance is a key premise of competency-based medical education (CBME). To achieve this goal, programmes have been required to develop novel competency-based assessment tools focused on the observation and entrustment of trainees as they complete various tasks.1 Characterised as entrustable professional activities (EPAs), such tasks are observable and measurable behaviours that supervisors can trust trainees to carry out (independently) with success once they have achieved a particular level of competence.2 These entrustment decisions are particularly important when it comes to senior trainees preparing for independent practice because they are used to judge their readiness to provide unsupervised patient care.3 However, in workplace-based clinical settings, performance outcomes can be difficult to link to one particular trainee because trainees’ performance is often inseparably tied to the faculty members who supervise them.4


게다가, 임상 감독에 대한 연구에 따르면, 교수진들이 환자 안전을 보호하기 위해 훈련병의 독립성을 통제하고 심지어 대항하는 다양한 관행을 제정하는 것을 제안한다.7 이러한 감독 관행이 때때로 [보이지 않는다]는 것을 감안할 때, 훈련병들은 실제보다 자신이 더 높은 독립성을 가지고 있다고 인지할 수 있다.8

Furthermore, studies of clinical supervision suggest that faculty members enact various practices that control and even counteract trainee independence to safeguard patient safety .7 Given that these supervisory practices are sometimes invisible, trainees may perceive more independence than they actually have.8


의사들이 다른 의사들과 고립되어 의료행위를 하는 경우는 거의 없다는 것을 인정하면서도, 의학교육은 [독립적 실천을 위하여 훈련생들이 [감독받지 않거나 간접적으로만 감독받는 상태의 의료행위]를 준비하는 것으로 바뀌어가고 있다. 그러나 이러한 변화는 아직 독립성에 대한 강한 초점을 유지하고 있는 평가 담론으로 번역되지 않았다.9-11 평가 모델은 독립적 성과를 측정하기 위해 일반적으로 설계되어 있다는 점을 감안할 때, 이들은 작업장 기반 훈련 환경에서 임상 성과에 대한 집합적collective 특성에 직면했을 때 어려움을 겪는다.

Within medical education, our language has changed from preparing trainees for independent practice to preparing them for unsupervised or indirectly supervised practice, acknowledging that physicians rarely practise in isolation from others. However, this shift has not yet translated into assessment discourse, which retains a strong focus on, and assumption of, independence.9–11 Given that assessment models are conventionally designed to measure independent performance, they struggle when faced with the collective nature of clinical performance in workplace-based training environments.


평가 연구는 복잡한 작업장 기반 성능 환경에서 평가의 정확성에 영향을 미치는 내용 특수성, 12 레이터 분산, 13 또는 컨텍스트의 영향, 14와 같은 분산 출처를 식별했다.

Assessment research has identified sources of variance such as 

  • content specificity,12 

  • rater variance,13 or 

  • the influence of context,14 

....which impact the accuracy of assessments in complex, workplace-based performance environments.


직장 기반 평가의 다른 학자들도 이러한 환경에서 평가해야 할 과제를 인식하고 있으며, 어떤 연구자들은 성과에 관한 질적 데이터에 더 많이 의존해야 한다고 주장하고 있고, 다른 학자들은 다양성을 최소화하기 위해 평가자를 더 잘 교육해야 한다고 주장하고 있다.17 또는 직접 관찰과 같은 행위가 미치는 미묘한 사회문화적 영향에 대한 더 많은 이해가 필요함을 주장한다.

Other scholars of workplace-based assessment have also recognised the challenges of assessing in these environments, with some advocating for more reliance on qualitative data regarding performance,16 and others arguing for better training of raters to minimise variance17 or more nuanced understanding of the sociocultural influences on practices such as direct observation.18


현재의 연구는 임상 및 직장 환경에서의 평가의 복잡성을 유용하게 정교하게 설명하였지만, [독립된 훈련생이 평가 관심의 초점이 된다는 관점]을 유지하는 경향이 있었다. 이 가정은 널리 퍼져있지만 대체로 암묵적이기에, 거의 탐구되지 않았다underexplored. 본 연구는 이러한 근본적인 가정을 명시하고, 의문점을 제기한다.

Although this current scholarship has usefully elaborated the complexity of assessment in clinical and workplace settings, it has tended to maintain the perspective that the independent trainee is the focus of assessment attention. This assumption is pervasive but largely tacit and therefore underexplored. The current study makes explicit, and questions, this fundamental assumption.


많은 의학 교육 학자들은 이 분야의 지배적인 개인주의, 인지주의적인 학습 접근방식을 벗어나 교육, 사회과학, 인문학적 지식에서 [사회문화적 지향성]을 이끌어낼 필요가 있다고 주장해왔다.20-23 사회적 학습 이론, 사회 물질 이론 및 복잡성 이론은 모두 역동적인 임상 시스템에서 협력 작업의 얽힌 차원을 미리 파악할 수 있는 능력에 대해 채택되었다.

Many medical education scholars have argued for the need to move beyond the field’s dominant individualist, cognitivist approaches to learning, to engage sociocultural orientations from education, social science and humanities-based knowledges.20–23 Social learning theories, sociomaterial theories and complexity theory have all been embraced for their ability to foreground entangled dimensions of collaborative work in dynamic clinical systems.


실천과 학습의 사회문화적 차원에 대한 견실한 고려가 있었지만, 의학교육에서 평가의 문제에는 사회문화적 지향성이 거의 적용되지 않았다. 현재의 연구는 이러한 두 영역을 연결하고 독립적 성과에 대한 가정에 의문을 제기함으로써 이러한 격차를 해소한다.

Although there has been robust consideration of the sociocultural dimensions of practice and learning, a sociocultural orientation has rarely been applied to issues of assessment in medical education. The current study addresses this gap by bridging these two domains and questioning the assumption of independent performance.


CBME의 맥락에서 [어떤 연습생 행동과 결정이 연습생들의 독립적인 임상 행동과 결정]을 반영하는 것으로 간주될 가능성이 높은가?

Which trainee actions and decisions in the clinical workplace are likely, in the context of CBME, to be considered a reflection of trainees’ independent clinical actions and decisions?


방법

METHODS

이 연구는 기관 건강 과학 연구 윤리 위원회의 승인을 받았다. 우리는 구성주의적 근거 이론 접근법을 사용하여 작업장 기반 설정에서 '독립적' 연습생 임상 성능의 특성을 탐구했다.29 데이터 수집 및 분석은 반복적인 방식으로 일어났다. 목적적 샘플링 기법을 사용하여, 우리는 12개의 대학원 전문분야에 걸쳐 11명의 임상교직 교직원 및 10명의 선임 교육생(PGY [PGY]4/5)을 대상으로 개별 면접을 실시하였습니다.

This study was approved by the institutional Health Sciences Research Ethics Board. We used a constructivist grounded theory approach to explore the nature of ‘independent’ trainee clinical performances in workplace-based settings.29 Data collection and analysis occurred in an iterative fashion. Using a purposive sampling technique, we conducted individual interviews with 11 clinical teaching faculty members and 10 senior trainees (postgraduate year [PGY]4/5) across 12 postgraduate specialties:


캐나다 중형 단일 의과대학의 교직원과 연수생들에게 이메일이 보내져 30~45분짜리 준구조적 개별면접에 참여하도록 초청했다. 이론적 포화에 도달했을 때 데이터 수집을 중단했는데, 이는 새로운 아이디어가 더 많은 데이터 수집과 동일시되지 않았을 것이라는 것이 아니라, 상호의존성의 차원에 대한 이해를 가능하게 하는 데 충분한 데이터 수집을 달성했다는 것을 의미한다.

E-mails were sent to faculty members and trainees at a single, midsized Canadian medical school, inviting them to participate in a 30–45- minute semi-structured individual interview. We ceased data collection when we reached theoretical sufficiency, which did not mean that no new ideas would have been identified with more data collection, but rather that we had achieved sufficient data collection to enable an understanding of the dimensions of interdependence.30,31


우리는 데이터 수집과 데이터 분석이 동시에 이루어지는 반복적인 프로세스를 이용하여 지속적 비교 귀납적 분석을 실시했고, 각각은 다른 것을 알려주고 영향을 주었다. 구성론자의 근거 이론에 따라, 29 연구자들은 초기, 집중, 이론의 세 가지 분석 단계에 관여했다. 

We conducted constant comparative inductive analysis using an iterative process in which data collection and data analysis were concurrent, each informing and influencing the other. Following constructivist grounded theory,29 the researchers engaged in three analytical stages of coding: initial, focused and theoretical


초기 코딩과 집중 코딩은 대화록이 사용 가능해짐에 따라 반복적으로 이루어졌다. 초기 코딩은 면접 대본을 한 줄씩 읽어 아이디어를 파악하는 것으로 구성됐다. 초기의 코드를 바탕으로, 초점 코딩은 그 다음, 대본 내의 개념이나 주제를 강조하기 위해 사용되었다; 식별된 초기 주제는 '디커플링의 문제'라고 불렸다. 이것은 참가자들이 설명하려고 하는 독립적 성과에 영향을 미치는 요소들에 대한 지속적인 참조를 언급하였다. 참가자가 설명한 각각의 새로운 사건, 경험 또는 관점을 이전의 사건, 경험 및 관점과 비교하여 주제를 정의하고 다듬었다. 즉, 디커플링에 관한 질문이다.

Initial and focused coding took place iteratively as transcripts became available. Initial coding consisted of reading the interview transcripts line-by-line to identify ideas. Building upon our initial codes, focused coding was then used to highlight concepts or themes within the transcripts; an early theme identified was termed ‘the question of decoupling’, which referred to participants’ persistent references to factors influencing the independent performances they were trying to explain. Each new incident, experience or perspective described by a participant was compared with previous incidents, experiences and perspectives to define and refine the theme – the question of decoupling.


일단 모든 주제 범주가 완성되고 그에 따라 데이터가 조직되면 이론 코딩은 그들 사이의 관계를 탐구하고, 이러한 관계에 대한 이론적 통찰과 질문을 반영하기 위해 분석적 메모를 작성했다. 이 과정에서 우리는 디커플링에서 커플링으로 관심을 전환하여, 참가자들이 특정 임상 성과가 독립적이지 않다고 느끼는 이유를 설명하는 동안, 왜 그것이 상호의존적인지에 대한 통찰력도 제공하고 있다는 새로운 이해를 반영했다.

Once all thematic categories were finalised and the data organised accordingly, theoretical coding explored the relationships among them, and analytical memos were created to reflect theoretical insights and questions about these relationships. At this point in the process, we shifted our attention from decoupling to coupling, reflecting our emerging understanding that, while participants were explaining why they felt a particular clinical performance was not independent, they were also providing insight into why it was interdependent.


결과

RESULTS


면접은 참가자들에게 [독립적인 연습생 수행 사례]에 대해 설명해 달라고 요청하면서 시작되었다. 대부분의 참여자들은 임상 훈련 맥락에서 명백하게 독립적인 성과들이 존재한다고 주장했다. 그러나 모든 인터뷰에 걸쳐 일관적으로 참가자는 대부분의 시간을 독립 연습생 성과에 대한 일련의 거부권 및 예외에 대한 세부사항을 상세히 설명하는데 소비했다. 이러한 예외와 거부권disclaimers을 분석하면서 우리는 상호의존성의 패턴을 설명할 수 있었고, 결국 우리는 이를 '커플링'으로 개념화했다.

The interviews began by asking participants to describe instances of independent trainee performance. Most participants asserted that some clearly independent performances existed in their clinical training context. However, consistent across all interviews, participants spent most of their time detailing an array of disclaimers for, and exceptions to, their examples of independent trainee performance. In analysing these exceptions and disclaimers, we were able to describe patterns of interdependence, which we eventually conceptualised as ‘coupling’.


독립적 수련생 성과

Independent trainee performance


독립성은 당사 수습참가자(PGY4/5)가 직접 감독(참가자 R2) 없이 시료의 총검사 등 임상업무를 수행할 때, 사전승인 없이 환자진료를 제공하고 처분 또는 퇴원 전만 상담(참가자 R5 및 R7)할 때, 또는 당직일 때 발생한다고 기술하였다. 그리고 교수진(참가자 R6 및 R8)과 상의할 필요 없이 임상 결정을 내린다. 한편, 많은 연습생 참가자들은 그들이 하는 모든 것을 독립적인 것으로 특징지었다.

Independence was described by our trainee participants (PGY4/5) as occurring when they perform a clinical task, such as gross examination of specimens, without direct supervision (Participant R2), when they provide patient care without prior approval and only consult before disposition or discharge (Participants R5 and R7), or when they are on-call and make clinical decisions without having to consult with faculty members (Participants R6 and R8). On the one hand, a number of trainee participants characterised ‘everything’ they do as independent.


또한 대부분의 교육생들은 졸업후교육의 후기 단계(즉, PGY4/5)와 교육생들이 직접적인 감독 없이 일하고 있는 임상 상황에서 독립적인 수행이 더 쉽게 관찰될 수 있음을 인정했다.

Most trainees also acknowledged that independent performance was easier to observe in the later stages of postgraduate training (i.e. PGY4/5) and in clinical situations where trainees are working without direct supervision:


검사 오더는 독립적인 연습생 성과를 반영하기 위해 가장 많이 인용된 사례 중 하나였다. 예를 들어, 연습생이 교대시간 내내 어떤 종류의 독립적인 행동과 결정을 내릴 수 있는지를 물었을 때, 한 교직원은 '랩 검사, 약물 주문, 가슴 엑스레이 주문'(참가자 F1)으로 응답했다.

Ordering practices were among the most common examples cited to reflect independent trainee performance. For instance, when asked what sort of independent actions and decisions a trainee might make throughout a shift, one faculty member responded with ‘order lab tests, order medications, and [order] chest x-rays’ (Participant F1).


그러나 '전공의와 교직원이 한 팀으로 일한다'(참가자 R3)는 경험의 결과로서, 연수생 참가자들도 졸업후 교육 내 독립성에 challenge하기도 했다.

However, trainee participants also challenged the very notion of independence within postgraduate training, as a result of their experience that ‘the resident and faculty work as a team’ (Participant R3).


이러한 논평에서 알 수 있듯이, 연습생들은 성과가 상호의존적인 협력 팀의 일원으로 일한다.

As these comments suggest, trainees work as part of a collaborative team, where performance is interdependent.


상호의존적인 연습생 성과

Interdependent trainee performance


교수진과 연습생들이 독립된 연습생 수행의 구성 요소를 설명하면서, 그들 모두는 독립적으로 보이는 공연이 실제로는 어떻게 독립적이지 않을 수 있는지에 대해 길게 이야기했다. 그들은 '어렵다tricky'(참가자 R5) '불행히도'(참가자 R5) '하지만, 불가능하지는 않더라도 개개의 시술자에 의해 분리하는 것은 어렵다'(참가자 F8) 등 세부적인 예외사항과 부인사항, 복잡요인 등을 제시했고, [명확한 독립성과]를 구분짓는 선을 긋기 위해 고군분투하는 모습을 보였다.

As faculty members and trainees described what constituted independent trainee performance, all of them spoke at length about how a performance that seems to be independent may not be. They offered detailed exceptions, disclaimers and complicating factors, such as ‘it’s tricky’ (Participant R5), ‘unfortunately’ (Participant R5) and ‘but it is difficult, if not impossible, to separate them by individual practitioner’ (Participant F8), and they appeared to struggle to draw a line around clearly independent performance.


인터뷰의 이러한 부분을 분석하면서, 우리는 상호의존적 수행의 패턴을 반복적으로 식별했다; 우리는 이러한 패턴을 다른 팀원들의 수행과 '커플링'하는 것으로 개념화했다. 참가자가 설명한 커플링의 주요 구성은 연습생과 감독자 간이었다.

In analysing these parts of the interviews, we identified recurring patterns of interdependence performance; we have conceptualised these patterns as ‘coupling’ of trainee performance with that of other team members. The main configuration of coupling described by our participants was between trainee and supervisor.


교육생과 감독자의 결합

Coupling of trainees and supervisors


데이터에 나타난 커플링의 주요 구성은 [연습생과 감독자 사이]의 것이었다. 훈련생과 감독자의 상호의존성 성격과 정도는 임상적 맥락과 제공된 감독 유형에 따라 달라졌다. 수술실과 같은 일부 임상적 맥락에서, 커플링은 참가자들이 [과연 전공의가 '독립적'으로 여겨질 수 있는지 의문을 가질 정도]로 강한 용어로 설명되었다.

The predominant configuration of coupling evident in the data was that between a trainee and his or her supervisor. The nature and degree of interdependence of trainee and supervisor depended on the clinical context and the type of supervision provided. In some clinical contexts, such as the operating room, coupling was described in such strong terms that participants questioned whether trainees could ever be considered independent.


또 다른 외과 교수진은 수술 결과에 대한 깊은 책임감 때문에 자신의 감독 수준이 연습생에게 완전한 독립을 허락하지 않았다고 설명했다.

Another surgical faculty member explained that, because of a profound sense of responsibility for the surgical outcome, his level of supervision never abated to allow a trainee full independence:


교직원이 수술실에 만능인 수술의 임상적 맥락은 이처럼 세심한 관찰을 뒷받침했다. 그러나 이것은 수술의 독특한 것이 아니었다. 비수술 프로그램 참가자들도 주의 깊게 관찰되는 느낌을 전했다.

The clinical context in surgery, where the faculty member is omnipresent in the operating room, supported such careful watching. But this was not unique to surgery. Participants from non-surgical programmes also reported a sense of being carefully watched.


누군가 어딘가에서 내 어깨 너머로 보고 있다는 것을 알게 된 것이 그저 너무 위로가 되어 가장 멋진 순간 같았다.(참가자 R6)

It was like the most wonderful moment because it was just so comforting to know that somebody was looking over my shoulder someplace. (Participant R6)


이 연습생은 혼자 수행하는 것이 아니라 누군가 나를 지켜보는 것에 안도감을 표시했지만, 다른 사람들은 독립성에 제약이 된다고 생각하는 것에 대해 좌절감을 표시했다. 다음의 예는 병리학과 실험실 의학에서 나온다.

Although this trainee expressed relief at knowing he or she was not performing alone but were being watched, others expressed frustration at what they perceived to be a constraint on their independence. The following example comes from pathology and laboratory medicine:


졸업하는 날이 지나면 (그 전까지는 하지 못했어도) 곧바로 모든 것을 사인할 수 있다는 것은 이상한 일이다. 그날 밤 마법 같은 일이 일어나 갑자기 능력을 가질 수 있게 되었다.(참가자 R2)

It’s an odd thing where I graduate the next day and I can sign out everything. So something magical happens that night, and I can suddenly have the ability. (Participant R2)


독립된 전공의 수행으로 흔히 투약, 검사, 영상 오더 등이 언급되었지만, 많은 교수진 참여자들은 '대부분, 우리 전공의들은 실제로 약을 오더하기 전에 논의를 기다린다'(참가자)는 감독자와 상의 후에만 그런 주문이 배치되는 경우가 많다는 것을 인정했다.개미 F4).

Although the ordering of medications, tests or imaging was often mentioned as an independent trainee performance, many faculty participants acknowledged that such orders are often placed only after consultation with a supervisor: ‘for the most part, our residents wait to have the discussion before they actually would order the medication’ (Participant F4).


오더 행위는 (예를 들어 전자 건강 기록에 연습자에게 태그가 지정된) 독립적으로 보일 수 있지만 실제로 감독자와 결합된 성과를 반영할 수 있다는 점에서, 이러한 논의는 문서화에서 거의 명백하지 않다.

These discussions are rarely evident in documentation, such that ordering practices may appear independent (tagged to the trainee in the electronic health record, for instance) but actually reflect performance that is coupled with the supervisor.


독립적인 성과에 대한 질문에 대한 참가자들의 반응은 부분적으로 [막후에서 일어나는 일에 대한 인식]에 달려 있었다. 신경과 출신의 한 교직원은 일부 교육생들이 교직원들이 받아쓰기를 검토하고 편집할 것이라는 인식 없이 dictation을 승인sign-off한다고 지적했다.

Participants’ responses to the question of independent performance depended in part on their awareness of the work that occurs behind the scenes. One faculty participant from neurology pointed out that some trainees sign-off on dictations without an awareness that faculty members will review and edit them:


대부분의 전공의들은 종종 자신이 특정 환자의 치료를 계속 맡아서 제공하지 않았기 때문에 환자의 결과에 대해 거의 알지 못하거나, 또는 그러한 환자의 관련 임상 문서가 교직원의 감독 결과로 어떻게 편집되었는지에 대해 거의 알지 못한다고 인정했다.

Most trainees admitted knowing very little about the outcomes of their patients, or how the associated clinical documentation for such patients was edited as a result of a faculty member’s supervision, because the trainee often did not continue to provide the patient’s care:


교수진들은 여러 임상과를 드나들며 로테이션하는 졸업후 교육의 일시적인 특성상 [자신의 성과]가 [(임상 결정을 변경했을 수 있는) 상사의 성과]와 얼마나 강하게 결합되어 있는지를 교육생들이 깨닫기 어렵게 한다고 논평했다.

Faculty members commented that the transient nature of postgraduate training, in which they rotate in and out of clinical workplace settings, makes it difficult for trainees to appreciate how strongly their performance is coupled with their supervisors’, who may have altered clinical decisions:


기타 커플링 구성

Other configurations of coupling


데이터에서는 감독관과 교육생 간의 결합이 주를 이루었지만, 일부 참여자는 교육생과 의료진의 다른 구성원 간의 결합 사례를 제공하기도 했다.

Although coupling between supervisors and trainees was dominant in the data, some participants provided examples of coupling between trainees and other members of the health care team.


많은 참가자들은 각각의 연습생들의 행동이나 결정이 다양한 정도로 결합되어, 그들의 계획을 검토했던 선배 팀원들과 함께 연결될 것이기 때문에, 교수팀teaching team 구조는 임상 수행의 귀속성에 대한 도전을 제시한다고 지적했다. 그리고 어느 팀원이 어떤 시간에 커플링되는지 완전히 예측할 수 있는 것은 아니다. 예를 들어, 한 훈련생은 '내가 긴급히 주의를 기울여야 한다고 느끼는 어떤 것이든, 예를 들면, 기도의 비상 사태와 같은, 긴급한 주의가 필요하다'고 보고했다. 나는 주치의 뿐만 아니라 선임 레지던트에게도 연락할 것이다.' (참가자 R8)

Many participants pointed out that the teaching team structure presents challenges to the attribution of clinical performances, as each trainee’s actions or decisions will be coupled, to varying degrees, with a more senior team member with whom they reviewed their plans. And it is not entirely predictable which team members are coupled at any given time: for instance, one trainee reported that ‘anything that I feel needs urgent attention, such as an airway emergency. I would contact both the senior resident as well as the attending’ (Participant R8).


참가자들은 또한 간호사, 사회복지사, 실험실 테크니션 등 팀원들의 역할과 행동에 의해 훈련생 독립성이 어떻게 조절되는지에 대한 사례도 제시했다.

Participants also offered examples of how trainee independence is modulated by the roles and behaviours of team members, such as nurses, social workers and laboratory technicians.


고찰

DISCUSSION


교수진과 교육생들에게 독립적인 교육생 수행 사례를 설명하도록 요청하면서, 우리는 교육생 수행의 상호의존성에 대한 통찰력을 얻었다. 우리는 이러한 현상을 '커플링'으로 특징지어 다른 교육생 및 의료 전문가뿐만 아니라 감독자 모두에게 교육생 수행의 상호의존성을 포착했다.

In asking faculty members and trainees to describe instances of independent trainee performance, we gained insight into the interdependence of trainee performance. We have characterised this phenomenon as ‘coupling’ to capture the interdependence of trainee performance with both supervisors as well as with other trainees and health care professionals.


첫째로, 그러나, 결합이라는 용어에 대한 메모가 있다. 우리는 이 용어를 두 팀 구성원(예: 연습생과 감독자) 간의 상호의존성을 나타내기 위해 사용해 왔으며, 조사 결과 인터뷰와 발표의 반환에서 참가자들과 공감했다. 그러나 우리는 [결합]이 복잡한 시스템에서 요소의 상호의존성과 정도를 설명하기 위해 조직과학에서 사용되는 용어라는 것을 인정한다. [결합 이론]에 따르면, 시스템 요소system elements는 응답성responsiveness(즉, 변화에 대응하는 능력과 능력)와 구별성distinctiveness(즉, 시스템 내에서 독립적인 역할의 보존)의 정도에 따라 개념화된다.33 

First, though, a note about the term coupling.We have used it to represent interdependence between two team members (e.g. trainee and supervisor) and the term had resonance with participants in our return of findings interviews and presentations. We recognise, however, that coupling is also a term used in organisational science to describe the nature and degree of interdependence of components in complex systems. According to coupling theory, system elements are conceptualised according to their degree of responsiveness (i.e. capacity and ability to respond to changes) and distinctiveness (i.e. preservation of an independent role within a system).33 


본 논문에서 '커플링'이라는 용어의 사용은 연결 장치 배열의 가장 기본적인 것, 즉 시스템 내의 두 인간 요소 사이의 것만을 반영한다. 그러나 결합 이론은 인간과 물질 모두를 포함한 상호의존성의 보다 정교한 관계를 허용한다.34 본 연구의 데이터에는 결합에 대한 몇 가지 정교한 설명(예: 훈련생, 교수진 및 회전 일정 또는 환자 인구 조사와 같은 시스템 요소 간의 결합)만 포함되어 있지만, 우리는 이 영역에서 연구가 계속됨에 따라, 연습생의 임상 성과를 형성하는 상호의존성의 여러 패턴에 대한 이해를 심화시키기 위해 조직적 결합 이론을 생산적으로 가져올draw 있을 것으로 기대한다.

Our use of the term ‘coupling’ in this paper reflects only the most basic of coupling arrangements: between two human elements in a system. However, coupling theory allows for more elaborate relations of interdependence, including among multiple factors, both human and material.34 Although the data from this study contained only a few elaborate descriptions of coupling (e.g. coupling between trainee, faculty member and system factors such as rotation schedule or patient census), we expect that as research continues in this domain, we can draw productively on organisational coupling theory to deepen our understanding of the multiple patterns of interdependence shaping trainees’ clinical performance.


연습생 수행능력이 감독자의 수행능력과 결부되어 있는 것은 놀라운 일이 아니다. 많은 연구들이 의학의 직장 기반 훈련 모델에서 감독 관계의 힘과 중요성을 강조해왔다. 하우어 및 동료의 임상 감독 검토 결과, 감독자, 훈련생, 감독자-훈련생 관계, 업무 및 맥락 등 훈련생 독립성에 영향을 미치는 다섯 가지 중요한 요소가 확인되었다. 케네디의 임상 감시에 대한 관찰 및 인터뷰 연구 결과, 감독관과 연습생 모두 연습생 독립과 환자 안전의 목표의 균형을 맞추기 위한 전략을 수립하는 것으로 나타났다.8,35

It is not surprising that trainee performance is coupled with that of a supervisor. Many studies have highlighted the power and importance of the supervisory relationship in medicine’s workplace- based training model. Hauer and colleagues’4 review of clinical supervision identified five important factors that impact trainee independence: 

  • supervisor, 

  • trainee, 

  • supervisor–trainee relationship, 

  • task and 

  • context. 

Kennedy’s observational and interview study of clinical supervision found that both supervisors and trainees enact strategies to balance the goals of trainee independence and patient safety.8,35


우리는 연습생들과 임상 교수팀의 다른 구성원들, 특히 감독자들 사이에 결합된 수행의 다양한 구성에 대해 설명해왔다. 우리는 커플링의 렌즈를 통해 연습생 성과를 보게 되다면 [(i) 수행이 진정으로 독립적일 수 있는 순간을 식별하는 것]과 [(ii) 수행이 언제 어떻게 상호의존적인지를 판단]하는 두 가지 방식으로 우리에게 도움이 될 수 있다고 주장한다.

We have described various configurations of coupled performance between trainees and other members of the clinical teaching team, particularly supervisors. We contend that viewing trainee performance through the lens of coupling can help us in two ways: (i) to identify moments where performance may be truly independent, and (ii) to appreciate when and how performances are interdependent.


독립성 정의

Defining independence


독립은 정의상 타인의 통제, 영향력 또는 지지로부터 자유로워지는 것을 의미하며, 스스로 생각하고 행동할 수 있는 능력을 가지고 있는 것이다.37 독립된 성과를 평가하기 위해 모색함에 따라, 우리는 연습생들이 다음과 같은 것을 했던 사례를 찾아야 한다. 

    • (i) 직접 감독 없이 임상 작업을 수행해야 한다(예: 요추 구멍). 

    • (ii) 사전 승인 없이 임상 데이터를 수집(예: 혈액 검사 명령)하거나 

    • (iii) 임상 의사결정(예: 응급실 퇴원)을 관리한다. 

Independence, by definition, means being free from control, influence or support of others, with the ability to think and act for oneself.37 As we seek independent performances to assess, we should look for instances in which trainees 

    • (i) perform a clinical task without direct supervision (e.g. a lumbar puncture); 

    • (ii) gather clinical data without prior approval (e.g. ordering bloodwork); or 

    • (iii) manage clinical decision making (e.g. discharge from the emergency room). 


커플링을 인정함으로써 독립적 수행의 그러한 특성을 명확하게 표현할 수 있다. 일단 명확하게 설명되면, 교육자들은 그들 자신의 프로그램에서 어떤 성과가 이러한 특성을 가지고 있는지 식별하고 그것들을 평가하기 위한 최선의 방법을 위한 전략을 세울 수 있다.

An appreciation of coupling allows us to clearly articulate such characteristics of independent performance. Once articulated, educators can identify which performances in their own programmes have these characteristics and make strategies for the best way to assess them.


상호의존성 특성

Characterising interdependence


우리가 제시한 [커플링]의 개념은 연습생의 수행이 다른 개인과 상호의존하는 정도를 명확히 하기 위한 언어를 제공한다. 커플링이라는 개념으로 [독립 성과에 대한 가정]과 [상호의존적 성과에 대한 현실] 사이의 간격을 메울 수 있다.

The concept of coupling we have put forth provides a language for articulating the degree to which a trainee’s performance is interdependent with another individual(s). With this language, we can bridge the gap between the assumption of independent performance and the reality of interdependent performance.


우리의 일은 사회문화적 이해를 높이면서 평가와 측량 접근을 결합marry하려고 한다. 우리는 이 결합이 쉬운 결합이 될 것이라고 기대하지 않는다. 왜냐하면 그것은 이러한 학구적인 공동체들의 신성한 가정에 도전할 가능성이 높기 때문이다. 그러나 우리는 [평가]와 [사회문화적 관점] 사이의 이러한 결합이 직장 기반 환경에서 임상 수행의 상호의존성을 authentically 포착하기 위해 필요하다고 주장할 수 있다. 

Our work attempts to marry assessment and measurement approaches with an appreciation of sociocultural understandings. We have no expectation that this marriage will be an easy one, as it is likely to challenge sacred assumptions from each of these scholarly communities. However, we would argue that this marriage between assessment and sociocultural perspectives is necessary in order to authentically capture the interdependence of clinical performance in workplace-based settings. 


결합된 수행의 다양한 구성configuration을 평가하기 위해서는 여러 개인, 수많은 과제 차원 및 다양한 결과 조치를 평가할 수 있는 접근방식이 필요하다. 또한 결과 평가에서 contribution과 attribution을 구분하여 결합 성과를 더욱 특성화할 수 있는 방법도 고려할 필요가 있다. 교육적 측정에서 새롭게 등장하는 접근방식은 이 목적을 위해 유용하게 사용될 수 있다. 예를 들어 Andrews et al.40은 최근 Andersen/Rasch (A/R) 다변량 항목 반응 이론(IRT) 모델을 사용했다.

To assess the various configurations of coupled performances, we need approaches that can assess multiple individuals, numerous task dimensions and various outcome measures. We also need to consider how coupled performances could be further characterised by distinguishing between contribution and attribution39 in outcomes assessment. Emerging approaches in educational measurement might prove useful to this end. For example, Andrews et al.40 recently used the Andersen/Rasch (A/R) multivariate item response theory (IRT) model


Wilson, Gochyev, Scalise41은 온라인 학습 환경에서 협력하는 파트너의 데이터를 사용하여 전체 분산 중 약 90%가 그룹에 의해 설명된다는 것을 보여주었다. 교육적 측정을 통한 이러한 연구는 잘못된 이분법을 만들기 보다는 수행의 독립적 및 상호의존적 차원 모두의 측면을 포착하고 스펙트럼을 따라 성과를 특성화하는 방식으로 협업과 같은 기술을 평가하기 위한 초기 접근방식을 제공한다. 의학교육에서 윌슨과 동료들이 제안한 Rasch 측정 모델의 변화는 이미 래이터의 협력적 수행의 측면을 포착하기 위해 사용되어 왔다.42 앞서 언급한 모든 접근방식은 진정한 임상적 성과를 의미 있게 평가하기 위해 집합체를 고려할 것을 요구한다.

Wilson, Gochyyev and Scalise41 used data from partners collaborating in an online learning environment to show that roughly 90% of total variance was explained by groups. These studies from educational measurement provide early approaches for assessing skills such as collaboration in ways that capture aspects of both independent and interdependent dimensions of performance and characterise performance along a spectrum rather than creating a false dichotomy. Within medical education, a variation of the Rasch measurement model proposed by Wilson and colleagues has already been used to capture aspects of rater’s collaborative performance.42 All of these aforementioned approaches require us to consider the collective in order to meaningfully assess authentic clinical performance.


본 연구는 (i) 연습생 수행이 독립적일 때 보다 정밀하고 (ii) 연습생 수행 내에서 결합을 설명할 수 있다는 평가로의 전환을 지지한다. 평가에 대한 커플링의 영향을 설명하려면 trainee ordering practice의 example을 결과 변수로 고려하십시오. 이 결과를 [결합한 것coupled]으로 개념화하는 접근방식은 [연습생 오더가 독립적 결정인지 또는 결합적 결정인지]에 대해서 [특정 교수진의 감독 관행이 미치는 영향]을 고려할 것이다. 또한 임상적 행위가 연습자에게 공정하게 귀속될 수 있는지 또는 최종 결과에 대한 연습생의 기여가 연습생이 수행하는 조건에 대한 보다 정확한 반영을 나타내는지를 판단하는 데 도움이 될 것이다. 더욱이, 이러한 조건은 감독자와 훈련생에게만 국한되지 않는다. 다른 팀원, 임상 자원 및 의료 프로토콜도 임상 실행의 상호의존성에 기여할 수 있다. 

Our study advocates for a shift towards assessment that (i) is more precise about when trainee performance is independent and (ii) can account for coupling within trainee performance. To illustrate the implications of coupling for assessment, consider the example of trainee ordering practices as an outcome variable. An approach that conceptualises this outcome as coupled would take into account the influence of particular faculty members’ supervisory practices on the extent to which a trainee order is an independent decision or a coupled one. It would also help to determine whether the clinical action could be fairly attributed to a trainee or whether the contribution of the trainee to the final outcome represents a more accurate reflection of the conditions under which the trainee performs. Furthermore, these conditions are not limited to supervisor and trainee; other team members, clinical resources and medical protocols could also contribute to the interdependence of clinical practice.


교육생의 오더 행위는 교육생의 전문지식 습득 뿐만 아니라, 교육생의 감독자가 변화함에 따라(그리고 임상 상황의 다른 중요한 측면들이 교체에서 교체로 변화함에 따라) 바뀔 수 있다. 결합된 수행을 위해 특별히 설계된 평가 접근방식은 커플링의 configuration이 변화하면, 그러한 변화를 관찰하고 해석하여 조정할 수 있을 것이다.

Trainees’ ordering practices may well change not only as trainees gain expertise, but also as their supervisors change (and as other salient aspects of the clinical context change from rotation to rotation); an assessment approach designed specifically for coupled performances would allow observation and interpretation of such changes and adjust this information as the configurations of coupling change.


한계

Limitations


결론 CONCLUSION


결합의 개념은 우리가 독립적 성과와 집합적 성과 사이의 풍경을 매핑하고 우리가 측정하고자 하는 구조에 대해 보다 목적적으로 생각하도록 돕기 때문에 앞으로 나아갈 길을 제공한다. 현재까지 [독립적 임상 수행능력]에 대한 평가는 설명되지 않은 분산과 같은 교란 요인들이 난무하고 있다. 우리는 이 '소음'이 경우에 따라 결합의 신호가 될 수 있다고 제안한다.

The concept of coupling provides a way forward, as it helps us begin to map the landscape ‘in between’ independent performance and collective performance and to think more purposefully about the constructs we intend to measure. To date, the assessment of independent clinical performance has been fraught with confounding factors such as unexplained variance; we suggest that this ‘noise’ might, in some cases, be a signal of coupling.


15 Gingerich A, Regehr G, Eva KW. Rater-based assessments as social judgments: rethinking the etiology of rater errors. Acad Med 2011;86:S1–7.


24 Fenwick T. Sociomateriality in medical practice and learning: attuning to what matters. Med Educ 2014;48 (1):44–52.







. 2018 Apr 19;52(9):970-980.
 doi: 10.1111/medu.13588. Online ahead of print.

Considering the interdependence of clinical performance: implications for assessment and entrustment

Affiliations 

Affiliation

  • 1Centre for Education Research and Innovation, Schulich School of Medicine and Dentistry, Western University, London, Ontario, Canada.
Free PMC article

Abstract

Introduction: Our ability to assess independent trainee performance is a key element of competency-based medical education (CBME). In workplace-based clinical settings, however, the performance of a trainee can be deeply entangled with others on the team. This presents a fundamental challenge, given the need to assess and entrust trainees based on the evolution of their independent clinical performance. The purpose of this study, therefore, was to understand what faculty members and senior postgraduate trainees believe constitutes independent performance in a variety of clinical specialty contexts.

Methods: Following constructivist grounded theory, and using both purposive and theoretical sampling, we conducted individual interviews with 11 clinical teaching faculty members and 10 senior trainees (postgraduate year 4/5) across 12 postgraduate specialties. Constant comparative inductive analysis was conducted. Return of findings was also carried out using one-to-one sessions with key informants and public presentations.

Results: Although some independent performances were described, participants spoke mostly about the exceptions to and disclaimers about these, elaborating their sense of the interdependence of trainee performances. Our analysis of these interdependence patterns identified multiple configurations of coupling, with the dominant being coupling of trainee and supervisor performance. We consider how the concept of coupling could advance workplace-based assessment efforts by supporting models that account for the collective dimensions of clinical performance.

Conclusion: These findings call into question the assumption of independent performance, and offer an important step toward measuring coupled performance. An understanding of coupling can help both to better distinguish independent and interdependent performances, and to consider revising workplace-based assessment approaches for CBME.

전임상 학생들의 불확실성에 대한 내성 교육의 효과 탐색: 질적 종단 연구(Adv Health Sci Educ Theory Pract, 2020)

Exploring the impact of education on preclinical medical students’ tolerance of uncertainty: a qualitative longitudinal study

Georgina C. Stephens1 · Charlotte E. Rees2,3 · Michelle D. Lazarus1,3





도입 Introduction


불확실성의 내성[개인이 불확실성에 대한 인식에 어떻게 반응하는지]를 설명하는 구조다(Hillen et al. 2017). 의료전문가의 기능과 매우 관련성이 높은 것으로 간주되며, 불확실성의 낮은 내성은 의대생과 개업의 모두에서의 소진과 같은 부정적인 건강관리 결과와 관련이 있는 것으로 생각된다(Strout et al. 2018; Hancock and Mattick 2019).

Tolerance of uncertainty is a construct describing how individuals respond to their perception of uncertainty (Hillen et al. 2017). Considered highly relevant to the functioning of healthcare professionals, low tolerance of uncertainty is thought to be associated with negative healthcare outcomes, such as burnout in both medical students and practicing doctors (Strout et al. 2018; Hancock and Mattick 2019).


불확실성의 내성은 개별 특성(즉, 정적 성격 특성)인가, 아니면 [개인과 사회-문화적 요소 사이의 상호작용]으로 인한 복잡한 구성(때로는 상태state라고도 함)인가(Hillen et al. 2017).

Is tolerance of uncertainty an individual characteristic (i.e. a static personality trait), or is it a complex construct (sometimes referred to as a state) resulting from, and modifiable by, the interplay between individuals and socio-cultural factors (Hillen et al. 2017)?


이렇게 구인construct에 대한 이해가 부족함에도 불구하고 일부에서는 의료교육 커리큘럼과 학생의 평가에 불확실성에 대한 내성의 정량적 척도를 사용하고 있다. 

Despite this poor understanding of the construct, some are using tolerance of uncertainty quantitative measures for assessment of medical education curricula and students (Association of American Medical Colleges 2019), 


의료 불확실성 허용에 대한 현재 이론

Current theory on tolerance of uncertainty in healthcare


Hillen 외 연구진(2017)은 Hillen 외 연구진(2017) 검토에 포함된 두 구성물의 측도와 불확실성과 관련 용어, 특히 모호성에 대한 내성(용어는 상자 1 참조) 사이의 상당한 개념적 중첩을 인정한다. 결과는 앞서 언급한 모델과 관련하여 불확실성의 허용오차(Box 1)에 대한 업데이트된 정의였습니다.

Hillen et al. (2017) acknowledge the considerable conceptual overlap between tolerance of uncertainty and related terms, especially tolerance of ambiguity (see Box 1 for a glossary of terms), with measures of both constructs included in the Hillen et al. (2017) review. The result was an updated definition for tolerance of uncertainty (Box 1), in association with their aforementioned model.



불확실성에 대한 개인의 평가와 반응(즉, 그들의 관용)은 인지, 감정 및 행동 영역에 속한다. 이러한 영역 내에서 반응은 음의 범위(즉, 불확실성의 낮은 허용오차 또는 과민성)에서 양의 범위(즉, 불확실성의 높은 허용오차)에 이르는 스펙트럼을 따라 어느 곳에나 해당될 수 있다.

individuals’ appraisals of, and responses to, uncertainty (i.e. their tolerance) fall into cognitive, emotional and behavioral domains. Within these domains, the responses can fall anywhere along a spectrum from negative (i.e. low tolerance or intolerance of uncertainty) to positive (i.e. high tolerance of uncertainty).


  • 불확실성에 대한 부정적인 평가와 반응은 불확실성을 위협적이거나, 위협적이거나, 존재를 부정하거나, 걱정이나 두려움을 느끼거나, 그리고/또는 부적응적인 방식으로 행동하는 것으로서(즉, 회피, 비행동 또는 심지어 우회적인 행동)를 포함할 수 있다. 

  • 그에 비해 긍정적인 평가와 반응은 개인이 자신감과 믿음을 가지고, 불확실한 시나리오에 대한 매력이나 호기심을 느끼고, 현명한 행동과 의사결정을 진행하는 것과 같은 적응적인 방법으로 행동하는 것을 포함할 수 있다. 

  • Examples of negative appraisals and responses to uncertainty might involve the individual appraising uncertainty as threatening, or denying its presence, feeling worried or fearful, and/or acting in maladaptive ways (i.e. avoidance, inaction or even circuitous action). 

  • By comparison, positive appraisals and responses might involve the individual having confidence and faith, feeling attraction or curiosity toward the uncertain scenario, and acting in adaptive ways, such as proceeding with judicious action and decision-making. 


모델은 불확실성에 대한 개인의 인식을 변조할 수 있는 소위 조정자 또는 요인을 허용한다. 조정자로는 자극의 특성, 개인 및 상황, 사회문화적 요인이 포함된다.

Furthermore, the model allows for so-called moderators or factors which may modulate individuals’ perceptions of uncertainty. Suggested moderators include characteristics of the stimulus, the individual and situation, as well as socio-cultural factors.


모델에 조정자를 포함하면 불확실성의 내성이 [고정된 성격 특성]이 아니라 [수정 가능한 상태]임을 알 수 있다. 그러나 힐렌 외 연구진(2017년)은 그들의 모델은 유연하도록 설계되었으며 특성 또는 상태 중심 접근방식의 연구자들에 의해 사용될 수 있다고 주장한다. 힐렌 외 연구진(2017년)은 이들의 모델이 허용오차 불확실성에 대한 '대통합론'을 의도한 것은 아니지만, 향후 연구가 시드될 수 있는 효과적인 플랫폼 역할을 할 수 있다고 결론지었다. 힐렌 외 (2017) 모델을 주 중심적인 관점에서 보면, [교육]은 학생들의 불확실성에 대한 내성의 잠재적인 조정자로 간주될 수 있다. 그러나 이것은 현재 불확실성의 내성 구인에 대해 잘 알려지지 않은 부분이다.

The inclusion of moderators within the model suggests that tolerance of uncertainty is a modifiable state, rather than a fixed personality trait. However, Hillen et al. (2017) contend that their model is designed to be flexible, and can be used by researchers from either a trait- or state-focused approach. Hillen et al. (2017) concluded that although their model was not intended to be a “grand unifying theory” for tolerance uncertainty, it could serve as an effective platform from which future research may be seeded. Taking the Hillen et al. (2017) model from a state-focused view, education could be considered a potential moderator of students’ tolerance of uncertainty. However, this is presently an underexplored aspect of the tolerance of uncertainty construct.


의료교육의 불확실성 허용에 관한 선행연구

Prior research on tolerance of uncertainty in medical education


교육이 불확실성의 내성에 미치는 영향을 평가하는 대부분의 기존 연구는 참가자의 훈련 단계(예: 최종 학년의 의대생 대비 1학년, 3학년과 2학년 거주자 등)를 불확실성의 측정된 내성과 비교함으로써 간접적으로 그렇게 한다. 그러한 연구의 결과는 다소 일관성이 없으며, 일부 연구에서는 불확실성에 대한 높은 내성과 고등 훈련 단계 사이의 연관성을 식별하기도 한다(DeForge and Sobal 1991; Merrill et al. 1994; Hancock et al. 2015). 또 다른 연구에서는 교육 단계와 불확실성 수준의 내성 사이에 통계적으로 유의한 연관성을 입증할 수 없는 경우도 있다(Geller et al. 1990; Weissenstein et al. 2014). 이러한 연구의 주요 제한사항은 단면적이어서 포함된 코호트를 종단적으로 추적하지 않는다는 것이다. 또한 불확실성의 내성에 대한 양적 접근방식을 취함으로써, 교육이 이러한 코호트의 불확실성에 대한 내성에 영향을 미치는 이유 또는 방법에 대한 통찰력은 여전히 모호하다.

Most existing studies assessing the impact of education on tolerance of uncertainty do so indirectly, by comparing participants’ stage of training (e.g. first year compared with final year medical students, third year versus second year resident, etc.) with measured tolerance of uncertainty. Results of such studies are somewhat inconsistent, with some identifying an association between higher tolerance of uncertainty and more advanced stage of training (DeForge and Sobal 1991; Merrill et al. 1994; Hancock et al. 2015), and others unable to demonstrate any statistically significant associations between educational stage and tolerance of uncertainty levels (Geller et al. 1990; Weissenstein et al. 2014). A key limitation of these studies is that they are cross-sectional only, and as such, do not follow included cohorts longitudinally. Furthermore, by taking a quantitative approach to tolerance of uncertainty, insights into why or how education was (or was not) impacting these cohorts’ tolerance of uncertainty remain elusive.


반대로, 질적 연구 방법론을 사용하여 불확실성 연구의 내성에 대한 해석론적 접근방식은 의대생의 불확실성 내성을 완화시키는 교육의 역할을 탐구하는 데 이상적으로 적합할 수 있다. 일부 질적 연구는 제한적이긴 하지만 의대생의 불확실성에 대한 내성을 탐구하며, 교육이 실제로 유익한 영향을 미칠 수 있음을 시사한다. 예를 들어, Gowda 외 연구진(2018)은 1학년 의대생들이 박물관 기반의 시각 예술 선택을 하는 혼합 방법 연구를 완료했으며, 1과목 목표는 불확실성 확인과 탐구에 초점을 맞췄다. 그들은 예술에 기반을 둔 과정이 의대생에게 불확실성의 내성을 개발하도록 촉진할 수 있다고 결론지었다. 또한 네발레인 외 연구진(2010)은 임상 1년차에 의대생이 참여하는 종단적 질적 연구를 수행했으며, 학생들의 불확실성에 대한 내성이 서면 학습 일지를 통해 연중 개선되었음을 발견했다. 저자들은 성찰적 글이 의대생들이 불확실성을 표현하고 처리하는 방법을 촉진할 수 있다고 결론지었다.

Conversely, an interpretivist approach to tolerance of uncertainty research, using qualitative research methodology, may be ideally suited to exploring the role of education in moderating medical students’ tolerance of uncertainty. Some qualitative research, albeit limited, explores medical student tolerance of uncertainty, and suggests that education can indeed have beneficial impacts. For example, Gowda et al. (2018) completed a mixed-methods study involving first-year medical students undertaking a museum-based visual arts elective, with one course objective focused on identifying and exploring uncertainty. They concluded that arts-based courses may facilitate medical student development of tolerance of uncertainty. Furthermore, Nevalainen et al. (2010) conducted a longitudinal qualitative study involving medical students in their first year of clinical placements and found that students’ tolerance of uncertainty improved throughout the year via their written learning diaries. The authors concluded that reflective writing could facilitate medical students’ expressions and processing uncertainty.


힐렌 외 (2017) 모델을 이 두 연구의 개입(시각예술과 성찰적 글쓰기)과 관련 연구 결과에 적용하는 것은 학생들의 불확실성 관용을 완화시키는 교육에 대한 역할을 시사한다. 그러나, 불확실성에 대한 관용을 완화하는 데 있어 교육의 역할에 대한 우리의 이해에는 상당한 격차가 남아 있다. 예를 들어, 두 연구 모두 핵심 의학 과정 연구(예: 기초 생물의학)보다는 선택과목을 포함하였으므로 핵심 과학 기반 학습이 의대생의 불확실성 허용에 어떤 영향을 미치는지 불분명하다. 또한, 이러한 연구의 발견은 힐렌 외 연구진(2017)과 같이 불확실성의 내성에 대한 포괄적인 이론적 모델을 적용하지 않기 때문에 제한적일 수 있다.

Applying the Hillen et al. (2017) model to these two studies’ interventions (visual arts and reflective writing) and their associated findings suggests a role for education in moderating students’ tolerance of uncertainty. However, substantial gaps remain in our understanding of education’s role in moderating tolerance of uncertainty. For example, both studies involved electives rather than core medical coursework (e.g. foundational biomedical sciences), so it remains unclear what impacts core science-based learning has on medical students’ tolerance of uncertainty. Furthermore, findings from these studies are likely limited because of the absence of applied comprehensive theoretical models of tolerance of uncertainty, such as that of Hillen et al. (2017), through which to interpret their study findings.


불확실성에 대한 의대생의 내성을 탐구하기 위해 성숙할 수 있는 의료교육의 한 영역은 해부학 교육이다. 해부학적 평가(검사)는 종종 모호하지 않은 정답과 오답으로 인해 불확실성 발달에 대한 학생들의 관용을 저해할 가능성이 있는 반면, 해부학적 훈련은 미지의 형태, 기능, 개발 및 임상적 응용에 대한 많은 지속적인 연구에 관여한다. 더욱이 인간 해부학은 사람마다 다르다는 점에서 그 자체가 애매하다(해부학적 변형으로 알려져 있다). [해부학 학문의 노하우(즉, 해부학이 모호하다는 것)와 해부학 교육(예: 모든 해부학이 알려져 있고 절대적인 것) 사이의 그러한 모순]은 알 수 없는 방법이나 알 수 없는 (그리고 아마도 부정적인) 직업적 영향을 가지고 불확실성의 관용에 영향을 미칠 수 있다. 예를 들어 임상의의 해부학적 변동에 대한 인식 부족은 의료 오류와 불필요한 절차(Royer 2018) 등 부정적인 결과와 관련이 있다. 이러한 방식으로 해부학 학습 환경은 교육이 불확실성 개발에 대한 학생들의 관용에 미치는 영향을 탐구하기 위한 잠재적으로 풍부한 환경을 제공한다.

One area of medical education that may be ripe for exploring medical student tolerance of uncertainty is anatomy education. While anatomy assessment (via examinations) often infers unambiguous correct and incorrect answers, thereby potentially impeding students’ tolerance of uncertainty development, the anatomy discipline engages in much ongoing research into the unknowns of form, function, development and clinical applications. Furthermore, human anatomy is itself ambiguous in that it varies from person to person (known as anatomical variation). Such contradictions between disciplinary know-how (i.e. that anatomy is ambiguous) and anatomy education (e.g. that all anatomy is known and absolute) could serve to affect tolerance of uncertainty in unknown ways and with unknown (and possibly negative) professional impacts. For example, a lack of awareness of anatomical variation in clinicians is associated with negative outcomes, including medical errors and unnecessary procedures (Royer 2018). In this way, the anatomy learning environment provides a potentially rich environment for exploring the impacts of education on students’ tolerance of uncertainty development.


연구 목적 및 연구 질문

Study aims and research question


해부학 교육 학습 환경이 의대생의 불확실성 허용에 어떤 영향을 미치는가?

How does the anatomy education learning environment impact medical students’ tolerance of uncertainty?


방법 Methods


참가자 Participants


연구 맥락 Study context


현재 연구에서는, 의학 교육의 처음 2년은 대부분 전임상적이다. 학생들은 1학년 2학기 및 2학년 2학기 동안 해부학을 공부한다(그림 1 참조). 해부학 강좌는 전통적인 강의, 실습 수업, 팀 기반의 능동적인 학습을 포함한다. 실습 수업은 4가지 요소로 구분된다. 즉 전신 기증자 해부, 프로섹션 수업(학생 주도의 해부학적 구조 식별에 초점을 맞추고 있지만 전문가 주도의 해부학적 구조 식별), 의료 영상, 임상 해부학 튜토리얼. 학생들은 각 구성 요소에 동일한 시간을 할애하여 모든 구성 요소를 회전시킨다.

In the current study, the first 2 years of medical education are largely preclinical. Students undertake anatomy during the second semester of first year, and both semesters of second year (see Fig. 1). The anatomy course involves traditional lectures, practical classes and team-based active learning. Practical classes are divided into four separate components involving: whole body human donor dissection; prosection classes (in which the focus is on student-led, but expert-facilitated identification of anatomical structures); medical imaging; and clinical anatomy tutorials. Students rotate through all components with equal time devoted to each.


해부학 과정 동안, 학생들은 또한 "그레이 케이스"(Box 1)라고 불리는, 모호성의 목적적 통합으로 임상 해부학 사례 기반 학습에 참여한다. 이러한 경우에는 관련 임상 해부학적 질문(예: 보충 자료)이 포함된 환자 시나리오가 포함된다. 이러한 경우에 [이용 가능한 정보에 기초]하여 [복수의 적절한 답변(예: 차등 진단, 조사의 선택 등)이 가능한] 사례 관련 질문을 통해 [모호성을 통합]하였다. 그레이 케이스는 팀 기반의 능동형 학습 수업, 온라인 토론 포럼, 프로섹션 수업 내에 통합된 형태 형성형 객관식 질문(MCQ)에 활용된다. 기존 MCQ와 달리 그레이 케이스 MCQ는 제공된 선택 사항 중에서 여러 개의 가능한 정답을 허용한다는 점에 유의하십시오.

During the anatomy course, students also participate in clinical anatomy case-based learning with purposeful integration of ambiguity, referred to as “grey cases” (Box 1). These cases involve a patient scenario with related clinical anatomy questions (example in supplementary material). Ambiguity was incorporated into these cases through case-related questions wherein multiple appropriate answers were possible based on the available information (e.g. differential diagnoses, selection of investigations, etc.). Grey cases are utilized in team-based active learning classes, online discussion forums and formative multiple-choice questions (MCQs) integrated within the prosection classes. Note that unlike traditional MCQs, grey case MCQs allow for multiple possible correct answers amongst the provided choices.


그레이 케이스 커리큘럼 구성 요소가 학생들에게 점진적으로 소개되었다. MCQ는 먼저 시행되었고, 본 연구 이전에 해부학 강의의 일부였다. 더 큰 연구 연구(즉, 코호트 A의 분석, 시점 1 데이터, 그림 1 참조) 내에서 불확실성의 내성을 테마로 식별한 후, 그레이 케이스를 팀 기반의 능동적 학습 수업과 온라인 토론 포럼에 도입하여 해부학 학습(그레이 케이스 포함)이 불확실성에 대한 학생들의 관용에 미치는 영향을 더 자세히 탐구하였다. [해부학에서 종합 평가]는 단일 최선의 답이 기대된다는 점에서 불확실성의 내성 개념을 포함하지 않는다.

The grey case curricular components were introduced to students gradually. MCQs were implemented first, and were part of anatomy teaching prior to this research study. Following identification of tolerance of uncertainty as a theme within the larger research study (i.e. following analysis of Cohort A, time point 1 data; see Fig. 1), grey cases were introduced to team-based active learning classes and online discussion forums to further explore the impact of anatomy learning (including the grey cases) on medical students’ tolerance of uncertainty. Summative assessments in anatomy do not incorporate tolerance of uncertainty concepts, in that a single best answer is expected.



자료 수집 Data collection


두 의대 학생 코호트의 경우 앞에서 설명한 바와 같이 1학년과 2학년 3학기 학생 해부학 연구에 대한 데이터를 모두 수집했다(Stephens et al. 2019). 학기 중 진행된 온라인 토론 포럼과 학기말마다 진행되는 반구조 면접(그림 1)에서 데이터를 수집했다. 데이터는 해부학 연구의 세 학기에 해당하는 세 개의 연구 시점으로 구분되었다(지정된 T1, T2, T3; 그림 1).

For both medical student cohorts, we collected data across all three semesters of student anatomy study in first and second year, as described previously (Stephens et al. 2019). Data were collected from online discussion forums conducted during semesters, and semi-structured interviews held at the conclusion of each semester (Fig. 1). Data were divided into three study time points corresponding to the three semesters of anatomy study (designated T1, T2 and T3; Fig. 1).


온라인 토론 포럼 Online discussion forums


온라인 토론 포럼에는 두 코호트 모두에 걸쳐 총 207명의 학생이 참여하여 54,228단어의 데이터를 제공하였다. 토론 주제는 표 1에서 찾을 수 있다.

In total, 207 students across both cohorts participated in the online discussion forums, providing 54,228 words of data. Topics for discussion can be found in Table 1.



반구조화 인터뷰 Semi‑structured interviews



자료 분석 Data analysis


성찰성 Reflexivity


일단 연구팀을 설립하고 나서, 우리는 팀 성찰 활동에 참가했다. 이는 연구 맥락 안에서 질적 연구의 이해, 지향 및 경험에 대한 논의를 촉진했다(Barry et al. 1999). 우리는 다양한 해부학 교육 경험(없음, 초보 또는 전문가)과 질적인 연구 지식(노력 또는 전문가)을 가지고 있다는 것을 알게 되었다. 우리는 모두 연구 질문에 답하기 위한 [질적 방법론/방법들]에 대해 긍정적인 생각을 가지고 있었다. 그러나, 우리는 불확실성의 내성 구조에 대한 다양한 태도(매우 회의적인 태도를 수용했음)를 가지고 있었다. 구인에 대해 회의적인 팀원은 불확실성 내성을 [안정적이고 측정 가능한 성격 특성]으로서 보았으며, 다른 구인과도 중첩될 수 있다는 가정을 중심으로 주로 이루어졌다(Hillen et al. 2017). 그러나 이러한 회의론에도 불구하고, 불확실성에 대한 내성의 힐렌 외 (2017) 모델은 데이터 해석과 이론 개발에 이용 가능한 가장 적용 가능한 구조라는 데 모두 동의했다.

Once we established our research team, we participated in a team reflexivity exercise. This facilitated discussions of our understandings of, orientations to, and experiences of qualitative research within the study context (Barry et al. 1999). We found that we had diverse anatomy education experience (none, novice or expert), and qualitative research knowledge (novice or expert). We all had positive orientations towards qualitative methodologies/methods for answering the study research question. However, we possessed diverse attitudes (accepting to highly skeptical) toward the construct of tolerance of uncertainty. Skepticism of the construct was largely based around assumptions of tolerance of uncertainty as a stable and measurable personality trait, and its potential for overlaps with other constructs (Hillen et al. 2017). Despite this skepticism, however, all agreed that the Hillen et al. (2017) model of tolerance of uncertainty was the most applicable construct available for data interpretation and theory development.


결과 Results


우리는 Hillen 외 (2017) 모델의 기본 구조가 부분적으로 해부학 교육 환경 내에서 의대생들의 불확실성에 대한 내성을 설명한다는 것을 발견했다.

We found that the basic structure of the Hillen et al. (2017) model partly accounted for medical students’ purported tolerance of uncertainty within the anatomy educational environment.


이론적 모델의 구성요소와 관련된 테마

Themes relating to components of the theoretical model


불확실성의 자극

Stimuli of uncertainty


해부학 공부

Studying anatomy


해부학을 공부하는 것은 학생들의 불확실성을 야기시켰고, 학생들은 어떤 공부 방법을 사용해야 하는지, 그리고 어떻게 내용 범위를 관리해야 하는지에 대해 확신이 서지 않았다

Studying anatomy provoked student uncertainty, with students feeling unsure about which study approaches to use and how to manage content breadth:


기증자 해부

Donor dissection


기증자 해부의 불확실성 자극에는 해부학적 variation에 직면할 가능성, 불완전한 해부(즉, 구조물의 일부와 그 관계만 드러난 경우)에서 구조물을 식별할 때의 불확실성 및 해부 과정의 복잡성이 포함되었다.

Stimuli of uncertainty in donor dissection included the possibility of encountering anatomical variations, uncertainty in identifying structures in incomplete dissections (i.e. where only parts of a structure and its relationships were revealed) and the complexity of the dissection processes:


프로섹션

Prosections


학생들은 또한 해부학적 variation을 프로섹션의 불확실성의 자극으로 묘사했지만, 두 해부학적 학습 양식에서 뚜렷한 차이가 감지되었다. 학생들은 죽은 사람의 기증자로부터 유래되거나 활용되었음에도 불구하고 프로섹션을 더 명확하거나 심지어 "더 정확한" 해부학적 표현으로 묘사했다이러한 명료함에도 불구하고, 프로섹션(학생들이 흔히 "샘플specimen"이라고 함)은 해부학적 지식 한계에 대한 학생의 인식을 강화함으로써, 특히 표시된 해부학적 구조를 식별함으로써 불확실성을 자극하는 것처럼 보였다.

While students also described anatomical variation as a stimulus of uncertainty in prosections, distinct differences were perceived between the two anatomy learning modalities. Students described prosections as clearer or even “more accurate” representations of anatomy, despite both being derived from, or utilizing, deceased human donors. Notwithstanding their purported clarity, prosections (often called “specimens” by students) appeared to stimulate uncertainty by enhancing student awareness of their anatomical knowledge limits, particularly around identifying displayed anatomical structures:


그레이 케이스 

Grey cases


학생들은 (온라인 토론 포럼에서처럼) 회색 사례의 복잡성, 복수 정답 또는 오답의 가능성, 모델 답안이 제공되지 않았을 때의 지속적인 불확실성과 관련된 불확실성을 설명했다.

Students described uncertainties in relation to the complexity of grey cases, the possibility for multiple correct or incorrect answers, and persistent uncertainties when model answers were not provided (as in the online discussion forums):


사회문화적 한계 

The socio-cultural threshold


기증자 해부 수업을 시작하는 것을 예상하는 것은 일부 학생들에게 불확실성을 자극했는데, 이것은 우리가 해부의 사회 문화적인 한계라고 부르는 개념이다. 이는 의학교육에서는 정상화되어있지만, 문화적으로는 금기시되는 사회행위 —전신체 인간 기증자의 해부— 에 참여함으로써 인식의 문턱perceived threshold을 넘는 학생들의 불확실성에 관한 것이다.

Anticipating commencing donor dissection classes stimulated uncertainty for some students, a concept we termed the socio-cultural threshold of dissection (which is about students’ reported uncertainties in crossing a perceived threshold by participating in a social act—dissection of whole-body human donors—that is normalized in medical education but otherwise culturally taboo).


중재자 Moderators


동료 Peers


또래들이 불확실성에 대한 학생들의 관용에 미치는 영향은 학생들이 (또래 팀과의 공유 책임에서) 지식을 개별적 혹은 집단적으로 책임지고 있다고 느끼는지에 따라 달라 보였다. 학생들은 개개인이 자신의 대답에 대해 전적으로 책임이 있다고 생각했을 때 불확실성에 대해 덜 관대하다는 것을 암시했다. 대조적으로, 팀 내에서 일하는 것은 불확실성에 대한 학생들의 관용에 긍정적인 영향을 미치는 것처럼 보였다.

The impact of peers on student tolerance of uncertainty seemed to differ depending on whether students felt individually or collectively responsible for knowledge (as in shared responsibility with their peer team). Students’ talk suggested that they were less tolerant of uncertainty when they thought they were solely accountable for an answer. Contrastingly, working within a team seemed to positively impact student tolerance of uncertainty:


전문가 Experts


해부학 교직원은 학생들의 불확실성 표현에 응답할 때 어떠한 식으로 접근하느냐에 따라 불확실성의 내성 개발을 촉진하거나 방해할 수 있다. 

      • [단순히 답을 제공]하는 전문가들은 교육적 접근법을 통해 존재하는 불확실성으로부터 학생들을 산만하게 하거나, 또는 그것이 실제로 존재할 때 모호성/불확실성을 인정하지 않음으로써 학생들의 불확실성에 대한 관용을 방해하는 것처럼 보였다. 

      • 반대로, 학생들은 불확실성에 대한 학생들의 관용을 용이하게 하기 위해 여러 답변의 타당성 뒤에 있는 [관련 근거와 추론을 제공]함으로써 여러 가능한 답변으로 그들을 안내하는 전문가들에 대해 이야기하였다.

anatomy teaching staff could either facilitate or impede students’ development of tolerance of uncertainty depending on their approaches when responding to students’ expressions of uncertainty. 

      • Experts simply providing answers seemed to impede students’ tolerance of uncertainty, either by distracting students from uncertainties present through didactic approaches, or by failing to acknowledge ambiguity/uncertainty when it was actually present. 

      • Conversely, student talk about experts guiding them toward multiple possible answers by providing relevant evidence and reasoning behind the validity of several answers, and/or experts’ acknowledgement of uncertainty when present, were both suggested to facilitate students’ tolerance of uncertainty.


사회와 환자

Society and patients


일부 학생들은 불확실성이 향후 환자 접촉에 미칠 영향을 예측했다. 본 문서에서 학생들은 의사가 환자 질문에 대한 모든 답을 알 것으로 기대되며, (모든 답을) 알지 못하는 것이 의사와 환자 관계에 부정적인 영향을 미칠 수 있다고 보고했다. 따라서 이러한 믿음은 불확실성에 대한 학생들의 관용에 부정적인 영향을 미치는 것으로 보였다.

Some students predicted the impact of uncertainty on their future patient encounters. Herein students reported that doctors were expected to know all the answers to patient questions, and that not knowing could negatively affect the doctor-patient relationship. These beliefs therefore appeared to negatively impact students’ tolerance of uncertainty:


그레이 케이스 컨텍스트

Grey case context


환자의 급성기성acuity과 상황setting은 회색 사례의 맥락에서 불확실성에 대한 학생들의 관용을 중재하는 것으로 보였다. 예를 들어, 응급 상황으로 묘사된 경우 (이미지와 같은 진단 자원의 이론적 가용성과 마찬가지로) 학생들의 불확실성 허용에 부정적인 영향을 미치는 것으로 보였다. 실제로 학생들은 회색 사례에서 더 큰 확신을 얻기 위한 수단으로 사용 가능한 진단 자원을 사용한다고 기술했다.

Patient acuity and setting appeared to moderate student tolerance of uncertainty in the context of grey cases. For example, descriptions of emergency settings appeared to negatively impact students’ tolerance of uncertainty, as did the theoretical availability of diagnostic resources such as imaging. Indeed, students described using available diagnostic resources as a means of attaining greater certainty in the grey cases:


평가/응답 

Appraisal/response


인지평가

Cognitive appraisals


부정 평가 부정 평가에는 학생들이 정의된 답에 대한 욕구를 전달하고, 지식 수준을 의심하며, 해답의 전문가 검증의 필요성을 전달하고, 해부학 및/또는 의학 지식과 관련된 절대주의의 표현을 포함했다.

Negative appraisals Negative appraisals included students communicating a desire for defined answers, doubting their levels of knowledge, conveying a need for expert validation of answers, and expressions of absolutism in relation to anatomy and/or medical knowledge:


적당히 긍정적인 평가 적당히 긍정적인 평가에는 임상적 역량으로 불확실성의 내성을 수용하는 것이 포함되었고, 학생들은 이를 통해 미래의 실습에 필요하다고 인정했다.

Moderately positive appraisals Moderately positive appraisals included an acceptance of tolerance of uncertainty as a clinical competency, whereby students acknowledged that it would be required for their future practice:


감성반응

Emotional responses


불확실성에 대한 감정적인 반응은 거의 전적으로 우리의 데이터에서 부정적이었다. 학생들은 불확실성 앞에서 "신경성", "마약성", "죄의성" 또는 "과대성"을 느꼈다. 아마도 가장 중요한 것은 학생들이 해부학 과정과 향후 환자 치료와 관련된 오류에 대해 "두려움"을 표명했다는 점이다.

Emotional responses to uncertainty were almost exclusively negative in our data. Students described feeling “nervous”, “frustrated”, “guilty” or “overwhelmed” in the face of uncertainty. Perhaps most significantly, students expressed a “fear” of errors related to both the anatomy course and future patient care:


행동 대응

Behavioral responses


부정적인 행동 부정적인 행동에는 학생들이 회피와 무반응을 불확실한 자극에 대한 반응으로 묘사하는 것이 포함된다.

Negative behaviors Negative behaviors included students describing avoidance and inaction as responses to uncertain stimuli:


긍정적인 행동 긍정적인 행동 반응은 불확실성 앞에서 인내심과 의사 결정에 대한 학생들의 설명을 포함했다. 예를 들어, 학생들은 그레이 케이스에서 제한된 정보를 가지고도 대답을 약속하거나, 해부학적 지식의 한계에 대한 초기 반성이 있었음에도 불구하고 해부학적 구조를 확인하려고 끈기 있게 노력하는 모습을 묘사했다.

Positive behaviors Positive behavioral responses included student descriptions of perseverance and decision-making in the face of uncertainty. For example, students described committing to an answer in grey cases even with limited information, or persevering in attempting to identify anatomical structures despite an initial reflection on the limitations of their anatomical knowledge:


또한, 일부 학생들은 불확실성을 공개하는 것이 긍정적인 행동 대응이라고 설명했으며, 특히 환자에게 알려지지 않은 것을 의사와 환자 사이의 관계와 환자 안전에 중요한 것으로 인정하는데 있어 정직하다고 설명했다.

Furthermore, some students described disclosing uncertainty as a positive behavioral response, specifically in being honest in acknowledging unknowns to patients as important to the doctor-patient relationship and patient safety:


자신이 모르는 해부학적 정보를 검색하는 것은… 그것은 환자에 대한 의사의 주의 의무에 따른 책임이다. 의사는 자신의 지식이 흠잡을 데 없을 때 겸손하게 인정하고 더 많은 연구를 해야 한다. 그들이 잘못된 정보로 의학적 결정을 내리고 잠재적으로 환자에게 해를 끼치지 않도록 말이다. (조나단, 코호트 B, T1, 베르소)

Looking up anatomy information if you don’t know… it’s a responsibility under the doctor’s duty of care to the patient. A doctor should have the humility to admit when their knowledge isn’t up to scratch and they need to do more research, lest they make medical decisions with flawed information and potentially cause harm to the patient. (Jonathan, Cohort B, T1, Verso)


가변적인 능력의 행동 대응 학생들이 설명하는 두 가지 추가적인 행동은 맥락에 따라 긍정적이거나 부정적이거나 불확실한 것일 수 있다: 정보 탐색전문가들에게 맡기기이다. 

Behavioral responses with variable valency Two additional behaviors described by students could be positive, negative or indeterminate depending on context: information-seeking and deferral to experts. 


    • 정보 추구는 불확실성과 관련하여 학생들에 의해 대체로 긍정적(예: 이전의 불확실성에 대응하여 해부하기 전의 공부)으로 설명되었지만, 일부 학생들은 의사 결정으로 나아가지 않은 채로 정보만 더 찾는 것을 설명하면서, 이러한 행동도 부정적일 수 있음을 시사했다. 이러한 부정적인 반응은 특히 일부 학생들이 결정을 내리지 않고 장기간 동안 답안을 연구한다고 기술한 회색 사례에 대한 이야기에서 나타났다.

While information-seeking was largely described by students as positive in relation to uncertainty (e.g. studying prior to dissection in response to previous uncertainty), some students described seeking information without progression towards decision-making, suggesting that this behavior could also be negative. Such negative responses were seen particularly in talk about grey cases, in which some students described researching answers for lengthy periods of time without arriving at decisions:


    • 불확실한 상황에서 전문가에게 판단을 맡기는 것도 회색 사례에 대응하여 설명하고 향후 관행을 예측하였다.

Deferring to experts in the face of uncertainty was also described in response to grey cases and predicted future practice:


시간적 변화 Temporal changes


자극의 변화 

Changes in stimuli


T1에서 학생토크에서 지배적인 불확실성에 대한 자극은 해부의 사회문화적 기준이었는데, 온라인 토론 포럼 질문에 가장 분명하게 "해부학 실험실에서 첫날 경험하게 될 감정과 생각이 무엇이 될 것이라고 예측하는가?"라는 질문에서 확인되었다. 이 문제는 학기 첫 주에 학생들의 해부 참여에 앞서 출제되었다. 

    • T1의 인터뷰 데이터(즉, 학생들의 해부학 연구 1학기 후)에서 학생이 말하는 동안 가장 지배적인 불확실성에 대한 자극은 해부학을 공부하는 것이었다. 

    • T2에 의해 지배적인 불확실성 자극은 그레이 케이스로 전환되었고, 이러한 케이스들을 중심으로 개발된 팀 기반의 능동적 학습의 도입과 일치하였다. 

    • 불확실성에 대한 자극으로서 기증자 해부와 관련된 언급은 세 가지 시점 모두에서 증가하는 것처럼 보였으며, 결과적으로 이 테마는 T3에서 가장 중요한 불확실성 자극이 되었다.

At T1, the stimulus for uncertainty dominant in student talk was the socio-cultural threshold of dissection, identified most clearly in response to the online discussion forum question: “What do you predict will be the emotions and thoughts you will experience on your first day in the anatomy laboratory?” This question was posed in the first week of semester, prior to students’ engagement in dissection. 

    • The stimulus for uncertainty apparent as most dominant within student talk during interview data at T1 (i.e. after students’ first semester of anatomy study), was studying anatomy. 

    • By T2, the dominant uncertainty stimulus transitioned to grey cases, coinciding with the introduction of team-based active learning developed around these cases. 

    • The amount of talk relating to donor dissection as a stimulus for uncertainty also seemed to increase across all three time points, resulting in this theme being the foremost uncertainty stimulus at T3.


중재자의 변화 

Changes in moderators


전문가들은 세 가지 시점 모두에서 불확실성에 대한 학생 관용의 조정자로서 일관성 있게 보고되었다. 그러나 T2에서, 또래peer는 팀 기반의 능동적 학습의 도입과 맞물려 불확실성 내성의 지배적인 중재자로 확인되었다.

Experts were consistently reported as a moderator of student tolerance of uncertainty across all three time points. However, peers were identified as the dominant moderator of uncertainty tolerance at T2, coinciding with the introduction of team-based active learning.


평가와 반응의 변화 

Changes in appraisals and responses


불확실성 평가/응답은 인지 영역과 관련하여 세 가지 시점 전체에 걸쳐 학생들의 말하기에서 가장 명확하게 다양했다(그림 2). 

    • T1에서 지배적인 인지적 평가는 해부학 및/또는 의학에서 절대적(즉, 부정적)에 대한 믿음이었다. 

    • T2에서 지배적인 평가는 [학생들이 낸 답과 지식에 대해 갖고 있는 의심]에 대한 전문가의 검증의 필요성(아직 부정적인 평가를 암시하지만, 아마도 현재 모호성에 대한 인식과 연관되어 있다)이었다. 

    • 그러나 T3에 의해 학생들이 설명한 지배적인 평가는 불확실성에 대한 내성을 임상적 역량으로 수용하는 것이었다. 명백하게 긍정적인 반응은 아니지만, 이것은 (이전의 두 시점에서) 음성에서 T3에 의한 중간 양의 평가로 이어지는 패턴을 암시한다(그림 2). 

Uncertainty appraisals/responses varied in students’ talk across the three time points most clearly in relation to the cognitive domain (Fig. 2). 

    • The dominant cognitive appraisal at T1 was a belief in absolutes in anatomy and/or medicine (i.e. suggesting a negative appraisal). 

    • At T2, the dominant appraisal was a need for expert validation of answers and doubt in students’ knowledge (still suggestive of a negative appraisal, but perhaps now associated with an awareness of ambiguity). 

    • By T3 however, the dominant appraisal described by students was accepting tolerance of uncertainty as a clinical competency. While not an overtly positive response, this does suggest a pattern from negative (in the two earlier time points) to moderately positive appraisals by T3 (Fig. 2). 


앞에서 설명한 것처럼, 전체 연구에서 감정 반응은 실질적으로 부정적인 반면, T2에서의 학생들의 강연에서는 특히 오류에 대한 두려움이 지배적이었으며, 이는 다시 팀 기반의 능동 학습 회색 사례의 도입과 일치한다. 학생들의 대화에서 표현된 행동 반응은 연구 전반에 걸쳐 상당히 일관적이었다(정보 추구가 항상 지배적인 반응임).

As previously described, while emotional responses were substantively negative across the entirety of the study, fear of errors was particularly dominant in students’ talk at T2, again coinciding with the introduction of team-based active learning grey cases. Behavioral responses expressed in students’ talk were fairly consistent across the study (with information-seeking being the dominant response at all times points).



종단적 사례 

Illustrative longitudinal case


종단적 학생 사례는 더 큰 연구(상자 2)에서 확인된 시간적 주제 변화를 더 잘 보여준다. 브라이언(가명)은 세 가지 시점 모두에 걸쳐 연구에 참여했고, 코호트 내에서 식별된 더 넓은 종적 패턴을 반영하는 불확실성을 가진 경험을 서술했기 때문에 예증 사례로 선택되었다.

An example longitudinal student case further illustrates the temporal thematic changes identified in the larger study (Box 2). Brian (pseudonym) was chosen as an illustrative case because he participated in the study across all three time points, and described experiences with uncertainty reflecting the wider longitudinal patterns identified within the cohort.



고찰 

Discussion


핵심 연구결과 

Summary of key findings in comparison to existing theory


이는 단면 및 종단면 질적 데이터를 모두 포함하여 해부학 교육의 맥락에서 불확실성에 대한 의대생의 내성 경험을 탐구한 최초의 연구다. 중요한 것은, 이 연구는 불확실성에 대한 내성이 정적 성격 특성보다는 변화할 수 있음을 시사한다(Hillen et al. 2017). 우리의 연구결과는 또한 해부학 교육이 의대생들의 불확실성 발달에 대한 관용에 어떤 영향을 미칠 수 있는지, 그리고 더 일반적으로 교육적인 맥락들이 학생들의 불확실성 관용에 어떤 영향을 미칠 수 있는지를 보여준다. 

This is the first study exploring medical students’ experiences of tolerance of uncertainty in the context of anatomy education, including both cross-sectional and longitudinal qualitative data. Importantly, this study suggests that tolerance of uncertainty is changeable rather than a static personality trait (Hillen et al. 2017). Our findings also illustrate how anatomy education may impact medical students’ tolerance of uncertainty development, and how educational contexts more generally may impact students’ tolerance of uncertainty. 


우리의 연구 결과는 불확실성의 내성(즉, 자극, 중재자 및 평가/응답)의 힐렌 외(2017) 모델의 기본 요소가 해부학 교육의 맥락으로 확장될 수 있다는 것을 보여준다. 구체적으로 학생들은 해부학을 배우는 자극과 관련된 불확실성을 경험하는 것뿐만 아니라 사용되는 특정한 교육적 접근방식(기부자 해부, 산문, 회색 사례)에 대해서도 설명한다. 해부학 교육에서 설명한 [불확실성에 대한 관용의 중재자]는 주로 [사람](즉, 해부학 교육자, 동료 및 인지된 환자 기대치)이면서도 [회색 사례의 이론적 임상 설정 내에서 제공되는 맥락]이다.

Our findings demonstrate that the basic elements of the Hillen et al. (2017) model of tolerance of uncertainty (i.e. Stimuli, Moderators and Appraisals/Responses) may be extended to the context of anatomy education. Specifically, students describe experiencing uncertainty related to the stimuli of learning anatomy in general, as well as to the specific educational approaches used (donor dissection, prosections and grey cases). Moderators of tolerance of uncertainty described within anatomy education were primarily people (i.e. anatomy educators, peers, and perceived patient expectations), but also the context provided within the theoretical clinical settings of grey cases.


불확실성에 대한 학생들의 반응은 인지적, 감정적, 행동적 영역에서 설명되었다. 힐렌 외 연구진(2017)은 이러한 반응이 어떻게 나타날 수 있는지에 대한 범주형 제안(예: 의심으로 나타나는 부정적 인지 반응)과 함께 부정적인 것에서 긍정적인 것까지 가능한 반응의 스펙트럼을 지정했다. 하지만, 우리 학생 참가자들이 토론한 응답 범위와 표현 모두 힐렌 외 (2017)가 제안한 것과 다소 다른 것으로 보였다. 예를 들어, 우리의 참여자들에 의해 기술된 인지적 반응은 부정적인 것(예: 의심)부터 적당히 긍정적인 것(예: 수용)까지 다양했다.

Student responses to uncertainty were described in cognitive, emotional and behavioral domains. Hillen et al. (2017) designated a spectrum of possible responses from negative to positive, with categorical suggestions of how these responses may manifest (e.g. negative cognitive response manifesting as doubt). However, both the response range and manifestations discussed by our student participants appeared somewhat divergent from those suggested by Hillen et al. (2017). For example, cognitive responses described by our participants ranged from negative (e.g. doubt) to moderately positive (e.g. acceptance).


우리의 정성적 발견은 힐렌 외 (2017) 모델도 확장시킨다. 예를 들어, 학생들이 여러 영역(인지적, 감정적 및/또는 행동적)에 걸쳐 반응을 설명할 때, 이러한 반응은 영역domain마다 음성-긍정적 스펙트럼에서 크게 다를 수 있다. 예를 들어, 정서 영역의 불확실성에 대한 부정적 반응(예: 두려움)을 설명함에도 불구하고, 학생은 행동 영역의 긍정적 반응(예: 정보추구)을 동시에 설명할 수 있다.

Our qualitative findings also extend the Hillen et al. (2017) model. For example, when students described responses across multiple domains (cognitive, emotional and/or behavioral), where these responses fell along the negative–positive spectrum could vary markedly between these domains. For example, despite describing a negative response to uncertainty in the emotional domain (e.g. fear), a student could simultaneously describe a positive response in the behavioral domain (e.g. information-seeking).


우리의 발견에 근거한 힐렌 외 (2017) 모델의 추가 확장은 행동 반응이 상황에 따라 적응적이거나 부적응적일 수 있다는 것이다. 힐렌 외 연구진(2017)은 이 스펙트럼을 따라 범주형 반응을 설명한다(예: 회피는 부정적 행동 대응으로 분류되는 반면 행동은 긍정적 행동 대응으로 분류된다). 그러나 우리의 데이터는 정보추구라는 동일한 행동적 반응도 적응성에 대해서 variable degree를 가지고 있음을 시사한다

    • 예를 들어, 일부 학생들은 정보 추구를 힐렌 외 연구진(2017년)과 일관되게 행동과 의사결정을 진행할 수 있는 적응적 대응이라고 설명했다. 

    • 반대로, 다른 학생들은 정보 추구가 후속 조치(즉, 비적응적 대응)를 초래하지 않는다고 기술했다.

A further extension of the Hillen et al. (2017) model based on our findings is that a behavioral response could either be adaptive or maladaptive depending on context. Hillen et al. (2017) describe categorical responses along this spectrum (e.g. avoidance is categorized as a negative behavioral response, whereas action is categorized as a positive behavioral response). However, our data suggests that the behavioral response of information-seeking has variable degrees of adaptability. 

    • For example, some students described information-seeking as an adaptive response enabling them to proceed with action and decision-making, consistent with Hillen et al. (2017). 

    • Conversely, other students described information-seeking not resulting in subsequent action (i.e. inaction), a maladaptive response).


기존 문헌과 소견 비교

Comparison of findings with existing literature


부정적인 감정 반응의 우세

Dominance of negative emotional responses


우리의 데이터에서 발견된 불확실성에 대한 긍정적인 감정적 반응이 Hillen 외 (2017) 모델과는 현저한 차이였지만, 의대생과 의사들의 불확실성에 대한 관용에 관한 기존의 문헌은 이러한 연구 결과를 반영하고 있는 것으로 보인다. 이번 연구에서 시험과 미래의 실습과 관련된 오류에 대한 두려움은 불확실성에 대한 부정적인 정서적 반응으로 묘사되었으며, T3보다 T2(팀 기반 능동학습에서 회색 사례의 도입과 관련)에서 더 우세하며, .

While the lack of positive emotional responses to uncertainty found in our data was a notable divergence from the Hillen et al. (2017) model, existing literature on tolerance of uncertainty in medical students and doctors appears to mirror these findings. Fear of errors in relation to exams and future practice were described by students in our study as negative emotional responses to uncertainty, with this being more dominant at T2 (coinciding with the introduction of grey cases in team-based active learning) than T3


비록 우리의 연구가 불확실성에 대한 부정적인 감정적 반응으로서 심리적인 웰빙의 감소나 소모를 명시적으로 탐구하지는 않았지만, 불확실성에 대한 낮은 내성의 영향에 대한 기존의 문헌의 많은 부분이 이러한 영역에 초점을 맞추고 있다(예: Lally and Cantillon 2014; Takayesu et al. 2014; Hancock과 Mattick 2019). 실제로 최근 의대생들의 불확실성과 심리적 웰빙에 대한 내성을 체계적으로 검토한 결과 11개의 연구가 포함되었는데, 이 연구들은 모두 [불확실성에 대한 내성이 낮은 것]과 [심리적 웰빙 감소] 사이의 연관성을 보고했다(Hancock and Mattick 2019). 이 광범위한 문헌과 연관된 우리의 발견은 의대생들의 불확실성에 대한 부정적인 감정적 반응이 후기 단계 학생들과 의사 개업으로 진행됨에 따라 소진 및 정신 건강 문제와 같은 더 심각한 결과를 초래할 수 있다는 것을 암시한다(Hancock and Mattick 2019).

Although our study did not explicitly explore burnout or reduced psychological wellbeing as negative emotional responses to uncertainty, much of the existing literature into the impacts of lower tolerance of uncertainty focuses on these areas (e.g. Lally and Cantillon 2014; Takayesu et al. 2014; Hancock and Mattick 2019). Indeed, a recent systematic review into tolerance of uncertainty and psychological wellbeing in medical students included eleven studies, all of which reported associations between lower tolerance of uncertainty and reduced psychological wellbeing (Hancock and Mattick 2019). Our findings in association with this broader literature suggest that medical students’ negative emotional responses to uncertainty may subsequently lead to more serious consequences, such as burnout and mental health problems, as they progress to later-stage students and practicing doctors (Hancock and Mattick 2019).


임상 실습과 유사한 행동 대응

Behavioral responses with parallels to clinical practice


회색 사례에 의해 촉발된 불확실성에 대응하여, 우리 학생들은 답을 결정하기 전에 주로 [추가 데이터(예: 추가 연구의 이론적 요청)의 축적을 통해 확실성을 추구하는 것]을 묘사했다. 유사한 연구 결과가 실무 임상에서 보고되며, [불확실성에 대한 낮은 내성]이 [부적절한 검사의 과다한 오더]와 관련이 있다(Allman et al. 1985; Van der Weijden et al. 2002; Lysdahl and Hofmann 2009). 우리 학생들은 또한 불확실성에 대응하여 전문가들에게 판단을 맡기는 것을 설명했지만, 비록 이러한 행동의 적절성이 종종 분명하게 표현되지는 않았다. 마찬가지로 임상 환경에서 불확실성의 낮은 내성은 1차 진료의사의 의뢰referral가 증가하고 환자 및 다른 의사에게 불확실성을 공개하기를 꺼리는 것과 관련이 있다(Forrest et al. 2006). 

In response to uncertainty fueled by grey cases, our students described seeking certainty, largely through the accumulation of additional data (e.g. theoretical requests of further investigations), before committing to answers. Similar findings are reported in practicing clinicians, where poor tolerance of uncertainty is linked to over-ordering of inappropriate investigations (Allman et al. 1985; van der Weijden et al. 2002; Lysdahl and Hofmann 2009). Our students also described deferring to experts in response to uncertainty, although the appropriateness of this behavior was not often articulated. Similarly, in clinical settings, low tolerance of uncertainty is associated with increased referrals from primary care physicians and a reluctance to disclose uncertainty to their patients and other physicians (Forrest et al. 2006). 


임상 전 의대생들은 아직 조사 명령이나 전문의 의뢰서 작성에 대한 책임이 없지만 일단 임상적 배치를 시작하면 이러한 행동을 관찰할 것이다. 임상 전 단계에서 불확실성(예: 회색 사례) 상황에서 의사결정에 의도적이고 계획적으로 직면하게끔 하고, 노출시키는 것은 (임상 환경에서 불확실성에 대한 부정적인 반응을 경험하거나 관찰하기 전에의료의 불확실성에 대한 학생들의 인식과 불확실성에 대한 그들 자신의 내성을 촉진하기 시작할 수 있다

Although preclinical medical students are not yet responsible for ordering investigations or writing specialist referrals, they will be observing these behaviors once they begin clinical placements. Intervention at the preclinical stage through purposeful and planned exposure to decision-making in the face of uncertainty (e.g. grey cases) may begin to facilitate students’ awareness of uncertainty in healthcare, and their own tolerance of uncertainty, before they start to experience and/or observe negative responses to uncertainty in clinical settings.


연구의 방법론적 강점과 과제

Methodological strengths and challenges of the study


교육적 시사점

Educational implications


우리의 연구결과는 [교육]이 학생들의 불확실성 허용에 영향을 미치는 [학습 환경의 다양한 측면]과 함께 불확실성의 내성에 대한 놀라운 조정자일 수 있음을 시사한다(그림 3). 그러므로 교육자들은 심지어 전통적으로 내용이 많은 과학 과정에도 불확실성 패러다임의 내성을 기존 커리큘럼에 포함시키려 노력하는데 자신감을 느껴야 한다.

Our findings suggest that education may be a formidable moderator of tolerance of uncertainty, with multiple aspects of the learning environment impacting student tolerance of uncertainty (Fig. 3). Therefore, educators should feel confident in trying to incorporate tolerance of uncertainty paradigms into existing curricula, even traditionally content-heavy science courses.



본 연구에서 제시한 불확실성에 대한 교육자의 관용성을 배양하기 위한 실질적인 접근방법은 

    • (1) 모호성이 존재하는 곳을 인정하는 것, 

    • (2) 학생의 질문에 대한 답이 알려지지 않았음을 인정하는 것, 그리고 답을 얻기 어렵거나 얻을 수 없는 이유를 설명하기 위해 근거를 사용하는 것

    • (3) 관련된 맥락에서 토의를 하면서, 더 가능성이 높은 쪽으로 학생들을 안내하는 것 등이다. 

Practical approaches for educators to foster students’ tolerance of uncertainty suggested by this research include: 

    • (1) Acknowledging where ambiguity is present; 

    • (2) Admitting when an answer to a student’s question is unknown, and using evidence to explain why the answer is difficult or unable to be obtained; and 

    • (3) Guiding students toward likely answers with a discussion of relevant context. 


팀워크가 불확실성의 내성에 미치는 긍정적인 영향을 고려한다면, 교육자들은 모호한 환경에서 학생들 사이에서 팀워크가 어떻게 장려될 수 있는지(예: 모호한 질문이 있는 팀 기반 능동적 학습)도 고려할 수 있다.

Given the positive impact that teamwork appeared to have on tolerance of uncertainty, educators might also consider how teamwork could be encouraged amongst students in ambiguous settings (e.g. team-based active learning with ambiguous questions).


임상 해부학 그레이 케이스는 해부학 내용과 미래의 임상 실습을 연결하는 맥락에서 불확실성에 대한 학생 내성을 촉진하는 이상적인 방법일 수 있다. 이러한 접근방식은 학생들의 초기 부정적 정서적 반응과 관련될 수 있지만, 우리는 각 단계의 주요 진행자를 고려하여 불확실성에 대한 학생들을 소개하는 단계별 접근법을 장려할 것이다. 

Clinical anatomy grey cases may be an ideal way of facilitating student tolerance of uncertainty in a context linking anatomy content to future clinical practice. While this approach may be associated with an initial negative emotional response in students, we would encourage a step-wise approach to introducing students to uncertainty, with consideration of key moderators at each stage. 


예를 들어, 불확실성은, 학생들이 개별적인 책임을 갖는 상황으로 transition하기 전에, 팀 기반 학습 환경에서 익명성이 유지되거나(온라인 토론 포럼에서와 같이) 지식의 책임이 팀 간에 분산되어 있는(기부자 해부 및 팀 기반 능동적 학습에서처럼) 상황에서 가장 잘 도입introduce될 수 있다.

For example, uncertainty may be best introduced in a team-based learning environment, where either anonymity is maintained (as in online discussion forums) or where responsibility for knowledge is dispersed amongst the team (as in donor dissection and team-based active learning), before transitioning to settings where students have individual responsibility for answers (e.g. call-out in class or individual responses required online). 


마지막으로 본 연구에서 임상 해부학 학습에 회색 사례가 사용되었지만, 회색 사례가 다른 분야에 적응할 수 있는 범위가 있다. 중요한 것은 이러한 사례들이 효과적인 의료 실무에 필요한 규율 기반 콘텐츠 지식과 불확실성의 내성 개발 사이에 미세한 균형을 가능하게 하는 것으로 보인다.

Finally, although grey cases were used in this study for clinical anatomy learning, there is scope for grey cases to be adapted to other disciplines. Importantly, these cases appear to allow for a fine balance between discipline-based content-knowledge and developing tolerance of uncertainty, both of which are needed for effective healthcare practice.




미래 연구 Future research


결론 Conclusions


Hillen, M. A., Gutheil, C. M., Strout, T. D., & Smets, E. M. (2017). Tolerance of uncertainty: Conceptual analysis, integrative model, and implications for healthcare. Social Science and Medicine, 180, 62–75.













. 2020 May 6.
 doi: 10.1007/s10459-020-09971-0. Online ahead of print.

Exploring the impact of education on preclinical medical students' tolerance of uncertainty: a qualitative longitudinal study

Affiliations 

Affiliations

  • 1Centre for Human Anatomy Education, Department of Anatomy and Developmental Biology, Monash University, Room 168, 10 Chancellors Walk, Clayton, VIC, 3800, Australia.
  • 2College of Science, Health, Engineering and Education (SHEE), Murdoch University, Murdoch, WA, Australia.
  • 3Monash Centre for Scholarship in Health Education (MCSHE), Faculty of Medicine, Nursing and Health Sciences, Monash University, Clayton, VIC, Australia.
  • 4Centre for Human Anatomy Education, Department of Anatomy and Developmental Biology, Monash University, Room 168, 10 Chancellors Walk, Clayton, VIC, 3800, Australia. michelle.lazarus@monash.edu.
  • 5Monash Centre for Scholarship in Health Education (MCSHE), Faculty of Medicine, Nursing and Health Sciences, Monash University, Clayton, VIC, Australia. michelle.lazarus@monash.edu.

Abstract

Tolerance of uncertainty, a construct describing individuals' responses to perceived uncertainty, has relevancy across healthcare systems, yet little work explores the impact of education on medical students' tolerance of uncertainty. While debate remains as to whether tolerance of uncertainty is changeable or static, the prevailing conceptual healthcare tolerance of uncertainty model (Hillen et al. in Soc Sci Med 180:62-75, 2017) suggests that individuals' tolerance of uncertainty is influenced by so-called moderators. Evidence regarding education's role as a moderator of tolerance of uncertainty is, however, lacking. Preliminary work exploring medical students' professional identity formation within anatomy learning identified tolerance of uncertainty as a theme warranting further exploration. Extending from this work, our research question was: How does the anatomy education learning environment impact medical students' tolerance of uncertainty? To address this question, qualitative data were collected longitudinally across two successive cohorts through online discussion forums during semester and end of semester interviews. Framework analysis identified five stimuli of uncertainty, four moderators of uncertainty, and cognitive, emotional and behavioral responses to uncertainty with variable valency (positive and/or negative). Longitudinal data analyses indicated changes in stimuli, moderators and responses to uncertainty over time, suggesting that tolerance of uncertainty is changeable rather than static. While our findings support the Hillen et al. (Soc Sci Med 180:62-75, 2017) model in parts, our data extend this model and the previous literature. Although further research is needed about students' development of tolerance of uncertainty in the clinical learning environment, we encourage medical educators to incorporate aspects of tolerance of uncertainty into curricular and learning environments.

Keywords: Ambiguity; Anatomy; Medical education; Qualitative longitudinal research; Tolerance; Uncertainty.


의학교육에서 불확실성을 해결하기 위한 철학적 접근(Acad Med, 2019)

A Philosophical Approach to Addressing Uncertainty in Medical Education

Mark R. Tonelli, MD, MA, and Ross E.G. Upshur, MD, MA, MSc




의학의 실천에 필수적인 불확실성을 인정하고 받아들이도록 학생들에게 가르치는 것은 대학원 이전과 후기 의학 교육의 목표가 되어야 한다. 확실성이 중시되고 기대되는 생물학이나 물리과학을 전공한 북미의 의대생 대다수가 직업적 불확실성에 직면할 수밖에 없었던 것은 아닌지 의심스럽다.

Teaching students to acknowledge and accept uncertainty, essential for the practice of medicine, should be a goal of both pre- and postgraduate medical education. We suspect that the majority of medical students in North America, having majored in the biologic or physical sciences, where certainty is valued and expected, have not been forced to confront professional uncertainty.


  • 확실성은 지식이나 이해가 자신 있는 임상적 의사결정을 하기에 충분하지 않은 상황을 설명하는 반면, 

  • 호성은 다수의 임상적 선택이 동등하게 합리적으로 보인다는 것을 암시한다.

  • Uncertainty describes situations where knowledge or understanding is insufficient to allow for confident clinical decision making, whereas 

  • ambiguity implies that multiple clinical choices appear equally reasonable.


임상의사들 사이의 모호성과 불확실성의 낮은 내성은 자원 사용의 증가와 의사소통 기술 부족과 관련이 있다.3 의대생들의 불확실성에 대한 낮은 내성은 또한 더 높은 수준의 심리적 고통과 관련이 있다.4

Intolerance of ambiguity and uncertainty among clinicians is associated with increased resource use and poor communication skills.3 Medical students’ intolerance of uncertainty has also been associated with higher levels of psychological distress.4


임상 의학의 불확실성은 진단에서 치료 결정에 이르기까지 임상 실습의 모든 부분에 영향을 미치는 다양한 형태로 나타난다.6 철학적으로 분류하면 임상적 불확실성은 다음과 같을 수 있다 

  • 덕적(예: 죽어가는 환자를 위해 옳은 것은 무엇인가?), 

  • 형이상학적(예를 들어 건강하다는 것은 무엇을 의미하는가?)

  • 식론적(예: 이 약이 이 환자에게 도움이 되기보다 더 많은 해를 끼칠 것이라는 확신이 있을 정도로 충분히 알고 있는가?)

Uncertainty in clinical medicine comes in a variety of forms, affecting all parts of clinical practice, from diagnosis to treatment decisions.6 Categorized philosophically, clinical uncertainty may be 

  • moral (e.g., What is the right thing to do for a dying patient?), 

  • metaphysical (e.g., What does it mean to be healthy?), or 

  • epistemic (e.g., Do I know enough to have confidence that this medication will do more harm than good for this patient?).


도덕적 불확실성생명 유지 치료의 철회, 장기 기증 기준, 부족한 자원의 할당과 같은 문제들을 특징짓는다. 그러한 문제들을 중심으로 20세기 중반에 시작된 도덕적 고통의 고조된 감각에 대처하기 위해 임상 의학은 윤리학자와 신학자의 형태로 철학자 쪽으로 방향을 돌려 문제를 명확히 하고 이러한 도덕적 불확실성의 일부를 완화시켰다.7 전체 학문 분야인 생명윤리학이 발달하여 의료교육과 통합되어 있다. 생명윤리학은 도덕적 불확실성을 다루었지만, 형이상학적, 인식론적 불확실성을 다루는 데 있어 학생과 임상의에게 별로 도움이 되지 않았다.

Moral uncertainty characterizes issues such as withdrawal of life-sustaining treatments, organ donation criteria, and allocation of scarce resources. To deal with the rising sense of moral distress that began in the mid-20th century around such issues, clinical medicine turned to philosophers, in the form of ethicists and theologians, to help clarify matters and to alleviate some of this moral uncertainty.7 An entire academic field, bioethics, developed and remains integrated with medical education. While addressing moral uncertainty, bioethics has been of little help to students and clinicians in dealing with metaphysical and epistemic uncertainty.


형이상학적 불확실성은 임상 의학에 침투하지만 실천 과정에서 거의 표현되지 않는다

  • 질병은 무엇으로 정의되는가? 통계적 이상, 기능적 상태 또는 환자 경험?

  • 어떤 사람이 병에 걸렸지만 여전히 건강하다고 여겨질 수 있을까? 

  • 임상 의학은 치료, 기능 회복, 기관 회복이 목표인가? 

Metaphysical uncertainty permeates clinical medicine but is rarely articulated in the course of practice. 

  • Is disease defined by statistical aberration, functional status, or patient experience? 

  • Can one have a disease and yet still be considered healthy? 

  • Does clinical medicine aim to cure, to restore function, or to restore agency? 


형이상학적 불확실성은 치유자 직업에서 다양한 사상의 학파들 사이의 논쟁에 종종 반영된다. 예를 들어, 자연병증(개체 내에서 질병의 발현을 발생으로 보는 경향이 있음)과 동종 요법의학(개체와는 독립적으로 질병이 존재하는 것으로 보는 경우)의 기초는 형이상학적으로 다르다.

Metaphysical uncertainty is often reflected in debates between various schools of thought in the healing professions. For instance, the underpinnings of naturopathy (which tends to view manifestations of disease as occurrences within an individual) and those of allopathic medicine (where disease is viewed as existing independently of individuals) differ metaphysically.8


이러한 가정을 더 잘 이해하면(입증 가능한 진리가 아닌 가정을 나타낸다는 단순한 인식이라도) 임상의사가 다음을 처리하는 데 도움이 될 것으로 예상된다. 

  • 질병의 새로운 진단 및 재분류 불확실성 

  • 질병에 대한 연구 방법론과 이론 사이의 관계 

  • 병, 장애, 건강에 대한 환자의 개념의 중요성 

A better understanding of these assumptions (even simply the recognition that they represent assumptions, not demonstrable truths) would be expected to help clinicians deal with 

  • the uncertainty of new diagnoses and reclassification of diseases; 

  • the relationship between research methodologies and theories of disease; and 

  • the importance of the patient’s conception of illness, disability, and health. 


의사-철학자 둘 다인 설리번과 캐셀은 [건강과 질병의 본질에 대한 새로운 이해]가 만성질환과 다중질환의 시대에 환자를 돌보는 임상의들에게 중요하다고 주장한다. 이 보다 깊은 형이상학적 이해의 이점은 환자와 의사에게 똑같이 부여될 것이라고 각각 주장한다.

Sullivan9 and Cassell,10 both physician–philosophers, assert that a new understanding of the nature of health and disease is crucial for clinicians caring for patients in an era of chronic illness and multimorbidity. The benefits of this deeper metaphysical understanding, each argues, would confer upon patients and physicians alike.


우리는 매일 임상의들이 직면하는 불확실성의 대다수는 인식론적이라 주장한다. 즉, 불확실성은 의료적 의사결정에 도달하는 다양한 원천에서 도출된 지식을 얻고, 이해하고, 평가하고, 적용하는 데 있어 많은 어려움과 관련이 있다.

We assert that the majority of the uncertainty faced by clinicians on a day-to-day basis is epistemic; that is, the uncertainty is related to a great number of challenges in obtaining, understanding, weighing, and applying knowledge derived from a variety of sources in reaching medical decisions.


인식론적 불확실성이 만연하며 진단, 예후 및 치료적 선택과 같은 임상 의사 결정의 모든 차원에 영향을 미친다. 다음의 것들은 모두 인식론적 불확실성의 현대적 원천으로 인한 도전과제이다.

  • 개별 환자에게 임상 연구 결과 적용 

  • (때로는 상충되는) 정보, 지침 및 원칙의 여러 출처 처리 

  • 의학적인 결론에서 어떤 수준의 자신감을 가지고 전달해야 하는지를 결정

Epistemic uncertainty is pervasive and affects all dimensions of clinical decision making: diagnosis, prognosis, and therapeutic choice.11 The challenge of 

  • applying clinical research results to individual patients; 

  • dealing with multiple sources of (at times conflicting) information, guidelines, and principles; and 

  • determining what level of confidence to have and convey in a medical conclusion 

...are all contemporary sources of epistemic uncertainty in medicine.


개인의 가변성variability에 대한 이해가 높아져도 문제를 해결할 수는 없을 것이다. 정밀 의학의 출현으로 불확실성이 완화되기보다는 증가하였기 때문이다.

Nor will a better understanding of individual variability solve the problem, as the advent of precision medicine adds to, rather than mitigates, uncertainty.13,14


단순한 수용보다는, 목표는 불확실성의 다양한 종류와 출처를 이해하고, 가능한 최선의 결정을 내릴 수 있는 전략을 개발하는 데 있어 미래의 임상의들을 돕는 데 초점을 맞추어야 한다.

Rather than simple acceptance, the goal should center on aiding future clinicians in understanding the various kinds and sources of uncertainty and in developing strategies to make the best possible decisions regardless.


의학 교육에 의학의 철학을 도입하다

Introducing the Philosophy of Medicine Into Medical Education


의료행위에 직접적인 영향을 미치는 불확실성의 유형을 명확히 하는 것이 학생들에게 유용할 것이다.16

Clarifying the types of uncertainty that directly impact practice would be useful for students.16


우리는 의대생들을 위해서 의학철학에서 필수과목으로 해야한다고 주장하지는 않는다. 붐비는 의료 교육과정에서 충분한 시간을 찾는 것은 어려운 일이 될 뿐만 아니라, 임상 전 학생들은 아직 실무에서 불확실성에 대한 직접적인 경험이 없기 때문에 대부분의 혜택을 받을 수 있는 위치에 있지 않을 것이다. 실용적으로 보자면, 우리는 대부분의 북미 의과대학과 교수 병원에서 현재의 커리큘럼 이니셔티브(아래 구체적인 예시)의 일부로서 불확실성과 관련된 의학의 철학을 공식적으로 포함시킬 것을 제안한다.

We do not advocate a required course in the philosophy of medicine for undergraduate medical students. Not only would finding sufficient time in a crowded medical curriculum be a challenge, but preclinical students would not be in a position to most benefit, as they do not yet have any direct experience with uncertainty in practice. Being pragmatic, we suggest the formal inclusion of the philosophy of medicine related to uncertainty as part of current curricular initiatives (specific examples below) in most North American medical schools and teaching hospitals.


전문 철학자들 사이에서는 공감대가 형성되기 어려울 수 있지만, 현재는 공감대가 형성되는 분야도 있다. 예를 들어, 일반적 합의에 따르자면 인구 수준 연구에서 얻은 연구 결과만으로는 개별화된 치료 20을 제공하는 데 기초로 불충분하며, 질병의 정의는 malleble하고 종종 가치의존적value-laden하다는 것을 인정한다.21 공감대를 형성하고 집중함으로써 학생들에게 실용적이고 유용한 철학적 교육을 제공할 수 있어 이러한 훈련의 가치를 강화할 수 있다. [인식론적 및 형이상학적 불확실성]의 분석에 필요한 어휘와 방법론을 의대생과 임상의에게 가르치는 것은 윤리적 숙고의 도덕적인 어휘와 틀을 가르치는 것만큼 중요할 것이다. 철학자들은 관심 있는 의사 챔피언들과 협력할 필요가 있을 것이다. 이는 임상 의학의 난제를 이해하고 이러한 문제에 대한 철학적 분석을 임상의들에게 의미 있는 방법으로 해석하도록 돕기 위함이다.

Although consensus may be hard to reach among professional philosophers, currently there are some areas of agreement. General consensus acknowledges, for instance, that findings from population-level studies alone are an inadequate basis for providing individualized care20 and that definitions of disease are malleable and often value laden.21 By focusing and building on areas of consensus, students can be provided with a philosophical education that is practical and useful, reinforcing the value of such training. Teaching medical students and clinicians the vocabulary and methodologies necessary for the analysis of epistemic and metaphysical uncertainty will be as important as teaching the moral vocabulary and framework of ethical deliberation. Philosophers will need to partner with interested physician champions, both to understand the challenges in clinical medicine and to help translate the philosophical analyses of these issues to clinicians in a meaningful way.


시작점

Places to Begin


현대 의학 교육의 다음 4가지 특정 영역을 의료행위의 철학적 기초를 탐구하고 인식적 불확실성을 완화하기 위한 올바른 합리화 접근법을 도입하기 위한 이상적인 출발점으로 권고한다.

We recommend the following four specific areas of contemporary medical education as ideal starting places to explore the philosophical underpinnings of medical practice and to introduce well-reasoned approaches for mitigating epistemic uncertainty.


역학/증거 기반 의약품 모듈

Epidemiology/evidence-based medicine modules


증거 기반 의학(EBM)은 대부분의 의과대학과 레지던트 프로그램이 역학 및/또는 의학 문헌 사용법에 대한 전용 단위를 추가함으로써 커리큘럼을 증가시키는 등 의료 교육에 심대한 영향을 끼쳤다. 기본적인 역학적 이해는 의료행위에 확실히 필요하지만, 의료지식 조성과 개별 환자에 대한 응용을 위한 인구수준 연구의 한계에 대한 이해도 역시 마찬가지다. 역학적 불확실성은 의학에서 인식론적 불확실성의 주요 근원을 나타낸다.6 인구 기반 연구에 대한 지나치게 집중하면 특정 개인에 대한 최선의 결정에 도달하기 위해 종종 요구되는 mechanistic한 지식이나 경험적인 지식을 평가절하하는 경향이 있다. 임상의사가 훈련을 통해 진척됨에 따라 임상연구만으로는 다양한 이유로 실패하는 사례가 점점 더 많이 경험한다. 현재 의학교육은 인구 수준 연구에서 도출된 역학적 방법과 지식에 초점을 두면서, [직접적인 임상 경험의 결과로 발달한 지식]이나 [생물학적 원리와 병태생리학을 이해하는 것]보다 낮은 것으로 평가절하하는 경향이 있다.

Evidence-based medicine (EBM) has had a profound impact on medical education, with most medical schools and residency programs augmenting their curricula with the addition of dedicated units on epidemiology and/ or how to use the medical literature. Basic epidemiological understanding is certainly necessary for medical practice, but so too is the understanding of the limitations of population-level research for the generation of medical knowledge and application to individual patients. Epidemiological uncertainty represents a major source of epistemic uncertainty in medicine.6 Too narrow a focus on population-based research tends to devalue the mechanistic and experiential knowledge that is often required to arrive at the best decision for particular individuals. As clinicians progress through training, they may face more and more cases where clinical research fails them for any of a variety of reasons. The current focus of medical education on epidemiologic methods and knowledge derived from population-level research tends to devalue knowledge that develops as the result of direct clinical experience and from understanding biologic principles and pathophysiology.


학부연구연수

Undergraduate research training


우리(R.U) 중 한 명이 '불확실성 이해'라는 학부 건강과학 연구 모듈을 위해 세미나와 자습서를 만들었다. 이 세미나는 윌리엄 오슬러 경이 인용한 "의학은 불확실성과 확률의 기술"이라는 격언을 바탕으로 구성된다.25 세미나는 증거와 불확실성의 관계를 설명하는 비디오 강의를 사용한다. 의학사(특히 헬리코박터균의 발견이 소화성 궤양의 원인)의 예를 들어 의학적 증거의 내재적 잠정성을 강조하고 학생들이 지속적인 학습을 유지해야 하는 규범적 요건으로 이끈다. 그 세미나는 인식론(특히 오류론의 개념*)과 의료윤리 사이의 상호 강화 관계를 보여준다. 발레리 미케의 [증거 윤리에 대한 두 가지 의무]로 마무리된다.

One of us (R.U.) created a seminar and tutorial for the undergraduate health science research module called Understanding Uncertainty. The seminar builds on Sir William Osler’s oft-quoted dictum that “Medicine is a science of uncertainty and the art of probability.”25 The seminar uses a video lecture that explains the relationship between evidence and uncertainty. Using examples from the history of medicine (particularly the discovery of Helicobacter pylori as the cause of peptic ulcers), it emphasizes the inherent provisional nature of medical evidence and leads students to the normative requirement to maintain continuous learning. The seminar shows the mutually reinforcing relationship between epistemology (particularly the idea of fallibilism*) and medical ethics. It concludes with Valerie Miké’s26 two imperatives for an ethics of evidence:


1. 의료 의사 결정의 모든 단계의 기초로서 가능한 최선의 과학적 증거를 작성, 배포, 사용하고,

1. to create, disseminate, and use the best possible scientific evidence as a basis for every phase of medical decision making, and


2. 불확실성의 범위와 궁극적으로는 환원불가한 성질에 대한 인식을 높이고 이를 수용한다.

2. to increase awareness of, and come to terms with, the extent and ultimately irreducible nature of uncertainty.


*Fallibilism은 우리의 모든 과학적 신념이 불확실하고 새로운 발전에 비추어 수정될 수 있다는 것을 고수하는 인식론적 접근법이다. https://www.iep.utm.edu/fallibil을 참조하십시오.

*Fallibilism is an epistemological approach that holds that all of our scientific beliefs are uncertain and subject to revision in light of new developments. See https://www.iep.utm.edu/fallibil.


임상 의학 소개

Introduction to clinical medicine


불확실성에 대한 접근은 임상 의학 강좌의 도입부에서 유용하게 가르쳐질 수 있으며, 침상 교육을 통해 강화된 개념을 가르칠 수 있다. 특히 형이상학적 불확실성은 일단 학생들이 환자에 손을 대기 시작하면 표면화된다. 질병에 걸린 사람과 처음 마주치는 것은 질병의 본질과 질병의 의미에 대한 질문을 자연스럽게 불러일으킨다. 환자를 처음 경험하는 것은 환자의 경험에 대한 공감적 검사examination를 장려한다.

Approaches to uncertainty can usefully be taught in the introduction to clinical medicine course, and the concepts reinforced through bedside teaching. Metaphysical uncertainty, in particular, rises to the fore once students begin to lay hands on patients. Initial encounters with persons who are ill naturally engender questions about the nature of illness and the meaning of disease. Experiencing patients for the first time encourages an empathetic examination of the experience of patients.


의학 교육에서 임상 의사 결정의 기초에 대한 명시적 논의가 항상 강조되는 것은 아니지만, 임상 실습에서 직관력과 경험의 중요한prominent 역할은 학생들이 전문가로 최종적인 발전을 촉진하도록 초기에 분명히 해야 한다.28 [경험적 접근과 직관]의 [중요성과 편재성ubiquity]을 인정하면 그러한 임상 평가에 부적절하게 개입할 수 있는 잠재적 편견을 명시적으로 논의할 수 있다.29

Explicit discussions of the bases of clinical decision making are not always emphasized in medical education, but the prominent role of intuition and heuristics in clinical practice should be made clear to students early on to facilitate their eventual development into experts.28 Acknowledging the importance and ubiquity of heuristics and intuition also allows for explicit discussion of potential biases that may inappropriately enter into such clinical assessments.29


전문직업성 Professionalism


많은 의대와 대학원 연수 프로그램들은 비록 최고의 모델이 여전히 문제시되긴 하지만, 훈련생들의 전문성을 기르기 위해 보다 적극적으로 접근해왔다. 불확실성의 전체 범위를 수용하고 이해하는 것은 의료 행위를 이해하는 데 매우 중요하다. 따라서 의료전문가의 전문직업성에는 의료지식의 한계와 모든 의료결정의 확률론적 성격을 인정하는 것이 포함된다. 의료 훈련생들에게 전문적인 행동을 심어주기 위한 시책은 종종 지나치게 권위적이거나 가부장적인 관행을 수반하는 잘못된 확신의 위험성을 지적하는 것이 좋을 것이다. 

Many medical schools and postgraduate training programs have taken a more active approach to developing professionalism in trainees, although the best model for doing so remains in question.30 Embracing and understanding the full extent of uncertainty is critical to the understanding of the practice of medicine; thus, clinicians’ professionalism includes acknowledging the limits of medical knowledge and the probabilistic nature of all medical decisions. Initiatives to instill professional behavior in medical trainees would do well to point out the perils of false certainty that often accompany overly authoritative or paternalistic practice. 


일부 사람들은 불확실성을 지나치게 강조하면 의사와 환자의 신뢰도에 대한 환자와 사회의 신뢰를 떨어뜨리거나 규제 당국과 과실치상 주장을 더 많이 불러올 수 있다고 주장할 수 있다. 우리는 불확실성을 무시하고 거짓된 자신감과 자신감에 따라 행동하는 데 더 큰 위험이 있다고 본다. 불확실성을 인정하는 것은 [의사의 오류가능성]과 [의사들이 불가피하게 의지할 수 밖에 없는 지식의 오류]를 강조한다. Marcum은 "인식론적으로Epistemically 도덕적인" 임상의의 중요성을 주장해왔다. 그런 의사의 중요한 지적 미덕은 지적 겸손뿐만 아니라 호기심, 용기, 정직도 포함한다. 불확실성은 의료 교육에서 이러한 덕목을 배양해야 한다. 불확실성을 이해하면 전문성을 높일 수 있다.

Some may argue that too much emphasis on uncertainty will undermine the confidence of the patient and society in the credibility of physicians or may also invite more oversight from regulatory authorities and malpractice claims. Our view is that there are greater hazards to ignoring uncertainty and acting on false confidence and self- certainty. Acknowledging uncertainty underscores the fallibility of physicians and of the knowledge that they must, of necessity, rely on. Marcum31 has argued for the importance of an “epistemically virtuous” clinician. The important intellectual virtues of such a physician include curiosity, courage, and honesty as well as intellectual humility. Uncertainty necessitates the cultivation of these virtues in medical education; understanding uncertainty may facilitate professionalism.



의학의 철학을 의학 교육에 도입하는 것의 중요성

The Importance of Bringing the Philosophy of Medicine Into Medical Education


반세기 전, 의학 교육은 철학자와 신학자들의 유입과 투입으로 인해 임상 실습에서 도덕적 불확실성을 해소하고 개선하는데 도움을 주고, 촉진하고, 이익을 얻었다. 임상 의학에서 인식론적, 형이상학적 불확실성의 계속되는 난제는 더 많은 임상 연구로 해결되지 않을 것이다. 의료 교육은 미래의 의사들에게 불확실성을 임상 의학의 일부로 받아들이도록 간청할 뿐만 아니라, 불확실성의 본질에 대한 통찰력과 실무에 스며드는 인식론적 도전과 형이상학적 가정을 다루기 위한 구체적인 접근법을 제공함으로써 미래의 의사들에게 최선의 서비스를 제공할 것이다.

A half century ago, medical education invited, facilitated, and benefited from the influx and input of philosophers and theologians to help address and ameliorate moral uncertainty in clinical practice. The ongoing challenges of epistemic and metaphysical uncertainty in clinical medicine will not be solved by more clinical research. Medical education would best serve future physicians by not only imploring them to accept uncertainty as part of clinical medicine but also providing them insight into the nature of uncertainty and concrete approaches to dealing with the epistemic challenges and metaphysical assumptions that permeate practice.






. 2019 Apr;94(4):507-511.
 doi: 10.1097/ACM.0000000000002512.

A Philosophical Approach to Addressing Uncertainty in Medical Education

Affiliations 

Affiliation

  • 1M.R. Tonelli is professor of medicine and adjunct professor of bioethics and humanities, University of Washington, Seattle, Washington. R.E.G. Upshur is professor, Department of Family and Community Medicine and Dalla Lana School of Public Health, University of Toronto, Toronto, Ontario, Canada.

Abstract

Conveying the uncertainty inherent in clinical practice has rightly become a focus of medical training. To date, much of the emphasis aims to encourage trainees to acknowledge and accept uncertainty. Intolerance of uncertainty is associated with medical student distress and a tendency in clinicians toward overtreatment. The authors argue that a deeper, philosophical understanding of the nature of uncertainty would allow students and clinicians to move beyond simple acceptance to explicating and mitigating uncertainty in practice.Uncertainty in clinical medicine can be categorized philosophically as moral, metaphysical, and epistemic uncertainty. Philosophers of medicine-in a way analogous to ethicists a half century ago-can be brought into medical education and medical practice to help students and physicians explore the epistemic and metaphysical roots of clinical uncertainty. Such an approach does not require medical students to master philosophy and should not involve adding new course work to an already-crowded medical curriculum. Rather, the goal is to provide students with the language and reasoning skills to recognize, evaluate, and mitigate uncertainty as it arises. The authors suggest ways in which philosophical concepts can be introduced in a practical fashion into a variety of currently existing educational formats. Bringing the philosophy of medicine into medical education promises not only to improve the training of physicians but, ultimately, to lead to more mindful clinical practice, to the benefit of physicians and patients alike.


불확실성의 확실성: 건설적 반응을 가르칠 수 있는가? (Med Educ, 2017)

The certainty of uncertainty: can we teach a constructive response?

Georgina White* & Simon Williams*



불확실성은 '알고 있지 않거나, 신뢰할 수 있지 않거나, 확실하지 않은' 것에 관련된 것으로 정의될 수 있지만, 개념적으로 복잡하거나 낯선 상황에까지 확장될 수 있다.1 불확실성은 지식의 한계, 진단상의 문제, 치료와 예후에 관한 불확실성, 그리고 환자의 반응을 예측하는 어려움에서 발생할 수 있다.2 임상적 불확실성을 이해하고 참으며 적절히 반응하는 의사의 능력이 현대의학 실천에 필수적이라는 것은 분명하다.

uncertainty may be defined as pertaining to something that is ‘not known, reliable, or definite’, but can extend conceptually to any complex or unfamiliar situation.1 Uncertainty may arise from a limitation of knowledge, issues in diagnosis, uncertainty regarding treatment and prognosis, and difficulty in predicting a patient’s response.2 it is clear that the ability of a physician to understand and tolerate clinical uncertainty, and to react appropriately, is essential to modern medical practice.


[불확실성에 대한 낮은 수준의 내성]은 불필요한 검사의 증가와 관련이 있는데, 이는 경제적 비용을 초래하고 환자에게는 잠재적으로 불쾌감을 줄 수 있다.3,4 여러 연구는 불확실성에 대한 낮은 내성은 불안과 소진의 증가, 증거 기반 가이드라인의 미준수, 소송에 대한 공포, 어려운 환자-의사 관계와 관련이 있다. 반면에 불확실성에 대한 높은 내성은 리더십 능력 향상과 관련이 있다.

a low level of tolerance for uncertainty is associated with increased and unnecessary investigations, which incur economic costs, as well as being intrusive and potentially unpleasant for the patient.3,4 Several publications have associated intolerance of uncertainty with increased rates of anxiety and burnout, failure to adhere to evidence-based guidelines, fear of litigation, and difficult doctor– patient relationships.5,6 By contrast, a high tolerance for uncertainty has been associated with greater leadership abilities.7


Geller 외 al.2는 불확실성에 대한 의대생들의 반응이 가단성이 있다고 제안한다

  • 모호성에 대한 내성이 높은 학생들은 불확실한 상황을 수용하고, 이를 반영하고, 배우고, 발전시킬 수 있으며, 이는 불확실성을 다루는 데 더 관대하고 능숙하게 만든다. 

  • 대조적으로, 불확실성에 대해 내성이 낮은 학생들에게는 부정적인 피드백 루프가 존재할 수 있다. 학생들은 불확실성을 적극적으로 피하고 불확실한 상황에 덜 관대해진다.6

Geller et al.2 suggest that medical students’ responses to uncertainty are malleable: 

  • students with a high tolerance of ambiguity embrace uncertain situations and are able to reflect, learn and develop, which makes them more tolerant of and adept at handling uncertainty. 

  • By contrast, a negative feedback loop may exist for students who are intolerant of uncertainty, whereby they actively avoid uncertainty and become less tolerant of uncertain situations.6


불확실성에 대한 건설적인 대응을 가르치는 것은 불안과 소진의 가능성을 감소시킬 수 있고 부적응적인 반응을 줄이는 데 도움이 될 수 있다. 루터와 크랜달은 다음과 같이 쓰고 있다: '...모호함은 그 자체로는 문제가 되지 않을 수도 있지만, 그것이 만들어내는 반응은 해로울 수도 있다.'앞에서 지적한 바와 같이 불확실성에 대한 낮은 내성은 불안과 소진율 증가와 관련이 있다.5 학생들의 불안감은 광범위하게 연구되어 왔고 학업 성취도 감소와 지속적으로 관련이 있다.

Teaching a constructive response towards uncertainty may decrease the likelihood of anxiety and burnout and may help to reduce maladaptive responses. Luther and Crandall write: ‘...ambiguity by itself may not be problematic, but the reaction it produces may be detrimental.’8 As previously indicated, an intolerance towards uncertainty is associated with increased rates of anxiety and burnout.5 Anxiety in students has been extensively researched and consistently correlated with reduced academic achievement.9,10


결과 변수로 PRU(의사의 불확실성에 대한 반응) 척도

Physicians’ Reaction to Uncertainty (PRU) instrument as outcome variables,


연구는 불확실성에 대응한 호주 일반실습 교육생들의 두 가지 '피노타입'을 설명했는데, 

  • 감정적('불확실성으로 인한 불안' 또는 '나쁜 결과에 대한 우려') 표현형과 

  • 부적응적('불확실성을 환자에게 공개하기를 꺼려함') 표현형'으로 구성되어 있다.11 

The research described two ‘phenotypes’ of Australian general practice trainees in response to uncertainty, comprising 

  • an affective (high levels of ‘anxiety due to uncertainty’ or ‘concern about a bad outcome’) phenotype and 

  • a maladaptive (‘reluctance to disclose uncertainty to patients’) phenotype.11 


분명히 부적응적 표현형은 효과적이고 개방적이며 투명한 환자 의사소통에 도움이 되지 않으며, 감정적 표현형은 소진될 염려와 위험을 증가시킬 수 있다. 의료 교육 커리큘럼에 불확실성을 공식적으로 도입함으로써, 이 두 자연적이지만 잠재적으로 피해를 줄 수 있는 불확실성에 대한 반응은 이론적으로 완화되거나 피할 수 있다. 실제로 소그룹 전문과정에서의 강의와 성찰적 글쓰기는 불확실성 관리를 위한 기술개발의 효과적인 방법임이 드러났다.

Clearly, a maladaptive phenotype is not conducive to effective, open and transparent patient communication, and an affective phenotype may increase anxiety and risk for burnout.12 By the formal introduction of uncertainty into the medical education curriculum, these two natural, but potentially damaging, reactions to uncertainty may, theoretically, be mitigated or avoided. Indeed, teaching in small group professionalism courses and reflective writing have been shown to be effective methods of developing skills for managing uncertainty.8,13


불확실성에 대한 건설적인 대응을 가르칠 수 있을까? 불확실성에 대처하는 데 있어서 [가르치는 것teaching]을 실행하는 것은 적절한 방법이 아닐 수도 있다. 어떤 사람들은 불확실성에 대한 자신의 반응을 적응시키는 것이 '숨겨진 교육과정'의 일부라고 제안하며, 경험과 역할모델의 관찰을 통해 달성된다.14 이처럼, 배울 수 없는 것을 가르치려고 시도하는 것은 성과가 없을 수도 있다.

Can we teach a constructive response to uncertainty? Implementing teaching may not be an appropriate way forward in dealing with uncertainty. Some suggest that adapting one’s response to uncertainty is part of the ‘hidden curriculum’ and is achieved through experience and the observation of role models.14 As such, it may be fruitless to attempt to teach the unteachable.


(한 연구에서) 연초만 해도 거의 모든 학생이 자신의 전문적 실력과 신뢰도, 실수할까봐 불안감을 드러냈다. 하지만, 해가 갈수록, 학생들은 다음 단계로 넘어갔다: '...간단히 말해서, 그들은 시간이 지남에 따라 자신의 감정을 더 잘 수습하고, 스스로를 더 잘 안심시킬 수 있게 되었다.'13.

At the beginning of the year, almost every student expressed insecurity regarding his or her professional skills, credibility and fear of making errors. Yet, as the year progressed, the students moved on: ‘...to put it simply, they became more capable of tackling their feelings, and reassuring themselves with time.’13


이는 쿡 외 호주 일반 개업의 연구 결과에서, 연령과 임상 경험으로 인해 불확실성에 대한 부적응 반응이 현저하게 가라앉았으며, 일관되게 초기 훈련 단계에 있을수록 더 높은 불확실성과 지속적으로 관련있는 것으로 밝혀졌다.

This is supported by Cooke et al.’s11 research in trainee Australian general practitioners, in whom a maladaptive response to uncertainty notably subsided with age and clinical experience, and greater uncertainty was consistently found to be related to earlier stages of training.


그렇다면 불확실성에 대한 인식과 대처 전략을 가르치는 것은 어리석은 일일지도 모른다.

Perhaps, then, teaching awareness and coping strategies with regard to uncertainty may be a fool’s errand.


우리는 의학교육 전반에 걸쳐 불확실성이 어디에나 존재하며, 의과대학과 그 직업 전체에 걸쳐 일부 학생과 의사들에게 중대한 고통의 원인이 될 수 있다는 것을 의심할 여지가 없다. 많은 간행물 6,8,13은 [불확실성에 관한 강의의 공식적인 도입]을 요구한 반면, 다른 출판물들은 불확실성에 대한 [적절한 반응이 시간이 지남에 따라 획득된다는 증거]를 제시한다.13,15 현실적으로는 둘의 복잡한 균형을 이룰 가능성이 높다.

We can be in no doubt that uncertainty is ubiquitous throughout a medical education and that it may become a source of significant distress for some students and physicians during medical school and throughout their careers. Numerous publications6,8,13 have called for the formal introduction of teaching regarding uncertainty, whereas others present evidence suggesting that an appropriate reaction to uncertainty is acquired with time.1,13,15 In reality, a complex balance of the two is likely.


의료행위는 불확실하고, 불확실성은 의사가 매일 내리는 판단에 영향을 미친다. 어쩌면 불필요할지도 모르는 검사를 오더할 것인지에 대한 결정은 [학생으로서 수행된 성찰적 세션]에 의해서보다 [의사가 축적해 온 풍부한 경험]에 의해 영향을 받을 가능성이 더 높다.

Medical practice is uncertain, and uncertainty influences the judgements physicians make every day. The decision on whether to order a potentially unnecessary test is more likely to be influenced by the wealth of experience a physician has accumulated than by reflective sessions carried out as a student.


그럼에도 불구하고, 이 논평은 불확실성에 관한 소그룹 가르침과 성찰적 글쓰기의 의학 커리큘럼의 도입이 학생들, 특히 더 큰 지지를 받는 학생들이 모호함과 불안감에 더 잘 대처할 수 있게 해줄 것이라고 믿는 학생들에게 도움이 될 것이라는 데 동의한다.

Nevertheless, this commentary agrees that the introduction to the medical curriculum of small-group teaching and reflective writing regarding uncertainty would benefit students, particularly students who believe greater support would enable them to cope better with ambiguity and anxiety.


필펠 외 연구진 17명은 강사들이 학생들과 이전의 실수를 토론하는 수업은 학생들이 스스로 건설적으로 성찰할 가능성을 높여준다고 제안한다. 이 해설은 역할모델들이 의대생들과 불확실성으로 인해 야기된 문제들을 공개적으로 토론함으로써, 잠재교육과정을 덜 잠재된 것으로 만들어주는 이 교수법을 뒷받침한다.

Pilpel et al.17 suggest that teaching sessions in which instructors discuss their previous mistakes with students improves the likelihood that students will reflect constructively on their own. This commentary supports this teaching method in which role models openly discuss the issues created by uncertainty with medical students, thereby in essence making the hidden curriculum less hidden.


비록 이 논평이 그러한 가르침의 장기적 함의에 대해 주저하고 있지만, 불확실성에 관한 공식적인 가르침의 이행을 지지하는 실질적인 증거가 있다.

There is a substantial body of evidence in support of the implementation of formal teaching regarding uncertainty, although this commentary is hesitant regarding the long-term implications of such teaching.





Comment
 
. 2017 Dec;51(12):1200-1202.
 doi: 10.1111/medu.13466.

The certainty of uncertainty: can we teach a constructive response?

Affiliations 

Affiliation

  • 1Birmingham, UK.


불확실성에 대한 감내 - 다음 의학적 혁명? (NEJM, 2016)

Tolerating Uncertainty — The Next Medical Revolution?

Arabella L. Simpkin, B.M., B.Ch., M.M.Sc, and Richard M. Schwartzstein, M.D




"한 남자가 불확실성, 미스터리, 의심, 사실과 이성에 대한 어떠한 자극도 느끼지 않고 있을 때, 어떤 자질이 [성취의 인간]을 형성하기 위해 갔는지 즉시 나에게 떠올랐다." — 존 키츠, 1817년 12월 1일

“At once it struck me what quality went to form a Man of Achievement . . . when a man is capable of being in uncertainties, mysteries, doubts, without any irritable reaching after fact and reason.” — John Keats, December 1817 1


시인이자 의사였던 존 키츠가 쓴 이 말들은 불확실성이 만연한 회색빛 공간, 즉 흑백도 아닌 공간에서 살기 위한 인간의 투쟁을 상기시킨다. 그러나 우리의 확실성에 대한 추구는 인간 심리학의 중심이며, 그것은 우리를 바르게 안내하기도 하고, 잘못 안내하기도 한다.

These words penned by John Keats, who was a physician as well as a poet, remind us of the human struggle to live in a grayscale space where uncertainty is rife — a space that is neither black nor white. Our quest for certainty is central to human psychology, however, and it both guides and misguides us.


의사들이 불확실성이 존재할 때 합리적으로 인식하고 있지만, 의학 문화는 그것을 인정하고 수용하기를 꺼리는 뿌리 깊은 내성을 자아낸다. 우리의 가르침, 우리의 사례 기반 학습 커리큘럼, 그리고 우리의 연구는 일련의 징후, 증상, 그리고 시험 결과를 해결책으로 통일해야 한다는 개념이다. 우리는 몇 가지 사실을 제시받은 후 차등 진단을 요구하고, 이러한 조건 하에서 인지 편향의 강력한 효과에도 불구하고, 당면한 문제의 해결책에 대해 연습생들에게 "돈을 베팅할 것"을 강요한다. 우리는 너무나도 흔히, 환자의 회색조 서사를 깔끔하게 분류하고 라벨을 붙일 수 있는 흑백 진단으로 변형시키는 데 초점을 맞추곤 한다. 이러한 태도의 의도하지 않은 결과는 임상 추론의 반복적이고 진화적인 성격을 지나치게 단순화시킬 위험에도 불구하고 [정답을 찾으려는 강박관념]이며, 이는 인본주의적이고 개인화된 환자 중심적 치료와 매우 정반대되는 것이다.

Although physicians are rationally aware when uncertainty exists, the culture of medicine evinces a deep-rooted unwillingness to acknowledge and embrace it. Embodied in our teaching, our case-based learning curricula, and our research is the notion that we must unify a constellation of signs, symptoms, and test results into a solution. We demand a differential diagnosis after being presented with few facts and exhort our trainees to “put your money down” on a solution to the problem at hand despite the powerful effect of cognitive biases under these conditions. Too often, we focus on transforming a patient’s gray-scale narrative into a black-and-white diagnosis that can be neatly categorized and labeled. The unintended consequence — an obsession with finding the right answer, at the risk of oversimplifying the richly iterative and evolutionary nature of clinical reasoning — is the very antithesis of humanistic, individualized patient-centered care.


오늘날의 의학에서는 불확실성은 일반적으로 억제되고 무시되며, 의식적으로나 무의식적으로 무시된다. 그것의 억제는 직관적인 의미를 가진다: 불확실해 하는 것은 우리에게 취약성을 느끼게 만든다.

In medicine today, uncertainty is generally suppressed and ignored, consciously and subconsciously. Its suppression makes intuitive sense: being uncertain instills a sense of vulnerability in us —


우리의 프로토콜과 체크리스트는 의학의 흑백적인 측면을 강조한다. 의사들은 종종 불확실성을 표현함으로써 무지를 환자와 동료들에게 투영할 것을 두려워하기 때문에 그것을 내면화하고 가린다. 우리는 여전히 명백한 안보apparent security의 세계를 제공하고자 하는 합리주의 전통의 영향을 강하게 받고 있다.

Our protocols and checklists emphasize the black-and-white aspects of medicine. Doctors often fear that by expressing uncertainty, they will project ignorance to patients and colleagues, so they internalize and mask it. We are still strongly influenced by a rationalist tradition that seeks to provide a world of apparent security.


그러나 현실은 의사들이 불완전한 데이터와 제한된 지식을 바탕으로 지속적으로 결정을 내려야 하고, 이는 진단 불확실성을 초래하며, 치료에 대한 예측할 수 없는 환자 반응과 이분법적인 것과는 거리가 먼, 건강관리 결과에서 발생하는 불확실성을 함께 고려해야 한다는 것이다. 직관적으로 보자면, 의학계에서 생존을 위한 핵심 요소는 [불확실성에 대한 내성]과 [미지의 것에 대한 호기심]이다. 

Yet the reality is that doctors continually have to make decisions on the basis of imperfect data and limited knowledge, which leads to diagnostic uncertainty, coupled with the uncertainty that arises from unpredictable patient responses to treatment and from health care outcomes that are far from binary. Key elements for survival in the medical profession would seem, intuitively, to be a tolerance for uncertainty and a curiosity about the unknown.


[확실성 추구라는 임무]와 [불확실성이라는 현실] 사이의 갈등에 의해 큰 긴장감이 만들어진다. 불확실성에 대한 의사들의 부적응 반응은 업무와 관련된 스트레스의 원인이 되는 것으로 알려져 있다.2 의사의 불확실성 수용의 어려움은 거짓 양성 결과 또는 이아트로겐성 상해 위험을 수반하는 시험을 과도하게 지시하고 환자로부터 정보를 보류하는 등 환자에 대한 유해한 영향과도 관련이 있다.3 또한, 너무 빨리 확실성을 달성하려고 시도함으로써, 우리는 의사 결정 과정에서 조기 종결 위험을 감수하고, 따라서 우리의 숨겨진 가정과 무의식적인 편견이 더 큰 비중을 갖게 만듦으로써 잠재적 진단 오류의 가능성을 높인다.

Great tensions are created by the conflict between the quest for certainty and the reality of uncertainty. Doctors’ maladaptive responses to uncertainty are known to contribute to work-related stress.2 Physicians’ difficulty in accepting uncertainty has also been associated with detrimental effects on patients, including excessive ordering of tests that carry risks of false positive results or iatrogenic injury and withholding of information from patients.3 In addition, by attempting to achieve a sense of certainty too soon, we risk premature closure in our decision-making process, thereby allowing our hidden assumptions and unconscious biases to have more weight than they should, with increased potential for diagnostic error.


우리의 경험에서, 많은 현재의 의대생들, 디지털 원주민들은 구조, 효율성, 그리고 예측가능성을 추구한다; 그들은 "정답"을 알고 있다고 고집하고, 그러한 정답이 제공되지 못할 때 좌절한다. 이러한 태도는 분명 그들이 불확실성을 위협으로 인식할 가능성을 증가시킨다. 온라인과 전자적으로 정보에 대한 접근의 성장을 고려할 때, 학생들이 그레이 스케일 의학의 세계에서 침대 머리맡에서 보내는 시간을 줄일 수 있으며, 대신 즉각적이고 독특한idiosyncratic 현실보다는 처리되고 일반적인 정보를 흡수하는 화면 앞에서 더 많은 시간을 보낼 수 있다.

In our experience, many current medical students, the digital natives, seek structure, efficiency, and predictability; they insist on knowing “the right answer” and are frustrated when one cannot be supplied. This attitude no doubt increases the likelihood that they will perceive uncertainty as a threat. Given the growth of access to information online and electronically, students can spend less time at the bedside in the gray-scale world of medicine and more time in front of a screen absorbing processed and general information rather than immediate and idiosyncratic realities.


우리의 커리큘럼(공식적, 비공식적, 숨겨진) 평가와 평가는 추리력, 하나 이상의 정답의 가능성, 그리고 환자의 가치에 대한 고려를 강조하기 위해 수정될 필요가 있을 것이다. 교육자들은 "무엇"이 아니라 "어떻게"와 "왜"에 초점을 맞춘 질문으로 시작할 수 있다. 이러한 질문은 [인간의 건강과 질병의 그레이 스케일의 측면을 포용하는 토론], [깔끔하게 분류할 수 없는 측면을 포용하는 자극적인 토론], 그리고 [확실성이 항상 최종 목표는 아니라는 것을 인정]하며, [탐구하려는 호기심]을 장려하고, [불확실성과 함께 편안하게 앉을 수 있는 능력]을 장려한다.

Our curricula (formal, informal, and hidden), assessments, and evaluations will need to be modified to emphasize reasoning, the possibility of more than one right answer, and consideration of our patients’ values. Educators can start by asking questions that focus on “how” and “why,” not “what” — stimulating discussion that embraces the gray-scale aspects of human health and illness, aspects that cannot be neatly categorized, and encouraging students’ curiosity to explore and capacity to sit comfortably with uncertainty, acknowledging that certainty is not always the end goal.


우리의 커리큘럼은 진단을 역동적이고 진화하는 과정으로 인식해야 한다. 즉, 진단은 다중적이고 변화하는 관점을 설명하는 반복적인 과정이다. 우리는 '진단'이 아닌 '가정'에 대해 말할 수 있어야 한다. 그렇게 함으로써 환자와 의사 모두의 기대를 바꾸고 문화의 전환을 촉진할 수 있다.

Our curricula should recognize diagnosis as dynamic and evolving — an iterative process that accounts for multiple, changing perspectives. We can speak about “hypotheses” rather than “diagnoses,” thereby changing the expectations of both patients and physicians and facilitating a shift in culture.


그리고 나서 우리는 의사들에게 과학적 불확실성을 전달하는 방법을 구체적으로 가르칠 수 있는데, 이것은 환자가 진정으로 의사결정에 공유하려면 필수적이다. 그리고 우리는 불확실성을 위협보다는 극복 가능한 도전으로 리프레이밍함으로써 모든 사람의 불편함을 줄일 수 있다.

We can then teach physicians specifically how to communicate scientific uncertainty, which is essential if patients are to truly share in decision making, and we can reduce everyone’s discomfort by reframing uncertainty as a surmountable challenge rather than as a threat.


이러한 커리큘럼 목표를 준수하면서, 학생들에 대한 우리의 평가는 [학생들에게 너무 흔히 항상 정답이 있다는 믿음을 심어주는 흑백 객관식 문제]에서 벗어나 회색조 환경을 반영할 수 있다. 우리는 임상적 추론과 불확실성에 대한 내성을 평가하는 데 초점을 맞출 필요가 있다.

In keeping with these curricular goals, our assessments of students can reflect the gray-scale environment, shifting away from the black-and-white multiple choice questions that are all too common in our exams and that inculcate in students the belief that there is always a right answer. We need to focus on evaluating clinical reasoning and the demonstration of tolerance for uncertainty.


의사로서의 우리의 가치는 불확실성을 안고 살아가는 환자들을 지원해야 하는 회색조 공간gray-scale space에 놓여질 것이다. 즉, 강하고 의미 있는 의사-환자 관계에 필수적인 작업이다.

Our value as physicians will lie in the gray-scale space, where we will have to support patients who are living with uncertainty — work that is essential to strong and meaningful doctor–patient relationships.


교수진으로서, 우리는 학생들에게 불확실해도 괜찮은 의학의 실천을 모델링해야 할 것이다. 아마도 "의학은 불확실성의 과학이며 확률의 기술이다."라고 하는 오스러의 격언을 상기시킬 것이다.4 아이러니하게도, 불확실성만이 확실한 것이다. 확실성은 환상이다.

As faculty, we will have to model for our students the practice of medicine in which it is all right to be uncertain — perhaps reminding ourselves of Osler’s maxim that “medicine is a science of uncertainty and an art of probability.”4 Ironically, only uncertainty is a sure thing. Certainty is an illusion.






. 2016 Nov 3;375(18):1713-1715.
 doi: 10.1056/NEJMp1606402.

Tolerating Uncertainty - The Next Medical Revolution?

Affiliations 

Affiliation

  • 1From the Division of General Internal Medicine, Massachusetts General Hospital (A.L.S.), Harvard Medical School (A.L.S., R.M.S.), and the Division of Pulmonary, Critical Care, and Sleep Medicine, Beth Israel Deaconess Medical Center (R.M.S.) - all in Boston.


소셜미디어와 의학 전문직업성: 논쟁과 나아갈 길(Acad Med, 2014)

Social Media and Medical Professionalism: Rethinking the Debate and the Way Forward

Tara Fenwick, MEd, PhD




의료 협회, 의료 교육자, 연구자 사이에 blog 및 마이크로블로그(트위터), 소셜 네트워크 작업 사이트(Facebook, Myspace), 콘텐츠 공유 사이트(YouTube, Flickr) 등 소셜 네트워킹 미디어의 사용에 대한 토론에 대한 관심이 급증하고 있다.1 의료 서비스 향상을 위한 소셜 미디어의 이점을 제시하는 새로운 연구에도 불구하고 실천, 출판된 문학은 여전히 그것의 인식된 남용에 대한 강한 우려에 의해 지배되고 있다. 이러한 소셜 미디어의 위험은 일반적으로 의료 프로페셔널리즘에 대한 우려로 프레임되며, 소셜 미디어 사용은 직업 윤리의 문제로 논의되고 있다.

A surge of interest in debating the uses of social networking media—blogs and microblogs (Twitter), social net­ working sites (Facebook, Myspace), and content sharing sites (YouTube, Flickr)—is occurring among medical associations, medical educators, and researchers.1 Despite emerging studies that suggest benefits of social media to enhance medical practice, the published literature remains dominated by strong concerns about its perceived abuses. These social media risks are typically framed in worries about medical pro­fessionalism, and social media use is discussed as a matter of professional ethics.


위험 회피에 대한 이러한 강조는 중요하지만, 소셜 미디어에 의해 제공되는 실험과 새로운 가능성을 배제할 수 없다. 온라인 행동을 규제하는 가이드라인에 걸려 있는 역학관계를 재고하고 온라인 전문성을 재고하는 것이 도움이 될 수 있다.

This emphasis on risk avoidance, although important, can foreclose experimentation and the new possibilities afforded by social media. What may be helpful is to reconsider the dynamics at stake in the guidelines that regulate online behavior and to rethink online professionalism.


증거 검사: 소셜 미디어 사용 검토

Examining the Evidence: Reviewing the Use of Social Media


의료행위에 소셜미디어를 사용할 경우 발생할 수 있는 잠재적 위험성이 널리 설명되어 있다.4–6 가장 윗부분은 불경스럽고 차별적인 언어 및/또는 술취하거나 성적으로 노골적인 행동을 묘사하는 내용을 게시함으로써 환자의 기밀성을 훼손하고 의료계에서 공공적 confidence를 침식하는 것에 대한 우려사항이다.7 일부 저자들은 전문가들이 전자 매체를 통해 친구들에게 보내는 개인적인 메시지는 프로페셔널리즘 코드에 따라 면밀히 조사될 수 있다고 경고했다. 비전문성 혐의는 블로그와 연관되어 있으며, 고용주를 비난하는 트윗이 유포되었다.6 온라인 환경에 대한 불감증과 익명성이 언론의 넓은 범위에 의해 즉시 증폭된 부적절한 게시물을 만들어낼 수 있다는 일반적인 우려가 있다.4

The potential risks of using social media in medical practice are widely described.4–6 Uppermost are concerns about compromising patient confidentiality and eroding public con­fidence in the medical profession through posting content that contains profanity, discriminatory language, and/or depictions of intoxication or sexually explicit behavior.7 Some authors have warned that professionals’ personal messages to friends via electronic media can be scrutinized according to codes of profes­sionalism. Charges of unprofessionalism are also linked to blogs and tweets per­ceived to criticize employers.6 There is general concern that a sense of dis inhibition and anonymity in online environments may produce inappropriate postings, amplified immediately by the wide reach of the media.4


이러한 우려에 대응하여, 일부 사람들은 특정한 훈련과 연습을 필요로 하는 뚜렷한 새로운 패러다임으로서 "e­professionalism" 3,8을 주장해왔다. 이러한 최근의 추세에 따라, 새로운 정책들은 소셜 미디어 사용을 규제하고 줄이기 위한 자발적인 행동에 대한 처방을 명시적으로 제시하고 있다.9 예를 들어 영국 종합의사회는 2013년 4월 금지 사항을 강조하는 국가 소셜 미디어 정책을 발표했는데, 이 정책은 어디서나 환자에 대한 식별 가능한 정보를 공유하지 말며, 사회와 직업 관계를 혼용하지 말며, 자신을 의사라고 밝힌다면 어떤 사이트에도 익명의 자료를 올리지 말라는 것이다.

Responding to such concerns, some have argued for “e­professionalism”3,8 as a distinct new paradigm requiring particular training and practice. Following this recent trend, new policies have explicitly set forth prescriptions for nor­mative behavior to regulate and reduce social media use.9 The General Medical Council of the United Kingdom, for example, released a national social media policy in April 201310 that emphasizes the prohibitive: Do not share identifiable information about patients anywhere, do not mix social and professional relations, and do not post anonymous material on any site if you identify yourself as a doctor.


한편, 소셜 미디어가 어떻게 의료 관행을 강화할 수 있는지, 그리고 온라인 프리젠테이션이 어떻게 연대를 촉진하고 전문적 발전과 국가/국제적 연계를 확장시킬 수 있는지를 보여주는 연구들이 지금 나타나고 있다.11–13

Meanwhile, studies are now appearing that show how social media can enhance medical practice and how an online pre­sence can foster collegiality and extend professional development and national/ international linkages.11–13


함과 동료 11은 이 문헌에 대한 범위 지정 검토에서 긍정적인 결과가 보고되는 경향이 있지만, 아직 유의미한 효과성을 보이는 평가는 많지 않다고 결론짓는다. 이러한 증거의 부족은 소셜 미디어의 위험요소가 그것의 이익보다 훨씬 더 큰 관심을 끄는 한 가지 이유일 수 있다.

In their scoping review of this literature, Hamm and colleagues11 conclude that while positive results tend to be reported, there is not yet much evaluation showing significant effective­ness. This lack of evidence may be one reason why social media hazards attract far greater attention than do its benefits.


분명히 소셜 미디어와 의료 직업에 대한 연구 확산에도 불구하고, 더 많은 연구가 필요하다.

Clearly, despite the proliferating studies of social media and medical profession­alism, more research is needed


그리슨과 동료 17은 여전히 문제가 있는 내용의 의사 게시물이 전체 프로파간다 위반 건수의 상대적으로 적은 비율에 불과하며, 이러한 게시물은 온라인 상에서 심각한 오프라인 위반을 나타내는 것일 수 있다고 결론짓는다. 즉, 공동체로서 우리는 문제가 되는 행동이 소셜 미디어의 결과인지 더 자세히 살펴볼 수 있다. (따라서 온라인 활동을 감시하고 의대생들에게 온라인 전문성에 대해 가르치는 것이 최선의 방법인지 살펴봐야 한다) 혹은, 어쩌면 온라인 환경은 (이미 존재하는) 의료 전문직업성의 더 싶은 문제를 그저 좀 더 가시적이고 더 공개적인 문제로 만드는 것일지도 모른다.

Greysen and colleagues17 conclude that physician postings of problematic content still constitute only a relatively small percentage of the total number of profes­sional violations, and that these postings may be online manifestations of serious offline violations. That is, as a community, we might look more closely at whether problematic behaviors are a consequence of social media (and therefore best addressed through policing online activity and teaching medical students about online professionalism) or if, perhaps, the online environment simply makes more visible—and more public—some deeper problems in conceptualizing and actualizing medical professionalism.


프로페셔널리즘 재고

Reconsidering Professionalism(s)


의학적 "온라인 전문성"으로 이해되는 것은? 소셜미디어 문학에서 강조되는 것은 부적절한 개별 게시물에 해당된다. 여기서 우리는 전문직업성을 윤리적인 결정을 내리는 개인의 문제로 본다. 이러한 결정은 교육을 통해 발전하고 윤리 규범을 통해 규율할 수 있는 특정한 직업적 가치에서 도출된 합리적이라고 가정한다.

What is understood to be medical “online professionalism”? The emphasis in the social media literature falls on inappropriate individual postings. Here we see a view of professionalism as a matter of individuals making ethical decisions. The decisions are assumed to be rational, drawn from particular professional values that can be developed through education and disciplined through ethical codes.


점점 더, 오랫동안 지속되어온 이 논쟁은 비판적으로 재고되고 있다. 전통적으로 프로페셔널리즘은 신뢰, 전문 지식, 공직에서의 위험을 관리하는 데 필요한 재량권과 관련된 규범적 가치 체계로 표현되어 왔다.18 그러나 비평가들은 프로페셔널리즘은 존재의 방식이 아니라, 오히려 [직업적 봉쇄와 통제를 보장하기 위해 사용되는 이념적 담론]이라고 주장한다.19

Increasingly, this long­standing assump­tion is being critically reconsidered. Traditionally, professionalism has been represented as a normative value system, associated with trust, specialized knowl­edge, and the discretion needed to manage risk in public service.18 However, critics argue that professionalism is not a way of being; rather, it is an ideological discourse used to ensure occupational containment and control.19


예를 들어, Lewis20은 제도화된 의학("전문직")과 "프로페셔널리즘"의 담론 (프로페셔널리즘은 아직도 개별 임상의들의 가치와 행동에 초점을 맞추는 경향이 있다) 사이의 근본적인 모순을 강조한다. 의료전문직은 전문가 중심, 첨단 기술, 고비용 개입을 강조한다. 때로는 인문학적 환자 치료, 사회 정의 및 민주적 조사를 희생시키기도 한다. 그러나 프로페셔널리즘은 개개인이 이타적 치료와 여러 기관에 대한 의무를 모두 책임지게 한다. 전문성 담론은 개인의 실무자들을 통제하고 이 개인들이 상충되는 요구에 부응하기 위해 시스템을 탐색하는 데 일차적으로 책임을 지도록 함으로써 심오한 시스템 갈등을 억제하는 수사학처럼 잘 작동한다.

For example, Lewis20 highlights the fundamental con­flict between the discourses of institution­alized medicine (the “profession”) and of “professionalism” (which still tends to focus on the values and behaviors of individual clinicians). The profession emphasizes expert­driven, high­tech, high­cost interventions—sometimes at the expense of humanistic patient care, social justice, and democratic inquiry. However, professionalism makes the indi­vidual responsible for both altruistic care and duty to multiple authorities. The professionalism discourse works well as rhetoric to contain deep systemic conflicts by controlling individual practitioners and making these individuals primarily accountable for navigating the system to meet conflicting demands.


게다가, 의학 전문성에 대한 최근의 논쟁은 전문직업성의 단일한 프레임의 부적절성을 보여주었다. 이러한 전통적인 프레임워크는 단순히 여러 규제기관, 빠르게 변화하는 증거, 그리고 새로운 형태의 실천요강에 대응할 수 없다.21 증가하는 연구는 의료전문가의 책임의 다원화를 의미한다.22 전문직들은 [제도적 규칙과 효율성, 환자와 가족, 광범위한 사회적 요구, 의학, 전문 표준과 규제 코드, 그리고 그들 자신의 개인적 가치에 대한 의무]를 잘 저글링해야 한다.

Furthermore, recent debates in medical professionalism have shown the inade­quacy of singular frames of profession­alism. These traditional frameworks simply cannot respond to multiple regulators, fast­changing evidence, and new forms of practice.21 Growing research points to the pluralism of medical professionals’ responsibilities.22 Professionals must juggle obligations to institutional rules and efficiencies, to patients and families, to broad social needs, to medical science, to professional standards and regulatory codes, and to their own personal values.


이러한 "약속 거미줄"은 종종 메이23이 "합법적인 타협"이라고 부르는 것을 필요로 한다. 의사들은 [여러 이해당사자들의 우려] 사이의 균형을 맞추되, 그 중 한쪽의 기대만 완전히 충족시키지는 않을 수 있는 행동 경로를 탐색한다.

This “web of commitments” often necessitates what May23 has called “legitimate compromises.” Doctors navigate a path of action that simultaneously balances concerns for different stakeholders with­out necessarily meeting the full expecta­tions of any one.


예를 들어, 소셜 미디어에서, 주니어 의사는 학생들과 교육자들의 공통적인 딜레마를 설명하기 위해 그의 마취 실습에서 발생한 사건에 대해 정기적으로 블로그를 할 수 있다. 게시물은 효과적인 전략을 다룰 수 있지만, 고정된 일상, 상충되는 프로토콜, 조직과 자원의 비효과적인 병원 과정, 의심스러운 직원 역량, 가족 문제 등 문제를 드러낼 수도 있다. 비록 모든 자료가 익명으로 되어 있고 동료들과 대중들의 반응이 압도적으로 긍정적이라고 할지라도, 그러한 블로그는 쉽게 "비전문직업적" 행동으로 치부될 수 있다. 블로그 독자는 어쩌면 환자, 제공자, 직원 또는 다른 사람의 신원을 발견할 수 있을 것이다; 의사는 잠재적으로 고용주의 계약을 위반할 수 있다; 블로그 게시물은 동료에 대한 전문적인 윤리 규정을 어길 수 있다; 그리고 블로그 내용은 일부 환자의 기밀을 해칠 수 있다.

For example, in social media, a junior doctor may regularly blog about incidents from his anesthesia practice to illustrate common dilemmas for students and educators. The postings may cover effective strategies but may also reveal problems: entrenched routines, conflicting protocols, ineffectual hospital processes of organizing and resourcing, questionable staff competence, family issues. Even if all the material is anonymized and responses from colleagues and the public are overwhelmingly positive , such a blog can easily be dismissed as “unprofessional.” Blog readers may be able to discover the identities of patients, providers, staff, or others; the physician may potentially contravene an employer’s contract; blog postings may flout professional codes of ethics  respecting colleagues; and blog content may compromise some patients’ confidentiality.


일부 전문가들은 이러한 갈등에 의해 전문성에 대한 완전히 새로운 이해가 요구된다고 주장해왔다. 예를 들어 비판적 연구24는 [전문직업적 미덕의 보편적 목록]이 현대적 관행의 모순된 요구에 맞지 않는다는 것을 보여준다. 직업사회학자인 이베츠는 병원과 같은 공공기관에 시장을 침투시킴으로써 프로페셔널리즘의 새로운 현실에 주목한다. 즉 그녀는 [프로페셔널리즘 커뮤니티("직업적" 프로페셔널리즘")를 정의하는 기존의 자율규제 및 이타적 약속]이 어떻게 [고용주의 요구와 생산 조치("조직적" 전문성")]에 의해 대체되고 재정의되는지를 보여준다.

Some experts have argued that entirely new understandings of professionalism are called for by these conflicts. For example, critical studies24 show that universal lists of professional virtues are not fit for the contradictory demands of contemporary practice. Evetts,25 a sociologist of professions, draws attention to new realities of professionalism being produced through the infiltration of markets into public institutions such as hospitals; that is, she shows how the conventional self-­regulation and altruistic commitments defining a pro­fessional community (“occupational” professionalism) are being displaced and overridden by employers’ demands and output measures (“organizational” professionalism).


점점 더 많은 연구자들이 복잡한 시스템에 내재된 공동의 노력으로서 전문성을 연구하고 있다. 예를 들어, 마르티미니아키스와 동료 26은 응급실 감독관의 간단한 지시로 바쁜 복도에서 임산부 환자의 빠른 질 검사를 한다는 것이 어떻게 전문직업성의 다중적 갈등을 통합하는지를 보여준다: 환자 중심의 진료, 자원 제약, 역사적 제도적 갈등과 실천, 위계, 성별, 인종, 그리고 의사에게 요구되는 다양한 역할(해결사, 휴머니스트, 교사, 동료, 옹호자, 협력사원)

Increasingly, researchers are studying professionalism as a collec­tive endeavor embedded within complex systems. For example, Martimianakis and colleagues26 show how a simple direction to a clinical clerk from her emergency department supervisor that she conduct a quick internal vaginal examination of a pregnant patient in a busy hallway integrates multiple conflicts of professionalism: patient­centered care, resource constraints, historic institutional conflicts and practice, hierarchies, gender and race, and the different roles demanded of doctors (problem solver, humanist, teacher, colleague, advocate, cooperative employee).


이 모든 문제들은 전문직업성을 이해하는 데 있어 보다 시스템적이고, 관계적이며, 심지어 다원주의적 접근방식에 대해 말한다.

All of these issues speak to a more sys­temic, relational, and even pluralist approach to understanding professionalism.


소셜 미디어에 대한 비판적 생각

Thinking More Critically About Social Media


기술은 디지털 작업 전문가인 Orlikowski에 따르면, 테크놀로지는 사람들이 실제로 그것을 실천할 때에만 가치가 있고, 의미 있고, 그 결과물이 된다. 새로운 소셜 미디어와 같은 테크노로지의 운영과 결과는 고정되거나 결정되지 않는다. 그것들은 실제로 인간과의 상호작용을 통해 항상 출현한다. Orlikowksi27은 가상 공간의 우발적 상호작용을 말한다. 건강 관리에서 소셜 미디어를 통해 상호작용하는 다양한 온라인 사용자들은 쉽게 분리되지 않는다.

Technology becomes valuable, meaning­ful, and consequential only when people actually engage with it in practice, accord­ing to digital work specialist Orlikowski.27 The operation and outcomes of techno­logies such as new social media are not fixed or determining. They are always emergent through interaction with humans in practice: what Orlikowksi27 calls the contingent intermingling of virtual spaces. In health care, the various online users interacting through social media— are not easily separated.


더욱이 소프트웨어 자체에 내장된 알고리즘과 기술적 여유와 같이 비판적으로 고려해야 할 중요한 역학관계가 있다. 이것들은 일상 생활을 지배하는 디지털 인프라를 만든다: 키친과 닷지28이 말하는 "코드스페이스"이다. 소셜 미디어의 기존 역사는 이미 특정 형태의 참여를 형성하고 있다. 페이스북 알고리즘과 루틴은 [무엇을 지식으로 취할 것인지]뿐만 아니라, [지식 교환의 내용과 스타일]을 형성한다. 반다이크의 소셜미디어 이용에 대한 심도 있는 연구는 "친구맺기," "좋아요 누르기," 연결하기, 유행하기, 팔로잉 등의 패턴이 어떻게 관계에 대한 더 넓은 문화적 기대를 형성하게 되었는지를 보여준다. 프라이버시 개념 자체가 온라인 규범을 통해 재구성되고 있다. 관계, 프라이버시, 그리고 지식에 대한 이러한 변화된 생각은 환자와 전문가들이 온라인 상에서 어떻게 관여하는지에 영향을 미칠 수 있다.

Furthermore, there are important dynamics to consider critically, such as the algorithms and technological affordances built into the software itself. These create digital infrastructures that govern everyday practice: what Kitchin and Dodge28 call “codespace.” Existing histories of social media are already shaping particular forms of participation. Facebook algorithms and routines shape the content and style of exchange, as well as what is taken for knowledge. Van Dijk’s29 in­depth study of social media use shows how patterns of “friending,” “favoriting,” linking, trending, and following have come to shape broader cultural expectations for relationships. Notions of privacy itself are being recon­figured through online norms. These changing ideas of relationship, privacy, and knowledge are bound to affect how patients and professionals engage online.


의료계에 종사하는 우리들도 '개방성', 모호한 경계, 연결성이 본질적으로 좋은 것이라는 가정에 더 비판적일 필요가 있다. 사용자는 디지털 법인의 상업적 이익을 창출하는 콘텐츠를 창출하기 위해 무료 노동력을 기부하고, 사용자 연결은 기업 데이터 마이닝에 공급한다.30 이러한 관점에서 소셜 미디어 참여자는 [권한을 부여받은 행위자]이자 동시에 [착취당하는 대상]으로 볼 수 있다. 게다가, "정보격차"는 노령화, 저소득, 또는 시골지역 인구의 진정한 온라인 활동을 계속해서 복잡하게 만들고 있다.

Those of us in the medical community also need to be more critical of assumptions that “openness,” blurred boundaries, and connectivity are inherently good things. Users donate free labor to generate content that creates commercial profits for digital corporations, and user connectivity feeds corporate data mining.30 From this perspective, social media participants can simultaneously be viewed as empowered agents and targets for exploitation. Further, the “digital divide” continues to complicate genuine online outreach to aging, low­income, or rural populations.


이러한 매우 현실적이고 종종 드러나지 않는 문제에도 불구하고 소셜 미디어를 통해 생성된 가상 환경은 의사소통을 위한 고유한 이점을 제공한다. 컨텐츠 반복 및 리믹스(다른 미디어 유형의 컨텐츠와 심지어 기법까지 결합)의 일반적인 관행은 새로운 하이브리드 형태의 지식을 생산하면서 참가자들을 독특한 방식으로 연결시킨다.

Despite these very real, often­ unexamined issues, the virtual environment generated through social media affords unique benefits for communication. Common practices of content reiteration and remixing (combining content and even techniques of different media types) connect participants in unique ways while producing new hybrid forms of knowledge.


가상 환경(사진, 웹 페이지, 게시물, 클릭과 선택 패턴 등)에서 우리의 "경로"나 디지털 발자국이 차지하는 현상은 유용한 방법으로 수확될 수 있는 자원을 만들어낸다.

The phenomenon of our “traces” or digital footprints in virtual environments (photos, Web pages, posts, even our patterns of clicks and selections, etc.) creates resources that can be harvested in useful ways.


추가 연구를 위한 문제

Issues for Further Research


우리는 다른 임상 상황에 있는 의사와 학생들이 실제로 일상 생활에서 소셜 미디어를 어떻게 사용하는지에 대한 견실한 비교 설명이 필요하다.

We need robust, comparative accounts of how physicians and students in different clinical contexts actually use social media in their everyday practice.


소셜 미디어를 통해 어떻게 전문적 정체성이 변화하고 적응할 것인가? 

온라인에서 구성되는 ID는 무엇인가? 

어떤 형태의 전문가-환자 간 의사소통이 온라인으로 진화하고 있는가?

How do professional identities shift and adapt through social media? 

What identities are constructed online? 

What forms of professional–patient communication are evolving online?


우리는 또한 대중을 참여시키고, 서비스를 제공하고, 유용한 정보를 퍼뜨리기 위해 소셜 미디어를 사용하는 것의 효과성에 대한 증거를 제공하는 연구가 필요하다.

We also need studies providing evidence about the effectiveness of using social media to engage the public, provide service, and disseminate useful infor­mation.


이러한 종류의 연구는 소셜 미디어의 전문성에 관한 새로운 지침과 이슈를 식별하는데 도움이 될 수 있다. 소셜 미디어의 전문성에 대한 이념적 폐쇄나 단순한 전문성 제한을 회피한다.

This sort of research could help identify new guidelines for and issues regarding professionalism in social media that avoid the ideological closure or simple restricting of e­professionalism.


결론 

In Sum


온라인 행동의 규제와 교육은 몇몇 당면한 문제들을 해결하는데 도움을 줄 수 있지만, 디지털 세계에 대한 학생들의 참여에 대해 비판적으로 생각할 수 있는 능력을 발달시키지는 못할 수도 있다. 또한 전문성에 대한 그러한 제재적이고 지시적 접근은 학생들이 그들의 연습에 있어 중요한 문제, 즉 [전문직과 전문직업성 사이의 중심적 갈등]과 [이해당사자들 사이의 모순된 요구들]을 해결하는 데 도움을 줄 수 없다. 사용자들이 하는 일에 반응하여 새로운 소셜 미디어가 지속적으로 등장하고 있으며, 사회 규범과 전문성의 의미 모두에 지대한 영향을 미치고 있다. 이러한 미디어는 상호작용, 관계 구조, 프라이버시의 의미, 그리고 지식의 특정 유형과 신체의 가치에 어떻게 영향을 미치는지 평가하기 위해 교육자뿐만 아니라 학생들에 의한 광범위한 비판적 검토가 필요하다.

Regulations and in­struction in online behavior can help address some immediate issues but may not develop students’ capacity to think critically about their engagements in digital worlds. Nor can such restrictive, didactic approaches to professionalism help students to navigate the larger issues at stake in their practice: central conflicts between profession and professionalism, and contradictory demands among stakeholders. New social media are continually appearing, often in response to what users do, with profound effects on both social norms and the meaning of professionalism. These media need broad critical examination by educators as well as students to appreciate how they influence interactions, relationship structures, the meaning of privacy, and the value of certain types and bodies of knowledge.


내가 옹호하는 접근방식은 "나쁜" 소셜 미디어 관행을 서둘러 통치하는 것이 아니라, 단순하고 이중적인 선/악의 프레임을 넘어, 소셜미디어 practice가 갖는 현재와 미래의 함의를 보다 면밀하게 그리고 더 비판적으로 보는 것이다.

The approach I advocate does not rush to govern “bad” social media practices but, rather, looks more closely—and more critically—at its current and future implications for practice beyond the simplistic, dualistic good/evil framing.


전문직업성을 단일한 덕목이나 존재상태보다는, 다원적 실천의 범위로 취급하려는 움직임이 확산되는 상황에서 다양한 온라인 실험을 통해 나타나고 있는 새로운 형태의 전문성을 추적하는 데 주력할 수도 있을 것이다.

Given the widespread shift to treat professionalism as a pluralistic range of practices rather than as a singular set of virtues or state of being, we might focus on tracing the new forms of professionalism that are emerging through various online experiments.






. 2014 Oct;89(10):1331-4.
 doi: 10.1097/ACM.0000000000000436.

Social media and medical professionalism: rethinking the debate and the way forward

Affiliations 

Affiliation

  • 1Dr. Fenwick is professor of professional education and director, ProPEL (international network for research in professional practice, education and learning), School of Education, University of Stirling, Stirling, United Kingdom.
Free article

Abstract

This Perspective addresses the growing literature about online medical professionalism. Whereas some studies point to the positive potential of social media to enhance and extend medical practice, the dominant emphasis is on the risks and abuses of social media. Overall evidence regarding online medical professionalism is (as with any new area of practice) limited; however, simply accumulating more evidence, without critically checking the assumptions that frame the debate, risks reinforcing negativity toward social media. In this Perspective, the author argues that the medical community should step back and reconsider its assumptions regarding both professionalism and the digital world of social media. Toward this aim, she outlines three areas for critical rethinking by educators and students, administrators, professional associations, and researchers. First she raises some cautions regarding the current literature on using social media in medical practice, which sometimes leaps too quickly from description to prescription. Second, she discusses professionalism. Current debates about the changing nature and contexts of professionalism generally might be helpful in reconsidering notions of online medical professionalism specifically. Third, the author argues that the virtual world itself and its built-in codes deserve more critical scrutiny. She briefly summarizes new research from digital studies both to situate the wider trends more critically and to appreciate the evolving implications for medical practice. Next, the author revisits the potential benefits of social media, including their possibilities to signal new forms of professionalism. Finally, the Perspective ends with specific suggestions for further research that may help move the debate forward.


소크라테스는 Pimp가 아니었다: 의학교육에서 질문하기에 대한 패러다임 변화(Acad Med, 2015)

Socrates Was Not a Pimp: Changing the Paradigm of Questioning in Medical Education

Amanda Kost, MD, and Frederick M. Chen, MD, MPH





학습자에게 질문하는 것은 매일 임상 환경에서 일어나며 의료 교육에서 중심적이고 다면적인 역할을 한다. [질문하기]라는 개념은 단순한 실천처럼 보이지만, 많은 의학 교육자들은 공식적인 교육학 훈련이 부족하여 그들이 배운 방식대로 가르친다. 이러한 세대간의 교육법의 전달은 'pimping'이라는 속어로 알려진 질문의 방식을 초래했다.

Questioning learners occurs daily in the clinical environment and plays a central, multifaceted role in medical education. Although the concept of asking questions seems a simple practice, many medical educators lack formal pedagogical training and thus teach the way they were taught. This generational transfer of instruction has resulted in a method of questioning known by the slang term “pimping.”


교육학적 관행으로서의 핌핑

Pimping as a Pedagogical Practice


문헌의 뾰루지

Pimping in the literature


브란카티1은 1989년 기고문에서 "주치의가 인턴이나 학생에게 매우 어려운 질문을 던질 때마다"라고 정의하며 처음 Pimping을 묘사했다. 그는 "질문이 연속해서 빨리 오고 본질적으로 대답할 수 없는 것이어야 한다"고 제안한다. 20년 후, Detsky2는 Pimping을 다시 연구하여 그 속성에 대해 자세히 설명했는데, 그것은 "각급 교육생들이 교직원들과 함께 모여 환자를 검토하는 설정"과 "동료들 앞에서 개별 학생들에 대한 직접 질문"이다. 비록 이 작품들은 가벼운 편이지만, 둘 다 Pimping의 기본 목적을 강조한다: 팀의 권력 서열과 보다 구체적으로 말하면, 주치의가 제일 윗자리에 위치하기 위함이다

Brancati1 first described pimping in a 1989 article, defining it as “whenever an attending poses a series of very difficult questions to an intern or a student.” He suggests that questions “should come in rapid succession and be essentially unanswerable.” Twenty years later, Detsky2 revisited pimping and elaborated on its attributes: that it “occurs in settings … in which trainees at various levels convene with a faculty member to review patients” and “involve(s) direct questioning of individual students in the presence of their peers.” Although these pieces are lighthearted, they both highlight the underlying purpose of pimping: to reinforce the power hierarchy of the team and, more specifically, the attending physician’s place at the top. 


또한 벡3는 학생들이 Pimping으로부터 자신을 보호할 수 있는 방법을 묘사하고 있는데, 이는 피해야 할 경험임을 보여준다. 한 의대생은 자신의 불쾌한 Pimping 경험을 구체적으로 묘사한 시를 발표했는데, 그의 감정을 묘사하기 위해 "모욕indignity"을, 스승이 그에 대해 가지고 있는 인식을 묘사하기 위해 "쓸데없음worthless"이라는 단어를 사용했다.4 이 모든 작품들은 모두 Pimping에서 비롯되는 부정적인 학습 환경을 강조한다.

Further, Beck3 describes ways students can protect themselves against pimping, indicating that it is an experience to avoid. One medical student published a poem specifically describing his unpleasant experiences with pimping, using the words “indignity” to describe his emotions and “worthless” to describe the perception his teacher held of him.4 Collectively, these pieces all highlight the negative learning environment that results from the practice of pimping.


2005년에 Wear와 동료5는 Pimping에 대한 학생들의 견해를 조사했다. 학생들은 Pimping을 '묻지마 질문'으로 규정하고 "참석자와 레지던트가 학생들을 괴롭히지만 주치의도 레지던트를 괴롭힌다"는 계층성을 구체적으로 강조했다. 핌핑은 수술실, 회진 중인 환자들 사이의 병원 복도, 침대 머리맡에서 일어나는 보편적인 경험이었다. 학생들은 Pimping에 대한 교사들의 동기부여가 부족한 부분을 교정하기 위한 그들의 지식 기반을 평가하고 이전에 배운 지식을 임상 상황에 어떻게 적용하는지를 결정하는 것을 포함한다고 믿었다.

In 2005, Wear and colleagues5 examined student views on pimping. Students defined pimping as “asking questions” and specifically emphasized its hierarchical nature: “attendings and residents pimp students but attendings also pimp residents.” Pimping was a universal experience that occurred in operating rooms, in the hallways of hospitals between patients on rounds, or at the bedside. Students believed teacher motivation for pimping included assessing their knowledge base to remediate gaps and determining how students apply previously learned knowledge to the clinical situation.


학생들은 Pimping을 "좋은" 범주와 "악성적인" 범주로 나누었다. 

    • "좋은 Pimping" 행동에는 학습 과정을 발전시키거나 향상시키는 것에 대한 질문이 포함되었고 또한 학생들이 학습에 대해 전향적으로 행동하도록 격려했다. 예를 들어, 학생들은 수술 전날 밤에 관련 해부학에 대해 읽곤 했다. 왜냐하면 그들은 다음날 그것에 대해 질문을 받을 것을 알았기 때문이다. 

    • "악성 Pimping"은 학습자에게 모욕감을 주기 위해 고안된 자주 사용되는 기술이다. 이러한 기법에는 "내가 무슨 생각을 하고 있는지 파악"하는 질문이나 질문자만이 답을 알 수 있을 정도로 모호한 시험 지식이 포함되어 있었다. 

Students divided pimping into “good” and “malignant” categories. 

    • “Good pimping” actions included questioning that advanced or enhanced the learning process and also encouraged students to be proactive about their learning. For example, students would read about relevant anatomy the night before a surgery because they knew they would be asked about it the next day. 

    • “Malignant pimping” frequently employed techniques designed to humiliate the learner. These techniques included “guess what I’m thinking” questions or testing knowledge so obscure that only the questioner would know the answer. 


이 연구의 모든 학생들은 굴욕감을 어떤 종류의 Pimping의 결과라고 밝혔다. 좋은 Pimping조차도 답을 모르는 대중적인 당혹감 때문에 수치심의 요소를 가지고 있었다. 이러한 이유로, 그들은 또한 그 경험을 그들의 학습에 중요한 동기 부여 요소로 보았다. 게다가, 거의 모든 학생들이 나중에 주치의가 되면 "착한 Pimp"가 될 계획임을 시사했다. 학생들은 pimping이 "배움, 논리적 사고, 자신의 결정을 옹호하고, 빠른 회상, 자기 평가, 그리고 또래들과 잘 소통하는" 데 유용하다고 믿었다5

All students in this study identified humiliation as an outcome of any type of pimping—even good pimping had a component of shame because of the public embarrassment of not knowing the answer. For this reason, they also viewed the experience as a significant motivating factor for their studies. Furthermore, almost all of the students indicated that they planned to be “good pimpers” when they were attending physicians. They believed it was useful to “promote learning, logical thinking, defending one’s decisions, quick recall, self-assessment, and communicating well with one’s peers.”5


다른 방사선학 교수 양식에 대한 학생들의 인식을 조사한 또 다른 연구에서 참가자들은 [주치의가 그룹 내에서 한 사람을 선별하여 그 사람에게 반복적으로 질문을 하거나, 그 사람이 답을 알지 못하는 경우 다른 사람에게 질문을 던지는 것]으로 Pimping을 묘사했다. 93%의 학생들이 집단에게 제기되는 질문에 대한 자발적인 응답을 포함하는 교육 방식을 원했지만, 보다 적은 수(72%)만이 효과적인 학습 방법이라고 생각했다.5 대신에 학생들은 [질문에 자발적으로 답하고자 하는 학생들에 의존하는 작은 그룹에서의 대화형 소크라테스 대화]를 선호했다.6

In another study that examined student perception of different radiology teaching modalities, participants described pimping as when attending physicians singled out one person in a group and either repeatedly asked that person questions or asked a question and moved on to someone else if the person did not know the answer.5 Although 93% of students desired a teaching modality that involved voluntary responses to questions posed to a group, fewer (72%) felt pimping was an effective way to learn.5 Instead, students preferred an interactive Socratic dialogue in a small group that relies on students volunteering to answer questions.6


Pimping에는 기교로서나 용어로나 여러 가지 문제가 있다. 기존의 문헌은 현재의 Pimping이 학습자들에게 대체로 부정적인 경험이며 부정적인 학습 환경에 기여한다고 시사한다; 한 리뷰는 Pimping을 "협박에 의한 가르침"으로 정의했다.7 다른 교육자는 Pimping에 관한 브란카티의 기사에 대한 응답에서 주로 네 가지 부정적인 결과를 요약했다: 

    • 의료진의 "위계서열" 확립

    • "정직하고 자발적인 지적 질문이나 추구"를 억제

    • 적대적 분위기 조성

    • "(의학 교육이 여태 비판을 받아온) 비인간화"를 영속시킴.

There are several problems with pimping, both as a technique and as a term. The existing literature suggests that the current practice of pimping is largely a negative experience for learners and contributes to a negative learning environment; one review defined pimping as “teaching by intimidation.”7 In a response to Brancati’s article on pimping, another educator outlined four mainly negative results of pimping: 

    • establishing a medical staff “pecking order”; 

    • suppressing “any honest and spontaneous intellectual question or pursuit”; 

    • creating a hostile atmosphere; and 

    • perpetuating “the dehumanization for which medical education has been criticized.”8


Pimping의 의미

Implications of pimping


핌핑은 학습 이론, 특히 성인 학습 실습을 알리는 이론의 맥락에서 검토할 때, 학습 환경과 학습자 모두에게 부정적인 영향을 많이 미친다. 학습자, 지식, 평가, 공동체 등 4가지 학습 측면에 대한 Pimping을 분석하면 의료 교육에서 자신이 수행하는 역할이 명확해진다.9 Pimping 문제는 종종 정확하거나 부정확한 해답을 가지고 사실에 근거한 지식을 요구한다는 점이다. 학습자가 많은 가능성 앞에서 어떻게 진단에 도달했는지와 같은 과정에 대한 질문에도 불구하고, 일반적으로 "올바른" 답변이 존재한다고 이해된다. 이 때 "올바른" 답변은 [특정 임상 시나리오에 대한 몇 가지 유효한 접근법이 있을 수 있음에도 불구하고] 질문자의 마음 속에 있는 답변이다. 이런 맥락에서, Pimping은 비판적 사고력의 개발을 서포트하지 않는다. 수치심이나 수치심을 유발하려는 근본적인 목적으로, Pimping은 학습자의 필요를 고려하지 않고 공동체를 형성하는 데 도움을 주지 않는다.

Pimping has many negative implications for both the learning environment and the learners when examined in the context of learning theory, especially those that inform adult learning practices. Analyzing pimping with respect to four aspects of learning—learner, knowledge, assessment, and community—clarifies the role that it plays in medical education.9 Pimping questions often ask for fact-based knowledge with answers that are either correct or incorrect. Even with questions about process, such as how a learner arrived at a diagnosis in the face of many possibilities, it is typically understood that a “right” answer exists—the one the questioner would choose despite the fact that there may be several valid approaches to a particular clinical scenario. In this context, pimping does not support the development of critical thinking skills. With its underlying purpose of inducing shame or humiliation, pimping neither considers the learners’ needs nor aids in community building.


학습자의 [적극적 학습자 비하]와 [적대적 학습 경험의 창출]은 성공적인 성인 학습에 세 가지 핵심 요소인 [상호 존중, 안전하고 지지적인 교육 환경, 그리고 위협적이지 않은 방법으로 학습자에게 도전하는 것]을 권장하는 여러 성인 학습 이론과 직접적으로 상충된다.10,11 성인 학습자는 환경이 disrespectful하거나 자존감을 떨어뜨릴 경우, 효과적으로 문제를 해결하는 데 어려움을 겪는다.12,13

This active degradation of the learner and creation of a hostile learning experience is at direct odds with multiple adult learning theories, which recommend three key components to successful adult learning: mutual respect; a safe and supportive educational environment; and challenging learners in a nonthreatening way.10,11 Adult learners may have difficulty effectively solving problems if their environment is disrespectful or decreases their self-esteem.12,13


의료 교육자들은 또한 임상 학습 환경에서 [위치적 인식situated cognition]의 역할을 검토하기 시작하고 있다. 이 이론에 따르면, [지식은 그 사람과 그 또는 그녀의 환경 사이의 상호 작용에서 나온다]고 가정하는데, 사람과 환경 두 가지 다 동등한 중요성이 주어진다.14 따라서, Pimping으로 만들어진 환경과 같은 부정적인 환경은 사고와 학습을 방해할 수 있다.

Medical educators are also beginning to examine the role of situated cognition in clinical learning environments. This theory postulates that knowledge comes from the interaction between the person and his or her environment, both of which are given equal importance.14 Therefore, a negative environment, such as the one created by pimping, may impede thinking and learning.


교육기법으로서 Pimping의 큰 결함은 (그냥 질문을 하는 것이 아니라) 의학적 패권을 유지하기 위한 수단으로서 학습자에게 불편을 끼치려는 의도로 질문하는 것이라는 개념에 있다. 더욱이 웨어와 동료에 의해 기술된 바와 같이, 임상 환경에서 5명의 일부 학습자와 교사들은 질문을 교습 기법으로 사용하는 것과 관련된 모든 경험은 Pimping으로 표시되어야 한다고 나타낸다. 어떤 용어로 묘사하는지가 중요하다. 질문의 용도가 어떻든, 경멸적인 은어로 라벨을 붙이는 것은 부정적인 의미를 갖는다. Pimp라는 단어는 고객에게 매춘부를 구걸하는 남자를 묘사하기 위해 가장 흔하게 사용된다. 이 단어는 부정적인 감정적 반응을 불러일으킬 수도 있고, 우리는 또한 의학 교육에서의 경험을 묘사하기 위해 그러한 경멸적인 용어를 사용하는 것이 전문직업적이지 않다고 주장할 것이다.

The main flaw with pimping as a pedagogical technique rests on the notion that it is not merely questioning but that it is questioning with the intent to cause discomfort in the learner as a means of maintaining medical hegemony. Furthermore, as described by Wear and colleagues,5 some learners and teachers in the clinical environment indicate that all experiences involving the use of questions as a teaching technique should be labeled as pimping. Descriptive language is important, and labeling every use of questioning with a derogatory slang term has negative implications. The word pimp is most commonly used to describe a man who solicits clients for a prostitute. This word may evoke a negative affective response, and we would also argue that the use of such a derogatory term to describe an experience in medical education is unprofessional.


용어로서의 Pimping과 교수법의 수많은 문제에도 불구하고, 그것은 적어도 25년 동안 지속되어 왔다. 이는 다음 네 가지 이유로 나타난다. 

    • 그것은 학습자에게 (비록 부정적일지라도) 동기를 부여하고, 

    • Socratic 교수법을 반영하는 것으로 여겨지며,

    • 그것은 학습 환경의 권력 구조를 유지시켜주고,

    • 이것이 궁극적으로 교육학적으로 유용하다고 믿는 의사들의 세대를 걸쳐서 전수된다.

Despite the numerous problems with pimping as a term and teaching technique, it has been perpetuated for at least 25 years. This appears to occur for four reasons: 

    • It successfully although negatively motivates the learner, 

    • it is thought to reflect Socratic teaching methods, 

    • it maintains the power structure in the learning environment, and 

    • its transfer occurs through generations of teaching physicians who ultimately believe it to be useful pedagogically.1,2,5 

아마도 지금까지 아무도 질문의 관행을 개선하고 대체하는 방법을 제안하지 않았기 때문에 핌핑이 지속되었을 것이다.

Perhaps pimping has persisted because thus far no one has suggested ways to improve the practice of questioning and alternatives to the slang term of pimping.


우리는 이 용어는 "의학 교육의 권력 서열 유지 수단으로서 수치심이나 굴욕과 같은 불편함을 유발하려는 명백한 의도를 가진 학습자에게 질문하는 것"과 같이 부정적인 함축적 의미를 갖도록 정의되어야 한다고 주장한다. Pimping에 대한 부정적인 칭찬과 더 광범위하고 교육학적으로 도움이 되는 질문 기법을 명확하게 구분하는 것은 두 가지를 성취한다. 

    • 첫째, 그것은 임상 학습 환경에 대한 Pimping의 부정적 영향을 명확하게 해명하고 

    • 둘째, 질문 관행을 개선할 수 있는 기회를 창출한다. 

We argue that the term should be defined under its negative connotation to mean “questioning of a learner with the explicit intent to cause discomfort such as shame or humiliation as a means of maintaining the power hierarchy in medical education.” Definitively separating the negative pra ctice of pimping from the broader, pedagogically helpful technique of questioning accomplishes two things. 

    • First, it clearly elucidates pimping’s negative implications for the clinical learning environment and, 

    • second, it creates an opportunity to improve questioning practices. 


아래에서는 소크라테스 교수법과 성인 학습 이론에 의해 알려진 임상 학습 환경의 질문 연습 개선을 위한 제안을 제공한다.

Below, we offer suggestions for improving questioning practices in the clinical learning environment, informed by Socratic teaching methods and adult learning theory.


소크라테스 교수법의 역사적·근대적 해석

Historical and Modern Interpretations of Socratic Teaching Methods


일부 의학 교육자들이 Pimping이 소크라테스 교수법의 표현이라고 믿는다는 점을 고려할 때, 5 소크라테스 교수법이 실제로 무엇을 포함하는지 검토하는 것이 중요하다. 질문을 사용하는 소크라테스 자신의 목적과 그의 교수법에 대한 현대적 해석을 이해하는 것은 의학 교육에서 도움이 되는 질문 관행을 알려줄 수 있다.

Given that some medical educators believe pimping is an expression of Socratic teaching methods,5 it is important to examine what Socratic teaching methods actually encompass. Understanding both Socrates’s own purpose in using questions and modern interpretations of his teaching methods can inform helpful questioning practices in medical education.


일부 학자들은 소크라테스 자신이 교육학을 기피하고 대신 궁극적으로 알 수 없는 진실에 대한 질문의 대화를 통해 비판적 사고의 행사에 다른 사람들을 참여시켰다고 주장한다. 그러나 소크라테스가 집단으로 개인에게 던진 질문은 두 가지 뚜렷한 목적에 기여했다. 

Some scholars suggest that Socrates himself eschewed pedagogy and instead engaged others in an exercise of critical thinking through a dialogue of questions about ultimately unknowable truths.15,16 However, the questions Socrates posed to individuals in a group served two distinct purposes.17 


  • 첫째로, 그것들은 한 개인의 기존 신념을 면밀히 조사하여 궁극적으로 반박을 이끌어낼 수 있도록 의도되었다. 그리스인들에게 "엘런치우스"로 알려진 이 일련의 믿음들에 대한 교차검증은 그들이 상호 일관성이 있는지 여부를 평가했다. 

  • 믿음의 반박은 "아프리오리아"로 알려진 혼란과 의심의 상태로 이어졌다. Aproria가 뒤따르는 엘런초스의 궁극적인 목표는 그룹의 모든 사람들 사이에 공통점인 호기심 상태를 만드는 것이었다. 거기서부터 그 단체는 추가적인 논의를 통해 진실에 대한 집단적인 탐구를 시작할 수 있을 것이다.

  • First, they were meant to place a person’s existing beliefs under scrutiny that would ultimately lead to their refutation. Known by the Greeks as “elunchus,” this cross-examination of a set of beliefs assessed whether they were mutually consistent. 

  • The refutation of beliefs led to a state of confusion and doubt, known as “aproria.” The ultimate aim of elunchus followed by aproria was to create a common ground—a state of curiosity—among everyone in the group. From there the group could begin a collective search for truth through further discussion.


초등학교부터 대학교까지 다양한 환경에 걸친 소크라테스 교수법에 대한 현대적인 해석은 다소 다른 목표를 가리킨다. 비록 각각의 설정에서 구현은 다르지만, 세 가지 요소는 일치한다

  • 그룹으로 협력하는 것, 

  • 구체적인 해답은 없지만 사전 지식을 활성화하는 해석적 질문 탐구, 그리고 

  • 토론에 대한 성찰.18-20 

Modern interpretations of Socratic teaching methods across diverse settings, from elementary schools to universities, point to somewhat different goals. Although the implementation is different in each setting, three components are consistent: 

  • working collaboratively in groups; 

  • exploring interpretive questions that lack a specific answer but activate prior knowledge; and 

  • reflecting on the discussion.18–20 


이러한 독특한 요소들은 현대적인 소크라테스 원리로 묘사될 수 있었다. 모든 설정이 이러한 원칙을 성공적으로 구현하는 것은 아니라는 점에 유의해야 한다. 아마도 의과대학과 가장 유사한 로스쿨에 대한 설명은 이러한 이상에 부합하는 경험들이 학생들에 의해 유익하다고 인식되는 토론으로 귀결된다는 것을 나타낸다. 그러나 다른 로스쿨 경험은 소크라테스 교수법이 의대생들의 Pimping 경험처럼 학생들을 굴욕적으로 변모시키기 쉽다는 것을 시사한다. 추론 능력 대신 '정답'을 얻는 데 역점을 두고, 정당한 논의의 부재, 경험에 대한 반성의 공간이 없는 경우 등이 이런 현상이 나타나는 것으로 보인다.

These unique components could be described as modern Socratic principles. It is important to note that not all settings successfully implement these principles. Descriptions of law school, perhaps most similar to medical school, indicate that experiences adherent to these ideals result in a discussion perceived as beneficial by the students.16 However, other law school experiences suggest that it is easy for Socratic teaching methods to devolve into humiliating the students, similar to medical students’ experiences with pimping. This seems to occur if emphasis is placed on obtaining a “right answer” instead of reasoning skills, if there is an absence of legitimate discussion, and if there is no space for reflecting on the experience.


질문 방식 변경

Changing Questioning Practices


우리는 임상 환경에서 질문 관행의 패러다임을 바꾸기 위해 세 가지 광범위한 범주를 제안한다. 첫째, 질문은 목적적이어야 한다. 즉, 교육자는 질문을 통해 무엇을 성취하고자 하는지를 알고 있다는 뜻이다. 둘째, 교육자들은 역사적, 현대적 소크라테스 원리를 보다 충실하게 적용하려고 시도해야 한다. 마지막으로, 다양한 성인 학습 이론의 탐구는 성인 학습자에게 질문을 더 유용하게 만들기 위한 몇 가지 구체적인 제안을 제공한다.

We suggest three broad categories for changing the paradigm of questioning practices in clinical settings. First, questioning should be purposeful, meaning that the educator knows what he or she is hoping to accomplish with the question. Second, educators should attempt more faithful application of both historical and modern Socratic principles. Finally, exploration of various adult learning theories offers several concrete suggestions for making questions more useful to the adult learner.


목적적질문

Purposeful questioning


목적적 질문은 [학습자에게 던지는 각 질문의 기본 목표에 대한 교육자의 의도적인 고찰]이다. 이러한 방식에서, 교육자는 모든 질문을 의도적으로 검토하여 지식 중심, 학습자 중심, 평가 중심, 커뮤니티 중심 중 어느 정도인지 결정한다.9 대부분의 질문은 하나 이상의 범주에 속하지만, 교육자는 각 질문의 주요 목적을 알아야 한다. '이 질문의 목적이 무엇인가'에 대한 교육자의 성찰에 대해 학습자에게 불편을 끼치기 위한 요소가 포함되어 있다면, 가능한 한 문제를 수정하거나 포기해야 한다.

Purposeful questioning is the educator’s deliberate consideration of the underlying goal of each question asked of the learner. In this practice, the educator deliberately examines all questions to determine to what degree they are knowledge centered, learner centered, assessment centered, or community centered.9 Most questions will fall in more than one category, but the educator should be aware of each question’s primary purpose. If the educator’s answer to his or her reflection on “what is the purpose of this question?” is that it contains elements intended to cause discomfort in the learner, then the question must be reformulated if possible, or abandoned.


    • 지식 중심 질문은 그들이 검토하고 있는 사실, 개념, 또는 기술에 초점을 맞춘다. 임상 설정의 많은 질문은 학습자의 지식 기반을 탐구하며, 이러한 질문의 목적은 당면한 자료를 가르치거나 검토하는 것이다. 

    • 학습자 중심의 질문학습자의 학습 경험을 조절하는 데 도움이 된다. 이에 대한 한 가지 예는 학습자가 개선이 필요한 영역을 포함하여 자신의 지식 기반 윤곽을 식별할 수 있도록 도와줌으로써 메타인지를 장려하기 위해 점진적으로 더 어려운 질문의 연속이다. 또 다른 예로는 질문이 학습자에게 자료에 대한 자신의 오해와 선입견을 식별하고 수정하는 데 도움을 줄 때 있다. 

    • 평가 중심적인 질문은 교육자가 자신의 지식 기반이나 지식의 적용에 대해 학습자에게 형성적 또는 총괄적 피드백을 제공할 수 있도록 한다. 

    • 학습자 커뮤니티 중심의 질문은 학습자가 정보를 파악한 후 교육자 주도형 또는 학습자 주도형 중 한 가지 더 많은 학습기회로 응답하는 수준을 평가하는 질문이 포함된다. 이러한 기회에는 간략한 교육적 요소 제공, 연구할 추가 자원 또는 자료 제공 또는 잘 이해되지 않는 내용에 대한 프리젠테이션을 준비하기 위한 소그룹 활동 할당 등이 포함될 수 있다.

    • Knowledge-centered questions are centered on the facts, concepts, or skills they are reviewing. Many questions in the clinical setting probe the learner’s knowledge base, and the goal of these questions is teaching or reviewing the material at hand. 

    • Learner-centered questions aid the learner in modulating his or her learning experience. One example of this is a series of progressively harder questions to encourage meta-cognition by helping a learner identify the contours of his or her knowledge base, including areas that need improvement. Another example is when questions assist a learner in identifying and correcting his or her misconceptions and preconceptions about the material. 

    • Questions that are assessment centered allow the educator to provide formative or summative feedback to the learner about his or her knowledge base or the application of that knowledge. 

    • Questions that are centered on the community of learners include those that assess the level at which learners grasp the information and then respond with further learning opportunities, either educator driven or learner driven. These opportunities may include offering brief didactic components, providing additional resources or materials to study, or assigning a small-group activity to prepare a presentation about content that is not well understood.


소크라테스는 어떻게 할까?

What would Socrates do?


소크라테스는 질문의 사용을 개선하기를 바라는 의학 교육자들에게 어떤 충고를 할 것인가? 그의 질문과 그의 방법에 대한 현대적인 해석은 비판적 사고 기술을 활성화하기 위한 것이었다.17 임상 환경에서 이는 종종 학습자가 진단 및 치료 계획을 생성하기 위해 자신의 지식 기반을 특정 임상 시나리오에 적용하는 방법을 조사하는 질문을 통해 접하게 된다. 이 질문들은 하나의 정답이 없을 가능성이 높기 때문에 일반적으로 해석적이다. 여기에는 차등 진단 요청, 진단을 확인하는 데 도움이 되는 다양한 테스트와 절차의 적용, 증거 기반 연구와 환자 진료를 위한 선호도가 제시된 치료 옵션이 포함될 수 있다.

What advice would Socrates offer to medical educators hoping to improve their use of questions? His questions and modern interpretations of his methods were meant to activate critical thinking skills.17 In clinical environments, this is often encountered through questions that probe how learners apply their knowledge base to a particular clinical scenario to generate a diagnostic and therapeutic plan. These questions are typically interpretive because there is likely not one single correct answer. They may include requests for a differential diagnosis, the application of various tests and procedures to help confirm the diagnosis, and therapeutic options given evidence-based studies and patient preferences for care.


비판적 사고 능력에 대한 질문은 한 명의 학습자를 대상으로 할 수 있지만, Socratic 원칙 - 학습자 협업, 해석적 질문, 성찰 - 을 보다 충실하게 적용한다면 당면한 문제에 대한 보다 깊은 이해를 초래할 수 있다. 예를 들어, 교육자가 생성하거나 생성한 학습자 중 하나의 해석적 질문을 의료진에게 제시할 수 있다. 이에 따라 선행지식을 활성화하고, 학습자가 사례에 대해 가질 수 있는 오해를 파악 및 탐구하고, 문제에 대한 통찰력을 얻기 위한 논의가 뒤따를 것이다. 토론의 내용과 과정을 모두 검토하는 대화에 대한 집단 성찰이나 보고가 구성원의 사고를 명확히 하고, 학습자가 안전하고 지지적인 학습 공동체의 발전을 지원하면서 메타인지를 높이도록 장려하는 데 중요할 것이다.

Although questioning of critical thinking skills can be directed at a single learner, a more faithful application of Socratic principles—learner collaboration, interpretive questioning, and reflecting—may result in deeper understanding of the issues at hand. For example, an interpretive question, either learner generated or generated by the educator, could be posed to the medical team. This would be followed by a discussion seeking to activate prior knowledge, identify and explore misconceptions learners may have about the case, and gain insight into the problem. Group reflection or debriefing about the dialogue that examines both the content and the process of the discussion would be important to make the thinking of members clear, to encourage learners to increase their meta-cognition while aiding the development of a safe and supportive learning community.


성인학습이론 적용

Applying adult learning theory


교육자들의 질문 기법을 향상시키기 위한 실천방식을 보여주는 성인 학습 이론들이 많이 있다. 첫째로, situated cognition은 학습 환경 자체가 그 안에서 공유되는 지식과 기술만큼 중요하다는 것을 나타낸다.14 환경을 강화하기 위해 교육자는 개별 학습자의 필요성, 형성 및 총괄 평가 전략으로서 임상 지식을 가르치고 학습자 그룹 내에서 커뮤니티를 형성하는 데 있어 질문의 역할이 무엇인지 명확하게 논의해야 한다.

There is a multitude of adult learning theories that identify practices to improve educators’ questioning techniques. First, situated cognition indicates that the learning environment itself is equally as important as knowledge and skills shared within it.14 To enhance the environment, educators should clearly discuss the role that questioning has in teaching clinical knowledge as it relates to the needs of the individual learners, as a formative and summative assessment strategy, and in building community within the group of learners.21 


앞에서 언급한 바와 같이, 학습자들은 질문에 대답할 때에도 안전함을 느끼고 존중과 지지를 받아야 한다. 교육자와 학습자의 명확한 역할을 식별하는 학습자와 건전한 관계를 형성하는 것이 핵심이다. 이상적으로, 이 관계는 상호 존중과 학습자가 교육자에게 질문하고 토론할 수 있는 이해에 기초할 것이다. praxis의 아이디어(학습은 계속적인 성찰, 행동, 그리고 정교화의 과정이라는 것.)를 토론하는 것은 학습자와 교육자 모두의 역할과 기대에 대한 토론에 도움이 될 수 있다.

As noted earlier, learners must feel safe, respected, and supported, even when answering questions.10,11 Forging a sound relationship with learners that identifies clear roles for educator and learners is key. Ideally, this relationship would be based on mutual respect and the understanding that learners can question and debate the educator.21 Discussing the idea of praxis—that learning is a continual process of reflection, action, and refinement—may aid in a discussion of roles and expectations of learners and educators alike.10,21


개별 질문을 개선하기 위해 교육자들은 여러 가지 도구를 마음대로 사용할 수 있다. 일반적으로 교육자는 학습자의 현재 능력을 넘어 도전적인 질의를 구성하는 것을 목표로 해야 한다.22 이전 경험을 조명하거나 학습자의 잘못된 가정이나 잘못된 인식을 명시적으로 식별하는 데 도움이 되는 질문은 다음 단계로 학습할 때 변형될 수 있다.23 블룸의 분류학에서 가장 적절한 수준의 질문을 해야 하는데, 이는 학습자가 [기억, 이해, 적용]과 같은 저차원의 사고력에서 [분석, 평가, 창조]과 같은 고차원의 사고력을 배우는 쪽으로 움직인다.24

To improve individual questions, educators have several tools at their disposal. In general, educators should aim to construct queries that are challenging just beyond the learner’s current ability.22 Questions that either illuminate prior experience or help explicitly identify a learner’s faulty assumptions or misconceptions can be transformative in taking learning to the next level.23 Questions should be asked at the highest appropriate level in Bloom’s taxonomy, moving as the learner does from lower-order thinking skills such as remembering, understanding, and applying to higher-order thinking skills such as analyzing, evaluating, and creating.24


학습자의 현재 [자신의 자기주도성 수준]을 결정하는 것은 교육자가 적절히 도전적이면서도 불가능하지는 않은 질문으로 응답하는 데 도움이 될 수 있다.25 

    • 1단계 의존적 학습자는 교육자가 전문가 역할을 맡아 지시적 질문을 사용하도록 요구하는 반면 

    • 2단계 관심 학습자는 질문을 통하여 학습자가 자신의 목표를 확인할 수 있도록 동기부여하는 교육자로부터 이익을 얻는다.

    • 3단계 관련 학습자들은 각 구성원이 동등한 역할을 하는 토론을 촉진하는 질문이 필요한 반면, 

    • 4단계 진정으로 자기주도적인 학습자들은 학습 능력을 배양하는 데 도움이 되는 질문을 필요로 한다. 

Determining a learner’s current level of self-direction can help the educator respond with appropriately challenging but not impossible questions.25 

    • Stage 1 dependent learners will require the educator to take on an expert role and use directive questions, whereas 

    • Stage 2 interested learners will benefit from an educator whose questions motivate them to identify their own learning goals. 

    • Stage 3 involved learners need questions that facilitate a discussion in which each member has an equal role, whereas 

    • Stage 4 truly self-directed learners require questions that help cultivate their ability to learn. 

이 모델은 모든 의사가 의존하는 것에서 자율적으로 되는 것에 이르는 여정을 강조한다.26

This model highlights the journey that all physicians undertake from being dependent to becoming autonomous.26


임상적 역량에 대한 두 가지 이론은 또한 질문을 개선할 수 있는 방법을 제공할 수 있다. 첫 번째는 '의식 없는 무능'에서 '의식 없는 능력'으로 이어지는 길을 설명하는 모델이다. 

Two theories of clinical competence can also offer ways to improve questioning. The first is a model that describes the path 

    • from “unconscious incompetence” 

    • to “conscious incompetence” 

    • to “conscious competence” 

    • to “unconscious competence.”27 

이 모델을 염두에 둔 질문 전략은 학습자가 한 수준에서 다음 단계로 이동하는 데 도움이 될 것이다. 초기 질문은 학습자가 스킬을 개선해야 할 필요성을 인지하는 데 도움이 되는 반면, 후속 질문은 해당 스킬의 유능한 개발에 도움이 될 수 있다. 

Questioning strategies with this model in mind would assist a learner in moving from one level to the next. Initial questions would help a learner become aware of the need to improve a skill, whereas subsequent questions could assist in the competent development of that skill. 


마찬가지로 밀러의 '임상 역량의 피라미드'는 '알고 있다', '알고 있다', '보인다', '한다'의 각 수준에서 학습자에게 적합한 질문 유형을 제시한다. "knows" 수준의 학습자를 위한 질문은 지식기반fund of knowledge으로 향할 것이고, 반면에 "knows how" 수준의 질문은 그 지식의 해석과 적용에 대한 비판적 사고 능력을 평가할 것이다.

Similarly, Miller’s Pyramid of Clinical Competence suggests the type of questions appropriate for learners at each level of “knows,” “knows how,” “shows,” and “does.”28 Questions for learners at the “knows” levels will be more directed to a fund of knowledge, whereas questions at the “knows how” level will assess the critical thinking skills of interpretation and application of that knowledge.


결론 

Conclusions


의학 교육자들은 전통적으로 질문을 통해 가르친다. 학습자에게 수치심을 주거나 권력 서열을 강화하기 위해 고안된 질문들은 무례한 문화에 기여하며, 용납되어서는 안 된다.29 이제 Pimping의 관행을 버려야 할 때다. 소크라테스식 교수법과 성인학습 이론을 고려한 목적적 질문은 Pimp식의 대안을 제시하는데, 이는 의료교육 중 학습자의 비판적 사고력 향상을 강조하는 것이다. 집단으로 질문을 받는 것은 어떤 사람들에게는 불안감을 자극하는 것으로 남을 수도 있지만, 질문 방법이 학대적이어서는 안 된다.

Medical educators traditionally teach through questioning. Questions designed to shame learners or reinforce the power hierarchy contribute to a culture of disrespect and should not be tolerated.29 It is time to abandon the practice of pimping. Purposeful questioning that considers Socratic teaching methods and adult learning theories offers an alternative to pimping that removes its negative aspects and emphasizes improving learners’ critical thinking during their medical education. Being called on to answer questions in a group may remain anxiety provoking for some, but the method of questioning should not be abusive.


[Pimping스러운 관행]을 목적, 소크라테스 원리, 성인 학습 이론을 고려하는 [질문의 관행]으로 바꾸는 것은 구조적이고 문화적인 변화를 요구하는 거대한 일이 될 것이다. 다른 분야에서도 기술한 바와 같이, 교수진 개발 활동, 의료부로부터의 매입, 소규모의 점진적인 행동 변화 전략이 핵심이 될 것이다. 질문 방식을 바꾸기는 어렵겠지만, 지역사회와 학습자의 성공을 향상시키는 개선된 환경에 대한 잠재적 배당금은 너무나 커서 우리는 의학 교육에서 질문의 새로운 패러다임을 채택하는 것을 미룰 수 없다.

Transforming the practice of pimping into a practice of questioning that considers purpose, Socratic principles, and adult learning theories will be an enormous undertaking, requiring structural and cultural change. As described in other disciplines, faculty development activities, buy-in from medical departments, and small, incremental behavior change strategies will be key.30 Though changing questioning practices will be difficult, the potential dividends with respect to an improved environment that enhances community and learner success are so great that we cannot afford to delay adopting this new paradigm of questioning in medical education.








. 2015 Jan;90(1):20-4.
 doi: 10.1097/ACM.0000000000000446.

Socrates was not a pimp: changing the paradigm of questioning in medical education

Affiliations 

Affiliation

  • 1Dr. Kost is assistant professor, Department of Family Medicine, University of Washington, Seattle, Washington. Dr. Chen is associate professor, Department of Family Medicine, University of Washington, Seattle, Washington.

Abstract

The slang term "pimping" is widely recognized by learners and educators in the clinical learning environment as the act of more senior members of the medical team publicly asking questions of more junior members. Although questioning as a pedagogical practice has many benefits, pimping, as described in the literature, evokes negative emotions in learners and leads to an environment that is not conducive to adult learning. Medical educators may employ pimping as a pedagogic technique because of beliefs that it is a Socratic teaching method. Although problems with pimping have previously been identified, no alternative techniques for questioning in the clinical environment were suggested. The authors posit that using the term "pimping" to describe questioning in medical education is harmful and unprofessional, and they propose clearly defining pimping as "questioning with the intent to shame or humiliate the learner to maintain the power hierarchy in medical education." Explicitly separating pimping from the larger practice of questioning allows the authors to make three recommendations for improving questioning practices. First, educators should examine the purpose of each question they pose to learners. Second, they should apply historic and modern interpretations of Socratic teaching methods that promote critical thinking skills. Finally, they should consider adult learning theories to make concrete changes to their questioning practices. These changes can result in questioning that is more learner centered, aids in the acquisition of knowledge and skills, performs helpful formative and summative assessments of the learner, and improves community in the clinical learning environment.


HPE 평가의 사회적 명령으로서 타당도: 개념 분석(Med Educ, 2018)

Validity as a social imperative for assessment in health professions education: a concept analysis

Melanie Marceau,1 Frances Gallagher,1 Meredith Young2 & Christina St-Onge3




도입 INTRODUCTION


보건 전문직 교육(HPE) 내에서 평가의 역할을 재고하고 재편성해야 한다는 주장이 여러 차례 제기돼 왔다. 평가 요청의 현재 추세는 다음을 요구한다.

  • 전통적인 학습의 평가에서 벗어나 학습을 위한 평가를 향한 변화, 

  • 대안적이고 진정한authentic 평가 전략의 지원 및 사용

  • 성과에 대한 목적적합하고 적절한 표본 추출에 대한 증가하는 요구에 부합

모두 프로그램적 평가를 위한 접근방식이다.2

There have been several calls to reconsider and reshape the role of assessment within health professions education (HPE). Current trends in assessment call for 

  • a shift towards assessment for learning away from the traditional assessment of learning,1 

  • urge increased support for and use of alternative and authentic assessment strategies, and 

  • echo a growing call for purposeful and appropriate sampling of performance, 

all of which are approaches that translate to programmatic assessment.2 


평가에 있어 가장 중요한 고려사항은 시행 중인 평가 전략이 최고 품질이어야 한다는 것이다. 평가의 품질은 전통적으로 그 타당성과 연관되어 왔으며, 이는 [평가 점수의 타당한 해석을 뒷받침할 증거를 축적하는 것을 목표]로 하는 엄격한 검증 과정을 통해 문서화된다.3–5

One consideration that remains paramount to assessment is that the assessment strategies put in place need to be of the highest quality. The quality of assessment has traditionally been associated with its validity, which is documented through rigorous validation processes that aim to accumulate evidence to support a valid interpretation of assessment scores.3–5


[Authentic 및 프로그램적 평가와 같은] 평가의 현재 추세에 대하여, [타당화에 대한 전통적인 접근법]에 대해서도 의문이 점점 커지고 있다.6–9 예를 들어, 문헌에는 평가자 분산rater variance이 전문가 판단을 반영할 수 있으므로 측정 오류로만 간주해서는 안 된다는 논의가 있다. 이러한 논의는 모든 평가자 분산을 측정 오류로 보고 전통적인 측정 모델을 적용하는 것은 적절하지 않음을 시사한다.10 또한, (authentic 또는 프로그램적 평가처럼) 복잡한 평가를 위한 타당화 프로세스에서 통계적 및 심리학적 근거에만 의존하는 것에 약간의 불편함이 있는 것으로 보인다. 이유는, 이 증거가 부적절해서가 아니라 평가의 품질에 대한 평가로서 불완전하기 때문이다.

The use of traditional approaches to validation for current trends in assessment, such as authentic and programmatic assessment, is increasingly questioned.6–9 For instance, there are discussions in the literature suggesting that rater variance may reflect expert judgement and therefore should not be considered solely as measurement error. These discussions suggest traditional measurement models cannot be applied as they consider all rater variance to be measurement error.10 Additionally, there appears to be some discomfort about relying solely on statistical and psychometric evidence in a validation process for complex assessment such as authentic or programmatic assessment, not because this evidence is inappropriate, but because it may give an incomplete evaluation of the quality of the assessments (e.g. Schuwirth and van der Vleuten,11 and Hodges12).


기존 심리측정학 모델을 복잡한 평가에 적용할 수 있는지에 대한 논쟁 외에도 HPE 커뮤니티에서는 타당성 자체에 대한 합의가 거의 없는 것으로 보인다. St-Onge 외 연구진들은 HPE 문헌에서 타당성이 어떻게 사용되는지를 조사하기 위해 담화 분석 방법론에 의존했다. 저자들은 HPE 문헌에서 타당성에 대한 세 가지 다른 개념을 식별하고 기술하였다. 

(i) 시험 특성으로서의 타당성 (고전 유효성 'trinity'[내용, 기준 및 구성]에 대한 유효성); 

(ii) 주장 기반 증거사슬로서의 타당성(메식스 13 및 케인의 14 프레임워크에서 선호하는 논쟁 기반 접근법과 유사) 

(iii) 사회적 의무로서의 타당성.9 


In addition to the debates about the applicability of traditional psychometric models to complex assessment, there seems to be little agreement in the HPE community regarding validity itself. St- Onge et al.9 relied on discourse analysis methodology to investigate how validity is used in the HPE literature. The authors identified and described three different conceptualisations of validity within the HPE literature: 

  • (i) validity as a test characteristic (similar to the classic validity ‘trinity’ [content, criteria and construct]); 

  • (ii) validity as an argument-based evidentiary chain (similar to the argument-based approaches favoured in Messick’s13 and Kane’s14 frameworks), and 

  • (iii) validity as a social imperative.9 

다른 개념론과 대조적으로, 사회적 의무로서의 타당성은 HPE 문헌에서 새롭게 대두되는 담론이며 [평가와 검증에 대한 보다 전체적인holistic 비전]을 반영하며, 특히 평가의 [더 넓은 개인(학습자)과 사회적 결과에 대해 고려할 것]을 강조한다. 예를 들어, '사회적 결과societal consequences'에 대한 고려는 보건 전문가 인증으로 이어지는 높은 수준의 평가 품질을 보장할 필요성을 포함했다.

By contrast with the other conceptualisations, validity as a social imperative is an emerging discourse in the HPE literature and reflects a more holistic vision of assessment and validation, specifically highlighting considerations for broader individual (learner) and societal consequences of assessment. For example, within the discourse analysis, consideration for ‘societal consequences’ included the necessity of assuring the quality of high-stakes assessments leading to the certification of health professionals.


사회적 의무로서의 타당성의 새로운 개념은 문학 전반에 걸쳐 제시되었고, 프로그램적 평가에 관한 논의를 반영하고 사회 내 [다른 이해관계자(예: 학습자, 평가자, 교육 프로그램, 더 넓은 대중)]에 대한 [평가의 잠재적 결과]에 대한 고려를 증가시켰다. 이 담론은 St-Onge 외 연구진에서 가장 덜 구체화되거나 조작화된 것으로, 아마도 그것의 창발적 성격 때문일 것이다.

The emerging concept of validity as a social imperative was represented across a body of literature and reflected discussions around programmatic assessment and increased consideration of the potential consequences of assessment for different stakeholders in society (e.g. learners, assessors, educational programmes, the broader public). This discourse is the least concretised or operationalised in St-Onge et al.’s work,9 probably because of its emergent nature.


방법 METHODS


개념분석(concept analysis)은 지식의 개발에 사용되는 방법론이다.15,16 체계적이고 엄격한 과정을 통해 개념을 구체화하고 다듬어 실전에 보다 효율적으로 사용할 수 있도록 할 수 있다.16 로저스에 의해 개발된 방법은 귀납적이며 데이터 분석에 대한 질적 접근법에 의존한다.16,17 로저는 그녀의 방법을 [나선형]이라고 묘사하였으며, 이는 반복적인 과정을 통해 개념의 끊임없는 진화를 보여주는 것이다. 이 끊임없는 진화는 우리의 목적과 잘 맞아떨어졌다.18,19

Concept analysis is a methodology used in the development of knowledge.15,16 Through a structured and rigorous process, this methodology can be used to clarify and refine a concept so that it can be used more efficiently in practice.16 The method developed by Rodgers is inductive and relies on qualitative approaches to data analysis.16,17 Rodgers illustrates her method as a spiral to show the constant evolution of a concept through an iterative process,16,17 and this constant evolution resonated well with our purpose.18,19


로저스는 진화 개념 분석을 완료하는 데 있어 6단계를 설명하고 있으며, 이는 비선형적 방식으로 수행될 수 있다.16 표 1은 이러한 단계와 보다 전통적인 연구 용어와의 정렬을 간략히 설명한다. 1~4단계는 방법 섹션과 가장 직접적으로 일치하지만, 6단계는 이 문서의 결론에 설명되어 있다. 5단계는 개념 진화evolving concept에 항상 포함되어 있는 것은 아니며, 우리 작업의 진행 상황을 고려할 때, 우리는 그것을 향후 작업의 길잡이로 포함하기를 선호해왔다.

Rodgers describes six steps in completing an evolutionary concept analysis, which can be performed in a non-linear fashion.16 Table 1 briefly describes these steps and their alignment with more traditional research terminology. Whereas Steps 1–4 align most directly with the methods section, Step 6 is described in the conclusion of this article. Step 5 is not always included for evolving concepts and, given the state of progress of our work, we have preferred to include it as an avenue for future work.



1단계. 관심의 개념 및 관련 표현 식별

Step 1. Identify the concept of interest and associated expressions


정의해야 할 개념에 라벨을 붙이는 데 사용되는 용어(단어나 단어 그룹)를 적절하게 선택하는 것이 필수적이다.16 처음에, [사회적 명령]으로서의 타당성의 새로운 개념은 HPE 문헌으로부터 개발되었다. 이 개념 분석의 실행에서, 우리는 맥락을 구체화하는 것이 중요하다는 것을 알게 되었다. 따라서, 이 연구의 핵심인 개념은 HPE의 평가에 대한 사회적 의무로서 타당성이 있다.

It is essential to appropriately select the terminology (word or group of words) used to label the concept that is to be defined.16 Initially, the emerging concept of validity as a social imperative9 was developed from the HPE literature. In the execution of this concept analysis, we found it important to specify the context; therefore, the concept that is the core of this study is validity as a social imperative for assessment in HPE.


2단계. 데이터 수집에 적합한 영역 식별 및 선택

Step 2. Identify and select an appropriate realm for data collection


St-Onge et al.,9에 의해 사용된 원래 용어로부터 그리고 학술 사서의 도움을 받아, (ii) 타당도, (iii) 사회적 의무, (iii) 평가, (iv) 보건 전문가(예: 의학, 간호 또는 물리치료 전문가)의 각 개념을 포함하는 논문를 대상으로 검색 전략을 개발했다.

Drawing from the original terms used by St-Onge et al.,9 and with the assistance of an academic librarian, a search strategy was developed to target articles that included each of the following concepts: (i) validity; (ii) social imperative; (iii) assessment, and (iv) health professional (e.g. medicine, nursing or physical therapy professional).


그림 1은 문서 선택 절차를 보여준다.

Figure 1 illustrates the document selection procedure.



3단계. 개념의 속성, 선행 조건 및 결과 식별과 관련된 데이터 수집

Step 3. Collect data relevant to identifying attributes, antecedents and consequents of the concept


3단계와 4단계를 별도로 제시하지만, 개념 분석 중에 데이터 수집과 관리는 반복적인 프로세스로 수행된다는 점에 유의해야 한다.16 데이터 수집과 분석은 개념을 명확히 하기 위해 팀원들 간에 몇 차례의 반복적인 토론이 필요했다.

We present Steps 3 and 4 separately; however, it is important to note that during concept analysis, data collection and management are performed as an iterative process.16 Data collection and analysis required several iterative rounds of discussion among team members to clarify the concept.


포함된 문서의 어떤 구성요소도 데이터의 출처로 간주될 수 있다: 초록, 도입, 방법, 결과, 토론 및 결론은 모두 사회적 의무로서 타당성 개념의 개선과 관련된 데이터를 생성할 수 있다.

Any component of an included document could be considered as a source of data: the abstract, introduction, methods, results, discussion and conclusion could all generate data relevant for the refinement of the concept of validity as a social imperative.


속성, 선행 조건 및 결과의 식별은 로저스가 설명한 개념 분석의 핵심 특징이다.17 이러한 중점 영역은 분석 전에 데이터를 수집, 정리 및 관리하는 데 도움을 주었다. 구체적으로는, 

    • 선행조건antecedents은 HPE에서 평가를 위한 사회적 의무로서 타당성의 개념보다 앞서는 것이다. 

    • 속성attributes은 개념을 정의하는 특성 또는 [HPE에서 평가에 대한 사회적 의무로서 타당성]을 다른 것과 구별짓거나 특징짓는 특성이다. 

    • 결과consequents는 개념의 직접적인 결과로 일어나는 것이다.16

The identification of attributes, antecedents and consequents is a key feature of a concept analysis, as described by Rodgers.17 These main areas of focus helped us to collect, organise and manage the data before the analysis. More concretely, 

    • antecedents are what precedes the concept16 of validity as a social imperative for assessment in HPE. 

    • Attributes are the characteristics that define the concept16 or what distinguishes or characterises validity as a social imperative for assessment in HPE. 

    • The consequents of a concept are what happens as a direct result of the concept.16


4단계. 개념의 속성, 선행 조건 및 결과에 대한 데이터 분석

Step 4. Analyse data for the attributes, antecedents and consequents of the concept


개념 분석이 중요한 방법론적 프레임이었지만, 텍스트에서 수집된 데이터를 해석하기 위해 어떤 정성적 분석 접근법을 사용해야 하는지에 대해서는 규범적이지 않다. 여기서, 우리는 마일스 등이 기술한 정성적 분석 프로세스를 사용하기로 결정했는데, 이는 개념 분석의 구조를 감안할 때 로저스가 제안한 선행 코드, 속성 및 결과물을 포함하는 미리 정해진 코드 내에서 창발적 코드(귀납적 프로세스)를 식별할 수 있기 때문이다. 좀 더 구체적으로 말하면, 이 과정은 반복적으로 그리고 부수적으로concomitantly 진행되는 수행된 세 가지 동시적 분석 사이클로 구성되어있다 - [데이터 응축, 데이터 표시, 그리고 결론 도출 및 검증]

Although concept analysis was the overarching methodological frame, it is not prescriptive regarding which qualitative analysis approach should be used to interpret data gathered from texts. Here, we decided to use the qualitative analysis process described by Miles et al.20 because it allows for the identification of emerging codes (inductive process) within predetermined codes, which, given the structure of a concept analysis, includes antecedents, attributes and consequents as suggested by Rodgers.15,16 More specifically, this process consists of three concurrent analysis cycles performed iteratively and concomitantly: data condensation; data display, and drawing and verifying conclusions.


    • 데이터 응축은 미리 결정되어있거나(예: 선행 조건, 속성 및 결과), 새롭게 부상한 코드(예: 유효성의 결과에 대한 논란 또는 점수 해석에 따른 결과에 대한 우려)를 사용한 데이터 분석이다.

Data condensation consists of data analysis using predetermined (i.e. antecedents, attributes and consequents) and emerging codes20 (e.g. controversy about consequences of validity or concern about consequences resulting from the interpretation of scores).


    • 데이터 디스플레이는 데이터 시각화를 통해 우리의 결과를 더 잘 이해하고 나타낼 수 있게 했다.20 스키마를 이용하여, 연구팀은 코드의 시각적 표현을 얻었다.

Data display allowed us to better understand and represent our results through data visualisation.20 Using a schema, the research team obtained a visual representation of the codes.


모든 요소에 대한 이러한 개요는 문서의 발췌본이 속성인지 선행인지 결과인지를 판단하는 데 도움이 되었다.

This overview of all elements helped us to determine whether an excerpt of a document was an attribute, an antecedent or a consequent.


    • 결론을 도출하고 검증하는 것은 데이터 응축과 데이터 표시에서 나타나는 결론의 개발과 검증과 관련이 있다.20 분석은 반복적인 과정이었기 때문에, 연구팀은 데이터와 코드 사이의 일치를 개선하기 위해 문서를 여러 번 다시 읽었다.

Drawing and verifying conclusions relates to the development and verification of conclusions that emerge from data condensation and data display.20 Because analysis was an iterative process, the team re-read the documents several times to improve the match between data and codes.


결과 

RESULTS


총 67건의 문서가 선정되어 분석되었다.

A total of 67 documents were selected and analysed.


(Table 2).


(Table 3).





HPE의 평가에 대한 사회적 의무로서 타당성 개념의 확인된 선행 조건, 속성 및 결과의 개요는 그림 2에서 확인할 수 있다.

An overview of the identified antecedents, attributes and consequents of the concept of validity as a social imperative for assessment in HPE can be found in Figure 2.



선행자

Antecedents


사회적 기대에서 비롯되는 HPE의 변화

Changes to HPE that stem from societal expectations


전문기관과 고등교육기관이 [의료전문가의 역량취득을 측정하고 감시하는 방법에 대한 정보]에 대한 사회의 욕구가 증가하고 있다.21 예를 들어, 역량기반교육(CBE)의 핵심 원칙 중 하나는 전문직 종사자가 성취하도록 보장함으로써 환자를 보호하는 것이다. 일정 수준의 역량22–24이며 임상 환경의 현실에 더 잘 대비된다.25–27 전문 기관과 고등 교육 기관은 대상 역량에 걸쳐 학습자의 능력을 가능한 한 정확하게 측정하기 위해 평가 프로그램을 신중하게 계획하고 설계해야 한다.

There has been increasing desire on the part of society for information on how professional bodies and higher education institutions measure and monitor the acquisition of competencies by health care professionals.21 For example, one of the core tenets of competency-based education (CBE) is to protect patients by ensuring that professionals achieve a certain level of competency22–24 and are better prepared for the realities of the clinical setting.25–27 Professional bodies and higher education institutions must ensure that their assessment programmes are carefully planned and designed in order to measure the abilities of learners across targeted competencies as accurately as possible.


역량 있는 실무에 대한 기대치를 반영하고 부합하는 평가에 집중

Focus on assessment that reflects and aligns with expectations of competent practice


학습을 촉진하고 대중을 보호하기 위해서는 평가 관행을 조정할 필요가 있다.23 문헌은 전통적인 학습의 평가에서 학습을 위한 평가로 이동함을 나타낸다.1 우리는 또한 대안적이고 진정한alternative and authentic 평가 전략의 사용에 초점을 맞추었다. 이러한 평가는 [현실주의, 작업 상황의 시뮬레이션 또는 작업 상황 자체의 동원]으로 특징지어지며, [판단, 복잡한 작업, 피드백]에 초점을 맞추고 있다.28-30 '프로그램적 평가'라는 용어가 점점 더 많이 사용되고 있다.

To facilitate learning and protect the public, it is necessary to adjust assessment practice.23 The literature indicates a shift towards assessment for learning from the traditional assessment of learning.1 We also found a focus on the use of alternative and authentic assessment strategies, characterised notably by realism, simulations of the work context, or mobilisation of the work context itself, and a focus on judgement, complex tasks and feedback.28–30 There is a growing use of the term ‘programmatic assessment’,2


타당성에 대한 적절한 증거를 제공하는 것이 어려움

Difficulty in providing appropriate evidence of validity


비록 심리측정학 접근법이 여전히 중요하고 HPE에 관련되지만, 기존의 타당화 전략은 보다 현대적인 평가 관행에 이를 적용할 때 한계가 있다.11,33 현재 우리가 이용할 수 있는 측정 및 통계 분석 모델은 [개별 역량 평가 도구]의 품질을 문서화하는 데 적합하지만, [평가 프로그램]을 검증하는 데 수반되는 복잡성으로는 쉽게 확장되지 않는다. 현재 우리의 정신측정학 모델은 도구에 의해 생성된 점수의 검증에 잘 배치되어 있지만, [서술적 피드백]이나 HPE에서 점점 더 늘어나는 [질적 평가 데이터]에 적합한 접근법은 별로 가지고 있지 않다. 게다가, 실제로 [전체 평가 프로그램] 또는 [학습자의 전반적인 역량]의 타당화를 잘 처리할 수 있는 정신측정학 접근법은 거의 없다.

Although psychometric approaches are still valuable and relevant in HPE, traditional validation strategies have limits when it comes to applying them to more modern assessment practices.11,33 The measurement and statistical analysis models currently available to us are appropriate for documenting the quality of individual competence assessment tools, but are not easily extended to the complexities of validating a programme of assessment. Whereas our current psychometric models are well situated for the validation of scores generated by tools, we have few approaches that are appropriate for narrative feedback, or the more qualitative assessment data that are increasingly present in HPE.34 In addition, few psychometric approaches are, indeed, amenable to the validation of entire assessment programmes or the learner’s overall set of competencies.21


[사회적 필수요건]으로 타당성 측면에서의 [선행자]들은 [의료전문가의 훈련과 평가에 대한 지속적인 주요 변경사항], 특히 [교육과 평가에 대한 CBE 접근방식의 채택]과 align 되어있는 것으로 보인다.

The antecedents identified for validity as a social imperative seem to align with ongoing major changes to the training and assessment of health care professionals, most notably the adoption of CBE approaches to training and assessment.


특성 

Attributes


평가 품질을 문서화하기 위해 사회가 신뢰할 수 있다고 간주하는 증거의 사용 시연

Demonstration of the use of evidence considered credible by society to document the quality of assessments


결과에 대한 해석은 [관리자의 결정(예: 성공 대 실패)]으로 이어질 가능성이 높다. HPE의 맥락에서, 평가 결과의 잘못된 측정 또는 잘못된 해석은 환자 안전에 큰 영향을 미칠 수 있다: 필요한 기술이나 역량이 없는 연습에 적합하다고 판단되는 학습자는 부적절한 환자 진료를 제공할 수도 있다.23,35

Interpretation of the results is likely to lead to a decision by the administrators (e.g. success versus failure). In the context of HPE, poor measurement or misinterpretation of assessment results can have a significant impact on patient safety: a learner who is deemed suitable for practice without the requisite skills or competencies may deliver suboptimal patient care.23,35


학습자의 success or failure는 [설득력 있는 평가 자료에 근거]해야, 준비되지 않은 연습생이 사회에 미칠 잠재적 부정적 영향을 줄일 수 있다.

A learner’s success or failure must be based on persuasive assessment data to decrease the potential negative impacts of an ill-prepared trainee on society.


즉, 고부담 평가(라이센스 검사 등)는 [환자에게 안전한 진료를 제공하기 위해 필요한 역량을 아직 숙달하지 못한 연습생]에게 진료할 수 있는 권한을 부여할 수 있다. 그러한 결과로, 학습자의 능력에 대한 판단을 담당하는 전문 기관과 고등 교육 기관은 [충분하고 신뢰할 수 있는 증거]를 가지고 [학습자의 역량 수준을 문서화]해야 한다.

In other words, high-stakes assessments (such as licensure examinations) may grant the right of practice to trainees who have not yet mastered the competencies required to provide safe care to patients. With such consequences, the professional bodies and higher education institutions responsible for making judgements about a learner’s abilities must document the learner’s level of competence with sufficient and credible evidence.37–40


점점 더 많은 전문 기관professional bodies들이 학습자 역량 평가에 대한 책임을 고등 교육 기관과 전문 훈련 프로그램에 이전하고 있다.26 따라서, [타당화 프로세스를 수립하고 평가 품질을 뒷받침하는 증거를 문서화하는 것]은 (프로그램 인증을 포함하여) 고등 교육 기관이 가지는 책임의 주요 측면이다. 평가가 종종 사회를 보호하기 위한 보호자로서 사용된다는 점을 고려할 때, 우리는 [평가 점수에 대한 해석의 타당성을 문서화하는 증거]를 사회가 이용할 수 있도록 해야 하며, [이용자들에게 신뢰성이 주어야 한다]고 주장한다. 이는 평가 과정에 대한 외부 관점을 필요로 한다.

Increasingly, professional bodies are transferring responsibility for assessing learner competency to higher education institutions and professional training programmes.26 Therefore, establishing validation processes and documenting evidence supporting the quality of assessment is a major aspect of responsibility for higher education institutions, including for programme accreditation. Given that the assessment is often used as a guard with which to protect society, we posit that the evidence to document the valid interpretation of assessment scores should be made available to society and credible to its users; this takes an external view of the assessment process.


고등 교육 기관과 전문 훈련 프로그램은 그들이 유능한 실무자임을 입증한 훈련생들만 졸업하거나 인증할 책임이 있으며, 그러한 결정을 뒷받침할 증거를 제공할 수 있어야 한다.

Higher education institutions and professional training programmes have a responsibility to society to ensure that they graduate or certify only those trainees who have demonstrated they are competent practitioners, and must be able to provide evidence to support those decisions.


평가 프로세스 및 점수 해석을 통해 포함된 검증

Validation embedded through the assessment process and score interpretation


검증은 지속적인 역동적 과정이다.41 개발 및 모니터링을 포함하는 평가에 참여하는 사람들은 평가 및 평가 프로그램의 개발, 평가 전략의 관리 및 결과의 해석 과정에서 평가의 품질(타당성)에 대한 지속적인 경계심vigilance을 보여야 한다.39

Validation is a continuous dynamic process.41 Those involved in assessment, which includes development and monitoring, must show constant vigilance for the quality (validity) of their assessments during the development of the assessment and assessment programme, the administration of assessment strategies, and the interpretation of results.39


평가 프로그램을 구성함에 있어, 타당화 프로세스의 모든 구성요소를 의도적으로 선택하면 결과의 해석이 더 신뢰할 수 있고 방어성이 더 높아진다.6 평가 과정 전반에 걸쳐 타당성을 구축하는 것은 평가 프로그램의 모든 측면의 품질을 개선하는 데 도움이 된다. 구체적인 용어로, 이것은 평가 책임자가 [타당화 전략](예: 심리측정학 분석, 측정자 인터뷰), [평가 관리 절차], [평가자가 요구하는 교육]을 미리 선택한다는 것을 의미한다.

During the construction of an assessment programme, the deliberate selection of all components of the validation process makes the interpretation of results more credible and more defensible.6 Building in validity34,42 throughout the assessment process helps to improve the quality of all aspects of the assessment programme. In concrete terms, this means that the person responsible for the assessment pre-selects the validation strategies (e.g. the psychometric analyses, interviews with raters), the assessment administration procedure and the training required by assessors.


결과적 타당성에 대한 고려는 검증 프로세스의 필수적인 부분이며 평가 개발 및 모니터링 프로세스 전반에 걸쳐 타당성을 구축하기 위한 노력에서 중요한 고려사항이 되어야 한다. 결과는 의도되거나 의도하지 않을 수 있고, 유익하거나 해로울 수 있다. 결과적으로, 관리자는 평가 프로그램에 포함된 모든 평가를 개발하는 동안 평가의 잠재적 결과를 고려하고 또한 모니터링해야 한다. 보다 구체적으로, 예상가능한 결과를 고려할 때에는 운영 및 결과 해석에서 발생하는 [모든 가능한 결과]가 포함되어야 하며, (일반적으로 검증에 대한 더 고전적인 접근방식처럼) 구인-무관 분산(CIV)에 국한되지 않아야 한다.

Consideration for consequential validity is an essential part of the validation process35 and should be an important consideration in an effort to build in validity throughout the assessment development and monitoring process. Consequences can be intended or unintended, beneficial or harmful.5,13,14,43 As a result, administrators should consider, and also monitor for, potential consequences of assessment during the development of all assessments included in an assessment programme. More specifically, the consideration of anticipated consequences should include all possible consequences arising from the administration and interpretation of the results,35 and not be limited to construct-irrelevant variance, as typically reported in more classical approaches to validation.


[의도적인 이익]은 종종 예측하고 측정하기 가장 쉬운 반면, [의도하지 않은 손해]는 종종 고려하고 감시하기 가장 어렵다.

Intentional benefits are often the easiest to anticipate and measure, whereas unintentional harms are often the hardest to consider and monitor.35


평가 결과의 조합 해석을 뒷받침하는 문서화된 유효성 증거

Documented validity evidence supporting the interpretation of the combination of assessment findings


검증 프로세스는 다른 시간에 서로 다른 출처로부터 수집된 학습자의 여러 '스냅샷' 형태로 상당한 양의 정보를 생성하는 프로그램 평가 접근법에서도 중요하다.21 프로그램 평가에서는, 평가 프로그램에서 생성된 점수(들)의 해석을 뒷받침하는 타당성 증거를 수집해야 한다.

The validation process is also important in a programmatic assessment approach that produces a considerable amount of information in the form of several ‘snapshots’ of the learner collected from different sources at different times.21 In programmatic assessment, validity evidence must be collected to support the interpretation of the score (s) generated by the assessment programme


평가 결과를 전체적으로 해석하려면, [이용 가능한 평가 데이터]를 조직하고 해석하기 위해 [한 명 또는 그 이상의 개인]의 판단이 필요할 수 있다.

This interpretation of the assessment results as a whole is likely to require the judgement of one or more individuals in order to organise and interpret available assessment data.


결과를 [산술적으로 단순히 합산만 하면 전체가 되는 작은 조각으로 나눌 수 없는 경우], 특히 평가 프로그램에서 [다양한 평가 유형의 정보를 결합해야 하는 경우], 정보를 수집하고 분석collate하기 위해 인간의 판단을 사용해야 한다.

‘If we cannot break down the results into little pieces that arithmetically add up to a total score, we need to use human judgement to collect and collate information, especially if – in a programme of assessment – information from various types of assessment needs to be combined (p. 481)’.32


평가 관리자가 평가 프로그램에 걸쳐 제시된 학습자의 성과에 대해 보다 방어가능한 결정을 내릴 수 있도록 타당성 증거를 문서화할 필요가 있다.21

Validity evidence needs to be documented in order to help assessment administrators make a more defensible decision about the learner’s performance, as represented across the programme of assessment.21


모든 평가 전략의 품질을 문서화하기 위한 다양한 증거(양적 및 정성적)의 정당화된 사용 시연

Demonstration of a justified use of a variety of evidence (quantitative and qualitative) to document the quality of all assessment strategies


평가 프로그램의 품질은 몇 가지 출처로부터의 타당도 증거에 기초해야 한다. 모든 평가 프로그램에 대해 포괄적인 검증 프로세스가 시행되도록 하기 위해 증거를 신중하게 선택해야 한다.26,41

The quality of the assessment programme must be based on evidence of validity from several sources.37,38,40 Evidence must be carefully chosen to ensure that a comprehensive validation process is put in place for any assessment programme.26,41


타당도 증거는 본질적으로 양적이든 질적이든 엄격한 접근법에 기초해야 한다.34,35 평가 프로그램의 감시를 책임지는 사람들은 이를 위해 타당화 실무를 할 때 [질적연구의 맥락에서 개발된 지식과 방법의 총체corpus]를 활용integrate할 수 있다.

Validity evidence, be it quantitative or qualitative in nature, must be based on a rigorous approach.34,35 To this end, those responsible for the monitoring of programmes of assessment could integrate the corpus of knowledge and methods developed in the context of qualitative research into their validation practices.


예를 들어, 평가를 담당하는 관리자는 서로 다른 유형의 증거에 대한 일관성을 찾기 위해 데이터를 삼각측량하거나, [포화 상태]에 도달하기 위해 학습자의 성과에 대한 정보를 축적하기 위해 서로 다른 전략을 사용할 수 있다.1,39 [평가 의사결정 과정과 관련된 엄격함을 개선하기 위해 '전체적overall' 판단을 내리는 사람]들로부터 [상세한 질적 데이터]를 포함하는 것도 고려할 수 있다. .12

As an example, administrators responsible for assessment could use different strategies to accumulate information about the learner’s performance in order to triangulate data to look for consistency across different types of evidence or attempt to reach saturation.1,39 We could also consider including detailed qualitative data from the individuals who are making ‘overall’ judgements in order to improve the rigour associated with assessment decision-making processes.12


결과

Consequent


검증 프로세스의 건전성 및 평가에 따른 결정의 신뢰

Belief in the soundness of the validation process and the decisions resulting from the assessment


사회적 의무로서의 타당성은 이제 떠오른emerging 개념이기 때문에, 그 결과의 주제에 대해 직접 보고하는 문헌은 거의 없다. 그러나 서로 다른 집단(전문 기관 및 고등 교육 기관의 관리자, 평가를 수행하는 평가자)에 의해 수행되는 [타당화 프로세스에서 사회에 대한 고려consideration for society]는 [평가 시스템, 평가 점수, 그리고 이 시스템에서 도출된 판단]에 대한 신뢰를 증가시킬 것으로 믿는다프로그램적 평가는 타당하고 다양하며 고품질 유효성의 증거를 사용하여 구성 및 모니터링할 필요가 있다.34

As validity as a social imperative is an emerging concept, there is little literature directly reporting on the topic of its consequents. However, we believe that the consideration for society in the validation processes conducted by different groups (administrators for professional bodies and higher education institutions, as well as the assessors conducting the assessment) will increase trust in the assessment system, in the assessment scores and in judgements resulting from this system. Programmatic assessment needs to be constructed and monitored with relevant, varied and high- quality evidence of validity.34


'[실천공동체에 의한 수행능력 가치]에 대한 논의에 참여하면 [무엇이 전문적 역량의 우수성을 구성하는지]와 [평가 시스템이 환자 치료의 질 향상에 어떻게 기여할 수 있는지]에 대한 논쟁을 더욱 부채질할 수 있다(1172 페이지).33

‘Engagement in discussion about performance values by communities of practice may further fuel the debate about what constitutes excellence in professional competence and how assessment systems may contribute to improving the quality of patient care (p. 1172)’.33


평가와 검증 프로세스의 프로그램은 계획되고 명시적으로 문서화되어야 한다. 따라서 평가 결과의 해석에서 발생하는 [결정은 더 쉽게 방어할 수 있고 사회를 포함한 모든 이해당사자들에게 투명하게 공개될 것]이다.

The programme of assessment and validation processes should be planned and explicitly documented; therefore, decisions arising from the interpretation of the assessment results will be more easily defensible and made transparent to all stakeholders, including society at large.


고찰 DISCUSSION


평가의 타당성에 대한 사회의 우려

Society’s concern about the validity of assessment


사회는 평가가 고품질의 평가가 될 것으로 기대한다; 이는 [고등 교육 기관(차세대 의료 사업자를 양성할 사회적 지시)의 평가]부터 [다양한 전문 기관의 평가(대중을 보호할 사회의 지시)]에 이르기까지 광범위한 평가에 적용된다. 몇몇 기관들은 이러한 사회적 책임을 충족시키고 평가에 대한 사회적 우려에 대응할 수 있도록 하기 위한 작업을 시작했다. 한 예로, 캐나다 의료 위원회(MCC)는 [허가 의무(즉, 캐나다에서의 의료행위)와 관련된 사회적 맥락과 관련된 니즈]를 식별하기 위한 프로세스에 투자했다. MCC는 최근 관련 이해관계자(전문가, 간호사, 약사, 의사, 일반인)와의 협의 결과를 참작하기 위해 평가 청사진을 수정했다.45 점수 해석에 따른 의사결정을 정당화하기 위해 [타당성 증거]가 필요하며, 특히 보건의료 전문직의 진입을 위한 핵심 결정 지점을 나타내는 입학, 면허 및 인증과 같은 고부담 평가에서 그렇다.

Society expects assessments to be of high quality; this applies to assessments ranging from those by higher education institutions (which have the social mandate to train the next generation of health care providers) to those of the various professional bodies (which have the social mandate to protect the public). Several institutions have initiated work to meet this social responsibility and to enable them to respond to societal concerns about assessment. As one example, the Medical Council of Canada (MCC) invested in a process to identify needs relevant to its societal context as relevant to its licensure mandate (i.e. medical practice in Canada). The MCC has recently adapted its assessment blueprint to take into account results from consultations with relevant stakeholders (experts, nurses, pharmacists, physicians and members of the public).45 Validity evidence is necessary to justify decisions resulting from score interpretations, especially in high-stakes assessments, such as admissions, licensing and certification, which represent key decision points for entry into the health care professions.


에바 외 연구진은 고부담평가 횟수가 증가했음에도 불구하고 미국의 [의료 오류 빈도]와 [질 낮은 건강 관리의 빈도]가 계속 증가하고 있음을 강조한다. 환자 안전에 대한 사회적 우려는 의료 분야에서 발생하는 사건(예: 부작용)에 대한 대중 매체의 관심이 높아짐에 따라 촉진되는 것으로 보이며, 이는 의료 사업자의 역량 수준을 반영하는 것으로 볼 수 있다.46 [프로그램적 평가 또는 평가자 기반 평가에 대한 의존도가 증가하고, HPE의 평가 가치에 대한 인식이 지속되고, 많은 평가 결정의 고부담 특성을 인정함에 따라], (개인의 역량에 관한 추론을 포함하여) [평가 점수에 근거한 추론]의 타당성을 결정하는 것은 여전히 과제로 남아 있다.

Eva et al.23 highlight that, even with the increased number of high-stakes assessments, the frequencies of medical error and poor quality health care in the USA continue to increase. Societal concerns about patient safety appear to be fuelled by the growing attention given by mass media to events occurring in the health care sector (e.g. adverse events), which could be seen as a reflection of the competency level of health care providers.46 With increasing reliance on programmatic or rater-based assessments, continued recognition of the value of assessment in HPE and an acknowledgement of the high-stakes nature of many assessment decisions, determining the validity of inferences based on assessment scores, including inferences regarding an individual’s competence, remains a challenge.


메식스의 통일된 타당성 이론은 평가 프로그램의 품질 문서화를 책임지는 사람들을 도울 수 있는 방식으로 아직 운영되지 않았다. 프로그램적 평가에 대한 평가 점수에 근거한 추론 검증에 대한 [케인의 주장 기반 접근방식]을 운용하려는 노력이 있었지만, 이 프레임워크는 [메식(Messick)처럼] 평가의 결과에는 초점을 맞추지 못하고 있다. 평가 프로그램에 대한 검증 관행을 지원하기 위해 HPE 평가의 현재 맥락에서 이러한 프레임워크에서 최선의 것들을 통합하기 위한 추가 작업이 필요하다.

Messick’s13 unified theory of validity has yet to be operationalised in a way that could help those responsible for the documentation of the quality of their assessment programmes.25,47 Although there have been efforts to operationalise Kane’s14,43 argument-based approach to the validation of inferences based on assessment scores for programmatic assessment, this framework does not have the same focus on consequences of assessment as that of Messick.13 Further work is required to bring the best of these frameworks together in the current context of HPE assessment in order to support validation practices for programmes of assessment.


개인과 사회에 대한 평가 결정의 결과에 대한 기대

Anticipation of the consequences of assessment decisions for individuals and society


평가자는 개인과 사회에 대한 평가 결정의 잠재적 결과를 예측하고 이를 최소화 또는 완화하기 위한 조치를 제안해야 한다. 그러나 타당화 과정의 잠재적 결과에 대한 고려는 여전히 논란의 여지가 있다.48,49 메렌스50과 팝햄,51과 같은 일부 저자들은 [평가의 결과]가 타당성이 아니라 사회정책과 관련이 있다고 주장해왔다. 그럼에도 불구하고 평가는 사회적 행위로서 사회적 결과를 가져온다. 쿡과 라인베리35는 결과적 타당성이 검증 과정에서 고려해야 할 가장 중요한 증거라고 주장하기까지 한다. 그들의 정당성은 우리의 분석에서 확인된 핵심 특징과 유사하다: 평가 결과에 기초하여 이루어진 모든 결정은 긍정적이거나 부정적으로 개인이나 사회에 영향을 미칠 수 있다.

Assessors must anticipate the potential consequences of assessment decisions on individuals and society, and propose measures to minimise or mitigate them. However, consideration of the potential consequences of the validation process remains controversial.48,49 Some authors, such as Mehrens50 and Popham,51 have argued that the consequences of assessment are associated with social policies and not with validity.4,5,44,49,52,53 Nonetheless, assessment is a social act and has social consequences. Cook and Lineberry35 go so far as to claim that consequential validity is the most important evidence to consider in a validation process. Their justification is similar to a core feature identified in our analysis: all decisions made based on the results of assessments can impact the individual or society, positively or negatively.


이러한 개념 분석의 결과에 기초하여, 결과를 단순히 귀납적으로a posteriori 관심을 가지거나 측정할 것이 아니라, 타당화 과정(평가 및 평가 점수의 준비, 관리 및 해석) 전체에 걸쳐 검토, 참석 및 완화해야 한다고 본다. 그러나 결과는 HPE에서 자주 측정되지 않는다. 우리는 '어떻게' 평가의 결과를 before, during, after에 측정할 수 있는지에 대한 몇 가지 설명들을 찾아냈다. 더욱이, 결과 측정measuring consequences은 [평가의 잠재적인 의도하지 않은 결과를 측정하기 위한 종적 연구와 같은] 상당한 노력이 필요한 도전적인 과정이다.5 결과적 타당성 보장이 어렵다는 점을 감안할 때, 결과적 타당성의 작동화에 대한 추가 연구가 필요하다.

Based on the results of this concept analysis, we believe that consequences should not simply be attended to or measured a posteriori, but considered, attended to and mitigated throughout the validation process (preparation, administration and interpretation of assessment and assessment scores). However, consequences are not frequently measured in HPE.1,23,35 We found few descriptions of ‘how’ one could measure the consequences of assessment before, during or after the said assessment. Furthermore, measuring consequences is a challenging process that requires substantial effort5 such as through longitudinal studies to measure the potential unintended consequences of assessment.23 Given the difficulty in assuring consequential validity, further studies on the operationalisation of consequential validity are required.


정성적 검증 전략의 중요성 증대

The increased importance of qualitative validation strategies


CBE로 HPE의 변화는 프로그램적 평가의 이행과 성과 기반 평가에 대한 의존도 증가와 같은 평가 실무의 변화를 가져왔다. 문헌은 점점 더 authentic하고 프로그램적인 평가와 같은 복잡한 평가에 대한 적절한 타당성 증거를 제공하는 것이 어렵다는 것을 시사하고 있다.

The shift in HPE towards CBE brought about changes in assessment practice, such as the implementation of programmatic assessment and the increased reliance on performance-based assessment. The literature increasingly suggests the difficulty of providing adequate validity evidence for complex assessment such as authentic and programmatic assessment.


호지스가 지적한 바와 같이, 정신측정학 접근법은 현재 진화하고 있다. [분석과 합성을 위한 정성적 접근법을 타당화 프로세스에 통합하는 것]을 포함하여, 복잡한 평가 전략의 합성과 품질 모니터링을 위한 해결책을 공동체로 찾을 필요가 있다. 기존 타당도 프레임워크의 작성자(예: Messick13 및 Kane14)는 평가 점수의 유효한 해석을 지원하기 위한 정성적 데이터의 사용을 기각하지는 않지만, 이러한 데이터가 어떻게 보일 수 있고 타당화 과정에서 어떻게 고려될 수 있는지에 대해서는 거의 알려져 있지 않다. 

As indicated by Hodges,12 psychometric approaches are currently evolving. We need, as a community, to find solutions for the synthesis and quality monitoring of complex assessment strategies, including integrating qualitative approaches for analysis and synthesis into the validation process. Although the authors of existing validity frameworks (e.g. Messick13 and Kane14) do not dismiss the use of qualitative data to support the valid interpretation of assessment scores, little is known of what these data might look like and how they might be considered in a validation process.13,44,53


정성적 타당도 증거에 대한 의존도를 증가시킬 수 있는 잠재적 위험으로는 [전통적인 정신측정학 접근법에 대한 의존도 감소]와 [전통적인 양적 방법론을 위한 장소의 제한] 등이 있을 수 있다. 일부 저자들은 질적 증거와 양적 증거를 결합할 필요성을 언급해왔다. 

A potential risk for increasing the reliance on qualitative validity evidence may suggest a limited place for more traditional quantitative methodologies, with a reduced reliance on traditional psychometric approaches. Some authors have mentioned the need to combine qualitative and quantitative evidence.35,53,54


그러나 질적 근거와 양적 증거를 결합하는 목표에 부합하는 제안된 전략들은 제대로 정의되지 않았거나 운용되지 않은 채로 남아 있다. 서로 다른 유형의 증거 사이의 균형은 분석과 데이터 통합에 대한 혼합된 방법 접근법을 고려하는 데 어려움이 있을 수 있으며 이로울 수 있다. 

However, the proposed strategies that would align with the goal of combining qualitative and quantitative evidence remain poorly defined or operationalised. The balance between different types of evidence may be difficult to establish and may benefit from the consideration of mixed-methods approaches to analysis and data integration.55,56


선택된 증거의 유형에 관계없이, 평가에 참여하는 개인은 프로그램적 평가의 품질을 보장하기 위해 최선의 증거를 선택하고 정당화해야 한다. 그러나 특히 접근 가능한 자원이 거의 없는 개인이나 기관에서 검증 접근방식의 전환을 달성하기는 쉽지 않을 것으로 보인다. 수집된 타당도 증거의 유형(질적, 양적 또는 혼합)에 관계없이, 이러한 증거에 근거하여 해석하고 결정을 내리는 인간의 판단이 필요하며, 항상 그러할 것이다. 

Regardless of the types of evidence selected, individuals involved in assessment must choose and justify the best evidence to ensure the quality of their programmatic assessment. However, achieving a shift in validation approach is unlikely to be easy, especially for those individuals or institutions with few accessible resources. Whatever the type of validity evidence collected – be it qualitative, quantitative or mixed – there is, and will always be, a need for human judgement to interpret and make decisions based on these evidences.32,34


강점과 한계 Strengths and limitations


개념 분석에서, 모든 관련 문헌의 식별은 품질의 표식이 아니다. 오히려 개념 분석의 목적은 개념의 폭을 반영하는 대표적인 문헌을 식별하는 것이다.

In a concept analysis, the identification of all relevant literature is not a marker of quality; rather, the goal of a concept analysis is to identify a representative body of literature reflecting the breadth of a concept.


결론 CONCLUSIONS


이 개념 분석의 결과는 [평가의 품질에 대한 사회의 증가하는 우려]와 [새롭게 부상하는 평가 접근방식의 품질을 확립하기 위한 평가 책임자의 필요성]을 강조한다이제 개념을 명확히 했으므로, 추가 연구는 평가의 개발 및 모니터링에 관련된 개인에 따라 검증 접근법, 사회적 관심사 및 이 개념의 운영화 사이의 교차점을 설명하는데 초점을 맞출 수 있다. 학생, 심사원, 관리자, 평가 위원회 또는 전문 기관의 구성원 등.

Findings from this concept analysis highlight society’s growing concern about the quality of assessment and a need for those responsible for assessment to establish the quality of newly emerging assessment approaches. Now that we have clarified the concept, further research can focus on elucidating the intersections between validation approaches, societal concerns and the operationalisation of this concept according to individuals involved in the development and monitoring of assessment, such as students, assessors, administrators, and members of assessment committees or professional bodies.







23 Eva KW, Bordage G, Campbell C, Galbraith R, Ginsburg S, Holmboe E, Regehr G. Towards a programme of assessment for health professionals: from training into practice. Adv Health Sci Educ Theory Pract 2016;21 (4):897–913.


32 Schuwirth LWT, van der Vleuten CPM. Programmatic assessment: from assessment of learning to assessment for learning. Med Teach 2011;33 (6):478–85.


33 Govaerts M, van der Vleuten CPM. Validity in work- based assessment: expanding our horizons. Med Educ 2013;47 (12):1164–74.


34 van der Vleuten CPM, Schuwirth LWT, Scheele F, Driessen EW, Hodges B. The assessment of professional competence: building blocks for theory development. Best Pract Res Clin Obstet Gynaecol 2010;24 (6):703–19.


35 Cook DA, Lineberry M. Consequences validity evidence: evaluating the impact of educational assessments. Acad Med 2016;91 (6):785–95.


38 Colliver JA, Conlee MJ, Verhulst SJ. From test validity to construct validity ... and back? Med Educ 2012;46 (4):366–71.


39 Cook DA, Brydges R, Ginsburg S, Hatala R. A contemporary approach to validity arguments: a practical guide to Kane’s framework. Med Educ 2015;49 (6):560–75.


46 Carraccio C, Englander R, van Melle E, ten Cate O, Lockyer J, Chan M-K, Frank JR, Snell LS. International competency-based medical education collaborators. Advancing competency-based medical education. Acad Med 2016;91 (5):645–9.





. 2018 Jun;52(6):641-653.
 doi: 10.1111/medu.13574.

Validity as a social imperative for assessment in health professions education: a concept analysis

Affiliations 

Affiliations

  • 1Department of Nursing, Faculty of Medicine and Health Sciences, Université de Sherbrooke, Sherbrooke, Quebec, Canada.
  • 2Department of Medicine and Center for Medical Education, Faculty of Medicine, McGill University, Montreal, Quebec, Canada.
  • 3Department of Medicine, Faculty of Medicine and Health Sciences, Université de Sherbrooke, Sherbrooke, Quebec, Canada.

Abstract

Context: Assessment can have far-reaching consequences for future health care professionals and for society. Thus, it is essential to establish the quality of assessment. Few modern approaches to validity are well situated to ensure the quality of complex assessment approaches, such as authentic and programmatic assessments. Here, we explore and delineate the concept of validity as a social imperative in the context of assessment in health professions education (HPE) as a potential framework for examining the quality of complex and programmatic assessment approaches.

Methods: We conducted a concept analysis using Rodgers' evolutionary method to describe the concept of validity as a social imperative in the context of assessment in HPE. Supported by an academic librarian, we developed and executed a search strategy across several databases for literature published between 1995 and 2016. From a total of 321 citations, we identified 67 articles that met our inclusion criteria. Two team members analysed the texts using a specified approach to qualitative data analysis. Consensus was achieved through full team discussions.

Results: Attributes that characterise the concept were: (i) demonstration of the use of evidence considered credible by society to document the quality of assessment; (ii) validation embedded through the assessment process and score interpretation; (iii) documented validity evidence supporting the interpretation of the combination of assessment findings, and (iv) demonstration of a justified use of a variety of evidence (quantitative and qualitative) to document the quality of assessment strategies.

Conclusions: The emerging concept of validity as a social imperative highlights some areas of focus in traditional validation frameworks, whereas some characteristics appear unique to HPE and move beyond traditional frameworks. The study reflects the importance of embedding consideration for society and societal concerns throughout the assessment and validation process, and may represent a potential lens through which to examine the quality of complex and programmatic assessment approaches.

평가프로그램과 케인의 타당도 관점(Med Educ, 2012)

Programmatic assessment and Kane’s validity perspective

Lambert W T Schuwirth1,2 & Cees P M van der Vleuten2





도입 INTRODUCTION


의학 교육 평가 문헌은 의료 [역량을 구성하는 각각의 개별 구조construct]에 대해 ['성배'라는 것이 존재할 것이라는 가정] 하에 (다른 모든 것에 비해) [하나의 평가 기구의 본질적인 우월성을 입증하려는 연구]에 의해 오랫동안 지배되어 왔다. 이 담론의 대표적인 예로는 의학 문제해결의 평가에서 [객관식 문항]보다 [개방형 문항]의 선천적 우월성을 입증하려고 시도한 많은 연구가 있다.1-4 그러나 점점 더 평가의 내용이 그 형식보다 훨씬 더 중요한 역할을 한다는 것이 분명해졌다.2-5 더 중요한 것은 이러한 성배가 존재할 가능성이 매우 낮으며, 심지어 다른 맥락까지 적용될 가능성이 낮다는 인식이 증가하고 있다는 점이다. 대신, 각 평가 방법의 효용성은 항상 품질의 다양한 측면 사이의 절충이라는 관념이 자리를 잡게 되었다.

The medical education assessment literature has long been dominated by studies that try to demonstrate the intrinsic superiority of one assessment instrument over all others on the assumption that such a ‘holy grail’ for each of the separate constructs that make up medical competence will exist. Typical examples of this discourse include the many studies that have attempted to prove the innate superiority of open-ended questions over multiple-choice questions in the assessment of medical problem-solving.1–4 Increasingly, however, it has become clear that the content of an assessment plays a far more important role than its format.2–5 More importantly, there is increasing awareness that it is highly improbable that such a holy grail exists and even less likely that it will be applicable across different contexts. Instead, the notion that the utility of each assessment method is always a compromise between various aspects of quality has gained ground.


[평가의 질]을 더 높은 수준에서 평가해야 한다는 것이 더 일반적으로 받아들여졌을 때 한 단계 더 나아갔다. 따라서 개별 평가 방법의 수준에서 평가를 평가하기보다는 방법에 따라 평가의 품질을 결정해야 한다.8.9 이 관점의 두 가지 결과가 중요하다. 

  • 첫째로, 어떤 상황에서든 하나의 도구가 완벽하지 않을 수 있다는 것을 깨닫게 한다(실제로 거의 모든 악기는 완벽하지 않다). 

  • 째로, 평가 도구의 강점은 평가 프로그램 구축을 통한 유연하고 맞춤화된 접근방식에서 비롯된다는 것을 암시한다. [(거의) 완벽한 도구의 조합]보다 아마도 [덜 완벽한 구성요소를 세심하게 결합한 세트]가 더 강력한 평가 프로그램을 만들 수 있다.

A further step was taken when it became more generally accepted that the quality of assessment should be evaluated at a higher level. Thus, rather than evaluating an assessment at the level of the individual assessment method, the quality of the assessment should be determined across methods.8,9 Two outcomes of this view are important. 

  • Firstly, it makes us realise that in any situation a single instrument may not be perfect (in reality almost all instruments are less than perfect). 

  • Secondly, it implies that strength derives from a more flexible and tailor-made approach to building a programme. A combination of (near-) perfect instruments may result in a weaker programme than a carefully combined set of perhaps less perfect components.


예를 들어, 역량 영역(예: 미국 대학원 의학 교육 인증 위원회[ACGME] 또는 캐나다 CanMEDS 도메인의 왕립 의사 및 외과의사 대학(Royal College of Occessors and Occessors of CanMEDS domains10,11)의 개발의 맥락에서, 전통적인 접근방식은 각 역량 영역에 대해 하나의 우수한 기기가 개발되어야 하는 평가 프로그램을 지시할 것이다. 그러한 프로그램은 [1개의 도구 대 1의 역량 영역 설계]를 따를 것이다. 프로그램적 접근방식에서 하나의 기구는 학생과 교사 모두에게 다양한 역량 영역을 알릴 수 있으며, 역량 영역은 다양한 출처의 정보를 사용하여 평가된다. 따라서 1 : 1 관계보다는 소위 n : n 관계를 얻는다.12

For example, in the context of the development of competency domains (such as those defined by the US Accreditation Council for Graduate Medical Education [ACGME] or the Royal College of Physicians and Surgeons of Canada’s CanMEDS domains10,11), the traditional approach would dictate an assessment programme in which one superior instrument would require to be developed for each of the competency domains. Such a programme would follow a one-instrument-to-one-competency-domain design. In a programmatic approach one instrument can inform both students and teachers on various competency domains and a competency domain is assessed using information from various sources. Thus, rather than a 1 : 1 relationship, a so-called n : n relationship is obtained.12


완벽한 단일 도구가 없고 각 도구가 장단점(또는 표시, 부작용 및 금지)을 가진 것으로 간주되는 경우, 이것은 신뢰도나 건설 타당성 부족으로 인해 기각된 방법의 필요한 재평가로 이어져야 한다 (바이바, 긴 케이스, 구술 시험 등). 전통적으로 평가 도구의 가치가 다소 이분법적인 방법(좋음 대 나쁘음)으로 판단되었던 반면에, 이제는 [평가 프로그램의 장단점] 또는 [빌딩 블록으로서의 부가가치added value 측면]에서 재평가되고 있다.

If there is no single perfect instrument and each instrument is considered to have its advantages and disadvantages (or indications, side-effects and contraindications), this leads to a necessary reappraisal of methods that had been dismissed because of lack of reliability or construct validity, such as the viva, the long case, the oral examination, and so forth. Whereas the value of an instrument was traditionally judged in a more or less dichotomous manner (as good versus bad), it is now reappraised in terms of its strengths and weaknesses or its added value as a building block in an assessment programme.


타당도에 대한 Kane의 관점

KANE ON VALIDITY


본질적으로 타당성은 [문제의 평가가 평가하고자 하는 역량이나 성과 측면을 실제로 포착하는지]의 문제와 관련된다. 따라서 의료교육의 경우 평가 프로그램은 기업의 '의료 역량'을 포착하는 것을 목표로 한다. 역량이라는 entity는 [존재한다고 가정하지만, 직접 관측할 수 없다는 점에서 construct]이다. 따라서 관찰된 행동에서 유추해야 한다.

In essence, validity pertains to the question of whether the assessment in question actually captures the aspect of competence or performance it purports to assess. Thus, in the case of medical education, the assessment programme aims to capture the entity ‘medical competence’. Such an entity is a construct in that it is assumed to exist yet it cannot be observed directly. Therefore, it must be inferred from observed behaviour.


Kane은 특정 구조에 대한 평가의 타당성을 유추하는 것은 주장을 구축하고 검증하는 (그리고 반증하려는) 지속적인 과정이라고 말한다.13–15

Kane states that inferring the validity of an assessment for a certain construct is an ongoing process of building and verifying (and trying to falsify) arguments.13–15


관찰에서 점수까지

From observation to score


문제해결 능력 평가에서 전형적인 접근방식은 학생들이 다양한 의학적 사례에서 어떻게 수행하는지 관찰하는 것이다. 점수는 학생들이 질문에 대한 '원raw' 대답에서 도출되어야 한다. 물론 우리는 병력청취에서 질문한 관련 질문의 수, 수행된 관련 신체 검사의 수, 그리고 주문된 관련 실험실 시험의 수를 세어 모두 합쳐서 총점을 줄 수 있다.

A typical approach in the assessment of problem solving skills is to observe how students perform on various medical cases. A score must be derived from the ‘raw’ answers students give to questions. We could, of course, just count the number of relevant questions asked in history taking, the number of relevant physical examinations performed and the number of pertinent laboratory tests ordered, and add them all up to give a total score.


그러나 의학문제해결 및 전문지식에 관한 이론은 [전문가는 결론을 내리기 전에 반드시 더 많은 정보를 수집하지 않으며, 그보다는 '효율적'으로 정보를 수집한다]고 기술하고 있다.16–18 또한, 어떤 정보를 수집하는가에 관한 전문가들 사이에 개별적인 차이가 있다(사람에 따라 고유하다). 따라서, 위에서 설명한 방식으로 점수를 매기는 것은 관찰 결과를 점수로 적절하게 변환하는 데 도움이 되지 않을 것이다.

However, theories on medical problem solving and expertise state that experts do not necessarily collect more information before they come to a conclusion, but that they collect information more efficiently.16–18 In addition, there are individual differences between experts with respect to which information they collect (idiosyncrasy).17–19 Therefore, scoring in the manner described above would not serve to properly translate observations to scores.


관측 점수에서 우주 점수까지

From observed score to universe score


일반적으로 한두 건의 케이스는 후보자의 문제해결 전문지식에 대한 일반적인 결론을 도출하는 데 충분한 증거를 제공하지 않는다고 알려져 있다. 인지심리학 연구는 문제해결 전문지식의 영역별 특수성domain specificity 현상을 반복적으로 보여 주었다.23,24 따라서 긴 사례의 작은 표본은 일반적인 문제해결 능력에 대한 추론을 지원하지 않는다.

It is generally known that one or two cases never provide evidence sufficient to support the drawing of general conclusions about a candidate’s problem solving expertise. Research in cognitive psychology has repeatedly demonstrated the phenomenon of the domain specificity of problem-solving expertise.23,24 Therefore, small samples of long cases do not support inferences on general problem-solving ability.


그 결과, key-feature(KF) approach  접근법이나 의료 의사 결정에 초점을 맞춘 확장 매칭 항목과 같이 더 많은 수의 더 짧은 사례에 기초한 방법이 설계되었다.25–27

As a result, methods based on larger numbers of shorter cases, such as in the key-feature approach or in extended-matching items focused on medical decision making, have been designed.25–27


우주 점수에서 대상 도메인까지

From universe score to target domain


간단한 점수 체계와 좋은(넓지만 더 피상적인) 표본 추출 접근법을 통해 관찰된 점수에서 우주universe 점수까지의 좋은 추론을 이끌어내지만, 그 점수가 [의료에서 의사결정 능력]을 포착하고 있는가? 일련의 연구는 그러한 시험의 점수가 예상에 따라 작용한다는 것을 입증하기 위해 사용될 수 있다.

Key-feature approaches with simple scoring schemes and good (broad but more superficial) sampling approaches lead to a good inference from observed score to universe score, but do they capture medical decision-making ability? A series of studies may be used to demonstrate that scores on such tests behave according to expectations.


따라서 [우주 점수에서 목표 영역(의료 의사결정 기술)까지]의 추론을 뒷받침하기 위해서는 [질문에서 확인한 결정이 정말로 필수적이거나 핵심 기능의 결정을 대표한다는 가정]을 뒷받침하는 정보를 수집해야 한다.28,30

Thus, in order to support an inference from universe score to target domain (medical decision-making skills), information in support of the assumption that the decisions for which the questions ask are really essential or represent key-feature decisions must be collected.28,30


대상 도메인에서 구성으로

From target domain to construct


마지막으로, 의료 문제 해결은 단순히 서류 기반 또는 컴퓨터화된 사례에 대해 올바른 결정을 내리는 것 이상의 것을 수반한다. 실제 생활에서는 환자로부터 정보를 유도하는 능력(예: 의사소통 능력)과 정보를 선별하고 관련 없는 정보와 관련성을 구별하는 능력과 같은 많은 다른 요소들이 역할을 할 수 있다.

Finally, medical problem solving entails much more than simply making the right decisions on paperbased or computerised cases. In real life many other factors may play a role, such as ability to elicit information from a patient (e.g. communication ability), and ability to sift through information and distinguish relevant from non-relevant information.


즉, [키-기능 접근방식을 이용한 문제해결능력의 평가]가 [의료역량이라는 construct에 어떤 것을 더하는지]를 판단하는 것이 중요하다. 그 방법의 장단점은 무엇인가? 추가 방법을 사용하여 약점을 해결하거나 보완할 수 있는 방법은 무엇인가? 예를 들어, [키-기능 접근 점수]와 [미니-임상시험(미니-CEX)] 점수 사이의 시너지는 무엇인가? 전자는 높은 양의 낮은 충실도 평가를 기반으로 하고 후자는 더 적은 수의 충실도 시험 표본에 기초하고 있다.

In other words, it is important to determine what the assessment of problem-solving ability, using key-feature approaches, adds to the construct of medical competence. What are the strengths or weaknesses of the method? How can the weaknesses be addressed or compensated for by using additional methods? What, for example, is the synergy between key-feature approach scores and scores on mini-clinical examinations (mini-CEXs), where the former is based on a high quantity of low-fidelity assessment and the latter on fewer samples of high-fidelity testing?


케인의 타당성 관점을 보여주는 의학적 예

A medical example of Kane’s validity perspective


의학에서 BP는 직접 관찰할 수 없는 구조의 좋은 예다. 혈압은 일반적으로 환자의 건강 평가에 도움이 되도록 복용한다.

In medicine, BP is a good example of a construct that cannot be observed directly. Blood pressure is normally taken to aid in the evaluation of a patient’s health.


관찰에서 점수까지

From observation to score


환자의 BP를 확인할 때 의사는 음향(코롯코우 소리) 신호와 스피모노마노미터의 시각적 판독값을 수치값으로 전환해야 한다. 추론은 의사가 언제 판독을 해야 할지 알고, 스피모노미터가 너무 빨리 또는 너무 느리게 흘러내리지 않게 하고, 오른쪽 커프를 사용하는 등의 가정에 근거한다. 절차의 모든 측면이 올바르게 수행되어야만 관찰부터 점수까지의 유효한 추론이 이루어질 수 있다.

When taking a patient’s BP, the doctor must convert acoustic (Korotkow sounds) signals and a visual reading of the sphygmomanometer to a numerical value. The inferences are based on the assumption that the doctor knows when to take the reading, does not let the sphygmomanometer run down too quickly or too slowly, and uses the right cuff, and so forth. Only when every aspect of the procedure is performed correctly can a valid inference from observation to score be made.


관측 점수에서 우주 점수까지

From observed score to universe score


다음 추론은 관측치가 가능한 모든 관측치를 충분히 대표하는지 여부를 가리킨다. 이 예에서 이것은 하나의 측정치가 진단을 기초로 할 충분한 데이터를 제공하는지 여부를 가리킨다. 예를 들어 네덜란드 가이드라인은 고혈압은 BP를 한 번의 상담에서 두 번 측정하고 두 번째 상담에서 반복 측정해야 진단할 수 있다고 규정하고 있다.32

The next inference refers to whether the observations are sufficiently representative of all possible observations. In our example, this refers to whether one measurement provides sufficient data on which to base a diagnosis. The Dutch guideline, for example, stipulates that hypertension can only be diagnosed if BP is taken twice during one consultation and is repeated during a second consultation.32


우주 점수에서 대상 도메인까지

From universe score to target domain


이제 BP 측정 결과는 [환자의 심혈관 상태]에 대한 결론을 도출하는 데 사용된다. 이를 위해서는 심장의 배양, 맥박 증식 및 기타 결과를 통합하고 결론이 유효하기 위해 결과를 삼각측량해야 한다.

Now the results of the BP measurements are used to draw conclusions about the cardiovascular status of the patient. This requires heart auscultation, pulse palpation and other results to be incorporated and the results triangulated in order for the conclusions to be valid.


대상 도메인에서 구성으로

From target domain to construct


환자의 심혈관 상태는 이제 [환자의 건강 상태]를 확립하는 데 사용될 수 있지만, 보다 일반적인 결론을 뒷받침하기 위해 다른 출처로부터 추가 정보를 얻고 삼각측량을 해야 한다.

The patient’s cardiovascular status can now be used to establish his or her health status, but further information must be obtained from other sources and triangulated to support a more general conclusion.


추론하기

MAKING INFERENCES


케인의 견해로는 추론은 [논거argument]에 근거한다. 이것들은 양적인 것일 수도 있고 질적인 것일 수도 있지만, 그것들은 항상 이론에 근거하고 해석적인 것이어야 하기 때문에 [고립된 논거]로 존재할 수는 없다. 물론, 어떤 논쟁도 괜찮지는 않을 것이다. 검증 과정의 논쟁은 명확하고 구체적이며 일관성이 있어야 하며 완전해야 하며 타당해야 하며 검증가능해야 하며 반증가능해야 한다.14

In Kane’s view, inferences are based on arguments. These may be quantitative or qualitative, but they must always be theory-based and interpretive and thus cannot serve as arguments in isolation. Of course, not just any argument will do. Arguments in the validation process must be clear, specific, coherent, complete, plausible, verifiable and falsifiable.14


모든 이해관계자나 연구자가 자신의 논리를 따를 수 있도록 하기 위해서는 논거argument가 명확해야 한다. 따라서 argument에는 충분한 구체적인 내용이 포함되어야 한다. 일관성은 관련 추론 네트워크가 최종 결론과 결정이 관찰된 성과로부터 타당하게 뒤따를 수 있도록 요구한다. 이를 위해서는 논거가 완전해야 한다. 

Arguments are required to be clear in order to ensure that every stakeholder or researcher is able to follow their logic. Therefore, the argument must include sufficient specific details. Coherence requires that the network of related inferences is such that the final conclusions and decisions follow plausibly from the observed performance. This requires the argument to be complete. 


어떤 주장의 타당성plausibility은 종종 주장 그 자체로 자명할 수 있지만, 일부 주장의 경우 경험적 기초에만 의존하기도 하며, 반면 다른 어떤 주장의 경우 신중한 문서화 및 절차 정밀도에 의존할 수도 있다. 이것은 연역적 추론이나 귀납적 추론뿐만 아니라 확률적 추론과 같은 다른 형태의 방어적 추론도 포함할 수 있다. 

The plausibility of the argument may often be self-evident, but some arguments will rely on empirical underpinning (preferably by not only verification, but also by multiple failed attempts at falsification) and others will rely on careful documentation and scrutiny of procedures. This may involve the employment of not only deductive reasoning or inductive inferences, but also of other forms of defeasible reasoning, such as probabilistic reasoning. 


방어가능한 주장은 어떤 전제presupposition를 담고 있지만 반론counterargument이 강할 경우 이것이 전복될 수도 있다는 것을 수용하는 주장이다. 확률에 근거한 주장은 무효로 할 수 있지만defeasible, 순전히 연역적 논리에 근거한 주장은 그렇지 않다. 비록 이것이 평가 개발자나 연구자가 자신이 필요로 하는 어떤 논쟁이든 사용할 수 있는 대단한 관용도를 가지고 있다는 인상을 줄 수 있지만, 이것은 사실이 아니다: 모든 논쟁은 그것이 타당성을 위한 최적의 증거를 제공하기 위해 전략적이고 프로그램적인 방법으로 신중하게 선택되어야 한다.

Defeasible arguments are arguments that contain a presupposition but accept that this may be overthrown if counterarguments are strong. Probability-based arguments are defeasible, whereas those based on sheer deductive logic are not. Although this may give the impression that the assessment developer or researcher has great latitude to use whatever arguments he or she needs, this is not the case: every argument must be carefully chosen in a strategic and programmatic way to ensure that it provides the optimal evidence for validity.


프로그램 평가 및 추론

PROGRAMMATIC ASSESSMENT AND INFERENCES


평가 프로그램은 다양한 평가 구성요소(도구)를 사용할 것이다. 우리는 각 평가도구의 품질은 동일한 (심리측정적) 접근법을 사용하여 결정할 수 없다고 믿는다. 대신에, 우리는 프로그램의 특정 구성요소에 따라 평가에 다양한 방법과 절차가 사용되어야 한다고 생각한다. 이들 각각의 선택은 [평가도구의 구성 요소와 평가 프로그램이 포착하고자 하는 구인construct]의 특성에 대한 명확한 개념에 기초해야 한다.

A programme of assessment will use various assessment components (instruments). We believe that the quality of each of these cannot be determined using the same (psychometric) approaches. Instead, we think that a variety of methods and procedures should be used in assessment depending on the specific component of the programme. The choice of each of these must be based on a clear notion of the nature of the construct the component and the assessment programme are trying to capture.


우리는 이 방법들 중 어떤 것도 그 자체로 좋거나 나쁘다는 것을 보여주고 싶지 않다. 반대로, 특정 방법의 가치와 유용성은 추론을 얼마나 서포트하는지로부터만 도출될 수 있으며, 따라서 [특정 구인에 대한 평가의 타당성]에 도달할 수 있다.

We do not wish to illustrate that any of these methods are either good or bad in themselves. On the contrary, the value and usefulness of a particular method can only be derived from the support it lends to an inference and thus to the validity of the assessment for a certain construct.


추론 1. 관찰에서 점수까지

Inference 1. From observation to score


문항 작성 규칙 

Item construction rules


이는 주제를 숙지한 학생이 항목에 정확하게 답하고 숙달하지 않은 학생이 오답할 확률을 최적화하기 위한 것이다.33,34 다시 말해 학생이 거짓 부정 또는 거짓 긍정 응답을 할 가능성을 최소화하는 역할을 한다.

These are designed to optimise the probability that a student who has mastered the subject matter will answer the item correctly and those without sufficient mastery will answer incorrectly.33,34 In other words, they serve to minimise the chance that a student will give a false negative or false positive response.


예를 들어, 학생이 가장 긴 옵션을 선택했기 때문에 객관식 질문에 정확하게 답하거나, 또는 소위 '블런더부스' 기법을 성공적으로 적용했기 때문에 개방형 질문에 정확하게 답하는 경우, 이 학생이 획득한 점수는 [주제 숙달이 아니라] '시험-숙련성'에 기초하였기 때문에 무효다.

If, for example, a student answers a multiple-choice question correctly because he or she has chosen the longest option, or answers an open-ended question correctly because he or she has successfully applied a so-called blunderbuss technique, the scores this student obtains are invalid as they are based on ‘test-wiseness’ and not on subject matter mastery.


구술 시험에서의 시험 전략과도 관련이 있다(예: 시험관의 취미를 알아내고 그것을 활용한다).

it also pertains to test-taking strategies in oral examinations (e.g. find out the hobby horses of the examiner and capitalise on them).


평가의 구조화

Structuring of the assessment


모든 응시자가 평가에서 요구하는 과제와 유사하게 대응해야 하는 ATLS(고급 외상 수명 지원) 절차적 능력의 평가와 같이 관심대상 구조construct가 균일하다면, 평가를 구조화하면 관측치에서 점수로의 변환이 개선된다. 그러나 후보자와 당면한 문제(예: 직장에 의한 평가와 같이)의 [상호작용의 질]이 문제라면, 구조화는 잘 작동하지 않는다.

If the construct of interest is uniformity, such as in the assessment of advanced trauma life support (ATLS) procedural skills, in which all candidates should respond similarly to the tasks demanded by the assessment, structuring the assessment improves the conversion of observations to scores. However, if the quality of the interaction between the candidate and the problem at hand (e.g. as in workplace-based assessment) is an issue, structuring does not work well.


한 가지 예는 고도로 구조화된 초기 객관적 구조 임상 검사(OSCE)이다. 많은 심사관들은 개별 항목에 대한 모든 점수를 합산하는 것이 OSCE가 평가하고자 하는 역량의 능력을 실제로 나타내지 않는다고 불평했다. 구인의 구체적인 정의에 따라 평가의 구조화는 경우에 따라 타당성 주장을 강화하지만 다른 경우에는 약화시킬 수 있다.

This is exemplified by early objective structured clinical examinations (OSCEs), which were highly structured. Many examiners complained that adding up all the scores on the individual items did not really indicate ability in the competence the OSCE was intended to assess. Depending on the specific definition of the construct, structuring the assessment may strengthen the validity argument in some cases, but weaken it in others.


채점 규칙 

Scoring rules


물론 채점 규칙의 결정이 중요한 역할을 한다. 추측guessing에 대한 벌점 적용 여부에 대한 광범위한 논쟁이 이를 잘 보여주는 예다.35

Of course, the determination of scoring rules plays an important role. The extensive debates about whether or not to apply a penalty for guessing are a good example of this.35


[학생의 지식을 하나의 구성]으로 담아내려고 한다면, [willingness to guess]는 [관찰부터 점수까지의 추론]에서 오류의 원인이 된다. 대조적으로, [학생이 실제로 어떤 지식을 사용하려고 하는지]를 평가하는 데 관심이 있다면, educated guess를 하려는 의지는 구조 관련 분산(CRV)의 원천으로 보여질 수 있다.

If one tries to capture the student’s knowledge as a construct in his or her head, willingness to guess is a source of error in the inference from observation to score. If, by contrast, one is interested in assessing which knowledge the student is willing to actually use, willingness to make an educated guess may well be seen as a source of construct-relevant variance.


또한, [더 복잡한 채점 방법]이 일반적으로 더 많은 분산을 도입하지만 (구인 관련 분산인 경우가 드물기 때문에) [단순한 1-0 접근법]보다 본질적으로 더 나은 것은 아니다. 이것은 'Granularity'와 관련된 문제다. 지나치게 상세한 채점은 구성과 관련된 분산을 증가시킬 수 있다. 논문의 경우 10점 만점에 7.35점이 있으면 단순히 존재하지 않는 정확도를 나타낸다.

Further, more complicated scoring methods are not inherently better than simple 1-0 approaches19 because although they generally do introduce more variance, this is seldom construct-relevant variance. This is an issue related to ‘granularity’. Overly detailed scoring can increase the construct-irrelevant variance: a mark of 7.35 out of 10 for a thesis suggests an accuracy that is simply not there.


문항 분석 

Item analyses


[문항 분석]은 유효성에 부정적인 영향을 미칠 수 있는 항목을 식별할 수 있기 때문에 관찰에서 점수로 추론을 개선하는 데 사용될 수 있다. 그러나 이 능력은 평가에서 시험하고자 하는 구성에 따라 달라진다.

Item analyses can be used to improve the inference from observation to score because they can identify items that might have a negative influence on validity. However, this ability depends on the construct the assessment aims to test.


만약 구조물이 균질하고 안정적이라고 가정한다면, 문항 분석은 종종 항목들의 제거로 이어진다. 이것은 구성 무관련 분산(CIR)을 제거함으로써 시험의 측정적 특성을 개선한다.

If the construct is assumed to be homogeneous and stable, item analyses often lead to the elimination of items. This improves the measurement properties of the test by weeding out construct-irrelevant variance.


그러나 시험이 [본질적으로 의미 있고 관련성이 있는 항목의 집합]으로 보여지는 경우(ATLS 교육에서 사례 상황처럼) 문항분석 결과는 어떤 항목을 주의 깊게 검토해야 할 필요성을 보여주기 위한 것이다. 이를 통해서 그 문항이 실제로 구인과 관련이 있고, 모호하지 않으며, 의미있는지를 확인하게 된다.

If, however, the test is seen as a collection of intrinsically meaningful and relevant items (as in the case situations in ATLS training), item analysis results can only serve to flag up the need to carefully review an item and check whether it is actually as relevant, unambiguous and meaningful as it was thought to be on construction.


관련성 평가

Relevancy evaluations


항목이나 평가 부분이 관련되어야 한다는 완전한 합의가 있을 수 있지만, [관련성]이 정의되는 방법 역시 구인에 대한 이론적 개념에 달려 있다.

There is probably complete agreement that items or assessment parts need to be relevant, but how relevance is defined is again dependent on theoretical conceptions about the construct.


      • 관련성은 대부분의 사람들이 알고 있는 것으로 정의될 수 있다. 그 경우에 높은 p-값(정답률)은 타당성 주장을 구성한다. 

      • 관련성을 역량 있는 사람알아야 할 것으로 정의된다면, 높은 항목-총 상관관계(Rit)와 함께 낮은 p-값이 타당성에 대한 더 나은 주장이 될 것이다. 

      • 관련성을 모든 사람들이 알아야 할 것으로 정의된다면, p-값(정답률)과 총점-문항 상관관계(Rit)는 관련성에 유용한 매개변수가 아니다. 이 경우, 어떤 항목의 관련성에 대한 질적 논거가 필요하다. 예를 들어, 학생이 갑상선의 생물피드백 메커니즘과 그 호르몬을 이해하지 못한다면, 실험실 결과를 잘 해석하지 못할 것이다.

      • Relevance can be defined as what most people know. In that case high p-values would constitute an argument for validity. 

      • If relevance is defined as what competent people need to know, low p-values in conjunction with high item–total correlations (Rit) would be a better argument for validity. 

      • By contrast, if relevance is defined as what all people should know, p-values and Rit are not useful parameters for relevancy. In this case, qualitative arguments for the relevancy of an item need to be made: for example, if a student doesn’t understand the biofeedback mechanism of the thyroid gland and its hormones, he or she will not interpret laboratory results well.


보고 및 요약

Reporting and summarising


구두 평가, 포트폴리오 및 직장 기반 평가에서 [보고 및 요약]하는 것은 정보를 '점수'로 변환하는 한 방법이다. 평균, 표준 편차 등은 정량적 방법에서 많은 양의 데이터를 점수로 변환하는 표준 방법을 나타내는 반면, 정성적 평가에서 전문가 요약은 이러한 역할을 한다.

Reporting and summarising in oral assessments, portfolios and workplace-based assessments is one way of converting information to ‘scores’. Whereas means, standard deviations and so forth represent standard ways of converting large amounts of data into scores in quantitative methods, in qualitative assessment an expert summary plays this role.


정량적 평가에서 뒷받침되는 증거는 정확한 (통계적) 기술 기법과 정확한 계산의 적용에 기초한다. 정량적 평가에서 supporting evidence는 평가자의 전문지식과 그것의 발전(교사 훈련)에 기초한다.

In quantitative assessment methods the supporting evidence is based on the application of the correct (statistical) descriptive techniques and correct calculations. In the qualitative context it is based on examiner expertise and its development (teacher training).


평가도구의 사용가능성 

Feasibility of the instrument


사용자는 평가 도구를 사용하는 데 완전히 익숙해야 한다. 그렇지 않고서야 어떻게 자신의 관측을 정확하게 점수로 환산할 수 있을까? 사용자가 평가 도구를 사용하여 관찰을 채점하는 방법이나 특정 관찰을 채점하는 위치에 대해 확신할 수 없는 경우 관찰에서 점수까지의 추론 강도는 심각하게 제한된다. 또 다른 상황은 평가 도구가 사용하기에 너무 복잡하여(예: 60항목 OSCE 양식) 관측자의 '인지 부하'가 [수행능력을 관찰하고 판단]하기보다는 [평가도구를 관리하는 방법을 알아내는 데 이용되는 경우]에 존재한다. 따라서 [관찰에서 점수까지의 타당한 추론은 평가도구가 충분히 사용자 친화적이거나 시험관이 훈련을 통해 도구에 세심하게 숙지된 경우]에만 할 수 있다.

The user must be fully comfortable with using the assessment instrument. How else can he or she correctly translate his or her observations into scores? If the user is unsure about how to score an observation using the instrument or where to score certain observations, the strength of the inference from observation to score is seriously limited. Another such situation exists if the instrument is so complicated to use (e.g. a 60-item OSCE form) that the observer’s ‘cognitive load’ is occupied by finding out how to manage the instrument rather than by observing and judging the performance. A valid inference from observation to score can therefore only be made if the instrument is sufficiently user-friendly or the examiner has been carefully familiarised with the instrument through training.


요약하면, 관찰에서 점수까지의 모든 추론에 대해 타당성 인수는 다음을 기반으로 한다. 

      • 측정 도구 제작에 사용되는 품질 절차, 

      • 사용자 및 사용자의 전문성 

      • 양 요인 간의 상호 작용 

In summary, for all inferences from observation to score, validity arguments are based on 

      • the quality procedures used to construct the measurement instrument, 

      • the expertise of the user and 

      • the interplay between both factors. 


우리는 각 (타당도) 주장의 강도가 [주장이 구인의 이론적 개념을 지지하는 정도]에 의해 결정된다는 것을 충분히 강조하고자 한다.

We cannot stress enough that the strength of each argument is determined by the extent to which it supports the theoretical notions of the construct.


추론 2. 점수에서 우주 점수까지

Inference 2. From scores to universe scores


이 두 번째 추론은 종종 '신뢰성'이라고 불린다. 이 개념은 [신뢰할 수 없는 시험은 절대 타당할 수 없다]는 격언의 기초가 된다. 그러나 그 관계는 그것보다 더 미묘한 뜻이 있다. 관측된 점수로부터 우주 점수로의 추론은 [관측된 점수의 집합이 가능한 모든 점수의 우주를 충분히 대표한다는 주장]에 근거한다.

This second inference is often referred to as ‘reliability’; this notion is the basis for the adage that unreliable tests can never be valid. However, the relationship is more nuanced than that. The inference from observed scores to universe scores is based on the argument that the observed set of scores is sufficiently representative of the universe of all possible scores.


그러므로 이 '유니버스'의 본질에 대한 생각은 필수불가결한 것이다

    • 예를 들어, 테스트-재테스트 상관관계는 유니버스(대상 영역 또는 구성물)가 [내부적으로 일관성이 있거나 동질적이라는 가정] 하에 우주 표현에 대해서만 유효한 추론이다. 

    • 만약 ['유니버스'가 이질적인 것으로 가정]한다면, 높은 시험-재고 상관관계를 찾는 것은 논리적이지도 않고 그럴듯하지도 않을 것이다. 이 경우 시험-보정 신뢰성은 양호한 우주 일반화보다는 불량함을 나타낼 수 있다.36

An idea of the nature of this ‘universe’ is therefore indispensible. 

    • For example, test–retest correlations are only valid inferences for universe representation under the assumption that the universe – the target domain or the construct – is internally consistent or homogeneous. 

    • If the ‘universe’ is assumed to be heterogeneous, it will be neither logical nor plausible to find high test–retest correlations. In this case test–retest reliability would indicate poor rather than good universe generalisation.36


고전 시험 이론

Classical test theory


크론바흐의 알파 공식과 쿠더-리처드슨 공식과 같은 고전적 시험 이론(CTT)에 기초한 절차는 시험-재시험 상관관계의 개념을 참조한다. 실제로 그들은 시험 결과의 내부 일관성을 결정한다. 물론 우리가 [유니버스 자체가 너무 동질적이어서, 독립적으로 채취한 두 표본이 동일한 결과를 초래할 것으로 예상할 수 있다고 가정]한다면, 시험-재시험 상관관계는 우주의 일반화에 유용한 접근법일 것이다. 이러한 가정에서는, 관측치 사이의 모든 변동이 일반적으로 구성 관련 분산(CIR)으로 처리된다는 결론을 얻는다.

Procedures based on classical test theory (CTT), such as Cronbach’s alpha and Kuder–Richardson formulas, refer to the notion of a test–retest correlation. In fact, they determine the internal consistency of the test results. Of course a test–retest correlation is only a useful approach to universe generalisation if we assume that the universe itself is so homogeneous that two independently taken samples can be expected to lead to the same results. A consequence of this assumption is that all variation between observations is generally treated as construct-irrelevant variance.


또 다른 가정은 관측 중에 측정 개체가 변하지 않는다는 것이다. 우리가 이전에 사용한 BP와 지능의 예에서 우리는 전자가 시시각각으로 변하고 후자가 안정감을 유지할 것으로 기대한다. 만약 우리가 낮 동안 두 가지 측정을 반복하고 대상 내에서 완벽한 일치와 대상들 간의 체계적 차이를 찾는다면, 우리는 이것을 지능 테스트의 타당성과 BP 측정의 타당성을 지지하는 주장으로 간주할 것이다.

Another assumption is that the object of measurement does not change during the observations. In the examples we used before, of BP and intelligence, we expect the former to change from moment to moment and the latter to remain stable. If we were to take repeated measurements of both during the day and were to find perfect agreement within subjects and systematic differences between subjects, we would regard this as an argument in favour of the validity of the intelligence test and against that of the BP measurement.


단수성이나 동질성이 구조에 관한 이론의 일부가 아니거나 질적 데이터가 수집되는 경우 CTT는 잘 작동하지 않는다.

In cases in which unidimensionality or homogeneity are not part of the theory about the construct or where qualitative data are collected, CTT does not work well.


일반성 이론

Generalisability theory


일반화가능도 이론(GT)은 훨씬 유연하다. 사용자가 어떤 분산 요소를 구성 관련 요소로 간주하고 구성 관련 요소로 간주해야 하는지 정확하게 정의해야 한다. 그러나, 그것은 여전히 하나의 우주 점수가 있고 이것은 함축성을 가지고 있다는 개념에서 출발한다. 예를 들어 OSCE에 있는 관측소의 총 점수에 대해 일반적 타당성 분석을 수행하는 경우, [기본적인 가정은 '스킬'의 특성이 [소생 스테이션의 점수]와 [복부 검사 스테이션의 점수]를 결합하는 행위를 방어할 수 있으며, 이 두 가지를 서로 교환할 수 있다는 것이다]. 또 다른 예로는 미니 CEX가 있는데, 여기서 일반 가능성 분석은 역사 학습 기술이 인문학적 특성과 완전히 상호 호환된다는 자동 가정을 해야 한다. 이런 가정하에, [어리석은 질문을 하지만 숙련된 의사소통 방식으로 그렇게 하는 사람]은 [불쾌한 방식으로 올바른 질문을 하는 사람]과 동일한 정도로 유능하다.

Generalisability theory (GT) is much more flexible. It requires the user to define exactly which elements of variance are to be seen as construct-relevant and which as construct-irrelevant. It still, however, starts from the notion that there is one universe score and this has implications. If, for example, a generalisability analysis is performed on the total scores of the stations on an OSCE, the underlying assumption is that the trait ‘skills’ is such that it is defensible to combine the scores on a resuscitation station with those on an abdominal examination station, and that both are interchangeable. Another example is the mini-CEX, where a generalisability analysis must make the automatic assumption that history-taking skills are completely interchangeable with humanistic qualities. On this assumption, someone who asks stupid questions but does so in a skilled communicative manner is as competent as someone who asks the right questions in an unpleasant manner.


누가 옳다는 말은 없지만, 구성 요소인 '기술'의 성격에 대해 크게 다른 견해가 있는 것은 분명하다.

There is no saying who is right, but it is clear that there are hugely different views on the nature of the construct ‘skills’.


확률론적 접근법

Probabilistic approaches


또 다른 이슈는 모든 상황이 동일한 양의 샘플링을 필요로 하는지에 관한 것이다. 7개의 미니 CEX 관측에서 매우 형편없거나 매우 잘한 후보자는 정말로 여덟 번째가 필요한가?

Another issue concerns whether every situation requires the same amount of sampling. Does the candidate who has performed very poorly or extremely well on seven mini-CEX observations really require an eighth?


하나의 이론은 [지식이 하나의 특성의 구인]이라는 가정으로부터 출발할 수 있는데, 이 가정은 [학습자의 능력이 높을수록 정답을 맞출 확률이 균일하게 증가할 것]이라는 것을 암시한다(예를 들어, 학생이 좌심장 장애에 대해 좋은 지식을 가지고 있다면, Frank-Starling 메커니즘과 심장 생리학에 대해서도 알고 있다고 가정해도 무방할 것이다). 그러한 이론적 맥락에서 [문항 반응 이론(IRT) 모델은 일반화의 유용한 수단]이다. 

One theory may start from the assumption that knowledge is a construct of a single trait which implies that there will be a uniform increase in the probability that a candidate will give a correct answer with increasing ability (e.g. if a student has good knowledge about left-sided heart failure, it will be safe to assume that he or she knows about heart failure, about Frank–Starling mechanisms and about heart physiology). In such a theoretical context, item response theory (IRT) models are useful means of generalisation. 


그러나 지식의 소유가 [서로 관련 없는 일련의 항목]으로 보이는 상황에서(예를 들어, 학생이 계면활성제가 제2형 폐렴구에 의해 생산된다는 것을 안다면, 이것은 그가 발광기 테레스 근육의 종이와 삽입이 무엇인지 자동적으로 안다는 것을 의미하지는 않는다), IRT는 덜 유용하고 이항 모델과 같은 다른 모델들은 덜 유용할 수 있다. 좀 더 적용이 되다37

In a situation in which the possession of knowledge is seen as an unrelated set of items (e.g. if a student knows that surfactant is produced by type II pneumocytes, this does not automatically mean that he or she knows what the origo and insertion of the pronator teres muscle are), IRT is less useful and other models, such as binomial models, may be more applicable.37 


정보의 포화도

Saturation of information


정보 접근법의 포화상태는 정성적 연구 방법론에서 온 것이다. 만약 우리가 [구인이 이질적이고 비차원적]이라고 가정하거나 이론화한다면, [내부 일관성 측정은 일반화를 위한 최선의 방법이 아니다]. 정보의 포화상태는 기본적으로 새로운 관찰이 이미 획득한 정보에 중요한 새로운 정보를 추가하지 않는다는 것을 의미한다. 이는 추가 진단이 진단이나 치료 작용을 바꾸지 않으면 명령해서는 안 된다는 진단 격언과 견줄 만하지만, 하나의 진단만 할 수 있다고 규정하지는 않는다.

Saturation of information approaches originate from qualitative research methodologies. If we assume or theorise the construct to be heterogeneous and non-dimensional, internal consistency measures are not the best way to generalise. Saturation of information basically means that new observations do not add important new information to that already obtained. This is comparable with the diagnostic adage that if additional diagnostics do not change the diagnosis or the therapeutic actions, they should not be ordered, but it does not stipulate that only one diagnosis can be made.


특히 학습을 위한 평가 접근방식에서 침상 예절을 목표로 하는 평가 구성요소를 설계하고자 한다면, 모든 관측치를 점수로 변환하고 일반적 타당성 계수를 계산하는 것은 실제로 그러한 복잡한 현상의 평가에 대한 정의가 되지 않을 것이다. [새로운 관찰]이 [후보가 어떻게 하고 있는지]에 대한 [정보의 만화경]에 어떤 것을 더해줄 것인지에 대해 추측하는 것은 훨씬 더 유용하고 정보가 풍부하다.

If one wants to design an assessment component aimed at bedside manners, especially from an assessment-for-learning approach, converting all observations to a score and calculating the generalisability coefficient would not really do justice to the assessment of such a complex phenomenon. Making assumptions about whether a new observation would add anything to the kaleidoscope of information about how a candidate is doing is much more useful and information-rich.


신뢰도

Credibility


비록 권위에 기반한 주장이 현재 유행하고 있지는 않지만, 물론 [신뢰성]의 문제는 유니버스의 일반화에 역할을 한다. 진단 전문지식에 대한 연구는 경험 많은 전문가들이 진단과 치료에 대한 유효한 결정에 도달하기 위해 정보가 덜 필요하다는 것을 보여준다. 이것은 평가 분야에도 쉽게 적용될 수 있다. 관찰에서 유니버스 점수에 이르는 추론을 함에 있어서, 많은 맥락에서 [전문가가 초보 평가자보다 더 적은 수의 관찰을 필요로 하는 것]이 일반적일 가능성이 높다. 따라서 관찰된 대 우주 점수 추론 주장은 초보자가 추론을 하는 것보다 [전문가 평가자가 추론을 하는 경우]에 더 강력하다.

Although authority-based arguments are not in vogue at present, the issue of credibility does, of course, play a role in universe generalisation. Research in diagnostic expertise shows that experienced experts need less information to reach valid decisions about diagnosis and treatment. This can be easily translated to the assessment field. It is highly likely – and, in many contexts, normal – that an expert requires fewer observations than a novice assessor to make the inferences from observation to universe score. Therefore, the observed-to-universe-score inference argument is stronger if the inference is made by an expert assessor than by a novice.


샘플링 스키마

Sampling schemas


샘플링 스키마(예: 청사진)는 샘플링할 도메인과 우주에 대한 관찰 샘플(항목, 미니-CEX 등)의 [대표성]을 바탕으로 한 인수에 의한 우주 일반화 추론을 지원한다.

Sampling schemas – such as blueprinting – support the universe generalisation inference by arguments based on the domain to be sampled and the representativeness of the sample of observations (items, mini-CEXs, etc.) for the universe.


      • 우주를 동질적으로 보더라도, 표본 추출은 모든 원치 않는 분산원을 평균화할 수 있을 만큼 충분히 넓어야 한다. 

      • 이와는 대조적으로 우주를 이질적인 것으로 보는 경우, 표본 추출은 우주의 모든 측면이 표본에 포함되도록 해야 한다.

      • Even if the universe is seen as homogeneous, sampling must be broad enough to average out all unwanted sources of variance. 

      • By contrast, if the universe is seen as heterogeneous, sampling must be such that all aspects of the universe are included in the sample.


추론 3. 우주 점수에서 대상 도메인까지

Inference 3. From universe score to target domain


프로세스 중 어느 시점에서 [대표 결과]는 [대상 영역에 대한 결론]을 도출할 수 있는 방식으로 [결합]되어야 한다. 평가 프로그램에서 이것은 다양한 계측기의 결과를 조합할 것을 요구한다.

At some point during the process the representative results must be combined in such a way that conclusions about the target domain can be drawn. In a programme of assessment this requires that the results of various instruments be combined.


이는 표준이 무엇인지뿐만 아니라 다양한 도구로부터 얻은 결과(특히 양적 정보와 질적 정보를 결합한 경우)를 어떻게 결합할지에 대해서도 의사결정을 내릴 것을 요구한다.

This demands that decisions be made not only about what the standards are, but also on how to combine the results of various instruments (especially if they combine quantitative and qualitative information).


표준설정

Standard setting


표준 설정은 평가에서 크게 논의되는 사안이다. 이는 타겟 영역에 대한 [이분법적 yes/no 결정에 도달하기 위해 많은 측정 정보를 줄이는 최적의 방법]에 관한 것이기 때문이다. 다시 한번 추론의 유형과 주장의 강도는 대상 영역의 이론적 개념에 따라 달라진다.

Standard setting is a heavily debated issue in assessment. This is logical because it concerns the optimal way to reduce much of the measurement information to arrive at a dichotomous yes ⁄ no decision about the target domain. Again, the type of inferences and the strength of the argument depend on the theoretical notion of the target domain.


      • [특정 시점에서 숙달되어야 하는 모듈형 대상 영역](예: 무릎 검사 수행 능력)의 경우, 일반적으로 표준 설정은 [최소 허용 수준의 숙달성]을 정의하기 위해 사용된다. 

      • [종단적 구성 요소](예: 진행률 테스트)는 전체 기간life 동안 지속적으로 개선되는 특성을 평가한다. 이 경우 상대적 또는 투입적ipsative 표준(훈련 단계나 또래 집단 또는 후보자의 과거 성과에 상대적)이 더 적용된다.

      • For modular target domains (e.g. ability to perform an examination of the knee), which should be mastered by a certain time-point, standard setting is typically used to define the minimally acceptable level of mastery. 

      • Longitudinal components (e.g. progress testing) assess characteristics that constantly improve during life. In these cases, relative or ipsative standards (relative to the phase of the training or a peer group or relative to the candidate’s past performance) are more applicable.


역학 또는 기준 기반 접근 방식

Epidemiological or criterion-based approaches


[수치적 결과]가 대상 영역의 기준으로 정의될 수 있는 경우, 이 세 번째 추론의 주장은 양성 또는 음성 예측 값과 승산비에 기초할 수 있다. 이러한 경우, 수신기 작동 특성(ROC) 곡선을 사용하여 추론 주장을 뒷받침할 수 있다.

In cases in which a numerical outcome can be defined as a criterion for the target domain, the arguments in this third inference can be based on positive and negative predictive values and odds ratios. In such cases, receiver operating characteristic (ROC) curves can be used to support the inference argumentation.


그러나 수치적 접근만이 역학 논쟁의 혜택을 볼 수 있는 것은 아니다. 몇몇 더 [이론적인 역학 개념]도 유용하다. 긍정적인 예측가치에 대한 아이디어는, 논리적으로, 고학년 학생들은 저학년 학생들과는 다른 유급률failure rate을 보여야 한다. 왜냐하면 간단히 말해서, 지속적으로 이뤄진 선발 과정으로 인해 역량이 부족한 학생이 수업에 남아있을 가능성이 감소하였기 때문이다. 따라서 1년차 코호트에서 25%의 failure rate가 허용된다고 간주되는 경우, 이는 최종 학년 그룹에서 동일한 failure rate가 허용된다는 것을 의미해서는 안 된다.

However, not only numerical approaches can benefit from epidemiological arguments. Some more theoretical epidemiological concepts are also useful. The idea of the positive predictive value gives us to understand that, logically, senior year classes should show dissimilar failure rates to more junior classes, simply because the ongoing selection process has decreased the a priori probability that an incompetent student will remain in the class. Thus, if a failure rate of 25% is considered acceptable in a first-year cohort, this should not mean that the same failure rate is acceptable in a final-year group.


보정, 연결 및 데이터 정렬

Compensation, conjunction and collation


대상 영역에 대한 좋은 추론을 도출하기 위해서는 서로 다른 평가 요소들을 결합해야 한다. 그러나 정보를 결합하는 특정 방법을 무작위로 선택하는 것은 논쟁의 강력한 근거를 제공하지 못한다.

In order to arrive at a good inference about the target domain, separate assessment elements must be combined. However, randomly choosing a certain method of combining information does not provide a strong basis for argumentation.


내용이 같을 경우 형식이 다르더라도 사물things이 잘 일반화된다는 견실한 연구에도 불구하고 2,3,5 우리는 의미 있는 내용보다는 형식이 비슷한 경우(예: 복부 검사와 무릎 검사의 OSCE 스테이션)에 요소들을 결합하는 경우가 많다.

Despite the robust finding that things generalise well across formats if the content is the same and vice versa,2,3,5 we often combine elements because they are of the same format (e.g. OSCE stations on abdominal examination and knee examination) rather than because they have similar meaningful content.


이것은 본질적으로 스킬이란 것을 [관련성이 있는 관찰된 능력의 선별된 집합]이 아니라 [단차원적 특성]으로 보는 암묵적 개념에 기초한다. 후자(단차원적 특성)에서는 보상compensation이 대상 영역에 추론을 하는 가장 좋은 방법이며, 전자(본질적으로 관련있는 관찰된 능력의 집합) 에서는 결합conjunction이 가장 좋은 방법이다.

This is based on the implicit notion of skills as a unidimensional trait, rather than as a selected set of intrinsically relevant observed abilities. In the former, compensation is the best way of making an inference to the target domain; in the latter conjunction is.


다양한 출처 또는 평가 요소의 정보가 결합되어야 하는 경우(예: 무릎 검사에 관한 OSCE 스테이션과 무릎 해부학에 초점을 맞춘 서면 검사의 부분), 결합collation과 삼각 측정이 논쟁에 더 적합한 기초가 된다. 여기서 [삼각측량을 행하고 해석하는 사람의 인간의 판단과 전문지식]은 추론의 완전성과 타당성의 기초를 형성한다 (이는 마치, 거의 같은 방식으로, 나트륨 수치와 갈증 불만사항의 조합에 의미를 부여하기 위해서는 의사의 전문지식과 필요한 것과 같다). 9,38,39

If information from various sources or assessment elements needs to be combined (e.g. an OSCE station on knee examination and the part of a written examination that focuses on knee anatomy), collation and triangulation are more suitable bases for argument. Here, human judgement and the expertise of the person doing and interpreting the triangulation formthe basis for the completeness and plausibility of the inference (in much the same way as the expertise of the doctor is needed to make meaning of the combination of information on sodium level and a thirst complaint).9,38,39

(Collate: to bring together different pieces of written information so that the similarities and differences can be seen:)


회원조회

Member checking


멤버 체크는 평가 과정에 대한 다양한 기여자의 견해만 포함하는 평가 프로그램의 모든 프로세스를 의미하지만(예: 360도 접근 방식), 또한 다음의 것들을 지속적으로 평가할 수 있도록 설계된 내부 단계도 포함한다. 

      • 대상 영역에 관한 중간 및 최종 결론이 이러한 기여자contributor의 견해와 일치하는지 여부 

      • 이러한 관점에 기초하여 작성된 추론이 유효한지 여부. 

Member checking refers to all processes in an assessment programme that not only includes the views of various contributors to the assessment process (such as in a 360-degree approach), but also includes in-built steps designed to continually evaluate 

      • whether the intermediate and final conclusions with respect to the target domain accord with the views of these contributors and 

      • whether inferences made on the basis of these views are valid. 


따라서, 멤버 체크는 대상 영역에 관한 최종 결정과 결론에 대한 [모든 행위자actor의 소유권ownership을 지지]하고, 따라서 추론의 타당성을 지지한다.

As such, member checking supports the ownership of all actors of the final decisions and conclusion with respect to the target domain and thus to the plausibility of the inference.


이러한 추론을 위해 양적 방법과 질적 방법 모두 이용할 수 있다. 

      • 순수하게 양적인 결과를 조합할 필요가 있을 때에는, 보상compensation과 연계conjunction, 예측 가치predictive value 등의 문제가 더 설득력을 갖는다. 

      • 질적 결과(질적 결과만 또는 양적 결과와 연계하여)를 사용할 때에는, 인간의 판단력이 역할을 하므로, [판단을 내리는 사람들의 전문성(교사 훈련)과 신뢰성]이 주장argument의 필수 요소다.

For this inference, both quantitative and qualitative methods are available. 

      • Whenever purely quantitative results need to be combined, issues such as compensation and conjunction, and predictive values, are more convincing. 

      • Whenever qualitative results are used (either in isolation or in conjunction with quantitative results), human judgement plays a role, and thus the expertise (teacher training) and credibility of the people making the judgements are necessary elements of the arguments.


추론 4. 대상 도메인에서 구성으로

Inference 4. From target domain to construct


기본적으로 앞의 두 가지 추론에 사용된 것과 동일한 방법과 절차를 사용하여 [대상 도메인에서 구성으로] 추론한다. 의료 역량competence의 구성을 위해, 특히 이 construct을 일련의 역량competency 영역으로 보는 현재 통용되는 관점에 비추어 볼 때, 이러한 [역량 영역competency domains이 최종 구인final construct을 구성하는 방법]에 대한 이론적이고 실질적인 개념을 갖는 것이 중요하다.

Basically the same methods and procedures used in the previous two inferences are used to make inferences from target domain to construct. For the construct of medical competence, especially in the light of the currently popular view of this construct as a set of competency domains, it is important to have a theoretical and practical notion of how these competency domains make up the final construct.


최종적인 비유로서의 건강은 세계보건기구 40에 의해 '... 육체적, 정신적, 사회적 복지가 완전한 상태일 뿐 질병이나 병약함의 부재는 아니다.'40 건강에 대한 이러한 정의는 이론적으로 유용한 구인이지만, 어떤 실제 환자에서도 거의 달성되지 않을 것이기 때문에 의료실무에서는 무용지물이다. 실제 현장에서는, [건강]은 [환자와 의사 모두 그 과정의 결과에 만족하고 있으며, 더 이상의 행동이 필요하지도, 바라지도 않는다고 결정했다는 의미]로 더 자주 이용된다.

Health as a final analogy is defined by the World Health Organization40 as: ‘...a state of complete physical, mental and social well-being and not merely the absence of disease or infirmity.’40 This is a useful theoretical construct, but it is useless in medical practice because it will almost never be attained in any real patient. In practice, health is more often used in the sense that both the patient and doctor are satisfied about the outcome of the process and have decided that further actions are neither needed nor wanted.


[CanMEDS 및 ACME 역량에 정의된 것과 같은] 역량 영역은 이론상 유용하지만, 현재로서는 평가 목적으로 무언가를 해결해주기보다는 더 많은 문제를 일으키는 구인construct을 형성한다

    • 어떤 정보를 어떤 역량에 매핑해야 하는가? 

    • 서로 다른 역량에 매핑되는 정보를 어떻게 처리해야 하는가? 

    • 한 가지 역량에 매핑되는 서로 다른 정보 소스를 어떻게 관리해야 하는가? 

    • 역량이 서로 보상할 수 있는가, 아니면 서로 결부적으로 다루어야 하는가?

Competency domains, such as those defined in the CanMEDS and ACGME competencies, are useful in theory, but, for assessment purposes, they form a construct that currently creates more problems than it solves. 

    • What information should be mapped onto which competency? 

    • How should we deal with information that maps onto different competencies? 

    • How should we manage different sources of information that map onto one competency? 

    • Can competencies compensate for one another or should they be treated conjunctively?


또 다른 논의의 쟁점이 훨씬 더 중심적일 수 있다. 의료 역량은 [모든 상황]에서 프로토콜에 부합하는 방식으로 행동할 수 있는 능력인가, 아니면 진단, 의사소통 및 치료 결정을 [각 상황에 최적으로 적용할 수 있도록 충분히 유연한 방식으로 행동]할 수 있는 능력인가? 전자에서는 추론에 대한 더 구조화된 접근법이 더 그럴듯하다. 후자에서는 좀더 해석적인 주장이 나와야 한다. 우리는 우리가 [평가하고자 하는 구인이 충분히 명확하고 그것에 대한 모든 이론적 개념이 충분히 구체적일 때에만 타당성확인의 주장이 만들어질 수 있다]는 것을 충분히 강조하고자 한다.

Another issue of discussion may be even more central. Is medical competence the ability to act in a manner that accords with protocol in every situation or is it the ability to be act in a manner that is sufficiently flexible to allow for the optimal adaptation of diagnostic, communicative and therapeutic decisions to each situation? In the former, more structured approaches to inferences are more plausible. In the latter, more interpretative arguments must be made. We cannot stress enough that the arguments of validation can only be made if the construct we want to assess is defined clearly enough and when all theoretical notions about it are sufficiently concrete.


결론 CONCLUSIONS


우리는 여기서 의료 역량의 평가의 타당성은, 특히 평가 프로그램에 기초하는 경우, 각각은 일관성이 있어야 하지만, 또한 일관되고 일관성 있는 하나의 주장 시리즈를 형성하는 데 최대 기여해야 하는 추론 프로그램에 기초해야 한다고 주장해왔다.

We have argued here that the validity of the assessment of medical competence – especially if it is based on a programme of assessment – is based on a programme of inferences, each of which must be coherent, but which must also contribute maximally to the forming of one consistent and coherent argumentation series.







. 2012 Jan;46(1):38-48.
 doi: 10.1111/j.1365-2923.2011.04098.x.

Programmatic assessment and Kane's validity perspective

Affiliations 

Affiliation

  • 1Flinders Innovation in Clinical Education, Flinders University, South Australia, Australia. Lambert.schuwirth@flinders.edu.au

Abstract

Context: Programmatic assessment is a notion that implies that the strength of the assessment process results from a careful combination of various assessment instruments. Accordingly, no single instrument is superior to another, but each has its own strengths, weaknesses and purpose in a programme. Yet, in terms of psychometric methods, a one-size-fits-all approach is often used. Kane's views on validity as represented by a series of arguments provide a useful framework from which to highlight the value of different widely used approaches to improve the quality and validity of assessment procedures.

Methods: In this paper we discuss four inferences which form part of Kane's validity theory: from observations to scores; from scores to universe scores; from universe scores to target domain, and from target domain to construct. For each of these inferences, we provide examples and descriptions of approaches and arguments that may help to support the validity inference.

Conclusions: As well as standard psychometric methods, a programme of assessment makes use of various other arguments, such as: item review and quality control, structuring and examiner training; probabilistic methods, saturation approaches and judgement processes, and epidemiological methods, collation, triangulation and member-checking procedures. In an assessment programme each of these can be used.

미래학습을 촉진하기 위한 교육방법으로서 생산적 실패(Adv Health Sci Educ Theory Pract, 2019)

Productive failure as an instructional approach to promote future learning

Naomi Steenhof1,4 · Nicole N. Woods2,4 · Pascal W. M. Van Gerven3 · Maria Mylopoulos2,4




도입 Introduction


임상의들이 실전에 들어갈 때, 그들은 학교에서 공부한 문제들과 이전에 보지 못한 문제들의 피할 수 없는 결합을 만나게 된다. 따라서 교육생이 [알려진 일상적인 문제에 노출되는 것]과 더불어 교육은 이상적으로 교육생이 [새로운 문제와 예상되는 실제 문제]에 대한 해결책을 도출할 수 있도록 준비해야 한다(Mylopoulos et al. 2016). [새로운 정보를 배우고, 자원을 효과적이고 혁신적으로 사용하고, 문제를 해결하면서 새로운 학습전략을 고안하는 이러한 능력]은 문헌에 '미래학습 준비(PFL)'로 정의되어 있으며, 적응적 전문지식(Mylopoulos와 Woods 2017)에 필수적인 것으로 이해된다. 

When clinicians enter practice, they encounter an inevitable combination of problems: ones that they have studied in school, and ones they have not seen before. It follows, therefore, that alongside exposing trainees to known, routine problems, education should ideally also prepare trainees to generate solutions to new and expected problems in practice (Mylopoulos et al. 2016). This capacity to learn new information, to use resources effectively and innovatively, and to invent new strategies for learning while solving problems is defined in the literature as ‘Preparation for Future Learning (PFL)’ and is understood to be essential for adaptive expertise (Mylopoulos and Woods 2017). 


실제로 PFL을 개발하지 않은 전문가는 여전히 일상적인 문제를 해결할 수 있지만 모호성, 참신성 또는 복잡성의 상황(Mylopoulos와 Scardamalia 2008)에서는 성능이 저하될 가능성이 높다. 불행하게도, 많은 의사들이 [알려진 해결책]을 [새로운 문제]에 잘못 적용하고 있다(Mamede et al. 2010; Saposnik et al. 2016). 이것은 놀랄 일이 아니다. 현재의 보건 전문직 교육은 새로운 솔루션을 창출하거나 미래에 학습할 수 있는 능력을 평가하기 보다는 이전의 성과나 알려진 솔루션의 적용을 최적화하는 교육에 초점을 맞추고 있기 때문이다(Mylopoulos et al. 2016). 이러한 전문적 기대치와 현재 가르치고 있는 것 사이의 불일치를 감안할 때, 교육자들이 PFL을 개발하는 혁신적인 교육 및 평가 시스템을 설계하는 것이 필수적이다(Mylopoulos et al. 2016).

In practice, experts who have not developed PFL will still be able to solve routine problems, but will likely underperform in situations of ambiguity, novelty, or complexity (Mylopoulos and Scardamalia 2008). Unfortunately, many practicing clinicians incorrectly apply known solutions to new problems (Mamede et al. 2010; Saposnik et al. 2016). This is unsurprising since current health professions education frequently focuses on instruction that optimizes replication of previous performance or application of known solutions rather than assessing the ability to generate new solutions or learn in the future (Mylopoulos et al. 2016). Given this discrepancy between professional expectations and what is currently taught, it is imperative for educators to design innovative systems of instruction and assessment that develop PFL (Mylopoulos et al. 2016).


최근 인간의 인식과 학습에 관한 연구는 교육자들이 학생들이 지식과 기술의 핵심 선택을 효율적으로 숙달할 수 있도록 하는 학습 경험을 설계할 수 있는 동시에 PFL(Bransford and Schwartz 1999; Kapur 2014; Mylopoulos and Woods 2014)의 개발을 지원할 수 있다는 것을 시사한다. PFL의 개발을 지원하는 교육에 대한 접근방식은 교육생들에게 [새로운 개념을 배우거나 새로운 문제를 해결하기 위해 기존의 지식을 사용]할 뿐만 아니라 [지식을 습득하고 응용할 수 있는 기회]를 제공하는 교육 및 평가의 주기를 제공하는 것을 목표로 한다(Woods and Mylopulos 2015).

Recent research in human cognition and learning suggests that educators can design learning experiences that allow students to efficiently master a core selection of knowledge and skills, while also supporting development of PFL (Bransford and Schwartz 1999; Kapur 2014; Mylopoulos and Woods 2014). Approaches to education that support development of PFL aim to provide trainees with cycles of instruction and assessment that offer opportunities for both acquiring and applying knowledge as well as using existing knowledge to learn new concepts or solve novel problems (Woods and Mylopoulos 2015).


예를 들어, 교실 강의에 대한 연구는 발견 학습 경험(예: 대조적인 사례, 발명 활동)과 후속 강의의 조합으로 볼 때, 학생들은 다음에 지식이 풍부한 환경에 놓일 때 관련되지만 새로운 자료에 대한 개선된 학습을 증명한다는 것을 발견했다(Bransford and Schwartz 1999; Mylopulos e).t. al. 2016). 이러한 유형의 교육 개입은 '유도 발견'(Bruner 1960)이라고 불린다. 한 연구에서, 기억 실험에 관한 데이터 세트를 탐구하고 도표를 만든 학생들은 새로운 실험의 결과를 더 잘 예측할 수 있었지만, 이후에 이 주제에 대한 강의를 들어야 했다(브랜스포드와 슈워츠 1999). 문제를 통해 고군분투하는 것은 먼저 학습자들이 전문가 해결책의 중요성을 파악할 수 있도록 준비한다(Schwartz and Bransford 1998). 특히 이러한 개입의 디자인은 하이브리드 문제 기반 학습이나 플립 교실, 또는 사례 기반 학습 설계와는 다른데, 이는 학생들이 고군분투하고, 전문가의 솔루션을 보여주고, 개념을 배운 후에야 새로운 문제를 가진 지식이 풍부한 환경에 놓이기 때문이다. 그런 다음 평가는 학생이 새로운 문제를 해결하는 데 필요한 지식을 습득하기 위한 조치를 취할 수 있는지에 초점을 맞춘다.

For example, studies of classroom instruction have found that, given a combination of discovery learning experiences (e.g., contrasting cases, invention activities) and subsequent instruction, students demonstrate improved learning of related yet new material when next placed in knowledge-rich environments (Bransford and Schwartz 1999; Mylopoulos et al. 2016). These types of instructional interventions have been termed ‘guided discovery’ (Bruner 1960). In one study, students who explored and charted data sets on memory experiments were better able to predict the results of a novel experiment, but only if they heard a lecture on the topic afterwards (Bransford and Schwartz 1999). Struggling through the problem first prepares learners to grasp the significance of the expert solution (Schwartz and Bransford 1998). Notably, the design of these interventions are different than hybrid problem-based learning, flipped classroom, or case-based learning designs because students are placed in a knowledge-rich environment with a new problem only after they have struggled, been shown an expert solution, and learned the concept. Assessment then focuses on whether the student is able to take action to acquire the knowledge they need to solve a new problem.


비판적으로, (지식의 복제와 적용을 강조하는 표준화된 평가에 대한 학생들의 수행 능력이 향상되지 않기 때문에) 유도 발견을 장려하는 지침은 처음에는 비생산적으로 보일 수 있다(Schwartz와 Martin 2004). 유도 발견에 종사하는 학생들은 비정상적이거나 부정확한 해결책을 도출할 수 있으며, 놀랄 것도 없이, 표준 평가에 대한 학생들의 수행이 저조하다는 것을 여러 연구에서 입증했다(Kapur and Lummel 2012; Schwartz et al. 따라서 2009년). 따라서 유도 발견 지침 설계 전략의 유효성을 평가하려면 시험의 경우 지식 습득 및 적용 측정 이상의 것을 요구하고 있으며(여기에 대해서는 효과가 없을 수 있기 때문에), 향후 학습 능력에 대해서도 학생을 평가해야 한다(Woods 및 Mylopoulos 2015).

Critically, instruction that encourages guided discovery may initially appear unproductive because student performance on standard assessments, which emphasize replication and application of knowledge, does not improve (Schwartz and Martin 2004). Students engaged in guided discovery may generate atypical or incorrect solutions and, not surprisingly, several studies have demonstrated that students’ performance on standard assessments is poor (Kapur and Rummel 2012; Schwartz et al. 2009). Therefore, assessing the efficacy of guided discovery instructional design strategies requires that testing go beyond measuring acquisition and application (because there may be no impact), and also assess students on their ability to learn in the future (Woods and Mylopoulos 2015).


'생산적 실패'는 우선 문제 해결에 학생들을 참여시킨 다음 문제와 관련된 중심 개념과 절차를 가르쳐 미래 학습을 극대화하는 유도 발견 교육 설계 전략의 예다(Branspord and Schwartz 1999; Kapur 2014). 학습자는 일반적으로 초기 문제해결 단계에서 확립된 솔루션을 생성하지 못하지만, 교육 단계에서는 

(a) 자신이 무엇을 하고 있었는지 생각할 수 있고, 

(b) 생성된 솔루션의 한계를 인식하고, 

(c) 지식을 확립된 솔루션으로 통합할 수 있다(Kapur 2016).

‘Productive Failure’ is an example of a guided discovery instructional design strategy that maximizes future learning by first engaging students in problem solving, and then teaching the central concept and procedures associated with the problem (Bransford and Schwartz 1999; Kapur 2014). Learners typically fail to generate the established solution in the initial problem-solving stage, but during the instruction phase the learners can 

(a) think about what they were doing, 

(b) recognize the limitations of their generated solutions, and 

(c) consolidate their knowledge into the established solution (Kapur 2016). 


연구자들은 [해결책을 생성generating solution]하는 것이 문제해결 단계에서 관련 사전지식을 활성화하고 차별화할 수 있으며, 학습자가 사전지식의 한계를 알아채는 데 도움이 될 수 있다고 가설을 세운다(Kapur 2014; Kapur and Lummel 2012). 예를 들어, 생산적 실패에 대한 초기 연구는 지원 구조를 제공하지 않고 뉴턴 운동학에서 개념을 적용하도록 요구하는 복잡하고 잘못된 문제에 학생들을 참여시키는 것이 생산적일 수 있다는 것을 보여주었다(Kapur 2008). 이후 연구에서 직접적인 가르침과 달리 [생산적인 실패 교육]을 받은 학생들은 분산 개념을 중심으로 한 개념 이해와 학습 전달에서 학생들보다 우수했다(Kapur 2014). 현재까지 작업을 바탕으로 카푸르는 생산적인 실패의 이점을 평가하기 위한 몇 가지 핵심 설계 특징을 제안한다: 

  • (a) 초기 문제 해결 과제는 학습자를 탐구에 참여시킬 수 있을 만큼 충분히 도전적이어야 하지만, 학습자가 포기하도록 너무 도전적이어서는 안 된다. 

  • (b) 문제 해결 과제는 여러가지 해결책, 전략 및 표현을 수용해야 한다. 즉, 탐색을 위한 충분한 문제와 해결책 공간을 제공해야 한다. 

  • (c) 문제 해결은 문제를 해결하기 위해 학습자의 사전 지식(공식적 및 직관적)을 활성화해야 한다. 

  • (d) 전문가는 학생이 만든 솔루션을 올바른 솔루션과 비교 및 대조하여 구축해야 한다(Kapur 2016).


Researchers hypothesize that generating solutions may activate and differentiate relevant prior knowledge during the problem-solving phase, and may help learners notice the limits of their prior knowledge (Kapur 2014; Kapur and Rummel 2012). For example, early work on productive failure showed that engaging students in complex, ill-structured problems requiring them to apply concepts in Newtonian kinematics without providing support structures could be productive (Kapur 2008). In a later study, students who received productive failure instruction—as opposed to direct instruction— outperformed students on conceptual understanding and transfer of learning around the concept of variance (Kapur 2014). Based on work to date, Kapur suggests several key design features for the benefits of productive failure to be appreciated: 

  • (a) the initial problem-solving task should be challenging enough to engage the learner in the exploration, but not so challenging that the learner gives up, 

  • (b) the problem-solving task must admit multiple solutions, strategies, and representations, that is, afford sufficient problem and solution spaces for exploration, 

  • (c) problem solving must activate learner’s prior knowledge—formal as well as intuitive— to solve the problem, and 

  • (d) an expert should build upon the student-generated solutions by comparing and contrasting them with the correct solution (Kapur 2016).

카푸르 등의 작품이 성공했다는 것은 생산적인 실패가 보건직 임상교육 강화의 유망한 전략이 될 수 있음을 시사한다. 그러나 생산적인 실패는 주로 문제와 개념이 비교적 간단한 초등교육에서 연구되어 왔다. 지금까지, 생산적인 실패는 건강직업 교육의 맥락에서 탐구되지 않았다. 여기서 학생들은 다양한 학문(예: 수학, 생물학, 생리학, 화학)을 그리고 이러한 원칙들을 복잡한 문제에 적용해야 한다. 

The success of the work of Kapur and others suggests that productive failure might be a promising strategy for enhancing clinical education for health professions. However, productive failure has largely been studied in elementary education, where the problems and concepts are relatively simple. To date, productive failure has not been explored in the context of health professions education, where students are expected to draw on multiple disciplines (e.g., math, biology, physiology, chemistry) and apply these principles to complex problems. 


보건직 교육의 생산적인 실패를 이용하여 탐구하기 시작하는데, 현재 연구의 목적은 다음과 같다. 

  • (a) 새로운 개념의 획득 및 적용에 대한 직접적인 지시와 관련된 생산적 실패의 효과를 비교한다. 

  • (b) 학생의 미래 학습 준비를 시험하는 평가에 대한 직접 지도와 비교한 생산적 실패의 효과 비교. 

To begin to explore using productive failure in health professions education, the objectives of the current study were 

  • (a) to compare the effectiveness of productive failure relative to direct instruction on acquisition and application of a novel concept, and 

  • (b) to compare the effectiveness of productive failure relative to direct instruction on an assessment which tests students’ preparation for future learning. 

우리는 취득 및 적용 시험에서 직접 지시 또는 생산적인 고장 자료를 사용하여 학습하는 참가자들 사이에 성능 차이가 없을 것이라는 가설을 세웠다. 단, 생산적 실패 조건의 참가자가 PFL 평가에서 직접 지시 조건의 참가자를 능가할 것으로 예상하였다.

We hypothesized that on the acquisition and application tests there would be no performance difference between participants who learn using direct instruction or productive failure materials. However, we expected that the participants in the productive failure condition would outperform those in the direct instruction condition on the PFL assessment.


방법 Methods


참여자 Participants


자료 개발 Material development


학습과 평가 자료 Learning and assessment materials


직접 지도와 생산적인 실패 학습 자료는 모두 저자들에 의해 개발되었다. 본 연구에서 가르치고 평가할 내용 영역을 결정할 때, 카푸르의 생산적 실패 연구의 설계 원리(Kapur 2016)에서 지침을 취하였다. 크레아티닌 청소를 이해하는 것은 어려운 문제지만 참가자가 참여하지 못할 정도로 어려운 문제는 아니다. 전문가들이 수용하는 여러 해법과 접근법이 있다. 참가자들은 수학, 생물학, 생리학, 화학에 대한 사전 지식을 가지고 있는데, 이것은 문제를 해결하는 데 도움이 되도록 활성화될 수 있지만, 개념을 적절하게 적용하기에는 불충분하다.

Both the direct instruction and productive failure learning materials were developed by the authors. When deciding what content area to teach and assess in this study, guidance was taken from the design principles of Kapur’s productive failure studies (Kapur 2016). Understanding creatinine clearance is a challenging problem, but not so challenging that participants are not able to engage. There are multiple solutions and approaches that are accepted by experts. Participants have prior knowledge in maths, biology, physiology, and chemistry, which could be activated to help them solve the problem, but is insufficient for the appropriate application of the concept.


설계 Design


학습 단계 Learning phase


연구의 모든 단계는 약 2시간 동안 지속되는 단일 실험 세션 내에서 발생했다. 모든 참가자들은 먼저 신장 기능에 기초한 크레아티닌 간극 추정의 동일한 개념을 연구하라는 40분 학습 단계를 완료했다(그림 1). 이 단계의 자료는 참가자가 등록 중 임의로 배정된 학습 조건에 따라 달랐다. [직접 지시 학습 조건]의 참가자들에게 크레아티닌의 혈청 농도를 바탕으로 크레아티닌 간극을 추정하는 문제에 대한 설명을 들은 다음, 이 문제에 대한 잠재적 해결책으로 Cockcroft-Gault 방정식을 제공했다.

All phases of the study occurred within a single experimental session lasting approximately 2 h. All participants first completed a 40-min learning phase in which they were asked to study the same concepts of estimating creatinine clearance based on kidney function (Fig. 1). The materials in this phase were different depending on which learning condition the participant was randomly assigned to during enrollment. The participants in the direct instruction learning condition were told about the problem of estimating creatinine clearance based on serum concentrations of creatinine, and then they were given the Cockcroft–Gault equation, as a potential solution to this problem.


[생산적 실패 학습 조건]의 참가자들은 크레아티닌 간극 추정의 동일한 문제에 대해 들었으나, Cockcroft-Gault 방정식을 받는 대신, 원래의 Cockcroft와 Gault 연구로부터 원시 데이터를 제공받았으며, 크레아티닌 간극에 가장 근사치를 나타내는 공식을 발명해 달라고 요청하였다. 참가자들에게는 일부 변수들 사이의 연관성을 평가하는 데 도움이 되는 그래프 용지가 제공되었다(예: 소변에서 나이와 크레아티닌 농도). 학습자에게 최소 15분(또는 학습 단계가 완료될 때까지) 동안 최대한 많은 시도를 하도록 지시했으며, 이 단계가 끝날 때 모든 자료를 수집했다.

The participants in the productive failure learning condition were told about the same problem of estimating creatinine clearance, but instead of being given the Cockcroft–Gault equation, they were given raw data from the original Cockcroft and Gault study, and asked to invent a formula that would best approximate creatinine clearance. The participants were supplied with graph paper to assist them in evaluating the association between some of the variables (e.g., age and creatinine concentration in the urine). The learners were instructed to make as many attempts as they could for at least 15 min (or until the learning phase was complete) and all materials were collected at the end of this phase.



교육 및 연습 단계 Instruction and practice phase


평가 단계 Assessment phase


모든 참가자들은 지식 습득, 지식 응용, PFL을 평가하기 위해 고안된 16개의 객관식 질문으로 구성된 40분 시리즈를 완성했다. 습득의 예로는 적절한 변수가 주어졌을 때 학습자가 크레아티닌 간극을 결정하는 과제를 수행할 때 연습하는 지식이 있다. 적용의 예는 사례 기반 예에서 방정식을 직접 사용하는 것이다. PFL 평가 항목에는 학생들이 질문에 성공적으로 답하기 위해 배워야 하는 각 객관식 질문(예: 급성 신장 손상 환자의 항생제 투여)의 줄기에 작성된 새로운 내용이 포함되었다(표 1 참조).

All participants completed a 40-min series of sixteen multiple-choice questions designed to assess knowledge acquisition, knowledge application, and PFL. An example of acquisition is the knowledge the learners exercise in performing the task of determining creatinine clearance when given the appropriate variables. An example of application, is direct use of the equation in a case-based example. The PFL assessment items contained new content written in the stem of each multiple-choice question (example: antibiotic dosing in a patient with acute kidney injury) that students would have to learn in order to successfully answer the question (see Table 1 for sample questions).



분석 Analysis


결과 Results


교육 및 연습 단계 Instruction and practice phase


지도·실습 단계에서 진행된 리콜 퀴즈에서는 직접지도단 참여자가 생산 실패단 참여자를 앞질렀다. 리콜 퀴즈의 평균 점수는 직접 지시 조건의 학습자는 0.87점, 생산적인 고장 조건의 학습자는 0.81점이었다.

On the recall quiz, which took place during the instruction and practice phase, the participants in the direct instruction group outperformed those in the productive failure group. The mean score on the recall quiz was .87 for learners in the direct instruction condition and .81 for learners in the productive failure condition.


평가 단계 Assessment phase


획득: 획득 단계의 평균 점수는 직접 지시 조건의 학습자는 1점, 생산적 고장 조건(범위 = 0.67–1)의 학습자는 0.98점이었다.

Acquisition: The mean score on the acquisition phase was 1 for learners in the direct instruction condition and 0.98 for learners in the productive failure condition (range = 0.67–1).


응용: 적용 시기 문제의 평균 점수는 직접 지시 조건의 학습자는 0.91점, 생산적인 고장 조건의 학습자는 0.98점이었다. (범위 = 0.67–1) 두 가지 학습 조건을 비교하기 위해 독립 표본 t-테스트를 실시했고 차이가 크지 않았다. t(1,38) = 1.9, p =

Application: The mean score on the application phase was 0.91 for learners in the direct instruction condition and 0.98 for learners in the productive failure condition. (range = 0.67–1). An independent-samples t-test was conducted to compare the two learning conditions and the difference was not significant, t(1,38) = 1.9, p =


향후 학습 준비: 생산적 고장 조건의 참가자가 PFL 평가에서 직접 지시 조건의 참가자를 능가했다. 직접 지시 조건의 참가자는 평균 점수 0.67을 얻었고 생산적 고장 조건의 평균 점수 0.75(범위 = .3–.9)를 얻었다.

Preparation for future learning: Participants in the productive failure condition outperformed those in the direct instruction condition on the PFL assessment. Participants in the direct instruction condition obtained a mean score of 0.67 and the productive failure condition a mean score of 0.75 (range = .3–.9).



고찰 Discussion


본 연구는 보건직 교육의 직접적 교육에 대한 교육적 접근방식으로서 생산적 실패의 효과를 조사했다. 구체적인 목표는 지식 습득, 지식 응용 및 PFL 평가에 대한 직접적인 지침과 생산적 실패의 효과를 비교하는 것이었다. 생산적 실패 조건의 참가자는 [지식 습득 및 지식 응용 평가]의 성과를 훼손하지 않고 [PFL 평가]에서 직접 지시 조건의 참가자를 크게 능가했다.

This study investigated the effectiveness of productive failure as an instructional approach relative to direct instruction in health professions education. The specific objectives were to compare the effectiveness of productive failure with direct instruction on knowledge acquisition, knowledge application, and PFL assessments. Participants in the productive failure condition significantly outperformed those in the direct instruction condition on the PFL assessment without compromising performance on the knowledge acquisition and knowledge application assessments.


흥미롭게도, 직접 교육 조건의 참가자들은 교육 및 실습 단계에서 리콜 퀴즈에서 생산적인 실패 학습 조건의 참가자들을 능가했다. 만약 생산적 실패 자료가 단순히 우수한 자료였다면, 생산적 실패 조건의 참가자는 교육 및 실습 단계에서 리콜 퀴즈에 대한 직접 지침 조건의 참가자와 동일하거나 더 우수했을 것이다. 그러나 그 결과로 나타난 교차점은 이것이 그렇지 않았음을 암시한다. 학습 단계에서는 생산적 실패 학습 조건의 참가자 중 크레아티닌 간극을 정확하게 추정하는 공식을 생성할 수 없었다. 따라서, PFL 평가에서 그들의 우수한 성과는 [선행 지식 활성화와 학습 단계에서의 차별화] 때문에 발생할 수 있으며, 이는 교육 및 실습 단계에서 개념적 이해를 발전시킬 수 있는 기회를 만들었을 수 있다. 비판적으로, 이러한 개념적 이해의 증가는 참여자들이 학습 단계에서 확립된 해결책을 도출하지 못함에도 불구하고 발생했다.

Interestingly, participants in the direct instruction condition outperformed participants in the productive failure learning condition on the recall quiz during the instruction and practice phase. If the productive failure materials were simply superior materials, then the participants in the productive failure condition would have performed the same (or better) than those in the direct instruction condition on the recall quiz during the instruction and practice phase. However, the resulting crossover suggests that this was not the case. During the learning phase, none of the participants in the productive failure learning condition were able to generate a formula that accurately estimated creatinine clearance. So, their superior performance on the PFL assessment could be due to prior knowledge activation and differentiation during the learning phase, which may have created the opportunity to develop conceptual understanding in the instruction and practice phase. Critically, these gains in conceptual understanding occurred despite productive failure participants failing to generate an established solution during the learning phase.


우리의 결과는 잘 설계된 문제 해결 단계를 강의에 앞서 배치하는 것이 학습자들이 개념의 중요한 특징들을 더 잘 인식하고 이해하는 데 도움이 될 수 있다는 카푸르의 가설을 뒷받침한다(DeCaro and Rittle-Johnson 2012; Kapur 2014; Schwartz et al. 2011). 학습자들이 해결책을 찾기 위해 고군분투할 때, 다음과 같은 것들이 시작된다고 제안되었다. 

  • (a) 전문가 이론 또는 모델을 초래한 문제를 이해한다

  • (b) 정해진 솔루션이 제시되었을 때 솔루션의 한계를 이해한다 (Bjork 및 Bjork 2014; Schwartz 등). 2009).

Our results support Kapur’s hypothesis that placing a well-designed problem-solving phase prior to instruction may help learners to better notice and attend to the critical features of the concept (DeCaro and Rittle-Johnson 2012; Kapur 2014; Schwartz et al. 2011). It has been suggested that when learners struggle to discover solutions, they begin to 

  • (a) understand the problems that led to the expert theory or model, and 

  • (b) comprehend the limitations of the established solution once it is presented to them (Bjork and Bjork 2014; Schwartz et al. 2009). 


Cockcroft-Gault 공식을 사용해 크레아티닌 간극 추정의 제약조건과 한계에 대한 보다 깊은 개념적 이해를 개발하는 것이 목표라면 문제해결 단계에서 발생하는 투쟁과 발명이 중요할 수 있다. 교육 및 실습 단계는 지식을 확립된 솔루션으로 통합하고 지식 풍부한 환경에서 미래의 문제 해결을 위한 학습자를 준비했다(Schwartz and Bransford 1998).

The struggle and invention that occurs in the problem-solving phase may be crucial if the goal is to develop deeper conceptual understanding of the constraints and limitations of estimating creatinine clearance using the Cockcroft–Gault formula. The instruction and practice phase consolidated their knowledge into the established solution and prepared learners for future problem solving in a knowledge-rich environment (Schwartz and Bransford 1998).


취득 및 적용 평가에서 유사한 수행 패턴은 [전통적인 평가를 사용했으며, 유도된 발견 활동을 직접 지시와 비교했을 때 결과의 차이를 발견하지 못한 이전의 연구]와 일치한다. [(생산적 실패 처럼지시적 교육 후의 구조화된 생성 활동]은 [복제와 적용을 강조하는 표준적 평가]를 사용할 경우 비생산적으로 보일 수 있다(Schwartz와 Martin 2004). 우리의 결과는 지도와 평가 방법의 정렬의 중요성을 강조한다(Mylopoulos와 Woods 2014). 본 연구에서는 PFL 측정치를 통해 학습 중 전문가다운 수행(Woods 및 Mylopoulos 2015)을 요구하는 것이 아니라, 학습자가 자신의 지식을 나중 학습에 활용할 수 있도록 준비하는 것을 강조할 수 있었다.

The similar patterns of performance on the acquisition and application assessments is consistent with previous studies that used traditional assessment and found no difference in outcomes when comparing guided discovery activities with direct instruction. Structured generation activities followed by instruction (such as productive failure) can appear unproductive if standard assessments, which emphasize replication and application, are used (Schwartz and Martin 2004). Our results emphasize the importance of aligning instruction and assessment methods (Mylopoulos and Woods 2014). In this study, the PFL measure allowed us to emphasize the preparation of learners to use their knowledge for later learning, as opposed to demanding expert-like performance during learning (Woods and Mylopoulos 2015).


이 연구의 결과는 교육자들에게 몇 가지 시사점을 보여준다. 

  • 첫째, 생산적인 실패와 같은 방법을 사용하여 커리큘럼 초기에 복잡한 주제를 가르치는 것은 세 가지 유형의 수행인 취득, 적용, PFL을 서포트할 수 있다. 

  • 둘째, 생산적 실패는 (임상적 발현이나 대조적인 사례와 기초 과학 메커니즘을 통합하는 지침과 같은 다른 지침적 접근법과 함께) 새로운 학습을 지원하는 지식의 습득을 촉진할 것으로 보인다(Woods and Mylopoulos 2015). 

보건 전문가들이 정기적으로 새로운 지식을 계발하여 실습의 적응과 발전을 보장해야 한다는 점을 고려할 때, 이러한 교육 및 평가 모델은 모든 커리큘럼에 귀중한 추가가 될 수 있다(Mylopoulos et al. 2018).

The results of this study reveal several implications for educators. 

  • First, teaching complex topics earlier in the curriculum using methods like productive failure may support three types of performance—acquisition, application, and PFL. 

  • Second, productive failure— along with other instructional approaches, such as instruction that integrates basic science mechanisms with clinical manifestations or contrasting cases—appears to foster the acquisition of knowledge that supports new learning (Woods and Mylopoulos 2015). 

Given that health professionals must regularly develop new knowledge to ensure that they adapt and advance their practice, these models of teaching and assessment could be a valuable addition to any curriculum (Mylopoulos et al. 2018).


본 연구의 결과는 [학습 중 struggle의 가치를 강조]하고 [관련 영역에서 새로운 지식을 배우기 위해 초보자 준비 시] 직접 지시보다 사전 문제 해결이 더 효과적일 수 있다는 이론을 뒷받침한다. [단기적으로 성과를 극대화하는 교수 전략]이 [장기적으로 학습을 극대화하는 전략]은 아닐 수 있다(Kapur 및 Bielaczyc 2012; Schmidt와 Bjork 1992). 이 연구는 학생들을 능력 밖의 문제 해결에 참여시키는 것이 실패했을 때 생산적인 운동이 될 수 있다는 생각을 뒷받침한다.

The results of this study emphasize the value of struggle during learning and support the theory that problem solving prior to instruction may be more effective than direct instruction when preparing novices to learn new knowledge in a related domain. Teaching strategies that maximize performance in the short term may not necessarily be the ones that maximize learning in the longer term (Kapur and Bielaczyc 2012; Schmidt and Bjork 1992). This study supports the idea that engaging students in solving problems that are beyond their abilities can be a productive exercise in failure.




Mylopoulos, M., Brydges, R., Woods, N. N., Manzone, J., & Schwartz, D. L. (2016). Preparation for future learning: A missing competency in health professions education? Medical Education, 50, 115–123. https ://doi.org/10.1111/medu.12893


Mylopoulos, M., & Woods, N. N. (2017). When I say … adaptive expertise. Medical Education, 51(7), 685–686. https ://doi.org/10.1111/medu.13247






Randomized Controlled Trial

 

. 2019 Oct;24(4):739-749.
 doi: 10.1007/s10459-019-09895-4. Epub 2019 May 14.

Productive failure as an instructional approach to promote future learning

Affiliations 

Affiliations

  • 1Leslie Dan Faculty of Pharmacy, University of Toronto, 144 College Street, Toronto, ON, M5S 3M2, Canada. naomi.steenhof@utoronto.ca.
  • 2The Wilson Centre, University Health Network, Toronto, Canada. naomi.steenhof@utoronto.ca.
  • 3Faculty of Medicine, University of Toronto, Toronto, Canada.
  • 4The Wilson Centre, University Health Network, Toronto, Canada.
  • 5School of Health Professions Education, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, The Netherlands.

Abstract

Productive failure is an instructional approach that requires learners to struggle as they attempt to generate solutions to problems before, rather than after, receiving direct instruction on a targeted concept. Studies demonstrate that productive failure prepares students for later learning of new, related knowledge. Our study explored the effectiveness of productive failure as an instructional intervention in health professions education with respect to (a) acquisition and application of a novel concept, and (b) learners' preparation for future learning of new, related content. Forty year-one students enrolled in the Doctor of Pharmacy program at the University of Toronto were randomly assigned to a productive failure (i.e. attempt to generate solutions before receiving instruction) or direct instruction only learning condition. After a practice phase, participants completed a series of tests designed to measure knowledge acquisition, knowledge application, and preparation for future learning (new learning is required for successful problem solving). As expected, no difference in performance was seen between participants on the acquisition and application tests. However, participants in the productive failure condition outperformed those in the direct instruction condition on the preparation for future learning test. These results emphasize the role of struggle in learning and support the theory that engaging students in solving problems that are beyond their abilities can be a productive exercise in failure. The results suggest that productive failure assists learners in acquiring the conceptual knowledge needed to facilitate learning in the future.

Keywords: Adaptive expertise; Clinical reasoning; Innovation; Pharmacy education; Preparation for future learning; Productive failure.


학습의 생산적 실패, 생산적 성공, 비생산적 실패, 비생산적 성공(Educational Psychologist, 2016)

Examining Productive Failure, Productive Success, Unproductive Failure, and Unproductive Success in Learning

Manu Kapur




성과와 학습 간의 불일치성

Incommensurability between performance and learning


슈미트와 비요크(1992)는 단기간의 수행을 방해할 수 있는 실험 조작이 장기간의 학습에 실제로 생산적일 수 있다고 제안했다. 그들은 학습자가 수행 딥이 발생하더라도 학습에 유리한 과정에 참여할 수 있는 기회를 제공하기 위해 초기 학습 중에 "바람직한 어려움"을 도입하는 개념을 발전시켰다. 바람직한 난관의 예로는 과제의 복잡성/변수성 증가, 지침 없는 문제 해결 또는 초기 학습 중에 피드백을 줄이거나 지연하는 것을 들 수 있다. 그들은 [초기 학습에서 성과를 극대화하는 조건이 반드시 장기적으로는 학습을 최대화하는 조건이 아닐 수 있다]고 결론지었다. 반대로 초기에 성과에 부정적인 영향을 미치는 조건은 장기적으로 더 나은 학습을 초래할 수 있다.

Schmidt and Bjork’s (1992) suggested that experimental manipulations that may hinder performance in the shorter term can actually be productive for learning in the longer term. They advanced the notion of introducing “desirable difficulties” during the initial learning to afford learners opportunities to engage in processes that are germane for learning even if they result in a performance dip. Examples of desirable difficulties include increasing the complexity of/variability in the task, unguided problem solving, or reducing or delaying feedback during the initial learning. They concluded that conditions that maximize performance in the initial learning may not necessarily be the ones that maximize learning in the longer term. Conversely, conditions that adversely affect performance initially may result in better learning in the longer term.


학습과 수행 사이의 불협화음을 활용하면 네 가지 설계 가능성이 생긴다: 생산적 성공, 생산적 실패, 비생산적 성공, 비생산적 실패.

Exploiting the incommensurability between learning and performance results in four possibilities for design: productive success, productive failure, unproductive success, and unproductive failure.


이 네 가지 설계 가능성 중 첫째는 단기적으로 성과를 극대화하고 장기적으로는 학습을 극대화하는 조건을 설계하는 것이다. 나는 그러한 디자인 노력을 생산적인 성공이라고 부른다. 생산적인 성공은 문제 해결과 지속 가능한 학습에 대한 개선된 성과 달성을 목표로 문제 해결과 학습 활동을 구조화하는 것을 포함한다. 예를 들어, 문제 기반 학습(PBL)의 장르에 속하는 구성주의적 접근법과 안내식 문답은 학습자가 전문성을 습득함에 따라 지반이 점차 퇴색되면서 학습을 유발하기 위한 비계형 문제 해결 활동을 초기에 포함한다(Puntambekar & Huebscher, 2005; H. G. Schmidtmidt, Royens, Van Gog, & Pas, & Pas, 2007).

First among these four design possibilities is designing conditions that maximize performance in the shorter term and maximize learning in the longer term. I refer to such design efforts as productive success. Productive success involves structuring problem-solving and learning activities with the goal of achieving both improved performance on problem solving and sustainable learning. For example, constructivist approaches that fall into the genres of problem-based learning (PBL) and guided inquiry involve scaffolded problem-solving activities initially to engender learning, with a gradual fading of the scaffolds as learners gain expertise (Puntambekar & H€ubscher, 2005; H. G. Schmidt, Loyens, Van Gog, & Paas, 2007).


둘째는 단기적으로는 성과를 극대화할 수 없지만 장기적으로는 학습을 극대화할 수 있는 조건을 설계할 수 있는 가능성이다. 나는 그러한 디자인 노력을 생산적인 실패라고 부른다. (Kapur, 2008). 생산적인 실패는 학생들이 아직 배우지 못한 개념을 요구하는 문제를 해결하는 데 몰두하게 하고, 그 다음 목표 개념에 대한 통합과 지도가 뒤따른다. 실패는 단순히 학생들이 스스로 올바른 해결책을 만들거나 발견할 수 없다는 것을 의미한다. 그러나 학생들이 사전 지식을 활용하여 문제에 대한 차선책이나 심지어 부정확한 해결책을 도출할 수 있는 정도까지, 이 과정은 이어지는 후속 지침으로부터 더 잘 배울 수 있도록 준비하는데 생산적일 수 있다(Kapur &Bielaczyc, 2012; Schwartz &Martin, 2004).

Second is the possibility of designing conditions that may not maximize performance in the shorter term but in fact maximize learning in the longer term. I refer to such design efforts as productive failure (Kapur, 2008). Productive failure engages students in solving problems requiring concepts they have yet to learn, followed by consolidation and instruction on the targeted concept. By failure, I simply mean that students will typically not be able to generate or discover the correct solution(s) by themselves. However, to the extent that students are able to use their prior knowledge to generate suboptimal or even incorrect solutions to the problem, the process can be productive in preparing them to learn better from the subsequent instruction that follows (Kapur &Bielaczyc, 2012; Schwartz &Martin, 2004).


셋째, 장기적으로는 학습을 극대화하지 않고 단기적으로는 성과를 극대화할 수 있는 조건을 설계할 수 있는 가능성이다. 즉, 초기의 높은 성과에 있어서 학습에 대한 착각이 있는 것이다. 나는 그러한 디자인 노력을 비생산적인 성공이라고 부른다. 예를 들어, 학생들이 무엇을 하고 있는지에 대한 동등한 이해 없이 [암기 과제에 대해 높은 성과를 보여주거나 문제 해결 절차를 수행하는 것]이 가능하기 때문에 [훈련 연습이나 암기에 크게 의존하는 교수법]은 이 범주에 속할 것이다. 대표적인 예가 밀러와 길데아의 어휘 학습(1987)에서 나온다. 그들은 주로 사전적 정의에서 단어의 의미와 사용을 배운 아이들이 어떻게 그것을 실천에 옮기지 못하는지를 설명했다. 예를 들어, 비록 그들이 그 단어의 의미를 상관관계로 말할 수 있을지라도, 그들이 실제로 어떻게 그 단어를 사용하는가(예를 들어, 나와 나의 부모님은 상관관계, 왜냐하면 그것들 없이는 나는 여기에 없을 것이기 때문이다)는 완전히 무의미할 수도 있다.

Third is the possibility of designing conditions that may maximize performance in the shorter term without maximizing learning in the longer term. In other words, there is an illusion of learning in initial high performance. I refer to such design efforts as unproductive success. For example, teaching methods that rely largely on drill-and-practice or rote memorization would fall into this category, for it is possible for students to show high performance on memory tasks or carrying out problem-solving procedures without a commensurable understanding of what it is that they are doing. A classic example comes from Miller and Gildea’s (1987) work on vocabulary learning. They described how children who learned the meaning and use of words mainly from dictionary definitions are often not able transfer it appropriately to practice. For example, even though they may be able to state the meaning of the word correlate, how they use the word in practice (e.g., Me and my parents correlate, because without them I wouldn’t be here) may be completely meaningless.


마지막으로, 단기 또는 장기적으로는 성과도 학습도 극대화할 수 없는 조건을 설계할 가능성이 있다. 나는 그러한 디자인 노력을 비생산적인 실패라고 부른다. 비생산적인 실패의 잘 연구된 예는 [순수한 발견 학습]으로, 학생들은 아무런 지도나 지원 없이 문제 해결에 참여함으로써 목표한 개념을 배우거나 발견하게 된다. 이 기사를 통해 나는 "발견 학습"과 "안내되지 않는 문제 해결"을 서로 교환하여 사용한다.

Finally, there is the possibility of designing conditions that maximize neither performance nor learning in the short or long terms. I refer to such design efforts as unproductive failure. A well-studied example of unproductive failure is pure discovery learning, where students are expected to learn (or discover) the targeted concepts by engaging in solving problems without any guidance or support whatsoever. Throughout this article, I use “discovery learning” and “unguided problem solving” interchangeably.


비생산적 실패

UNPRODUCTIVE FAILURE


지도하지 않은 문제 해결이나 발견 학습이 종종 암울한 학습 결과를 초래한다는 교육자(예: Kirschner, Souler, & Clark, 2006)와 구성자(예: HmeloSilver, Duncan, & Chinn, 2007) 사이에 의견이 일치한다. 예를 들어, 교육자들은 새로운 개념을 표적으로 하는 문제를 학습자가 해결하도록 하는 데는 거의 효과가 없으며, 문제 해결 전에 개념에 대한 직접적인 교육을 받아야 한다고 주장하기 위해, 지침이 없거나 최소로 안내된 지침에 대한 실질적인 경험적 증거를 제시한다(더 자세한 검토는 Kirschen 참조).어, Souler, &Clark, 2006; Mayer, 2004).

There is consensus among instructivists (e.g., Kirschner, Sweller, & Clark, 2006) and constructivists (e.g., HmeloSilver, Duncan, & Chinn, 2007) that unguided problem solving or discovery learning often leads to dismal learning outcomes. For example, instructivists bring to bear substantive empirical evidence against unguided or minimally guided instruction to claim that there is little efficacy in having learners solve problems that target novel concepts and that learners should receive direct instruction on the concepts before any problem solving (for fuller reviews, see Kirschner, Sweller, &Clark, 2006; Mayer, 2004).



아마도 이 견해는 Sweller(2009)에 의해 가장 잘 포착된다. "일반적으로 검색이 매우 시간이 많이 걸리고, 차선의 해결책이 될 수도 있고, 심지어 전혀 해결책이 없을 수도 있을 때 학습자에게 해결책을 찾도록 맡겨서 무엇을 얻을 수 있는가?" ( 페이지 128) 이러한 견해는 인지 부하 이론(CLT; Souler, 1988)에 근거하고 있으며, 지침이 없거나 최소로 안내된 발견 학습에 유리하게 (예를 들어, 잘 설계된 사례를 통해) 어떤 형태의 직접 지침을 비교한 많은 증거 기관들에 의해 뒷받침된다. 이로 인해 키르슈네르, 스웰러, 클라크(2006)는 "제어된 실험은 거의 한결같이 새로운 정보를 다룰 때 학습자가 무엇을 해야 하고 어떻게 해야 하는지를 명시적으로 보여줘야 한다는 것을 나타낸다"(p.79)고 주장하게 되었다. 직접 지시에는 일반적으로 독립적인 문제 해결 전에 목표 개념에 대한 지침이 사용되거나 잘 설계된 작업 예제를 사용하여 목표 개념을 설명하고 설명하는 것이 포함된다(Kirschner, Super, & Clark, 2006).

Perhaps this view is best captured by Sweller (2009): “What can conceivably be gained by leaving the learner to search for a solution when the search is usually very time consuming, may result in a suboptimal solution, or even no solution at all?” (p. 128). This view is grounded in cognitive load theory (CLT; Sweller, 1988) and is supported by a large body of evidence that has compared some form of heavily guided direct instruction (e.g., through well-designed worked examples) favorably with unguided or minimally guided discovery learning. This led Kirschner, Sweller, and Clark (2006) to argue that “controlled experiments almost uniformly indicate that when dealing with novel information, learners should be explicitly shown what to do and how to do it” (p. 79). Direct instruction typically involves the use of instruction on the targeted concepts followed by or coupled with the use of well-designed worked examples to illustrate and explain the targeted concepts, before independent problem solving (Kirschner, Sweller, & Clark, 2006).


학습자들이 [학습한 예시worked example를 통한 직접지도 중심의 학습]과 비교했을 때 [지침이 없는 문제풀이]를 통해 많은 것을 배우지 못한다는 것은 놀라운 일이 아니다. CLT의 입장에서는 학생들이 문제를 해결할 지식이 없을 때 시행착오나 수단-끝 분석 등 자원집약적 과정을 거치면서 문제공간에서 해결방안을 찾는 경우가 많아 제한된 작업기억능력에 부담을 준다. 모든 의식적인 프로세싱은 작동 메모리에서 발생하기 때문에, 작업 메모리는 주로 그러한 문제 공간의 검색에 사용된다면 새로운 개념과 절차를 배우는 데 덜 이용된다(Kirschner, Super, & Clark, 2006; Tuovinen & Super, 1999). 

It is not surprising that learners do not learn as much from unguided problem solving when compared with a heavily guided direct instruction through worked examples. From the perspective of CLT, when students do not have the knowledge to solve a problem, they often search the problem space for solutions by engaging in resource intensive processes such as trial and error or means-ends analysis, which burden the limited working memory capacity. Because all conscious processing happens in the working memory, working memory is less available for learning new concepts and procedures if it is mainly occupied with such a search of the problem space (Kirschner, Sweller, & Clark, 2006; Tuovinen & Sweller, 1999). 


학습자에게 정확히 무엇을 해야 하고 어떻게 해야 하는지를 보여줌으로써 [직접적인 교육]은 작업 메모리에 대한 이러한 부하를 줄여줌으로써 올바른 도메인 지식과 절차의 개발을 촉진한다(Klahr & Nigam, 2004; Souler & Chandler, 1991). 학생들이 스스로 올바른 지식과 절차를 전혀 발견하지 못할 수도 있는 [안내되지 않은 문제 해결]과 비교된다(Klahr & the Nigam, 2004). [직접 교육]은 오류와 오해의 인코딩 가능성을 줄이면서 학생들에게 올바른 절차와 지식을 제공하고 습득할 수 있는 기회를 제공한다(Sweller & Chandler, 1991).

By showing the learner exactly what to do and how to do it, direct instruction reduces this load on the working memory, thereby facilitating the development of correct domain knowledge and procedures (Klahr & Nigam, 2004; Sweller & Chandler, 1991). Compared with unguided problem solving, where students may not even be able to discover correct knowledge and procedures on their own at all (Klahr & the Nigam, 2004), direct instruction affords students opportunities to attend to and acquire the correct procedures and knowledge while reducing the probability of encoding of errors and misconceptions (Sweller & Chandler, 1991).


이론적으로나 경험적으로 볼 때 [안내되지 않은 문제해결]보다 [직접지시]가 우위에 있다는 것에 대해서는 의심의 여지가 없다. 지침이 없는 문제해결과의 비교를 바탕으로 직접지도를 생산적인 성공으로 판단할 수도 있었다. 그러나, 나는 우리가 보통 비교에서 도출되는 다음과 같은 그릇된 추론을 좀더 면밀히 추궁할 때까지 판단을 유보할 것을 주장한다.

Theoretically and empirically, there is no doubt about the superiority of direct instruction over unguided problem solving. Based on the comparison against unguided problem solving, one could even judge direct instruction as a productive success. However, I argue to hold off on the judgment until we have more closely interrogated the following fallacious inferences that usually get derived from the comparison:


1. 유도되지 않은 문제 해결에서 상상할 수 있는 이득은 얻을 수 없다.

2. 지침이 없는 문제 해결이 문제이기 때문에 최대의 지침이 해결책이다.

3. CLT는 새로운 것을 배울 때 지침이 없는 문제 해결의 사용에 반대한다.

1. No conceivable benefit can be derived from unguided problem solving.

2. Because unguided problem solving is the problem, maximal guidance is the solution.

3. CLT is against the use of unguided problem solving when learning something new.


유도되지 않은 문제 해결에서 상상할 수 있는 이점이 없을 경우

No Conceivable Benefit Can Be Derived From Unguided Problem Solving


[직접지시]가 [가이드 없는 문제해결]을 능가한다는 것은 학습자가 아직 배우지 못한 개념을 대상으로 하는 문제를 해결하도록 하는 데 거의 효과가 없다는 것을 논리적으로 시사하는 것은 아니다. 그러한 효능이 있는지 판단하기 위해서는 [직접 교육]을 [학생들이 스스로 학습하지 않는 문제를 먼저 해결하는 접근법]과 비교한 후 적절한 교육을 따르는 더 엄격한 비교가 필요하다.

That direct instruction trumps unguided problem solving does not logically imply there is little efficacy in having learners solve problems that target concepts they have not learned yet. To determine if there such an efficacy, a stricter comparison is needed in which one compares direct instruction with an approach where students first engage in unguided problemsolving on their own, followed by appropriate instruction.


필자는 클라라르와 니감(2004)의 연구를 대표적인 사례로 삼고 있는데, 이는 발견 학습에 대한 직접 지도의 효과성을 잘 보여주는 사례로 자주 인용되기 때문이다. 클라라와 니검은 우선 학생들이 스스로 실험을 설계하도록 함으로써 변수전략(CVS)의 통제를 알고 있는지 확인하기 위해 기준선 평가를 실시했다. 기준선 평가의 성공률은 예상대로 매우 낮았다. 이후 발견 학습 조건에 배정된 학생들은 CVS나 피드백에 대한 어떠한 지침도 없이 이러한 실험들을 계속 설계했다. 단, 직접 지시 조건의 학생의 경우, 강사는 교란 실험과 근거 없는 실험 모두의 설계를 적절한 교육 촉진 및 설명과 함께 모델링하고 대조하여 교란 실험은 교란 실험이 교란되지 않는 반면 CVS는 인자의 영향을 분리하는 데 도움이 되는 중요한 특징을 취하도록 했다.

I use Klahr and Nigam’s (2004) study as a case in point because it is often cited as a stellar example of the effectiveness of direct instruction over discovery learning. Klahr and Nigam first conducted a baseline assessment to see if students knew the control of variables strategy (CVS) principle by getting them to design experiments on their own. The success rate on the baseline assessment was expectedly very low. Students who were subsequently assigned to the discovery learning condition simply continued to design these experiments without any instruction on CVS or any feedback. However, for students in the direct instruction condition, the instructor modeled and contrasted the design of both confounded and unconfounded experiments with appropriate instructional facilitation and explanation to make them attend to critical features of why CVS helps isolate the effects of a factor whereas confounded experiments do not.


[직접 지시]가 [시험 후 조치에 대한 발견 학습]보다 더 효과적이라는 것은 놀랄 일이 아니다. 그러나 클라르와 니감(2004)의 연구에서의 기준선 평가는 학생들이 아직 배우지 못한 개념(이 경우 CVS)을 대상으로 하는 문제를 해결하기 위해 스스로 해결책을 만들어 내는 발견 학습 단계(이 경우 실험)와 매우 흡사하게 기능하는 것 같다고 주장할 수도 있다. 

It is unsurprising that direct instruction was found to be more effective than discovery learning on posttest measures. However, one can also argue that the baseline assessment in Klahr and Nigam’s (2004) study seems to function very much like a discovery learning phase where students generated their own solutions (in this case, experiments) to solve a problem that targets a concept (in this case, CVS) they had not learned yet. 


만일 그렇다면, 클라라와 니검이 직접 지시에만 귀속하는 바로 그 효과는 직접지시에 따른 순수한 발견 학습 단계(그들의 기준 평가)에 더 적절하게 귀속되는 것으로 보인다. 따라서, 클라라와 니검은 학생들이 아직 배우지 못한 개념을 요구하는 문제를 탐구하고 해결하는 데 거의 효과가 없다는 것을 보여주기 위해 출발했다. 그러나, 그들의 발견은 다음과 같은 [어떤 형태의 교육을 제공한다면 그러한 발견 학습이 실제로 효과적일 수 있다는 반대되는 주장을 정확히 뒷받침하기 위해 재해석될 수 있다].

If so, the very effects that Klahr and Nigam attribute to direct instruction alone seem more appropriately attributed to a pure discovery learning phase (their baseline assessment) followed by direct instruction. Therefore, much as Klahr and Nigam set out to show that there is little efficacy in students exploring and solving problems requiring concepts they have not learned yet, their findings can be reinterpreted to support precisely the opposing contention that such discovery learning can in fact be efficacious provided some form of instruction that build upon it follows.


안내받지 않는 문제 해결이 문제인 만큼, 최대 안내가 해결책이다.

Because Unguided Problem Solving Is the Problem, Maximal Guidance Is the Solution


[지침이 없는 문제 해결]보다 [직접 지시]가 우위에 있다고 하더라도, 하나의 극단(지도가 전혀 없음)을 거부한다는 것이, 다른 극단(중대한 또는 최대적인 지침)을 가장 효과적인 해결책으로 자동 채택하는 것을 의미하지는 않는다. 아마도 초기 학습에서 지침을 설계하는 다른 방법들이 있을 수 있는데, 이는 최대한 유도된 직접 지침과 같거나 훨씬 더 효과적이다.

The superiority of direct instruction over unguided problem solving does not mean that a rejection of one extreme (no guidance at all) implies an automatic adoption of the other (heavy or maximal guidance) as the most effective solution. Perhaps there exist other ways of designing guidance in the initial learning that are just as or even more effective than the maximally guided direct instruction.


발견 학습에 대한 강한 비판에서, 메이어(2004)는 지침이 없는 발견을 안내된 발견과 직접 지시를 비교한 연구를 검토했다. 검토 결과 안내되지 않은 발견이 가장 효과적이지 않은 것으로 분명히 나타났지만, 직접지시는 가장 효과적이지 않은 것이었으며, 실제로 [안내되지 않은 발견]과 [직접지시]를 둘 다 능가하는 것은 [안내지침 발견guided discovery]라는 것도 보여주었다. 예를 들어 키텔(1957)은 순수한 발견을 통한 논리 문제 학습(예: 단어 그룹에서 단어를 제외하는 규칙 찾기), 안내 검색( 힌트가 주어지는 위치), 직접 지시(규칙이 먼저 말해진 위치)를 비교했고, 키텔은 안내 검색이 보존과 전이에 가장 적합한 것으로 나타났다. Gagne과 Brown의 연구(1961년)는 수학 학습에서 학생들이 숫자 시리즈를 요약하기 위해 공식을 도출하는 방법을 배워야 하는 유사한 연구 결과를 반영했다. PBL과 같은 다른 방법들도 있는데, 이러한 효과가 항상 일관되지는 않지만, 직접 지시의 효과성이 입증되었다(예: Hmelo-Silver, Duncan, & Chinn, 2007 참조). 생산적 실패에 대한 연구(Kapur, 2008, 2010, 2014)와 미래 학습 준비(Schwartz & Bransford, 1998; Schwartz & Martin, 2004)도 직접 지도보다 더 효과적인 교수법을 나타낸다.

In a strong critique of discovery learning, Mayer (2004) reviewed studies that compared unguided discovery with guided discovery and direct instruction. Although the review clearly showed that unguided discovery was the least effective, it also showed that direct instruction was not the most effective, and that it was in fact guided discovery that outperformed both unguided discovery and direct instruction. For example, Kittel (1957) compared learning of logic problems (e.g., finding the rule for excluding a word from a group of words) through pure discovery, guided discovery (where a hint was given), and direct instruction (where the rule was told first), and Kittel found guided discovery to be the best for retention and transfer. Gagne and Brown’s (1961) study echoed similar findings in the learning of math where students had to learn how to derive formulas to sum a number series. There are other methods, too, such as PBL, the effectiveness of which over direct instruction has been demonstrated, though these effects are not always consistent (e.g., see Hmelo-Silver, Duncan, & Chinn, 2007). Research on productive failure (Kapur, 2008, 2010, 2014) and preparation for future learning (Schwartz & Bransford, 1998; Schwartz & Martin, 2004) also represent teaching methods that are more effective than direct instruction.


요점은 간단하다: (안내되지 않은 문제 해결에서) 지침의 완전한 부족이 문제라고 해서, (자동적으로) 지침의 최대 제공이 논리적으로 가장 효과적인 해결책임을 것을 의미하지는 않는다; 한 극단에서 다른 극단까지 흔들 필요가 없다. 완전하게 안내되지 않은 문제 해결과 집중적인 직접 지도보다 더 나은 교수법을 설계하는 것이 가능하다. 만일 그렇다면, 직접적인 지시는 발견 학습과 비교할 때 생산적인 성공 사례로 떠오를 수 있지만, 다른 설계와 비교할 때는 그렇지 않을 수 있다. 나는 기사 뒷부분에서 이것을 다룬다.

The point is simple: Just because a complete lack of guidance (in unguided problem solving) is the problem does not logically mean that maximal provision of guidance is the most effective solution; one does not have to swing from one extreme to the other. It is possible to design teaching methods that are better than both completely unguided problem solving and heavily guided direct instruction. If so, direct instruction may come across as an example of a productive success when compared with discovery learning, but that may not hold true when compared with other designs. I take this up later in the article.


CLT는 새로운 것을 배울 때 지침이 없는 문제 해결의 사용에 반대한다.

CLT Is Against the Use of Unguided Problem Solving When Learning Something New


CLT에 따르면, 새로운 정보의 처리는 제한된 작동 메모리 용량과 장기 메모리에 저장된 관련 정보 사이의 상호작용에 의존한다. Kirschner, Souler, Clark(2006)는 "신기한 정보를 다룰 때 작업 기억력의 한계를 무시하거나 익숙한 정보를 다룰 때 그러한 한계가 사라지는 것을 무시하는 어떤 지시 이론도 효과적일 것 같지 않다"(p.77)고 주장했다.

According to CLT, the processing of novel information depends upon an interaction between a limited working memory capacity and relevant information stored in the long-term memory. Kirschner, Sweller, and Clark (2006) argued that “any instructional theory that ignores the limits of working memory when dealing with novel information or ignores the disappearance of those limits when dealing with familiar information is unlikely to be effective” (p. 77).


만약 학습자가 개념에 대해 이미 알고 있는 것(사전 지식)이 CLT에 의해 개념화된 작동 메모리 용량을 제한하거나 확장하는 중요한 결정 요인이라면, CLT에 대한 약속은 대상 개념이 학습자에게 새로운지 여부와 그 정도를 이해하는 약속을 수반한다. 학습자가 목표 개념에 대한 사전 지식이 없다고 가정할 경우, 작업 메모리의 제한적인 측면 내에서 작업하도록 제한된다. 이는 주로 지지자가 직접 지시한 것으로 보이는 측면이다(예: Carroll, 1994; Paas, 1992; Sweller & Chandler, 1991).

If what a learner already knows—prior knowledge— about a concept is a critical determinant of either limiting or expanding the working memory capacity as conceptualized by CLT, then a commitment to CLT entails a commitment to understanding whether and the extent to which the targeted concept is novel to the learner. If one assumes that learners do not have any prior knowledge of the targeted concept, one is constrained to work within the limiting aspects of the working memory, which is of what the proponents direct instruction largely seem to have done (e.g., Carroll, 1994; Paas, 1992; Sweller & Chandler, 1991).


학습자의 사전 지식을 고려한 CLT 연구가 있다는 점에 유의하십시오. 예를 들어, 

    • 칼유가, 챈들러, 스웰러, 투오비넨(2001)은 [학습자가 도메인 지식이 낮거나 없을 때], 효과가 있는 예시를 가진 학습이 처음에 학습자에게 도움이 된다는 것을 발견했다. 

    • 그들의 [도메인 지식이 증가]함에 따라, 안내되지 않은 문제 해결보다 작업한 예제의 효율성은 사라졌다. 

그러나 이러한 연구는 초기 전문지식을 구축하기 위해서는 [직접 교육]을 사용해야 하며, 지침이 없는 문제 해결을 위해 작업한 예제의 사용을 줄이거나 제거해야 한다는 권고를 유지하고 있다.

Note that there are CLT studies that take into account learners’ prior knowledge. For example, Kalyuga, Chandler, Sweller, and Tuovinen (2001) found that the learning with worked examples benefited learners initially when they had low or no domain knowledge. As their domain knowledge increased, the effectiveness of worked examples over unguided problem solving disappeared. However, these studies maintain the recommendation that one should use direct instruction to build initial expertise, and only with the build-up domain expertise that the use of worked examples be diminished or removed in favor of unguided problem solving.


이와는 대조적으로, 개념에 대한 공식적인 지식이 없는 학습자를 위해 안내되지 않은 문제 해결을 사용하는 가능성은 CLT 내에서 탐구되지 않았다. 그러한 학습자들에게, 비록 그들이 아직 공식적으로 그것을 배우지 않았더라도 개념에 대해, 비록 차선적이거나 심지어 부정확하더라도, 그들의 사전 지식을 활성화하고 이끌어낼 수 있는 문제 해결 과제를 설계할 수는 없을까? 이를 달성할 수 있는 정도까지, 장기기억에서 이러한 전리품을 활성화하고 작업함으로써, 작업 메모리 용량의 확장 가능한 측면을 활용할 수 있게 된다. 적어도 이것은 CLT가 허용하는 이론적인 가능성이지만, 아직 충분히 파악되지 않고 있다. 학습자가 사전 지식이 없다고 가정함으로써 CLT의 지지자들은 이론적으로 CLT의 설계 의미를 과소평가한 것으로 보인다.

In contrast, the possibility of using unguided problem solving for learners with initially no formal knowledge of the concept has not been explored within CLT. For such learners, could we not design problem-solving tasks that can activate and elicit their prior knowledge, albeit suboptimal or even incorrect, about a concept even if they have not formally learned it yet? To the extent that we can accomplish this, it follows that by activating and working with these priors in the long-term memory, one can leverage the expandable aspects of the working memory capacity. At the very least, this is a theoretical possibility that CLT allows for, yet it remains underresearched. It seems that the proponents of CLT, by assuming learners have no prior knowledge, have theoretically underdetermined the design implications of CLT.


세 가지 그릇된 추론을 배경으로, 나는 이제 [생산적인 실패] 사례를 증명하는 쪽으로 방향을 틀었다. 나는 처음에 안내되지 않은 문제해결을 통해 학생의 사전지식을 도출하기 위한 문제해결 활동을 설계할 수 있고, 통합의 형태로 적절한 지침을 제공함으로써 그러한 안내되지 않은 문제해결의 효능이 있을 수 있음을 보여 주고, 그 후에 이어지는 지도가 뒤따른다.

Against the backdrop of the three fallacious inferences, I now turn to demonstrating a case for productive failure. I show that it is possible to design problem-solving activities for eliciting students’ prior knowledge through unguided problem-solving initially, and that there can be an efficacy of such unguided problem solving provided an appropriate guidance in the form of consolidation and instruction subsequently follows.


생산적 실패

PRODUCTIVE FAILURE


생산적 실패에는 두 가지 단계가 수반된다: [문제 해결] 단계 다음에 [통합(또는 지시)] 단계가 뒤따른다(설계에 대한 자세한 설명은 Kapur & Bielaczyc, 2012 참조). 

  • 문제 해결 단계는 학생들이 새롭고 복잡한 문제에 대한 다중 해결책의 가치와 제약을 만들고 탐구할 수 있는 기회를 제공한다. 

  • 통합 단계에서는 학생 생성 솔루션을 표준 솔루션으로 비교, 대조, 구성 및 조립할 수 있는 기회를 제공한다.

Productive failure involves two phases: a problem-solving phase followed by a consolidation (or instruction) phase (for a fuller description of the design, see Kapur & Bielaczyc, 2012). 

  • The problem-solving phase affords opportunities for students to generate and explore the affordances and constraints of multiple solutions to novel, complex problems. 

  • The consolidation phase affords opportunities for comparing and contrasting, organizing, and assembling the relevant student-generated solutions into canonical solutions.


이제 가르치기 전에 새로운 문제에 대한 해결책을 도출하는 것이 학생들이 가르침으로부터 더 나은 학습을 하도록 도울 수 있다는 증거가 늘어나고 있다(Kapur & Rummel, 2012). 증거는 강의실의 실제 생태학(예: Kapur, 2012, 2013; Kapur & Bielaczyc, 2011; Schwartz & Bransford, 1998; Schwartz & Martin, 2004)에서 수행된 quasiexperiment 연구뿐만 아니라 통제된 실험 연구(예: DeCaro & Ritle-Johnson, 2012; Kapur)에서도 나온다.Dinger, 2011; R. A. Schmidt & Bjork, 1992; Schwartz, Chase, Oppezo, & Chin, 2011).

There is now a growing body of evidence that generating solutions to novel problems prior to instruction can help students learn better from the instruction (Kapur & Rummel, 2012). Evidence comes not only from quasiexperimental studies conducted in the real ecologies of classrooms (e.g., Kapur, 2012, 2013; Kapur & Bielaczyc, 2011; Schwartz & Bransford, 1998; Schwartz & Martin, 2004) but also from controlled experimental studies (e.g., DeCaro & Rittle-Johnson, 2012; Kapur, 2014; Loibl & Rummel, 2013, 2014; Roll, Aleven, & Koedinger, 2011; R. A. Schmidt & Bjork, 1992; Schwartz, Chase, Oppezzo, & Chin, 2011).


예를 들어, 8학년 학생들과 함께 한 연구에서 슈워츠와 동료들(2011년)은 학생들을 비교했다. 밀도 개념에 대한 [교육을 받기 전에 대조적인 사례와 함께 솔루션을 개발한 사람]과 [먼저 교육을 받은 후 같은 사례로 연습한 사람]을 비교했다. 이 두 그룹은 절차적 지식에는 영향이 없었지만, [발명 활동은 학생들이 밀도의 깊은 구조를 더 잘 배울 수 있도록 준비시켰고], 이는 순서상 교육을 먼저 받은 학생들보다 더 나은 전이를 초래한다는 것을 발견했다.

For example, in a study with eight-grade students, Schwartz and colleagues (2011) compared students who invented solutions with contrasting cases before receiving instruction on the concept of density with those who were instructed first and then practiced with the same cases. They found that although there was no effect on procedural knowledge, invention activities prepared students to learn the deep structure of density better, which resulted in better transfer than those who received instruction first.


마찬가지로, DeCaro와 Rittle-Johnson(2012년)은 2학년에서 4학년 학생들이 숫자 문장에서 익숙하지 않은 수학 문제를 숫자 문장에 대한 강의를 받기 전이나 후에 풀게 했다. 다시 한 번, 절차적 지식에는 차이가 없었지만, 문제를 먼저 푼 학생들은 처음 교육을 받은 학생들보다 개념적 이해가 더 발달했다.

Likewise, DeCaro and Rittle-Johnson (2012) had second- to fourth- grade students solve unfamiliar math problems on number sentences before or after receiving instruction on number sentences. Once again, there was no difference on procedural knowledge, but students who solved problems first developed better conceptual understanding than those who first received instruction.


좀 더 최근에는 9학년 학생들이 표준편차 개념을 배우는 무작위 통제 실험에서 카푸르(2014년)는 학생들이 지시를 받기 전이나 후에 새로운 문제에 대한 해결책을 개별적으로 만들어 내도록 했다. 그 역시 절차적 지식에서 차이를 발견하지는 못했지만, 강의에 앞서 문제해결에 참여한 학생들은 강의 후 문제해결에 참여한 학생들보다 개념적 이해와 전달에 있어 현저하게 우수한 성과를 보였다.

More recently, in a randomized controlled experiment with ninth-graders learning the concept of standard deviation, Kapur (2014) had students individually generate solutions to a novel problem before or after receiving instruction. He too found no difference on procedural knowledge, but students who engaged in problem solving prior to instruction demonstrated significantly better performance on conceptual understanding and transfer than those who engaged in problem solving after instruction.


교육 이전에 문제 해결의 준비 효과를 뒷받침하는 몇 가지 상호의존적인 메커니즘이 있다. 첫째, 문제 해결부터 시작하여 학생들이 자신의 이전 지식을 사용하여 문제에 대한 차선책 또는 심지어 부정확한 해결책을 생성할 수 있다면 관련 사전 지식을 활성화activating하고 차별화differentiating하는 것이 더 나을 수 있다(DeCaro & Rittle-Johnson, 2012; Schwartz, Chase, Oppezo, 2011; Sigler, 1994). 학생들이 해결책을 생성하기 위해 사전 지식에만 의존할 수 있기 때문에, 이러한 해결책의 특성은 활성화된 지식의 유형과 목표 개념과 관련하여 이 지식이 어떻게 관련되는지를 측정한다(Kapur, 2014; Loibl & Rummel, 2014; Westermann & Rummel, 2012). 

There are several interdependent mechanisms underpinning the preparatory effects of problem solving prior to instruction. First, starting with problem solving may be better at activating and differentiating relevant prior knowledge provided students are able to use their priors to generate suboptimal or even incorrect solutions to the problem (DeCaro & Rittle-Johnson, 2012; Schwartz, Chase, Oppezzo, & Chin, 2011; Siegler, 1994). Because students can rely only on their prior knowledge to generate solutions, the nature of these solutions provides a measure of the types of knowledge that was activated and how this knowledge is relevant in relation to the targeted concept (Kapur, 2014; Loibl & Rummel, 2014; Westermann & Rummel, 2012). 


둘째로, 선행 지식 활성화는 학생들에게 다음 기회를 제공할 수 있다. 

  • (a) 사전 지식의 비일관성과 한계를 인식한다(DeCaro & Rittle-Johnson, 2012; Loibl & Rummel, 2014; Ohlsson, 1996). 

  • (b) 학생 생성 솔루션과 후속 교육 중에 올바른 솔루션을 비교 및 대조하여 학생들이 새로운 개념의 중요한 기능에 참여하고 더 잘 인코딩할 수 있도록 돕는다(Kapur, 2014; Schwartz, Chase, Oppezo, & Chin, 2011). 

Second, prior knowledge activation may in turn afford more opportunities for students to 

  • (a) notice the inconsistencies in and realize the limits of their prior knowledge (DeCaro & Rittle-Johnson, 2012; Loibl & Rummel, 2014; Ohlsson, 1996) and 

  • (b) compare and contrast student-generated solutions and correct solutions during subsequent instruction, thereby helping students’ to attend to and better encode critical features of the new concept (Kapur, 2014; Schwartz, Chase, Oppezzo, & Chin, 2011). 


마지막으로, 인지적 이점 외에도, 교육 이전의 문제 해결은 더 큰 학습자 기관의 영향적 이점뿐만 아니라, 목표한 개념을 학습하기 위한 참여와 동기 또한 가질 수 있다. (Belenky&Nokes-Malach, 2012; Clifford, 1984; Hiebert & Grows, 2007)

Finally, besides the cognitive benefits, problem solving prior to instruction may also have affective benefits of greater learner agency, as well as engagement and motivation to learn the targeted concept (Belenky& Nokes-Malach, 2012; Clifford, 1984; Hiebert & Grouws, 2007).



이러한 연구는 [지침이 없는 문제 해결]의 효과가 있다는 확실한 증거를 제공하지만, 어떤 형태의 통합과 지시가 뒤따를 경우에만 그렇다. 또한 [직접 교육]보다 생산적인 실패의 더 큰 효력은 절차적 지식의 발달이 아니라 개념적 지식과 전달에 있다.

These studies provide robust evidence that there is an efficacy of unguided problem solving, but only if some form of consolidation and instruction follows. Note also that the greater efficacy of productive failure over direct instruction lies not in the development of procedural knowledge but in conceptual knowledge and transfer.


여러 생산적 실패에 관한 연구들을 종합하면 그 이점이 실현될 수 있는 주요 설계 특징을 제안한다. 

  • (a) 초기 문제 해결 과제는 학습자가 탐사에 참여할 수 있을 만큼 충분히 도전적이어야 하지만, 학습자가 포기하도록 너무 도전적이어서는 안 된다. 

  • (b) 여러 해결책, 전략 및 표현을 수용해야 한다. 즉, 탐색을 위한 충분한 문제와 해결책 공간을 제공해야 한다. 

  • (c) 문제를 해결하기 위해 학습자의 사전 지식(직관적이고 형식적)을 활성화해야 한다. 

  • (d) 교사나 전문가는 학생이 만든 솔루션을 올바른 솔루션과 비교 및 대조하여 목표 개념의 중요한 특징에 대한 주의를 유도하고 인코딩을 지원함으로써 이를 토대로 해야 한다.

A synthesis across several productive failure studies suggests key design features for its benefits to be realized: 

  • (a) The initial problem-solving task should be challenging enough to engage the learner in the exploration, but not so challenging that the learner gives up; 

  • (b) it must admit multiple solutions, strategies, and representations, that is, afford sufficient problem and solution spaces for exploration; 

  • (c) the problem should activate learner’s prior knowledge— formal as well as intuitive—to solve the problem; and 

  • (d) a teacher or an expert should build upon the student-generated solutions by comparing and contrasting them with the correct solution, thereby directing attention to and aiding encoding of the critical features of the targeted concept.


학생들이 초기 문제해결 단계에서 반드시 올바른 해결책을 만들거나 배우지 않는 생산적인 실패와 달리, 생산적인 성공은 [문제해결과 학습 모두를 성공적으로 이끌어내는 방법]으로 초기 문제해결 과정을 가이드한다.

Unlike productive failure, where students do not necessarily generate or learn the correct solutions in the initial problem-solving phase, productive success guides the initial problem-solving process in ways that leads to both successful problem solving and learning.


생산적 성공

PRODUCTIVE SUCCESS


  • 생산적인 실패와 생산적인 성공 사이의 차이는 미묘하지만 중요한 것이다. 생산적인 실패의 목표는 이후의 교육으로부터 배우는 준비다. 따라서, 학생들이 처음에 성공적인 문제 해결 성과를 거두지 못해도 상관없다

  • 이와는 대조적으로, 생산적인 성공의 목표는 성공적인 문제 해결 활동 자체를 통해 배우는 것이다. 학생들은 이러한 문제들을 해결할 개념을 모르기 때문에, 문제 해결 과정은 생산적인 실패와는 달리 문제 해결 성공과 학습을 모두 성취하도록 크게 안내된다(Hmelo-Silver, Duncan, & Chinn, 2007).

  • The difference between productive failure and productive success is a subtle but an important one. The goal for productive failure is a preparation for learning from subsequent instruction. Thus, it does not matter if students do not achieve successful problem-solving performance initially. 

  • In contrast, the goal for productive success is to learn through a successful problem-solving activity itself. Because students do not know the concepts to solve these problems, the problem-solving process, unlike in productive failure, is heavily guided to achieve both problem-solving success and learning (Hmelo-Silver, Duncan, & Chinn, 2007).


생산적인 성공의 확립된 잘 알려진 예는 PBL이다. 이름에서 알 수 있듯이, PBL은 학생들의 학습을 협력적이고 진실한 문제 해결 과제와 활동에 배치한다. 학생들은 PBL을 통해 협업, 커뮤니케이션, 성찰 기술은 물론 목표한 도메인 지식을 배운다(Hmelo-Silver, Duncan, & Chinn, 2007). PBL은 재료에 걸쳐 분산된 다양한 비산물에 의해 지원되며, 기술 도구, 그리고 가장 중요한 것은 교사 및 도메인 전문가(Puntambekar & Kolodner, 2005)이다. 교사는 학생의 행동을 모델화하고, 질문을 통해 학생의 문제 해결을 지도하며, 중요한 특징에 주의를 기울여 학습자가 비계와 지도 없이는 할 수 없는 것을 성취하도록 돕는다. 의도된 결과는 성공적인 문제 해결과 학습이다.

An established and well-researched example of productive success is PBL. PBL, as the name suggests, situates student learning in collaborative and authentic problem solving tasks and activities. Through PBL, students learn the targeted domain knowledge, as well as collaboration, communication, and reflection skills (Hmelo-Silver, Duncan, & Chinn, 2007). PBL is supported by a range of scaffolds distributed across the materials; technological tools; and, most important, teachers and domain experts (Puntambekar & Kolodner, 2005). Teachers model behavior, guide student problem solving by asking questions, and directing attention to critical features to help the learner achieve what he or she would not be able to without the scaffolds and guidance. The intended result is both successful problem solving and learning.


PBL은 전통적인 직접 지시와 수많은 비교의 대상이 되어 왔다. 그러나 메타 분석 연구의 증거는 혼재되어 있다(예: 알바네즈 & 미첼, 1993; 버논 & 블레이크, 1993). 예를 들어 버논과 블레이크(1993)는 전통적인 직접지시는 기초 의학지식의 습득에 더 나은 반면, PBL지시는 임상실무의 문제를 해결하기 위해 그 지식을 이전하는 데 더 낫다는 것을 발견했다. 도치, 세거스, 반덴 보스체, 기즈벨스(2003) 메타분석 결과 PBL 학생들이 지식응용에서 더 좋은 성적을 냈을 뿐만 아니라 기초지식취득에 대한 PBL보다 직접지식의 이점이 의과대학 2학년 이후 사라졌다는 사실이 밝혀졌다. Gijbels와 동료(2005)는 유사한 연구 결과를 반복했다: PBL은 도메인의 기본 원칙과 이러한 원칙들이 어떻게 개념을 연결하는지에 대한 더 나은 개념적 이해를 개발하는 데 도움을 주었다. 그들의 분석은 더욱 흥미로웠으며, "학생에 의한 지식의 응용을 평가하는 기구의 능력이 우수할수록 PBL의 확인된 효과는 더 크다"(45 페이지)는 것을 시사했다. 마지막으로, 가장 최근의 270 비교 메타분석에서, H. G. 슈미트, 반 데르 몰렌, 테 윙클, 그리고 바이넨(2009)은 의학 지식과 진단 추리에 작지만 긍정적인 영향을, 그리고 PBL을 지지하는 의학 기술에 훨씬 더 강한 영향을 발견하였다.

PBL has been subject to numerous comparisons with traditional direct instruction. Meta-analytic studies, however, provide mixed evidence (e.g., Albanese & Mitchell, 1993; Vernon & Blake, 1993). For example, Vernon and Blake (1993) found that whereas traditional direct instruction was better for the acquisition of basic medical knowledge, PBL instruction was better in transferring that knowledge to solve problems in clinical practice. Dochy, Segers, Van den Bossche, and Gijbels (2003) meta-analysis found not only that PBL students performed better on knowledge application but also that the advantage of direct instruction over PBL on basic knowledge acquisition vanished after the 2nd year of medical school. Gijbels and colleagues (2005) echoed similar findings: PBL helped develop better conceptual understanding of the underlying principles of the domain and how these principles link the concepts. Even more interesting, their analysis suggested that “the better the capacity of an instrument for evaluating the application of knowledge by the student, the larger the ascertained effect of PBL” (p. 45). Finally, in the most recent meta-analyses of 270 comparisons, H. G. Schmidt, van der Molen, te Winkel, and Wijnen (2009) found small but positive effects on medical knowledge and diagnostic reasoning, and much stronger effects on medical skills in favor of PBL.


앞서 언급한 메타분석에 포함된 거의 모든 연구에는 의대생이 참여했으며, 이는 일반화의 범위를 다른 영역과 연령층으로 제한한다는 점에 유의해야 한다. 따라서, 의학교육과 고등교육의 맥락에서 PBL의 효과를 검토할 가치가 있다. 예를 들어, preservice 교사들을 대상으로 한 세로적 준 실험 연구에서 데리, 흐멜로 실버, 나가라얀, 체르노빌스키, 베이첼(2006)은 전통적인 가르침보다 PBL에 유리한 이전 효과를 일관되게 보여주었다. 잘 통제된 실험 연구에서, 카폰과 쿤(2004)은 PBL에 종사하는 성인 MBA 학생들이 목표 개념에 대한 강연을 먼저 받은 학생들보다 목표 개념에 대한 더 큰 개념 이해를 보인다는 것을 발견했다. 선언적 지식에는 이렇다 할 영향이 없었다. 쿤과 딘(2005)도 비슷한 결과를 얻었다.

It is important to note that almost all the studies included in the aforementioned meta-analyses involved medical students, which limits the scope of generalization to other domains and age groups. Therefore, it is worthwhile examining the effectiveness of PBL beyond medical education, both in the schools and higher education contexts. For example, in a longitudinal quasi-experimental study with preservice teachers, Derry, Hmelo-Silver, Nagarajan, Chernobilsky, and Beitzel (2006) demonstrated consistently better transfer effects in favor of PBL over traditional instruction. In a well-controlled experimental study, Capon and Kuhn (2004) found that adult MBA students who engaged in PBL followed by a lecture on the targeted concepts demonstrated greater conceptual understanding of the targeted concepts than those who received a lecture first followed by PBL. There were no significant effects on declarative knowledge. Similar results were obtained by Kuhn and Dean (2005).


학교 맥락에서, 아마도 PBL에 대한 가장 설득력 있는 증거는 밴더빌트(1992)의 인지 및 기술 그룹에 의한 고정된 교육, 즉 PBL의 한 종류에 대한 대규모 연구로부터 얻을 수 있을 것이다. 미국 11개 주에 걸쳐 중학교 수학 교실에서 실시된 PBL 학생들은 표준화된 시험과 이전 문제에서 일치된 비교 시험보다 훨씬 더 우수한 성적을 보였다. 고등학교 맥락에서 PBL에 대한 멀티스쿨 연구에서 나온 추가 증거는 전통적인 직접 지도에서 상대 학생보다 PBL 학생들에게 더 나은 지식 이득을 찾아낸 Mergendoller, Maxwell, Bellisimo(2006)의 연구에서 나온다.

In school contexts, perhaps the most convincing piece of evidence for PBL comes from a large-scale study on anchored instruction—a type of PBL—by the Cognition and Technology Group at Vanderbilt (1992). Conducted in middle-school mathematics classrooms across 11 U.S. states, PBL students showed significantly better performance on standardized tests as well as transfer problems than their matched comparison counterparts. Further evidence from a multischool study of PBL in high school contexts comes from a study by Mergendoller, Maxwell, and Bellisimo (2006), who found better knowledge gains for PBL students than their counterparts in traditional direct instruction.


전체적으로 효과의 패턴은 일관성이 있어 보인다. 전통적인 [직접 교육]과 비교하여, PBL은 기본 지식의 습득에는 영향이 없거나 심지어 부정적인 영향을 미칠 수 있지만, 개념적 이해와 전이에는 긍정적인 영향을 미칠 수 있다. 이 증거의 본문은 문제해결 활동을 중심으로 한 지시를 설계한 다음, 성공적인 문제해결과 학습, 즉 생산적인 성공으로 이어지는 방식으로 이러한 활동을 지원하고 지도하는 것이 가능하다는 것을 시사한다.

Overall, the pattern of effects seems consistent. Compared to traditional direct instruction, PBL may have a null or an even negative effect on the acquisition of basic knowledge but a positive effect on conceptual understanding and transfer. This body of evidence suggests that is possible to design instruction centered on problem-solving activities, and then supporting and guiding these activities in ways that lead to successful problem-solving and learning—in other words, productive success.


1. 생산적인 실패와 생산적인 성공 중 어느 것이 학습에 더 효과적인가?

2. 직접 가르침이 비생산적인 성공의 한 형태가 될 수 있을까?

1. Which is more effective for learning: productive failure or productive success?

2. Could direct instruction be a form of unproductive success?


생산적인 실패와 생산적인 성공 중 어느 것이 학습에 더 효과적인가?

Which is more effective for learning: productive failure or productive success?


생산적인 실패와 생산적인 성공 모두 생산적인 학습 성과로 이어질 수 있지만, 한 쪽이 다른 한 쪽보다 나은지는 분명하지 않다. 생산적인 실패가 생산적인 성공에 어떻게 불리하게 작용하는가? 이 질문에 답하는 것은 문제 해결 실패(또는 성공)가 학습에 필요한 조건인지와 그 정도를 이해하는 데 도움이 될 것이다.

Even though both productive failure and productive success can lead to productive learning outcomes, it is not clear if one is better than the other. How does productive failure fare against productive success? Answering this question would help us understand if and the extent to which problem-solving failure (or success) is a necessary condition for learning.


이상적으로, 깨끗한 실험 비교는 처음에 실패로 이어지는 문제 해결과 성공으로 이어지는 문제 해결과 동일한 지침으로 이어지는 문제 해결의 비교를 수반할 것이다. 그러나 내가 알기로는 그런 실험적인 비교는 존재하지 않는다. 그렇긴 하지만, 그러한 비교를 할 수 있을 정도의 몇몇 연구들은 슈워츠, 체이스, 오페초, 친 (2011)의 연구와 앞서 설명한 데카로와 리틀 존슨 (2012)의 연구들이다. 두 연구 모두에서, 처음에는 문제를 해결하는 데 성공했던 학생들의 비율이 매우 낮았다. 그러나 두 연구 모두 문제해결 성공을 거둔 학생들과 그렇지 못한 학생들을 비교한 결과의 분석을 제공하지 않는다. 그러므로 그 문제는 아직 미해결인 채로 남아 있다.

Ideally, a clean experimental comparison would entail comparing problem solving that initially leads to failure followed by instruction with problem solving that leads to success followed by the same instruction. However, to my knowledge, no such experimental comparison exists. That said, a couple of studies that do come close to affording such a comparison are studies by Schwartz, Chase, Oppezzo, and Chin (2011) and DeCaro and Rittle Johnson (2012) described earlier. In both the studies, there was a nontrivial proportion of students who achieved problem solving success initially. However, neither study provides a breakdown of results comparing students who achieved problem-solving success with those who did not. Thus, the question remains an open one.


질문에 대답하는 또 다른 방법은 생산적인 실패 학생들을 그들의 초기 문제 해결에서 올바른 해결책으로 인도하는 것인데, 그것은 마치 생산적인 성공에서 하는 것과 같다. 그리고 나서, 그들은 그들의 초기 문제 해결 활동에서 지침이 없는 보통의 생산적인 실패 학생들과 비교할 수 있을 것이다.

Another way to answer the question would be by scaffolding productive failure students in their initial problem solving to guide them toward a correct solution, much like one would do in productive success. Then on could compare them with the regular productive failure students who are unguided in their initial problem-solving activity.


카푸르(2011년)는 학생들이 생산적인 실패나 직접적인 교육 조건, 또는 안내된 문제 해결 조건이라고 불리는 세 번째 조건에 배정된 준 실험 연구에서 이 질문을 정확하게 다루었다. 생산적 실패 상태에 있는 학생들은 문제 해결 단계 동안 어떠한 형태의 지도나 지원을 받지 못했지만, 유도 상태guided condition에 있는 학생들은 그 과정 내내 인지적 지원과 촉진제를 제공받았다. 그러한 지침은 전형적으로 교사 설명의 형태로, 문제의 중요한 이슈나 매개변수에 초점을 맞추고, 학생의 정교함과 설명을 유발하는 질문 프롬프트와 생산적인 해결 단계를 향한 힌트를 제공했다(Puntambeckar & H€ubscher, 2005). 조사결과에 따르면, 이 지침guidance이 실제로 문제해결 성공으로 이어진 반면, 생산적인 실패는 어느 것도 올바른 해결책을 만들어내지 못했다. 그러나, 교육 후 사후 시험에서, 생산적 고장 조건의 학생들은 절차적 지식, 개념적 이해, 이전 등에 관한 직접적 지도와 유도적 세대 조건의 학생들을 능가했다. 유도 생성과 직접 지시 조건의 차이는 크지 않았다.

Kapur (2011) addressed precisely this question in a quasi-experimental study where students were assigned to either productive failure or direct instruction conditions, or a third condition called the guided problem-solving condition. Whereas students in the productive failure condition did not receive any form of guidance or support during the problem-solving phase, students in the guided condition were provided with cognitive support and facilitation throughout that process. Such guidance was typically in the form of teacher clarifications, focusing attention on significant issues or parameters in the problem, question prompts that engendered student elaboration and explanations, and hints toward productive solution steps (Puntambekar & H€ubscher, 2005). Findings suggested that the guidance did in fact result in problem-solving success, whereas none of the productive failure students were able to generate the correct solution. However, on the posttest after instruction, students from the productive failure condition outperformed those from both the direct instruction and guided generation conditions on procedural knowledge, conceptual understanding, and transfer. The differences between guided-generation and direct instruction conditions were not significant.


Loibl과 Lummel(2013)은 세 가지 유사한 조건을 가진 연구에서 이러한 효과를 독립적으로 재현했다: 

    • 강의 전 안내되지 않은 문제 해결, 

    • 문제 해결 단계 동안 인지적 프롬프트로 학생들이 지원받는 강의 전 안내된 문제 해결, 

    • 직접 지시. 

Loibl and Rummel (2013) independently replicated this effect in a study with three similar conditions: 

    • unguided problem solving prior to instruction, 

    • guided problem solving prior to instruction in which students were supported with cognitive prompts during the problem-solving phase, and 

    • direct instruction. 


그들은 학생들이 더 나은 품질의 해결책을 도출하는 데 도움을 주는 지침에도 불구하고, 절차적 또는 개념적 이해에 관한 [안내가 있거나] [안내가 없는] 문제 해결 조건 사이에는 큰 차이가 없다는 것을 발견했다. 즉, 초기 문제해결 단계에서의 인지적 가이드가 사후 테스트에서 더 나은 학습으로 이어지지 않았다.

They found that, in spite of guidance helping students generate better quality solutions, there was no significant difference between the guided and unguided problem-solving conditions on procedural or conceptual understanding. That is, cognitive guidance during the initial problem-solving phase did not result in better learning on the posttest.


두 연구(Kapur, 2011; Loibl &Rummel, 2013)는 초기 문제 해결의 지침이 문제 해결 성공이나 해결책의 질 향상으로 이어질 수 있지만, 이러한 더 나은 수행이 후속 교육에서 더 나은 학습으로 이어지지는 않는다고 제안한다. 그럴듯한 이유는 특히 학생 생성 솔루션과 표준 솔루션 간의 비교와 대조를 통해 저품질 및 고품질 솔루션이 후속 교육 중에 학습 기회를 제공하기 때문일 수 있다. 또 다른 이유는 문제 해결 성공이 그 해결책이 어떻게 그리고 왜 작동하는지 학생들이 이해하도록 보장하지 않기 때문일 수 있다. 따라서, 초기 문제 해결을 가이드하는 것은 문제 해결의 준비 편익에 추가되지 않을 수 있다.

Both studies (Kapur, 2011; Loibl &Rummel, 2013) suggest that although guidance in the initial problem solving may well lead to problem-solving success or better quality of solutions, this better performance does not translate to better learning from the subsequent instruction. A plausible reason could be that both low- and high-quality solutions present opportunities to learn during the subsequent instruction, especially through a comparison and contrast between the student-generated solutions and the canonical solution. Another reason could be that problem-solving success does not guarantee that students understand how and why the solution works. Thus, guiding initial problem solving may not add to the preparatory benefits of problem solving.


물론 이는 모든 지침이 불필요하다는 것을 의미하지는 않지만, 초기 문제 해결을 지원하기 위해 지침의 유형을 이해하는 데 더 많은 연구가 필요하다는 것을 의미한다.

This of course implies not that all guidance is unnecessary but that more research is needed to understand the types of guidance is necessary to support the initial problem solving.


직접 지시가 비생산적인 성공의 한 형태가 될 수 있는가?

COULD DIRECT INSTRUCTION BE A FORM OF UNPRODUCTIVE SUCCESS?


한 편으로는, 발견 학습보다 [직접 교육]이 일관되게 우월한 성과를 보여준다는 점에서, [직접 교육]을 비생산적인 성공으로 분류하는 것은 오히려 가혹할 것이다. 한편, 앞의 분석에서 보듯이, 생산적인 실패와 생산적인 성공에 대한 [직접 교육]이 부족한 것으로 나타났다. 또한 직접지시의 저성능 패턴이 주목되었는데, 이는 기초지식의 습득 측면에서는 그다지 큰 것이 아니라 개념적 이해와 양도에 관한 것이었다.

One one hand, given direct instruction’s consistently superior performance against discovery learning, it would be rather harsh to categorize it as an unproductive success. On the other hand, as the preceding analyses showed, direct instruction was found wanting against productive failure and productive success. Also noted was the pattern of underperformance of direct instruction, which was not so much in terms of the acquisition of basic knowledge but more on conceptual understanding and transfer.


직접 지시의 장기적인 부작용을 이 증거에 추가하라. PBL에 대한 도치, 시거스, 반덴 보스체, 기젤스(2003)의 메타 분석에서 주목할 만한 사실은, [의대 2학년 이후 의대생들의 기초지식 습득에 대한 전통적인 직접교육의 이점이 사라졌다]는 것을 기억하라. 즉, 기초지식 습득에 대한 직접지시의 긍정적 효과조차도 장기적으로 사라져 가는 경향이 있었다. 이 발견은 Dochy et al.의 메타 분석에만 국한되지 않았다. 1992년 이후 PBL의 주요 메타분석 8가지를 종합한 결과, 스트로벨과 반 바네벨드(2009)는 PBL이 단기적으로는 기초지식에 대한 표준화된 시험에서 약간 저조한 성과를 보일 수 있지만, 장기보유와 성능향상에 있어서는 더 효과적이라고 결론지었다.

Add to this evidence the longer term adverse effects of direct instruction. Recall that a striking finding fromDochy, Segers, Van den Bossche, and Gijbels’s (2003) meta-analysis on PBL was that the advantage of traditional direct instruction on medical students’ basic knowledge acquisition disappeared after the 2nd year of college. In other words, even the positive effect of direct instruction on basic knowledge acquisition tended to vanish in the longer term. This finding was not limited to just Dochy et al.’s metaanalysis. In a synthesis of eight major meta-analyses of PBL since 1992, Strobel and van Barneveld (2009) concluded that even though PBL could result in slight underperformance on standardized tests of basic knowledge in the shorter term, it was more effective when it came to long-term retention and performance improvement.


직접 교육이 장기적으로 보았을 때 더 성공적이지 않다는 강력한 실험 증거가 더 있다. 예를 들어, Dean과 Kuhn(2006)은 CVS의 학습에 관한 Klahr와 Nigam의(2004) 연구를 복제했지만, 한 가지 예외는 있었다. 딘과 쿤은 한 번의 강의와 문제해결을 수반하는 단기적인 연구 대신 직접지도만으로, 문제해결에 따른 직접지도, 문제해결만으로 인한 상대적 효과를 비교하는 10주간의 연구를 실시했다. 그들은 직접 교육은 "강건한 습득이나 시간 경과에 따른 유지보수를 위해 필요하거나 충분한 조건도 아님"을 확인했다. 이는 의대생(예: Hmelo, 1998)뿐만 아니라 학교 학생(예: Vanderbilt의 인지 및 기술 그룹, 1992) 및 비의료 고등 교육 학생(예: Derry et al., 2006)과도 일치하는 결론이다.

There is further strong experimental evidence suggesting that direct instruction does not fare well over the longer term. For example, Dean and Kuhn (2006) replicated Klahr and Nigam’s (2004) study on the learning of CVS, but with one exception. Instead of a short-term study involving one session of instruction and problem solving, Dean and Kuhn carried out a 10-week study to compare the relative effects of direct instruction alone, direct instruction followed by problem solving, and problem solving alone. They found that direct instruction was “neither a necessary nor sufficient condition for robust acquisition or for maintenance over time” (p. 384)—a conclusion that is consistent with the other longer term PBL studies, not only with medical students (e.g., Hmelo, 1998) but also with school students (e.g., Cognition and Technology Group at Vanderbilt, 1992) and nonmedical, higher education students (e.g., Derry et al., 2006).


마지막으로, [직접 교육]은 창의성과 창의성의 필수 요소인 새로운 해결책을 찾는 것을 실제로 제약할 수 있다는 새로운 증거를 고려하라. 카푸르(2014년)는 생산적인 학생들이 목표 개념에 대한 교육을 받기 전에 5~6개의 솔루션을 설계할 수 있는 반면, 직접적인 교육 상대자들은 목표 개념에 대한 교육 후 해결할 동일한 문제가 주어졌을 때 올바른 솔루션만을 생산하는 경향이 있다는 것을 발견했다. 이것은 비록 (직접)교육은 학생들에게 올바른 해결책을 만들도록 안내할 수 있지만, 그것은 또한 새로운 해결책을 찾는 것을 제약하고 구속할 수도 있다는 것을 암시하는 것 같다.

Finally, consider emerging evidence that direct instruction may actually constrain search for novel solutions, which is a necessary component of inventiveness and creativity. Kapur (2014) found that, whereas productive students were able to design five to six solutions before receiving instruction on the targeted concepts, their direct instruction counterparts tended to produce only the correct solution when given the same problem to solve after instruction on the targeted concepts. This seems to suggest that although instruction may guide students to produce correct solutions, it may also create a lock-in and constrain search for new solutions. 


카푸르의 연구 결과는 보나위츠 외 연구진(2011년)의 연구와 일치하는데, 이들은 어른들의 지도 없이 장난감을 가지고 노는 어린이들에게 비슷한 효과를 보여주었다. 보나위츠 외 연구진(2011년)은 학생들이 지식 있는 성인의 가르침으로부터 자신이 배워야 할 모든 관련 지식과 절차는 이미 가르쳤다는 것을 추론하는 경향이 있다는 설명을 강의 중에 진전시켰다. 한편으로 이런 식의 추론이 올바른 해결책을 산출할 가능성을 증가시키지만, 다른 한편으로 새로운 해결책을 찾는 것을 어렵게하는 댓가를 요구한다.

Kapur’s findings are consistent with the work of Bonawitz et al. (2011), who demonstrated a similar effect on children playing with toys with versus without guidance from adults. Bonawitz et al. (2011) advanced the explanation that students tended to infer from instruction by a knowledgeable adult that all the relevant knowledge and procedures that they need to learn had already been taught during instruction. Such an inference, on one hand, increases the likelihood producing correct solutions but, on the other hand, comes at the expense of limiting exploration and search for new solutions.


직접 지시로 인한 underperformance를 설명할 수 있는 것은 무엇인가? 부분적으로 그 해답은 단순히 인지과학이 오랫동안 잘 확립되고 알려진 것에 있을 수 있다. 전문가들은 초보자와는 다른 점을 주목한다. 전문가들은 도메인의 깊은 구조와 중요한 특징에 주목하는 경향이 있는 반면, 초보자들은 피상적인 특징에 더 많이 관심을 갖는다. 

What might explain the underperformance of direct instruction? The answer, in part, may simply lie in what the cognitive sciences have well-established and known for a very long time: Experts notice different things from novices. Experts tend to notice the deep structure and critical features of the domain, whereas novices attend more to the superficial features (Chase & Simon 1973; Chi, Glaser, & Farr, 1988; De Groot, 1965). 


그렇다면, [직접 교육]을 시작할 때, 초보자는 도메인의 중요한 특징과 깊은 구조를 알아차릴 준비가 되어 있다고 가정한다. 그러나 [초보]의 정의에 따르면, 이 가정은 옹호될 수 있지 않다. 슈워츠와 동료들(Schwartz & Bransford, 1998; Schwartz, Chase, Oppezo, & Chin, 2011; Schwartz & Martin, 2004)은 초보자는 [직접 교육] 동안 도메인 지식의 중요한 특징을 인지하고 인코딩할 수 있는 필요한 사전 지식 분화를 가지고 있지 않다는 것을 입증했다.

It follows, then, that in starting with direct instruction, one makes the assumption that novices are prepared to notice the critical features and deep structure of the domain—an assumption that, by the very definition of a novice, is not tenable. Schwartz and colleagues (Schwartz & Bransford, 1998; Schwartz, Chase, Oppezzo, & Chin, 2011; Schwartz & Martin, 2004) have demonstrated that novices do not have the necessary prior knowledge differentiation to be able to notice and encode critical features of domain knowledge during direct instruction.


[직접 교육]이 인지 부하를 감소시킬 수 있다 하더라도, 초보자가 인지부하 감소의 이점을 인지할 가능성이 낮기 때문에 상쇄될 수 있고, 결과적으로 도메인의 중요한 특징과 깊은 구조를 인코딩할 수 있다. 더 강하게 말하면, [만약 인지 부하 감소]가 [중요하지 않은 특징의 인지 및 인코딩]을 더 촉진한다면, 실제로 역효과를 초래할 수 있다. 개념적 이해와 전이를 가능하게 하는 것은 바로 심층 구조와 중요한 특징의 인식과 인코딩이다(Bassok, 1996; Belenky & Schalk, 2014; Braithwate & Goldstone, 2015; Kaminski, Sloutsky, & Hecler, 2008, 2013).

Even though direct instruction may reduce cognitive load, the benefit of a reduced cognitive of load maybe offset by the lower likelihood of novices to notice and consequently encode critical features and deep structure of the domain. Put more strongly, a reduced cognitive load may in fact be counterproductive if it allows for the noticing and encoding of features that are not critical. It is really the noticing and encoding of deep structure and critical features that makes for conceptual understanding and transfer (Bassok, 1996; Belenky & Schalk, 2014; Braithwate & Goldstone, 2015; Kaminski, Sloutsky, & Heckler, 2008, 2013).


그러므로 학습의 목표가 개념의 전이는 물론이거니와, 그에 상응하는 이해가 아니라, [문제 해결을 위한 기초지식의 습득]이라면, [직접교육]은 상당히 좋은 일을 한다. 그러나 이러한 결론조차도 장기간의 비교에 비추어 볼 때 지나치게 관대할 수도 있다. 그 대신 깊은 이해나 전이가 없는 상태에서 기초지식의 습득을 문제로 본다면 직접적인 가르침을 생산적인 실패와 생산적인 성공에 비례하는 비생산적인 성공으로 분류하는 것은 그렇게 가혹하지 않다. 분류의 [상대적 성격]을 강조하는 것이 중요하다; 어떤 것에 대해 생산적인 성공으로 보이는 것은 다른 것에 대해 비생산적인 성공으로 보일 수 있다.

Therefore, if the goals of learning are largely the acquisition of basic knowledge for problem solving without a commensurate understanding the concepts, let alone being able to transfer them, then direct instruction does a fairly good job. However, even this conclusion may be overly generous in the light of the longer term comparisons. Instead, if one views the acquisition of basic knowledge without deep understanding or transfer as a problem, then it is not as harsh to categorize direct instruction as an unproductive success relative to productive failure and productive success. It is important to emphasize the relative nature of the categorization; what seems productive success against one thing can seem unproductive success against another.


고찰

DISCUSSION


몇 가지 함의가 뒤따른다.

Several implications follow.


[(어떤 쪽이든) extreme은 그다지 유용하지 않다는 것]과 [안내되지 않은 문제해결과 과중지도가 있는 직접지시]의 [이분법은 버려야 한다는 것]은 꽤 분명하다. 두 극단 사이에는 최적의 학습을 달성하기 위해 활용할 수 있는 넓은 디자인 공간이 있다. 

  • 생산적인 실패는 이 설계 공간을 어떻게 활용하여 지침이 없는 문제 해결과 명시적 지시의 탐구적 이점을 결합할 수 있는지를 보여준다(Kapur & Rummel, 2012). 

  • 마찬가지로, 생산적인 성공은 학생들이 학습이 문제에 놓여 있을 때 더 잘 배우는 경향이 있고, 문제 해결과 학습을 모두 성공적으로 이끌어내기 위해 문제를 해결하는 동안 적절한 발판이 마련되는 예를 제공한다(Hmelo-Silver, Duncan, &Chinn, 2007).

It is quite clear that the extremes are not very useful and that we need to abandon the dichotomy between unguided problem solving and heavily guided direct instruction. There is a large design space in between the two extremes that can be exploited to achieve optimal learning. 

  • Productive failure provides an example of how this design space can be exploited to combine the exploratory benefits of unguided problem solving and explicit instruction (Kapur & Rummel, 2012). 

  • Likewise, productive success provides an example of how students tend to learn better when their learning is situated in problems and are appropriately scaffolded during their problemsolving to bring about both successful problem solving and learning (Hmelo-Silver, Duncan, &Chinn, 2007).


더욱이, 무엇이 학습으로 간주될 것인가는 한 사람이 헌신commit하는 학습 목표의 맥락과 종류에 달려 있다(Kuhn, 2007). CLT는 학습을 장기 기억력의 변화를 초래하는 스키마 획득으로 정의한다(Kirschner, Souler, & Clark, 2006). 분명히 정의는 제한되어 있다. 스키마 습득만으로는 배울 것이 없다. 문제해결, 탐구, 논증, 추론, 발명, 메타인지와 자기조절, 인식적 유창성과 유연성, 적응성, 협업성, 지식구축, 학습학습 등은 더욱 중요한 학습목표는 아니더라도 모두 동등하게 중요하다(Beeriter & Scardamalia, 2006). 따라서, 교육 방법의 선택은 다양한 유형의 학습 목표를 고려할 필요가 있다. 반대로, 학습의 좁은 정의에서 도출된 지침 설계 처방을 일반화하여 적용할 수는 없다(Kuhn, 2007).

Furthermore, what counts as learning depends upon the context and the kinds of learning goals one commits to (Kuhn, 2007). CLT defines learning as schema acquisition resulting in a change in the long-term memory (Kirschner, Sweller, & Clark, 2006). Clearly, the definition is limited. There is more to learning than schema acquisition alone. Problem solving, inquiry, argumentation, reasoning, inventing, metacognition and self-regulation, epistemic fluency and flexibility, adaptiveness, collaboration, knowledge building, learning to learn, and so on, are all equally if not even more important goals of learning (Bereiter & Scardamalia, 2006). Therefore, the choice of instructional method needs to take into account the various types of learning goals. Conversely, instructional design prescriptions derived from a narrow definition of learning cannot be applicable more generally (Kuhn, 2007).


CLT는 속담에 나오는 [아기를 목욕물과 함께 버릴 필요 없이] 몇 가지 기본적인 가정을 재고할 필요가 있다. 나는 두 가지 가정에 초점을 맞춘다: 

(a) 인지 부하는 학습의 주요 메커니즘이며, 

(b) 인지 부하는 무조건 학습에 좋지 않다. 

CLT needs a rethink of some its basic assumptions, without necessarily throwing out the proverbial baby with the bathwater. I focus on two assumptions: 

(a) cognitive load is the main mechanismof learning, and 

(b) higher cognitive load is monotonically bad for learning. 


그러나 두 가지 가정 모두 의심스럽다. 

Both assumptions are questionable. 


인지부하는 하나의 메커니즘에 불과하다또한 학습을 위한 설계 시 다른 

  • 지적(예: 주의력, 활성화, 인지 등), 

  • 사회적(예: 협업, 갈등, 설명 및 정교화 등), 

  • 화적(예: 규범, 가치관) 

...메커니즘을 고려할 필요가 있다. 다시 말하지만, 설계에 내재된 메커니즘의 선택은 학습 목표에 따라 달라질 것이다.

Cognitive load is but one mechanism. We also need to take into account 

  • other cognitive (e.g., attention, activation, noticing, etc.), 

  • social (e.g., collaboration, conflict, explanation and elaboration, etc.), and 

  • cultural (e.g., norms, values) mechanisms when designing for learning. 

Again, the choice of mechanisms embodied in a design would depend upon the learning goals.


인지 부하가 높을수록 학습이 더 나쁜 것은 아닐 수도 있다. 때로는 높은 인지 부하가 주의를 끌고 사전 지식을 활성화하는 데 도움이 될 수 있으며, 이는 학생들이 교육을 통해 더 잘 인식하고 학습하는 데 도움이 될 수 있다. 생산적 실패에 대한 연구에서 초기 문제 해결 단계가 더 높은 인지 부하를 발생시킨다는 증거가 있다(Kapur, 2012, 2014). 그러나, 앞에서 설명한 연구결과에서 알 수 있듯이, 그것은 또한 이후의 교육으로부터 더 나은 학습으로 이어진다. 즉, CLT의 예측과는 달리 인지 부하가 항상 단조롭게 학습에 나쁜 것만은 아닐 수 있다. 일정량의 부하, 심지어 높은 부하도 학습에 생산적일 수 있다.

It may also not always be true that the higher the cognitive load, the worse the learning. A higher cognitive load at times may in fact be good for driving attention and activating prior knowledge, which may in turn help students notice and learn better from instruction. There is evidence from research on productive failure suggesting that the initial problem-solving phase engenders a higher cognitive load (Kapur, 2012, 2014). Yet, as the findings described earlier show, it also leads to better learning from subsequent instruction. In other words, contrary to the predictions of CLT, cognitive load may not always be monotonically bad for learning. A certain amount of load, even high load, can be productive for learning.


CLT의 기본적인 가정 중 일부에 대한 질문과 함께 학습 목표 유형의 다양성을 고려한다면, CLT의 적용 범위를 재고하는 결과를 초래할 뿐이다. 다시 생각해보는 과정은 CLT 커뮤니티 내에서 이미 시작되었다. 칼유가와 싱(2015년)은 CLT 적용 범위에 대한 재검토를 요구했다. 구체적으로는 CLT가 스키마 기초지식 습득이라는 교육목표에 크게 관여해 왔다고 주장했다. 이는 CLT에서 발생하는 교육적 권고를 단지 교육적 목표가 그것일 뿐이며, 복잡한 문제 기반 학습 환경과 같이 기본적인 지식 스키마의 습득을 넘어서는 목표가 되는 맥락으로 확대되지 않을 수 있다고 그들은 주장했다.

Taking the variety in the types of learning goals in account together with a questioning of some of the basic assumptions of CLT will result only in a rethinking of its scope of applicability. The rethinking process has already started from within the CLT community. Kalyuga and Singh (2015) called for a reconsideration of the scope of applicability of CLT. Specifically, they argued that CLT has largely been concerned with the instructional goal of schema acquisition of basic knowledge. This, they argued, may limit the instructional recommendations arising out of CLT to context where the instructional goal is just that, and not extend to contexts where the goals that go beyond acquisition of basic knowledge schemas, such as in complex problem-based learning environments.


마지막으로, 오랜 기간 교육자-구성주의자 논쟁에서(Kirschner, Souler, & Clark, 2006; Tobias & Duffy, 2009), [구성주의자 인식론]에 대한 헌신이 반드시 [발견 학습]에 대한 헌신을 의미하지는 않는다는 것을 명확히 할 가치가 있을 수 있다(Kapur, 2015). 대신에, 그것은 학습자의 사전 지식을 바탕으로 하는 헌신을 필요로 한다. 그러나 그 선행지식이 무엇인지를 애초에 모른다면 선행지식을 바탕으로 쌓을 수 없다. 학습자가 무엇을 알고 있는지, 그리고 그 지식이 어떻게 새로운 개념을 배우는 데 도움을 줄 수 있는지 알아내는 것은 비계 개념의 핵심이다(Pea, 2004). CLT는 처음부터 중비계를 주장하기 때문에 비계 개념을 잠시 다시 생각해 볼 가치가 있을 수 있다.

Finally, stepping into the long-standing instructivist– constructivist debate (Kirschner, Sweller, & Clark, 2006; Tobias & Duffy, 2009), it is perhaps worth clarifying that a commitment to a constructivist epistemology does not necessarily imply a commitment to discovery learning (Kapur, 2015). Instead, it requires a commitment to building upon learners’ prior knowledge. However, one cannot build upon prior knowledge if one does not know what that prior knowledge is in the first place. Finding out what a learner knows and how that knowledge can be used to help them learn new concepts is central to the concept of scaffolding (Pea, 2004). Because CLT argues for heavy scaffolding right from the start, it may be worthwhile to briefly revisit the concept of scaffolding.


비계 이론은 [가이드는 최소화되어야 하며, 학습자에게 문제나 과제를 계속 해결할 수 있는 기회가 처음 주어진 후에만 제공되어야 한다]고 주장한다(우드, 브루너, 앤 로스, 1976). 그렇다면 우드, 브루너, 로스(1976)가 원래 구상한 비계의 개념이 결국 근위부 개발 구역(ZPD; 브루너, 1986; 비구츠키, 1978)의 비구츠키 개념과 연결되었다는 것은 놀라운 일이 아니다. 

Scaffolding theory argues for guidance to be minimal and provided only after the learner has first been given opportunities to persist in solving a problem or a task (Wood, Bruner, & Ross, 1976). It is not surprising, then, that the notion of scaffolding originally conceived by Wood, Bruner, and Ross (1976) was eventually linked to the Vygotskian notion of the zone of proximal development (ZPD; Bruner, 1986; Vygotsky, 1978). 


ZPD는 "[독립적인 문제 해결에 의해 결정되는 아동의 실제 발달 수준]과 [성인 지도와 더 유능한 또래와의 협력을 통해 결정되는 더 높은 수준의 잠재적 발달 수준] 사이의 거리"로 정의된다(Vygotsky, 1978, 페이지 86). 학습자가 이 간격을 메울 수 있도록 하려면 지지적 구조의 제공이 필요하다. 지지적 구조가 반드시 더 유능한 '사람'(예: 교사, 전문가)의 형태일 필요는 없지만 도구, 교육 촉진 등을 포함할 수 있다(Puntambeckar &Hubscher, 2005).

The ZPD is defined as the “distance between the child’s actual developmental level as determined by independent problem solving and the higher level of potential development as determined through problem solving under adult guidance and in collaboration with more capable peers” (Vygotsky, 1978, p. 86). Enabling the learner to bridge this gap requires the provision of support structures, which need not necessarily be in the form of a more capable person (e.g., a teacher, expert) but may also include tools, instructional facilitation, and so on (Puntambekar &Hubscher, 2005).


비계 이론과 비구츠키안 ZPD 모두 학습자가 스스로 달성할 수 있는 한계에 대해 먼저 확인해야 한다(Bruner, 1986). 그러나 학습자가 성취할 수 없는 것이 무엇인지 확실히 확인하지 않고는 학습자가 스스로 성취할 수 있는 것의 한계를 확인할 수 없다. 후자를 확인하려면 학습자가 스스로 문제를 해결하거나 과제를 완료하지 못할 수 있다. 그런 다음 이 고장의 분석을 통해 전문가가 적절한 비계를 설계하고 관리하는 데 중요한 정보를 제공할 수 있다(Pea, 2004).

In both scaffolding theory and Vygotskian ZPD, one must first ascertain the limits of what learners can achieve on their own (Bruner, 1986). But it is not possible to ascertain the limits of what learners can achieve on their own without concomitantly ascertaining what it is that they cannot. Ascertaining the latter would invariably entail learners failing to solve problems or complete tasks on their own. An analysis of this failure would then provide critical information for an expert to design and administer appropriate scaffolds (Pea, 2004).


생산적 성공을 위한 설계에 있어서 비계의 중심성과 앞에서 주장했듯이, 비계란 [필연적으로 학습자가 스스로 달성할 수 없는 것에 대한 결정]을 수반한다는 점을 고려하면, [생산적 성공]이란 [생산적 실패반복적 주기로 구현하는 설계]로 충분히 구상embodied될 수 있다는 것을 논리적으로 따른다.

Given the centrality of scaffolding in designing for productive success, and that scaffolding, as argued earlier, necessarily entails a determination of what a learner is not able to accomplish on his or her own, it logically follows that productive success could well be conceived as a design that embodies iterative cycles of productive failure.


따라서 최종 분석에서 교육주의자 입장이든, 구성주의자 입장이든, [학습자가 이미 알고 있는 것의 primacy]는 양쪽 모두에게 공통적이고 중요한 것으로 보인다. 교육 설계에 대한 직접적인 함의는 학습자의 사전 지식의 성격과 한계를 먼저 이해한 후 이를 토대로 하기 위한 적절한 지침을 설계하는 것이다. 앞서 주장했듯이, CLT와 관련된 문제의 일부는, 앞서 언급한 함축의 첫 부분이 무시되거나 무효로 가정된다는 것이다. 이와는 대조적으로, 생산적인 실패는 학생들이 특히 문제를 해결하는 데 실패했을 때, 학생들이 알고 있는 것을 유도하기 위해 먼저 유도되지 않은 문제에 학생들을 끌어들이고, 그 다음 이 정보를 사용하여 새로운 지식을 통합하고 조립하는 방법을 제시한다.

In the final analysis, therefore, whether one makes commitment to the instructivist or the constructivist camp, the primacy of what a learner already knows seems to be common and important to both. A direct implication for the design of instruction is to first understand the nature and limits of learners’ prior knowledge, before designing appropriate guidance to build upon it. Part of the problem with CLT, as argued earlier, is that the first part of the aforementioned implication is ignored or assumed to be null. In contrast, productive failure presents a way of first engaging students in unguided problemsolving to elicit what students know, especially in the failure to solve the problem, and then using this information to consolidate and assemble new knowledge.







Abstract

Learning and performance are not always commensurable. Conditions that maximize performance in the initial learning may not maximize learning in the longer term. I exploit this incommensurability to theoretically and empirically interrogate four possibilities for design: productive success, productive failure, unproductive success, and unproductive failure. Instead of only looking at extreme comparisons between discovery learning and direct instruction, an analysis of the four design possibilities suggests a vast design space in between the two extremes that may be more productive for learning than the extremes. I show that even though direct instruction can be conceived as a productive success compared to discovery learning, theoretical and empirical analyses suggests that it may well be an unproductive success compared with examples of productive failure and productive success. Implications for theory and the design of instruction are discussed.


메시지 보내기: 교수가 전문직업성 교수-학습에 어떻게 영향을 미치는가(Med Teach, 2017)

Sending messages: How faculty influence professionalism teaching and learning

Lorraine Hawicka, Jennifer Clelandb and Simon Kittoc




도입 

Introduction


프로페셔널리즘은 의료행위의 근본적 교칙tenet이다. 프로페셔널리즘은 환자와 일반 대중에게 높이 평가되며 의사와 사회 사이의 사회적 계약의 기초를 형성한다(Cruess 2006). 전문직업성은 이제 전세계적으로 학부 및 대학원 의료 교육 프로그램의 연속적인 과정 전반에서 필수적인 요소로, 규제 기관과 인증 기관은 이를 핵심 역량으로 요구한다.

Professionalism is a fundamental tenet of medical practice; it is highly valued by patients and the general public and forms the basis of the social contract between doctors and society (Cruess 2006). Professionalism is now an integral component across the continuum of undergraduate and postgraduate medical training programs globally, with regulators and accrediting organizations requiring it as a core competency


지난 20년 동안 이러한 현상에 대한 관심이 높아져 왔으며, 다음에 대한 많은 연구들이 있다.

There has been increasing interest in this phenomenon over the past two decades, evident in the plethora of articles which debate: 

  • the importance of teaching medical professionalism (Cruess and Cruess 1997; Cruess et al. 2009); 

  • assessing professionalism (Epstein and Hundert 2002; Arnold 2002; Hodges et al. 2011); 

  • professional identify formation (Monrouxe 2010; Helmich et al. 2012; Cruess et al. 2014); 

  • the relationship between professionalism, medical ethics, and humanities (Doukas et al. 2013); and 

  • undergraduate faculty development (Steinert et al. 2005).


Cruess와 Cruess(2012년)는 이러한 문제를 해결하기 위해 전문직업성에 대한 합의된 정의가 필요하다고 제안하지만, 이러한 목표는 [의료 전문직업성에 대한 단일 인식이 없는 상태에서] 달성하기 어렵다.

Cruess and Cruess (2012) propose that an agreed definition of professionalism is necessary to address these issues, but this aim is difficult to achieve while there remains no single perception of medical professionalism


이러한 전문직업성에 대한 표준화된 관점의 결여는 혼란과 모호성을 유발한다(Hafferty and Castellani 2010; Hodges et al. 2011). 의과대학과 전문기관이 전문성에 대한 다양하고, 때로는 상반되는 정의와 해석을 제공하는 경우에 그렇다. 실제로, 전문직업성은 종종 [명확히 정의된 현상]보다는 전문적인 속성, 가치, 행동의 목록으로 제시하곤 한다. (Martimianakis et al. 2009; Wynia et al. 2014).

Moreover, this lack of a standardized perspective on professionalism sets a scene of confusion and ambiguity (Hafferty and Castellani 2010; Hodges et al. 2011), where medical schools and professional organizations provide varied, sometimes conflicting definitions and interpretations of professionalism – indeed, often presenting professionalism as a list of professional attributes, values, and behaviors rather than a clearly-defined phenomenon (Martimianakis et al. 2009; Wynia et al. 2014).


이러한 혼란 속에서 의료 교육자들은 학생들의 전문성 개발을 지원하고 평가하는 커리큘럼을 개발하고 전달할 것으로 예상된다(Monruxe et al. 2011; General Medical Council 2016). 수많은 연구들이 학생들의 의료 교육 및 훈련 의 경험들이 어떻게 그들의 전문직업성(즉, 받아들일 수 있는 행동과 가치관에 대한 인식)을 결정하는지를 조사했다(Howe et al. 2009; Karnieli-Miller 외 2010; 핀 외 2010; Monrouxe 외 2011; Al-Abdulrazzaq 외 2014) 

Amidst this confusion, medical educators are expected to develop and deliver curricula which support and assess the development of professionalism in students (Monrouxe et al. 2011; General Medical Council 2016). While numerous studies have examined how students’ experiences during their medical education and training determine their professionalism (i.e. their perceptions of what pass for acceptable behaviors and values) (Howe et al. 2009; Karnieli-Miller et al. 2010; Finn et al. 2010; Monrouxe et al. 2011; Al-Abdulrazzaq et al. 2014) 


전문성을 가르치고 평가하는 방법에 대한 방대한 문헌이 있다(이전 참조). 반대로 의학교육 문헌에는 전문성과 관련된 학습 과정에 영향을 미치는 조직 및 인력 인프라에 대한 관심을 탐구하는 출판물이 상대적으로 부족하다.

and there is a vast literature on the how to teach and assess professionalism (see earlier), conversely there is a relative lack of publications in the medical education literature exploring interest in the organizational and workforce infrastructure which influences the learning process related to professionalism.


전문직업성과 숨겨진 커리큘럼

Professionalism and the hidden curriculum


교직원이 학생들에게 전달하고 싶지 않은 가치관과 모범적 행동을 제정할 수 있는 교수진과 학생 사이의 직접적인 상호작용에 초점을 맞추기 보다는, 우리가 제안하는 분석 수준은 교수진이 [의도치 않게] 전문성 교육 및 학습의 내용과 중요한 과정에 어떻게 영향을 미칠 수 있는지 더 자세히 살펴볼 것이다.

Rather than a focus on direct interaction between faculty and students, where faculty may (albeit unconsciously) enact values and model behaviors which they do not want to pass on to students, the level of analysis we propose looks more at how faculty may unintentionally influence the content and overarching processes of professionalism teaching and learning. 


하플러와 동료들의 작업에서 이 잠재 교육과정의 영향을 볼 수 있다(Hafferty 1998). 예를 들어, 다음의 것이 잠재교육과정으로 영향을 준다.

  • 특정한 프로페셔널리즘의 정의의 채택함으로써,

  • 시간표에서 위치를 정함으로써,

  • 누가 전문성을 가르치고, 누가 전문성을 가르치지 않는가에 의해서,

따라서 전문직업성의 교수-학습이 어떻게 집행enact되는가는 의대의 역사와 구조, 그리고 그 학문적 교수진의 구성에 달려 있을 것이다.

Drawing on the work of Hafler and colleagues (2011) the influence of this hidden curriculum (Hafferty 1998) may be seen by, for example, the adoption of certain definitions of professionalism, by its positioning in the timetable, by who teaches professionalism, and who does not. How professionalism teaching and learning is enacted will thus depend upon the history and structure of the medical school, and the composition of its academic faculty.


따라서 전문직업성 커리큘럼의 시행implementation의 성패는 단순히 [전문직업성 그 자체의 정의적 명확성의 문제]가 아니라 [의학교육의 문화적, 구조적 시스템(숨겨진 커리큘럼)이 전문직업성(그리고 아마도 커리큘럼의 다른 부분)의 통합을 어떻게 중재하느냐의 문제]다.

Therefore, the success or failure of the implementation of professionalism curricula is not simply an issue of definitional clarity of professionalism itself, but a question of how the medical education cultural and structural system (the hidden curriculum) mediates the integration of professionalism (and perhaps other parts of a curriculum).


방법 Method


연구 설계 Study design


우리는 탐구적인 사례 연구 설계를 사용하여 하나의 영국 환경에서 의과대학 교육과정 개혁(CR)의 과정을 면밀히 조사하여 정성적인 연구를 실시했다. 사례연구는 "실생활의 맥락 안에서 동시대의 현상을 조사하는 경험적 조사"로 정의된다(1984년, 페이지 23). 사례 연구 접근방식을 사용하면 "어떻게"와 "왜" 유형 질문에 대답하고 전문성 통합과 관련된 복잡한 요인, 경험 및 관점을 CR의 일부로 풀 수 있었다.

We conducted a qualitative study, using an exploratory case study design to scrutinize the process of a medical school curriculum reform (CR) in one UK setting. A case study is defined as “an empirical inquiry that investigates a contemporary phenomenon within its real-life context” (Yin 1984, p. 23). Using a case study approach allowed us to answer “how” and “why” type questions and to untangle a complex set of factors, experiences, and perspectives related to integrating professionalism as part of a CR.


설정 Setting


이 연구의 배경은 영국의 주립 의과대학인 중간 규모(코호트당 약 170명)의 학생이었다. 그 학교의 의학의 역사는 길고 현저한 것이다. CR의 목적은 "전통적인" 방식의 커리큘럼 형식에서 벗어나 5년제 의료프로그램의 처음 2년은 이론과 과학에 기반하고 이후 3년은 임상적으로 보다 집중적인 방식으로, 시스템 기반 커리큘럼, 임상 및 기초의 통합에 중점을 두고 보다 혼합된 커리큘럼 프로그램을 지향하는 것이었다. 과학 교육, 학생 중심 학습, 강의 수 감소, 소규모 그룹 교육, 초기 임상 노출 및 사례 사용 증가.

The setting for the study was a medium-sized (approximately 170 students per cohort), state-funded medical school in the UK. The history of medicine at the school is a long and distinguished one. The aim of the CR was to move away from a “traditional” style curriculum format where the first two years of the five-year medical program were theory- and science-based and the subsequent three years were more clinically-focused, towards a more blended curriculum program with emphasis on a systems-based curricula, integration of clinical and basic science teaching, student-centered learning, fewer lectures, more small group teaching, and increased use of early clinical exposure and cases.


UMP, 즉 CR의 전달에는 다수의 주요 이해관계자가 참여하였다. 여기에는 해부학자, 생리학자, 생물의학 과학자, 가정의사(일반의사), 26개 임상 전문 분야의 병원 의사, 대학 직원 및 임상 직원이 포함되어 있어 시간 제한적인 Sessional 계약에 따라 CR을 지원하도록 보조되었다. 

A number of key stakeholders were involved in the delivery of the UMP, and hence the CR. They included: anatomists, physiologists, and biomedical scientists; family doctors (general practitioners); hospital doctors from 26 clinical specialities; university staff, and clinical staff seconded in to support the CR on time-limited sessional contracts. 


임상 배치와 강의는 대부분, 독점적이지는 않지만, 영국의 NHS(National Health Service)에 대규모 3차 진료 교습 병원(주 의과대학 캠퍼스에 공동으로 위치)을 포함하여 두 개의 지역 종합 병원, 소규모 지역 병원, 그리고 거의 100개의 가정의학 실습 등 여러 시설 내에서 distributed되었다. 

Clinical placements and teaching were, mostly, but not exclusively, distributed across the UK’s National Health Service (NHS) within a number of facilities including a large tertiary care teaching hospital (co-located on the main medical school campus), two district general hospitals, to smaller community hospitals and nearly 100 family medicine practices.


영국의 모든 의과대학과 마찬가지로, 개혁중인 프로그램은 GMC의 규제를 받았으며 지금도 여전히 규제되고 있다. GMC는 졸업 의대생에게 요구되는 학습 성과와 의대생에게 학습 기회를 가르치고 평가하고 제공할 때 의대가 반드시 충족해야 하는 기준을 정한다(General Medical Council 2003).

As with all medical schools in the UK, the program under reform was, and still is, regulated by the General Medical Council (GMC). The GMC sets the learning outcomes required of graduating medical students and the standards that medical schools must meet when teaching, assessing, and providing learning opportunities for medical students (General Medical Council 2003).


자료 수집 Data collection


우리는 두 가지 데이터 수집 방법, 즉 지역 보관 문서와 반구조적 인터뷰 방법을 사용했다. 이러한 삼각측량 접근법은 서로 다른 데이터 출처와 방법을 사용하여 수렴과 확증을 도모하는 수단이었다(Denzin 1978). 이러한 방식으로 데이터를 삼각측량함으로써, 우리는 "신뢰credibility를 낳는 증거의 합치" (Eisner 1991년, 페이지 10)를 제공하려고 시도했고, 우리의 발견이 하나의 방법의 인공물이 되는 것을 경계했다(Patton 1990).

We used two data collection methods – local archived documents and semi-structured interviews. This triangulated approach was a means of seeking convergence and corroboration through the use of different data sources and methods (Denzin 1978). By triangulating data in this way, we attempted to provide “a confluence of evidence that breeds credibility” (Eisner 1991, p. 10) and guard against our findings being an artifact of a single method (Patton 1990).


인터뷰에 필요한 관련 개인, 특히 CR 계획 및 프로세스에 대한 지식과 이해를 갖춘 개인(Creswell 2013)을 식별하기 위해 의도적 표본 추출 전략(Creswell 2013)을 사용했다.

we used a purposive sampling strategy (Creswell 2013) in order to identify relevant individuals for interview, specifically those who had knowledge and understanding of the CR plans and processes (Creswell 2013).


우리는 CR의 계획과 실행을 감독할 전략적 책임이 있는 중앙 기구인 CRSG(Curriculum Reformation Steering Group)의 모든 구성원을 의도적으로 겨냥했다. 다양한 소규모 운영 커리큘럼 개발 하위 그룹은 CRSG 회원이 주도하고, CRSG에 참여하며, CRSG에 책임을 졌다.

We purposively targeted all members of the Curriculum Reform Steering Group (CRSG): the central body with strategic responsibility for overseeing the planning and implementation of the CR. Various smaller operational curriculum development sub-groups were led by CRSG members, fed into, and were accountable to the CRSG.


자료 분석 Data analysis


전사 인터뷰의 데이터 코딩 및 분석은 귀납적이었으며, 주제 분석을 사용하여 초기 코딩 체계를 생성했으며, 데이터에서 테마와 패턴을 찾았다(Braun 및 Clarke 2006). 첫 인상과 생각을 기록하기 위해 예비 이론적 메모와 메모가 만들어졌다. 그런 다음 서로 다른 코드가 어떻게 관련되고 연결되었는지에 따라 코드는 범주로 분류되었다. Emergent categories는 코드를 구성하고 의미 있는 클러스터로 그룹화하기 위해 사용되었다(Patton 2002). 우리가 포화 상태에 이를 때까지(즉, 새로운 코드나 테마가 생성되지 않았다) transcript의 분석은 반복적이었다. 테마를 파악하고 추가적인 논의를 거쳐서, 우리는 예비 주제분석을 넘어, 이 교육과정 개혁의 맥락 안에서 전문성의 주제가 어떻게 해석되고, 형성되고, 영향을 받고 있는지를 비판적으로 분석하는 보다 방향적인 접근방식으로 나아갔다.

Data coding and analysis of transcribed interviews were inductive, using thematic analysis to generate an initial coding scheme, looking for themes and patterns in the data (Braun and Clarke 2006). Preliminary theoretical notes and memos were made to record first impressions, and thoughts. Codes were then sorted into categories based on how different codes were related and linked. Emergent categories were used to organize and group codes into meaningful clusters (Patton 2002). Analysis of transcripts was iterative until we achieved saturation (i.e. no new codes or themes were generated). After the identification of themes and following further discussion, we moved beyond preliminary thematic analysis to a more directed approach to critically analyze how the subject of professionalism within the context of this curriculum reform was being interpreted, shaped, and influenced.


인터뷰 데이터의 emergent theme를 guide로 하여, 여러 문서를 directed content analysis하였다(Hieh and Shannon 2005). 이를 통해 인터뷰 데이터를 맥락화하고 상세히 설명하고, 본 CR에 프로페셔널리즘을 포함시키는 것과 관련된 의미와 이해의 다양성을 조명하고 통찰력을 제공하고자 하였다. 


마지막으로, 우리는 새로운 주제를 식별했고 예시 자료와 예시를 강조했다.

Guided by emergent themes from the interview data, documents were then subjected to a directed content analysis (Hsieh and Shannon 2005), in order to contextualize and elaborate on the interview data (Bowen 2008) and to illuminate and give insight into diversity of meanings and understandings related to the inclusion of professionalism within this CR. Finally, we identified emergent themes and highlighted illustrative data and exemplar quotations.


Rigour는 여러 가지 방법으로 보장되었다(2009년 왕). 모든 인터뷰는 연속성을 보장하기 위해 첫 번째 저자(LH)가 맡았다(Weaver et al. 2011). 우리는 데이터와의 포지션 및 관계를 지속적이고 비판적으로 고려했다(McMillan 2015).

Rigour was ensured in a number of ways (King 2009). All interviews were undertaken by the first author (LH) to ensure continuity (Weaver et al. 2011). We considered our positions and relationships with the data continually and critically (McMillan 2015);


예비 데이터 분석은 연구팀 외부의 사회과학자 및 의학 교육자들과 공유되고 논의되어 연구 결과가 신뢰할 만하고 타당해 보이는지 탐구하였다.

Preliminary data analysis was shared and discussed with social scientists and medical educators outside the research team to explore if the findings seemed credible and reasonable.


결과 Results


전문성 교육이 커리큘럼에 있어야 한다는 인식

Recognition that professionalism teaching must be in the curriculum


영국에서, 학부 의학교육 규제기관은 전문성과 그것을 가르치는 것이 앞으로 진행되는 커리큘럼에서 더 명백해야 한다고 강조해왔다. 이는 특히 CRSG 월례 회의의 분 단위로 CR 보관 문서에 명확히 반영되었으며, CR 계획 이벤트에서 작성한 메모와 조치 사항을 기록하였다. 이 문서들은 의대 경영진으로부터 전문직업성 주제가 교육과정 전반에 걸쳐 운영되어야 한다는 광범위한 동의를 보고 받았다.

In the UK, the regulator for undergraduate medical education had emphasized that professionalism and the teaching of it should be more explicit in curricula going forwards. This was reflected clearly in CR archived documents, specifically in minutes from CRSG monthly meetings, and scribed notes and action points from CR planning events. These documents reported widespread agreement from medical school management that a professionalism theme should run throughout the curriculum.


한 CRSG 문서는 전문직업성을 "요즘 의학교육 모임에서 뜨거운 화두로 삼고 있으며, 이를 적극적으로 가르치거나 배워야 한다는 견해가 널리 퍼져 있으며, '삼투osmosis'에 의해 그런 일이 일어나기를 바라는 것만으로는 충분하지 않다"고 설명했다. 이는 교육적 과제지만 그럼에도 불구하고 고려할 가치가 있다."

One CRSG document described professionalism as “a hot topic at Medical Education meetings these days and there is a widespread view that it should be actively taught/learned and that hoping it happens by ‘osmosis’ is not enough. This is an educational challenge, but is nevertheless worth consideration”


이런 '교육적 도전'이 인터뷰 자료에 반영됐다. 전문직업성을 통합하는 것이 straightforward하지 않고, 특히 전문직업성이 무엇을 의미하는지 이해하고, 그것을 어떻게 평가하고, 그것을 어떻게 진전시킬 것인가 하는 측면에서 약간의 생각과 노력이 필요할 것이라는 우려가 많았다.

This “educational challenge” was reflected in the interview data. There was much concern that integrating professionalism would not be straightforward and would require some thought and effort, specifically in terms of understanding what is meant by professionalism, then how to assess it and how to move it forwards.


참여자들은 전문직업성이 교육과정에 있어 식별가능한 정도로 있어야 한다는 점을 인정하면서도 "학생들이 (과거에는) 일관성 있는 주제로 보지 않았는데, 우리는 일관성 있는 주제로 보지 않는 것 같다"는 우려의 목소리도 있었다. 그래서 우리도 아마 그걸 전달하고 있을 겁니다. 분명히 고의는 아니다." (PA5)

While participants accepted that professionalism had to be discernible in the curriculum, there were also concerns that there was a history of this not being done well in the past locally: “students [had not seen] it as a coherent theme [in the past] and I don’t think we see it as a coherent theme? So we’re probably communicating that as well. Not on purpose obviously” (PA5).


프로페셔널리즘이 무엇이고 프로페셔널리즘을 포함할 방법을 이해

Understanding what professionalism is and how to include it


인터뷰 내내 참가자들은 프로페셔널리즘이 무엇인지에 대한 불확실성, 즉 프로페셔널리즘을 가르치고 평가하는 방법에 대해 일관되게 서술했다.

Throughout the interviews, participants consistently narrated uncertainty about what professionalism was, and thus how to teach and assess it.


[전문직업성을 교육과정에 포함시켜야 한다는 인식]과 [전문직업성 개념에 대한 명확성이 결여된 점]을 감안할 때 전문성을 어떻게 해야 할지 모른다는 인식 사이에는 긴장감이 감돌았다. 이와는 대조적으로, [보관된 CR 문서는 확실성과 약속의 그림]인 다른 그림을 그렸다. 이에 대해 구체적으로 결정된 사항에 대해 수많은 CR 실무그룹 회의가 보고되었다. 예를 들어 개인 및 전문성 개발(PPD) 스레드의 구조에 대한 제안(전문성 교육이 상당 부분 전달될 경우)은 다수의 CRSG 회의와 CR 실무 그룹 의제에서 늘 등장하는 항목이었다. 이들 회의의 의사록은 각 임기 내에 전문직업성 요소가 포함될 것이라고 강조했다.

There was a tension between recognition that professionalism should be included in the curriculum – but not knowing how to do so, given the lack of clarity about the concept of professionalism. In contrast, archived CR documents painted a different picture; one of certainty and commitment. Numerous CR working group meetings reported on decisions being made specifically about this. For example, the proposal for the structure of a Personal and Professional Development (PPD) thread (where a large proportion of professionalism teaching would be delivered) was a standing item on multiple CRSG meetings and CR working group agendas. Minutes from these meetings emphasized that a professionalism component would be embedded within each term.


그러나, 보관된 문서들은 또한 학부 과정 전반에 걸쳐 스레드로 운영될 전문직업성에 대한 새로운 계획을 옹호하는 것과 이를 위한 자원과 시간표 공간의 사용에 대한 걱정 사이에서, 특히 [아래 학년 교육과정에서의 불안감]이 심했다. CRSG와 새로운 커리큘럼을 개발하는 사람들은 (회의 몇 분 만에) 직원 자원과 시간표 시간에 대해 교수진에게 주의를 기울이도록 기록되었다. 비록 원래 전문직업성 교육을 위해 보호된다고 생각되었지만, (다른 과목의 교육에 필요했기에) 이 자원의 상당 부분은 원래 계획했던 대로 진행되지는 않을 것이다.

However, the archived documents also exposed an added tension between advocating new plans for professionalism to run as a thread throughout the undergraduate course and anxieties about availability of resource and timetable space for this, particularly in the junior years curriculum. The CRSG and those developing the new curriculum were noted (in minutes from meetings) to caution faculty about staff resource and timetable time; although originally thought to be protected for professionalism teaching, much of this resource would not transpire as had been originally planned as it was instead required for other teaching.


CRSG 회의록과 프로페셔널리즘(Professional)의 보관 파일에 대한 (당시) 리드도 코스 주니어 기간 내내 프로페셔널리즘 평가를 위한 형식과 일정을 상세히 기술했다.

The CRSG minutes and the (then) lead for Professionalism’s archived files also described in detail the format and timelines for the assessment of professionalism, throughout the junior years of the course in particular.


우선순위 및 가치 있는 것

Priorities and what is valued


인터뷰 데이터 전반에 걸쳐 일관된 주제는 [전문직업성이 [임상 의학이나 확립된 교육 주제(앞부분 참조)]보다 덜 구체적이고 이해하기 어려운 것]으로 인식된다는 것이었다. 그 결과 CR을 이끄는 사람들은 익숙한 커리큘럼의 측면에 주의를 집중했다.

A consistent theme throughout the interview data was that professionalism was perceived as less concrete and more elusive than clinical medicine or established teaching topics (see earlier). A consequence of this was that those leading the CR focused their attention on aspects of the curricula with which they were familiar.


"…우리는 [프로페셔널리즘]을 약간 소외된 것으로 취급했다. 그리고 [개혁이 필요한 다른 분야]에 막대한 시간과 노력을 쏟았다 … 부분적으로는 우리가 무엇을 해야 할지 잘 모르기 때문이기도 하다… 우리에게는 많은 시간이 필요한 것 같다. 매우 어려운 일이다. 우리는 우리가 할 줄 아는 일을 하는 경향이 있었다. 우리는 [다른 분야]에 많은 시간과 자원, 노력을 할애했고, 그보다는 덜 구체적이고 더 까다로운 일에 할애했다." (PA3)

“…We treated [professionalism] like it was a little aside thing. And devoted a huge amount of time and effort to [other areas requiring reform] … Partly that’s because we were not quite sure what to do… I think it needs quite a lot of our time… it’s very challenging to do… we tended to do what we knew how to do… we devoted lots and lots of time and resource and effort to [other areas] and less to this, less tangible, more tricky thing” (PA3)


조직 문제 - 설득력 있는 리더십 부재

Organizational issues – lack of convincing leadership


새 교육과정에 전문직업성을 포함시키는 것이 중요하고 필요하다는 인식은 있었지만, [필요성을 인정하여 무엇이 수반될 것인지를 받아들이는 것]과 [에 따라 요구되는 리더십을 수용하는 것] 사이에는 괴리가 크게 있었다.

While there was recognition that it was important and necessary to include professionalism in the new curriculum, there was major dichotomy between this acknowledgment, accepting what this would involve and the subsequent leadership it would require.


위의 인용문에서도 알 수 있듯이, CR 내의 전문성 교육 개발을 누가 주도할 것인가에 대한 선택이 중요했다. 이를 추진하기 위해 임명된 지도자는 경험이 없거나 교직원이 아니어서 신뢰성이 부족했다. 게다가, 전문직업성 교육을 위한 프로그램을 개발하기 위해서는 헌신적인 팀이 필요했지만, 이에 대한 책임은 오직 한 사람에게만 할당되었고, 그들은 다른 경쟁적인 요구를 가지고 있었다.

As the quote above illustrates, the choice of who would lead the development of professionalism teaching within the CR was important. The leader appointed to take this forward was neither experienced or a senior member of faculty and thus lacked credibility. Moreover, to develop a program for professionalism teaching required a committed team, yet the responsibility for this was assigned to only one individual, who had other competing demands on their time.


그는 "우리는 제대로 된 리더십을 보여주지 못했다"면서 "리더십이 제대로 진행되지 않았거나 성공하지 못한 데는 자원 문제가 있었다"고 말했다. 그 사람은 그때 다른 할 일이 있어서 일을 어렵게 만든다."(PA6)

“We probably didn’t show the right leadership, with it … there was a resource issue, in terms of leadership that probably was quite key in why it didn’t progress, or become so successful. That person then had other things to do and that makes things difficult” (PA6)


특히 적절하고 신뢰할 수 있는 리더십의 부재에 대한 우려와 관련하여 참가자들의 성찰에 대해 주목할 만한 점은, 이는 [CR의 전문직업성과 관련된 문서, 보고서, 제안서 내의 서술과 배치된다는 점]이다. 참가자들의 입장에서 보면 전문직업성 교육이 제대로 작동하지 않고 교육과정에 잘 번역되지 않은 근본적인 이유 중 하나는 [적절한 리더십 부재였다]. 단, 보관된 파일에는 의대 교수진 및 보건서비스 동료에게 전문성 교육 계획을 전달하는 전략, 교육에 포함할 주제, 특히 전문성 평가 계획 등이 기술되어 있다.

What is striking about participants’ reflections, in particular in relation to their concerns about lack of appropriate and credible leadership, is that this contradicts the narrative within the archived documents, reports, and proposals related to the professionalism strand of the CR. From the perspective of the participants, one of the fundamental reasons why professionalism teaching did not work and did not translate well in to the curriculum was due to lack of appropriate leadership. Yet, the archived files describe: a strategy to communicate plans for professionalism teaching to medical school faculty and health service colleagues, topics to include in the teaching, proposals for timetables throughout the junior year’s course in particular, and plans for the assessment of professionalism.


둘째, CRSG와 소규모 실무그룹 회의의 회의록에서는 적절한 지도자에 대한 요구사항이 재조명되었다. 그러나 참가자의 의견과 마찬가지로 [지도자는 명목상으로만 있지, 실제 권한이 없을 것이라는 우려]가 있었다. 이는 기간 1 서브그룹 회의에서 다음과 같이 보고되었다. "이 구성요소에 대한 수치표가 식별되고 명확한 교육 계획이 도출될 것으로 주목되었다."(기간 1 서브그룹 회의록).

Secondly, minutes from CRSG and smaller working group meetings recounted the requirement for an appropriate leader. However, similar to participant comments, there was a suggestion that the leader would be in name only and without any real authority. This was reported in a Term One Subgroup meeting as: “It was noted that a figurehead for this component would be identified and a definite plan for teaching would be produced” (Term One Subgroup meeting minutes).


인터뷰 데이터는 직원들이 전문직업성을 이해하고 과목으로 통합하는 데 실패했음을 깨달았으며, 돌이켜 보면 다음과 같이 후회하고 있음을 보여주었다.

The interview data demonstrated that staff realized they had failed to understand and incorporate professionalism as a subject, and – in retrospect – regretted not doing so:


이 마지막 인용구는 전문직업성 교육을 이 특정 CR에 통합하는 것이 어려운 것은 [교차하는 다수의 리더십]과 [가치관 문제] 때문이었다고 요약한다. 전문성은 설득력 있는 리더십이 부족하다는 측면에서 '적절하게' 대처하지 못했다. 이것은 적절하고 숙련된 교수진의 부족에 의해 더욱 복잡해졌다. 게다가, 이전 교육과정에서는 과목으로서의 전문성이 제대로 표현되지 못했기 때문에 지원 맥락, 기존 시간표 시간, 더 많은 시간/자원을 위해 싸우는 강한 팀이 없었다.

This last quote summarizes that the difficulty of incorporating professionalism teaching into this particular CR was due to a number of intersecting leadership and values issues. Professionalism was not “tend(ed) to properly” in terms of lacking convincing leadership. This was further compounded by a paucity of appropriate, skilled faculty. Furthermore, professionalism as a subject had been poorly represented in the previous curriculum so there was no supporting context, existing timetable time, nor a strong team fighting for more time/resource.


고찰 Discussion


우리는 교육과정에 전문직업성의 통합하려는 시도가 성공적이지 못한 맥락에서 보고한다. 그 이유는 복잡했다. 교수들은 규제 기관으로부터 전문성이 중요하다는 말을 들었으나 이를 교과과정에 어떻게 시행해야 하는지에 대한 안내는 받지 않았다. 구(이전) 교육과정에 프로페셔널리즘이 전혀 표현되지 않았기 때문에 프로페셔널리즘이 의미하는 바를 개념화하려고 애쓰는 교수진들도 프로페셔널리즘을 어떻게 가르치고 평가해야 하는지를 참조할 것point of reference가 없었다. 주제로서의 전문성이 리더에게 이를 추진해야 한다는 공감대가 형성됐지만, 이 과제는 권력 기반이 낮은 개인에게 배정됐다. 이 지도자는 교육과정에 전문성을 통합하기 위한 세부 계획을 수립했으나 채택되지 않았다. 다른, 더 친숙한 주제들은 더 높이 평가되고 우선순위가 결정되었다.

We report on a context where the integration of professionalism into a curriculum was less than successful. The reasons for this were complex. Faculty were told by the regulator that professionalism was important but given no guidance on how to implement this into the curriculum. Professionalism was not represented at all in the old (previous) curriculum, thus no point of reference for faculty who struggled to conceptualize what was meant by professionalism, and hence how to teach and assess it. While there was consensus that professionalism as a subject required a leader to take it forwards, this task was assigned to an individual with a low power base. This leader produced detailed plans for integrating professionalism into the curriculum but these were not adopted. Other, more familiar topics were more highly valued and prioritized.


이러한 특정한 맥락 안에서 전문직업성 번역translation의 실패는 숨겨진 커리큘럼의 개념으로 조명되고 설명될 수 있다. 숨겨진 커리큘럼은 [조직 구조와 문화의 수준에서 기능하는 영향의 집합]으로 설명된다(Hafferty 1998). 형식적이고 비공식적인 교육 관행을 통해 전달되지만 공공연하게 인정되지는 않는 문화적 가치, 행동, 전통을 가리킨다(Hafferty 1998). 의학교육 측면에서는 숨겨진 커리큘럼 메시지가 커리큘럼 설계, 자원 배분(예: 시간표 공간, 직원 임명, 책임)과 같은 조직적 특징으로 표현된다. 더욱이 의과대학이 새로운 시책을 선언하거나 새로운 정책을 전개할 때, 그 기관이 중요하게 여기는 것과 중요하지 않다고 여기는 것에 대한 (숨겨진) 메시지가 지역사회 전체에 퍼지고 있다(Hafferty 1998).

Failure of the translation of professionalism within this particular context can be illuminated and explained by the concept of the hidden curriculum. The hidden curriculum is described as a set of influences that function at the level of organizational structure and culture (Hafferty 1998). It refers to cultural values, behaviors, and traditions that are transmitted, but not openly acknowledged, through formal and informal educational practices (Hafferty 1998). In terms of medical education, hidden curriculum messages are expressed in organizational features such as curriculum design; the distribution of resources (e.g. timetable space, staff appointments, and responsibilities). Moreover, when a medical school declares a new initiative, or develops new polices, (hidden) messages are being disseminated throughout the community about what the institution considers important or not important (Hafferty 1998).


하플러와 동료들의 연구(2011년)는 교수진들이 "자기자신의 숨겨진 커리큘럼에 주체이자 객체"라는 것을 시사한다(441쪽). 게다가, 교수진들은 종종 그들의 역할과 책임에 대해, 무엇이 가치 있는지에 대한 상반된 메시지를 경험하지만, 현실에서는 중요하지 않은 것처럼 나타난다. 따라서, 교수는 숨겨진 교육과정의 중요한 전달자vehicle가 될 수 있다; 교직원은 교수 위원회에 참여하고 동료들과 그들의 기관 내의 다른 사람들과의 상호작용을 통해 숨겨진 교과과정을 전파하는 것이다. 결과적으로, 교수진은 리더십과 다양한 제도적 위원회에 대한 의견을 통해 다른 교수진의 잠재 교육과정에 영향을 미친다(Thompson et al. 2014). 경험적 데이터를 사용함으로써, 우리의 연구는 이것에 대한 우리의 이해를 발전시킨다. 본 연구에서 보았던 바와 같이, 일부 시니어 교수들은 (비)의도적으로 전문직업성이 "평가절하가 영속"되도록 만들 수 있었다(Thompson et al. 2014, 페이지 220).

The work of Hafler and colleagues (2011) suggests that faculty are “both subject to and are active participants, in their own hidden curriculum” (p. 441). Moreover, faculty often experience conflicting messages about their role and responsibilities, about what is believed to be valued, yet in reality emerges as not important. Thus, faculty can be an important vehicle of the hidden curriculum; spreading the hidden curriculum through their participation on faculty committees and interactions with colleagues as well as others in their institution. In turn, faculty influence the hidden curriculum for other faculty through their leadership and opinions on various institutional committees (Thompson et al. 2014). By using empirical data, our study advances our understanding of this. As was seen in our study, some senior faculty were able to (un)intentionally “perpetuate the devaluation” of professionalism as a subject (Thompson et al. 2014, p. 220).


우리의 연구결과는 교수진들이 전문직업성이 내부(지역적 맥락)에서 어떤 모습이어야 하는지를 이해하기 위해 외부(문헌, 규제기관)를 탐색하고 있다는 것을 보여주었다. 즉, 교육과정 내에서 무엇을 설계하고 작업해야 하는지, 그리고 어떻게 현지적으로 운영해야 하는지를 파악하고자 하는 것이었다. 원하는 이해와 지침은 제공되지 않았거나 접근 및 조치가 가능한 방식으로 제공되지 않았다.

Our findings demonstrated that faculty were searching outside (the literature, the regulator) for an understanding of what professionalism should look like on the inside (the local context). In other words, they were searching to understand what they should design and work towards within their curriculum, and how to operationalize it locally. This desired understanding and guidance was not available – or was not available in a way which they could access and action.


잠재 교육과정의 렌즈를 통해 보면, 우리의 분석은 전문성을 UMP로 번역하고 통합하는 데 실패했음을 보여준다. 그러나 전문직업성과 관련된 잠재 커리큘럼은 지역적 맥락에 국한되지 않으며, 오히려 세계적인 문제이다(Martimianakis et al. 2009; Karnieli-Miller 외 2011; Cruess and Cruess 2014). (사실 전문성은 잠재 교육과정이 UMP 활동의 실행을 방해하고 영향을 미칠 수 있는 한 가지 예에 지나지 않을 수 있다.)

Viewed through the lens of the hidden curriculum, our analysis demonstrates a failure to translate and integrate professionalism into an UMP. However, the hidden curriculum associated with professionalism is not isolated to local contexts, rather it is a global issue (Martimianakis et al. 2009; Karnieli-Miller et al. 2011; Cruess and Cruess 2014). (Indeed professionalism may be just one example of how the hidden curriculum can influence and perhaps hinder the implementation of UMP activities.)


이러한 인식을 감안할 때, 잠재 교육과정이 흐트러지지 않도록 하기 위한 수단으로 지식번역(KT) 분야가 유용할 수 있다. KT는 증거, 이론 또는 연구가 효과적인 행동으로의 전환을 가속화하는 방법을 이해하는 것을 목표로 한다(Menear et al. 2012). 간단히 말해서, 그것은 실무 환경에서 "알고 있는 것"과 "현재 행해지고 있는 것" 사이의 간격을 메우고 궁극적으로 지식에서 행동으로 이어지는 프로세스를 보다 효과적으로 만드는 데 도움이 되도록 하는데 사용된다.

Given this awareness, the field of Knowledge Translation (KT) may be useful as a means of ensuring the hidden curriculum does not distract. KT aims to help us to understand how to accelerate the shift of evidence, theory or research to effective action (Menear et al. 2012). Put simply, it is used to help bridge the gap between “what is known” and “what is currently done” in practice settings (Davis et al. 2003) and ultimately making the knowledge-to-action process more effective.


이 프레임워크는 현재 연구에서 확인된 문제들 중 몇 가지를 설명하는 데 도움이 된다: 지역적 맥락에서 일하는 사람들이 어떤 것(이 경우 프로페셔널리즘)이 무엇인지에 대한 명확한 아이디어가 없는데 어떻게 실천에 옮길 수 있는가? 의료 교육 및 훈련에서 [하나의 표준적 정의를 가짐으로써] 전문직업성이 무엇인지 아는knowing 것은 교육 계획에 도움이 될 수 있다. 그러나, 이것이 가능하다 하더라도, CR에 관한 더 넓은 문헌에서 볼 수 있듯이, 지역적 기준에 따라 다양한 맥락에서 다르게 번역될 것이다(Jippes and Majoor 2008; Cleland et al. 2015; Frambach et al. 2012; Cleland et al. 2015).

This framework helps to explain some of the issues identified in the current study: how can those working in local contexts put something (in this case, professionalism) into action in practice when they do not have a clear idea of what the something (professionalism) is? “Knowing” what professionalism is, by having one standard definition of professionalism within medical education and training, may help to educational planning. However, even if this was available, it would be translated differently in diverse contexts according to localized criteria, as can be seen in the wider literature on CR (Jippes and Majoor 2008; Cleland et al. 2015; Frambach et al. 2012; Cleland et al. 2015).


이 연구는 커리큘럼과 교육 개입이 실제로 맥락, 문화, 의도하지 않은 의도적인 메시지 및 직원/직원의 새로운 특성에 의해 많은 영향을 받는다는 것을 밝혔다. 커리큘럼 의사결정자, 교수진 및 핵심 이해당사자들과의 참여engagement는 전문직업성과 같은 주제의 의사결정과 구현에 협력적이고 참여적인 접근방식을 필요로 할 것이다(Lapaige 2010). 이는 차례로 다양한 관점, 동기 및 우선순위를 조명하고 인정하는데 도움이 될 것이다(Kotari et al. 2013).

This study revealed that curricula and educational interventions are indeed heavily influenced by context, culture, intentional, and unintentional messages and the emergent characteristics of staff/faculty. Engagement with (and between) curriculum decision makers, faculty, and key stakeholders will require a collaborative and participatory approach to decision making and implementation of subjects like professionalism (Lapaige 2010). This in turn will help to illuminate and acknowledge various viewpoints, motivations, and priorities (Kothari et al. 2013).


따라서 효과적인 KT를 위한 교육 프로그램과 실천 전략을 개발하기 위해서는 [특정 맥락이 변화에 준비가 되어 있는지 확인하기 위해] (변화를) 활성화하거나 억제할 수 있는 맥락적 요인에 대한 면밀한 평가가 필요하다. 문화적, 구조적 장애를 인정하는 KT는 교육자들이 반사적이고 지속적으로 이러한 숨겨진 교육과정 문제가 발생할 것이라고 생각하는 다른 많은 의료교육 환경에 적합할 구현에 대한 지역적이고 실용적인 해결책을 제공한다(Thomas et al. 2016).

Therefore, developing strategies for effective KT into education programs and practice thus requires careful assessment of contextual factors that may enable or inhibit (Onyura et al. 2015), in order to ensure that the particular context is ready for change. A KT that acknowledges cultural and structural impediments offers a localized and practical solution to implementation which will be relevant in many other medical education settings, whereby educators are reflexive and constantly thinking that these hidden curriculum issues are going to arise (Thomas et al. 2016).


우리의 연구는 Cruess와 Cruess(2006)의 권고에 공명하며, 숨겨진 교과과정에 의해 나타나는 문제들을 다루기 위해, 전문직업성의 교육은 다음을 필요로 한다는 것을 경험적으로 증명한다. 

  • 강력한 제도적 헌신, 

  • 상급 교수진/직원의 적극적인 참여 

  • 교육 과정 전반에 걸쳐 교육을 지원할 존경 받는 프로그램 리더의 임명

Our study resonates with the recommendations of Cruess and Cruess (2006) and empirically demonstrates, that to address the issues manifested by the hidden curriculum, the teaching of professionalism requires: 

  • a strong institutional commitment, 

  • active participation of senior Faculty/Deans, and 

  • the appointment of a respected program leader to support the teaching throughout the continuum of the educational process. 


교육 과정 전반에 걸친 교육 전문성의 주체가 중요하다는 메시지를 전달하기 위해서는 이것이 필수적이다. 교수개발에 대한 헌신도 교수진들이 전문성을 가르치는 데 필요한 지식과 기술을 갖도록 하는 데 중요하다; 그들은 문헌과 일치하는 정의에 합의하기 위해 (그리고 프로그램 리더들과) 함께 일해야 한다.

This is essential, in order to send the message that the subject of professionalism is important. A commitment to faculty development is also crucial to ensure that faculty have the necessary knowledge and skills to teach professionalism; they must work together (and with program leaders) to agree on definitions which align with the literature.


장점과 한계

Strengths and limitations


후향적 면접은 교육 실무의 변화 과정에 대한 이해에 기여할 수 있는 인정된 지식 구축 방법이지만(Whitehead and McNiff 2006; Gardner and MartinJones 2012), 후향적 방법은 시간이 흐르면서 사라지는 응답자들의 기억을 근거로 비판받고 있다. 이 문제를 해결하기 위해, 우리는 리콜을 돕기 위해 정확한 프롬프트를 사용했다. 연구와 데이터에 대한 우리 자신의 입장을 끊임없이 고려했다(Berger 2015). 이러한 반사성은 모든 인터뷰를 실시하여 인터뷰 데이터를 공동 구성한 LH에게 특히 중요했다. 이를 해결하기 위해 정기적으로 연구 자료와 관련하여 우리의 입장과 가능한 편견을 모니터링하고 다른 동료들로부터 비판적인 피드백을 구했다.

Although the retrospective interview is an accepted method of knowledge construction which can contribute to the understanding of processes of changes in educational practice (Whitehead and McNiff 2006; Gardner and MartinJones 2012), retrospective methods are criticized on the grounds of respondents' memories fading with time. To address this, we used precise prompting to aid recall (Livson and McNeill 1962). We constantly considered our own positions in relation to the study and the data (Berger 2015). This reflexivity was particularly important for LH, who conducted all the interviews and hence co-constructed the interview data. To address this, we regularly monitored our stance and possible biases in relation to the study material, and sought critical feedback from other colleagues.


마지막으로, 이것은 하나의 맥락에서 질적인 사례 연구다. 그러나, 우리는 숨겨진 커리큘럼의 개념 렌즈(Hafferty 1998)를 사용하여 교육자들이 왜 그런지 이해하기 위해 고군분투하고 있는 다른 지역적, 세계적 맥락에 대한 개념적 일반성과 전달성의 커리큘럼 보조프로그램(Eaton 1921; Kitto et al. 2008)에 프로페셔널리즘이 어떻게 통합되었는지(또는 어떻게 통합되지 않았는지)을 탐구한다고 믿는다. 전문성 교육 및 평가를 시행하기 위한 그들 자신의 노력이 도전받는다. 전문직업성은 잠재 교육과정의 영향을 받는 학부 의학 프로그램의 한 측면에 불과할 수 있다.

Finally, this is a qualitative case study in one context. However, we believe that using the conceptual lens of the hidden curriculum (Hafferty 1998) to explore how professionalism was (or was not) incorporated into a curriculum aids in the conceptual generalizability and transferability (Eaton 1921; Kitto et al. 2008) to other local and global contexts where educators may be struggling to understand why their own efforts to implement professionalism teaching and assessment are challenged. Professionalism may be just one aspect of an undergraduate medical program that can be influenced by the hidden curriculum.






. 2017 Sep;39(9):987-994.
 doi: 10.1080/0142159X.2017.1337271. Epub 2017 Jun 16.

Sending messages: How faculty influence professionalism teaching and learning

Affiliations 

Affiliations

  • 1a School of Medicine, Medical Sciences and Nutrition , University of Aberdeen , Aberdeen , UK.
  • 2b Centre for Medical Education Research & Innovation , Institute of Education for Medical and Dental Sciences, University of Aberdeen , Aberdeen , UK.
  • 3c Department of Innovation in Medical Education , University of Ottawa , Ottawa , Canada.

Abstract

Background: Ambiguity in understanding what "professionalism" means, and uncertainty in how best to teach it, remains. This study aimed to explore experiences of senior faculty in their endeavor to develop and include professionalism within a curriculum reform (CR), and illuminate challenges encountered.

Methods: Using a qualitative case study approach, data were collected from interviews with faculty who were involved in a major CR, plus archived document analysis to provide context, and aid triangulation. Data coding and analysis were inductive, using thematic analysis to generate initial coding scheme; exploring themes in the data.

Results: Seventeen interviews were undertaken and approximately 90 documents were reviewed. Analysis revealed: faculty may unintentionally influence, through mixed messages and hidden meanings, the content and processes of professionalism teaching and learning. We identified several intersecting tensions related to the nature of the existing curriculum, staff knowledge, resources, and lack of clear guidance about the "what and how" to teach professionalism.

Conclusion: This study illustrates, hidden messages and contextual factors can enable or inhibit the translation of professionalism into curricula. Those involved in implementing professionalism must be reflective, keep the "hidden curriculum" in the spotlight to consider how presuppositions and prejudices of their cultural milieu may shape curricular outcomes.


전환 학습: 이론에서 실천까지(New directions for adult and continuing education, 1997)

Transformative Learning: Theory to Practice

Jack Mezirow




인간이 되는 것의 결정적인 조건은 [우리가 경험의 의미를 이해해야 한다는 것]이다. 어떤 사람들에게는 권위 있는 인물에 의한 어떤 [비평가적으로 동화된 설명]으로 충분할 것이다. 그러나 현대 사회에서 우리는 다른 사람들의 목적, 신념, 판단, 감정에 따라 행동하기보다는 [우리 자신의 해석을 하는 법]을 배워야 한다. 그러한 이해를 촉진하는 것이 성인 교육의 기본 목표다. 변혁적 학습은 자율적 사고를 발전시킨다.

A defining condition of being human is that we have to understand the meaning of our experience. For some, any uncritically assimilated explanation by an authority figure will suffice. But in contemporary societies we must learn to make our own interpretations rather than act on the purposes, beliefs, judgments, and feelings of others. Facilitating such understanding is the cardinal goal of adult education. Transformative learning develops autonomous thinking.


변혁적 학습 이론

Transformative Learning Theory


전환학습(Mezirow, 1991년, 1995년, 1996년; Cranton, 1994년, 1996년)은 frame of reference (FoRf)에 변화를 일으키는 과정이다. 성인들은 그들의 삶의 세계를 규정하는 연관성, 개념, 가치관, 감정, 조건부 반응 등 일관된 경험의 체계를 얻었다. 참조 틀FoRf 은 우리가 우리의 경험을 이해하는 가정 구조다. 그들은 기대, 인식, 인식, 그리고 감정을 선택적으로 형성하고 구분한다. 그들은 우리의 "행동선line of action"을 설정했다. 일단 설정되면, 우리는 자동적으로 특정한 활동(정신적 또는 행동적)에서 다른 활동으로 이동한다. 우리는 우리의 선입견에 맞지 않는 생각들을 거부하려는 경향이 강하며, 그러한 생각들을 고려할 가치가 없는 것으로 분류한다. 즉, 학대, 터무니없는 것, 무관한 것, 이상한 것, 또는 잘못된 것. 상황이 허락할 때, 전환학습자들은 좀 더 포괄적이고, 분별적이며, 자가성찰적이며, 경험을 통합하는 기준의 틀로 나아간다.

Transformative learning (Mezirow, 1991, 1995, 1996; Cranton, 1994, 1996) is the process of effecting change in a frame of reference. Adults have acquired a coherent body of experience—associations, concepts, values, feelings, conditioned responses—frames of reference that define their life world. Frames of reference are the structures of assumptions through which we understand our experiences. They selectively shape and delimit expectations, perceptions, cognition, and feelings. They set our “line of action.” Once set, we automatically move from one specific activity (mental or behavioral) to another. We have a strong tendency to reject ideas that fail to fit our preconceptions, labeling those ideas as unworthy of consideration—aberrations, nonsense, irrelevant, weird, or mistaken. When circumstances permit, transformative learners move toward a frame of reference that is more inclusive, discriminating, self-reflective, and integrative of experience.


참고의 틀FoRf은 인지적, 능동적, 감정적 요소를 포괄하고 있으며, [마음의 습관]과 [관점]의 두 가지 차원으로 구성되어 있다

A frame of reference encompasses cognitive, conative, and emotional components, and is composed of two dimensions: 

  • habits of mind and 

  • a point of view. 

마음의 습관habits of mind은 일련의 규범을 구성하는 가정에 의해 영향을 받는 광범위하고 추상적이며 지향적이며 습관적인 사고방식, 감정, 행동방식이다. 이러한 코드는 문화적, 사회적, 교육적, 경제적, 정치적 또는 심리적일 수 있다. 마음의 습관은 특정한 관점으로 표현된다. 즉, 특정한 해석을 형성하는 믿음, 가치 판단, 태도, 그리고 신념의 별자리.

Habits of mind are broad, abstract, orienting, habitual ways of thinking, feeling, and acting influenced by assumptions that constitute a set of codes. These codes may be cultural, social, educational, economic, political, or psychological. Habits of mind become articulated in a specific point of view—the constellation of belief, value judgment, attitude, and feeling that shapes a particular interpretation.


[마음의 습관]의 한 예는 자기 집단을 벗어난 타인을 열등하다고 여기는 성향인 민족중심주의다. 이로 인해 발생한 결과적인 [관점]은 특정 개인이나 집단(예: 동성애자, 복지 수혜자, 유색인 또는 여성)에 대해 우리가 가지고 있는 감정, 신념, 판단, 태도 등의 복합성이다.

An example of a habit of mind is ethnocentrism, the predisposition to regard others outside one’s own group as inferior. A resulting point of view is the complex of feelings, beliefs, judgments, and attitudes we have regarding specific individuals or groups (for example, homosexuals, welfare recipients, people of color, or women).


참조 틀FoRf은 주로 문화적 동화 및 일차적 간병인의 특유한 영향의 결과물이다. [마음의 습관]은 [관점]보다 오래 간다. 우리가 문제를 해결하고 가정을 수정해야 할 필요성을 확인하는 내용이나 과정을 되돌아볼 때 [관점은 계속 변경될 수 있다]. 우리가 예상한 대로 작동하지 않는 행동을 이해하려고 할 때마다 이런 일이 일어난다. 우리는 다른 사람의 관점을 시험해 보고 그것을 적합시킬 수는 있지만, [마음의 습관]으로 이런 것을 할 수는 없다. 관점은 다른 사람들의 인식과 피드백에 더 접근하기 쉽다.

Frames of reference are primarily the result of cultural assimilation and the idiosyncratic influences of primary caregivers. Habits of mind are more durable than points of view. Points of view are subject to continuing change as we reflect on either the content or process by which we solve problems and identify the need to modify assumptions. This happens whenever we try to understand actions that do not work the way we anticipated. We can try out another person’s point of view and appropriate it, but we cannot do this with a habit of mind. Points of view are more accessible to awareness and to feedback from others.


위르겐 하버마스(1981)는 문제 해결과 학습은 다음의 네 가지가 가능하다고 이해했다.

  • 도구적—성능 향상에 있어 효율성을 높이기 위해 환경 또는 다른 사람을 조작하거나 제어하는 학습 

  • 인상주의적—다른 사람에 대한 인상을 강화하고 자신을 표현하기 위한 학습 

  • 규범적—공통적 가치와 규범적 특권의식을 지향하는 학습(그룹 구성원은 특정 행동을 기대할 권리가 있다) 

  • 의사소통적—전달되는 것의 의미를 이해하는 학습. 의사소통 학습은 해석의 의미나 신념의 정당성을 이해하려고 노력하는 최소 두 사람을 포함한다. 이상적으로 의사소통 학습은 합의에 도달하는 것을 포함한다.

Jürgen Habermas (1981) has helped us to understand that problem solving and learning may be 

  • instrumental—learning to manipulate or control the environment or other people to enhance efficacy in improving performance; 

  • impressionistic—learning to enhance one’s impression on others, to present oneself; 

  • normative—learning oriented to common values and a normative sense of entitlement (members of the group are entitled to expect certain behavior); 

  • or communicative—learning to understand the meaning of what is being communicated. Communicative learning involves at least two persons striving to reach an understanding of the meaning of an interpretation or the justification for a belief. Ideally, communicative learning involves reaching a consensus.


[도구적 학습]에서 주장의 [진실]은 경험적 시험을 통해 확립될 수 있다. 그러나 [의사소통적 학습]은 목적, 가치, 신념, 감정을 이해하는 것을 포함하며 경험적 시험에 덜 순응적이다. 의사소통적 학습에서 학습자들은 의도, 가치, 믿음, 감정에 바탕을 둔 [가정을 비판적으로 성찰하는 것]이 필수적이 된다.

In instrumental learning, the truth of an assertion may be established through empirical testing. But communicative learning involves understanding purposes, values, beliefs, and feelings and is less amenable to empirical tests. In communicative learning, it becomes essential for learners to become critically reflective of the assumptions underlying intentions, values, beliefs, and feelings.


만약 누군가가 당신을 사랑한다고 주장한다면, 애정의 표현은 얼마나 진실한가? 다정한 낯선 사람의 의도는 당신에게 무언가를 팔거나, 산문적으로 만들거나, 성적 서곡을 하려는 것인가? 아는 사람이 진실한가? 전달되는 것은 단지 합리화일 뿐인가? 그것은 문자 그대로 받아들여지는 것일까, 아니면 비유로 받아들여지는 것일까? 연극의 메시지는 당신이 해석하는 것과 같은 것인가? 이러한 가정 문제questions of assumption를 해결하기 위해, 우리는 우리가 알고 있고, 합리적이고, 객관적이라고 믿는 사람들 사이에서 [잠정적인 최선의 판단]에 의존한다. 우리는 무엇이 전달되고 있는지 검증하기 위해 담론에 참여한다. 우리의 유일한 다른 구원은 우리를 위해 판단을 내리기 위해 권위나 전통에 의지하는 것이다.

If someone claims he loves you, how authentic is the expression of affection? Is the intent of a friendly stranger to sell you something, to proselytize, or make a sexual overture? Is an acquaintance being truthful? Is what is communicated only a rationalization? Is it meant to be taken literally or as a metaphor? Is the message of a play what you interpret it to be? To resolve these questions of assumption, we rely on a tentative best judgment among those whom we believe to be informed, rational, and objective. We engage in discourse to validate what is being communicated. Our only other recourse is to turn to an authority or tradition to make a judgment for us.


(여기서 사용되는) 담론은, 증거, 주장, 대안적 관점을 비판적으로 검토함으로써, 경쟁적competing 해석을 뒷받침하기 위해 제시된 이유를 평가하는 데 전념하는 대화이다. 어떤 믿음에 대한 해석이 많을수록, 더 신뢰할 수 있는 해석이나 합성을 찾을 가능성이 커진다. 우리는 다른 사람들의 (관련된) 경험을 분석하여 새로운 증거나 주장이 나타날 때까지 지속되는 공통된 이해에 도달하도록 함께 배운다learn together.

Discourse, as used here, is a dialogue devoted to assessing reasons presented in support of competing interpretations, by critically examining evidence, arguments, and alternative points of view. The more interpretations of a belief available, the greater the likelihood of finding a more dependable interpretation or synthesis. We learn together by analyzing the related experiences of others to arrive at a common understanding that holds until new evidence or arguments present themselves.


우리는 우리의 해석, 신념, 그리고 마음이나 관점의 습관이나 관점에 기초하는 가정에 대한 비판적인 반성을 통해 우리의 기준의 틀FoRf을 변형시킨다. 우리는 기계적으로 문제를 해결하는 법을 배울 때나 의사소통 학습에 관여할 때 우리나 다른 사람들이 하는 가정들을 비판적으로 성찰할 수 있다. 우리는 책을 읽을 때, 어떤 관점을 들을 때, 업무 중심적인 문제 해결(객관적 재구성)에 관여하거나, 자기성찰적으로 자신의 생각과 신념을 평가할 때(주관적 리프레밍) 가정을 비판적으로 성찰하고 있을 수 있다. 자기 성찰은 상당한 개인적 전환을 초래할 수 있다.

We transform our frames of reference through critical reflection on the assumptions upon which our interpretations, beliefs, and habits of mind or points of view are based. We can become critically reflective of the assumptions we or others make when we learn to solve problems instrumentally or when we are involved in communicative learning. We may be critically reflective of assumptions when reading a book, hearing a point of view, engaging in task-oriented problem solving (objective reframing), or self-reflectively assessing our own ideas and beliefs (subjective reframing). Self-reflection can lead to significant personal transformations.


비판적으로 탐구된 가정은 신념의 자전적 맥락에 있을 수도 있고, 사회, 문화, 경제, 정치, 교육 또는 심리학적 체계를 지지하고 있을 수도 있다. FoRf의 전환은 [마음의 습관의 비판적 성찰과 전환]을 통해 발생하거나, [관점]의 전환이 축적되면서 발생할 수 있다.

Critically explored assumptions may be in the autobiographical context of a belief, or they may be supporting a social, cultural, economic, political, educational, or psychological system. Transformations in frames of reference take place through critical reflection and transformation of a habit of mind, or they may result from an accretion of transformations in points of view.


배움에는 네 가지 과정이 있다

  • 민족 중심적인 예를 언급하자면, 한 가지 과정은 [기존의 [관점]을 상세히 설명하는 것]이다. 즉, 우리는 집단에 대한 우리의 초기 편견을 뒷받침하고 우리의 관점의 범위나 강도를 확장하기 위한 추가 증거를 찾을 수 있다.

There are four processes of learning. Referring to the ethnocentric example, one process is to elaborate an existing point of view—we can seek further evidence to support our initial bias regarding a group and expand the range or intensity of our point of view.


  • 우리가 배우는 두 번째 방법은 [새로운 [관점]을 확립하는 것]이다. 우리는 민족 중심주의에 대한 우리의 성향에 의해 지시된 대로 그들의 인식된 단점에 초점을 맞추어서 새로운 그룹을 마주하고 그들을 위한 새로운 부정적인 의미 체계를 만들 수 있다.

A second way we learn is to establish new points of view. We can encounter a new group and create new negative meaning schemes for them by focusing on their perceived shortcomings, as dictated by our propensity for ethnocentricity.


  • 우리가 배우는 세 번째 방법은 [우리의 [관점]을 바꾸는transform 것]이다. 우리는 이 특정 집단에 대한 우리의 오해에 대해 비판적으로 반성하게 되는 또 다른 문화에서 경험을 할 수 있다. 그 결과는 관련 집단을 향한 관점의 변화일 수 있다. 결과적으로, 우리는 그 그룹의 구성원들을 더 관대해지거나 더 많이 받아들일 수 있다. 만일 이런 일이 여러 가지 다른 집단과 계속해서 일어난다면, 그것은 우리의 정신 지배 습관에 적응함으로써 변화를 이끌 수 있다.

A third way we learn is to transform our point of view. We can have an experience in another culture that results in our critically reflecting on our misconceptions of this particular group. The result may be a change in point of view toward the group involved. As a result, we may become more tolerant or more accepting of members of that group. If this happens over and over again with a number of different groups, it can lead to a transformation by accretion in our governing habit of mind.


  • 마지막으로, 우리는 (자신이 속한 집단과 달리) 다른 집단을 볼 때 갖는 일반화된 편견을 인식하고 비판적으로 성찰함으로써 (민족 중심적인) [마음의 습관]을 변화transform시킬 수도 있다. 그러한 획기적인 변화는 덜 흔하고 더 어렵다. [우리가 배운 것이 우리의 기존 참고 틀FoRf에 편안히 들어맞는 한 우리는 우리가 배우는 방식에 변화를 일으키지 않는다].

Finally, we may transform our ethnocentric habit of mind by becoming aware and critically reflective of our generalized bias in the way we view groups other than our own. Such epochal transformations are less common and more difficult. We do not make transformative changes in the way we learn as long as what we learn fits comfortably in our existing frames of reference.


자율적 사고

Autonomous Thinking


[자율적이고 책임감 있는 행위자]로서 생각하는 것은 민주주의의 완전한 시민권과 급변하는 상황에서 도덕적 의사결정을 위해 필수적이다. 확인된 workforce의 학습 욕구는 자율학습의 중심성을 암묵적으로 인식한다.

Thinking as an autonomous and responsible agent is essential for full citizenship in democracy and for moral decision making in situations of rapid change. The identified learning needs of the workforce implicitly recognize the centrality of autonomous learning.


미국 노동부의 SCANS 보고서(1991)는 정보의 획득 및 사용, 자원 식별 및 구성, 타인과의 협력, 정보 해석, 복잡한 상호관계의 이해 등을 필수적인 역량과 기술로 식별한다.

The U.S. Department of Labor’s SCANS report (1991) identifies acquiring and using information, identifying and organizing resources, working with others, interpreting information, and understanding complex interrelationships as essential competencies and skills.


마찬가지로 호주 정부, 고용주, 학계 등이 파악한 인력 준비의 "핵심 역량"에는 정보 분석, 아이디어 전달, 활동 계획 및 구성, 수학적인 아이디어와 기술 사용, 팀 작업, 문제 해결, 문화 이해 활용 등이 포함된다(곤지 등, 1995년).

Similarly, the “key competencies” for workforce preparation identified by the Australian government, employers, and academics include analyzing information, communicating ideas, planning and organizing activities, using mathematical ideas and technology, working in teams, solving problems, and using cultural understandings (Gonzi and others, 1995).


이러한 목록에 있는 일반적인 가정은 [21세기를 위한 생산적이고 책임감 있는 노동자worker를 준비하기 위해 필요한] 필수적 학습은 다른 사람들의 받은 생각과 판단에 대해 [무비판적으로 행동하기 보다는 협동적인 맥락에서 개인이 자율적 행위자으로 생각할 수 있도록 힘을 실어줘야 한다]는 것이다. 노동자들은 자율적이고, 사회적으로 책임감 있는 사상가가 되어야 할 것이다.

The common presumption in these lists is that the essential learning required to prepare a productive and responsible worker for the twenty-first century must empower the individual to think as an autonomous agent in a collaborative context rather than to uncritically act on the received ideas and judgments of others. Workers will have to become autonomous, socially responsible thinkers.


우리가 다음 세기에, 더 기술적으로 정교한 산업과 서비스 분야로 이동함에 따라, 일work는 단순히 정보를 습득하는 것이 아니라, 더 추상적이 되어 정보를 이해하고 조작하는 것이 된다. 새로운 형태의 기술과 지식이 요구된다. 성인 학습자가 미래의 노동력의 효과적인 구성원이 되기 위해 필요한 필수적인 이해, 기술 및 성향과 관련된 공감대가 증가하고 있다. 경제학자들은 자원이 변화하는 고용 조건에 적응할 수 있는 노동력을 창출하고, 기술 시스템을 관리하는 동안 비판적 판단을 하며, 보다 효과적인 협력적 의사결정에 유연하게 관여해야 한다고 인식한다.

As we move into the next century and more technologically sophisticated industry and service sectors, work becomes more abstract, depending on understanding and manipulating information rather than merely acquiring it. New forms of skill and knowledge are required. There is a growing consensus pertaining to the essential understandings, skills, and dispositions required for an adult learner to become an effective member of the workforce of the future. Economists recognize that resources should be directed toward creating a workforce that can adapt to changing conditions of employment, exercise critical judgement as it manages technology systems, and flexibly engage in more effective collaborative decision making.


성인 학습자 자신도 학습을 자율적이고 책임감 있는 사람으로 보고 중요한 교육목적으로 본다. 예를 들어, 미국 국립 문해연구소(Stein, 1995)는 문해 프로그램에 참여하는 사람들이 다음과 같은 일을 한다는 것을 발견했다. 

  • (1) 정보 접근권을 획득하여 자신이 세계에 적응할 수 있도록 해야 한다. 

  • (2) 그들의 생각을 들을 수 있는 확신을 가지고 목소리를 높여야 한다. 

  • (3) 독립적으로 결정하고 행동해야 한다. 

  • (4) 배움으로써 미래를 향한 다리를 건설한다.

Adult learners themselves view learning to think as autonomous, responsible persons as an important educational objective. For example, the U.S. National Institute for Literacy (Stein, 1995) found that those who participate in literacy programs do so to 

  • (1) gain access to information so they can orient themselves in the world; 

  • (2) give voice to their ideas, with the confidence they will be heard; 

  • (3) make decisions and act independently; and 

  • (4) build a bridge to the future by learning how to learn.


그들의 목표는 자율적이고 책임감 있는 사상가가 되는 것이다. 종종 성인 학습자의 즉각적인 초점은 운전 면허의 자격을 얻고, 직업이나 승진을 얻거나, 아이에게 독서를 가르칠 수 있는, 실용적이고 단기적인 목표에 집중된다. 학습의 필요성은 단기 목표와 장기 목표를 모두 인식할 수 있도록 정의되어야 한다는 것을 인식하는 것이 중요하다. 학습자의 [당면 목표]는 주제 숙달, 특정 역량 달성 또는 기타 직무 관련 목표의 관점에서 설명할 수 있지만, 학습자의 [목적goal]은 사회적으로 책임감 있는 자율적 사고자가 되는 것이다.

Their goal is to become autonomous, responsible thinkers. Often, adult learners’ immediate focus is on practical, short-term objectives—to be able to qualify for a driver’s license, get a job or promotion, or teach a child to read. It is crucial to recognize that learning needs must be defined so as to recognize both short-term objectives and long-term goals. The learner’s immediate objectives may be described in terms of subject matter mastery, attainment of specific competencies, or other job-related objectives, but his or her goal is to become a socially responsible autonomous thinker.


성인 교육자는 학습자의 목적과 목표를 모두 인식해야 한다. 교육자의 책임은 학습자들이 좀 더 자율적이고, 사회적으로 책임감 있는 사상가thinker로서 기능할 수 있도록 그들의 목표를 달성하도록 돕는 것이다. 사람들이 특정한 [단기 목표]를 달성하는 것을 배우는 것을 돕는 것은 [도구적 학습]을 포함할 수 있다. 그들이 [목적]을 달성하기 위해서는 [의사소통적 학습]이 필요하다.

The adult educator must recognize both the learner’s objectives and goal. The educator’s responsibility is to help learners reach their objectives in such a way that they will function as more autonomous, socially responsible thinkers. Helping people learn to achieve a specific short-term objective may involve instrumental learning. For them to achieve their goal requires communicative learning.


여기서 자율성은 자신의 가정을 비판적으로 성찰하고, 보편적 가치를 공유하는 타인의 경험을 통해 자신의 신념을 검증하기 위한 담론에 효과적으로 참여하는 데 필요한 이해, 기술, 기질을 말한다.

Autonomy here refers to the understanding, skills, and disposition necessary to become critically reflective of one’s own assumptions and to engage effectively in discourse to validate one’s beliefs through the experiences of others who share universal values.


[전환 이론]은 도덕적 가치는 담론을 통한 합의에 의해 정당화된다고 주장한다. 진리, 정의, 자유와 같은 가치의 보편성은 그들이 대안보다 더 유익한 행동을 하는 결과를 낳게 되었다는 주장에 근거한다. 유엔의 인권선언은 이를 증명한다. 모든 사람이 담론에 참여할 수 있다면, 이상적인 담론 조건 하에서, 이러한 가치에 관한 보편적인 합리적 합의가 있을 것이라는 주장이다.

Transformation theory holds that moral values are legitimized by agreement through discourse. The universality of such values as truth, justice, and freedom is based on the claim that they have been found to result in more beneficial action than their alternatives. The Declaration of Human Rights by the United Nations attests to this. The claim is that if everyone could participate in a discourse, under the ideal conditions of discourse, there would be a universal rational consensus concerning these values.


지식의 습득이나 역량의 달성이 어떻게 해서든지 자율적으로 생각하는 학습에 관련된 이해, 기술, 그리고 기질을 자동적으로 만들어 낼 것이라는 터무니없는 가정이 있다. 그러나, 다양한 학습 과정과 적절한 교육 개입의 다른 형태가 있다.

There is an egregious assumption that the acquisition of knowledge or attainment of competencies will somehow automatically generate the understandings, skills, and dispositions involved in learning to think autonomously. However, there are different processes of learning involved and different forms of appropriate educational intervention.


파운데이션

Foundations


아이들은 일반적으로 자율적으로 생각하는 데 필요한 특정한 학습의 기초를 얻는다. 여기에는 

(1) 인과관계를 인식하는 능력과 성질, 

(2) 유사성과 일반화를 만드는 데 비공식적 논리를 사용하는 것, 

(3) 자신의 감정을 인지하고 통제하는 것, 

(4) 타인에 대한 감정이입이 되는 것, 

(5) 내러티브를 구성하기 위해 상상력을 사용하는 것, 

(6) 추상적으로 생각하는 것이 포함된다. 

Children commonly acquire a foundation of the specific learning required to think autonomously. This includes the ability and disposition to 

(1) recognize cause-effect relationships, 

(2) use informal logic in making analogies and generalizations, 

(3) become aware of and control their own emotions, 

(4) become empathic of others, 

(5) use imagination to construct narratives, and 

(6) think abstractly. 


청소년들은 

(7) 가정적으로 생각하는 법을 배울 수 있고, 

(8) 읽고 보고 듣는 것에 대해 비판적으로 성찰하게 된다.

Adolescents may learn to 

(7) think hypothetically, and 

(8) become critically reflective of what they read, see, and hear.


성인이 되면 학습자가 새로운 과목의 내용을 이해하도록 돕기 위해 이러한 기반을 강화하고 쌓아가는 것이 과제지만, 그 과정에서 다음과 같이 된다. 

  • (1) 가정을 평가할 때 더 많은 인식과 비판 - 신념, 가치관, 판단 및 감정을 지배하는 자신과 타인 모두에 대해서

  • (2) 기준 및 패러다임 프레임(기준 프레임)을 더 잘 인식하고 더 잘 인식하고 대안을 상상할 수 있어야 한다. 

  • (3) 다른 사람과 협력하여 이유를 종합적으로 평가하고, 문제를 제기하고, 해결하며, 경쟁 관계에 있는 신념과 관련하여 잠정적인 최선의 판단에 도달하기 위해 더 책임감 있고 더 효과적이다.

In adulthood, the task is to strengthen and build on this foundation in order to assist the learner to understand new subject content, but, in the process of doing so, to become 

  • (1) more aware and critical in assessing assumptions—both those of others and those governing one’s own beliefs, values, judgments, and feelings; 

  • (2) more aware of and better able to recognize frames of reference and paradigms (collective frames of reference) and to imagine alternatives; and 

  • (3) more responsible and effective at working with others to collectively assess reasons, pose and solve problems, and arrive at a tentative best judgment regarding contested beliefs.


  • [다른 사람의 가정]을 비판적으로 성찰하는 것은 효과적인 협력적 문제 제기와 해결의 기본이다. 

  • [자신의 가정]을 비판적으로 성찰하는 것이 변화에 적응하는 데 없어서는 안 될 학습의 필수적 차원인, 당연하게 여겨지는 기준의 틀FoRf을 바꾸는 열쇠다.

  • Becoming critically reflective of the assumptions of others is fundamental to effective collaborative problem posing and solving. 

  • Becoming critically reflective of one’s own assumptions is the key to transforming one’s taken-for-granted frame of reference, an indispensable dimension of learning for adapting to change.


변혁적 학습을 위한 교육

Education for Transformative Learning


성인 교육자들은 전환 학습이 [객관적 또는 주관적 재구성 중 하나를 포함하여] 여러 형태를 취할 수 있다는 것을 이해할 필요가 있다. 전환 학습은 인간의 의사소통 방식에 뿌리를 두고 있으며, 중요한 개인적 변혁에만 전적으로 관심을 한정하지 않는 일반적인common 학습 경험이다.

Adult educators need to understand that transformative learning can take several forms involving either objective or subjective reframing. Transformative learning is rooted in the way human beings communicate and is a common learning experience not exclusively concerned with significant personal transformations.


전환 학습을 촉진하기 위해, 교육자들은 학습자들이 자신과 다른 사람들의 가정을 인식하고 비판하도록 도와야 한다. 학습자들은 참고의 틀을 인식하고 다른 관점에서 문제를 재정의하기 위해 그들의 상상력을 사용하는 연습이 필요하다. 마지막으로, 학습자들이 효과적으로 담론에 참여할 수 있도록 도움을 받을 필요가 있다. 담론은 [자신이 무엇을 어떻게 이해하고 있는지 검증]하거나 [신념에 관한 최선의 판단을 내리기 위해] 필요하다. 이런 의미에서 배움은 사회적 과정이며, 담론은 의미를 만드는 데 중심이 된다.

To facilitate transformative learning, educators must help learners become aware and critical of their own and others’ assumptions. Learners need practice in recognizing frames of reference and using their imaginations to redefine problems from a different perspective. Finally, learners need to be assisted to participate effectively in discourse. Discourse is necessary to validate what and how one understands, or to arrive at a best judgment regarding a belief. In this sense, learning is a social process, and discourse becomes central to making meaning.


효과적인 담론은 교육자가 참여자들이 얼마나 잘 참여하는 상황을 만들 수 있느냐에 달려 있다. 

  • 충분한 정보를 가지고 있다. 

  • 강제성이 없다. 

  • 담론의 다양한 역할을 맡을assume 수 있는 기회 균등(신앙, 도전, 방어, 설명, 증거 평가 및 논거 판단) 

  • 가정을 비판적으로 성찰한다. 

  • 다른 관점에 공감하고 개방적이다. 

  • 경청할 용의가 있고 공통의 근거나 다른 관점의 합성을 검색할 용의가 있다. 

  • 행동을 이끌 수 있는 잠정적인 최선의 판단을 할 수 있다. 

Effective discourse depends on how well the educator can create a situation in which those participating 

  • have full information; 

  • are free from coercion; 

  • have equal opportunity to assume the various roles of discourse (to advance beliefs, challenge, defend, explain, assess evidence, and judge arguments); 

  • become critically reflective of assumptions; 

  • are empathic and open to other perspectives; 

  • are willing to listen and to search for common ground or a synthesis of different points of view; and 

  • can make a tentative best judgment to guide action. 


이러한 이상적인 담론 조건들은 성인 학습과 교육의 이상적인 조건이기도 하다.

These ideal conditions of discourse are also ideal conditions of adult learning and of education.


전환 학습은 일반적으로 아동 교육과는 매우 다른 형태의 교육을 필요로 한다. 새로운 정보는 성인 학습 과정의 한 자원일 뿐이다. 의미 있게 되기 위해 학습자는 새로운 정보를 이미 잘 발달된 기준, 즉 사고, 감정 및 기질을 포함하는 능동적인 과정에 통합해야 한다. 또한 학습자가 자신의 참조 프레임을 변형하여 경험을 완전히 이해하도록 도움을 받아야 할 수 있다.

Transformative learning requires a form of education very different from that commonly associated with children. New information is only a resource in the adult learning process. To become meaningful, learning requires that new information be incorporated by the learner into an already well-developed symbolic frame of reference, an active process involving thought, feelings, and disposition. The learner may also have to be helped to transform his or her frame of reference to fully understand the experience.


교육자는 자율적 사고를 명시적으로 포함하는 목표를 설정할 책임을 져야 하며, 이것이 담화에서 비판적 성찰성과 경험을 함양하도록 설계된 경험을 필요로 한다는 것을 인식해야 한다.

Educators must assume responsibility for setting objectives that explicitly include autonomous thinking and recognize that this requires experiences designed to foster critical reflectivity and experience in discourse.


비판적으로 성찰하는 사고, 상상력 있는 문제 제시, 담론을 촉진하는 교육은 학습자 중심적, 참여적, 상호작용적이다. 이러한 교육은 그룹 숙의와 그룹 문제 해결을 포함한다. 교육 자료는 학습자의 실제 경험을 반영하고, 소그룹 토론에 참여하여 이유를 평가하고, 증거를 검토하며, 성찰적 판단에 이르도록 함을 목적으로 한다. 학습은 문제를 해결하고 재정의하기 위한 은유법의 발견과 상상력을 통해 이루어진다.

Education that fosters critically reflective thought, imaginative problem posing, and discourse is learner-centered, participatory, and interactive, and it involves group deliberation and group problem solving. Instructional materials reflect the real-life experiences of the learners and are designed to foster participation in small-group discussion to assess reasons, examine evidence, and arrive at a reflective judgment. Learning takes place through discovery and the imaginative use of metaphors to solve and redefine problems.


교육자는 [발견 학습]을 촉진하기 위해 학습자의 현재 이해도 측면에서 학습자 질문을 재구성하는 경우가 많다. 학습 계약, 그룹 프로젝트, 역할극, 사례 연구, 시뮬레이션은 변혁적 교육과 관련된 교실 방법이다. 핵심 아이디어는 학습자가 자신의 삶의 맥락에서 제시된 개념을 적극적으로 참여시키고 새로운 지식의 정당성을 집단적으로 평가할 수 있도록 돕는 것이다. 학습자가 함께 행동 연구 프로젝트를 맡는다. 그들은 자주 자신의 가정을 포함하여 가정을 확인하고 검토해야 한다.

To promote discovery learning, the educator often reframes learner questions in terms of the learner’s current level of understanding. Learning contracts, group projects, role play, case studies, and simulations are classroom methods associated with transformative education. The key idea is to help the learners actively engage the concepts presented in the context of their own lives and collectively critically assess the justification of new knowledge. Together, learners undertake action research projects. They are frequently challenged to identify and examine assumptions, including their own.


유용하게 발견된 방법으로는 중대 사건, 은유 분석, 개념 매핑, 의식 고양, 인생사, 레퍼토리 그리드, 사회적 행동 참여 등이 있다(메지로와 어소시에이트, 1990). 이러한 방법들은 담화에 대한 비판적 성찰과 경험을 장려한다. 그 근원과 자연, 결과에 대해 우리가 생각하는 방식을 형성하는 사상과 신념체계의 맥락을 발견하고, 대안적 관점을 상상하는 데 초점을 맞추고 있다.

Methods that have been found useful include critical incidents, metaphor analysis, concept mapping, consciousness raising, life histories, repertory grids, and participation in social action (Mezirow and Associates, 1990). These methods encourage critical reflection and experience in discourse. The focus is on discovering the context of ideas and the belief systems that shape the way we think about their sources, nature, and consequences, and on imagining alternative perspectives.


자기-주도성self-direction을 함양함에 있어 학습자가 서로 배우는 데 점점 능숙해지고, 문제해결군에서 서로 학습할 수 있도록 돕는 환경을 조성하는 데 역점을 두고 있다. 교육자는 주제 문제에 대한 권위자라기 보다는 촉진자, 추진자 역할을 한다. 촉진자는 학습자를 다음과 같이 격려한다. 

  • 교실의 질서, 정의 및 예의범절을 수용하고 서로 학습을 돕는 것에 대한 존중과 책임을 갖는 규범을 만들도록

  • 다양성을 환대하도록 

  • 동료 협력을 촉진하도록

  • 참여 기회가 균등하게 제공되도록

In fostering self-direction, the emphasis is on creating an environment in which learners become increasingly adept at learning from each other and at helping each other learn in problem-solving groups. The educator functions as a facilitator and provocateur rather than as an authority on subject matter. The facilitator encourages learners 

  • to create norms that accept order, justice, and civility in the classroom and respect and responsibility for helping each other learn; 

  • to welcome diversity; 

  • to foster peer collaboration; and 

  • to provide equal opportunity for participation. 

촉진자는 학습자에게 기대되는 [비판적으로 성찰하는 역할]을 모델링한다. 이상적으로, 퍼실리테이터는 학습자가 자기주도적이 되어감에 따라 자신의 지도력leadership을 그룹에 점진적으로 이양함으로써 자신은 공동학습자가 되고 권위자로부터 벗어나야 한다. 이것들은 성인 교육에서 익숙한 개념들이다.

The facilitator models the critically reflective role expected of learners. Ideally, the facilitator works herself out of the job of authority figure to become a co-learner by progressively transferring her leadership to the group as it becomes more self-directive. These are familiar concepts in adult education.


변혁적 학습은 부가물이 아니다. 성인 교육의 본질이다. 이러한 전제를 염두에 두면, 성인 교육의 목표goal는 성인 학습과 소통의 본질에 의해 함축되어 있다는 것은 명백해진다: 다른 사람의 가치와 의미, 목적을 무비판적으로 행하기보다는 자신의 가치와 의미와 목적을 협상하는 법을 배움으로써 개인이 보다 자율적인 사상가가 되도록 돕는 것이다. 이 목표는 당연하게 여겨질 수 없다. 학습자가 변형 학습에 필수적인 이해, 기술 및 기질을 습득하도록 하기 위해 교육 개입이 필요하다. 비판적 성찰, 프레임FoRf의 인식, 담화 참여는 학습 욕구를 정의하고, 교육 목표를 설정하고, 자료와 방법을 설계하고, 포트폴리오와 같은 비전통적인 방법을 사용하여 학습자 성장을 평가하는 데 있어서 중요한 요소가 된다.

Transformative learning is not an add-on. It is the essence of adult education. With this premise in mind, it becomes clear that the goal of adult education is implied by the nature of adult learning and communication: to help the individual become a more autonomous thinker by learning to negotiate his or her own values, meanings, and purposes rather than to uncritically act on those of others. This goal cannot be taken for granted; educational interventions are necessary to ensure that the learner acquires the understandings, skills, and dispositions essential for transformative learning. Critical reflection, awareness of frames of reference, and participation in discourse become significant elements in defining learning needs, setting educational objectives, designing materials and methods, and in evaluating learner growth using nontraditional methods such as portfolios.


결론 Conclusion


전환 이론의 관점에서, 성인 학습의 본질은 성인 교육의 질과 학습을 용이하게 하거나 방해하는 사회정치적 조건 모두를 판단하는 기준이 될 수 있는 그것의 완전한 실현을 위한 이상적인 조건들을 내포하고 있다. 전환 이론의 관점에서, 성인 학습의 완전한 실현을 위한 이상적인 조건들이 있다; 이러한 조건들은 성인 교육의 질과 학습을 용이하게 하거나 방해하는 사회정치적 조건 모두를 판단하는 기준이 될 수 있다. 

From the perspective of transformation theory, the nature of adult learning implies a set of ideal conditions for its full realization that may serve as standards for judging both the quality of adult education and the sociopolitical conditions that facilitate or impede learning. From the perspective of transformation theory, there are ideal conditions for the full realization of adult learning; these conditions can serve as standards for judging both the quality of adult education and the sociopolitical conditions that facilitate or impede learning. 


여기서의 입장은 전환 학습 과정에 내재된 논리, 이상, 목적이 있다는 것이다. 그 과정은 가정에 대한 비판적인 반사를 통해 기준의 틀을 변형하고, 담론을 통해 논쟁의 여지가 있는 신념을 검증하며, 자신의 반사적인 통찰력에 대한 조치를 취하고, 그것을 비판적으로 평가하는 것을 포함한다. 유의미한 성인학습의 성격에 대한 이러한 이해는 교육자에게 적절한 교육 관행을 선택하고 성인 학습을 왜곡하고 구분하는 사회 문화적 힘에 능동적으로 저항할 수 있는 근거를 제공한다.

The position here is that there is an inherent logic, ideal, and purpose in the process of transformative learning. The process involves transforming frames of reference through critical reflection of assumptions, validating contested beliefs through discourse, taking action on one’s reflective insight, and critically assessing it. This understanding of the nature of significant adult learning provides the educator with a rationale for selecting appropriate educational practices and actively resisting social and cultural forces that distort and delimit adult learning.



Mezirow, J. (1997). Transformative learning: Theory to practice. New directions for adult and continuing education1997(74), 5-12.



Abstract

Critical and autonomous thinking must take precedence over the uncritical assimilation of knowledge. Transformative learning is a route to the development of critical thinking.


의과대학생의 전문직업성 실수를 다루는 로드맵 (Acad Med, 2019)

A Road Map for Attending to Medical Students’ Professionalism Lapses

Marianne C. Mak-van der Vossen, MD, Anne de la Croix, MA, MEd, PhD, Arianne Teherani, PhD, Walther N.K.A. van Mook, MD, PhD, Gerda Croiset, MD, PhD, and Rashmi A. Kusurkar, MD, PhD



학부 의대생들의 전문직업성 실수에 관심을 갖는 것은 교육자들에게는 어렵고 시간이 많이 걸리는 일이다.1 프로페셔널리즘의 오류를 관리하는 방법은 가르쳐지지 않으며, 전문직업성은 쉽게 얻어지지 않는다.2

Attending to professionalism lapses of undergraduate medical students is a demanding and time-consuming task for educators.1 How to manage professionalism lapses is not taught, nor does expertise come easily.2


[전문직업적 실수의 관리]에 대한 지식은 기관에 학생에 대한 결정을 내릴 수 있는 증거 기반 도구(즉, 학생의 졸업 허용 여부)를 제공할 것이다.

Knowledge about managing professionalism lapses will provide institutions with evidence-based tools by which to make decisions about their students (i.e., whether a student should be allowed to graduate).


학부 의학 교육의 전문직업성을 가르치고, 모델링하고, 모니터링하는 것은 미래의 의사들에 의한 좋은 환자 진료의 전달에 매우 중요하다.3–8 이전의 연구는 학생들의 전문성 결여가 4개의 영역, 즉 관여, 성실성, 상호작용, 자기성찰의 4가지 영역에서 발생한다는 것을 보여준다.9

Teaching, modeling, and monitoring professionalism in undergraduate medical education are crucial for the delivery of good patient care by future physicians.3–8 Previous research shows that students’ professionalism lapses occur in four domains, the so-called 4 I’s: lapses in involvement, integrity, interaction, and introspection.9


기여 요인은 종종 [인식, 기술 및 태도의 결핍과 같은 개인적 영향]과 [학습 환경에서의 상황적 영향]의 조합이다.15–17 전문적이지 않은 행동에 대한 이해도가 증가함에도 불구하고, 교육자들이 보고하기를 꺼려하기 때문에 더 나은 식별identification과 재교육이 잘 이뤄지지 않는다.18–21 교육교사들은 종종 전문직업적 실수의 교정조치가 어렵고 효과적이지 않다고 생각한다.18,22–24 또한 전문직업성 교정조치 practice에 관한 학교들 간의 큰 변동성을 관찰할 수 있다.25,26 교육자들은 전문직업성 실수의 관리방침와 그러한 관리방침이 학습자에게 갖는 영향력이 명확할 경우에 전문직업성 실수에 대해 보고할 의사가 더 높아질 수 있다.

Contributing factors are often a combination of individual influences such as deficits in cognition, skills, and attitude,13,14 and contextual influences from the learning environment.15–17 Despite a growing understanding of (un)professional behavior, better identification and remediation is hampered by educators’ reluctance to report it.18–21 Educators often consider remediation of lapses difficult and ineffective.18,22–24 Also, a wide variability among schools regarding professionalism remediation practices can be observed.25,26 Educators would be more willing to report professionalism lapses if policies regarding the management of professionalism lapses and the effects such management has on the learner were clearer to them.18


전문성 오류를 관리하는 모델은 여러 이론 논문에서 설명되어 왔다. 이러한 모델은 [특정 전문성 문제를 대상으로 하는 모델]과 [지식, 기술 또는 태도 문제에 적용되는 일반적 모델]의 두 가지 유형으로 구성된다. 6,8,27–30 표 1 참조

Models for managing professionalism lapses have been described in several theoretical papers. These models are of two types: specific models that target professionalism concerns, and general models that are applicable to knowledge, skills, or attitude problems.6,8,27–30 See Table 1



기존 모델은 학습자의 수준(이하)에 따라 다르다. 각 모델에서, 다른 수준들은 문헌이 적절하게 설명하지 못하는 특정한 행위자, 규칙, 그리고 규정들을 가지고 있다. 아직까지는 수준 사이의 임계값을 구성하는 것이 무엇인지 불분명하다.

Existing models are based on different levels of (under)performance of learners. In each model, the different levels have specific actors, rules, and regulations that the literature does not adequately describe. So far, it is unclear what constitutes the thresholds between the levels.


방법

Method


연구 설계 Study design


우리는 이 연구를 진행하기 위해 근거이론 접근법을 채택했다. 31,32 그것은 우리가 이해를 발전시킬 수 있게 해주었고, 전문성 실수의 관리에 관한 이론적 모델을 제안했다.

We employed a grounded theory approach to conduct this study,31,32 as it allowed us to develop an understanding, and propose a theoretical model regarding the management of professionalism lapses.


근거이론 접근법은 종종 귀납적인 방법으로 사용되지만 기존의 지식을 더 쌓는 데도 사용될 수 있다.33 본 연구에서 데이터 수집 및 분석은 이전 연구의 결과에 의해 주도되었다.10,34

A grounded theory approach is often used as an inductive method but can also be used to build further on existing knowledge.33 In this study, the data acquisition and analysis was guided by findings from our previous research.10,34


성찰성 Reflexivity


우리는 [지식은 인간의 상호작용과 관계의 결과로서 능동적으로 구성되고 공동생산되는 것]으로 간주되는 구성주의적 패러다임을 사용했다.35

We used a constructivist paradigm, in which knowledge is seen as actively constructed and cocreated as a result of human interactions and relationships.35


절차와 참가자 Procedures and participants


2016년 10월부터 2018년 1월까지 미국 13개 의과대학 전문가 19명을 대상으로 23명의 공개 심층면접을 통해 반복적으로 질적 데이터를 수집했다. 모두 최소 3년 동안 학교에서 전문성을 위한 교정조치 과정을 감독해야 하는 과제를 안고 있었으며, 이 글에서 "전문성 교정조치 감독관"(PRS)이라고 언급되었다.

Between October 2016 and January 2018, we iteratively collected qualitative data through 23 open-ended in-depth interviews with 19 experts from 13 medical schools in the United States. All had, for at least three years, the task of supervising the remediation process for professionalism in their school and will in this article be referred to as a “professionalism remediation supervisor” (PRS).


M.M.이 인터뷰를 실시했는데, 이 인터뷰에서는 이전 연구에서 나온 결과가 전문성 결여 관리에 대한 아이디어 교환의 출발점으로 사용되었다(추가 디지털 부록 1, 2는 http://links.lww.com/ACADMED/A618 참조).

M.M. conducted the interviews, in which findings from a previous study were used as a starting point for an exchange of ideas about managing professionalism lapses (see Supplemental Digital Appendices 1 and 2, available at http://links.lww.com/ACADMED/ A618).


자료 분석 Data analysis


초기 코딩 단계에서는 파일럿 면접에서 비롯되는 초기 코딩 방식을 사용했으며, 이는 읽기, 코딩 및 토론의 지속적인 비교 과정에서 진화했다. 초기 발견에 기초하여 우리는 추가 샘플링을 채택했다. 이러한 추가 데이터를 분석한 후, 코드와 범주의 최종 세트가 확립되고, 예비 모델이 초안되었다. 두 번째 코딩 단계의 경우, M.M.은 다른 코더들과 애로사항을 논의하면서 최종 코드 세트를 사용하여 모든 대본을 다시 작성했다. M.M.과 A.C.는 세 번째 자료를 통해 특히 예비 모델에 도전할 만한 사례를 찾아보았다. 분석 과정 동안 우리는 아이디어를 모으기 위해 메모, 다이어그램, 회의록 등을 사용했다. 우리는 전체 연구팀과 토론을 통해 그 결과를 범주적 수준에서 개념적 수준으로 끌어올렸다.

For the initial coding phase we used an early coding scheme originating from the pilot interview, which evolved in a constant comparative process of reading, coding, and discussing. On the basis of the initial findings we employed additional sampling. After analyzing these additional data, a final set of codes and categories was established, and a preliminary model was drafted. For the second coding phase, M.M. recoded all transcripts using the final set of codes, discussing difficulties with the other coders. M.M. and A.C. went through the data a third time to especially look for any cases that would challenge the preliminary model. During the analytic process we used memos, diagrams, and minutes of research meetings to collect ideas. We raised the results from the categorical to the conceptual level through discussions with the full research team.


결과 Results


인터뷰를 바탕으로 교육자들이 3단계 과정으로 학생들의 전문성 실수에 어떻게 참여했는지를 시각화했다. 

  • 1단계는 "탐구와 이해"로 특징지어졌다. 

  • 2단계는 "재교육"이었고, 

  • 3단계는 "해임에 대한 명백한 증거"였다. 

On the basis of the interviews, we visualized how educators attended to students’ professionalism lapses as a three-phase process. 

  • Phase 1 was characterized as “explore and understand,” 

  • phase 2 was “remediate,” and 

  • phase 3 was “gather evidence for dismissal.” 

1단계와 2단계 사이의 임계치는 [실수의 근본 원인]에 의해 구성되는 것으로 보였다. 

2단계와 3단계 사이의 임계치는 학생의 [성찰도와 개선](또는 개선 부족)에 의해 구성되는 것으로 보였다.

The threshold between phases 1 and 2 appeared to be constituted by the underlying causes for the lapse. 

The threshold between phases 2 and 3 appeared to be constituted by the student’s reflectiveness and (lack of) improvement.


세 가지 단계는 각각 달성해야 할 목표, 관련된 개인, 수행된 활동의 유형, 그리고 의사결정의 이면에 있는 추리에서 달랐다.

Each of the three phases differed in the goals to be achieved, the individuals involved, the type of activities undertaken, and the reasoning behind decisions that were made.


참가자들이 교정조치에 관여하고 있다고 설명한 개인은 (부)학장, 책임교수, 정규(임상) 교사, 교정(임상) 교사, 학교 밖 전문가, 진급위원회 위원, 때로는 학생명예위원회 위원이었다.

Individuals that the participants described as being involved in remediation were the (associate) dean, course directors, regular (clinical) teachers, remedial (clinical) teachers, experts outside the school, members of promotion committees, and sometimes members of Student Honor Councils.


각 단계에 대해 이 개인은 서로 다른 역할을 수행했다. 1단계에서 이 개인은 관련 교사, 2단계에서 지원 코치의 역할을 수행했으며 3단계에서는 해당 직업의 문지기 역할을 수행했다.

For each phase these individuals fulfilled different roles. In phase 1 these individuals had the role of a concerned teacher, in phase 2 that of a supportive coach, and in phase 3 they became gatekeepers of the profession.



1단계: 탐색 및 이해

Phase 1: Explore and understand


PRS는 한 학생이 프로페셔널리즘 실수에 대해 언급된 후, 그 학생과 대화를 갖는다고 보고했다. PRS는 처음에 무슨 일이 일어났는지와 실수에 대한 감정에 대해 학생들이 어떻게 이해하는지를 알아보고자 했다.

After a student had been cited for a professionalism lapse, PRSs reported holding a conversation with the student, in which the PRS initially sought the student’s understanding of what happened and the emotions regarding the lapse:


이 단계에서 PRS는 [어떤 개인적 또는 맥락적 요인이 행동에 영향을 미치는지] 이해하기 위해 수행되었다.

In this phase the PRS was tasked to understand what personal or contextual factors influenced the behavior:


한 PRS는 초창기 대화의 추가적이고 중요한 목표가 [학교가 전문직업성을 중요하게 여긴다는 것을 보여주는 것]이라고 인식했다. PRS는 학생들이 실수로 비전문적으로 행동할 수 있는 의사를 개발하고 있다고 생각했다. 따라서, 1단계에서, PRS는 학생들을 [처벌하는 것이 아니라, 지지하고 돕는 것을 목표]로 하는 관련 교사의 역할을 맡았다.

One PRS recognized that an additional and important goal of the initial conversation was to show that the school takes professionalism seriously. PRSs felt that students are developing physicians who can accidentally behave unprofessionally. Hence, in phase 1, the PRS assumed the role of a concerned teacher who aims to support and help, not to punish the student,


이 단계에서 PRS는 학습자를 "진단"할 수 있도록 허용하는 것에 대해 종종 이해 상충을 겪는다.

In this phase, PRSs reported often encountering a conflict of interest about being allowed to “diagnose” a learner:


면접 응답에 따르면 PRS와 학생은 이상적으로 개인, 외부, 대인관계 또는 맥락으로 분류된 [전문직업성 실수의 기여 요인]에 대해 상호 이해하게 될 것이다. 목록 1 참조

Interview responses show that the PRS and the student would ideally arrive at a mutual understanding about the contributing factors for the professionalism lapse, which were classified as personal, external, interpersonal, or contextual. See List 1



    • PRS와 학생 모두 [실수는 우발적이었고, 더 이상 반복을 의도적으로 막을 필요가 없다는 의견]인 경우, 참가자들은 학생이 정상적인 교과과정에서의 교육을 계속하였음을 시사했다. 

    • 두 사람이 학생이 [추가 지원이 필요하다고 동의한 경우(예: 지식 격차를 채우거나 특정 기술을 개발하기 위해)], 해당 학생은 교정 조치를 제안받고 2단계가 시작되었다.

    • In the case that both the PRS and student were of the opinion that the lapse was accidental, and there was no further need to prevent repetition, participants indicated that the student continued her or his education in the normal curriculum. 

    • If both agreed that the student needed further support (e.g., to fill in a knowledge gap or to develop certain skills), the student was offered remediation, and phase 2 commenced.


불법행위의 경우 학생이 곧바로 3단계로 이동하는 경우도 있었다. 그러한 즉각적인 해고는 예외적으로 드문 일이었고 극한 사건의 경우에만 고려될 것 같았다.

In the case of unlawful behaviors, the student sometimes immediately moved to phase 3. It seemed that such immediate dismissal was exceptionally rare and would only be considered in the case of an extreme event.


2단계: 재교육

Phase 2: Remediate


이 단계의 목표는 학생들의 [성찰 능력을 향상]시키고, 학생들이 전문성 실수에 기여하는 확인된 [지식, 기술 및 역량의 부족을 극복]하는 것이었다. 따라서, 참여자들은 이러한 문제들이 해결하기 어렵다는 것을 인정했지만, 어려운 개인적 요인이나 실수에 대한 외부적인 기여 요인에 대해서는 개별적인 지원이 제공되었다. 학생과 협력하여 학생의 개인적 필요에 맞춘 개입을 기술하는 재교육 계획을 세웠다. PRS는 재교육 개입을 설계할 때 창의성이 필요함을 설명했고, 구체적인 목표에 맞는 선택지를 고려했다. 

    • 과제: 전문성의 지식 기반을 개선하고 (의사)의사 및 환자 치료에 대한 비전문적 행동의 결과를 명확히 하기 위한 과제 

    • 스킬 훈련: 특정 기술을 개선하고 자신의 수행에 대한 학생의 인식을 높이기 위한 기술 훈련 또는 

    • 일대일 멘토링: 가치관을 가르치고 경험에 대한 지도적 성찰을 제공하기 위한 일대일 멘토링

The goal of this phase was to improve students’ ability to reflect, and for students to overcome identified deficiencies in knowledge, skills, and competencies that contributed to the professionalism lapses. Therefore, individual support was offered for difficult personal factors or external contributing factors for the lapse, although participants acknowledged that these issues were hard to solve. In collaboration with the student, a remediation plan was set up that described interventions tailored to the student’s personal needs. PRSs described creativity in designing remediation interventions, and considered different options, each with its specific goal: 

    • assignments to improve the knowledge base of professionalism and to clarify the consequences of unprofessional behavior for (aspiring) physicians and patient care; 

    • skills training to improve specific skills and create the student’s awareness about own performance; or 

    • one-to-one mentoring to teach values and offer guided reflection on experiences.


이 단계에서 PRS와 교정 교사들은 [지지적 코치]로 묘사되었다. [개선해야 할 시기]와 더불어 [목표에 도달하지 못할 때의 기대와 결과]는 명확하게 제시되었다.

In this phase the PRS and remedial teachers were described as supportive coaches. The expectations and consequences of not reaching the goals were set out clearly, including a time frame in which improvement must be reached:


참석자들은 전문직업성 재교육의 의도하지 않은 효과를 언급했다. 일부 학생들은 '게임을 하는 것'을 보였다. 이는 [프로페셔널리즘의 가치를 내재화하지 않은 채 참가자들이 교육자를 만족시키기 위해 원하는 행동을 보여주는 것]을 의미한다.

Participants mentioned an unintended effect of professionalism remediation. Some students seemed to “play the game,” which was described by the participants as displaying desired behaviors to satisfy their educators, without having internalized the values of professionalism:


이런 종류의 비전문적인 행동은 면접자들에 의해 설명되었지만, 데이터에서 "게이밍" 학생을 어떻게 다룰지에 대한 생각은 나오지 않았다.

This type of unprofessional behavior was described by the interviewees, yet no ideas on how to deal with the “gaming” student came forward from the data.


3단계: 해고를 위한 증거 수집

Phase 3: Gather evidence for dismissal


교정 교육에도 불구하고 문제가 지속되는 것으로 보이거나 학생이 부정직하거나 심지어 불법적인 행동을 보이면 2단계와 3단계 사이의 문턱을 넘었다. 이 경우 환자안전이 위협받는 것으로 간주되었다.

The threshold between phases 2 and 3 was crossed if the problem appeared to persist despite remedial teaching, and if the student displayed dishonest or even unlawful behaviors. In these cases, patient safety was deemed to be threatened:


때때로 참가자들은 자신의 행동이 [의료 환경에서 일하는 것]에 미치는 결과에 대한 통찰력이 부족한 학생을 보고했다. 결과적으로, 그 학생은 직업적 기대치에 도달하려고 하거나 도달할 수 없었다. PRS에 따르면, 이는 [개별화된 재교육에도 불구하고 개선 없이 반복적인 전문직업성 상실]을 초래할 수 있다.

Sometimes participants reported a student lacking insight into the consequences of his or her behavior for working in a medical environment. Consequently, the student was not willing or able to reach the professionalism expectations. According to PRSs, this could result in repetitive professionalism lapses without improvement, despite individualized remedial teaching:


3단계에서 PRS는 추가 교정조치가 더 이상 효과적이지 않을 것이라는 의견이었다.

In phase 3, PRSs were of the opinion that further remediation would not be effective anymore.


다음과 같은 매우 명확한 절차를 통해 해고를 위한 강력한 증거를 확보해야 했다.

Strong evidence had to be obtained for dismissal, through very clear processes:


연구를 계속하기로 결정한 책임은 PRS의 손에 있는 것이 아니라 진급위원회에 있었다진급 위원회는 학생을 해고하는 어려운 결정을 내리는 것을 꺼릴 수 있다.

The responsibility for deciding about continuing the studies was not in the PRS’s hand but, rather, belonged to a promotion committee. Promotion committees could be reluctant to take the tough decision to dismiss a student:


나는 의대를 네 군데 다녔는데 그 모든 학교에서는 문화가 똑같아. 일단 의대에 입학하면 학생들을 해고하는 것을 정말 꺼린다. 의과대학에 있는 것보다 다른 많은 학업 프로그램에서 학생들을 해고하는 것에 대한 거부감이 훨씬 덜하다. (P9)

I’ve been in four medical schools and the culture is the same in all those schools. There’s a real reluctance to dismiss students once they’re admitted to medical school. There’s a lot less reluctance to dismiss students from lots of other academic programs than there is in medical school. (P9)


3단계에서 PRS는 1단계와 2단계에서와는 완전히 다른 역할을 수행한다고 보고하였다. 그들은 의료계의 문지기 노릇을 했다. 그들은 이 역할을 진지하게 받아들였지만, 학생이 의사가 되는 것을 허용해서는 안 된다는 결론을 내리는 것은 어려운 일이었다. PRS는 해고를 정당화하기 위해 의대추진위원회에 정보를 통보해야 했다. 협력자에서 상대방으로 넘어가는 PRS는 학생의 관심사와 의료 및 환자의 관심사 중 하나를 선택하는 데 있어 갈등을 경험했다고 설명했다.

In phase 3, PRSs reported taking up a completely different role than in phases 1 and 2: They became the gatekeepers of the medical profession. Although they took this role seriously, they found it difficult to conclude that a student should not be allowed to become a doctor. PRSs had to notify the medical school promotion committee with information to justify dismissal. Going from collaborator to opponent, PRSs described experiencing a conflict in choosing between the interest of the student and the interest of health care and patients:


또한 참여자들은 교정조치가 [여러 교수들이 나누어 맡아야 하는 부담스러운 과제]라는 점을 인정하였다.

Furthermore, participants acknowledged that remediation is a demanding task that has to be shared among a group of teachers:


내가 15년 넘게 이 자리를 지켜온 슬픈 부분은 내가 아는 각 학교가 이 일을 잘 한다는 것이다. 계속해서 반복적으로 "잘 하는 교수"만 이 일을 맡지 않게 하도록 주의해야 한다. 우선, 그것은 그들을 지치게 한다. 그러면 당신은 이것을 어떻게 하는지 배울 기회가 있을 때 다른 사람들에게 다시 기회를 주는 것이다. (P1)

The sad part of what happens is—I have had this position now for over 15 years—that I find that each school the people I know that are good at this … I have to be careful not to just continually use them repeatedly. First of all, it tires them out. You also then are giving other people opportunity back when there’s opportunity to learn how to do this. (P1)


로드맵 모델

The road map model


자료를 분석하고 관련시키면서 의대생들의 프로페셔널리즘 실수에 대한 참여 과정을 설명하는 로드맵 모델을 개발하게 되었다. 그림 1은 이 로드맵을 그리고 있다.

Analyzing and relating the data prompted us to develop a road map model that describes the process of attending to professionalism lapses of medical students. Figure 1 depicts this road map.




표 2는 각 단계에 깔끔하게 들어맞는 두 가지 예시와 그렇지 않은 두 가지 예시 등 단계별 학생 사례에 대한 참가자의 인용구를 보여준다.

Table 2 shows participants’ quotes delineating examples of student cases per phase: two examples that fit neatly into each phase, and one that does not as well.



고찰 

Discussion


1단계와 2단계 사이의 문턱값은 실수의 인식된 기여 요인에 기초하여 교정 교육이 필요하다는 PRS와 학생의 상호 이해에 의해 결정된다. 교정적 가르침에도 불구하고 계속되는 실수 패턴에서 입증되었듯이 성찰성과 적응성의 부족은 3단계로 진행해야 하는 이유로 보여지며, 따라서 2단계와 3단계 사이에 임계값을 형성한다.

The threshold between phases 1 and 2 is determined by the mutual understanding of the PRS and student that remedial teaching is necessary, based on the perceived contributing factors of the lapse. A lack of reflectiveness and adaptability, as evidenced by an ongoing pattern of lapses despite remedial teaching, is seen as a reason to proceed to phase 3, and thus forms the threshold between phases 2 and 3.



이 연구에서 기존 모델에 추가하는 사항

What this study adds to existing models


우리가 1단계로 지정한 것은 힉슨과 동료들이 제안한 "커피 한 잔" 대화와 유사하다.27 우리의 연구 결과는 1단계 및 2단계에서 재교육 접근방식은 [행동에 대한 기여 요인]과 [학생이 피드백에 어떻게 반응하는가]에 의해 달라진다는 것을 보여준다. 이 발견은 기존 모델이 [전문직업성 실수의 심각성 인식]에 기초하는 대조된다. 또한, 이전의 연구에 따르면, 직업적 결손 때문에 학교를 그만두는 이유로 행동의 심각성을 가장 많이 꼽고 있다. 교정 개입에도 불구하고 학생이 성적 향상을 보이지 않을 경우 교정조치가 확대된다는 것을 확인한다. 원인 불문하고 반복되는 전문성 실수는 3단계를 가리킨다.

What we designate as phase 1 resembles the first phase in all previous models: the “cup of coffee” conversation as proposed by Hickson and colleagues.27 Our findings indicate that in phases 1 and 2, the approach to remediation is guided by the contributing factors for the behavior, and how the student responds to feedback. This finding contrasts with existing models in which the phases are based on the perceived severity of the professionalism lapse.6,8,27–30 Also, according to previous research, severity of the behavior is most often cited as the reason for dismissal from school for professionalism deficits.24 We do confirm that remediation is scaled up if the student does not show improvement of performance, despite remedial interventions: Recurrent professionalism lapses, regardless of the cause, point to phase 3.


이와는 대조적으로, 본 연구의 결과에 따르면, 프로세스의 마지막 단계에서는 [행동의 심각도]와 [원인 요인] 모두 중요하지 않은 것 같다. 우리는 학생의 [통찰력 부족]과 [개선 결여]가 마지막 3단계로 가는 문턱을 결정한다는 것을 발견했다. 학생이 [성찰성]과 [적응성]의 발전된 모습을 보여주지 않으면, 더 이상 실천 공동체의 문화에 흡수되지 않을 것이다. 이것은 해고로 이어질 수 있다. 이러한 결과는 기존 모델에 추가된다.6,8,27–30

In contrast, according to the findings in our study, in the last phase of the process neither the severity of the behavior nor causal factors seem to be important. We found that a student’s lack of insight and improvement determines the threshold to the last phase. If a student does not show progress in reflectiveness and adaptability, she or he will no longer be absorbed into the culture of the community of practice. This can lead to dismissal. These findings add to existing models.6,8,27–30


Kalet과 동료 37은 재교육이 교과과정의 일부가 되어야 한다고 주장하는데, 이는 우리의 연구 결과에 의해 뒷받침된다. 교정조치 전략은 2단계에서 적용되는 바와 같이 본질적으로 일반적인 교수법과 다르지 않다. 차이점은 PRS가 "평균 이상의" 기술을 가져야 한다는 것이다. 본 연구의 PRS 참여자들은 재교육은 (상당한 에너지를 소비하는 일이기 때문에0, [재교육을 하는 교사들은 정성들여 뽑아야 하고, 이들에게 서포트를 제공해야 하는 까다로운 과제]라는 것을 확인했다.1 분명히, 교수진들은 그들의 경험을 공유하고 의과대학에서의 전문성을 향상시키기 위해 함께 일함으로써 이익을 얻을 수 있다.2

Kalet and colleagues37 advocate that remediation should be a part of the curriculum, which is supported by the findings of our study. Remediation strategies, as applied in phase 2, do not in essence differ from normal teaching methods. The difference is that the PRS needs to have “above average” skills. PRS participants in this study confirmed that remediation is a demanding task for which they need to handpick teachers, and give support to these individuals because their work can be energy consuming.1 Clearly, faculty could benefit from working together to share their experiences and improve expertise in the medical school.2


정상적인 교육과정에 맞춰, 참가자들은 때때로 학생들의 "시스템 길들이기" 행동에 주목했는데, 이는 학생들이 [부족한 전문직업적 가치를 통합하지 않은 상태로 교수가 기대하는 행동만을 보이는 것]을 의미한다. 아마도, 행동과 직업적 발달에 초점을 맞추면 전통적 미덕에 대한 관심이 감소될 수 있다.26 이 발견은 직업적 가치의 지식 기반이 기초라는 것을 확인하고, 그러한 행동을 예방하기 위해 학생들의 직업적 가치를 향상시키기 위한 활동과 결합되어야 한다는 것을 확인한다.5,6

Congruent to the normal curriculum, participants sometimes noticed “gaming the system” behavior by their students, meaning that students show desired behaviors without having incorporated the lacking professional values. Possibly, the focus on behaviors and professional development diminishes the attention for traditional virtues.26 This finding confirms that the knowledge base of professionalism values is foundational, and that skills training has to be combined with activities to improve the student’s professionalism values to prevent such behavior.5,6


단계와 실천 공동체

The phases and the community of practice


놀라운 통찰력은 서로 다른 교정조치 단계를 실행 커뮤니티의 프레임워크를 사용하여 전문성 결여에 대한 참여에 더 많은 통찰력을 추가하기 위해 해석할 수 있다는 것이었다.38

A surprising insight was that the different remediation phases could be interpreted using the framework of communities of practice to add further insights to attending to professionalism lapses.38


의료행위를 실천의 공동체로 본다면 의대에서 학생의 여정은 [합법적인 주변 활동]에서 [완전한 참여와 성원권]으로 진행되어 공동체의 핵심에 점점 더 가까워진다. 전문적 행동은 핵심인 경쟁력 있는 의사들에 의해 실행된 공동체의 공통 가치로 볼 수 있다. 그러나 비전문적인 행동은 공동체의 기준이 될 수 없으며, 학생이 지역사회로의 여정에 도움이 필요하다는 신호가 될 수 있다.

If we view medical practice as a community of practice, the student journey at the medical school progresses from legitimate peripheral activities to full participation and membership, coming closer and closer to the core of the community. Professional behavior can be seen as a common value of the community, practiced by those in the core—competent physicians. Unprofessional behavior, however, is not the standard in the community, and can be a signal that a student needs help in his or her journey into the community.


우리의 3상 모델에서, 1단계는 학생이 아직 공동체의 참여 과정에 있다고 가정한다. 프로페셔널리즘에 실수가 있었지만, 학생에게 친절하고 개방적이며 지지적으로 접근해야 한다. 교정조치에 관여하는 개인은 학생들을 지역사회에 포함시키기 위해 일치된 노력을 기울이며, 그들의 역할은 관심 있는 교사나 동료 중 한 명이다.

In our three-phase model, the first phase assumes that the student is still in the process of joining the community. There has been a lapse in professionalism, yet the approach to the student is friendly, open, and helping. The individuals involved in remediation make a concerted effort to include students into the community, and their role is one of a concerned teacher or colleague.


2단계에서는 학생이 지역사회에서 머물기 위한 기술을 기꺼이 개발하고 발전시킬 수 있다는 것을 증명할 필요가 있기 때문에, 의도성이 서서히 변화해 가는 것처럼 보인다. 학생들을 다시 실습 커뮤니티로 안내하기 위해 참가자들은 멘토링과 역할 모델 매칭의 형태에 대해 언급했다. 우리의 로드맵은 실제로, 그 학생이 여전히 지역사회에 머무를 수 있는 자격이 있다고 접근하는 것이 목표지만, 그 자격을 부여받을 조건이 생기는 것이며, 그 학생은 그 조건을 충족시킬 필요가 있다는 것을 분명히 보여주고 있다.

In the second phase, the intention seems to slowly shift, as in this phase the student needs to prove that he or she is willing and able to develop the skills to stay in the community. To steer the student back onto the journey into the community of practice, participants mentioned forms of mentoring and matching the student to role models. Our road map shows that indeed, while the goal is to approach the student as still being eligible for staying in the community, conditions are being laid out, and it is made clear that the student needs to meet the requirements.


그러나 3단계에서는 학생이 더 이상 주변으로부터 중앙으로 이동하지 않고, 예상된 관행을 따르지 않음으로써 다른 방향으로 이동한다. 이 단계에서는 의료계의 핵심 가치들이 위협받고 있다. 이것이 우리가 역과정의 시작을 볼 수 있는 부분이다: 이 단계의 노력은 해당 학생을 실천 공동체로부터 이끌어내기 위한 것이다.

In phase 3, however, the student no longer moves from the periphery to the center, but in the other direction, by not adhering to the expected practices. In this phase, core values of the medical community are threatened. This is where we see the initiation of a reverse process: Effort is put into guiding the student out of the community of practice.



함의 Implications


실천 공동체의 개념에 따르면, 한 개인을 공동체의 핵심으로 끌어들이기 위해서는 사회적 관계가 중요하다.38 재교육이 정규 교육적 맥락 밖에서 이루어질 때, 그것은 학생의 고립을 초래할 수 있다. 이것은 학생들이 지역사회에 들어가는 것을 더욱 어렵게 만들 수 있다. 이는 교정조치 궤적 중 다른 학습자 및 교육자와의 연결 필요성에 주의를 기울여야 함을 의미한다.

According to the concept of communities of practice, social relations are important to bring an individual into the core of a community.38 When remediation takes place outside the regular educational context, it can lead to isolation of the student. This can make it even more difficult for the student to enter the community. This implies that, during remediation trajectories, attention should be given to the need for connection with other learners and educators.


맥락은 행동에 영향을 미치며, 이 연구에서 다시 확인되었다.15–17 PRS는 전문직업성 실수에 대한 맥락적 기여 요인에 대해 정보를 제공받고, 그들은 의대생의 향후 실책을 예방하기 위해 제도적 문화를 변화시키는 데 그 정보를 사용할 수 있다.

Context influences behavior, which is confirmed again in this study.15–17 PRSs are informed about contextual contributing factors for professionalism lapses, and they can use that information to make changes in the institutional culture to prevent medical students’ future lapses.


한계 Limitations


게다가, 미국에서 의학을 공부하는 것에 대한 사법적, 재정적 측면들이 다른 나라들과 다른 경우, 그 발견은 미국에 특정적이며 다른 맥락에서 시험되어 다른 나라에 일반화되도록 할 필요가 있다.

Furthermore, where judicial and financial aspects of studying medicine in the United States differ from those in other countries, the findings are specific for the United States and need to be tested in other contexts to make them generalizable to other countries.


Future investigations


Conclusions











. 2019 Apr;94(4):570-578.
 doi: 10.1097/ACM.0000000000002537.

A Road Map for Attending to Medical Students' Professionalism Lapses

Affiliations 

Affiliation

  • 1M.C. Mak-van der Vossen is general physician, coordinator of professional behavior, and PhD student, Department of Research in Education, VUmc School of Medical Sciences, Amsterdam University Medical Centers, Amsterdam, The Netherlands; ORCID: https://orcid.org/0000-0001-7810-6575. A. de la Croix is assistant professor, LEARN! Academy, Vrije Universiteit, and researcher, Department of Research in Education, VUmc School of Medical Sciences, Amsterdam University Medical Centers, Amsterdam, The Netherlands. A. Teherani is professor of medicine and education researcher, Center for Faculty Educators, School of Medicine, University of California, San Francisco, San Francisco, California. W.N.K.A. van Mook is internist/intensivist, Department of Intensive Care Medicine, postgraduate dean, Maastricht University Medical Center, and professor of medical education, Maastricht University, Maastricht, The Netherlands. G. Croiset is professor of education and training, Health and Life Sciences, and dean of education and training, University Medical Center Groningen, Groningen, The Netherlands. R.A. Kusurkar is associate professor of medical education and head, Department of Research in Education, VUmc School of Medical Sciences, Amsterdam University Medical Centers, Amsterdam, The Netherlands; ORCID: https://orcid.org/0000-0002-9382-0379.

Abstract

Purpose: To develop a road map for educators attending to medical students' professionalism lapses, aiming to offer an empirical base for approaching students who display such lapses.

Method: Between October 2016 and January 2018, 23 in-depth interviews with 19 expert faculty responsible for remediation from 13 U.S. medical schools were conducted about the way they handle students' professionalism lapses. Three researchers independently completed three rounds of coding. Data collection, coding, and analysis were performed in a constant comparative process. A constructivist grounded theory approach was used to develop an explanatory model for attending to students' professionalism lapses.

Results: Based on participants' descriptions, the authors developed a three-phase approach for attending to professionalism lapses. In phase 1, experts enacted the role of concerned teacher, exploring the lapse from the student's perspective. In phase 2, they functioned as supportive coach, providing feedback on professionalism values, improving skills, creating reflectiveness, and offering support. In phase 3, if the student did not demonstrate reflectiveness and improvement, and especially if (future) patient care was potentially compromised, participants assumed an opposite role: gatekeeper of the profession.

Conclusions: An explanatory model for attending to professionalism lapses that fits in the overarching "communities of practice" framework was created. Whereas phase 1 and 2 aim at keeping students in the medical community, phase 3 aims at guiding students out. These findings provide empirical support to earlier descriptive, opinion-based models and may offer medical educators an empirical base for attending to students who display professionalism lapses.


전문직업적 역량과 정체성 발달 및 비전문직업적 행동을 재교육을 위한 실용적 프레임워크(Med Teach, 2019)

A practical framework for remediating unprofessional behavior and for developing professionalism competencies and a professional identity

Pieter C. Barnhoorna, Mirjam Houtlosserb, Marleen W. Ottenhoff-de Jongea, Geurt T. J. M. Essersc, Mattijs E. Numansa and Anneke W. M. Kramera





도입

Introduction


비전문적 의사 행동은 환자-의사 관계뿐만 아니라 환자 안전 및 의료 품질에도 영향을 미친다(Hickson et al. 2002; Rosenstein 2011, 2015). 학부 및 대학원 의과대학에서의 비전문적 행동과 의사가 된 이후에서의 비전문적 행동 사이에 명확한 연관성이 연구 결과 드러나면서 의료실무에서의 전문적 행동에 대한 관심이 탄력을 받게 되었다(파파다키스 외). 2004, 2005, 2008). 이러한 연관성은 가능한 한 일찍 비전문적인 행동을 다루는 것의 중요성을 강조한다.

Unprofessional physician behavior affects patient–doctor relationships as well as patient safety and quality of care (Hickson et al. 2002; Rosenstein 2011, 2015). Interest in professional behavior in medical practice gained momentum when research showed a clear association between unprofessional behavior in undergraduate and postgraduate medical school and unprofessional behavior in later practice (Papadakis et al. 2004, 2005, 2008). This association underscores the importance of addressing unprofessional behavior as early as possible.


비록 소수의 학생들만이 비전문적인 행동을 보이지만(Mak-van der Vossen et al., 2016; Barnhoorn et al. 2017), 비전문적인 행동은 환자와 의료전문직에 대한 그들의 신뢰에 해를 끼칠 수 있다(Hickson et al. 2002; Rosenstein 2011, 2015; Ellaway et al. 2017). 그러나 비전문가의 평가와 행동 교정조치는 여전히 어려운 과제로 남아 있다.

Although only a small number of students display unprofessional behavior (Mak-van der Vossen et al. 2016; Barnhoorn et al. 2017), unprofessional behavior can harm patients and their trust in the medical profession (Hickson et al. 2002; Rosenstein 2011, 2015; Ellaway et al. 2017). However, assessment and behavior remediation of unprofessional remain difficult tasks


박스 1

(Box 1).


상자 1. 의대생이 전문 행동 위원회에 회부되었다.

Box 1. A medical student referred to the professional behavior board.


Sara는 22세의 의대 학생으로, 의대 전문 행동 위원회에 회부되었다. 간단한 소개서에는 "의사가 되기 위한 올바른 역량의 부족"이 언급되어 있다. 담당 의사에게 전화 한 통을 받은 결과, 산부인과에서 일하는 동안 그녀의 상사들이 사라에게 "너무 적게 참여한다"거나 심지어 "일부 동안 어딨는지 알 수 없다"는 피드백을 줬다는 사실이 밝혀졌다. 반복된 피드백에도 불구하고, 사라는 계속 표준 이하로substandardly 출석했는가? 전문 행동 위원회의 두 멤버와의 회의에서, 사라는 왜 주어진 피드백에 따라 행동하지 않았는지 물었다. 그녀는 대답하였다. "나는 내가 할 수 있는 곳이면 어디든지 임상실습 일에 참여하려고 한다. 하지만 박사 과정으로 인해 시간을 효율적으로 보내야 하기 때문에 앞으로의 진로와 관련된 부분만 참석할 계획이라고 말했다.

Sara is a 22-year-old medical student who has been referred to the professional behavior board of her medical school. The brief referral letter mentions a “lack of the right competencies to become a doctor”. A phone call to the referring doctor reveals that her supervisors during the clerkship gynecology have given Sara feedback on “participating too little” or even “being untraceable for parts of the day”. Despite repeated feedback, Sara continued to participate substandardly? In a meeting with two members of the professional behavior board, Sara asked why she did not act upon the given feedback. She answered: “I try to participate in the clerkships wherever I can. But due to my PhD trajectory I have to spend my time efficiently, so I plan to attend only the parts of the clerkship that are relevant for my future career”.



비전문적 행동의 교정조치는 전문성에 대한 서로 다른 관점과 이러한 관점을 연결하는 어려움으로 인해 방해받는다(Birden et al. 2014; Irby and Hamstra 2016; Smith et al. 2017). 최근까지 전문성 담론에서는 두 가지 관점이 두드러졌다.

The remediation of unprofessional behavior is hampered by the different perspectives on professionalism and by difficulties in bridging these perspectives (Birden et al. 2014; Irby and Hamstra 2016; Smith et al. 2017). Until recently, two perspectives were prominent in the professionalism discourse.


한편으로, 우리는 실용적이지만, [전문적 행동]에 대한 좁은 초점을 발견한다. 그러나 [행동에 대한 초점]은 관찰과 평가가 가능하고 바람직한 행동에 대한 기대는 비교적 쉽게 설정할 수 있다는 장점이 있다(Barnhoorn과 van Mook 2015).

On the one hand, we find a pragmatic, but narrow focus on professional behavior. The focus on behavior, however, has as the advantage that it can be observed and assessed and expectations for desirable behavior can be set relatively easily (Barnhoorn and van Mook 2015).


한편, 성격 특성, 태도, 미덕 및 가치관(반 묵, 드 그레이브, 등)을 언급하면서 전문성에 중점을 두는 경우도 있다. 2009; 반 무크, 반 루이크, 기타. 2009; Banhoorn 및 Van Mook 2015). 이 두 번째 초점은 학생들에게 동기를 부여하고 영감을 주는데 도움이 되지만, 평가하기는 어렵다(Barnhoorn and van Mook 2015; Irby and Hamstra 2016).

On the other hand, there is a focus on professionalism, referring to character traits, attitudes, virtues and values (van Mook, de Grave, et al. 2009; van Mook, van Luijk, et al. 2009; Barnhoorn and van Mook 2015). This second focus helps to motivate and inspire students, but it is difficult to assess (Barnhoorn and van Mook 2015; Irby and Hamstra 2016).


두 관점 모두 전문의가 되는 과정의 중요한 측면을 포착하지만, 두 관점 모두에서 빠진 것은 [전문직이 되는 과정]에 대한 보다 넓은 관점이다(Holden et al. 2015). 따라서 초점은 "전문적 정체성 형성"(PIF)의 관점으로 옮겨갔다. PIF는 "오랜 시간에 걸쳐 단계적으로 달성되는 자아상representation으로서, 의료계의 특성, 가치관, 규범이 내면화 되어 개인이 의사처럼 사고, 행동, 느낌을 갖게 되는 것"을 형성하는 과정으로 정의할 수 있다(Cruess et al. 2014).

Both perspectives capture important aspects of the process of becoming a professional physician, but what is missing in both is a broader view on the process of developing into a professional (Holden et al. 2015). The focus, therefore, shifted to the perspective of “Professional Identity Formation” (PIF). PIF can be defined as the process of forming “a representation of self, achieved in stages over time during which the characteristics, values, and norms of the medical profession are internalized, resulting in an individual thinking, acting and feeling like a physician” (Cruess et al. 2014).


여러 저자들이 서로 다른 관점의 요소들을 결합하는 비전문가적 행동을 다루기 위한 프레임워크를 제안했다.

Several authors have proposed frameworks to address unprofessional behavior that combine elements from the different perspectives


프레임워크는 행동, 태도, 프로세스 요소를 기술하지만, 이들 요소 사이의 상호관계를 탐구하는 것은 없다.

The frameworks describe behavior, attitude, and process elements, but none explores the interrelationship between these elements.


행동, 태도 또는 과정 중 어느 한쪽의 관점을 넘어 비전문적인 행동을 논하기 위해서는 종합적인 프레임워크가 필요하다(Boileau et al. 2017). 이런 틀의 부재는 교사들에게 비전문적인 행동을 효과적으로 다루기엔 역부족이라는 인식을 심어준다.

A comprehensive framework is needed to discuss unprofessional behavior beyond the perspective of either behavior, attitude, or process (Boileau et al. 2017). The absence of such a framework feeds the perception of teachers that they are ill-equipped to address unprofessional behavior effectively.


다수준 프로페셔널리즘 프레임워크

The multi-level professionalism framework


다단계 전문성 프레임워크가 성찰과 발전의 틀이 될 수 있는 만큼 다양한 직업, 특히 의료계, 의료교육에 있어 가치가 있을 것으로 기대한다. 코타겐은 환경, 행동, 역량, 신념, 정체성, 그리고 모델의 중심에서 미션(코타겐 2004)의 6단계로 구성된 모델을 개발했다. 이 모델은 좋은 교사의 본질적인 자질이 행동이나 역량의 측면에서만 설명되어야 하는 것이 아니라, 더 많은 측면을 고려해야 한다는 것을 보여준다. 예를 들어, 역량은 행동의 잠재력으로 볼 수 있지만, 어떤 역량이 실행에 옮겨질 것인지는, 어떻게 옮겨질 것인지는 환경에 의존적이다 (Kortagen 2004).

We expect the multi-level professionalism framework to be of value for various professions, in particular for the medical profession, and medical education, as it can serve as a framework for reflection and development. Korthagen developed a model consisting of six levels: environment, behavior, competencies, beliefs, identity, and, at the model’s center, mission (Korthagen 2004). The model shows that the essential qualities of a good teacher should not only be described in terms of behavior or competencies; more aspects should be taken into account. Competencies, for example can be seen as potential for behavior, but which competencies will be put into practice and how depends on the environment (Korthagen 2004).


(see Figure 1),



환경: 여기가 어디지?

Environment: Where am I?


환경 수준이란 의대생이 생활하고 일하고 배우는 다양한 맥락과 그 행동에 영향을 미치는 상황을 말한다. 의학 교육의 영역 내에서, 그것은 다음의 두 가지이다.

[학술적academic 학습 환경] (숨겨진 커리큘럼과 공식적인 커리큘럼), 그리고 

[임상적 환자 관련 환경]이다(Hafferty 1998; Franco et al. 2017; Hawick et al. 2017). 

[학생의 개인 환경]은 가정에서의 문제, 신체적 또는 정신 질환, 개인 이력 등 자신의 사생활과 상황을 가리킨다(Mak-van der Vossen et al. 2016). 이것들은 학생의 행동과 발전에 영향을 미친다. 

The environment level refers to the diverse contexts in which the medical student lives, works and learns, and which influence his or her behavior. Within the realm of medical education, it describes the academic learning environment: both the hidden and the formal curriculum, as well as the clinical, patient-related environment (Hafferty 1998; Franco et al. 2017; Hawick et al. 2017). The personal environment of the student refers to his or her personal life and circumstances, such as problems at home, physical or mental illness and personal history (Mak-van der Vossen et al. 2016). These influence the student’s behavior and development. 


따라서, 환경은 또한 좁든 넓든 방식으로 학생의 전문적인 수행에 지대한 영향을 미칠 수 있다. 학생의 행동은 상황, 즉 환경이 해석에 포함될 때만 이해할 수 있다(Kortagen 2004; Jha et al. 2016; Franco et al. 2017; Mason 2017).

Therefore, the environment can also have a profound influence on a student’s professional performance, both in a limiting and an expanding way. Student behavior can only be understood when the context, i.e. the environment is included in the interpretation (Korthagen 2004; Jha et al. 2016; Franco et al. 2017; Mason 2017).


행동: 내가 뭘 하는 거지?

Behavior: What am I doing?


행동 수준의 초점은 [학생의 퍼포먼스]로, 직접 관찰하고 평가할 수 있다. 실제 환자와의 만남은 물론 학생과 교직원, 학생과 또래와의 만남이 이뤄지는 것도 이 정도 수준이기 때문에 행동이 많은 관심을 끈다. 환경과는 별개로 행동이란 [(프레임워크의 내면에 표현되어 있는) 사람 내부의 다양한 힘]에 의해 동기가 부여된다.

The focal point at the behavioral level is the performance of the student, which can be directly observed and assessed. Behavior attracts much attention, because it is at this level that actual patient encounters take place, as well as encounters between students and faculty, and students and peers. Apart from the environment, behavior is motivated by various forces within the person, which are represented in the inner circles of the framework.


역량: 내가 무엇을 할 수 있을까?

Competencies: What can I do?


역량은 전문적 행동을 가능하게 하는 지식, 기술 및 태도의 통합체로 정의할 수 있다(Stoof et al. 2002). 이들은 의료 교육 분야에서 확고한 기반을 얻었다(Hunderfund et al. 2017). 마찬가지로 전문성 프로그램도 역량 측면에서 편성되는 경우가 많다(Royal College of Occessors and Occessors in Canada 2017). 역량은 행동과 밀접하게 연관되어 있으며 행동의 잠재력을 나타낸다. 그러나 역량이 실행에 옮겨질지는 무엇보다도 상황이나 환경, 그리고 기초적인 신념, 가치관, 정체성, 미션에 달려 있다. 학생들은 자신의 행동을 당면한 상황에 맞출 수 있도록 자신의 역량을 언제, 어떻게 실천에 옮겨야 하는지에 대한 성찰이 필요하다.

Competencies can be defined as an integrated body of knowledge, skills, and attitudes (Stoof et al. 2002) that make professional behavior possible. They have gained a strong basis in medical education (Hunderfund et al. 2017). Likewise, professionalism programs are often formulated in terms of competencies (Royal College of Physicians and Surgeons in Canada 2017). Competencies are closely connected to behavior, they represent a potential for behavior. However, whether competencies are put into practice depends, the among other things, on circumstances or environment, and on underlying beliefs, values, identity, and mission. Students need to reflect on when and how to put their competencies into practice, in order to be able to match their behavior to the situation at hand.


신념과 가치: 내가 뭘 믿어?

Beliefs and values: What do I believe in?


믿음과 가치관의 수준은 의대생이 [의료전문직]과 [그 안에서의 자신의 위치]와 관련하여 가지고 있는 개념과 신념을 다룬다. 예를 들어, 학생들은 [질병에 초점을 맞춘 신념]이나 [좀더 환자 중심적인 믿음]을 가질 수 있다. 학생들이 가지고 있는 신념은 특정 역량을 개발하려는 학생의 동기에 영향을 미친다

    • 의학전문가의 핵심 역할이 질병 치유라고 믿는 학생이 있다면 기술역량 개발에 집중하는 경향이 있을 것이다. 

    • 학생이 대신 환자를 돌보는 것이 의학의 중심이라고 믿는다면 의사소통 역량을 키워야 할 강력한 동기를 기대할 수 있다. 

The level of beliefs and values deals with the conceptions and convictions a medical student holds true regarding the medical profession and his or her place in it. For instance, students can adopt a disease-focused belief or a more patient-focused belief. The beliefs students hold influence a student’s motivation to develop certain competencies: 

    • If a student believes that the main role of the medical professional to be curing disease, there will be a tendency to focus on developing technical competencies. 

    • If a student instead believes caring for patients is central to medicine, a strong motivation to develop communication competencies can be expected. 


하지만, 반대로 행동과 역량은 학생들의 믿음에 영향을 미친다. 예를 들어, 의사소통 능력을 개발하는 것은 학생의 면접 방식을 더 효과적일 뿐만 아니라, 의사소통에 대한 기본적인 믿음을 바꿀 수도 있다. 예를 들어, 따뜻하고 공감하는 것뿐만 아니라, 어떤 경우에는 커뮤니케이션이 약을 처방하거나 수술을 하는 것보다 더 효과적일 수 있다.(Jenkins and Fallowfield 2002).

However, also the other way around, behavior and competencies influence student’s beliefs. For example developing communication competencies does not only make the student’s interviewing style more effective, it may also alter underlying beliefs about communication, for instance that it is not only about being warm and empathetic, but also that in some instances in medical care communication may be more effective than prescribing pills or operating (Jenkins and Fallowfield 2002).


정체성: 나는 누구인가?

Identity: Who am I?


정체성은 [직업의 특성, 가치관, 규범을 포함하여 특성, 가치관, 규범 측면에서 자신을 정의하는 방식]이라고 설명할 수 있다(Kortagen 2004; Cruess et al. 2014). 예를 들어 '나는 누구인가', '나는 어떤 의사가 되고 싶은가' 등의 질문에 성찰을 하면서 자신에 대해 더 많이 배울수록 자신의 정체성이 행동에 어떤 영향을 미치는지 더 잘 알게 된다. 정체성 평가에 대한 상세한 가이드는 베보, 파버랑겐덴(2014년)이 제공했다.

Identity can be described as the way one defines oneself in terms of characteristics, values, and norms, including the characteristics, values, and norms of the profession (Korthagen 2004; Cruess et al. 2014). The more students learn about themselves, for example by reflecting on questions such as “who am I?” and “what kind of doctor do I want to be?”, the more they are aware of how their identity influences their behavior. A detailed guide for the assessment of identity has been provided by Bebeau and Faber-Langendoen (2014).


사명: 왜 내가 하는 일을 하지?

Mission: Why do I do what I do?


여기서 문제는 무엇이 한 학생으로 하여금 지금 하는 일을 하게 만드느냐는 것이. 사명 레벨은 '의사가 되고 싶은 목적이 무엇인가' '의사로서 나의 개인적인 소명은 무엇인가' 등 고도의 개인적인 질문에 대한 대답에 관한 것이다. 코스타겐에 따르면, 이 수준은 사람들의 원동력driving force을 묘사한다; 우리가 지금 하는 일을 하도록 움직이게 하는 것은 내면 깊은 곳의 무엇일까. 그것은 더 큰 전체 안에서 자신의 존재에 의미를 부여한다(Kortagen 2004). 미션과 정체성의 차이점은, 정체성이 의대생의 자아상self-image에 대한 것이라면, 미션은 의대생이 다른 사람과의 관계에 있어서 자신의 역할을 무엇으로 보는가에 관한 것이다.

The question here is what moves a student to do what he or she does. The mission level is about answers to highly personal questions, such as “to what end do I want to become a doctor?” and “what is my personal calling as a doctor?”. According to Korthagen, this level describes people’s driving force; what is it deep inside us that move to do what we do. It gives meaning to one’s own existence within a larger whole (Korthagen 2004). The mission level differs from the identity level in that refers to medical students’ self-image, whereas the mission level is about what role the medical student sees for himor her-self in relation to others.


재교육에 다수준 전문직업성 프레임워크 적용

Applying the multi-level professionalism framework to remediation


이제 우리는 다단계 전문성 프레임워크가 어떻게 의료 교육자들이 학생들을 전문적 행동의 발달에 지원하도록 도울 수 있는지 알아보기 위해 이 사례를 다시 살펴본다.

We now revisit the case in order to explore how the multilevel professionalism framework can help medical educators to support students in developing professional behavior.


사건 재조사 1 

The case revisited 1 


새라의 행동(참여 부족)은 선생님들에게 인정받지 못했다. 그녀가 미래의 의사를 위한 올바른 능력이 부족하다고 말함으로써, referring doctor는 "미래 의사를 위한 올바른 능력"과 같은 것이 있다는 것을 암시한다. 그러나 사라는 자신이 어디로 가고 있는지 이미 알고 있기 때문에 임상실습의 모든 부분에 참여할 필요는 없다고 생각한다.

Sara’s behavior (her lack of participation) was not appreciated by her teachers. By stating that she lacks the right competencies for a future doctor, the referring doctor implies there is such thing as the “right competencies for a future doctor”. Sara, however, believes she does not need to participate in every part of the clerkship, knowing already where she is heading.


이번 논의는 다단계 전문성 프레임워크(Box 3)를 활용해 구성된다.

This discussion will be structured using the multi-level professionalism framework (Box 3).


사건 재조사 2 

The case revisited 2 


위원회는 우선 비전문가로 낙인찍힌 행동에 대해 사라와 합의를 볼 필요가 있었다. 사라는 대부분의 임상실습중 많은 부분이 그녀의 흥미를 끌지 못한다는 것과 그녀가 놓칠 수 있을 때 안과에서 박사학위 궤적을 연구한다는 것에 동의한다. 

  • 환경과 관련하여, 사라씨는 몇몇 전문가들이 임상 전 기간 동안의 강의에서 최고점에 도달하기 위해 초점의 중요성을 강조했다고 말한다. 

  • 그녀는 "만약 목표가 있다면, 그것을 고수하라!"라는 자신의 모토를 따라 산다. 게다가, 사라는 자신이 좋은 의사가 되기 위해 필요한 기본적인 능력을 이미 갖추고 있다고 생각한다. 

  • 그녀는 자신에게 있어 [대부분의 임상실습은 불필요한 존재]라는 믿음을 공유하고 있다고 말한다. 결국, 그녀는 자신이 무엇이 되고 싶은지 이미 알고 있고, 박사 학위 취득에 시간을 보내는 것이 낫다고 믿고 있다. 

  • 궁극적으로 위원회는 사라의 전문직업적 정체성에 대해 이야기하기를 원했다. '어떤 의사가 되고 싶으냐'는 질문에 대한 새라의 대답은 [안과의 절대적 정상]에 오르고 싶다는 것이다. 

  • 사명의 차원에서 사라는 '왜 일류 안과 의사가 되고 싶은가'라는 질문에 초특급 안과의 사회적 지위가 자신에게 어필하며 안과의 실용적이고 기술적인 측면이 자신이 선호하는 주요 이유라고 말한다.


The board first needed to reach consensus with Sara about the behavior that has been labeled as unprofessional. Sara agrees that large parts of most clerkships do not interest her, and that, when she can be missed, she works on her PhD trajectory in ophthalmology. 

  • Concerning the environment, Sara says that several specialists, in their lectures during her pre-clinical years, as well as supervisors during some clerkship stressed the importance of focus in order to reach the top. 

  • She lives by her motto: “If you have a goal, stick to it!” Besides, Sara thinks she already possesses the basic competencies needed to become a good doctor. 

  • She says she shares the belief that most of the clerkships, for her, are redundant. After all, she already knows what she wants to become and believes that she better spend her time on her PhD trajectory. 

  • Ultimately, the board wanted to talk to Sara about her professional identity. Sara’s answer to the question “what kind of doctor do you want to become?” is that she wants to reach the absolute top in ophthalmology. 

  • At the level of mission, when asked “why do you want to become a top ophthalmologist?”, Sara states that the societal status of a superspecialist appeals to her and that the practical and technical aspects of ophthalmology are the main reasons for her preference.


고찰 

Discussion


최근 의학교육 목표를 전문직업성을 가르치고 평가하는 것에서 전문직 정체성 형성으로 바꾸자는 제안도 비전문적 행동이 어떻게 다뤄질지 시사하는 바가 있다(Cruess et al. 2014). 비전문가적 행동의 교정조치는 다르게 접근될 수 있지만 여전히 도전적인 것으로 남을 것이다(Bebeau 및 Faber-Langendoen 2014; Arnold et al. 2016). 행동, 태도 또는 프로세스 기반에 관계없이 프로페셔널리즘에 대한 각각의 일반적인 관점은 비프로페셔널한 행동을 다르게 보고 결과적으로 서로 다른 교정조치 전략을 권고한다(Irby와 Hamstra 2016).

The recent proposal to change the goals of medical education from teaching and assessing professionalism to the formation of a professional identity also has implications for how unprofessional behavior will be addressed (Cruess et al. 2014). Remediation of unprofessional behavior can be approached differently, but will remain challenging (Bebeau and Faber-Langendoen 2014; Arnold et al. 2016). Each of the prevailing perspectives on professionalism, whether behavior-, attitude-, or process-based, views unprofessional behavior differently, and consequently, different remediation strategies are recommended (Irby and Hamstra 2016).


[행동 기반 관점]에서 보면, 의학교육의 목표는 [전문적으로 행동하는, 사회에 유능한 의사]를 전달하는 것이다. 행동은 측정할 수 있는 것으로 보이며, 의대생의 행동이 비전문적이라고 판단되면 교정조치가 적용된다. 여기에는 종종 행동 식별, 행동 논의, 교정조치 계획 수립, 교정조치 계획 준수 여부 모니터링이 포함되며 때로는 보호관찰 또는 학생의 해고를 포함한다(Domen 2014; Irby and Hamstra 2016; Banhoorn et al. 2017).

From the behavior-based perspective, the goal of medical education is to deliver competent doctors to society who behaves professionally. Behavior is seen as measurable, and if behavior of a medical student is judged as unprofessional, remediation is applied. This often involves identifying behavior, discussing behavior, developing a remediation plan, monitoring compliance to the remediation plan and sometimes includes probation, or the dismissal of the student (Domen 2014; Irby and Hamstra 2016; Barnhoorn et al. 2017).


[태도 기반 관점]에서 의료 교육의 목표는 좋은 의료 실천에 필요한 덕목과 가치를 기르는 것이다. 미덕과 가치는 측정하기 어렵다. 프로페셔널하지 못한 행동의 경우 교정조치는 성찰 과제와 피드백을 포함한다(Irby and Hamstra 2016).

From the attitude-based perspective, the goal of medical education is fostering the virtues and values needed for good medical practice. Virtues and values are difficult to measure. In case of unprofessional behavior, remediation involves reflection assignments and feedback (Irby and Hamstra 2016).


[프로세스 기반 관점]에서 의료 교육의 목표는 전문적 정체성의 형성이다(Cruess et al. 2014). 이러한 전문적 정체성은 시간 경과에 따라 단계적으로 달성된다(Cruess et al. 2014). 프로답지 못한 행동은 다음 발달 단계로 나아가는 데 실패한 것으로 볼 수 있다. 이러한 관점에 따르면 교정조치는 발달 단계에 맞게 조정되어야 하며, 학생들이 "그들이 누구인지, 그들이 누가 되고 싶은지 알아내기 위해" 지속적이고 오랜 시간에 걸쳐 도움을 필요로 한다(Cruess et al. 2014).

From the process-based perspective, a goal of medical education is the formation of a professional identity (Cruess et al. 2014). This professional identity is achieved over time, in stages (Cruess et al. 2014). Unprofessional behavior can be seen as a failure to progress to the next developmental stage. According to this perspective, remediation must be tailored to the developmental stages, and involves helping students, continuously and over a long period of time, “to find out who they are, who they are becoming and who they wish to become” (Cruess et al. 2014).


그러나 다단계 전문성 프레임워크는 전문성에 대한 서로 다른 관점을 연결시키는 데 있어서 독특한 것은 아니다. 크루세스 외 행동 기반 관점을 밀러의 "수정된 피라미드"(Cruess, Cruess, Steinert, et al. 2015)에서 PIF-persentive와 연결했다. 그들은 원래의 피라미드 외에도 피라미드의 꼭대기(Cruess, Cruess, Steinert, et al. 2015)에 있는 추가적인 수준의 "의사처럼 생각하고 행동하며 느끼는 것"("Is")을 제안한다. 그들은 전문적 정체성에 대한 평가 도구로 제시된 모델에서 PIF(Cruess et al. 2016)의 평가에 대한 관점을 만드는 데 도움이 된다고 제안한다. 그러나, 그것은 교육자들이 비전문적인 행동을 다룰 수 있는 도구를 제공하지 않는다. 반면에 제안된 다단계 전문성 프레임워크는 전문성과 관련된 여러 수준 사이의 비계층적 상호작용을 설명한다.

The multi-level professionalism framework, however, is not unique in linking different perspectives on professionalism. Cruess et al. have linked the behavior-based perspective to the PIF-perspective in Miller’s “Amended Pyramid” (Cruess, Cruess, Steinert, et al. 2015). In addition to the original pyramid, they propose an extra level of “thinking, acting and feeling like a physician” (“Is”) at the apex of the pyramid (Cruess, Cruess, Steinert, et al. 2015). Presented as an assessment tool for professional identity, they suggest that the model helps in creating a perspective on assessment of PIF (Cruess et al. 2016). However, it does not provide tools for educators to address unprofessional behavior. The proposed multi-level professionalism framework, on the other hand, describes the nonhierarchical interplay between the different levels relevant to professionalism.


다단계 프로페셔널리즘 프레임워크는 프로페셔널리즘에 대한 다양한 관점을 연결하는 교정조치에 대한 실질적인 지침을 제공한다.

The multi-level professionalism framework offers a practical guidance for the remediation which bridges the various perspectives on professionalism.


다단계 프로페셔널리즘 틀은 프로페셔널리즘의 청사진을 나타내는 척도 하지 않고 프로페셔널리즘의 '본질'을 포착하는 척도 하지 않는다. 프로페셔널리즘에서 중요한 관점을 다루면서, 그것은 학생들과 교사들에게 행동의 수준 그 이상의 것에 대해 성찰하도록 한다. 프레임워크로 작업하는 것은 더 깊은 학습이 이루어질 수 있음을 시사한다.

The multi-level professionalism framework neither pretends to denote a blueprint for professionalism, nor pretends to capture the “essence” of professionalism. Addressing the important perspectives in professionalism, it invites students and teachers to reflect on more than just the level of behavior itself. Working with the framework suggests that deeper learning can be attained.



Barnhoorn PC, Youngson CC. 2014. Defining professionalism: simplex sigillum veri! Med Teach. 36:545. XXX


Bebeau MJ, Faber-Langendoen K. 2014. Remediating lapses in professionalism. Remediation in medical education. Berlin, Germany: Springer. p. 103–127.


Barnhoorn PC, van Mook WN. 2015. Professionalism or professional behaviour: no reason to choose between the two. Med Educ. 49:740. XXX


Kalet A, Guerrasio J, Chou CL. 2016. Twelve tips for developing and maintaining a remediation program in medical education. Med Teach. 38:787–792.







. 2019 Mar;41(3):303-308.
 doi: 10.1080/0142159X.2018.1464133. Epub 2018 Apr 27.

A practical framework for remediating unprofessional behavior and for developing professionalism competencies and a professional identity

Affiliations 

Affiliations

  • 1a Department of Public Health and Primary Care , Leiden University Medical Center , Leiden , The Netherlands.
  • 2b Department of Medical Ethics and Health Law , Leiden University Medical Center , Leiden , The Netherlands.
  • 3c The Netherlands' Network of the GP Specialty Training Institutes , Utrecht , The Netherlands.

Abstract

The relatively new term "Professional Identity Formation" (PIF) complements behavior-based and attitude-based perspectives on professionalism. Unprofessional behavior and its remediation should also be addressed from this perspective. However, a framework is needed to guide discussion and remediation of unprofessional behavior, which can encompass behavior-based, attitude-based, and identity-based perspectives on professionalism. To this end, the authors propose a multi-level professionalism framework which describes, apart from professional behavior, more levels which influence professional performance: environment, competencies, beliefs, values, identity, and mission. The different levels can provide tools for educators to address and discuss unprofessional behavior with their students in a comprehensive way. By reflecting on all the different levels of the framework, educators guard themselves against narrowing the discussion to either professional behavior or professional identity. The multi-level professionalism framework can help educators and students to gain a better understanding of the root of unprofessional behavior, and of remediation strategies that would be appropriate. For despite the recent emphasis on PIF, unprofessional behavior and its remediation will remain important issues in medical education.


변화는 쉽지 않다: 관리 이론이 의학교육의 변화에 적용(Med Educ, 2020)

Change is never easy: How management theories can help operationalise change in medical education

Lisi Gordon1 | Jennifer A. Cleland2




1 도입 

1 | INTRODUCTION


조직 변화와 개발에 대한 표준적인 사고방식은 [변화는 정책 입안자, 지도자 및 관리자가 조직의 비전, 구조 또는 절차를 변경한 후 다른 사람들이 새로운 전략을 실행하도록 설득할 때 발생함]을 시사한다.1,2 그러나 그러한 하향식(최고 경영자[경영자]가 주도) 변화 노력은 종종 의도한 목적을 충족하지 못하며, 그 대신 [혼란, 개인과 집단으로부터의 변화에 대한 저항, 그리고 의도하지 않은 결과를 초래]한다.3 이것은 의학 교육에서도 다르지 않다. 지난 몇 십 년 동안 의학 교육에 큰 변화가 일어났다.

Standard ways of thinking about organisational change and development suggest that change happens when policymakers, leaders and managers change the vision, structure or procedures of an organisation and then persuade others to implement their new strategy.1,2 However, such top-down (driven by the top [management]) change efforts often fail to meet their intended purposes and instead result in disturbance, resistance to change from individuals and groups, and unintended consequences.3 This is no different in medical education. Major changes have occurred in medical education over the last few decades


이러한 주목할 만한 사례들에도 불구하고, 변화를 위한 다른 시도들은 덜 성공적이었다. 의료 교육에는 다양한 교육과정 구성의 변화, 선택 과정과 의과대학 공간, 그리고 새로운 학습 도구의 도입이 어떻게 계획대로 작동하지 않았는지를 보여주는 많은 예가 있다.10-12 변화의 실제 과정 또한 간단하지 않다: 의학 교육에서 커리큘럼을 개혁하려는 시도는 이전에 도전적이고 파괴적인 것으로 묘사되어 왔으며, 종종 프로세스의 실제적인 개혁은 없이 같은 것만 반복하는 형태의 exercise로 나타났다.

Despite these notable examples, other attempts at change have been less successful. There are plenty of examples in medical education that illustrate how the changing of different curricular ingredients, selection processes and medical school space, and the introduction of new learning tools, did not work as planned.10-12 Nor are the actual processes of change straightforward: attempts to reform curricula in medical education have been previously described as challenging13 and disruptive,14 and often manifest as an exercise that results in the repetition of sameness but no actual reform of the process.15,16


왜 이런가? 우리는 의학교육과 훈련이 매우 복잡하며, 사람, 상황 및 시스템 사이의 다중 관계와 연결에 의해 특징지어지기 때문이라고 믿는다.17 이러한 [상호연결은 그 자체가 광범위한 시스템에 영향을] 미치며, [시스템은 다시 개인과 그룹에 발생]시킨다.3 예를 들어, 맥락 또는 주변 환경prevailing environment은 변화가 구현되고 변화가 일어나고 결과가 나타나는 기본 프레임이다.21 이러한 요인에 대한 깊고 넓은 이해 없이, 복잡한 문제를 단순한 해답을 가지고 있는 것처럼 취급하는 것은, 해결주의solutionism의 희생양이 될 위험을 무릅쓰는 것이다. 그러나 한 곳에서 작용하는 것은 다른 곳에서 작용하지 않을 수도 있다. 개인과 팀은 중복되고 상호연결된 여러 컨텍스트에 걸쳐 있을 수 있으므로, 이러한 컨텍스트의 영향을 받을 것이며, 따라서 의학교육의 결과나 목표는 정적인 것이 아니다. 의료의 글로벌 및 국가적 사회적 보건의료와 의학교육의 동인drivers에 기초하여 변화한다. 글로벌 COVID-19 대유행 사태에 대응하여 의료교육이 최근에 현저하게 변화한 것은 매우 적절한 예다.24

Why is this the case? We believe this is because medical education and training are highly complex and are characterised by multiple relationships and connections among people, contexts and systems.17 These interconnections generate their own impacts on the wider system(s) and the system(s) in turn impacts on individuals and groups.3 For example, the context, or prevailing environment,18-20 is the underlying frame within which change is implemented, change occurs, and outcomes emerge.21 Without a deep and broad understanding of these factors, we risk falling prey to solutionism, the theme of this special issue, by treating complex problems as if they have simple answers. However, what works in one place may not work in another. Individuals and teams may straddle multiple, overlapping and interconnected contexts and therefore will be influenced by, and will have influence on, these contexts.3,22 Moreover, the outcomes, or goals, of medical education are not static: they shift on the basis of global and national societal drivers of health care, and health care and medical education,23 a very pertinent example being the recent significant changes in the delivery of medical education in response to the global COVID-19 pandemic.24


의학 교육의 복잡성에 대한 개념은 새로운 것이 아니며, 보건의료 시스템에 대한 생각을 반영한다.

The notion of complexity in medical education is not new25-27 and mirrors thinking about health systems.28-32


의료 교육에는 [복잡성의 담론]이 존재하지만, 복잡성이 언제나 중요하게 여겨지지는 않는 듯 하다. 종종 복잡성을 인정하지 못하거나 이 복잡성이 미치는 영향을 인정하지 않아서 [변화의 바람직하지 않거나 예상치 못한 결과]가 생기기 때문이다. 그러나 의학교육이 단순하지도 않고 안정적이지도 않으며 고도로 맥락화되었기에, 변화와 관련된 우려와 질문을 기술, 이해 및 해결하고자 한다면 근본적으로 다중 연결과 복잡성을 인지해야 한다.

although the discourse of complexity is present in medical education, it does not seem privileged in the everyday sense: undesirable or unanticipated consequences of change are often attributable to failures to acknowledge complexity and the impact of this complexity.34-36 However, if medical education is neither simple nor stable, and is highly contextualised, ways of perceiving multiple connections and complexity are fundamental when seeking to describe, understand and address concerns and questions related to change.14


나아가 우리는 이론을 포용하는 것은 특별한 가치가 있다고 믿는다. 왜냐면, 이는 [서로 다른 수준의 분석을 교차 분석하여] 마이크로 레벨로 '줌인'할 수 있도록 허용하기 때문이다. 또한 [개인 수준(마이크로 수준)에서 일어나고 있는 일]을 더 넓은 [제도적, 심지어 국가적 또는 국제적 수준(매크로 수준)에서 일어나는 것]과 '줌 아웃'하여 연결시킬 수 있기 때문이다.

Furthermore, we believe there is particular value in embracing theories that cross-cut different levels of analysis and allow us to ‘zoom in’ to micro levels, as well as to ‘zoom out’ and connect what is happening at the individual level (the micro level) to what happens at a wider institutional and even national or international level (the macro level).39


이러한 다단계적 이해는 조직변화가 성공하거나 실패하거나 의도하지 않은 결과를 초래하는 이유를 설명하는 데 도움이 될 수 있으며, 변화와 관련된 사람들이 변화 프로세스와 관련된 불확실성을 예측하고 관리하는 데 도움이 될 것이다.

These multi-level understandings can help explain why organisational changes succeed, fail or have unintended consequences, and will help those involved in change to anticipate and manage uncertainty associated with a change process.


우리는 의료 교육에 복잡성complexity 렌즈를 적용하는 것이 우리가 처음이 아니라는 것을 인정한다. 그러나, 의학 교육 연구에서 조직 이론의 더 큰 사용을 고려하라는 문헌상의 이전의 요구에 대응하여, 우리는 조직 연구에서부터 의료 교육의 변화의 복잡성에 이르기까지 이론적 관점을 명시적으로 연결함으로써 그 분야의 지식을 더하고자 한다. 이 궁극적 목적은 사고와 탐구의 새로운 길을 열기 위해 다른 사고 방식을 장려하는 것이다.

We acknowledge that we are not the first to apply a complexity lens to medical education.31-33 However, in response to earlier calls in the literature to consider the greater use of organisational theory in medical education research,40 we add to knowledge in the field by explicitly connecting theoretical perspectives from organisation studies to the complexity of change in medical education, with the ultimate aim of encouraging different ways of thinking in order to open new avenues for thought and exploration.


2 기관 로직

2 | INSTITUTIONAL LOGICS


제도적 로직[(국가 문화와 정치 등) 사회 차원의 제도적 질서와 사회 차원의 규범에 대한 관심이 조직적, 집단적, 개인의 행동을 이해하는 데 결정적]이라고 주장한 프리들랜드와 알포드(41)에 의해 도입되었다. '로직logics'이란 사회적 '현실을 정리하는ordering 방법', 또는 [조직적, 전문적 또는 개인적 수준에서 목표, 행동 및 관행을 형성하는 기대, 규범, 신념 및 규칙]이다.39, 49 

Institutional logics was introduced by Friedland and Alford,41 who argued that attention to society-level institutional orders such as national culture and politics, and society-level norms was crucial to the understanding of organisational, group and individual behaviour. Logics are societal ‘ways of ordering reality’,41 or expectations, norms, beliefs and rules that shape goals, behaviours and practices at an organisational, professional or individual level.39, 49 


최근에 IL은 다음과 같이 정의되었다. '추정, 가치, 신념을 포함하여 [사회적으로 구성된 문화적 상징과 물질적 실천의 역사적 패턴]으로서, 개인과 조직은 이것에 의하여 [그들의 일상 활동에 의미를 부여하고, 시간과 공간을 조직하며, 그들의 삶과 경험을 재현]한다.

More recently, IL has been defined as ‘socially constructed historical patterns of cultural symbols and material practices, including assumptions, values and beliefs by which individuals and organisations provide meaning to their daily activity, organise time and space, and reproduce their lives and experiences’.49


이러한 로직이나 영향은 종종 당연하게 여겨지며, 확립된 규범을 통해 활동을 통제한다.49 예를 들어 서구 의료의 경우, 의료 전문직 로직 [전통적으로 전문가 지식과 자율적 실천에 내재]되어 있었고, 역사적으로 [의료 시스템을 어떻게 바라봐왔는지와 의사 결정이 어떻게 집행enact되어왔는지]를 지배해 왔다.39 그러나 의료 제공에 대한 수요의 증가와 정부의 의료비 지원 능력(또는 성향)의 감소는 [경영주의]와 [시장 및 기업 로직]의 영향 모두를 증가시켰다. 50, 51

These logics, or influences, are often taken for granted and control activity through established norms.49 For example, in Western health care, medical professional logics, traditionally embedded in expert knowledge and autonomous practice, has historically governed how health care systems have been viewed and processes of decision making enacted.39 However, increasing demand for health care provision and reductions in the ability (or inclination) of governments to fund health care in its entirety have led to rises in both managerialism and the influence of market and corporate logics.50, 51


다수의 로직이 동일한 공간에 존재하며(예: 관리주의 대 프로페셔널리즘), 지배력 다툼을 한다.49, 54-56 서로 다른 로직 사이의 관계의 정확한 본질은 많이 논의되고 논쟁이 되어왔지만, 일반적으로는 이러한 서로 다른 로직의 영향력이 동일한 공간에 공존할 수 있다(로직 세그먼팅). 물론 로직이 미치는 영향은 actor에 따라서 다양할 것이며, actor마다 서로 차별적으로 제정되고 확대될 것이다.54

Multiple logics exist in the same space (eg, managerialism versus professionalism) and vie for dominance.49, 54-56 The precise nature of the relationship between different logics is much discussed and debated, but, generally speaking, different logics can coexist in the same space (logic segmenting), although the influence of these different logics on actors will vary, and they will be enacted and expanded on differentially by different actors.54


예를 들어, 의학교육은 일반적으로 [의료]와 [교육]에 내재된 로직의 영향을 모두 받는데, 이것은 서로를 보완하거나 보완하지 않을 수도 있다. 로직과 각각의 영향력의 차이는 논리적인 의미에 변화를 가져올 수 있고 하나의 지배적인 논리에서 다른 논리로 변화할 수 있다.57-59

For example, medical education is typically influenced by the logics inherent in both health care and education, which may or may not complement one another. Differences between logics and their respective influences can lead to change in logic meanings and shifts from one dominant logic to another.57-59



3 IL을 의학교육 연구에 적용

3 | APPLYING IL IN MEDICAL EDUCATION RESEARCH


IL을 사용하는 의학교육 연구는 개인, 팀 및 조직이 [어떻게 practice에서 여러 로직들]로부터, 그리고 [여러 로직 사이의 상호 작용(그리고 잠재적 밀어내기-당기기 긴장)]으로부터 의미를 도출하고 제정하는지에 초점을 맞춰야 한다.56 2010년에 발표된 한 논문은 의학교육에서 [과학]과 [돌봄]의 다원적 로직을 고려하고, 그리고 여러 맥락적 요인(예: 관리적 치료의 증가, 더 많은 수의 여성의 의학으로의 진입)이 어떻게 하나 또는 다른 논리와 연관되었는지, 그리고 이러한 요소들이 어떻게 시간이 지남에 따라 변동하는지, 그리고 미래의 의사들을 어떻게 교육시킬 것인가에 대한 역동적인 긴장을 조성했다.62

Medical education research that uses IL should focus on how individuals, teams and organisations draw meaning from and enact different logics in practice, and the interplay (and potential push–pull tension) between different logics.56 One position paper published in 2010 considered the overarching plural logics of science and care in medical education, and how different contextual factors (eg, the rise of managed care, the entry to medicine of greater numbers of women) were associated with one or other logic, and how these fluctuated over time, and created dynamic tensions about how to educate future doctors.62


우리는 IL을 경험적 작업의 프레임워크로 사용하는 두 논문만 확인했는데, 이들은 모두 같은 팀에서 생산한 논문들로, 지역, 국가 및 국제적 맥락 차이에도 불구하고 보건 전문직 교육 장학단(HPESU)이 가치와 관행을 어떻게 공유하는지 구체적으로 살펴보고 있었다.63,64

We identified only two papers using IL as a framework in empirical work, both of which were produced by the same team, who were looking specifically at how health professions education scholarship units (HPESUs) shared values and practices despite regional, national and international contextual differences.63,64


다음은 (a) 재정적 책임, (b) 응집력 있는 교육 연속성, 그리고 (c) 학문적 연구, 봉사, 교육의 논리였다. 이들은 모든 HPESU에 걸쳐 일반적인 로직이었지만, 저자들은 다양한 로직들이 [더 넓은 국가 시스템을 반영하여, 각 맥락에서 서로 다른 수준의 지배력을 가지고 있음]을 확인했다. 각 논리의 상대적 힘은 활동의 성격(예: 봉사 또는 학술활동에 소비되는 시간의 균형)과 각 단위가 평가한 산출물에 영향을 미쳤다. 그들은 이러한 로직의 이해는 왜 개별 단위가 특정한 방식으로 구조되고 기능하는지에 대한 통찰력을 제공한다고 결론지었다.

These were the logics of: (a) financial accountability; (b) a cohesive educational continuum, and (c) academic research, service and teaching. Although these were common logics across all HPESUs, the authors identified that different logics held different degrees of dominance in each context, reflecting wider national systems. The relative power of each logic influenced the nature of the activities (eg, the balance of time spent on service or scholarship) and outputs valued by each unit. They concluded that understandings of these logics gave insight into why individual units are structured and function in particular ways.


더 넓은 문헌을 살펴보면, IL 관점을 이용한 연구는 [관리managerial 로직]과 [의료medical 로직] 사이에 내재된 투쟁을 보여 주었다.39, 58 의료 교육에서, 예를 들어 봉사와 교육 제공 사이에 유사한 긴장이 존재한다.65

Looking at the wider literature, research using an IL perspective has illustrated an inherent struggle between health care managerial logics and medical logics.39, 58 In medical education, similar tensions exist between, for example, service and education provision.65


세그먼팅segmenting의 예는 [전문직 표준]과 관련된 다중 로직과 관련이 있다. 영국의 General Medical Council 또는 Australian Health Practicer Regulation Agency와 같은 [전문 협회에 의해 설정된 교육 표준]은 [개별 의료 기관이 설정한 직장 표준]의 로직과 경쟁할 수 있고 경쟁할 수 있다. 마찬가지로, 의과대학을 관할하는 [규제기관이 정한 교육기준]은 평가 및 진행과 관련된 [지역 대학 규정]과 긴장관계에 있을 수 있다. 기관 로직은 이러한 로직들이 어떻게 공존하는지를 탐구하는 프레임워크로 사용될 수 있으며, 예를 들어 전문성과 전문적 행동의 의미에 대한 새로운 관점을 잠재적으로 제공할 수 있다. 이 분야의 종단적 작업은 개인과 집단의 행위자성이 조직적 및 전문적 로직 양쪽에 영향을 미칠 수 있음을 드러낼 수 있다.

An example of segmenting in medical education relates to the multiple logics associated with professional standards. Education standards set by professional associations, such as the UK’s General Medical Council or the Australian Health Practitioner Regulation Agency, can and do compete with the logics of workplace standards that have been set by individual health care organisations. Similarly, education standards set by regulators whose remit covers medical schools can be in tension with local university regulations relating to assessment and progression. Institutional logics could be used as a framework to explore how these logics coexist, potentially providing new perspectives on, for instance, meanings of professionalism and professional behaviours. Longitudinal work in this field might reveal the agency of individuals and groups to influence both organisational and professional logics.


4 패러독스 이론

4 | PARADOX THEORY


패러독스 이론은 [오랜 시간동안 공존하고 되어온, 조직 내에서 상충되지만, 상호 연관된 목표와 상충하는 요구]에 초점을 맞추는 이론의 그룹을 말한다.66,67 [이러한 동시적이고 일관성 없는 상태는 아주 흔하며, '혁신과 효율성, 협업과 경쟁, 또는 새로운 것과 낡은 것' 사이]에 있을 수 있다.68 

Paradox theory refers to a group of theories that focus on the conflicting but inter-related goals and competing demands within an organisation that coexist and persist over time.66,67 Considered ubiquitous, these simultaneous, inconsistent states may be between ‘innovation and efficiency, collaboration and competition, or new and old’.68 


  • 예를 들어, 변화 계획 및 집행을 위한 프로젝트 팀 구성(예: 교육과정 개혁)과 관련된 조직적 변화는 역할 모호성을 야기할 수 있다(예: 개혁이 우선인가 평상시처럼 하는 것이 우선인가). 

  • 직원 대 조직 긴장의 다른 예로 상여금(일부 국가의 대학에서는 표준)과 같은 관행을 사용하는 것이 있는데, 이는 동료들 간의 경쟁과 갈등을 유발하고 웰빙에 악영향을 미칠 수 있다.69 

이러한 예는 [(다양한 이해관계자들의 다양한 목표와 입장의 결과로) 어떻게 패러독스가 시스템에 내재되게 되고, 사회적으로 구성되는지]를 보여준다.70

  • For example, organisational change involving the creation of project teams for planning and enacting change (eg, curriculum reform) can create role ambiguity (eg, is the reform or business-as-usual the priority?). 

  • A different example, that of an employee-versus-organisation tension, would be the use of practices such as bonuses (standard in universities in some countries), which can lead to rivalry and conflict among colleagues and have adverse effects on well-being.69 

These examples illustrate how paradoxes are both inherent in systems and socially constructed as a result of different stakeholders’ diverse goals and positions.70


패러독스 관점에서는 [조직 내의 긴장]이 [변화나 붕괴의 시기가 도래할 때까지는 잠재되어 있는 것]으로 보고 있다.70 패러독스에 관심을 기울이지 않는다면, 양가감정, 갈등, 혼란과 붕괴가 뒤따른다그러나 균형 잡힌 접근법을 찾는 것이 핵심이다: 패러독스의 긴장은 '이것 또는 저것' 방식의 접근법에 의해서는 해결될 수 없다. 한 긴장을 강조하면 다른 긴장감을 더 악화시키기 때문이다이러한 방식은 단기적인 안도감을 제공하지만, 궁극적으로 방어적 자세를 유발하고 새로운 작업 방법의 학습을 방해할 수 있다.

The paradox perspective views tensions within organisations as latent until times of change or disruption, at which point they become visible.70 If paradoxes are not attended to, ‘ambivalence, conflict, chaos and collapse ensue’.71 However, finding a balanced approach is key: paradoxical tensions are unresolvable by ‘either … or’ approaches because stressing one tension exacerbates the need for the other, perhaps providing short-term relief but ultimately raising defences and impeding the learning of new ways to work.72


클레랜드 외 연구진(Cleland et al40)은 [매니저와 외과의사, 레지던트 교육생들이 서로 갈등상황에 있는 여러 긴장을 발견했고, 그 이유는 서비스와 훈련의 균형을 맞추는 같은 문제에 대해 서로 다른 관점을 가지고 있었기 때문]이었다. 이러한 긴장은 그룹과 그룹 내의 관계에 부정적인 영향을 미치며, 개인들이 (공동의 목표가 아닌) 자신의 목표를 우선시하게 만들었다. 이러한 긴장감을 통해 일하려는 노력은 관계 개선과 의사소통으로 이어졌지만, 새로운 작업 방식을 찾아내지 못했고, 따라서 교육과 훈련 사이의 균형은 병원 구조 내에서 어떠한 실제적인 의미에서도 변화하지 않았다.

Cleland et al40 found many tensions apparent in the data, with managers, surgeons and resident trainees in conflict because they held differing perspectives on the same issue of balancing service and training. This adversely impacted on relationships across and within these groups and led to individuals prioritising their own goals. Efforts to work through these tensions led to improved relationships and communication, but no new ways of working were identified and hence the balance between education and training did not shift in any real sense within the hospital structures.


패러독스 이론은 [조직의 사회적 맥락에서 반대되는 관점과 양립할 수 없는 입장]을 고려하기 위한 프레임워크이며, [이들의 공존에 대한 인식]을 높이기 위한 프레임워크이다(즉, 잠재된 긴장을 가시화). 이렇게 함으로써 [서로 반대되는 긴장감tension]것이 모두 타당하며 건설적인 'both-and' 반응을 장려하는 수단이 될 수 있다.66, 67, 73 패러독스 이론 사고방식으로 생각하면 사람들이 긴장과 맞서고, 내재된 모순을 면밀히 조사하며, 상호 경쟁적competing 요구에 부응하는 창의적인 방법을 찾을 수 있다.

Paradox theory provides a framework for considering opposing viewpoints and incompatible positions in the social context of an organisation and for raising awareness of their coexistence (ie, making latent tensions visible). The act of doing so affirms opposing tensions as equally valid and can be a means of encouraging constructive ‘both … and …’ responses.66, 67, 73 Put simply, thinking with a paradox theory mindset allows people to confront tensions, scrutinise inherent contradictions and find creative ways to meet competing demands.


특정 유형의 패러독스는 마이크로, 메소, 매크로 레벨에 걸쳐 작동하고 상호작용하며, 역설적 긴장 관리를 위한 다양한 접근방식이 제안되었다. 이들은 공연, 조직, 소속, 학습을 하고 있는데, 각각 긴장 완화와 진보의 가능성을 제공한다는 측면에서 서로 다른 의미를 갖는다. (자세한 내용은 Cleland et al40의 허가를 받아 복제된 표 S1을 참조하십시오.)

Specific types of paradox operate and interact across micro, meso and macro levels, and different approaches to managing paradoxical tensions have been proposed.74 These are performing, organising, belonging and learning, each of which has different implications in terms of providing relief from a tension and potential for progress (for more detail, see Table S1, reproduced with permission from Cleland et al40).


Paradox

Level

Explanation

Outcome

Performing

Where individuals are required to perform multiple, possibly competing, roles and tasks

Micro: individuals’ responses to conflicting demands in their own roles or arising from the roles of others with whom they share joint tasks

Contradictory actions as actors try to perform competing goals, or work towards different versions of success and failure

Organising

Where there are tensions between different possible ways of organising people and work

Macro: the structural conditions in which actors function and experience tensions

Tensions between different organisational tasks and functions, the interplay between structures that shape actions, and actions which shape structures

Belonging

Closely related to individual identity, and tensions between the individual and the collective

Meso: the interactions between individuals, their immediate group and the wider organisation

Actors struggle to reconcile the values and beliefs of their reference group with those of other groups and the wider organisation

Learning

Related closely to change, reflecting tensions that arise when new replaces old and people learn during the change

Multi: occurring within both actors and organisations

An underpinning tension contributing to the other paradoxes


5 패러독스 이론을 의학교육 연구에 적용하기

5 | APPLYING PARADOX THEORY IN MEDICAL EDUCATION RESEARCH


의대와 주립 대학 사이의 긴장을 고려해보라. 상위 조직에 대한 압력은 일반적으로 추가적인 외부 규제의 대상이 되는 의과대학에 대한 압력과 다를 수 있다. 의과대학의 행위자와 구조물은 그들의 맥락에서 더 넓은 참조 그룹과 집단적 시스템(대학)의 일부가 되는 것의 균형이라는 관점에서, 권한 부여와 통제와 같은 긴장, 그리고 그 소속적 긴장 같은 조직화에 어떻게 반응하는가?

consider the tensions between a medical school and its host university. The pressures on the overarching organisation may be different from those on the medical school, which is typically subject to additional external regulation. How do the actors and structures in the medical school respond to organising tensions like empowerment and control, and belonging tensions in terms of balancing being part of a collective system (the university) with the wider reference group of medical schools in their context?


대학은 정기적으로 내부 구조를 재검토하고, 효율성과 효율성을 향상시키고, 전력을 재분배하고, 혁신을 추진하기 위해 구조조정을 한다. 구조조정 중, 새로운 목표가 수립되고, 역할이 변경되며, 행위자 간의 관계가 재정립된다.80 이전 목표와 새로운 목표, 역할 및 관계 사이에 서로 다른 수준에서 긴장이 발생한다.

Universities regularly review internal structures and restructure to improve their efficiency and effectiveness, redistribute power and drive innovation. During restructuring, new goals are established, roles altered, and relationships between actors redefined.80 Tensions occur between the old and the new goals, roles and relationships at different levels.67, 70 


  • Performing의 역설은 개인이 자신의 역할과 공동의 과제를 공유하는 다른 사람의 역할 내에서 구현된 상반된 요구에 대응하려고 애쓰면서 미시적 수준에서 발생한다. 

  • Belonging의 역설은 서로 다른 집단이 다른 가치, 신념, 정체성을 구현하면서 집단의 구성원 자격과 충성심을 뒤흔들면서 메소 수준에서 발생한다.

  • Learning의 역설은 구조조정은 대개 새로운 절차와 새로운 frame of reference 프레임이 수반되기 때문에 발생한다.

  • Paradoxes of performing arise at the micro level as individuals struggle to respond to the conflicting demands embodied within their own roles and within the roles of others with whom they share joint tasks.66 

  • Paradoxes of belonging occur at the meso level as different groups embody different values, beliefs and identities, shaking up group memberships and loyalties.80 

  • The final paradox is that of learning as restructuring is usually accompanied by new procedures and frames of reference.79, 81


조직관리 연구는 맥락이 조직에서 발생하는 패러독스의의 관리와 관련이 있다는 것을 보여준다. 이를 감안하여 비교연구에서는 [의과대학]과 [의과대학에 소속된 개인]이 동일한 역설(예: 학습의 도제 모델에서 역량 기반 의학교육[CBME]으로 전환)에 어떻게 대응하는지 살펴볼 수 있다. 그리고 이러한 반응이 외부적(경제적, 사회문화적, 법적 등) 및 내부적(조직적, 프로세스, 가치 등) 요인과 어떻게 관련되는지 연구할 수 있다.

Management studies indicate that context is relevant to the management of organisational paradoxes. Given this, comparative studies could look at how medical schools and individuals working in medical schools respond to the same paradoxes (eg, shifting from the apprenticeship model of learning to competency-based medical education [CBME]), and how these responses are related to external (economic, sociocultural, legal, etc.) and internal (resources, process, values, etc.) factors.


6 복잡성 리더십 이론

6 | COMPLEXITY LEADERSHIP THEORY


복잡성 리더십 이론'리더십'을 [개인이나 개인의 역량에 할당된 개별적인 역할]보다는 개인, 집단 및 맥락 사이의 상호작용에서 발생하는 집합적 과정으로 간주하는 비교적 새로운 접근법이다. CLT의 초점은 '조직 시스템 내부와 조직 시스템 사이에 존재하는 동적(변화하는, 상호작용하는, 임시적인) 비공식적 상호작용 패턴'이다. 이 때 CLT의 기초는 복잡성 이론의 상호연결성 개념에 있다. 

Complexity leadership theory is a relatively new approach which regards ‘leadership’ as a collective process that arises from interactions among individuals, groups and contexts rather than from a discrete role allocated to an individual or an individual’s capacities.22,83,84 The focus of CLT is the ‘dynamic (changing, interactive and temporal) informal interactive patterns that exist in and among organisational systems’,43 a focus that illustrates CLT’s foundations in complexity theory’s notion of interconnectivity. 


이 틀에서 리더십은 근본적으로 [학습과 새로운 결과를 만들어 내는 시스템적 현상]이며, 즉 [상호 작용과 긴장(인간과 비인간 둘 다 될 수 있음)의 산물]이다. 이와 같이, 리더십(그리고 이에 따르는 변화)은 개인이 적응적 결과를 도출하기 위해 시간에 따라 상호작용할 때 시스템 내의 어느 곳에서나 발생할 수 있다.

In this framework, leadership is fundamentally a system phenomenon, or the product of interactions and tensions (which can be both human and non-human) that generate learning and new outcomes.22,43,85-87 As such, leadership (and, with it, change) can occur anywhere within a system when individuals interact over time to produce adaptive outcomes.


Uhl-Bien과 동료들은 CLT 관점에서 리더십의 3가지 광범위한 기능을 제안한다.22,43 

  • 첫째, 운영리더십조직 내부의 전통적인 위계 구조에 기초하며, 기능, 업무, 질서, 규제 및 규정된 조직적 결과에 초점을 맞춘다. 운영리더십의 중요한 역할은 조직의 구조 내에 아이디어를 translate하고 embed하는 것이다. 

  • 둘째는 기업가적 리더십은, 지역적 수준에서 작동하나, 그러나 동시에 조직과 시스템 내에서 그리고 상호연결된 방식으로 운영되는 경향이 있다. 기업가적 리더십은 ['긴장'과 새로운 도전에 대응하여 발생하는] 적응, 혁신 및 학습(또는 출현)을 가리킨다.43,84 이 유형의 리더십은 [권력이나 권위의 행위]보다는 [비공식적이고 상호작용을 기반으로 하는 것]으로 종종 보여진다.43,84 

  • 마지막으로 Enabling leadership[기업가적 리더십을 통해 발생하는 출현과 적응을 촉진]하고 [조직 내의 연결을 관리]한다. 즉, enabling leadership은 혁신과 적응이 일어날 수 있는 환경이 조성하는 것이며, 조직 구조 전반에 걸쳐 다른 시스템과 행정 구조로 [새로운 지식의 흐름을 보장]한다.

Uhl-Bien and colleagues propose three broad functions of leadership within a CLT perspective.22,43 

  • First, operational leadership is grounded in traditional hierarchies within an organisation, which focus on function, task, order, regulation and prescribed organisational outcomes.43,84 An important role of operational leadership is to translate and embed ideas and innovation in the structures of the organisation.43 

  • Second is entrepreneurial leadership, which tends to operate at a local level, but also at multiple levels within organisations and systems and in interconnected ways. Entrepreneurial leadership refers to the adaptation, innovation and learning (or emergence) that occur in response to ‘tensions’ and new challenges.43,84 It is often seen as informal and based on interactions rather than an act of power or authority.43,84 

  • Finally, enabling leadership works to both facilitate the emergence and adaptation that occur through entrepreneurial leadership and to manage the connections within the organisation.43,84 In other words, enabling leadership will create an environment in which innovation and adaptation can occur whilst ensuring there is flow of new knowledge throughout an organisational structure to other systems and administrative structures.43,84


복잡성 리더십 이론은 마이크로, 메소, 매크로 수준에서 변화의 탐구를 위한 프레임워크를 제공한다.84 CLT를 이용한 연구는 에이전트들 간의 상호작용에 초점을 맞출 수 있다. (예: operational과 enabling 리더십의 교차점) 왜냐하면 이를 통해 우리는 지역적 및 조직적 수준에서 변화가 발생하는 수단에 대한 이해를 연결하고 발전시킬 수 있기 때문이다. 그것은 또한 왜 변화가 성공할 수도 있고 실패할 수도 있는지를 설명하는 데 도움을 줄 수도 있다.

Complexity leadership theory provides a framework for the exploration of change at the micro, meso and macro levels.84 Research using CLT could focus on the interaction between agents (eg, the intersection between operational and enabling leadership) because through this we can connect and develop understanding of the means by which change occurs at local and organisational levels.84 It also may help us explain why change may or may not be successful.


7 CLT를 의학교육연구에 적용

7 | APPLYING CLT IN MEDICAL EDUCATION RESEARCH


CLT가 적용될 수 있는 문맥의 현대적인 예는 IPE(Interprofessional Education, IPE) 구현에 관련된 과정을 탐구하고 설명하는 것을 말한다. interprofessional practice으로의 전환과 IPE 구현을 위해 교육 기관에 부과되는 그에 상응하는 의무는 글로벌 인력 과제, 고도로 복잡한 의료 요구 및 점점 더 제약되는 예산 충족에 필수적인 것으로 간주된다.

A contemporary example of a context in which CLT might be applied refers to exploring and explaining the processes involved in implementing interprofessional education (IPE). A shift to interprofessional practices and the corresponding obligation placed on educational institutions to implement IPE are seen as vital to the meeting of global workforce challenges, highly complex health care needs and increasingly constrained budgets.88-90 


학생, 교육자 및 서비스 사용자 관점을 탐구하는 최근의 메타합성 연구(IPE의 일부로서)는 학습 과정에 대한 제한된 이해와 관련된 문제를 발견했다. 즉, implementation은 개인에 의존하고 있었으며(따라서 지속가능성과 관련된 잠재적 문제가 생긴다), placement의 목적과 그 안에 있는 이들이 역할에 대한 이해가 부족하게 된다.

A recent meta-synthesis exploring student, educator and service user perspectives on interprofessional placements (as part of IPE) found issues pertaining to limited understanding of learning processes, that implementation relied on individuals (and therefore introduced potential issues with sustainability), and a lack of understanding around the purpose of placements and their roles within them.91


8 이론을 비판적으로 보기

8 | CONSIDERING THEORY CRITICALLY


각각의 이론, 즉 일련의 이론들은 진화의 다른 단계에 있다. 패러독스 이론과 관련 경험적 연구는 35년 전쯤 처음 제안된 이후 진보하고 다양화되었으며, IL은 30년 전 창간 이래 조직적 연구에서 잘 확립되었다.41 그러나 CLT에 대한 연구는 모든 분야에 걸쳐 매우 초기 단계에 있으며 리더십을 새로운 '조직적 현상'으로 보기 위한 중요한 설명 렌즈로서의 CLT의 가치를 확립하기 위해서는 더 많은 연구가 필요하다.92

Each theory, or group of theories, is at a different stage in its evolution. Paradox theory and related empirical work have progressed and diversified since the theory was first proposed some 35 years ago,42 and IL has become well established in organisational studies since its inception 30 years ago.41 However, research on CLT is in very early stages across all disciplines and more study is needed to establish the value of CLT as a critical explanatory lens for seeing leadership as an emergent ‘organisational phenomenon’.92


또한, IL은 [사물을 보는 한 가지 관점과 관련된] 서구화된 조직을 탐구하도록 개발되었기 때문에, 민족 중심적ethnocentric 성격을 비판 받아왔다. 따라서 이러한 관점을 사용할 때 맥락(지역적 및 국가적)을 고려하는 것이 필수적이다.93 기관 로직은 또한 본질적으로 선택적일selective 수 있다: 왜 (다른 로직이 아닌) 특정한 로직을 탐구하고 로직의 '이상형'에 초점을 맞추려고 하는가? 45 연구자 반사성은 여기서 탐구되는 것(그리고 탐구하지 않는 것)을 식별하고 설명하기 위해 필수적이다.94

Additionally, IL has been critiqued for its ethnocentric nature because it was developed to explore Westernised organisations, the focus of which pertains to one way of seeing things; it is therefore essential that contexts (local and national) are considered when using this perspective.93 Institutional logics can also be selective in nature: why choose to explore certain logics and not others and to focus on ‘ideal types’ of logics?45 Researcher reflexivity is essential here in order to identify and explain what is (and what is not) explored.94


  • 역설 이론의 강점은 대립되는 관점과 양립할 수 없는 입장을 고려할 수 있는 방법을 제시해 잠재된 긴장을 가시화하는데 활용할 수 있다는 점이다. 그러나, 역설적인 문제를 해결하는 데 도움이 되는 프레임워크를 제공하지는 않는다. 변화를 구현하는 데 관심이 있는 사람들은 ['어떻게'에 대한 지침]을 위해 문헌의 다른 곳을 찾아봐야 한다. 요컨대 역설을 인식하는 것 자체가 변화를 이끌기에는 충분하지 않다. 

The strength of paradox theory is that it provides a way for considering opposing viewpoints and incompatible positions, and so can be used to make latent tensions visible. However, it does not provide a framework to assist with addressing paradox; those interesting in implementing change must look elsewhere in the literature for guidance on ‘how to’. In short, recognising the paradox is not sufficient in itself to lead to change. 


  • 둘째로, 연구는 역설적 긴장 관리에 대해 주로 조직 차원의 접근방식을 조사하였다. 역설 이론을 진전시키기 위해 개인 및 팀 차원의 분석을 더 면밀히 검토할 필요가 있다.97

Secondly, research has predominantly examined organisation-level approaches to the managing of paradoxical tensions: there is a need to look more closely at individual and team levels of analyses to advance paradox theory.97


  • 셋째, 역설 연구는 사례 연구 방법론에 의해 지배되고 있으며, 연구는 종종 조직 내의 한 가지 변화에 초점을 맞춘다. 역설 이론을 이용한 미래 연구는 더 많은 연구 설계와 방법론적 접근법을 수용함으로써 유익할 수 있다. 

Thirdly, paradox research is dominated by case study methodology and studies often focus on one change within an organisation. Future research using paradox theory may benefit from embracing more study designs and methodological approaches. 


  • 마지막으로, 새로운 증거에 따르면, 어떤 조건들은 역설적인 리더십과 사고방식에 적합한 반면, 다른 것들은 그렇지 않음에도 불구하고, 긴장에 대한 역설 이론 접근법이 부정적인 결과를 가져오는 사례에 대한 연구 보고가 부족하다

Finally, there is also a paucity of research reporting on instances in which a paradox theory approach to tensions has negative consequences, although emerging evidence suggests that some conditions are appropriate for paradoxical leadership and mindsets, whereas others are not.100


일부는 CLT가 [분산된 리더십과 변혁적 리더십의 이론처럼] 다른 리더십 이론과 유사하다고 주장할 수 있다.92 그러나, CLT가 [상호작용을 통한 출현과 건설emergence and construction의 한 층]에 의존하는 리더십에 대한 보다 비판적인 관점을 끌어낼 기회를 제공한다는 것은 논쟁의 여지가 있다. 따라서 역할(예: 누가 리더이고 팔러워인지)은 리더십의 역할과 라인이 상당히 안정적이라는 가정으로부터 멀어지게 된다.92 따라서 CLT는 리더십의 안정적인 시스템을 구축하기 위한 틀보다는 현재와 가능한 상태를 이해하고 변화가 왜 효과가 있을지 또는 없을지를 이해하는 잠재적인 도구가 된다. 비판론자들은 CLT가 [복잡성 리더십]보다는 복잡성을 관리하는 [리더 중심적 힘]의 개념에 계속 의존하고 있다고 말한다.92

Some may argue that CLT has similarities to other leadership theories, such as those of distributed leadership and transformational leadership.92 However, it is arguable that CLT brings opportunities to draw on more critical views of leadership which rely on a layer of emergence and construction through interaction. Thus roles (eg, who the leaders and followers are) shift away from the assumption of reasonably stable roles and lines of leadership.92 Therefore, CLT becomes a potential tool for understanding current and possible status and why change may or may not work, rather than a frame for setting up stable systems of leadership. Critics suggest that CLT continues to rely on notions of leader-centric power to manage complexity, rather than on complexity leadership.92


9 결론 

9 | CONCLUSIONS


핀켈슈타인이 말했듯이: '연구자로서 우리는 그것들을 주의 깊게 연구하기 위해 매우 복잡한 과정을 단순화해야 한다는 것을 이해한다. 하지만 우리가 어지러움, 뒤처짐, 현실을 제거하면 무엇이 남는가?' 108.

As Finkelstein put it: ‘I understand that as researchers we need to simplify very complex processes to study them carefully, but what are we left with when we remove the messiness, the back-and-forth, the reality?’108


32. Cristancho S, Field E, Lingard L. What is the state of complexity science in medical education research? Med Educ. 2019;53(1):95-104.








. 2020 Jul 22.
 doi: 10.1111/medu.14297. Online ahead of print.

Change is never easy: How management theories can help operationalise change in medical education

Affiliations 

Affiliations

  • 1Centre for Medical Education, University of Dundee, Dundee, UK.
  • 2Medical Education Research and Scholarship Unit (MERSU), Lee Kong Chian School of Medicine, Nanyang Technological University, Singapore, Singapore.

Abstract

Context: Medical education is neither simple nor stable, and is highly contextualised. Hence, ways of perceiving multiple connections and complexity are fundamental when seeking to describe, understand and address concerns and questions related to change.

Proposal: In response to calls in the literature, we introduce three examples of contemporary organisational theory which can be used to understand and operationalise change within medical education. These theories, institutional logics, paradox theory and complexity leadership theory, respectively, are relatively unknown in medical education. However, they provide a way of making sense of the complexity of change creatively. Specifically, they cross-cut different levels of analysis and allow us to 'zoom in' to micro levels, as well as to 'zoom out' and connect what is happening at the individual level (the micro level) to what happens at a wider institutional and even national or international level (the macro level), thereby providing a means of understanding the interactions among individuals, teams, organisations and systems. We highlight the potential value of these theories, provide a brief discussion of the few studies that have used them in medical education, and then briefly critique each theory.

Conclusions: We hope that by drawing the attention of readers to the potential of these management theories, we can unlock some of the complexity of change in medical education, support new ways of thinking and open new avenues for research.

전문직업성의 담론: 메타포, 이론, 실천(Med Teach, 2019)

Discourses of professionalism: Metaphors, theory and practice

Matthew Jon Linksa , Tim Wilkinsonb and Craig Campbellc




도입 

Introduction


의학교육이 이론에 근거해야 실천의 발전(Rees and Monrouxe 2010)을 이끌 수 있다는 인식이 강하다. 프로페셔널리즘은 논쟁의 여지가 있는 개념이며 다양한 접근법을 평가할 수 있는 이론적 기반이 부족했다. 그 이유의 일부는 전문성의 개념 자체에 이론이 있기contested 때문이다.

There is a strong recognition that medical education needs to be grounded in theory to guide development of practice (Rees and Monrouxe 2010). Professionalism is a contested concept and there has been a lack of an over-arching theoretical base from which diverse approaches can be appraised. Part of the reason for this has been because the concept of professionalism itself has been contested.


이론은 다양한 수준에서 발생할 수 있으며, 하위 수준 이론의 기반이 되는 [중요한overarching 이론적 구성(메타-이론) 또는 가정]이 특히 중요하다. 담론의 변동의 토대가 되는 한 가지 중요한 가정은 인식론적 가정이다 – 지식에 대해 어떤 가정을 하는가?

Theories can occur at different levels and overarching theoretical constructs (meta-theories) or assumptions that underlie lower level theories are particularly important (Nestel and Bearman 2015). One critical assumption underlying variations in discourse is epistemological – what assumptions are made about knowledge?


그러나 전문직업성에 대한 담론은 인식론 이상의 차이가 있으며, 각 담론은 개인, 대인관계 또는 사회 전체의 관점과 다른 초점을 가지고 있다. 따라서 인식론에 대한 인식과 사회에서의 개인의 역할을 결합한 틀을 활용하는 것이 도움이 될 것이다. 그러한 틀은 쥬르겐 하버마스의 의사소통 작용 이론이다(Habermas 1989; Edgar 2006).

However, discourses on professionalism differ by more than epistemology, each discourse has a different focus from personal, interpersonal, or a whole of society perspective. It would therefore be helpful to utilize a framework that combines an awareness of epistemology with the role of the individual in society. Such a framework is Jurgen Habermas’ theory of communicative action (Habermas 1989; Edgar 2006).


이것은 다음을 포함한 현대 사회의 많은 중대한 문제들을 다루는 대단히 중요한 이론이다. 

  • 진실-주장truth-claim을 어떻게 검증하고 있는가? 

  • 의사소통, 행동 및 사회적 변화 사이의 관계 

  • 시스템 관점 

  • 사회 개선을 위한 행동 조정의 목표 

This is an overarching theory that deals with many of the critical issues in modern society including: 

  • how do we validate truth-claims; 

  • what is the relationship between communication, action and social change; 

  • a systems perspective; and 

  • a goal of coordinating action to improve society. 


이 이론은 세상에 대한 관점을 [객관적 세계에 정의를 행하면서도] [주관적 경험도 고려하도록 하려면] 어떻게 결합할 것인가 하는 근본적인 문제를 다룬다.

It tackles the fundamental question of how do we combine a perspective on the world that does justice to the objective world but also takes into account subjective experience?


목적과 방법

Aims and methods


다른 저자들이 다른 용어를 사용하거나 동일한 용어를 다르게 사용했기 때문에 이러한 논의에서 전문용어의 진정한 사용에 긴장이 있다.

There is a tension in the authentic use of terminology in these discussions as different authors have used different terms or used the same terms differently.


전문성에 대한 담론의 검토

Review of discourses about professionalism


정의와 의미가 경합할 때 전문성과 같은 분야에 대한 논쟁이 교차할 수 있는at cross 가능성이 있다. 전문성 '디베이트'는 서로 다른 생각, 즉 문제에 대한 관점에 의존하기 때문에 [연결되지 않는 대화의 연속]이 된다. 이를 분석하는 방법은 [토론의 기초가 되는 가정에 비판적으로 의문을 제기하는 것]이며 이를 담화 분석(Hodges et al. 2008)이라고 한다. 

When definitions and meaning are contested there is a possibility that debate over areas, like professionalism, can occur at cross purposes. The professionalism “debate” becomes a series of conversations that are not connected because they rely upon different ideas, or perspectives on the problem. A way to analyze this is to critically question the assumptions underlying the discussion and this is called discourse analysis (Hodges et al. 2008). 


전문성에 대한 평가를 어렵게 하는 문제들 중 하나는 전문성이 무엇인지에 대한 표준적 정의가 결여되어 있다는 것이다. 호지스 외 연구진(2011년)은 전문성을 사용하는 방법이 서로 다른 담화 분석을 수행함으로써 이 문제를 명확히 했다. 전문성에 대한 세 가지 주요 담론이 확인되었고 각각 다른 관점으로 구별되었다. 

  • 첫 번째는 개인의 특성, 특성 또는 인지 과정(개인적)으로서의 전문성이었다. 

  • 두 번째는 대인관계 과정이나 효과(대인관계)로서의 전문성이었다. 

  • 세 번째는 사회적 제도적 현상으로서의 전문성이었다. 사회적 구조는 권력(사회적)과 연관된다.

One of the problems plaguing assessment of professionalism has been the lack of a standard definition of what professionalism is. Hodges et al. (2011) have clarified this issue by performing a discourse analysis of the differing ways professionalism is used. Three major discourses about professionalism were identified and each was distinguished by a different viewpoint. 

  • The first was professionalism as an individual characteristic, trait, or cognitive process (personal). 

  • The second was professionalism as an interpersonal process or effect (interpersonal). 

  • The third was professionalism as societal institutional phenomena a socially constructed way of being associated with power (social).


다른 담론의 기초가 되는 인식론

Epistemology underlying different discourses


프로페셔널리즘에 대한 다른 담론을 확인한 후, 중요한 질문은 이러한 담론의 근거가 되는 가정은 무엇인가? 교육 이론의 기초가 되는 메타 이론들은 철학적 질문의 더 넓은 담론을 구성하는 지식(교육학), 윤리학, 존재(온톨로지)에 대한 기본적인 가정들에 기초할 것이다.

Having identified different discourses about professionalism, an important question becomes what are the assumptions that underlie these discourses? The meta-theories that underlie educational theory will draw on basic assumptions about knowledge (epistemology), ethics, and being (ontology) that constitute the broader discourse of philosophical enquiry.


서양의 전통에서 서로 다른 유형의 지식의 구별은 전문성에 대한 질문이 praxis 영역 내에 있다는 아리스토텔레스의 과학적 지혜와 실제적 지혜의 구별(Aristotle 2002)에서 비롯된다. 그 후의 전개는 [과학지식이 절대적으로 객관적이고 기초적인 현실을 반영한다는 개념(실증주의)]을 비판하며, 조금 더 범위를 한정하는 쪽의 입장을delimited 취하게 되었다(후기 실증주의). 여기서는 [쿤의 패러다임 변화(Kohn 1996년)와 같이] 과학 이론이 구성됨constructed을 인정하면서도, underlying reality는 객관적이라는 개념을 고수하고 있다..

In the western tradition the distinction between different types of knowledge derives from Aristotle’s distinction between scientific and practical wisdom (Aristotle 2002) that and acknowledges questions of professionalism are located within the domain of praxis. Subsequent developments have critiqued the concept that scientific knowledge is absolutely objective and reflective of underlying reality (positivism) to a slightly more delimited position (post-positivism) that acknowledges that scientific theories are constructed, e.g. Kuhn’s paradigm-shifts (Kuhn 1996) but holds onto the concept that the underlying reality is objective.


보다 광범위한 철학적 발전이 함께 묶여서 포스트 모더니즘(Lyotard 1984년)이라고 불리며 객관성에 대해 훨씬 더 급진적인 입장을 취한다. 지식의 객관성에 대한 회의론을 공유하고 있으며, 저자의 관점에 대한 비판적 고찰에 초점을 맞춘다. 권력관계가 관점에 어떤 영향을 미치는지에 대한 인식이 높다. 현실은 구성되는 것이고, 발견되는 것found이 아니며, 객관적이지 않고, 주관적이며, 비판적이며 주어지는 것이 아니다.(Beckett and Hager 2001). 해석주의(Schwandt 1994), 구성주의(Constructivism, 2001), 사후 구조주의(Aylesworth 2015) 등의 접근방식이 있다.

Broader philosophical developments have been grouped together and termed post-modernism (Lyotard 1984) and they take a much more radical position about objectivity. They share skepticism about the objectivity of knowledge and focus on a critical consideration of the author’s perspective. There is a high degree of awareness of how power relations influence perspective. Reality is constructed, not found, subjective not objective and critical, not given (Beckett and Hager 2001). There are a family of such approaches including interpretivism (Schwandt 1994) constructivism (Spector 2001), and post-structuralism (Aylesworth 2015).


이러한 담론이 어떻게 구성되는지 이해할 수 있는 다른 방법이 있는가?

are there alternative ways to understand how these discourses are constructed?


하버마스의 의사소통 작용 이론

Habermas’ theory of communicative action


쥬르겐 하버마스는 프랑크푸르트 학파의 철학자로 비판론(Bohman 2016)의 창시자 중 한 명이다. 그는 자신의 작품을 특히 전문성과 관련되게 만드는 실천적 노력을 위해 과학과 휴머니즘의 경계를 비판하는 [이성과 공생활public life의 관계]에 폭넓은 관심을 갖고 있다. 그는 인간의 행동을 주관적, 객관적, 사회적 세계(Habermas 1989; Edgar 2006)가 구성하는 "인생 세계"에서 일어나는 것으로 본다. 그는 전문가, 조직, 정부의 권위를 의심하는 것이 특징인 후기 근대 자본주의에 대한 견해를 갖고 있다(Habermas 1976). 그는 의사소통 행동 이론을 발전시켰는데, 그것은 "상호간의 숙고와 논쟁을 바탕으로 개인이 수행하는 협동 행동"(Edgar 2006)이다.

Jurgen Habermas is a philosopher of the Frankfurt school and one of the founders of critical theory (Bohman 2016). He has a broad interest in the relationship between reason and public life that critiques the boundaries between science and humanism for practical endeavors that makes his work particularly relevant to professionalism. He views human action as taking place in “lifeworld” which is constituted by the subjective, objective, and social worlds (Habermas 1989; Edgar 2006). He has a view of late modern capitalismthat there is a crisis of legitimation, characterized by a suspicion of the authority of experts, organizations, and governments (Habermas 1976). He has developed a theory of communicative action, which is “co-operative action undertaken by individuals based upon mutual deliberation and argumentation” (Edgar 2006).


하버마스의 지식-관심 분류

Habermas’ classification of knowledge-interests


[의사소통 작용]은 다른 유형의 질문이나 지식-관심knowledge-interest에 의존한다. '지식-관심' 구축은 과학지식이 무관심하거나 자유로운 가치를 가질 수 있다는 실증주의적 주장에 대한 반발이다.

Communicative action relies upon different types of of questions or knowledge-interest. The construction “knowledge-interest” is a reaction to the positivist assertion that scientific knowledge can be disinterested or value free.


그는 "지식-관심"의 영역을 기술, 실용, 해방(Habermas 1970; Edgar 2006)으로 분류한다.

He classifies areas of “knowledge-interest” into technical, practical, and emancipatory (Habermas 1970; Edgar 2006).


  • 기술적인 문제는 과학적 방법과 실증주의적 관점에서 다룰 수 있다.

Technical questions are addressable by the scientific method and a positivist viewpoint.


  • 실용적인 질문은 인간관계, 비교, 문화, 사회의 의사소통적인 질문이다. 그들은 해석, 해석(hermeneutic), 또는 의사소통적인 관점이 필요하다. 제1차 세계대전의 원인이 무엇이었느냐와 같은 역사적 질문이 좋은 예로서, 텍스트와 사람, 경쟁적 관점을 이해해야 한다.

Practical questions are communicative questions of human relationship, comparison, culture, and society. They need interpretation, a hermeneutic, or communicative viewpoint. A good example is a historical question, such as “what was the cause of World War I?”, which requires understanding of texts, people, and competing viewpoints.


  • 해방적/비판적 질문개인이 생각하는 방식, 그들이 취해온 관점과 관련이 있으며 비판적 접근법을 요구한다. 이것은 가정에 대한 성찰적인 질문에 달려있고 정치적인 과정이다. 현재의 예로는 환자 중심 진료를 촉진하는 것이 있다. 환자 중심 진료의 역사는 의사와 환자의 상대적인 힘과 "의사가 가장 잘 알고 있다"는 이전의 가정에 대한 질문에 의존해왔다.

Emancipatory/critical questions relate to the way the individual thinks, the perspectives they have taken and requires a critical approach. This depends upon a reflective questioning of assumptions and is a political process. A current example is the promotion of patient centered-care. The history of patient centered care has depended upon the relative power of physicians and patients and the questioning of previous assumptions that “the doctor knows best”.


비판적 또는 해방적 접근은 개선이나 변화의 과정이며 정치적 행위라고도 묘사되어 왔다. 이것은 파울로 프레이어가 옹호하는 비판적 교육학의 전통과 일치한다. (Freire 1996; Beckett 2013) 어떤 변화를 촉진할 것인가의 선택은 정치적 결정이다. 자유로운 setting으로서의 해방은 무엇을 할 수 있는 자유, 또는 무엇으로부터의 자유다. 변화의 촉진(예를 들어 윤리나 문화 역량에 있어서)은 정치적 행위일 뿐 과학적인 측정 문제는 아니다. 이를 인정하고 전문적 실무관행을 개선하는 목적과 변화를 위해 정력을 쏟은 원인에 대해 성찰하는 것이 도움이 된다.

A critical or emancipatory approach is a process of improvement or change and has also been described as a political act. This aligns with the tradition of critical pedagogy championed by Paulo Freire (Freire 1996; Beckett 2013). The selection of which changes are to be promoted is a political decision. Emancipation as a setting free is a freedom to do what, or freedom from what. The promotion of change (e.g. in ethics or cultural competency) is a political act and not a scientific measurement problem. It is helpful to acknowledge this and reflect about the purposes of improving professional practice and the causes to which we put our energies for change.


건강에 적용되는 하버마스의 비판적 인식론critical epistemology의 이러한 측면은 부분적으로 "개선 프레임improvement frame" 내의 변화의 촉진에 의해 다루어진다. 비판적 인식론을 개선 프레임으로 변환하면 [개인 개선 문제, 특히 도전적인 제한 가정을 통한 변형 학습, 그리고 환자의 결과 개선에 대한 적절한 초점과 일치하는 시스템 개선]을 다루게 된다. 

This aspect of a Habermas’ critical epistemology, as applied to health is partly covered by the promotion of change within an “improvement frame”. Translation of a critical epistemology to an improvement frame covers the issue of personal improvement, particularly transformative learning through challenging limiting assumptions; and systems improvement consistent with the appropriate focus on improving outcomes for patients. 


개선 틀에서 누락되는 것은 지식 주장을 하는 사람들의 가정에 의문을 제기하는 더 비판적이고 급진적인 요소로서 권력 관계의 영향과 변화를 가져오는 목적에 특히 중요하다. 이것은 비판적인 프레임이라고 불릴 수도 있다.

Missing from an improvement frame is the more critical and radical element that questions the assumptions of those making knowledge claims and is particularly critical of the impact of power relations and the ends to which change is put. This might be termed a critical frame. 


비판적 프레임의 예로는 역량기반 훈련에 대해서 그것이 [개인에 대한 조직 의제의 홍보]라는 비판, 자기주도학습에 대해서 [공동체의 요구는 무시한다]라는 비판 등이 있다. 이 개념은 Ng 등(2015년)이 "비판적" 성찰 또는 비판적 사회탐구라고 칭한 것과 밀접하게 일치한다. 이것은 [자신의 편견을 알고 있는 입장에서 근본적인 가정에 도전하는 성찰]이다. 중요한 프레임과 개선 프레임을 함께 사용하면 보건 교육에 대한 이 개념을 보다 포괄적이고 유용하게 번역할 수 있다.

An example of a critical frame would be challenging the move to competency based training as promoting the agenda of organizations over individuals or critiquing self-directed learning as ignoring the needs of communities. This concept closely aligns with what Ng et al. (2015) have termed “critical” reflection or critical social inquiry. This is reflection where underlying assumptions are challenged from a position that is aware one’s own biases. Together a critical frame and an of improvement frame provide a more comprehensive and useful translation of this concept for health education.


한 유형의 지식을 다른 유형의 지식으로 착각하고, 잘못된 종류의 이해를 적용하며, 잘못된 유형의 질문을 하는 것은 범주 실수category mistake라고 불린 것이다(Ryle 2015). 예를 들어, 기후변화에 접근하기 위해 비판적 프레임을 사용하는 것은, 과학자들이 그들의 힘과 위신을 높이고 자금을 조달하기 위해 고안한 문제로서, 온도가 상승하는 과학적 프레임을 무시하는 것이다. 역사를 오로지 절대적인 진리로만 구성된 [일련의 사실]로만 보는 것은, 해석의 역할을 무시한다. 이 두 가지 사례 모두 적절한 프레임이 중첩된다는 것을 보여준다. 과학자들의 동기를 비판하는 것도, 역사가 기초하고 있는 고고학적 사실에 대한 기술적 접근을 취하는 것도 타당하다. 그럼에도 불구하고 지배적인 접근방식은 지식-관심의 유형에 따라 결정될 것이다.

To mistake one type of knowledge for another, to apply the wrong sorts of understanding, and to ask the wrong types of question is what has been termed a category mistake (Ryle 2015). As an example, using a critical frame to approach climate change, as a problem invented by scientists to increase their power, prestige, and funding ignores the scientific frame of increasing temperature. Seeing history as a series of facts, with an absolute truth ignores the role of interpretation. Both these examples show that appropriate frames overlap. It is reasonable to critique the motivation of scientists and to take a technical approach to the archeological facts upon which history is based. Nevertheless, the dominant approach will be determined by the type of knowledge-interest.


지식의 각 형태마다 특성이 다르다. 과학적인 사고는 보편적인 진리 진술을 추구하지만 실질적이고 비판적인 지식의 진리는 맥락에 따라 이루어진다. 전문적인 실천은 과학과 맥락 양쪽의 문제를 이해하도록 요구되며 하버마스의 지식 흥미와 의사소통 행동에 대한 이론은 다양한 분야에서 실천을 이해하는 유용한 방법인 것으로 밝혀졌다.

The characteristics of each form of knowledge are different. Scientific thinking seeks for universal truth statements, but the truth of practical and critical knowledge is contextual. Professional practice requires understanding issues of both science and context and Habermas’ theories of knowledge interest and communicative action have been found to be a useful way of understanding practice in diverse areas


[지식 관심사 이론]은 이러한 각 분야에서 적절한 인식론을 이해하고 전략적 또는 의사소통적 행동과 연결시킬 수 있는 체계를 제공한다.

The theory of knowledge interests provides a framework, in each of these fields, for understanding the appropriate epistemology and a linkage to either strategic or communicative action.


특히 메지로우는 하버마스의 인식론적 체계를 이용하여 약간 다른 용어를 사용한 학습 이론을 개발하였다(Mezirow 1997, 2009). [도구적 학습]은 기술적인 문제에 해당하고, [의사소통학습]은 헤르메뉴틱 문항에 해당하며, [변형학습]은 비판적인 문제에 해당된다. 학습에 필요한 요건은 질문 유형에 따라 다르다. 비판적 접근법과 변혁적 학습은 "비판적인 딜레마"에 의존하고 있으며, 션(1983)도 반성을 촉진하는 데 있어 놀라움의 중요성을 밝혀냈다. 비판적 성찰(근본적인 가정에 대한 조사)과 이성적 담론(권위나 권력에 대한 의존이 아니라)은 양쪽의 다른 핵심 요소들이다.재치 있는 행동과 변혁적인 학습

Notably Mezirow has utilized Habermas’ epistemological framework in developing a theory of learning using slightly different terminology (Mezirow 1997, 2009). Instrumental learning corresponds to technical questions, communicative learning corresponds with hermeneutic questions, and transformative learning corresponds with critical questions. The requirements for learning to occur differ according to the type of question. A critical approach and transformative learning is dependent upon “disorientating dilemmas” and Schon (1983) has also identified the importance of surprise in promoting reflection . Critical reflection (an examination of underlying assumptions) and rational discourse (rather than a reliance on authority or power) are other key elements of both communicative action and transformational learning.


대체 포스트모던 인식론적 분류

Alternative postmodern epistemological classifications


해석주의 Interpretivism


해석주의는 일부에서 실증주의에 대한 비판을 논증하는 데 덜 흔하게 사용되는 용어로서 헤르메뉴틱과 하버마스의 헤르메뉴틱 또는 의사소통적 지식-이해 개념과 밀접하게 연관되어 있다(Schwandt 1994; Habbermas 2015). 그것은 맥스 베버로부터 파생된 베르스테른 전통의 일부분이며 사회학 내에서 두드러진다. 그것은 질적 연구와 주관적 또는 살아 있는 경험의 가치를 강조하는 현상학적 접근과 일치한다. 주된 관심사는 [단지 일어난 일]뿐만이 아니며, 그것의 의미가 무엇인지 까지이다.

Interpretivism is a less commonly used terminology in as some discourses critique of positivism and is closely allied to hermeneutics and Habermas’ concept of a hermeneutic or communicative knowledge–interest (Schwandt 1994; Habermas 2015). It is part of the verstehen tradition derived from Max Weber and prominent within sociology. It is aligned with qualitative research and a phenomenological approach that emphasizes the value of the subjective or lived experience. The primary interest is not just what happened it is what it means.


구성주의 Constructivism


구성주의(Ackermann 2001)는 다양하게 정의되어 왔으며, 그 용어가 다방면으로 사용되며 혼란을 야기했다. 공통적인 특징은 지식은 학습자에 의해 적극적으로 구성된다는 것이다(Sjøberg 2010). 피아제(1999년)와 비구츠키(1978년) 등 교육에 중요한 학자들의 업적을 그린다. 여러가지의 구성주의를 구분함에 있어서 유의해야 한다. 구성주의의 성격이 다양해서 특정 이슈에 대해 꼬집고 적용하기 어렵다.

Constructivism (Ackermann 2001) has been diversely defined and the use of the term in multiple ways creates confusion. A common feature is that knowledge is actively constructed by the learner (Sjøberg 2010). It draws on the work of scholars important to education such as Piaget (1999) and Vygotsky (1978). Care needs to be taken to distinguish 

    • constructivism as an epistemology from 

    • constructivism as a theory of learning, personality, or sociology; as well as 

    • constructionism as a learning theory. 

The diversified nature of constructivism makes it difficult to pin down and apply on specific issues.


전문성 분석을 위한 선호 프레임워크로서의 의사소통 작용

Communicative action as a preferred framework for analysis of professionalism


따라서 [전문직업성 담론 분석에 선호되는 분류 체계]에 대한 의문이 제기된다. 의사소통 작용 이론의 주요 장점은 전문성(개인적, 상호적, 사회적)의 초점과 인식론적 차원을 모두 체계적으로 통합한다는 점이다.

The question therefore arises as to a preferred classification system for analysis of professionalism discourse. The major advantage of the theory of communicative action is that it systematically incorporates both the focus of professionalism (personal, inter-personal, and social) and the epistemological dimension.


[의사소통 작용]은 [생활 세계life world 내에서 서로 다른 지식 관심사knowledge interest]를 추구함으로써 일어난다. 생활세계의 현상학적 개념에 대한 하버마스의 정의(Habermas 1989년)는 사람, 대인관계 커뮤니케이션, 사회 차원의 사회 활동을 명시적으로 고려한다. 생활 세계는 이러한 수준의 상호작용을 개인의 살아있는 경험에 통합한다(Edgar 2006). 그의 작업의 주요 부분은 생활세계의 이 관점이 사회와 시스템으로서의 관점이 어떻게 상호작용을 하는가에 관한 것이다.

Communicative action occurs through the pursuit of different knowledge interests within the life world. Habermas definition of the phenomenological concept of the life world (Habermas 1989) explicitly considers social activities at the level of person, interpersonal communication, and society. The life world integrates these levels of inter-action into the lived experience of individuals (Edgar 2006). A major part of his work is how this view of a lifeworld interacts with the view of society as a system,


그의 사고의 "비판적인" 측면은 사회 정의의 문제와도 관련이 있다. 특히, 그것은 소아 발달의 피아제 시스템이라기 보다는 [실천 공동체]의 교육학적 틀에 들어맞는다. 이러한 모든 이유들로 인해, 그것은 전문교육의 실행에서 이슈를 탐구하는 플랫폼으로서 합리적인 선택을 한다.

The “critical” aspect of his thinking also relates to issues of social justice. Of particular note, it fits within a pedagogical framework of communities of practice rather than a Piagetian system of childhood development. For all these reasons it makes a reasonable choice as a platform to explore issues in the practice of professional education.


하버마시안적 관점은 중요한 결과를 가져온다. 

  • 첫째로, 지식 관심사 이론은 선택된 프레임워크가 질문되는 질문에 적합한지에 대한 질문을 허용한다. 

  • 둘째로, 의사소통 작용 이론은 그 과정의 integrity을 고려함으로써 담화의 질을 평가하기 위한 기준을 제공한다

  • 마지막으로, 의사소통과 변화의 명시적인 연계는 담론의 결과를 이해하는 틀을 제공한다.

A Habermasian perspective has important consequences. 

  • Firstly, the theory of knowledge interests allows the question as to whether the framework chosen is appropriate for the question being asked. 

  • Secondly the theory of communicative action provides criteria for the evaluation of the quality of a discourse by considering the integrity of its process. 

  • Finally, the explicit linkage of communication and change provides a framework for understanding the consequences of the discourse.


서로 다른 지식 관심사가 서로 다른 담론으로 간주될 수 있지만 상당한 중복이 있다. 이러한 이유로 우리는 하버마스의 의사소통 행동 이론 내에서 다른 지식 관심사를 프레임워크나 프레임으로 언급할 것이다. 하버마스 지식 관심사를 둘러싼 용어는 다음과 같이 align된다.

  • 기술적, 도구적, 과학적, 실증적 관심사, 

  • 언어적-커뮤니케이션적, 실용적 관심사, 그리고 

  • 비판적-감정적 관심사 또는 개선 관심사

Different knowledge interests can be considered as different discourses but there are substantial overlaps; for these reasons we will refer to different knowledge interests within Habermas’ theory of communicative actions as frameworks or frames. The terminology around Habermas knowledge interest has varied with the alignment of 

  • a technical, instrumental, scientific, positivist interest; 

  • a hermeneutic-communicative, pragmatic interest; and 

  • a critical-emancipatory or improvement interest. 


비판적 관심사를 개선과 비판 프레임으로 나누는 것은 이러한 개념을 건강 내에서 사용되는 언어로 번역한다. 일관성을 위해 기술적, 의사소통적, 개선적 및 중요한 프레임이라고 한다.

The division of a critical interest into both improvement and critical frames translates these concepts into language used within health. For consistency these will be termed, for this purpose: technical, communicative, improvement, and critical frames.


전문성은 의사소통 작용의 관점에서 논증한다.

Professionalism discourses from the point of view of communicative action


전문성 담론에 대한 Hodges 외 연구진(2011)은 한 축의 범위(개인적, 대인관계적, 사회적)와 인식론(다른 축의 경우 실증론자 대 구성론자)에 의해 만들어진 여섯 가지 잠재적 담론을 확인했다.

Hodges et al. (2011) consideration of professionalism discourses identified six potential discourses created by their matrix of scope (personal, interpersonal, and social) on one axis and epistemology (positivist versus constructivist on the other).


테크니컬 프레임

Technical frame


[개별적 특성이나 관찰 가능한 행동의 집합으로서 전문성]에 대한 논의는 실증주의적/객관적 담론 및 기술적 프레임과 일치한다. 개념과 결과는 일치하며 주요 특징은 측정 가능한 관찰에 대한 요건이다. 개인은 과학 법칙의 적용을 받으며, 그 필요성은 변수를 식별하고 기술하는 것이다. 이것은 이타주의 같은 인격적 특성을 측정하고 전문적 행동과의 관계를 모색하기 위해 사용되어 온 방법론이다. 이것에 대한 적절한 메타포는 척도scale이다. 의대 진학을 위해 선택할 수 있는 성격적 특성의 활용이 그 예다.

The discussion of professionalism as an individual trait or set of observable behaviors fits in with the positivist/objective discourse and a technical frame. The concepts and consequences align and a key feature is the requirement for measurable observations. An individual is subject to scientific laws and the need is to identify and describe the variables. This is the methodology that has been used to measure personality traits such as altruism and seek relationships with professional behaviors. The metaphor is the scale. An example is the use of personality traits to select for entry into medical school.


의사소통 틀

Communicative frame


호지스 외 연구진(2011)은 개인간 전문성 담론의 두 가지 유형을 설명하였다.

Hodges et al. (2011) have described two types of inter-individual professionalism discourses. 


첫번째 것은 개인간 프로세스 담론이라고 불렸다. 여기서 개인은 다른 사람에 대한 반응을 선택하기 위해 사용하는 일련의 [사회 인식 과정]을 가지고 있다. 이곳의 시스템은 대인관계지만, 그 주장은 행동이 충분하지 않고 맥락과 동기를 이해할 필요가 있다는 것이다. 이것은 해석이 필요하며 의사소통 틀과 일치한다. 그 예가 프로페셔널리즘의 오류를 발생시키는 맥락 안에서 이해해야 하는 방법이며, [관계된 사람과 환경 사이의 상호작용]의 산물이다.

The first one was termed as an inter-individual process discourse. Here an individual has a set of socio-cognitive processes which they use to select responses to others. The system here is interpersonal but the argument is that behaviors are not sufficient and that context and motivations need to be understood. This requires interpretation and is consistent with a communicative frame. An example is the way in which lapses in professionalism need to be understood within the context in which they arise and are a product of the interaction between the people involved and the environment.


두 번째 유형의 개인간 담론은 구성주의자라고 불린다. 이 담론은 또한 의사소통 틀과 일치한다. 전문직업성은 개인이 가진 개념으로부터 구성되며, 그 개념은 부분적으로 행동을 통해서 반영된다는 생각이 그 예다.

The second type of inter-individual discourse is termed constructivist. This discourse also aligns with a communicative frame. An example is the idea that professionalism is constructed out of concepts held by an individual that is partially reflected by behaviors.


그러므로 학생은 전문적으로 행동할 수도 있지만 인종차별주의자가 될 수도 있다. 두 분류 모두에서 의미는 대인관계 상호작용을 통해 구성된다. 대인관계 담론에서의 핵심 권고사항은 [실천에서의 행동, 판단의 맥락과 환경에 대한 인식, 그리고 "군중의 지혜"에 대한 의존]으로 요약할 수 있다. 이것들은 헤르메네틱스에 초점을 맞추고, 동료의 판단에 초점을 맞추고, 이상적인 의견 교환을 위한 조건들을 만들어내는 하버마스의 의사소통 틀에 대한 이해에 적합하다. 이 프레임에서의 메타포는 대화다.

Thus a student might behave professionally, but be racist. In both classifications meaning is constructed through interpersonal interactions. The key recommendations for an interpersonal discourse can be summarized as a focus on behaviors in practice, an acknowledgement of context and environment in making judgements, and the reliance on the “wisdom of the crowd”. These fit within Habermas understanding of a communicative frame with a focus on hermeneutics, collegial judgement, and creating conditions for an ideal exchange of views. The metaphor is the conversation.


이 프레임은 프로그램 평가의 전문성 판단에 대한 담론에 의해 입증된다(van der Vleuten et al. 2012). 평가 프로그램에서 프로페셔널리즘은 해석이 필요하며 관찰과 데이터를 기반으로 하지만 전문가 커뮤니티의 지혜를 통해 해결된다.

This frame is demonstrated by the discourse around judgement of professionalism in programmatic assessment (van der Vleuten et al. 2012). In a program of assessment, professionalism is a judgement, which requires interpretation and is based on observations and data, but is resolved through the wisdom of a community of experts.


비판적 프레임

Critical frame


구성주의적 담론은 사회문화적 관점에서도 적용될 수 있다. 이 담론은 전문성의 구성적 특성과 도덕과의 관계를 예로 들어 문화간의 전문성 차이와 시간 경과에 따른 전문성의 차이를 강조한다. 이것은 프로페셔널리즘의 구성적 성격이 그것을 비평의 대상으로 열어두는open it up, 특히 권력의 영향과 관련된 비판적 프레임과 잘 들어맞는다. 시스템에 대한 변화와 비판에 대한 이러한 요구를 나타내는 메타포는 바로 시위protest다. 이것의 한 예는 보다 공평한 건강 시스템이나 난민들의 건강을 옹호하는 것이 의사의 전문적인 책임이라는 견해일 수 있다.

The constructivist discourse can also be applied from a socio-cultural perspective. This discourse emphasizes the constructed nature of professionalism and its relation to morality-using as an example the differences in professionalism between cultures and over time. This fits well with a critical frame where the constructed nature of professionalism opens it up to critique, particularly relating the influence of power. A metaphor which represents this demand for change and critique of systems is the protest. An example of this might be the view that it is the professional responsibility of the physician to advocate for a more equitable health system or for the health of refugees.


개선 프레임

Improvement frame


우리 시스템에서 점점 중요해지는 구성주의적 담론의 구체적인 한 가지 실행방식은 [전문성과 관리 질 향상]에 관한 담론이다(Taylor 1996). 이것은 또한 비판적인 시각과 맞아떨어지지만 변화에 대한 수요는 특정한 목적에 집중되어 있다. 소통과 합의와 공감대를 위한 자료를 필요로 하기에, 적절한 메타포는 합의회의consensus conference다. 여기서의 예는 낭비적인 관행에 대한 합의를 통해 치료의 가치를 향상시키려는 시도가 있는 현명한 선택 캠페인(Casel 2012)일 수 있다.

A specific implementation of a constructivist discourse of increasing importance in our systems is the discourse around professionalism and improvement in the quality of care (Taylor 1996). This also fits with a critical perspective but the demand for change is focused on a particular purpose. There is the need for data and for communication and consensus, an appropriate metaphor is therefore the consensus conference. An example here might be the choosing wisely campaign (Cassel 2012) where there is an attempt to improve the value of care through consensus regarding wasteful practices.





하버마시안 프레임 채택의 시사점

Implications of adopting a Habermasian frame


[기술적 프레임]의 사용은 사실 실증주의적 담론과 동일하지만 주관주의적 담론을 위하여 [의사소통적 프레임]으로 대체하게 되면 몇 가지 새로운 가능성을 열어준다.

The use of a technical frame is effectively identical to a positivist discourse but the substitution of a communicative frame for a subjectivist discourse opens up several new possibilities.


[의사소통 프레임]은 효과적인 의사소통과 해석에 관한 것이다. 해석(hermeneutics)에 대한 초점은 내러티브과 해석의 담론에 연결된다. 내러티브은 의학 대화와 교육에서 중요한 요소로 인식된다(Greenhalgh 1999). 헤르메뉴틱스에 초점을 맞추면 문학의 해석 방식(의학문헌 포함)에 초점 차이가 생기며 전문적 실천을 결정하는 것은 상당 부분 텍스트라는 사실을 일깨워 준다.

A communicative frame is about effective communication and interpretation. A focus on interpretation (hermeneutics) connects to discourses of narrative and interpretation. Narrative is recognized as an important component of medical conversations and education (Greenhalgh 1999). A focus on hermeneutics brings into focus differences in the way literature (including the medical literature) is interpreted and reminds us that much of what determines professional practice are texts.


의사소통 작용 이론의 한 가지 기여는 그것이 의사소통 틀에 대한 어떤 기준을 정립한다는 것이다

One contribution of the theory of communicative action is that it establishes some criteria for a communicative frame. 


첫째로, 진실 주장이 평가될 수 있는 기준, 즉 "이상적인 언어 상황"; [관련된 모든 사람들이 참여할 수 있도록 허용되고, 어떤 사람이든 질문할 수 있고, 새로운 생각을 도입할 수 있고, 그들의 생각을 기꺼이 바꿀 수 있어야 한다]. 이러한 이상적인 상황들은 대인관계 구성으로서 전문성의 장애요인이 무엇인지 상기시켜주며, 이 프레임에서 권력이 하는 역할을 보여준다.

Firstly, there are criteria under which a truth claim might be evaluated, an “ideal speech situation”; everyone involved is allowed to take part; can question anything anyone says; can introduce new ideas; and is willing to change their mind. These ideal circumstances remind us of the barriers to professionalism as an interpersonal construct and highlight the role power plays in this frame.


둘째로, 개인의 진리 주장truth claim을 평가하는 방법에는 "발언이 이해할 수 있는 것인가, (정확한 의미에서), 옳고 도덕적으로 적절한가, 성실하게(또는 진실하게) 진술된 것인가"라는 기준이 있다. 담론 내 진실 주장에 대한 평가는 주관적인 정확성 주장에만 의존하는 것이 아니라, 저자의 진정성, 논거의 응집력, 제안의 윤리적 차원에 대한 관점으로 보완된다.

Secondly there are criteria for how to evaluate an individual truth claim “Is the utterance comprehensible, is it true (in the sense of accurate), Is it right and morally appropriate, is it sincerely (or truthfully) stated?”. Evaluations of truth claims within discourses do not depend just upon subjective claims of accuracy, they are supplemented by a view on the sincerity of the author, the cohesiveness of the argument, and the ethical dimension of the proposal.


두 접근법 사이의 또 다른 주요한 차이점은 사회 구성주의자에 대한 개선과 비판적 프레임이 가져오는 부가 가치다. 하버마스의 [비판적 지식 관심]은 사회적 개선을 위한 수단으로서 의사소통적 행동에 초점을 맞추고 있다. 전문성이 건강증진의 매개체라는 것이 질향상quality improvement을 둘러싼 담론의 전제가 되고 있다. [개선의 언어language of improvement]를 전문성 교육의 일부로 활용하는 것은 질적 향상과 교육의 담론을 연계하는 한 가지 방법으로서, 학습을 통한 돌봄의 질적 향상의 핵심 특징으로 인정받고 있다(Fox와 Bennett 1998).

Another major difference between the two approaches is the additional value brought by an improvement and critical frame over a social constructivist one. Habermas critical knowledge interest focuses on communicative action as a vehicle for social improvement. The premise of the discourse around quality improvement is that professionalism is a vehicle for improvement in health. Utilizing the language of improvement as part of education in professionalism is one way of linking the discourses of quality improvement and education, which is acknowledged as a key feature of improving quality of care through learning (Fox and Bennett 1998).


마찬가지로, [비판적 프레임]은 사회문화적 담론의 일부인 많은 윤리적, 권력적 문제를 강조한다. 또한 전문직업성을 사회 내에서 발생하는 형평성과 권력에 대한 더 넓은 논의와 연결시킨다. 전문직업성에 대한 비판적 프레임을 보다 광범위한 권력 담론에 연결하면 연예계 내 성희롱에 대한 발전이 전문성 담론에 즉각적으로 관련되게 된다는 것이 그 예다.

Similarly, the critical frame highlights many of the ethical and power issues which are part of a sociocultural discourse and links professionalism to broader discussion about equity and power occurring within society. An example is that linking a critical frame on professionalism to broader discourses of power makes developments against sexual harassment within the entertainment industry immediately relevant to professionalism discourses.


[비판적 프레임]과 [개선 프레임]이 만들어내는 차이점의 예는 최근 자기 및 환자 중심 치료의 발전에 반영되어 있다. 개선 프레임이 개인, 대인관계, 사회적 영역에 걸쳐 CanMEDS2015에 통합되어 자아, 환자에 대한 헌신, 직업에 대한 헌신, 사회에 대한 헌신이 그것이다. 그러나 전문직 종사자가 자신을 돌보는 것이 새로운 추가라는 점이 관심사다(Frank et al. 2015). 비판적 프레임을 사용하면, [자기 자신에 대한 돌봄]이라는 관점의 누락을 비판할 수 있다; 반대로 [자기 자신에 대한 돌봄]을 포함하면, 번아웃이 개개인의 문제이며, 회복탄력성의 부족과 관련되어 있는 현상이라고 가정한다고 비판할 수 있다. 번아웃의 문제는 똑같이 조직적 현상으로도 구성될 수 있기 때문이다. 이것은 논쟁적 이슈에 비판적 프레임을 가져오는 효용성의 예다. 자신에게 적용되는 비판적 틀은 변혁적 학습의 특징으로 부각되는 우리 자신의 기본 입장에 대한 깊은 자기 성찰의 형태를 나타낸다(Mezirow 1997).

Examples of the difference a critical and improvement frame makes are reflected in recent developments in self- and patient centered care. An improvement frame is integrated into CanMEDS2015 across the personal, interpersonal, and social domains as caring for self, commitment to patients, commitment to the profession, and commitment to society. But it is of interest that the professional caring for themselves is a new addition (Frank et al. 2015). Using a critical frame, the omission of caring for self can be critiqued as a missing perspective; inclusion of caring for self, can be critiqued as the assuming that burnout is an individual phenomenon, related to a lack of resilience. The problem of burnout can equally be constructed as an organizational phenomenon. This is an example of the utility of bringing a critical frame to the discussion of a contested issue. A critical frame applied to the self, represents a form of deep self-reflection on our own assumptions underlying positions that is highlighted as a feature of transformative learning (Mezirow 1997).


    • 전문성을 [대인관계 구조]로 보는 비판적 시각은 환자 중심성과 의사 환자 관계에서의 권력, 그리고 전문직간 관계에서의 팀 작업과 권력의 문제를 강조할 것이다

    • 전문성을 [사회적 담론]으로 볼 때의 비판적 프레임은 의학 담론의 불평등 문제, 예를 들어 의과대학 선발, 전문 조직의 성별 구성, 가족 휴가 옹호, 파트타임 근무 등을 강조할 것이다.

    • A critical view of professionalism as an interpersonal construction will highlight issues of patient-centeredness and power in physician patient relations and team work and power in inter-professional relations. 

    • A critical frame towards professionalism as a societal discourse will highlight the issues of inequities in medical discourse e.g. selection into medicine, gender composition of professional bodies, advocacy for family leave, and part time work etc.


Govaerts와 Van der Vleuten(2013)은 구성주의적-해석주의적 접근법을 제안했으며, 또한 문맥을 고려하고 정성적 연구와 유사한 접근법을 취할 필요성을 강조했고, 과정과 결과를 이해했다. 그것은 전문성이 다중적이고 상호의존적인 수준에서 복수의 렌즈나 파라미터를 통해 개념화되어야 한다는 이전의 담화 분석(Hodges et al. 2011)의 결론을 강화하고 이러한 관찰을 확장한다.

Govaerts and van der Vleuten (2013), have proposed a constructivist-interpretivist approach and also have highlighted the need to consider context and to take an approach more akin to qualitative research, understanding processes as well as outcomes. It strengthens the conclusions of previous discourse analysis (Hodges et al. 2011) that professionalism needs to be conceptualized at multiple and interdependent levels and through multiple lenses or parameters and extends these observations.


요약 및 결론

Summary and conclusions


프로페셔널리즘 담론은 인식론과 개인적, 대인관계적 또는 사회적 관점에 따라 이전부터 다양하게 묘사되어 왔다. 우리는 이 개념을 재검토하기 위해 하버마스의 [의사소통 작용 이론과 인식론적 분류]를 활용했다. [의사소통 작용 이론]은 질문의 본질에 인식론적 프레임을 일치시킬 수 있는 능력과 포스트 모던 사회의 지식, 행동 커뮤니케이션, 변화에 대한 폭넓은 대화로 통합되었기 때문에 선택되었다. [비판적-해방적 지식 관심사]는 전문성 내에서 서로 다른 담론을 반영하는 두 가지 요소 - 개선 프레임과 비판 프레임 - 로 나뉘었다. 이들은 변화가 가리키고 있는 목적과 관심ends and interests를 비판한다.

Professionalism discourses have previously been described as varying according to epistemology and a personal, interpersonal, or social perspective. We have utilized Habermas theory of communicative action and epistemological classification to reexamine this concept. The theory of communicative action was chosen due to its ability to match an epistemological frame to the nature of the question being asked and due to its integration into broader conversations about knowledge, action communication, and change in a post-modern society. The critical-emancipatory knowledge interest was divided into two components which reflected different discourses within professionalism; an improvement frame and a critical frame, which critiques the ends and interests to which change is directed.


전문성 담론에 4가지 다른 프레임(기술성, 의사소통성, 개선성, 비판성)을 적용하는 것은 이 프레임워크가 기존의 description보다 전문성의 비판적 담론에 더 잘 부합한다는 것을 강조하였다. 특히

  • 사소통 프레임은 해석과 의사소통의 담론에 연결되어 있다. 

  • 개선 프레임은 질 개선의 담론에 연결되어 있다

  • 판적 프레임은 (자기 관리 및 환자 중심 관리를 포함하여) 전문직업성의 형평성과 권력 담론에 연결되어 있다.

Applying four different frames (technical, communicative, improvement, and critical) to discourses of professionalism highlighted that this framework provided a better fit to the important discourses of professionalism than previous descriptions. In particular, 

  • the communicative frame is linked to discourses of interpretation and communication; 

  • the improvement frame to discourses of quality improvement, and 

  • the critical frame to discourses of equity and power within professionalism, including self-care and the 

  • patient centered care. 

특히 중요한 것은 전문성의 대인관계 담론에 대한 장벽, 특히 힘의 불균형을 강조하는 데 있어서 [이상적인 언어 상황]의 개념이었다.

Of particular importance was concept of an ideal speech situation in highlighting barriers, particularly power imbalance, to an interpersonal discourse of professionalism.


구성주의-해석주의자와 비교하여 하버마시안적 관점을 채택한 것은 호지스 외(2011년)에 의해 두드러진 것으로 확인된 몇 가지 문제를 다루었다. 지속적인 개선 문화가 필요하다는 권고를 해결하기 위해 개선 프레임의 도입이 시작된다. 중요한 프레임의 도입은 평가에서 기대와 관행이 틀에 박히거나 시행되는 특정 방법(문화, 세대, 젠더, 계층 등)의 우위에 대한 비판을 포함할 수 있다는 요건을 다루기 시작한다.

The adoption of a Habermasian perspective in comparison to a constructivist-interpretivist one has addressed several of the issues identified as outstanding by Hodges et al. (2011). Introduction of an improvement frame starts to address the recommendation that a culture of continuous improvement is required. Introduction of a critical frame starts to address the requirement that assessment may involve critiquing the dominance of certain ways in which expectations and practices are framed or enforced (cultural, generational, gendered, hierarchical, etc.).







. 2019 Jan;41(1):91-98.
 doi: 10.1080/0142159X.2018.1442565. Epub 2018 Mar 26.

Discourses of professionalism: Metaphors, theory and practice

Affiliations 

Affiliations

  • 1a Medical Education Unit , Gold Coast University Hospital and Health Service , Southport , Australia.
  • 2b Medical Education Unit, Christchurch School of Medicine & Health Sciences University of Otago , Christchurch , New Zealand.
  • 3c Department of Professional Development , Royal College of Physicians and Surgeons of Canada , Ottawa , Canada.

Abstract

Professionalism is a contested concept and different discourses have differed by scope and epistemology. The theory of communicative action integrates epistemology (knowledge interests) with that of scope (lifeworld).

Aim: To pragmatically inform learning of professionalism.

Methods: apply the theory of communicative action to professionalism discourses.

Results: Previous professionalism discourses translated into four frames: technical; communicative; improvement, and critical. These can be viewed as four metaphors the scale; conversation; consensus conference, and protest. The theory of communicative action demonstrated that a critical frame was often lacking from discussions of professionalism and emphasized critiquing the assumptions made, the way power was utilized, and the ends to which actions were directed. Using these frameworks connected discourses on professionalism to other key medical discourses particularly quality improvement, patient centeredness, social justice, and the professional well-being.

Conclusion: The theory of communicative action adds value by introducing criteria for the evaluation of individual truth claims that expands the discussion beyond accuracy to include sincerity, ethics and coherence; and it emphasizes promoting free speech and the inclusion of diverse views and stakeholders. The theory of communicative action provides a coherent and useful framework for viewing professionalism that integrates with broader discussions about philosophy, truth claims, and post-modern society.


형상화된 세계에서의 가능성과 행위자성: 좋은 의사 되기 (Med Educ, 2017)

Possibility and agency in Figured Worlds: becoming a ‘good doctor’

Deirdre Bennett,1 Yvette Solomon,2 Colm Bergin,3,4,5 Mary Horgan6 & Tim Dornan7




도입

INTRODUCTION


본 논문의 목적은 점점 더 인정받고 있는 형상화된 세계(Figured Worlds, FW),4 사회 문화 정체성 이론의 기여를 검토하는 것이다. 이 이론은 비고츠키5가 제안한 정체성과 발달의 기초 개념과 상대적으로 인정받지 못하는 바흐친의 담론 이론을 풍부하게 활용한다.6 FW이론은 홀란드, 라치코테, 스키너, 카인이 개발했다.4 학문과 교사들의 정체성을 탐구하기 위해 교육 문헌에 광범위하게 적용되어 왔다. 학교와 교실의 문화 세계에서는 성별, 8,9 인종 10,11, 성별을 포함한 복수 정체성을 협상하는 방법에 적용되어왔다.

The aim of this paper is to review the contribution of Figured Worlds,4 an increasingly recognised socio-cultural identity theory, which makes rich use of foundational concepts of identity and development proposed by Vygotsky5 and the relatively underappreciated discourse theory of Bakhtin.6 Developed by Holland, Lachicotte, Skinner and Cain,4 the theory of Figured Worlds has been applied extensively in the education literature to explore identity in learners and teachers,7 and the ways in which people negotiate multiple identities, including gender,8,9 race10,11 and sexuality,12 in the cultural worlds of schools and classrooms.


FW는 또한 의학 교육에서 새로운 연구의 기초가 되는 이론이다.13–15 

  • 힐 외 연구진은 수술과 여성성의 담론 안에서 여성 외과의들의 자기 구축에 대해 탐구했으며, 이 둘을 성공적으로 결합하는 것은 외과의가 되는 것이 의미하는 바를 재구축해야 한다고 결론지었다. 

  • 도르난 외는 의학계의 문화세계에서 의대생들의 감정과 그들의 정체성 발달 사이의 관계를 조명하기 위해 FW를 적용했다. 

  • 바간은 일반 실습과 병원 환경에서 초기 임상 접촉을 통해 주니어 의대생들의 정체성 발달을 연구했다. 

  • 임상의사 교육자 정체성에 대해 FW접근방식을 취하고 있는 밴 란켈드의 추가 연구가 최근에 발표되었으며, 정체성 형성의 교차 문화적인 측면에 대한 연구가 진행 중이다..

Figured Worlds is also the underpinning theory for an emerging strand of research in medical education.13–15 

  • Hill et al.13 explored women surgeons’ construction of self within the discourses of surgery and femininity, concluding that successfully combining both required a reframing of what it means to be a surgeon. 

  • Dornan et al.14 applied Figured Worlds to illuminate the relationship between medical students’ emotions and their identity development in the cultural world of medicine, and 

  • Vagan15 studied junior medical students’ identity development through early clinical contacts in general practice and hospital settings. 

  • A further study by van Lankveld,16 which takes a Figured Worlds approach to clinician educator identity, was recently published, and research into cross-cultural aspects of identity formation is ongoing.


의사 정체성 담론

DISCOURSES OF DOCTOR IDENTITY


우리가 '좋은 의사'가 되는 것에 대해 말할 때 그리는 담론에는 의학 교육자와 학생들이 '좋은 의사'가 되는 과정을 이해하고 제정enact하는 방식을 형성하는 하위 텍스트가 포함되어 있다. 의대생들의 정체성 형성에 대한 논의는 "의대생과 수련생들에게 주입되어야inculcate 하고, 그들이 그렇게 성장해야 하는 이상적인 '좋은 의사' 정체성이 있다."는 널리 알려진 가정에 의해 뒷받침된다.

The discourses we draw on when we speak about being a ‘good doctor’ contain subtexts that shape the way medical educators and students understand and enact the process of becoming one. Discussion of medical students’ identity formation is underpinned by the widely held assumption that there is an ideal ‘good doctor’ identity that must be inculcated into medical students and trainees,17 and into which they must grow.


화이트헤드18은, 지난 세기 동안 '좋은 의사'라는 개념에 대한 푸콜디안 담론 분석에서 지배적인 담론이 플렉스너의 과학자 의사라는 개념에서 1950년대 동안 전체론적 성격을 바람직한 '성격론characteristics'으로 해부되는 방식으로 어떻게 변화했는지를 그렸다. 이렇게 변화된 담론에서 학생들을 비인격적으로 묘사하여, 전문적인 발견의 여정을 수행하는 개인이 아니라, 교육자들에 의해 조종되고 성형되어야 하는 신체로 묘사한다.18

In her Foucauldian discourse analysis of the concept of the ‘the good doctor’ over the past century, Whitehead18 plotted how the dominant discourse changed from Flexner’s concept of the scientist physician, who was also a man of character, to the dissection of a holistic character into desirable ‘characteristics’ during the 1950s. This discursive shift depersonalised students, depicting them as a body to be manipulated and moulded by educators, rather than as individuals undertaking journeys of professional discovery.18


1970년대에는 역할수행role performance으로서의 역량에 대한 현재의 담론이 표면화되었고, 좋은 의사의 personhood와 agency는 더욱 후퇴하였다. 그 의사는 의료 훈련의 '제조 모델'에서 의료 교육에 의해 생산된 역량의 집합체가 되었다. 역량에 대한 담론은 시간, 사람 및 개인적인 여정에 대한 강조를 축소시킴으로써, [훈련을 통해 생산된 표준화된 '좋은 의사']라는 가정에 기여한다.

During the 1970s, the current discourse of competence as role performance came to the fore, and the personhood and agency of the good doctor receded even further. The doctor became a collection of competencies produced by medical education in a ‘manufacturing model’ of medical training. The discourse of competence, continues the de-emphasis on time, person and personal journey,18 contributing to the assumption of a standardised ‘good doctor’ produced through training.


가치관, 태도, 행동의 일률적인 집합인 이 정체성의 성취는 전문적 정체성 형성의 '완료된completed' 과정의 정점으로 제안되었다.19 이렇게 초점이 좁혀지는 것은 의사들 간 다양한 궤적과 전문적 정체성의 해석과 발전방법에 있어서의 다양성의 가능성을 인정하지 않는다. '아무렇게나 해도 된다'고 말하려는 것이 아니다. 다만 표준화 담론이 '좋은 의사'라는 넓은 우산 아래에는 [의대생과 의사가 적극적으로 다양한 정체성을 구축한다는 것을 인식하지 못함]을 말하려는 것이다.

Achievement of this identity, a uniform set of values, attitudes and behaviours, has been proposed as the pinnacle of a ‘completed’ process of professional identity formation.19 This narrowing of focus does not acknowledge the possibility of diverse trajectories and variations between doctors in how they interpret and develop their professional identities. This is not to suggest that ‘anything goes’, but rather that the standardisation discourse does not recognise that medical students and doctors actively construct diverse identities under the broad umbrella of the ‘good doctor’.


의대생들은 '좋은 의사'의 지배적인 담론 외에도 의사로서 어떻게 해야 하는가에 대한 많은 중복되고 모순된 담론을 경험한다.20–22

In addition to the dominant discourse of the ‘good doctor’, medical students experience many other overlapping and contradictory discourses of how they should be as doctors.20–22


22세의 MacLeod는 학생들이 어떻게 '역량과 돌봄'이라는 담론을 통해 전문적인 정체성을 발전시키는지 설명했다. 역량의 담론은 지식과 기술력을 중시하며, 이와 밀접하게 연결되어 있다.

MacLeod,22 described how students develop professional identities through the discourses of Competence and Caring. The discourse of Competence, with its emphasis on knowledge and technical skill, is closely linked to


화이트헤드의 표준화 담론. 돌봄은 덜 특권적인 담론이며, 이는 환자 상호작용의 심리학적, 감정적 측면과 연결되어 있다.22

Whitehead’s discourse of Standardisation. Caring is a less privileged discourse, which is linked to the psychosocial and emotional aspects of patient interaction.22



MacLeod의 연구에 참여한 학생들은 [자신감, 능력, 적합성의 정체성]을 제정했는데, 이것은 역량의 담론 안에서 가치 있게 평가되며, 무엇을 어떻게 해야 하고 어떻게 해야 하는지에 대한 선입견을 가지고 있었다. 학생들은 또한 다른 사람들을 그들 자신보다 우선시하고 이해와 관심을 보여줌으로써 [돌봄의 담론]과 관련하여 자비심과 겸손의 정체성을 제정했다. 맥리드는 학생들이 불확실하고 예측할 수 없는 정신사회적 문제에 직면했을 때 "돌봄"과 "역량"이라는 담론이 어떻게 긴장 상태에 빠졌는지를 묘사했다. 실제로, MacLeod의 연구에 참여한 일부 학생들은 실무에서 확실성과 자신감(경쟁력)을 제공하는 표준화된 Careing의 방법에 대한 훈련 욕구를 표현했다.22

Students in MacLeod’s study enacted identities of confidence, capability and suitability, which are valued within the discourse of Competence and were predicated on knowing what to do and how to do it. Students also enacted identities of benevolence and humility in relation to Caring, by putting others above themselves and showing understanding and concern. MacLeod described how the discourses of Caring and Competence were in tension when students were confronted with the uncertain, unpredictable nature of psychosocial issues. Indeed, some students in MacLeod’s study expressed a desire for training in standardised methods of Caring, which would provide certainty and confidence (Competence) in practice.22


의대 입학생들 사이의 다양성이 직업과 환자 치료에 좋다는 개념을 내세우는 다양성의 담론도 접하게 되는데, 이는 학생 수가 더 다양해지면 그들이 봉사하는 인구를 더 잘 반영하고 이해하는 의사들이 생기기 때문이다. 사회 구성주의적 접근법을 사용하여, 프로스트와 레게르21은 학생들이 그들의 직업적 정체성을 구축하기 위해 이러한 모순을 어떻게 협상하는지를 설명하면서 표준화와 다양성의 경쟁적 담론들 사이의 긴장을 강조했다.

Medical students also encounter the discourse of Diversity, which puts forward the notion that diversity amongst entrants to medical school is a good thing for the profession and for patient care,21 because a more diverse student population leads to doctors who better reflect, and understand, the populations they serve. Using a social constructionist approach, Frost and Regehr21 highlighted the tension between competing discourses of Standardisation and Diversity, describing how students negotiate these contradictions to construct their professional identities.


FW: 오버뷰

FIGURED WORLDS: AN OVERVIEW


FW이론4는 문화 인류학에서 유래되었으며 주로 20세기 초 러시아의 심리학자 비구츠키5와 동료 러시아인 바흐틴의 연구에 기초하여 세워졌다. 철학자 및 문학 이론가였다.

Figured Worlds theory4 originated in cultural anthropology and is primarily built on the work of the early 20th century Russian psychologist Vygotsky5 and fellow Russian Bakhtin,6 a philosopher and literary theorist.


또한, FW는 Bourdieu23의 영향을 받았는데, 한 사람을 특정한 사회적 실천 내에 위치시키기 위하여 (계급, 성별, 민족성과 같은) 사회 구조의 힘을 이야기한다.

In addition, Figured Worlds incorporates influences from Bourdieu23 regarding the power of social structures such as class, gender and ethnicity to position persons within particular social practices.


따라서 FW는 [문화적 환경에서 활동을 통해 지속적으로 정체성이 출현하는 것]과 [시간이 지남에 따라 형성된 정체성의 보다 내구성 있는 측면('인간의 역사')]을 모두 고려한 [정체성 이론을 개발하려는 열망]에서 비롯되었다. FW는 사회적 실천의 이론으로서, [문화적으로, 역사적으로 정의된 환경]에서 [타인과 함께 조직된 일상 활동을 통한] [정체성의 개발과 표현]을 강조한다. 또한 개인이 행동하는 맥락에서 이용할 수 있는 단어를 전유하고 재조합하여 개인이 스스로 구성('자기저자')한다는 의미에서 담론 이론이기도 하다.

Thus Figured Worlds was borne out of a desire to develop a theory of identity that took account of both the continual emergence of identity through activity in cultural settings and the more durable aspects of identity (‘history-in-person’) that have formed over time in those settings. As a theory of social practice, it emphasises the development and expression of identity through organised daily activity with others in cultural and historically defined settings. It is also a discourse theory, in the sense that individuals construct (‘self-author’) themselves by appropriating and recombining the words that the contexts in which they act make available to them.


사회문화 이론으로서 FW는 카르트적 의미에서의 -이원론적 존재론에 기초한다: [개인]과 [그 또는 그녀의 사회적 맥락]은 하나로 보여지고, 둘 사이에는 상호성과 호혜성이 있다. 마음은 피부 너머까지 확장되는 일련의 상호연결된 관계 안에서 존재하고 발전한다.24 [비-이원론적 존재론] 25의 특징은 [개인은 사회적, 역사적 산물]이며, [개인의 형성은 사회적 맥락에서, 실천적 활동을 통해, 그리고 욕망과 인식의 관계에서 발생]한다는 것이다. 이러한 관점 안에서, 자아는 [관계적 자아/타인]으로 분리되고 그들 사이의 대화성dialogicality은 자아의 이해의 핵심에 있다.

As a socio-cultural theory, Figured Worlds is founded on a non-dualist ontology in the Cartesian sense: the individual and his or her social context are seen as one, and there is mutuality and reciprocity between the two. The mind exists and develops within a set of interconnected relationships that extend beyond the skin.24 Features of non-dualist ontology25 are that the individual is a social and historical product, and that formation of the individual occurs in social contexts, through practical activity and in relationships of desire and recognition. Within this perspective, the self is split into a relational self/other and dialogicality between them is at the core of self-understanding.


예를 들어 의대생이 의사가 되는 것은 사회적, 역사적 산물이다. 그들은 임상 활동에 참여함으로써 임상 환경에서 개인으로 형성된다. 이런 일이 일어나는 의학의 문화적 세계는 지속적인 임상적 실천을 통해 시간이 지남에 따라 형성되고 개혁되어 왔다. 학생들은 시간이 지남에 따라 형성되는 그들 자신의 더 오래 지속되는 면들을 이 새로운 문화 세계에 가져온다. 그들은 미래의 의사로서 인정을 받고자 한다.

For example, medical students becoming doctors are social and historical products. They form as individuals in clinical settings by participating in clinical activities. The cultural worlds of medicine in which this happens have been formed and reformed over time, through on-going clinical practice. Students bring the more durable aspects of themselves, also formed over time, to this new cultural world. They seek and receive recognition as future doctors.


그들은 '좋은 의사'의 담론을 포함하는 여러 개의 가능한 담론을 통해 스스로 저술하거나 의미를 부여하는데, 처음에는 다른 사람의 말로 표현하고, 그 다음엔 그들 자신의 말로 표현한다.

They author, or make meaning of, themselves through multiple available discourses, which include that of the ‘good doctor’, initially expressed in the words of others, which they make their own, and then in their own words.


비구츠키: 정체성의 매개체로서 세계를 파악한 독자

VYGOTSKY: FIGURED WORLDS AS MEDIATORS OF IDENTITY


비고츠키가 FW이론에 필수적 기여를 한 것은 [모든 의미구축은 이용 가능한 문화적 도구들에 의해 매개된다]는 그의 제안이다. 이러한 신체적, 심리적 도구들은 개인들이 자신에 대해 생각하고 느끼는 방법을 포함하여 자신의 생각과 감정을 조직하고 자신의 행동을 지시하는 것을 도울 수 있게 해준다. 의학의 실천과 관련된 많은 문화적 도구들이 있다. 흰색 가운은 북미에서 열린 널리 퍼진 WCC에서 분명히 드러난 강력한 문화적 도구이다. 흰 코트를 입으면 학생들이 자신을 새로운 시각에서 볼 수 있게 되고, 그들은 의사처럼 느껴지게 되고, 이것은 다시 self-direction을 의사처럼 행동하는 쪽으로 향하게 한다. 홀랜드 외 연구진은 이 기호학적 중재에 대한 아이디어를 집중적으로 끌어내어, 어떻게 개인이 의사가운과 같은 문화적 예술적 요소를 내재화하여 자기이해를 발전시키고 스스로 행동하도록 동기를 부여하는지를 기술한다.

Vygotsky’s5 essential contribution to Figured Worlds theory is his proposition that all meaning-making is mediated by available cultural tools. These physical and psychological tools allow individuals to organise their thoughts and emotions, including how they think and feel about themselves, and help direct their own behaviour. There are many cultural tools associated with the practice of medicine. The white coat is a powerful one, evident in the widespread white coat ceremonies held in North America. Donning the white coat allows students to see themselves in a new light; they feel like a doctor, which in turn allows for self-direction to behave like a doctor. Holland et al.4 draw heavily on this idea of semiotic mediation to describe how individuals internalise cultural artefacts, such as white coats, to develop self-understanding and motivate themselves to act.


FW는 사회적으로 구성된 문화 모델이며, 현실의 증류물이며, 사회 관습과 관련된 사고 도구다.4 그것은 '유형types'으로 파악되고 특정한 가치 있는 행동과 결과와 연관되는 '전형적typical' 내러티브로 특징지어진다. 권력과 위계의 관계는 전형적인 내러티브의 일부분이다. FW는 한 사람이 [자신의 행동과 일을 해석하는 맥락]을 형성한다; 이것은 형상화된 정체성Figured Identity이다.

A Figured World is a socially constructed cultural model, a distillate of reality, a thinking tool that relates to social practice.4 It is characterised by ‘typical’ narratives, figured by ‘types’ and associated with certain valued actions and outcomes. Power and hierarchical relations are part of the typical narratives. The Figured World forms a context for interpreting one’s own actions and works; this is Figured identity.


Holland et al.4는 '식별identification'이란 용어를 사용하여 개인이 FW를 전유하고, 그 안에서 스스로 틀을 짜고, 그 동기를 가치 있게 생각하고 감정적으로 연결하는 것을 배울 때 발생하는 변화를 설명한다.26 이러한 FW의 내면화와 그것과 관련된 정체성의 형성은 FW의 활동에 참여함으로써 비롯된다. 그러므로 FW는 사람들이 그들 자신의 행동을 지시할 수 있고, 가능성을 모델링함으로써, 행동을 고무시킬 수 있는 의미의 맥락을 제공한다. 비구츠키는 이것을 '기호학적 부트스트래핑'이라고 불렀는데, 이는 생각과 감정을 조직하고 수정하는 수단이다. 예를 들어 의대생들은 의학계의 대표적인 내러티브와 가치 있는 행동과 결과를 알게 되면서, 그 내러티브와 가치관과 관련하여 자신과 자신의 행동을 해석하기 시작한다. FW는 그들의 행동을 지도한다.

Holland et al.4 use ‘identification’ to describe the shift that occurs when an individual appropriates the Figured World, frames themselves within it and learns to value and connect emotionally with its motivations.26 This internalisation of the Figured World and formation of an identity associated with it, results from participating in its activities. Figured Worlds thus provide a context of meaning in which people can direct their own actions and, by modelling possibilities, inspire action. Vygotsky referred to this as ‘semiotic boot-strapping’, a means to organise and modify thoughts and emotions. For example, as medical students come to know the typical narratives and valued actions and outcomes of the world of medicine, they begin to interpret themselves and their actions in relation to those narratives and values. The Figured World guides their actions.


부르디외: 위치성

BOURDIEU: POSITIONALITY


홀랜드 외 연구진은 FW에 대한 그들의 생각과 Bourdieu가 '분야field(국지적 사회적 실천)'라고 부른 아이디어 사이의 유사성을 관찰한다. 한 분야 내에서 개인들은 권력과 특권의 관계에 위치한다. 그러므로 위치성은 FW이론의 또 다른 핵심 요소다.

Holland et al.4 observe a similarity between their idea of a Figured World and Bourdieu’s23 idea of field – a local social practice. Within a field, individuals are positioned in relations of power and privilege. Hence, positionality is another key element of Figured Worlds theory.


위치적 정체성은 사람이 살아 있는 세계에서 자신의 사회적 위치에 대해 염려하는 것을 말한다. 우리는 사회적 상호작용을 통해 위치를 주장하고 매일 다른 사람을 위치시킨다. 비록 FW는 전형적인 내러티브typical narrative 속에 상상한 자신에 대한 프레임이지만, 특정한 유형type과 관련하여, 위치적 정체성은 포함과 배제, 권리, 침묵, 거리 및 소속에 관한 것이다.4

Positional identity refers to a person’s apprehension of their social position in the lived world. We claim position and we position others every day through social interaction. Although Figured Identity is an imaginative framing of self in typical narratives, relating to particular types, positional identity is about inclusion and exclusion, entitlement, silencing, distance and affiliation.4


초심자가 'FW'에 들어갈 때 [무의식적인 내면화]라는 의미에서 그 안에서 자신의 위치를 파악하게 된다. 대신에, 개인은 그들이 이의를 제기하기 위해contest 선택할 수 있는 입장을 알게 될 수도 있다. 그러므로 문화적 세계에서 매일의 포지셔닝은 정체성의 또 다른 매개체다. 의대생들이 임상 팀의 구성원으로서, 또는 '중요한 길'로 임상적 위치에 서게 되는 방법은 그들의 정체성 발달의 중심 요인이다.

As novices enter a Figured World they gain a sense of their position within it, which they may take up as position becomes disposition, in the sense of unconscious internalisation. Alternatively, individuals may become aware of position, which they may choose to contest. Day to day positioning in cultural worlds is therefore another mediator of identity. The way in which medical students are positioned – and position themselves – on clinical placements, as members of the clinical team or ‘in the way’, is a central factor in their development of identity.


Bakhtin: 여러 가지 담론을 통한 자기 권한 부여

BAKHTIN: SELF-AUTHORING THROUGH MULTIPLE DISCOURSES


비고츠키가 주로 집중한 매개 도구는 언어였고, 사용 중인 언어는 [비구츠키의 기호학적 중재semiotic mediation]와 [바흐틴의 '목소리'와 '다중-목소리성']에 대한 설명이 합쳐진 FW이론에서 큰 역할을 한다. 담론에 대한 푸카울디안 접근법27은 의학 교육에 가장 일반적으로 적용되는 방법이다. 사회정의와 사회 권력분배에 대한 의문을 제도적 차원에서 우려한다는 점에서 비판적 입장을 취하지만, 푸콜디안 분석은 사용 중인 언어의 구조에 세심한 주의를 기울이지 않는다. Bakhtin28과 Gee,29와 같은 다른 접근법들은 언어구조linguistic structure에 더 중점을 두면서도 언어가 사용되는 사회적 맥락에 여전히 초점을 맞추고 있다. 이러한 '메소-언어주의' 접근방식은 FW에 적용되는 것이다.

The mediating tool on which Vygotsky focused primarily was language, and language in use plays a major role in Figured Worlds theory, where Vygotsky’s semiotic mediation and Bakhtin’s account of ‘voice’ and ‘multi-voicedness’ are brought together. The Foucauldian approach to discourse27 is that most commonly applied in medical education. Although it takes a critical stance, in that it is concerned with social justice and a questioning of the distribution of power in society at an institutional level, Foucauldian analysis does not pay close attention to the structure of language in use. Other approaches, such as those of Bakhtin28 and Gee,29 place greater emphasis on linguistic structure while still focusing on the social context in which language is used. This ‘meso-linguistic’ approach is that applied in Figured Worlds.


Bakhtin의 FW에 대한 기여는 대화론과 자아에 대한 이론theory of dialogism and of the self이다. 대화주의는 어드레스티비즘addressivity의 개념에 바탕을 두고 있는데, 이는 [언어, 담론, 문화적 신념을 통해 우리가 끊임없이 세계에 의해 연설addressed되는 방식]을 의미하며, 마찬가지로, [우리가 이 addressing에 대해 세계 속에서 자신의 위치와 그 의미를 '자기-저자'하는 사람으로서 어떻게 대답하는가]를 가리킨다.28

Bakhtin’s contribution to Figured Worlds is his theory of dialogism and of the self. Dialogism is based on the notion of addressivity, which refers to the way in which we are continually addressed by the world, through language, discourses and cultural beliefs, and equally importantly, how we answer this addressing by ‘self-authoring’ an on-going narrative of our place in the world and its meaning.28


그러한 서술은 다수의 '목소리'를 끌어내어 담론의 다양성이나 우리의 문화세계를 채우는 말투, 즉 세상이 어떻게 되어 있는지와 관련하여 가치와 가정을 담고 있는 장르, 모티브, 등록부 등을 재활용하고 재구성한 것이다.

Such narratives draw on multiple ‘voices’, recycling and remoulding the multiplicity of discourses or ways of speaking that populate our cultural world: the genres, motifs and registers that carry values and assumptions in relation to how the world is.


우리는 어쩔 수 없이 세상에 대응해야 하지만 어떻게 대응해야 하는지에 대해서는 선택의 여지가 있다. 자기-저자self-authoring에서는, 우리는 사회 세계에 대한 이러한 [서로 다른 관점을 '주장'해야 하며], [다른 사람들의 말을 끌어내고 우리 자신의 의도를 주입해야 한다]. 우리는 목소리를 조정하고 일관된 방식으로 대응하려고 하며, 이러한 '저자적 자세authorial stance'의 발전은 정체성의 보다 지속 가능한 측면의 형성을 나타낸다.

We are compelled to respond to the world but have choice in terms of how the response is crafted. In selfauthoring, we must ‘orchestrate’4 these different perspectives on the social world, drawing on the words of others and imbuing them with our own intentions. We attempt to orchestrate the voices and respond in a consistent manner, and this development of an ‘authorial stance’ represents the formation of a more durable aspect of identity.


그러나 어떤 담론(예: 규범적 본문이나 규칙서적)은 다른 담론보다 더 많은 권위를 가지고 있다; '권위적 담론'으로서 그것들은 우리가 말하는 '복화ventriloquating'에 구성되지 않은 것처럼 보일 수도 있다. 그렇더라도 우리가 그 담론에 대해 납득이 가지 않는다는 점에서는, 다른 담론보다 설득력이 떨어질 수도 있다. 좋은 의사, 표준화, 다양성, 역량, 돌봄 그리고 많은 다른 것들에 대한 담론에서 의과대학을 통해 발전해나가는 학생들을 다룬다.

However, some discourses (e.g. normative texts or rule books) carry more authority than others; as ‘authoritative discourses’ they may appear unreconstructed in what we say, ‘ventriloquating’ us. Even so, they may be less persuasive than others in the sense that we are unconvinced by them. Discourses of the good doctor, standardisation, diversity, competence, caring and many others address students as they progress through medical school.


일부는 '내부적으로 설득력 있을' 수도 있지만, 6 학생들이 이러한 담론의 '차용된borrowed' 요소들을 사용하여 [자신과 자신의 행동에 대해 다양한 방식으로 의미]를 부여하고, [담론들 사이의 긴장과 모순]은 [의사로서의 '자기-저자'한다는 것이 종종 상충되는 목소리의 조율을 필요로 한다는 것]을 의미한다. 학생들이 스스로 글을 쓰면서, 그들은 이러한 [요소들을 자신의 것으로 만들고, 그 요소들을 자신의 말과 엮어 세상에 대한 독특한 반응인 '입장stance'을 만들어낸다].

Although some may become ‘internally persuasive’,6 as students make meaning of themselves and their actions in diverse ways using ‘borrowed’ elements of these discourses, tensions and contradictions between them mean that self-authoring as a doctor requires orchestration of often conflicting voices. As students author themselves, they make these elements their own, intertwining them with their own words to produce a unique response to the world: a stance.


형상화된 세계: 예시

FIGURED WORLDS: AN EXEMPLAR


우리는 이제 위에서 설명한 Mainted Worlds 이론의 주요 측면을 설명하기 위해 Sarah와 Adam이라는 두 명의 의대생들의 서면 성찰을 사용한다. 이러한 서술은 이러한 목적을 위해 반사적으로 선택되었다.

We now use the written reflections of two medical students, Sarah and Adam, to illustrate the key aspects of Figured Worlds theory outlined above. These narratives were selected reflexively for this purpose.


사라

Sarah


사라의 이야기는 [학생과 환자에 대한 특정 의사의 행동]에 대한 그녀의 반응에 관한 것이다. 우리의 분석은 미래의 의사로서의 그녀 자신의 예상된 정체성, 즉 그녀의 Figured ID의 관점에서 그녀가 어떻게 이러한 행동에 대해 말하는지에 초점을 맞추고 있다. FW는 [의료계라는 FW] 속에서의 전형적인 시나리오로서, 컨설턴트가 그의 팀과 학생들을 병동 라운드로 이끄는 시나리오를 묘사하면서 그녀의 선택을 강조한다. 컨설턴트의 행동은 명료한 의학계의 담론을 표면과 의식적인 인식에 이르게 하는데,4는 사라의 성찰적인 반응을 촉발시킨다.

Sarah’s narrative revolves around her account of her response to a particular doctor’s behaviour towards students and patients. Our analysis focuses on how she talks about this behaviour in terms of her own projected identity as a future doctor – her Figured identity. Figured Worlds emphasises her choices in making sense of herself as she describes a typical scenario in the Figured World of medicine, that of a consultant leading his team and students on a ward round. The behaviour of the consultant brings the discourses of the Figured World of medicine to the surface and to conscious recognition,4 triggering a reflective response from Sarah.


다른 두 명의 학생들과 나는 이 컨설턴트와 그의 팀과 함께 병동 라운드를 하고 있었다. 그는 자기소개를 하거나 우리 이름을 묻지 않았고, 나이가 들면서 살이 찌는 여자들에 대한 엉뚱한 농담은 전혀 하지 않았다. 그는 환자와 대화할 때 우리의 존재를 전혀 언급하지 않았다...

Two other students and I were on a ward round with this consultant and his team. He didn’t introduce himself or ask for our name and, bar an off colour joke about females gaining weight with age, didn’t interact with us at all. He didn’t make any reference to our presence when he talked to patients...


그녀의 서술은 의학의 세계에서 [위치 정체성의 패턴에 대한 그녀의 경험]과 [일상적 권력의 경험에서 발생하는 상대적 위치설정]을 보여준다.4 사라와 그녀의 동료 학생들은 컨설턴트에 의해 위계 하단에 위치를 차지하고 있다. 그들은 심한 모욕과 별개로 인정받지 못한다. 그것들은 환자에게 언급할 가치가 없다. 사라가 [그녀의 독자들에게 컨설턴트와 학생 사이의 힘의 차이를 설명할 필요성을 느끼지 않으며], 왜 그녀가 그의 행동이 [문제제기도 없이 통과되도록 허락하는지 설명하지도 않는다는 것]은 의미심장하다. 

Her narrative illustrates her experience of patterns of positional identity in the world of medicine and the relative positioning that arises from day to day experiences of power.4 Sarah and her fellow students are strongly positioned by the consultant at the bottom of the hierarchy. They are not acknowledged apart from a gendering insult. They are not worth mentioning to patients. It is significant that Sarah does not feel the need to explain to her reader the power differential between consultant and students, nor to account for why she allows his behaviour to pass without challenge. 


이 이야기는 FW of Medicine에서 일어나며, 교수진에게 이야기하면서, 사라는 그 세계의 상황이 어떻게 돌아가는지에 대한 공통된 이해를 가정한다. 이론적으로, 사라는 컨설턴트에게 어떻게 반응하는지에 관한 관점을 가지고 있지만, 사회 구조와 힘의 차이는 그녀의 반응을 제약하고 그녀는 침묵한다(또는 오히려 그녀 자신을 침묵시킨다). 홀랜드 외 연구진은 사건incidents들은 [우리에게 위치적인 힘을 명백히 인식하게 하여, '당연하기 여겨온 것'을 깨뜨림으로써, 저항으로 이어지게 만들 수 있다]고 제안한다. 사라는 이 반성문을 쓰는 데 있어서 어느 정도 저항을 보여주는데, 그녀는 이 글을 교직원이 읽을 것이라고 알고 있다.

This story takes place in the Figured World of medicine and in addressing the narrative to a faculty member, Sarah assumes a shared understanding of how things are in that world. Theoretically, Sarah has agency in terms of how she responds to the consultant, but social structure and power differentials constrain her response and she is silenced (or, rather, silences herself). Holland et al.4 suggest that incidents that cause us to become explicitly aware of positional power, and thus rupture the ‘taken-for-granted’, can lead to resistance. Sarah demonstrates some resistance in writing this reflective piece, which she knows will be read by a faculty member.


하지만 더 중요한 것은, 이 의사가 그의 환자들을 대하는 태도에 매우 당황했다... 그녀는 그녀의 질문에 대답하거나 그녀의 질문에 대답하는 것에 개방적이지 않은 컨설턴트에게 질문을 던졌다. 그는 안절부절못하며 분명히 시간에 쫓기고 있다는 것을 과시하고 있었다. 그는 그녀 옆에 앉아 있는 그녀의 어머니에게 자신을 소개하지 않았고 종종 그녀와 환자 둘 다와 눈을 마주치지 못했다... 이 컨설턴트가 실제로 나에게 직접 말을 한 적은 없지만, 그는 무심코 나에게 많은 것을 가르쳐 주었다. 나는 환자에게 어떻게 행동하지 말아야 하는지를 직접 보았다.

More importantly however, I was quite taken aback at the manner in which this doctor addressed his patients..... She [a patient] put her questions to the consultant, who was clearly not open to answering or interacting with her enquiries. He was fidgeting and demonstrating obviously that he was rushed for time. He didn’t introduce himself to her mother, who was sitting beside her, and often failed to make eye contact with both her and the patient ... While this consultant never actually spoke directly to me, he inadvertently taught me many things. I saw, firsthand, how not to behave towards patients.


그녀가 이 컨설턴트의 단점을 설명하면서, 사라는 의사들이 환자들을 어떻게 '해야 하는가'에 대한 입장을 취하며, 자신을 'FW'의 [지배적인 돌봄 가치]에 맞춰 '좋은 의사'로 자리매김한다. 사라는 컨설턴트의 행동을 이용해 자신의 미래의 행동을 프레임함으로써, 컨설턴트와는 거리를 두고 동일시를 거부(dis-identifying)하는 것이다. 그녀는 의사로서 이렇게 되고 싶지 않다는 것을 알고 있다.

As she recounts this consultant’s shortcomings, Sarah takes a stance on how doctors ‘should be’ with patients, positioning herself as a ‘good doctor’ aligned with the dominant caring values of the Figured World. Sarah uses his behaviour to frame her own future practice by distancing herself from it and dis-identifying herself with him. She knows this is not how she wants to be as a doctor.


나는 일반적인 예의와 예절을 무시해서는 안 된다고 믿는다. 환자의 질문을 실제로 듣는 데 1분 정도 시간을 할애하는 간단한 소개와 모든 임상의가 원하는 바를 직접, 그리고 공감으로 민감하게 해결하는 것이어야 한다.

I believe that common courtesy and manners should never be disregarded. Simple introductions, taking an extra minute to really listen to patients’ questions and addressing any concerns sensitively, directly and with empathy should be what all clinicians strive for.


의사들이 어떻게 '해야 하는가'를 이해하면서, 사라는 자신에게 이용 가능한 문화적 자원을 이용한다. 그녀는 위의 발췌문에서 공식적인 어조와 전문적 언어를 채택하고 임상 선생님과 다른 출처로부터 듣고 읽은 용어를 사용하여 자신을 배려하는 의사로 저술한다.

In making sense of how doctors ‘should be’, Sarah draws on the cultural resources available to her. She adopts a formal tone and professional language in the excerpt above and authors herself as a caring doctor, using terms she has heard and read, from her clinical teachers and other sources.


나는 이상적인 환자 치료와 적절한 의사소통을 하는 것이 때때로 어려울 것이라는 것을 이해한다. 나로서는 개인적인 감정이 환자들과 어떻게 상호작용하는지를 방해하지 않도록 노력할 것이며, 항상 인내와 존경과 배려로 환자를 대하도록 노력할 것이다.

I understand that at times delivering ideal patient care and suitable communication will prove difficult. I, for my part, will try to not allow personal feelings to interfere with how I interact with patients and will endeavour to always treat patients with patience, respect and consideration.


이 대목에서, 사라는 자신을 [자신의 환자를 우선시하는 의사]로 저술한다. 그녀는 내적으로 설득력 있는 담화 속에서 [자신의 말]과 [돌봄의 언어]를 얽어놓음으로써 돌봄의 담론을 내면화하고 그것을 자신의 것으로 만들었다.4

In this passage Sarah authors herself as a doctor who puts her patients first. She has internalised the discourse of Caring and made it her own, by intertwining the language of Caring with her own speech in an internally persuasive discourse.4


그녀는 돌봄을 중요시하는 의사의 뚜렷한 정체성을 표현하면서, 돌봄을 의료행위의 한 측면으로 보고 중시하기로 선택한다. 컨설턴트의 행동에 대한 그녀의 반응은 이것을 보여준다. 그녀는 이러한 가치들이 무시되고 있다는 것을 알게 된 것에 짜증과 실망으로 반응하며, 자신이 불편하고 당황스럽다고 묘사한다. 다음 발췌문이 암시하듯이, 그녀는 컨설턴트의 '팀'에 그녀가 속해 있는 것이, 환자의 눈에는 그의 행동을 묵인하는 것으로 자리 잡았다고 느낀다. 보살핌을 중시하는 의사로서 그녀의 정체성은, 이 위치에 의해 훼손된다.

In expressing a figured identity of a caring doctor, she elects to attend to and value Caring as an aspect of medical practice. Her response to the consultant’s behaviour demonstrates this. She responds with irritation and disappointment to finding that these values are disregarded, and describes herself as uncomfortable and embarrassed. As the next excerpt suggests, she feels that her presence in the consultant’s ‘team’ has positioned her as condoning his behaviour in the eyes of the patient. Her figured identity, as a caring doctor, is compromised by this position.


이 컨설턴트를 만난 후 나는 불편하고, 짜증나고, 당황스럽고, 실망했다. 나는 그가 무례한 행동으로 의료계를 실망시켰다고 느꼈다.

Following my encounters with this consultant I felt uncomfortable, irritated, embarrassed and disappointed. I felt that he had let down the medical profession with his rude behaviour.


그러나 미래와 상상의 나 자신을 투영하면서, 그녀는 자신이 어떤 의사가 될 것인지에 대한 선택에서 대리인의 분명한 표현으로, 미래의 돌봄 전문가로서의 자신을 강하게 형상화figuring하면서 결론을 내릴 수 있다.

However, projecting into the future and her imagined self, she is able to conclude with a strong figuring of herself as a future caring practitioner, with a clear expression of agency in her choice of what sort of doctor she will be.


나는 나 자신이 그러한 특성을 개발하는 것을 허락하지 않기로 스스로 결정할 수 있다. 나는 나 자신의 행동을 통제하고 있으며 부정적인 태도나 무례한 접근을 하지 않으려고 노력할 수 있다.

I can decide for myself not to allow myself to develop such traits. I am in control of my own behaviour and can endeavour not to practice negative attitudes or an ill-mannered approach.


아담 

Adam


아담의 경험에 대한 성찰은 그와 동료 학생이 울기 시작하는 환자로부터 병력청취를 하는 상황에 관한 것이다. 그는 이에 대한 자신의 개인적, 전문적인 대응을 서술하고 있는데, 그것은 그가 보기에 적절한 행동을 하지 못하는 것을 보여주었다. 이 분석은 '돌봄'과 '역량'을 모두 중요시하는 훌륭한 의사로서 자기-저술을 자처하는 아담이 이 상황에서 여러 목소리를 조율하기 위해 고군분투하는 데 초점이 맞춰져 있다.

Adam’s reflection on his experience concerns a situation in which he and a fellow student are taking a history from a patient who begins to cry. He narrates his personal and professional response to this, which has shown, in his view, a failure to act appropriately. This analysis focuses on Adam’s struggle to orchestrate multiple voices in this situation, as he self-authors as a good doctor, who values both Caring and Competence.


아담은 자신의 이전 이력을 그리면서 자신을 어떤 경험을 가진 의료 전문가로 포지셔닝하는 것으로 시작한다; 이 위치의 중심은 환자와 의사소통을 잘 하는 것으로 파악된 정체성이다.

Adam begins by drawing on his previous history, positioning himself as a health care professional with some experience; central to this position is a figured identity of being good at communicating with patients.


... 약대생으로서, 결과적으로 약사로서의 나의 강점 중 하나가 환자 친밀감이었다.

... patient rapport was one of my strong points during my years as a pharmacy student and consequently a pharmacist.


이제 아담은 다른 FW에 있다. 환자들과의 의사소통을 잘 하는 사람이라고 생각하는 그의 생각은 기대만큼 잘 풀리지 않았다. 사라처럼, 그는 자신의 이야기를 말하고 상황을 이해하며 그 안에 있는 자신의 위치를 찾기 위해 의학계의 담론을 그린다. 아담은 또한 '좋은 의사'가 되기를 원하지만, 그는 사라와 다른 방식으로 이러한 담론을 활성화시킨다. 다음 발췌에서 그는 능력 담론의 관점에서 공감할 수 없는 것으로 인식된 실패에 대해 쓴다.22

Now, Adam is in a different Figured World. His figuring of himself as a good communicator with patients has not played out as expected. Like Sarah, he draws on the discourses of the Figured World of medicine in order to tell his story, to make sense of the situation and to locate himself within it. Adam also wants to be a ‘good doctor’, but he activates these discourses in ways that are different to Sarah. In the following excerpt he writes about his perceived failure to be empathic from the point of view of a competency discourse.22


나는 그것을 [공감하는 태도로 그것(환자의 울음)에 대처하지 못하는 나의 무능력]을 내 입장에서 볼 때 심한 실패라고 보았다. 당황해서, 나는 그 상황에 어떻게 대처해야 할지 확신이 없었고, 겨우 '괜찮아, 천천히 해'로 그녀를 위로하려고 했다. 반면에 우리 반 친구는 휴지를 사 주겠다고 했어. 그녀는 환자를 위로하면서 한 손을 팔에 얹었다.

I saw my inability to address it [patient crying] in an empathic manner as a gross failing on my part. Taken aback, I was unsure of how to deal with the situation, and only managed to attempt to comfort her with ‘it’s alright, take your time’. My classmate on the other hand, offered to get her some tissue paper ... As she comforted the patient she put one hand on her arm.


아담의 (실패한) 성과에 대한 자체적인 분석은 역량 부족이라는 측면에서 설득력이 있다. (그의 반 친구의 행동에 의해서 캡슐화된) 유능한 의사는 자신감 있고 환자들과의 상호작용에 능력이 있는 사람이다. 그들을 대할 때 'know how'를 증명하는 사람이다. 이 부분에 대해 아담은 자신의 수행능력을 평가하고, 자신이 부족함을 발견한다. 그의 반 친구는 그가 당황하고 '불안해하는' 동안 침착하게 행동을 취한다. 그녀는 환자의 고통에 효과적으로 대응했고 자신감과 능력을 보여주었다. 그녀는 '역량 있는' 돌봄 전문가다. 아담이 느낀 불편함과 불확실성에 대한 감정은, 자신감과 능력이 중시되는 FW of Medicine에서 그를 '무능력'과 '비효과'로 위치시킨다.

Adam’s own analysis of his (failed) performance is couched in terms of lack of Competence. Encapsulated in the behaviour of his classmate, the competent doctor is one who is confident and capable in interactions with patients, one who demonstrates ‘know how’ when dealing with them.22 Adam evaluates his own performance against this marker and finds himself lacking; his classmate calmly takes action while he is ‘taken aback’ and ‘unsure’. She has responded effectively to the patient’s distress and has demonstrated confidence and capability. She is a ‘competent’ caring professional. Adam’s feelings of discomfort and uncertainty position him as ‘incompetent’ and ‘ineffective’ in the Figured World of medicine, where confidence and capability are valued.


분명히 환자를 효과적으로 돌볼 수 없는 나 자신의 수치심과 죄책감이 생기기 시작한 것은 이 무렵이었다.

It was around this point that my own sense of shame and guilt began to arise, as I clearly was unable to effectively sooth the patient.


아담의 이야기는 여러 개의 음성으로 되어 있다. 그는 '돌봄'에 대해서, 그리고 그것이 의료행위에 있어서 무엇을 의미하는지 형식적인 어투로 글을 쓰며, 따라서 그에 의해 전유되고 재해석되기보다는 그를 통해 말하는 'Tomorrow's Doctor'과 같은 공문서들의 권위 있는 담론에 의해 '환화'된다. 다음 발췌에서 그의 글은 mode of authority를 취한다.

Adam’s narrative is multi-voiced. He writes with a formal tone about Caring, and what it means in medical practice, and he is thus ‘ventriloquated’ by the authoritative discourse of official documents, such as Tomorrow’s Doctors, which speak through him, rather than being appropriated and reinterpreted by him. In the following excerpt his writing is in the mode of authority.


이러한 유형의 신체 접촉은 안심시키고 자신감을 심어주며 공감을 나타내는데 도움을 준다; 비록 사람들이 행동을 그렇게 많이 생각하지는 않겠지만, 무의식적으로 신체적 근접성은 이러한 유형의 반응을 유발한다. 환자의 울음소리에 대한 내 반응의 의도는 의료전문가로부터 기대하는 공감과 확신과 대등했다. 그러나 나의 답변 방식과 정도는 부족했다. 환자를 위로하는 것은 간단한 개념으로 매일 연습할 때 필요하다. 그러나 그것을 능숙하게 하기 위해서는 상상 이상의 기교와 기술이 필요하다.

These types of physical contact help to reassure, instil confidence and display empathy; although one wouldn’t think so much of the act, subconsciously the physical proximity triggers these types of responses. The intentions of my response to the patient’s crying were on par with what is expected from a health care professional: empathy and assurance. The method and extent of my response however were lacking. Consoling the patient is a simple enough concept and is necessary in daily practice. To be proficient at it however requires more finesse and skill than one would imagine.


역량이라는 담론을 논리적으로 확장시켜 나가면서, 아담은 [Caring이 적절한 시기에 올바른 움직임의 알고리즘적 과정을 통해 실행될 수 있다는 믿음]에 기초하여 훌륭한 의사로서의 미래 정체성을 투영한다.

Taking the discourse of Competence to its logical extension, Adam projects his future identity as a good doctor on the basis of the belief that Caring can be executed through an algorithmic process of the right moves at the right time.


나는 우리 반 친구가 사용했던 것과 비슷한 기술을 사용하고자 한다. 이런 시나리오에서는 단어만으로는 불충분할 때가 있다.

I am fully intent on employing similar techniques to those that my classmate used. In these scenarios, words alone are sometimes insufficient.


나중에 그의 성찰에서 아담은 [가족과 친구와의 관계에서 불편한 감정을 느끼는 논리적인 인물]로 자신을 저술한다. 아래 발췌에서는 어느 정도 자기 비판적인 것처럼 보이지만, 역량의 담론에서는 논리, 합리성, 추론이 강한 요소로서, 따라서 미래의 의사로서의 적합성을 (스스로) 확인한다.22

Later in his reflection, Adam authors himself as a logical person who is uncomfortable with emotion in his relations with family and friends. Although, to some extent, he appears to be self-critical in the excerpt below, logic, rationality and deduction are strong elements in the discourse of Competence, and therefore confirm his suitability as a future doctor.22


한 가정주부와의 이 사건을 떠올려 보니 내 의심이 확연히 드러났다. 나는 상식이 부족했다. 개인적인 차원에서, 나는 종종 가족이나 친구들이 우는 경우에 능숙하게 대처하지 못한다는 것을 알게 되었다. 나는 초기 문제에 대한 해결책을 합리화하고 논리적으로 추론하려고 한다. 그들의 울음소리가 분별력 있는 것인지 아닌지를 떠나 그 시점에서 위로가 관건임은 두말할 나위도 없다.

Recalling this event with a housemate confirmed my suspicions: I lacked common sense. On a personal level, I find that I am often unable to deal with family and friends crying adeptly as well. I attempt to rationalise, and logically deduce a solution to the initial problem. It goes without saying that at that point consolation is key, regardless of whether their crying is sensible or not.


효과적인 의사가 되지 못한 것으로 인식된 아담의 강한 감정적 반응은 [그의 역량에 대한 가치평가]에 뿌리를 두고 있다. 그에게 돌봄은 기술적 역량의 문제다. 이것은 그가 반 친구가 사용하는 '방법'을 고려하고 그것들에 대항하여 자신의 성과를 측정하기 때문에 명백하다. 그는 그 중요성에 대한 교과서형 설명을 이어간다.

Adam’s strong emotional response to his perceived failure to be an effective doctor is rooted in his valuing of Competence. For him, Caring is a matter of technical competency. This is evident as he considers the ‘methods’ used by his classmate and measures his own performance against them. He follows up with a textbook-type account of their importance:


사회가 의사들에게 기대를 걸고 있기 때문에, 한 사람이 능숙하게tactfully 환자를 위로하지 못하는 것은 그들의 기능에 심각한 장애로 보여진다.

As society has expectations of their physicians, the inability of one to tactfully console their patients is seen as a gross impediment to their function.


['숙련'과 '기술'에 대한 그의 레퍼런스]와 [자신의 수행의 '방법 및 범위'에 대한 평가]는 역량의 담론에서 나온 것이다. 비록 그가 이 사건에 대해 함께 반성해 온 룸메이트와 과거에 위로하지 못한 가족과 친구들의 목소리가 직접적으로 들려오지는 않지만, 아담은 (스스로를 환자를 잘 다루는 약사로 묘사할 때 다소 모순되게 그려내고 있음에도 불구하고) 이 이야기에서 매우 합리적이고 따라서 진정으로 위로하고 위로할 능력이 부족한 사람으로서 자신의 의미를 부여하기 위해 그들을 끌어당긴다. 


His references to ‘proficiency’ and ‘skill’ and his evaluation of the ‘method and extent’ of his own performance come from the discourse of Competence. Although the voices of his roommate, with whom he has reflected on this event, and family and friends he has failed to console in the past are not heard directly, Adam draws on them to make meaning of himself in this narrative as someone who is highly rational, and who therefore lacks the ability to truly console and comfort, despite his somewhat contradictory figuring of himself as a pharmacist who was good at dealing with patients.


아담은 자신을 '케어하는 의사'로 분명히 저술하지는 않지만, 자신이 자신의 성과에 대해 반성하는 것처럼 보살핌의 중요성을 인식하고 있으며 합리적이고 논리적인 면을 겸비한 특별한 자질을 가지고 있다는 입장을 취하고 있다. 한편으로 그는 실패를 평가하기 때문에 자신에 대한 서술 안에는 긴장이 있지만, 다른 한편으로는 지식의 세계, 성찰의 세계, 그리고 좋은 의사가 되기 위한 길을 가면서 다른 담론들에 목소리를 낸다.

Adam does not clearly author himself as a ‘caring doctor’, but he does position himself as having particular qualities that also constitute aspects of the good doctor, advertising that he is cognisant of the importance of caring, and rational and logical as he reflects on his own performance. There are tensions within his narrative of self, as he on the one hand appraises a failure, but on the other gives voice to other discourses in the Figured World of medicine, positioning himself as informed, reflective and on the way to being a good doctor.


고찰 

DISCUSSION


FW와 의사 정체성의 가능성

Figured Worlds and possibilities for doctor identity


위의 예시에서는 FW를 적용하여 의대생들의 self-authoring에서의 의사정체성의 다양한 구조를 탐구하였다. 아담과 사라는 의료행위에 있어서 Caring의 개념을 이해했고, 따라서 그들은 서로 다른 방식으로 돌봄 전문가로서의 개념을 이해했다. 그들은 공통의 문화적 자원인 '의학의 FW'의 담론을 서로 다른 방식으로 활성화시켰다. 

In the exemplar above, we applied Figured Worlds to explore the diverse constructions of doctor identity in the self-authoring of medical students. Adam and Sarah understood the notion of Caring in medical practice, and hence themselves as caring professionals, in different ways. They activated their common cultural resources, the discourses of the Figured World of medicine, in different ways. 


사라는 현재와 미래의 자신을 caring doctor로 만들었다. 그녀는 돌봄의 담론에 대해 분명한 입장을 취했다. 그녀는 돌봄의 담론을 자신의 말과 엮어 그것을 자신의 것으로 삼았었다. 아담은 사라처럼 자신을 caring professional로 정하지 않았다. 돌봄을 기술적 역량으로 바라보는 아담의 프레임은 [학생들이 (돌봄의 심리사회적 측면의 예측 불가능성을 다루거나) ('Cure'하기 위해 커리큘럼 개입을 모색하는)] MacLeod의 작품과 일치했다. 그럼에도 불구하고 아담은 Caring이 중요하다는 것을 알고 있었고, 사라만큼 케어링 의사가 되고 싶었지만, 의사로서 self-authoring하는 과정에서 caring과 competence의 '목소리'를 조정하려고 시도하면서 그 의미에 대해서는 다른 입장을 취했다.

Sarah authored herself as a caring doctor, now and in the future. She took a clear stance on the discourse of Caring. She had intertwined the discourse of Caring with her own words and made it her own. Adam did not author himself as a caring professional in the same way. His framing of caring as a technical competence echoed MacLeod’s work, where students sought curricular interventions to deal with or ‘cure’ the unpredictability of the psychosocial aspects of care. Nonetheless, Adam knew that Caring is important, and wanted to be a Caring doctor as much as Sarah did, but took a different stance on what that meant, as he attempted to orchestrate the ‘voices’ of Caring and Competence in his self-authoring as a doctor.


FW는 [의학 교육에서 정체성 개발에 대한 관점을 제공하여] 표준화의 지배적인 담론에 문제를 제기한다. [다양한 학생 구성이 바람직하다는 것]과 [의학교육의 목표가 되는 획일적인 '좋은 의사'로 전문화되는 것] 사이의 긴장감을 조명한다. 'FW'의 개념은 기존의 공동체 가치와 관행 내에서 'becoming'하는 방법의 다양성을 강조한다. 그렇게 함으로써, FW는 선택이 이루어지는 사회적 구조와 권력의 분야field를 인식하면서, [어떻게 세계의 의미를 만들 것인가를 선택하는 데 있어서 개개인의 행위자성]을 강조한다

Figured Worlds provides a perspective on identity development in medical education that troubles the dominant discourse of standardisation. It sheds light on the tension between a diverse student body being desirable and professionalisation into uniform ‘good doctors’ being the goal of medical education. The concept of a Figured World emphasises the diversity of ways of ‘becoming’ within existing community values and practices. In doing so, it emphasises the agency of the individual in choosing how to make meaning of the world whilst recognising the social structures and fields of power within which such choices are made. 


FW는 정체성의 측면이 durable하게 만들어주지만, 유동적이고 항상 변화하는 정체성의 본성을 강조한다. 이는 (전문적) 삶을 통해 지속되는 'becoming'이다. 바크틴에 따르면, 자아는 관점을 취하는 사이트다.28 두 사람이 같은 사이트를 점유할 수 없다; 우리는 각각 다르게 다루어지고, 우리는 [자신이 이용할 수 있는 차용된borrowed 요소들을 사용하여] 다양한 방식으로 의미를 부여한다. 

Figured Worlds allows for aspects of identity to be durable, but highlights the fluid, always changing nature of identity, a ‘becoming’ that continues through (professional) life. According to Bakhtin, the self is a site from which perspective is taken.28 No two people can occupy the same site; we are each addressed differently and we use the borrowed elements available to us to make meaning in diverse ways. 


우리는 두 학생이 그들의 직업 정체성의 핵심 요소를 다른 방식으로 해석하는 것을 보아왔다. 의과대학과 규제당국이 시행하는 대부분의 일은 우리가 [표준화된 '좋은 의사'의 생산]을 위해 노력하고 있고 올바른 교육과정 성분이 원하는 결과를 가져올 것이라는 무언의 가정에 근거하고 있다. FW 이론4는 [표준화된 '좋은 의사'의 지배적인 담론 안에서 강조되지 않는 많은 문제들], [즉 개인적인 여행, 시간의 경과, 정체성이 결코 '완성되지 않는다'는 생각, 그리고 자기 자신에 대한 다양한 정체성의 인식] 등을 포착하기 때문에 중요하다.

We have seen two students interpret a core element of their professional identity in different ways. Much of what medical schools do, and regulators enforce, is predicated on the unspoken assumption that we are working towards the production of a standardised ‘good doctor’ and that the right curricular ingredients will result in the desired outcome. Figured Worlds theory4 is important because it captures many of the issues that are under-emphasised within this dominant discourse of a standardised ‘good doctor’: personal journeys, the passage of time, the idea that identities are never ‘completed’ and the recognition of diverse accounts of self.


Mind Worlds가 의학 교육 연구를 제공할 수 있는 것은 무엇인가?

What can Figured Worlds offer medical education research?


FW가 뒷받침하는 의학 교육에서 이미 발표된 소그룹 연구들의 다양성은 광범위한 잠재적 응용을 시사하는데, 그 중 우리의 예는 하나일 뿐이다. 교육에서 보자면, 바크티니안 담론 접근방식은 [개인들이 FW of Medicine에서 움직이는 과정에서, 어떻게 젠더, 성별, 인종, 사회적 계급의 담론을 그들이 조정하는지]를 분간할 수 있는 렌즈를 제공한다는 것을 알 수 있다. 이것은 우리가 이 profession에 더 많은 다양성을 가져오려고 노력하는 것과 연관된 중요한 문제들이다. 

The diversity of the small group of studies already published in medical education underpinned by Figured Worlds suggests a broad range of potential applications, of which our exemplar is but one. Drawing on its use in education, we can see that a Bakhtinian approach to discourse provides a lens to examine discursively how individuals orchestrate discourses of gender, sexuality, race and social class as they move in the Figured World of medicine. These are important issues as we try to bring greater diversity to the profession. 


힐 외 13세의 연구는 여성 외과의가 되는 것과 그러한 정체성을 구축하기 위해 리프레임 경험이 필요하다는 것을 밝혀냈다. 미래 연구는 자신을 다른 종류의 의사로, 그 문화 세계에서 기대되는 전형적인 프로파일에 맞지 않는 의사로 판단하는 가능성, 그리고 이것이 의사가 되는 개인과 그들이 배우고 일하는 의료 문화에 미치는 영향을 탐구할 수 있을 것이다.

The work of Hill et al.13 has shed light on being a woman surgeon and the necessity of reframing experience in order to construct that identity. Future studies might explore the possibilities for figuring oneself as a different kind of doctor, one who does not fit the typical profile expected in that cultural world, and the implications of this for individuals becoming doctors, and for the medical culture in which they learn and work.


의학 교육의 지속적인 도전은 [중요한 가치와 행동을 공통적으로 가지고 있도록] 학생들을 교육하는 것이다('프로페셔널리즘'), 그러나 이후에 학생들은 사회의 요구에 맞는 다양한 직업 선택을 할 것이다. 의학교육에서 표준화에 대한 담론에도 불구하고, 대부분의 사람들은 의술이 개인과 전문분야 모두에 특정한 방식으로 실행된다는 것을 인정할 것이다. FW of Medicine은 균질하지 않지만, 여러 개의 중첩된 세계들로 구성되어 있고, 각 세계마다 중요시되는 성과와 행동이 다르다. 예를 들어, 내과의와 외과의의 세계들은 매우 뚜렷하게 다르다. 왜 한 학생은 내과에 끌리고 다른 학생은 외과에 끌리는가? 그 반대는 왜 안 돼? 특정 실천 분야에서 의사들의 부족과 지리적 '분포'는 고소득 국가들과 저소득 국가들 모두에서 직면하고 있는 문제들로, 보건 서비스 제공자들에게 큰 도전이 되고 있다. 각 전공의 FW에서 의대생과 전공의의 정체성identification에 대한 탐구는 직업 선택의 과정에 대한 통찰력을 제공할 수 있으며, 그러한 선택이 어떻게 형성될 수 있는지 이해할 수 있는 수단을 제공할 수 있다.

A perennial challenge for medical education is to educate students who have important values and behaviours in common (‘professionalism’), and yet will make a range of career choices appropriate to society’s needs. Despite the discourse of standardisation in medical education, most would acknowledge that medicine is practised in ways that are both individual and specialty specific. The Figured World of medicine is not homogenous, but consists of many overlapping worlds, where valued outcomes and actions vary. The Figured Worlds of general practice and surgery are quite distinct for instance. Why is one student drawn to general practice and another to surgery? Why not vice versa? Shortages and geographical ‘maldistribution’ of doctors in specific areas of practice are problems faced in both high and low-income countries, creating a major challenge for health service providers. Exploration of medical student and resident identification within specialty Figured Worlds may provide insight into the processes of career choice and perhaps a means to understand how such choices might be shaped.


담론과 목소리를 강조하는 FW 이론은 전문적인 정체성 개발을 지원하기 위해 대화와 성찰을 위한 공간을 제공하는 것의 중요성을 지적한다. 학생들은 다음과 같은 기회가 필요하다.

    • 자신을 의사로서 저술author할 기회,

    • 그들이 마주친 많은 담론과 그들이 겪은 경험들을 결합하기 위해 그들의 행위자성을 사용할 기회

    • 의학이라는 문화 세계에서 그들 자신을 이해시킬 기회

Figured Worlds theory, emphasising discourse and voice, points to the importance of providing space for dialogue and reflection to support professional identity development. Students need opportunities 

    • to author themselves as doctors, 

    • to use their agency to combine the many discourses they have encountered and the experiences they have accrued, 

    • to make sense of themselves in the cultural world of medicine. 


다른 학생들과 의사들과의 대화에서, 그들은 그들을 다루는 담론에 응답하지 않을 수 없다. [성찰적인 토론]은 [학생들과 교수진들이 의학의 문화적 세계와 그 안에서 그들 자신]에 대한 [서로의 저작authroing에 도전하고 질문할 수 있는 기회]를 제공한다. 오랜 시간에 걸쳐서 교수들은 학생들이 의사로서의 입장을 발달시킬 수 있게 해주고, 의사로서 스스로에 대한 견고한 해석을 할 수 있도록 해주지만, 그것은 직업 생활 전반에 걸쳐 계속해서 변화할 것이다.

In dialogue with other students and with doctors, they are compelled to respond to the discourses that address them. Reflective discussions provide an opportunity for students and faculty members to challenge and question each other’s authoring of the cultural world of medicine and of themselves within it. Over time they allow students to develop a stance, a more durable interpretation of themselves as doctors in the making, but one that will continue to shift throughout professional life.


의학교육에 있어서 대화와 자권

Dialogue and self-authoring in medical education


FW는 의학의 문화적 세계cultural world와 그것이 [의사 정체성 형성과 전문적인 행동에 대한 비공식적이고 숨겨진 커리큘럼]에 주는 영향에 대한 풍부한 통찰력을 제공할 수 있다. 그것은 우리가 움직이는 문화계 안에서의 [figured and positional identity]와 [우리가 마주치는 담론의 조정]을 통해 어떻게 '영향influence'이 내면화되는지를 검토할 수 있는 새로운 방법을 제공한다. 학생들이 임상 환경에서 겪는 [일상적 경험, 포용력, 인정, 배척, 굴욕 등]이 미래의 의사로서 어떻게 자신을 envisage하는지 조명한다. 학생들의 경험에 대한 설명에 바크티니안 접근법을 사용함으로써 우리는 학생들의 자기저작과 그것에 기여하는 여러 목소리를 탐구할 수 있다. 이것은 학생들이 어떻게 시간이 지남에 따라 의사로서 자신을 이해하게 되는지에 대한 풍부한 연구 맥락을 제공한다.

Figured Worlds can provide rich insights into the influence of the cultural world of medicine and its informal and hidden curricula on doctor identity formation and professional behaviour. It provides a new way to consider how ‘influence’ is internalised, through figured and positional identities in the cultural worlds in which we move, and through orchestration of the discourses we encounter. It sheds light on how students’ daily experiences in clinical environments, of inclusion, recognition, exclusion and humiliation, shape how they envisage themselves as future doctors. By using a Bakhtinian approach to students’ accounts of their experiences we can explore their self-authoring and the multiple voices that contribute to it. This offers a rich vein of research into how students come to understand themselves as doctors over time.


FW이론의 강점은 직관적이면서도 명확한 이론적 혈통에 근거한 방식으로 정체성 형성의 복잡성을 설명할 수 있는 능력이다. 특히 담론에 대한 바흐틴의 접근방식의 사용은 추가적인 차원을 더한다. 한계는 사회문화적 이론들 사이에서도 FW는 숙달하기 어려운 이론이라는 것이다. 우리는 의학 교육의 중심인 [전문적 정체성 개발]이라는 비교적 친숙한 영역에서 FW를 사용하여 다루어 보았다. 우리는 FW이론의 사용에 대한 우리의 설명과 실증 실험이 의학 교육에 대한 그것의 이해를 더욱 증가시키기를 바란다.

A strength of Figured Worlds theory is its ability to account for the complexity of identity formation in ways that are both intuitive and grounded in a clear theoretical lineage. Its use of Bakhtin’s approach to discourse in particular adds an extra dimension. A limitation is that, even amongst socio-cultural theories, this is a challenging one to master. We have addressed this by using Figured Worlds in the relatively familiar domain of professional identity development, which is central to medical education. We hope that our explanation and demonstration of the use of Figured Worlds theory will further increase its uptake in medical education.







. 2017 Mar;51(3):248-257.
 doi: 10.1111/medu.13220. Epub 2016 Dec 29.

Possibility and agency in Figured Worlds: becoming a 'good doctor'

Affiliations 

Affiliations

  • 1Medical Education Unit, University College Cork, Cork, County Cork, Ireland.
  • 2Education and Social Research Institute, Manchester Metropolitan University, Manchester, UK.
  • 3Royal College of Physicians of Ireland, Dublin, Ireland.
  • 4Department of Infectious Diseases, St. James' University Hospital, Dublin, Ireland.
  • 5Department of Medicine, University of Dublin Trinity College, Dublin, Ireland.
  • 6School of Medicine, University College Cork, Cork, Ireland.
  • 7Centre for Medical Education, Queen's University Belfast, Belfast, UK.

Abstract

Context: Figured Worlds is a socio-cultural theory drawing on Vygotskian and Bakhtinian traditions, which has been applied in research into the development of identities of both learners and teachers in the wider education literature. It is now being adopted in medical education.

Objective: The objective of this paper is to show what Figured Worlds can offer in medical education. Having explained some of its central tenets, we apply it to an important tension in our field.

Methods: The assumption that there is a uniform 'good doctor' identity, which must be inculcated into medical students, underlies much of what medical educators do, and what our regulators enforce. Although diversity is encouraged when students are selected for medical school, pressure to professionalise students creates a drive towards a standardised professional identity by graduation. Using excerpts from reflective pieces written by two junior medical students, we review the basic concepts of Figured Worlds and demonstrate how it can shed light on the implications of this tension. Taking a Bakhtinian approach to discourse, we show how Adam and Sarah develop their professional identities as they negotiate the multiple overlapping and competing ways of being a doctor that they encounter in the world of medical practice. Each demonstrates agency by 'authoring' a unique identity in the cultural world of medicine, as they appropriate and re-voice the words of others.

Discussion: Finally, we consider some important areas in medical education where Figured Worlds might prove to be a useful lens: the negotiation of discourses of gender, sexuality and social class, career choice as identification within specialty-specific cultural worlds, and the influence of hidden and informal curricula on doctor identity.

의과대학에서 학생의 비-전문직업적 행동(UPB)를 어떻게 발견, 대응, 보고할 것인가? (Med Teach, 2019)

How to identify, address and report students’ unprofessional behaviour in medical school

Marianne Mak-van der Vossena , Arianne Teheranib , Walther van Mookc,d , Gerda Croiseta‡ and

Rashmi A. Kusurkara





도입 

Introduction


의사의 전문직업성은 의료의 질에 매우 중요하다. 의사에게 있어 전문가로서의 행동은 바람직한 조건일 뿐만 아니라 환자 안전을 보호하고 환자 치료 결과 개선에 필요한 것이다(Martinez et al. 2017). 이것은 의과대학과 관련이 있는데, 의과대학들은 학생들이 의사로서의 미래의 역할에 대비하기 때문이다.

Professionalism of doctors is crucial for the quality of health care. For a physician, behaving as a professional is not just a desirable condition, but also a requirement to safeguard patient safety and improve patient care outcomes (Martinez et al. 2017). This is relevant for medical schools, since they prepare students for their future roles as physicians.


파파다키스 외 2005년 학부 의학 훈련 중 비전문적인 행동이 의사로서의 비전문적 행동을 예측한다는 것을 보여주는 파파다키스의 정석적인 연구는 학부 교육에서 비전문주의에 대한 관대한 접근은 용납될 수 없다는 것을 분명히 한다.

Papadakis’s seminal study displaying that unprofessional behaviour during undergraduate medical training is predictive of unprofessional behaviour as a physician, makes clear that a permissive approach to unprofessionalism in undergraduate education is unacceptable (Papadakis et al. 2005).


의료 교육자는 전체 학생의 최대 20%에서 비전문적인 행동을 관찰하지만, 3–5%만 보고한다(Papadakis et al. 2005; Van Mook et al. 2010; Mak-van der Vossen et al. 2014). 이러한 불일치는 전문성 평가의 어려움을 반영하며, 종종 '실패' 현상으로 표시된다(Yepes-Rios et al. 2016).

Although medical educators observe unprofessional behaviour in up to 20% of all students, they only report 3–5% (Papadakis et al. 2005; van Mook et al. 2010; Mak-van der Vossen et al. 2014). This discrepancy reflects the difficulty in evaluating professionalism, and is often denominated as the ‘failure to fail’ phenomenon (Yepes-Rios et al. 2016).


Failure to fail의 이유로는 다음이 있다. 

  • 전문직업성에 대한 개념적 명확성의 결여 

  • 자기 판단의 주관성에 대한 우려 

  • 학생의 평판을 해칠까 봐 두려움

  • 적절한 교수 개발의 부족, 

  • 재교육 프로세스 및 그 결과에 대한 불확실성(Zing et al. 2018).

Probable reasons for the latter are: 

  • a lack of conceptual clarity about (un)professionalism in medical school, 

  • concern for the subjectivity of one’s judgment, 

  • fear of harming a student’s reputation, 

  • lack of appropriate faculty development, and 

  • uncertainty about the remediation process and its outcomes (Ziring et al. 2018).


학부 의대생의 비전문적 행동은 개인, 대인관계, 맥락적 또는 외부적 원인에 기인하여 동료 학생, 교사, 의료팀 및 환자에게도 영향을 미칠 수 있다(Lesser et al. 2010). 전문직업성 실수는 학습의 한 부분이기 때문에 교육자들은 이를 다룰 준비를 해야 한다(Levinson et al. 2014). 의학교육에서 암묵적이고 숨겨진 교과과정은 형식과 비공식적인 교과과정보다 전문성을 가르치는 데 더 강력하다(Hafferty 1998). 그러므로 교육자들은 (암묵적으로, 그리고 명시적으로) 학생들에게 비전문가주의를 다루는 법을 가르쳐야 한다.

Unprofessional behaviour of undergraduate medical students, either originating from personal, interpersonal, contextual or external causes, can have an impact on peer students, teachers, health care teams and also patients (Lesser et al. 2010). As professionalism lapses are a part of learning, educators should be prepared to deal with them (Levinson et al. 2014). The implicit, hidden curriculum in medical education is more powerful in teaching professionalism than the formal and informal curricula (Hafferty 1998). Thus, educators need to (both implicitly and explicitly) teach their students how to handle unprofessionalism.


더욱이, 비전문성 때문에 학생에게 unsatisfactory라는 평가가 내려졌다더라도, 이러한 행동을 교정하기 위해 무엇을 할 수 있는지 명확하지 않다(Papadakis et al. 2012). 그런 학생의 지도는 교직원의 자원, 시간, 노력에 타격을 준다. 의과대학은 명확한 전략을 채택하여 그러한 지침을 최적화할 수 있다.

Moreover, if an unsatisfactory evaluation has been given to a student because of unprofessionalism, it is not clear what can be done to remediate this behaviour (Papadakis et al. 2012). The guidance of such a student takes a toll on the resources, time and effort of faculty. Medical schools can optimize such guidance by adopting a clear strategy


의학 교육에서 '전문적이지 못한 행동'이란 무엇인가?

What is ‘unprofessional behaviour’ in medical education?


의료 전문직업성에 대한 다양한 정의의 본질은 [의사들이 환자의 신뢰를 얻기 위해 높은 윤리적, 도덕적 기준을 고수해야 하는 필요성]이다(스윅 2000).

The essence of the various definitions of medical professionalism is the necessity for physicians to adhere to high ethical and moral standards, in order to gain the trust of their patients (Swick 2000).


전문직업적인 행동을 보여주기 위해서는 특정한 상황에서 발생하는 딜레마를 다루기 위한 지식, 기술, 판단이 필요하다(van Luijk et al. 2010; Irby and Hamstra 2016).

Showing professional behaviour requires knowledge, skills, and judgment to deal with dilemmas that occur in specific situations (van Luijk et al. 2010; Irby and Hamstra 2016).


비전문직업적인 행동은 전문적인 정체성이 형성되는 이 과정에서 학생의 지도에 대한 필요성의 표시일 수 있다.

unprofessional behaviour may be a sign of the student’s need for guidance in this process of professional identity formation.


행동은 정의하고 관찰할 수 있기 때문에 전문직업성을 평가하는 가장 빈번한 방법은 전문적 행동을 관찰하는 것이다. 전문직업적 행동에 대한 평가 방법으로는 결정적 사건 보고서와 학생들의 행동에 대한 직접적인 관찰에 기초한 일상적인 평가가 있다.

As behaviours can be defined and observed, the most frequent way of assessing professionalism takes place through observing professional behaviour. Assessment methods for professional behaviour are critical incident reports, and routine evaluations based on direct observations of students’ behaviour,


  • 교육자나 또래 학생들이 작성한 중대 사건 보고서를 사용하여 조치를 보증하는 비전문적 행동을 식별할 수 있다. 이 조항은 성희롱, 협박, 표절 또는 공식 기록의 위조와 같은 추악하고 불법적인 행위에 필요하다. 그러한 행동은 보호관찰이나 해고와 같은 징벌적 대응을 요구한다.

Critical incidents reports by educators or peer students can be used to identify unprofessional behaviours that warrant action. This provision is necessary for egregious and unlawful behaviours, such as sexual harassment, intimidation, plagiarism or falsifying official records. Such behaviours call for punitive responses like probation or dismissal.


  • 예정된 교육 활동 중 평가의 경우, 형태 형성적 접근법과 총괄적 접근법을 결합하는 것이 권장된다(van Mook et al. 2010).

For assessments during scheduled educational activities, a combined formative and summative approach is recommended (van Mook et al. 2010).


형성적 평가를 사용하는 이유는 학생과 교육자 모두에게 부담stakes을 낮추기 위함이다. 전문적 행동을 형성적으로 처음 평가하는 또 다른 이유는 [행동의 관찰자 및 맥락 의존성]이다. 다른 맥락에서 학생의 관찰에 근거한 다른 평가자들의 의견을 결합하는 것, 즉 평가의 삼각측량은 타당한sound 총괄적 평가를 보장할 수 있다(van Mook et al. 2010).

A reason to use formative assessments is to lower the stakes for both the student and the educator. Another reason to initially assess professional behaviour formatively is the dependence of behaviour on observer and context. Combining the opinions of different assessors based on observations of the student in different contexts, so-called triangulation of assessments, can ensure a sound summative evaluation (van Mook et al. 2010).


학생의 비전문적 행동에 대한 설명자

Descriptors of students’ unprofessional behaviours


학부 의대생을 대상으로 한 영국의학총회(GMC)의 최근 지침은 학생의 전문직업성과 관련한 주요 관심분야에 대한 설명자를 제공한다(2016년 의총). 이 지침은 의료계에서 환자와 사회의 신뢰를 해칠 수 있는 학생 행동의 예를 설명한다. 주요 관심 분야는 다음과 같다. 

  • 지속적인 부적절한 태도 또는 행동 

  • GMP을 보여주지 못하는 경우 

  • 약물 또는 알코올 오용 

  • 부정행위 또는 표절 행위 

  • 부정직 또는 사기 

  • 공격적이거나 폭력적이거나 위협적인 행동

The recent version of the United Kingdom’s General Medical Council (GMC) guidance for undergraduate medical students provides descriptors of key areas of concern regarding students’ professionalism (General Medical Council 2016). The guidance describes examples of student behaviours that will undermine the trust of patients and society in the medical profession. The key concern areas are: 

  • persistent inappropriate attitude or behaviour; 

  • failing to demonstrate good medical practice; 

  • drug or alcohol misuse; 

  • cheating or plagiarizing; 

  • dishonesty or fraud; and 

  • aggressive, violent or threatening behaviour. 


이 지침은 의대 학생들은 의대 내부뿐만 아니라 외부에서도 전문적인 행동을 보여야 한다고 강조한다. 의과대학 밖에서의 비전문적 행동의 사례에는 술과 약물의 오남용이 있다.

The guidance stresses that medical students must display professional behaviour not only inside the medical school, but also outside. Examples of unprofessional behaviour outside the medical school refer to the misuse of alcohol and drugs.


'4 I'로 표시된 네 가지 고유한 범주 다음이 부족하다. 관여, 무결성, 상호작용 및 내성(Mak-van der Vossen et al. 2017) (그림 1 참조)

four distinctive categories, denominated as ‘the 4 I’s’. These are lack of: Involvement, Integrity, Interaction, and Introspection (Mak-van der Vossen et al. 2017) (see Figure 1).



비전문적 행동에 기여하는 요인

Factors contributing to unprofessional behaviour


비전문적 행동의 발생에 대한 트리거는 개인 문제, 대인관계 문제, 외부 요인 및 상황적 요인에서 발생할 수 있다(Hickson et al. 2007; Levinson et al. 2014). 기여 요인의 예는 표 1을 참조하십시오.

Triggers for the occurrence of unprofessional behaviour can originate from personal issues, interpersonal issues, external factors and contextual factors (Hickson et al. 2007; Levinson et al. 2014). See Table 1 for examples of contributing factors


표 1. 비전문적 행동의 발생과 관련된 요인의 예.

Table 1. Examples of factors involved in the occurrence of unprofessional behaviour.


인적 요인

  • 역량결손 (Levinson 등 2014)

  • 학습 장애(Hays et al. 2011, Guerrasio et al. 2014)

  • 정신 건강 문제(예: 우울증, 자폐 스펙트럼 유형 증상, 성격 장애(Bennett et al. 2005; Hickson et al. 2007; Hays et al. 2011; Levinson et al. 2014)

  • 신체 건강 문제(Parker et al. 2008; Levinson et al. 2014)

  • 약물 남용 (Bennett et al. 2005; Hickson et al. 2007; Guerrasio et al. 2014; Levinson et al. 2014)

  • 의대에 대한 동기부여 부족(테헤라니 외). 2009)

  • 충족되지 않은 니즈(피로, 배고픔) (Levinson 등 2014)

Personal factors

  • Competency deficits (Levinson et al. 2014)

  • Learning disabilities (Hays et al. 2011, Guerrasio et al. 2014)

  • Mental health issues (e.g. depression, autism spectrum type symptoms, personality disorders (Bennett et al. 2005; Hickson et al. 2007; Hays et al. 2011; Levinson et al. 2014)

  • Physical health issues (Parker et al. 2008; Levinson et al. 2014)

  • Substance abuse (Bennett et al. 2005; Hickson et al. 2007; Guerrasio et al. 2014; Levinson et al. 2014)

  • Lack of motivation for medical school (Teherani et al. 2009)

  • Unmet needs (fatigue, hunger) (Levinson et al. 2014)


대인관계 요인

  • 다른 문화적 기대치(Parker et al. 2008; Hays et al. 2011; Banhoorn et al. 2017)

  • 위계 (Levinson 등 2014)

  • 역할 및 책임에 대한 이해 부족(Parker et al. 2008; Hays et al. 2011; Levinson et al. 2014)

  • 의사소통 부족 (Guerrasio et al. 2014; Levinson et al. 2014)

  • 언어 장애(Levinson et al. 2014; Banhoorn et al. 2017)

  • 열악한 조직화 능력(Hayes et al. 2011; Guerrasio et al. 2014)

Interpersonal factors

  • Different cultural expectations (Parker et al. 2008; Hays et al. 2011; Barnhoorn et al. 2017)

  • Hierarchy (Levinson et al. 2014)

  • Poor understanding of roles and responsibilities (Parker et al. 2008; Hays et al. 2011; Levinson et al. 2014)

  • Poor communication (Guerrasio et al. 2014; Levinson et al. 2014)

  • Language difficulties (Levinson et al. 2014; Barnhoorn et al. 2017)

  • Poor organizational skills (Hays et al. 2011; Guerrasio et al. 2014)


외부 요

  • 심리사회적 스트레스 요인(Hickson et al. 2007; Parker et al. 2008; Hays et al. 2011; Guerrasio et al. 2014)

  • 가족 문제(Hickson et al. 2007; Hays et al. 2011; Levinson et al. 2014)

  • 재정적 어려움 (Parker et al. 2008; Hays et al. 2011; Levinson et al. 2014)

External factors

  • Psychosocial stressors (Hickson et al. 2007; Parker et al. 2008; Hays et al. 2011; Guerrasio et al. 2014)

  • Family problems (Hickson et al. 2007; Hays et al. 2011; Levinson et al. 2014)

  • Financial challenges (Parker et al. 2008; Hays et al. 2011; Levinson et al. 2014)


맥락적 요인

  • 불분명한 표준 (Hickson 등 2007)

  • 관료적 조직(Hickson et al. 2007; Levinson et al. 2014)

  • 높은 기대치, 높은 작업 부하(Hickson et al. 2007; Levinson et al. 2014)

  • 전문성을 장려하지 않는 학습 환경 (Hickson et al. 2007).

  • 부적절한 감독 (Levinson 외 2014)

  • 부적절한 롤모델링 (Hickson et al. 2007)

  • 나쁜 행동에 보상하는 문화 (Hickson et al. 2007; Levinson et al. 2014)

Contextual factors

  • Unclear standards (Hickson et al. 2007)

  • Bureaucratic organization (Hickson et al. 2007; Levinson et al. 2014)

  • High expectations, high workload in medical school (Hickson et al. 2007; Levinson et al. 2014)

  • Learning environment does not encourage professionalism (Hickson et al. 2007)

  • Inadequate supervision (Levinson et al. 2014)

  • Poor role modeling (Hickson et al. 2007)

  • Culture that rewards bad behaviour (Hickson et al. 2007; Levinson et al. 2014)


교육자들은 전문직업적 실수를 보여주었다고 해서 그 학생을 '전문성이 없는' 사람으로 낙인찍는 데 사용되어서는 안 된다는 것을 명심할 필요가 있다. 대부분 선한 학생들도 일시적으로 눈앞의 전문직업적 도전을 관리할 수 있는 기술이나 태도가 부족하거나, 그들이 운영하는 맥락은 전문성을 장려하거나 촉진시키지 않는다(Lucey and Suba 2010). 구조적인 비전문성은 훨씬 덜 흔하지만, 삼각형 평가의 프레임워크를 사용하여 더 긴 기간에 걸쳐 학생들을 종방향으로 평가할 때 드러날 수 있다(van Mook et al. 2010).

Educators need to keep in mind that the display of a professionalism lapse should not be used to label a student as an ‘unprofessional’ person. Mostly, students with good intentions temporarily lack the skills or attitudes to manage the professionalism challenge in front of them, or the context in which they operate does not encourage or facilitate professionalism (Lucey and Souba 2010). Structural unprofessionalism is thus far less common, but can be revealed when assessing students longitudinally over longer periods of time, using a framework of triangulated assessments (van Mook et al. 2010).


비전문적 행동에 대한 프로파일

Profiles of unprofessional behaviour


의료 전문성은 행동을 관찰함으로써 평가할 수 있다. 다양한 연구자들이 이러한 행동을 범주나 패턴으로 분류해 왔다.

Medical professionalism can be assessed by observing behaviours. Various researchers have grouped such behaviours into categories or patterns


따라서 전문적이지 않은 행동을 그룹화하면 독특한 행동 프로파일을 얻을 수 있다. 학생 행동의 연구 결과 프로파일은 학생의 성찰성과 적응성의 두 가지 요인에 기초한다(그림 2 참조).

Grouping unprofessional behaviours thus yields distinctive behavioural profiles. Research-generated profiles of student behaviours are based on two factors: the student’s reflectiveness and their adaptability (see Figure 2).


성찰적 행동( 피드백과 이를 미래 행동에 포함시킬 의지와 능력에 대한 경청)은 이러한 프로파일의 기초가 되는데, 이는 교육자들이 denominate하는 흔한 참여 행동common engagement behavior보다 학생의 미래 전문성을 더 잘 예측하기 때문이다(Mak-van der Vossen et al. 2016; Hoffman et al. 2016; Krzaniak et al. 2017). 아인스워스와 스조터 2018).

Reflective behaviour (listening to feedback and willingness and ability to incorporate it in future behaviour) is the basis of these profiles, as it predicts the future professionalism of a student better than the common engagement behaviours educators tend to denominate (Mak-van der Vossen et al. 2016; Hoffman et al. 2016; Krzyzaniak et al. 2017; Ainsworth and Szauter 2018).



비전문적 행동에 대한 교육자의 대응을 촉진하는 방법

How to facilitate educators’ responses to unprofessional behaviour


Barron에 의한 기대-가치-비용 모델은 특정 행동을 하거나 하지 않는 동기는 다음의 균형에 근거한다고 설명한다. 

  • 그 과업에서 성공할 수 있는 기대치 (내가 할 수 있는가?) 

  • 업무에 관여하는 것으로 인식되는 가치(내가 하고 싶은가?) 

  • 작업에 참여하는 데 드는 비용(내가 하지 못하게 만드는 장벽이 있는가?) (Barron et al. 2015).

The Expectancy-Value-Cost model by Barron describes that a person’s motivation to engage or not engage in a certain task is based on the balance of 

  • the expectancy of being successful in that task (Can I do it?), 

  • the perceived value of engaging in the task (Do I want to do it?) and 

  • the costs of engaging in the task (Are there barriers that prevent me from doing it?) (Barron et al. 2015).


(표 2 참조).

(see Table 2).


이 모델이 학생들의 비전문적 행동에 대응하려는 교육자들의 동기에도 적용된다고 가정하면, 교육자들이 학생들의 비전문적 행동에 대응하도록 하기 위한 두 가지 주요 전략은 다음과 같다. 

  • (i) 교수 개발을 통해 교육자의 개인적 능력과 자질을 강화해야 한다. 

  • (ii) 조직 정책을 강화하여 평가 절차를 완화하고 교정조치 결과를 개선한다.

Assuming that this model also applies to educators’ motivation to respond to unprofessional behaviour of students, The two main strategies to facilitate educators to respond to unprofessional behaviour of students are 

  • (i) strengthening educators’ personal skills and qualities through faculty development, and 

  • (ii) strengthening organizational policies to mitigate the assessment procedure and improve remediation outcomes.



의대생들의 비전문적인 행동에 대해 교육자들은 어떻게 대응해야 하는가?

How should educators respond to medical students’ unprofessional behaviour?


보고된 비전문적 행동에 대한 대응은 이론적으로 Vanderbilt '파괴적 행동 피라미드'(Hickson et al. 2007)와 같은 졸업된 접근방식으로 설명된다. 최근 의대생들의 성공과 실패의 5개 영역(Ellway et al. 2018)이 제시되고 있다. 그러한 모델의 기본 철학은 학생들이 성장하고 발전하고 있으며, 때로는 실패하기도 한다는 것인데, 이것은 그들에게 도움이 필요하다.

Responding to reported unprofessional behaviour is theoretically described as a graduated approach, e.g. in the Vanderbilt ‘disruptive behaviour pyramid’ (Hickson et al. 2007). Recently, five zones of success and failure for medical students have been presented, including failure in professionalism (Ellaway et al. 2018). The basic philosophy of such models is that students are growing and developing, and sometimes fail, for which they need help.


징벌적 조치는 교정조치에도 불구하고 학생이 개선되지 않는 상황까지는 유보된다(Lucey and Souba 2010). 비전문성 처리를 위한 로드맵은 

  • (i) 탐색과 이해, 

  • (ii) 교정, 

  • (iii) dismissal를 위한 증거 수집(Mak-van der Vossen et al. 2019)의 3단계로 구성된다(그림 3 참조).

Punitive actions are reserved for those instances in which a student does not improve, despite remediation (Lucey and Souba 2010). A road map for handling unprofessionalism includes three phases: 

  • (i) Explore and understand, 

  • (ii) Remediate, and 

  • (iii) Gather evidence for dismissal (Mak-van der Vossen et al. 2019) (see Figure 3).


탐색 및 이해

Explore and understand


한 학생이 비전문적 행동으로 지목된 후에는 전문직업성 교정 감독관(PRS)이 해당 학생을 초청해 실수에 대한 대화를 나눈다. Jha는 학생들의 비전문적 행동을 탐구하고 이해하는 데 계획적 행동 이론을 사용할 수 있음을 증명했다(Jha et al. 2016). 이 이론은 학생의 궁극적인 행동이 다음에 의해 영향을 받는다

    • 행동과 그 결과 대한 의도와 신념

    • 주관적 규범, 그리고 

    • 인지된 행동 통제

After a student has been cited for unprofessional behaviour, a professionalism remediation supervisor (PRS), invites the student for a conversation about the lapse. Jha demonstrated that the Theory of Planned Behaviour can be used to explore and understand students’ unprofessional behaviour (Jha et al. 2016). This theory encompasses that a student’s ultimate behaviour is influenced by 

    • intentions and beliefs about the behaviour and its outcomes, 

    • the subjective norm, and 

    • the perceived behavioural control.


'양파 모델'은 환경, 행동, 역량, 신념, 정체성, 그리고 중심에서 임무(Barnhoorn et al. 2019)의 계층으로 구성된다. 이러한 모델을 바탕으로 학생과의 대화에서 출제해야 할 10가지 질문을 요약한다(표 3 참조).

the ‘Onion model’,consisting of the following layers: environment, behaviour, competencies, beliefs, identity, and, in the center, mission (Barnhoorn et al. 2019). Based on these models, ten questions to be posed in a conversation with the student are summarized (see Table 3).



대부분의 학생들에게, 이 접근방식은 미래의 비전문적인 행동을 예방하기에 충분하다. 더욱이, 이러한 대화들은 학생들의 비전문적 행동에 대한 (숨겨진) 조직적 및 상황적 원인에 대한 중요한 정보를 제공할 수 있으며, 조직은 다시 이 정보를 활용할fed back 수 있다(Lesser et al. 2010; Rougas et al. 2015).

For most students, this approach is sufficient to prevent future unprofessional behaviour. Furthermore, these conversations can yield important information about (hidden) organizational and contextual causes for students’ unprofessional behaviour that can be fed back into the organization (Lesser et al. 2010; Rougas et al. 2015).


교정 

Remediate


이 단계는 [반복적인 비전문적인 행동을 보일 때] 또는 학생과 PRS 모두 [미래의 비전문적인 행동을 막기 위해 특정한 결함을 채우기 위해 추가적인 가르침이 필요하다는 것을 인정할 때] 시작된다. (비록 때로는 비공식적 또는 공식적 경고나 보호관찰과 같은 징벌적 조치가 필요하다고 생각되지만), 대체로 접근방식은 교육적이다(Howe et al. 2010). PRS는 학생과 협력하여 근본 원인에 대한 가정과 학생의 역량에 맞춘 교정조치 계획을 수립한다.

This phase starts when the unprofessional behaviour appears to be repetitive, or when both student and PRS acknowledge that additional teaching is needed to fill in certain deficiencies to prevent future unprofessional behaviour. The approach is mainly pedagogical, although sometimes also punitive actions are deemed necessary, such as an informal or formal warning, or probation (Howe et al. 2010). The PRS, in collaboration with the student, creates a remediation plan that is tailored to the supposed underlying cause, and the student’s capacities.


재교육 방법으로는

    • 재교육 과제 또는 커리큘럼, 

    • (스스로 선택한) 역할 모델에 매칭 

    • 개인 멘토링 및 코칭/컨설팅 

    • 시뮬레이션된 상황에서 의도적인 연습과 피드백 

    • 반복적인 부분/전반적인/반복적인 관계 

    • 사회봉사. 

    • 정신 건강 평가/평가

pedagogical measures from 

    • remediation assignments or curricula, 

    • matching to a (self-chosen) role model, 

    • individual mentoring and coaching/counseling, 

    • deliberate practice and feedback in simulated situations, 

    • repeating part/all of course/clerkship, 

    • community service, up to 

    • mental health evaluation/treatment (Bennett et al. 2005; Levinson et al. 2014; Guerrasio et al. 2014; Ziring et al. 2015; Kalet et al. 2016).


모든 대책은 학생이 [학습목표에 도달]하도록 지원하고, [전문지식과 (상호)개인적 능력을 향상]시키며, [전문성 가치에 대한 통찰력을 창출]하기 위한 것이다. 이것은 가급적 학교 내의 전문 교수진 또는 학교 밖의 전문가들에 의해 개별적인 관계를 통해 이루어진다. 때로는 교정조치가 의무적으로 이루어지는 것이 바람직해 보이기도 하지만, 이는 학생이 행동하기로 결정하거나 하지 말아야 하는 사람이기 때문에 달성하기가 어렵다. 그러므로, [기대수준이 명확하게 제시]되어야 하며, 잘 해봐야 [기대치를 달성할 수 있는 강력한 조언을 주는 정도]일 수 있다. 궁극적으로 교정조치의 효과는 주어진 시간 내에 정규 교육과정에서의 추가 평가에 의해 확인established되어야 한다(Bennett et al. 2005; Guerrasio et al. 2014; Kalet et al. 2016). 시간 경과에 따른 학생의 진도는 PRS에 의해 모니터링되어야 한다(Zing et al. 2015).

All measures are intended to support the student in reaching his/her learning objectives, to improve professionalism knowledge and (inter)personal skills, and to create insight into professionalism values. This is preferably done through an individual relationship by specialized faculty within the school, or by specialists outside the school. Although it sometimes seems desirable that remediation measures are mandatory, this is difficult to accomplish, since the student is the one who should decide to act or not. Thus, expectations must be set out clearly and at most a strong advice can be given how to attain them. Ultimately, the effect of the remediation has to be established by further assessment in the regular curriculum, within a given time frame (Bennett et al. 2005; Guerrasio et al. 2014; Kalet et al. 2016). The student’s progress over time should be monitored by the PRS (Ziring et al. 2015).


전문성 교정조치는 학문적 지식과 기술 부족의 교정조치보다 훨씬 더 많은 교직원의 시간과 노력을 필요로 한다(Guerrasio et al. 2014). 이것은 재교육 조치 교사들을 위한 특정한 교수진 개발을 요구한다.

Professionalism remediation takes far more faculty time and effort than remediation of academic knowledge and skills deficits (Guerrasio et al. 2014). This calls for specific faculty development for remediation teachers.


해고를 위한 정보 수집

Gather information for dismissal


모든 학생이 직업적 정체성을 강하게 발달시키는 것은 아니다. 교정조치에 refer된 전체 학습자의 2% 미만인 소수의 학생들은 반성과 개선을 충분히 보여주지 못하는 것으로 나타나고, disavowing behavior에 해당하는 행동을 보여준다.

Not every student develops a strong professional identity. A handful of students, less than 2% of all learners referred for remediation, appears to insufficiently demonstrate reflectiveness and improvement, showing the profile of disavowing behaviour, as evidenced by a structural pattern of unprofessional behaviour despite remedial teaching (Bennett et al. 2005; Guerrasio et al. 2014)., 


특히 (미래) 환자 진료가 위태로울 경우 교직원은 의료계의 게이트키퍼 역할을 해야 한다. 이때 기관 정책 문서에 명시된 매우 명확한 절차를 통해 [해고를 위해 강력한 증거를 모아야 하는 최종 단계]가 시작된다. 이 단계에서는 교정조치가 계속될 수 있지만, 이 때 노력의 주된 목표는 학생을 의료계로 인도하는 것에서 학생을 의료계 밖으로 인도하는 것으로 전환된다.

Especially if (future) patient care is potentially compromised, faculty must take their role as gatekeepers of the medical community. That’s when the final phase commences, in which strong evidence has to be gathered for dismissal, through very clear processes that are specified in the institutional policy documents. Although remediation may continue in this phase, the main goal of the effort has changed from guiding the student into the medical community to guiding the student out of it. 


따라서 평가 결과는 신중하게 문서화되어야 한다. 이해 상충을 피하기 위해, 이 최종 단계에서 학생의 과정과 지도에 대한 책임은 교정조치 교사에서 전문성 진행 위원회(Mak-van der Vossen et al. 2019)와 같은 기관 내의 다른 사람으로 옮겨져야 한다.

Therefore, assessment outcomes have to be documented carefully. To avoid conflicts of interest, in this final phase the responsibility for the process and guidance of the student should be shifted from remediation teachers to other people within the institution, e.g. a Professionalism progress committee (Mak-van der Vossen et al. 2019).


실무에 대한 의미

Implications for practice


실수는 학습의 일부분이며, 교사와 학생 사이의 실수에 대해 논하는 것은 학생들의 직업적 정체성 형성을 효과적으로 향상시킬 수 있다(Lucey and Suba 2010). 따라서 미래의 실수를 방지하기 위해 비전문적 행동에 대응하는 것은 정상적인 교육 과정의 일부가 되어야 한다(Kalet et al. 2017).

Lapses are a part of learning, and discussing lapses among teachers and students can effectively enhance students’ professional identity formation (Lucey and Souba 2010). Thus, responding to unprofessional behaviour to prevent future lapses should be part of the normal curriculum (Kalet et al. 2017).


학생뿐만 아니라 교사들도 프로답지 못한 행동을 보일 수 있다. 그렇기 때문에 이상적으로는 교육자와 학생이 협력하여 전문성 가치가 개발된다(O'Brien et al. 2017). 두 그룹에 대한 프로페셔널리즘 기대치가 일치한다면 학생의 프로페셔널리즘과 교사의 프로페셔널리즘은 같은 기준으로 평가할 수 있다.

Not only students, but also teachers may display unprofessional behaviours. That’s why, ideally, professionalism values are developed in collaboration between educators and students (O’Brien et al. 2017). If professionalism expectations for both groups align, professionalism of students, and professionalism of teachers can be evaluated using the same standards.


특히 '시스템 길들이기' 행태는 더 많은 연구가 필요하다. 그것은 학습 과정의 한 단계인가? (Neve et al. 2016). 아니면 가치관이 아닌 행동에 광범위하게 초점을 맞춘 결과인가?

Especially, ‘gaming the system’ behaviour needs further research. Is it a phase in the learning process? (Neve et al. 2016). Or is it a result from an extensive focus on behaviours, instead of on values?


결론 

Conclusion


부적절한 전문직업적 행동은 증상이지 진단이 아니다. 서로에게 피드백을 주고, 비전문주의에 대해 이야기함으로써 학생과 교육자 모두 잠재적으로 배울 수 있다. 비전문성은 (미래) 환자 치료에 부정적인 영향을 미치기 때문에 용납되지 않는다는 것을 학생들은 배울 수 있다. 교육자들은 교육적 맥락에서 의대생들의 전문적인 행동을 지원하기 위해 어떤 요소들이 영향을 받아야 하는지를 배울 수 있다.

Poor professional behaviour is a symptom, not a diagnosis. By giving feedback to each other, and talking about unprofessionalism both students and educators can potentially learn. Students can learn that unprofessionalism is not tolerated, since it has a negative effect on (future) patient care. Educators can learn which factors in the educational context need to be influenced to support professional behaviour of medical students.




Barnhoorn PC, Houtlosser M, Ottenhoff-de Jonge MW, Essers G, Numans ME, Kramer AWM. 2019. A practical framework for remediating unprofessional behavior and for developing professionalism competencies and a professional identity. Med Teach. 41(3): 303–308.


Byyny, R. L., Papadakis, M. A., Paauw, D. S. editors 2015. Medical professionalism: best practices. Cambridge (MA): Alpha Omega Alpha Honor Medical Society.


Ellaway RH, Chou CL, Kalet AL. 2018. Situating remediation: Accommodating success and failure in medical education systems. Acad Med. 93(3):391–398.


O’Brien BC, Bachhuber MR, Teherani A, Iker TM, Batt J, O’Sullivan PS. 2017. Systems-oriented workplace learning experiences for early learners: three models. Acad Med. 92(5):684–693.


Kalet A, Chou CL, Ellaway RH. 2017. To fail is human: remediating remediation in medical education. Perspect Med Educ. 6(6): 418–424.


Mak-van der Vossen MC, de la Croix A, Teherani A, Van Mook W, Croiset G, Kusurkar RA. 2019. A roadmap for attending to medical students’ professionalism lapses. Acad Med. 94(4):570–578.













. 2020 Apr;42(4):372-379.
 doi: 10.1080/0142159X.2019.1692130. Epub 2019 Dec 27.

How to identify, address and report students' unprofessional behaviour in medical school

Affiliations 

Affiliations

  • 1Department of Research in Education, Faculty of Medicine VU University Amsterdam, Amsterdam UMC, Amsterdam, The Netherlands.
  • 2Department of Medicine and Center for Faculty Educators, University of California, School of Medicine, San Francisco, CA, USA.
  • 3Department of Intensive Care Medicine, Maastricht University Medical Center, Maastricht, The Netherlands.
  • 4School of Health Professions Education, Maastricht University, Maastricht, The Netherlands.

Abstract

This AMEE guide provides a research overview of the identification of, and responding to unprofessional behaviour in medical students. It is directed towards medical educators in preclinical and clinical undergraduate medical education. It aims to describe, clarify and categorize different types of unprofessional behaviours, highlighting students' unprofessional behaviour profiles and what they mean for further guidance. This facilitates identification, addressing, reporting and remediation of different types of unprofessional behaviour in different types of students in undergraduate medical education. Professionalism, professional behaviour and professional identity formation are three different viewpoints in medical education and research. Teaching and assessing professionalism, promoting professional identity formation, is the positive approach. An inevitable consequence is that teachers sometimes are confronted with unprofessional behaviour. When this happens, a complementary approach is needed. How to effectively respond to unprofessional behaviour deserves our attention, owing to the amount of time, effort and resources spent by teachers in managing unprofessional behaviour of medical students. Clinical and medical educators find it hard to address unprofessional behaviour and turn toward refraining from handling it, thus leading to the 'failure to fail' phenomenon. Finding the ways to describe and categorize observed unprofessional behaviour of students encourages teachers to take the appropriate actions.


+ Recent posts