Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

질적 내용분석: Trustwothiness에 초점을 두고(SAGE Open, 2014)
Qualitative Content Analysis: A Focus on Trustworthiness 
Satu Elo1, Maria Kääriäinen1,2, Outi Kanste3, Tarja Pölkki1, Kati Utriainen1, and Helvi Kyngäs1,2

질적 내용 분석은 간호과학 연구에서 일반적으로 사용되지만, 그 사용의 신뢰성은 아직 체계적으로 평가되지 않았다. 콘텐츠 분석 연구를 평가하기 위한 효과적이고 간단한 전략에 대한 지속적인 요구가 있다. 특히 질적 내용분석보다 정량적 내용분석의 타당성과 신뢰성에 대한 여러 논문이 발표된 만큼 질적 내용분석 결과의 질에 대한 보다 집중적인 논의도 필요하다. 정량적 내용분석을 수행하기 위해 표준화된 절차를 많이 이용할 수 있지만(Baxter, 2009) 질적 내용분석은 그렇지 않다.
Although qualitative content analysis is commonly used in nursing science research, the trustworthiness of its use has not yet been systematically evaluated. There is an ongoing demand for effective and straightforward strategies for evaluating content analysis studies. A more focused discussion about the quality of qualitative content analysis findings is also needed, particularly as several articles have been published on the validity and reliability of quantitative content analysis (Neuendorf, 2011; Potter & Levine-Donnerstein, 1999; Rourke & Anderson, 2004) than qualitative content analysis. Whereas many standardized procedures are available for performing quantitative content analysis (Baxter, 2009), this is not the case for qualitative content analysis.

질적 내용분석은 현재 데이터를 분석하고 의미를 해석하기 위해 사용할 수 있는 몇 가지 질적 방법 중 하나이다(Schreier, 2012). 연구 방법으로서, 그것은 현상을 설명하고 수량화하는 체계적이고 객관적인 수단을 나타낸다(Downe-Wamboldt, 1992; Schreier, 2012). 성공적인 내용분석을 위한 전제조건은 범주, 개념, 모델, 개념 시스템 또는 개념 맵을 만듦으로써 데이터가 연구 현상을 설명하는 개념으로 축소될 수 있다는 것이다(Elo & Kyngäs, 2008; Morgan, 1993; Weber, 1990). 연구 질문은 무엇을 분석하고 무엇을 만들 것인지를 명시한다. 질적 내용분석에서 추상화 과정은 개념이 생성되는 단계이다. 일반적으로 과정의 일부 측면은 쉽게 설명될 수 있지만, 부분적으로 연구자의 통찰력이나 직관적인 행동에 의존하며, 이는 다른 사람들에게 설명하기가 매우 어려울 수 있다(Elo & Kyngäs, 2008; Graneheim & Lundman, 2004). 타당성 관점에서 결과가 어떻게 만들어졌는지 보고하는 것이 중요하다. 독자는 분석과 결과적 결론을 명확하게 따를 수 있어야 한다(슈라이어, 2012). 
Qualitative content analysis is one of the several qualitative methods currently available for analyzing data and interpreting its meaning (Schreier, 2012). As a research method, it represents a systematic and objective means of describing and quantifying phenomena (Downe-Wamboldt, 1992; Schreier, 2012). A prerequisite for successful content analysis is that data can be reduced to concepts that describe the research phenomenon (Cavanagh, 1997; Elo & Kyngäs, 2008; Hsieh & Shannon, 2005) by creating categories, concepts, a model, conceptual system, or conceptual map (Elo & Kyngäs, 2008; Morgan, 1993; Weber, 1990). The research question specifies what to analyze and what to create (Elo & Kyngäs, 2008; Schreier, 2012). In qualitative content analysis, the abstraction process is the stage during which concepts are created. Usually, some aspects of the process can be readily described, but it also partially depends on the researcher’s insight or intuitive action, which may be very difficult to describe to others (Elo & Kyngäs, 2008; Graneheim & Lundman, 2004). From the perspective of validity, it is important to report how the results were created. Readers should be able to clearly follow the analysis and resulting conclusions (Schreier, 2012).

질적 내용분석은 귀납적 또는 연역적 방법으로 사용될 수 있습니다. 귀납적 및 연역적 내용분석 프로세스에는 세 가지 주요 단계가 포함됩니다: 결과의 준비, 구성, 보고. 

• 준비 단계는 콘텐츠 분석에 적합한 데이터를 수집하고 데이터를 이해하며 분석 단위를 선택하는 것으로 구성된다. 
• 귀납적 접근법에서 조직 단계는 개방형 코딩, 범주 생성, 추상화를 포함한다. 
• 연역적 접근법에서 조직 단계는 범주 매트릭스 개발을 포함하며, 여기서 모든 데이터는 내용에 대해 검토되고 식별된 범주에 대한 대응 또는 예시를 위해 코딩된다(Political & Beck, 2012). 범주 매트릭스은 범주가 개념을 적절하게 표현하고, 타당성의 관점에서 범주화 행렬이 의도한 바를 정확하게 포착한다면 유효한 것으로 간주할 수 있다(Schreier, 2012). 
• 보고 단계에서 결과는 선택된 접근법(연역적 또는 귀납적)을 사용하여 현상을 설명하는 범주의 내용에 의해 설명된다.

Qualitative content analysis can be used in either an inductive or a deductive way. Both inductive and deductive content analysis processes involve three main phases: preparation, organization, and reporting of results.

• The preparation phase consists of collecting suitable data for content analysis, making sense of the data, and selecting the unit of analysis.
• In the inductive approach, the organization phase includes open coding, creating categories, and abstraction (Elo & Kyngäs, 2008).
• In deductive content analysis, the organization phase involves categorization matrix development, whereby all the data are reviewed for content and coded for correspondence to or exemplification of the identified categories (Polit & Beck, 2012). The categorization matrix can be regarded as valid if the categories adequately represent the concepts, and from the viewpoint of validity, the categorization matrix accurately captures what was intended (Schreier, 2012).
• In the reporting phase, results are described by the content of the categories describing the phenomenon using a selected approach (either deductive or inductive).

질적 연구 타당성을 평가하기에 가장 적합한 용어(강성, 타당성, 신뢰성, 신뢰도)에 대해 많은 논쟁이 있었다(Koch & Harrington, 1998). 신뢰성과 타당성 기준은 신뢰도를 평가할 때 양적 연구와 질적 연구에서 모두 사용됩니다. 그러한 용어들은 주로 연구의 실증적 개념에 뿌리를 두고 있다. 슈라이어(2012)에 따르면 [질적 내용 분석]과 [양적 내용 분석] 사이에 명확한 구분선이 없고, 신뢰성과 타당성에 대한 유사한 용어와 기준이 자주 사용된다.

There has been much debate about the most appropriate terms (rigor, validity, reliability, trustworthiness) for assessing qualitative research validity (Koch & Harrington, 1998). Criteria for reliability and validity are used in both quantitative and qualitative studies when assessing the credibility (Emden & Sandelowski, 1999; Koch & Harrington, 1998; Ryan-Nicholls & Will, 2009). Such terms are mainly rooted in a positivist conception of research. According to Schreier (2012), there is no clear dividing line between qualitative and quantitative content analysis, and similar terms and criteria for reliability and validity are often used. 

연구자들은 내용분석에서 타당성 측면을 평가할 때 주로 질적 기준을 사용해 왔다(Kyngás 등, 2011). 질적 내용분석을 평가하기 위해 가장 널리 사용되는 기준은 링컨과 구바(1985)가 개발한 기준이다. 그들은 신뢰성trustworthiness라는 용어를 사용했다. 질적 조사에서 신뢰성trustworthiness의 목적은 조사의 발견이 "주의할 가치가 있다"는 주장을 뒷받침하는 것이다(Lincoln & Guba, 1985). 이론 기반 범주화 매트릭스 없이 원시 데이터에서 범주가 생성되기 때문에 귀납적 내용 분석을 사용할 때 특히 중요하다. 따라서, 우리는 데이터 수집, 분석, 콘텐츠 분석 결과의 발표의 신뢰성trustworthiness에 영향을 미치는 요소를 파악할 때 이러한 전통적인 질적 연구 용어를 사용하기로 결정했습니다.

Researchers have mainly used qualitative criteria when evaluating aspects of validity in content analysis (Kyngäs et al., 2011). The most widely used criteria for evaluating qualitative content analysis are those developed by Lincoln and Guba (1985). They used the term trustworthiness. The aim of trustworthiness in a qualitative inquiry is to support the argument that the inquiry’s findings are “worth paying attention to” (Lincoln & Guba, 1985). This is especially important when using inductive content analysis as categories are created from the raw data without a theory-based categorization matrix. Thus, we decided to use such traditional qualitative research terms when identifying factors affecting the trustworthiness of data collection, analysis, and presentation of the results of content analysis.

질적 연구를 위해 몇 가지 신뢰도 평가 기준이 제안되었다. 그러나 이러한 기준의 공통점은 내용분석 과정을 정확하게 보고함으로써 신뢰도를 지원하고자 한다는 것이다. 링컨과 구바는 credibility, dependability, conformability, and transferability라는 질적연구에서 trustworthiness 평가를 위한 네 가지 대안을 제안해 왔다. 1994년에서 저자들은 5기준에 진정성authenticity을 덧붙였다.

• Credibility의 확립을 위한 관점에서, 연구원들은 연구에 참여하고 정확하게 묘사했다 확인되도록 해야 합니다.
• Dependability 데이터의 시간과 다른 조건에 따라 안정성을 말한다.
• Conformability 그것이 객관성을 말한다, 일치에 대한 데이터의 정확성, 타당성, 또는 의미에 대해 두 이상의 독립적인 사람들의 가능성.
• Transferability 추정에 대한 가능성에 말한다. 그것은 논거는 발견이나 다른 설정 또는 그룹에 편입이 개괄될 수 있는에 의존하고 있다.
• 마지막 기준, authenticity는, 연구자들 공정하고 충실히, 현실의 범위(링컨&Guba, 1985;Polit&벡, 2012년)을 보여 주는 정도로 말한다.

Several other trustworthiness evaluation criteria have been proposed for qualitative studies (Emden, Hancock, Schubert, & Darbyshire, 2001; Lincoln & Guba, 1985; Neuendorf, 2002; Polit & Beck, 2012; Schreier, 2012). However, a common feature of these criteria is that they aspire to support the trustworthiness by reporting the process of content analysis accurately. Lincoln and Guba (1985) have proposed four alternatives for assessing the trustworthiness of qualitative research, that is, credibility, dependability, conformability, and transferability. In 1994, the authors added a fifth criterion referred to as authenticity.

• From the perspective of establishing credibility, researchers must ensure that those participating in research are identified and described accurately.
• Dependability refers to the stability of data over time and under different conditions.
• Conformability refers to the objectivity, that is, the potential for congruence between two or more independent people about the data’s accuracy, relevance, or meaning.
• Transferability refers to the potential for extrapolation. It relies on the reasoning that findings can be generalized or transferred to other settings or groups.
• The last criterion, authenticity, refers to the extent to which researchers, fairly and faithfully, show a range of realities (Lincoln & Guba, 1985; Polit & Beck, 2012)

연구자들은 종종 질적 연구 결과의 신뢰도를 손상시키는 문제와 씨름한다. 본 기사에서 설명하는 연구의 목적은 주요 질적 콘텐츠 분석 단계를 기반으로 신뢰도를 설명하고 콘텐츠 분석 연구의 신뢰도를 평가하기 위한 체크리스트를 작성하는 것이었다. 가장 중요한 연구 질문은 "각 단계에서 콘텐츠 분석 연구의 신뢰도를 향상시키기 위해 노력하는 연구자들에게 필수적인 것은 무엇인가?" 제시된 지식은 초기 연구의 서술적 문헌 검토, 우리 자신의 경험, 방법론적 교과서를 통해 확인되었다. 다음과 같은 키워드를 사용하여 Medline(Ovid)과 CINAHL(EBSCO)의 복합 검색이 수행되었다. 신뢰성, 엄격함 또는 타당성, 질적 컨텐츠 분석.
Researchers often struggle with problems that compromise the trustworthiness of qualitative research findings (de Casterlé, Gastmans, Bryon, & Denier, 2012). The aim of the study described in this article was to describe trustworthiness based on the main qualitative content analysis phases, and to compile a checklist for evaluating trustworthiness of content analysis study. The primary research question was, “What is essential for researchers attempting to improve the trustworthiness of a content analysis study in each phase?” The knowledge presented was identified from a narrative literature review of earlier studies, our own experiences, and methodological textbooks. A combined search of Medline (Ovid) and CINAHL (EBSCO) was conducted, using the following key words: trustworthiness, rigor OR validity, AND qualitative content analysis.

다음은 포함 기준으로 사용되었다: 영어로 출판된 건강과학 분야의 질적 내용 분석에 초점을 맞춘 방법론적 논문이며 연도에 제한이 없다. 이 검색에서는 데이터베이스와 참조 목록 검사에서 12개의 방법론적 내용 분석 기사가 확인되었다. 선정된 논문의 참고목록도 확인했고, 검토 종합서 작성 시 질적 연구방법론 교재가 활용됐다. 이 글의 논의는 내용 분석을 유효하고 이해할 수 있는 방식으로 보고하는 방법을 명확히 하는 데 도움이 되며, 이는 과학 논문 검토자에게 특히 도움이 될 것으로 예상한다.

The following were used as inclusion criteria: methodological articles focused on qualitative content analysis in the area of health sciences published in English and with no restrictions on year. The search identified 12 methodological content analysis articles from databases and reference list checks (Cavanagh, 1997; Downe-Wamboldt, 1992; Elo & Kyngäs, 2008; Graneheim & Lundman, 2004; Guthrie, Yongvanich, & Ricceri, 2004; Harwood & Garry, 2003; Holdford, 2008; Hsieh & Shannon, 2005; Morgan, 1993; Potter & Levine-Donnerstein, 1999; Rourke & Anderson, 2004; Vaismoradi, Bondas, & Turunen, 2013). The reference list of selected papers was also checked, and qualitative research methodology textbooks were used when writing the synthesis of the review. The discussion in this article helps to clarify how content analysis should be reported in a valid and understandable manner, which, we expect, will be of particular benefit to reviewers of scientific articles.

콘텐츠 분석 연구 준비단계에서의 신뢰도
Trustworthiness in the Preparation Phase in Content Analysis Study

문헌 검색 결과를 바탕으로 작성 단계의 주요 신뢰도 이슈는 데이터 수집 방법의 신뢰도, 샘플링 전략, 적절한 분석 단위 선정으로 파악되었다. 연구 결과를 바탕으로 각 단계에서 콘텐츠 분석 연구의 신뢰도 향상을 시도하는 연구자를 위한 점검표를 작성했다(표 1).

Based on the results of the literature search, the main trustworthiness issues in the preparation phases were identified as trustworthiness of the data collection method, sampling strategy, and the selection of a suitable unit of analysis. Based on the findings, we have compiled a checklist for researchers attempting to improve the trustworthiness of a content analysis study in each phase (Table 1).

 

데이터 수집 방법
Data Collection Method

데이터 수집의 신뢰성trustworthiness에 대한 입증은 연구의 신뢰성에 관한 연구자의 궁극적인 주장을 뒷받침하는 한 측면이다(Rourke & Anderson, 2004). 내용분석의 신뢰성을 보장하기 위해서는 가장 적절한 데이터 수집 방법의 선택이 필수적이다(Graneheim & Lundman, 2004). 신뢰성credibility은 연구의 초점을 다루며 [데이터가 의도한 초점을 얼마나 잘 설명하는지address]에 대한 자신감를 의미한다(Political & Beck, 2012). 따라서 연구자는 내용분석에 가장 적합한 데이터를 수집하는 방법에 대해 많은 고민을 해야 합니다. 내용분석의 신뢰성을 보장하기 위한 전략은 관심 있는 연구 질문에 답할 수 있는 [최선의 데이터 수집 방법]을 선택하는 것에서부터 시작된다. 내용 분석이 사용되는 대부분의 연구에서 수집된 데이터는 비구조적이며, 인터뷰, 관찰, 일기, 기타 서면 문서 또는 다른 방법의 조합과 같은 방법으로 수집된다. 그러나 연구의 목적에 따라 수집된 데이터는 개방적이고 반구조적일 수 있다. 귀납적 내용분석을 사용하는 경우 데이터가 가능한 한 구조화되지 않은 것이 중요하다(Dey, 1993; Neuendorf, 2002).
Demonstration of the trustworthiness of data collection is one aspect that supports a researcher’s ultimate argument concerning the trustworthiness of a study (Rourke & Anderson, 2004). Selection of the most appropriate method of data collection is essential for ensuring the credibility of content analysis (Graneheim & Lundman, 2004). Credibility deals with the focus of the research and refers to the confidence in how well the data address the intended focus (Polit & Beck, 2012). Thus, the researcher should put a lot of thought into how to collect the most suitable data for content analysis. The strategy to ensure trustworthiness of content analysis starts by choosing the best data collection method to answer the research questions of interest. In most studies where content analysis is used, the collected data are unstructured (Elo & Kyngäs, 2008; Neuendorf, 2002; Sandelowski, 1995b), gathered by methods such as interviews, observations, diaries, other written documents, or a combination of different methods. However, depending on the aim of the study, the collected data may be open and semi-structured. If inductive content analysis is used, it is important that the data are as unstructured as possible (Dey, 1993; Neuendorf, 2002).

신뢰성trustworthiness의 관점에서 핵심 질문은 "사전 구성과 데이터 수집 방법의 관계는 무엇인가, 즉 연구자가 서술형 또는 반구조형 질문을 사용해야 하는가"이다. 오늘날 질적 내용분석은 면담 전사본과 같은 구두 데이터에 가장 자주 적용된다(Schreier, 2012). 서술적 데이터 수집을 하는 경우, 경험의 다양성을 통제하는 것이나, 면접관의 편향과 한 가지 유형의 정보 또는 분석적 관점의 특권을 방지하는 것은 종종 어려울 수 있다(Warr & Pyett, 1999). 예를 들어 "당신은 어떻게 자신을 돌볼 수 있는지 말씀해 주시겠습니까?"와 같은 서술형 질문을 사용할 때, 연구자는 데이터 수집의 목적을 고려하고 이를 위해 데이터를 추출하려고 노력해야 합니다. 다만 연구자가 반구조적 데이터 수집 방식을 선택할 경우 참여자의 답변을 지나치게 조종해 귀납적 데이터를 얻지 않도록 주의해야 한다. 면담 질문을 "비판적 참조 그룹critical reference group"과 연계하여 개발하는 것이 유용할 수 있다. 비판적 참조 그룹은 참여적 행동 연구에 사용되며 연구 및 평가가 주로 이익을 얻기 위한 그룹을 총칭하는 용어이다(Wadsworth, 1998). 면담질문을 이런 집단의 평가에 붙이는 것은 '올바른 방식으로 올바른 질문'을 함으로써 공부한 현상을 더 잘 이해할 수 있는 질문을 구성하는 데 도움이 될 수 있다.

From the perspective of trustworthiness, a key question is, “What is the relationship between prefiguration and the data collection method, that is, should the researcher use descriptive or semi-structured questions?” Nowadays, qualitative content analysis is most often applied to verbal data such as interview transcripts (Schreier, 2012). With descriptive data collection, it can often be challenging to control the diversity of experiences and prevent interviewer bias and the privileging of one type of information or analytical perspective (Warr & Pyett, 1999). For example, when using a descriptive question such as “Could you please tell me, how do you take care of yourself?” the researcher has to consider the aim of data collection and try to extract data for that purpose. However, if the researcher opts for a semi-structured data collection method, they should be careful not to steer the participant’s answers too much to obtain inductive data. It may be useful for the interview questions to be developed in association with a “critical reference group” (Pyett, 2003). Critical reference groups are used in participatory action research and is a generic term for those the research and evaluation is intended primarily to benefit (http://www.aral.com.au/ari/p-ywadsworth98.html" data-mce-href="https://journals.sagepub.com/doi/full/10.1177/2158244014522633#">Wadsworth, 1998). Subjecting the interview questions to evaluation by this kind of group may help to construct understandable questions that make better sense of the studied phenomenon by asking the “right questions in the right way.”

신뢰성credibility의 관점에서 연구자의 자기 인식은 필수적이다(Koch, 1994). 사전 면담은 면접 질문이 제안된 연구 질문에 답하는 풍부한 데이터를 얻는 데 적합한지 판단하는 데 도움이 될 수 있다. 예를 들어, "내가 참가자를 조작하거나 이끌었는가?", "너무 광범위하거나 구조적인 질문을 했는가?"와 같은 질문이 연구자 자신의 행동을 비판적으로 평가하기 위해 면밀하게 검토되어야 한다. 이러한 평가는 연구를 시작할 때 시작할 뿐만 아니라 콘텐츠 분석의 신뢰성을 보장하기 위해 지속적인 성찰이 뒷받침되어야 한다.
From the viewpoint of credibility, self-awareness of the researcher is essential (Koch, 1994). Pre-interviews may help to determine whether the interview questions are suitable for obtaining rich data that answer the proposed research questions. Interview tapes, videos, and transcribed text should be examined carefully to critically assess the researcher’s own actions For instance, questions should be asked such as “Did I manipulate or lead the participant?” and “Did I ask too broad or structured questions?” Such evaluation should not only begin at the start of the study but also be supported by continuous reflection to ensure the trustworthiness of content analysis.

데이터를 관리하기 위해서는 정량적 연구 못지않게 정성적 연구에서도 분석방법의 사전검사가 중요하다. 연역적 내용분석 접근 방식을 사용할 경우, 파일럿 단계에서 분류 매트릭스도 사전 테스트해야 한다(Schreier, 2012). 이것은 특히 두 명 이상의 연구원이 코딩에 관여할 때 필수적이다. 시험 코딩에서 연구자들은 독립적으로 새로 개발된 행렬의 코딩(Schreier, 2012)을 시도하고 행렬을 사용하는 데 있어 명백한 어려움과 그들이 다르게 해석한 코딩 단위를 논의한다(Schreier, 2012). 그들의 논의에 기초하여, 필요한 경우 분류 매트릭스가 수정된다.
To manage the data, pre-testing of the analysis method is as important in qualitative as in quantitative research. When using a deductive content analysis approach, the categorization matrix also needs to be pretested in a pilot phase (Schreier, 2012). This is essential, especially when two or more researchers are involved in the coding. In trial coding, researchers independently try out the coding of the newly developed matrix (Schreier, 2012) and then discuss any apparent difficulties in using the matrix (Kyngäs et. al., 2011) and the units of coding they have interpreted differently (Schreier, 2012). Based on their discussion, the categorization matrix is modified, if needed.

 

샘플링 전략
Sampling Strategy

표본 추출 전략의 관점에서 다음과 같은 질문을 하는 것이 필수적이다.

• 내 연구를 위한 가장 좋은 표본 추출 방법은 무엇인가요?
• 내 연구에 가장 적합한 정보원은 누구이며, 참가자를 선정할 때 어떤 기준을 사용해야 합니까?
• 제 샘플이 적절한가요?
• 내 데이터가 잘 포화되었습니까?

타당성 기준으로서의 철저성Thoroughness 은 [데이터의 적정성]을 나타내며, 건전한 샘플링과 포화에 의존하기도 한다(Whittemore, Chase, & Mandle, 2001). 정성 연구에 사용되는 샘플링 방법을 고려하는 것이 중요하다(Creswell, 2013). 우리의 연구에 따르면, 표본 추출 방법은 질적 내용 분석 연구에서 거의 언급되지 않는다. 질적 연구에서 표본 추출 전략은 보통 연구 결과의 일반화 필요성에 의해가 아니라 방법론과 주제에 기초하여 선택된다(Higginbottom, 2004). 질적 샘플링은 편의적, 목적적, 이론적, 선택적, 사례 내 및 눈덩이 샘플링을 포함한다. 그러나 표본은 적절해야 하며 연구 주제를 가장 잘 대표하거나 알고 있는 참가자로 구성되어야 한다.

From the viewpoint of sampling strategy, it is essential to ask questions such as the following:

• What is the best sampling method for my study?
• Who are the best informants for my study and what criteria to use for selecting the participants?
• Is my sample appropriate?
• Are my data well saturated?

Thoroughness as a criterion of validity refers to the adequacy of the data and also depends on sound sampling and saturation (Whittemore, Chase, & Mandle, 2001). It is important to consider the sampling method used in qualitative studies (Creswell, 2013). Based on our research, the sampling method is rarely mentioned in qualitative content analysis studies (Kyngäs et. al., 2011). In qualitative research, the sampling strategy is usually chosen based on the methodology and topic, and not by the need for generalizability of the findings (Higginbottom, 2004). Types of qualitative sampling include convenience, purposive, theoretical, selective, within-case and snowball sampling (Creswell, 2013; Higginbottom, 2004; Polit & Beck, 2012). However, the sample must be appropriate and comprise participants who best represent or have knowledge of the research topic.

내용분석 연구에서 가장 일반적으로 사용되는 방법은 목적적 샘플링이다. 의도적 샘플링은 연구자가 연구 주제에 관한 최고의 지식을 가진 정보 제공자에게 관심이 있는 질적 연구에 적합하다. 목적적 샘플링을 사용할 경우, 샘플링을 누가 또는 무엇이 샘플링되는지, 어떤 형태를 취해야 하는지, 그리고 얼마나 많은 사람이나 사이트를 샘플링해야 하는지에 대한 결정을 내려야 한다(Creswell, 2013). 그러나 목적적 표본 추출의 단점은 완전한 세부사항이 제공되지 않을 경우 독자가 표본 추출의 신뢰도를 판단하기 어려울 수 있다는 것이다. 연구자는 어떤 유형의 목적적 샘플링을 사용하는 것이 가장 적합한지 결정해야 하며(Creswell, 2013) 표본 추출 방법에 대한 간략한 설명이 제공되어야 한다.

The most commonly used method in content analysis studies is purposive sampling (Kyngäs, Elo, Pölkki, Kääriäinen, & Kanste, 2011): purposive sampling is suitable for qualitative studies where the researcher is interested in informants who have the best knowledge concerning the research topic. When using purposeful sampling, decisions need to be made about who or what is sampled, what form the sampling should take, and how many people or sites need to be sampled (Creswell, 2013). However, a disadvantage of purposive sampling is that it can be difficult for the reader to judge the trustworthiness of sampling if full details are not provided. The researcher needs to determine which type of purposeful sampling would be best to use (Creswell, 2013), and a brief description of the sampling method should be provided.

Dependability 데이터의 시간과 다른 조건에 따라 안정성을 말한다. 따라서 다른 맥락으로의 결과 전이가능성transferability을 평가할 수 있도록 [참가자를 선정할 때 사용하는 원칙과 기준을 명시]하고, [참가자의 주요 특성을 상세히 기술]하는 것이 중요하다. 곧, "동일하거나 유사한 참여자와 같은 맥락에서 조사 결과가 복제된다면 반복될 것인가"라는 것이 주된 질문이다. 신뢰성을 확립하기 위한 링컨과 구바의 1985년 기준에 따르면, 연구자들은 연구에 참여하는 사람들이 정확하게 식별되고 설명되도록 해야 한다. 신뢰할 수 있는 데이터를 수집하기 위해 다양한 연구에서 다른 샘플링 방법이 필요할 수 있다.
Dependability refers to the stability of data over time and under different conditions. Therefore, it is important to state the principles and criteria used to select participants and detail the participants’ main characteristics so that the transferability of the results to other contexts can be assessed (e.g., see Moretti et al., 2011). The main question is then, “Would the findings of an inquiry be repeated if it were replicated with the same or similar participants in the same context (Lincoln & Guba, 1985; Polit & Beck, 2012)?” According to Lincoln and Guba’s (1985) criteria for establishing credibility, researchers must ensure that those participating in research are identified and described accurately. To gather credible data, different sampling methods may be required in different studies.

내용물 분석 연구의 신뢰성credibility을 보장하기 위해 가장 [적절한 표본 크기]를 선택하는 것이 중요하다(Graneheim & Lundman, 2004). 표본이 적절한지 평가할 때 표본 크기에 대한 정보는 필수적이다. 최적의 표본은 연구의 목적, 연구 질문 및 데이터의 풍부함에 따라 달라지기 때문에 질적 연구에 일반적으로 허용되는 표본 크기는 없다. 질적 내용 분석에서는 연구 참가자의 동질성 또는 그룹 간에 예상되는 차이를 평가한다. 예를 들어, 주택 거주 노인의 웰빙과 부양적 신체환경 특성에 대한 연구는 상당히 이질적인 데이터를 생성할 가능성이 높으며 예를 들어 85세 이상의 노인이나 농촌에 거주하는 노인만 연구하는 것보다 더 많은 참여자가 필요할 수 있다.
Selection of the most appropriate sample size is important for ensuring the credibility of content analysis study (Graneheim & Lundman, 2004). Information on the sample size is essential when evaluating whether the sample is appropriate. There is no commonly accepted sample size for qualitative studies because the optimal sample depends on the purpose of the study, research questions, and richness of the data. In qualitative content analysis, the homogeneity of the study participants or differences expected between groups are evaluated (Burmeister, 2012; Sandelowski, 1995a). For example, a study on the well-being and the supportive physical environment characteristics of home-dwelling elderly is likely to generate fairly heterogeneous data and may need more participants than if restrictions are applied, for example, studying only elderly aged above 85 years or those living in rural areas.

데이터의 포화도가 최적의 표본 크기를 나타낼 수 있다고 제안되었다(Guthrie 등, 2004; Sandelowski, 1995a). 정의에 따라, 포화된 데이터는 범주 내 복제를 보장하며, 이는 다시 이해와 완전성을 검증하고 보장합니다. 데이터의 포화가 불완전하면 데이터 분석에 문제를 일으킬 수 있고 항목 간 연동을 방해할 수 있다(Cavanagh, 1997). 잘 포화된 데이터는 분류와 추상화를 용이하게 한다. 데이터가 최소한 사전 수집과 분석이 동시에 이뤄지면 포화 상태를 인지하기가 더 쉽다. 모든 데이터가 먼저 수집되고 나중에 분석되는 것이 일반적이다. 우리는 예를 들어 몇 번의 인터뷰 후에 예비 분석을 시작할 것을 권고한다. 포화도가 달성되지 않으면 데이터를 그룹화하고 개념을 만드는 것이 종종 어려워 완전한 분석을 방해하고 단순화된 결과를 생성한다(Harwood & Garry, 2003; Weber, 1990).

It has been suggested that saturation of data may indicate the optimal sample size (Guthrie et al., 2004; Sandelowski, 1995a). By definition, saturated data ensure replication in categories, which in turn verifies and ensures comprehension and completeness (Morse, Barrett, Mayan, Olson, & Spiers, 2002). If the saturation of data is incomplete, it may cause problems in data analysis and prevent items being linked together (Cavanagh, 1997). Well-saturated data facilitates its categorization and abstraction. It is easier to recognize when saturation is achieved if data are at least preliminarily collected and analyzed at the same time (Guthrie et al., 2004; Sandelowski, 1995a, 2001). It is common that all data are first collected and then analyzed later. We recommend that preliminary analysis should start, for example, after a few interviews. When saturation is not achieved, it is often difficult to group the data and create concepts (Elo & Kyngäs, 2008; Guthrie et al., 2004; Harwood & Garry, 2003), preventing a complete analysis and generating simplified results (Harwood & Garry, 2003; Weber, 1990).

 

적합한 분석 단위 선정
Selection of a Suitable Unit of Analysis

데이터 수집의 성공 여부는 [특정 연구 질문 및 연구 목적]과 관련하여 평가되어야 합니다. 준비 단계에는 [적절한 분석 단위 선정]도 수반되는데, 이는 내용분석의 신뢰성을 확보하는 데도 중요하다. 예를 들어, [의미 단위]는 글자, 단어, 페이지의 문장 부분 또는 단어가 될 수 있다(롭슨, 1993) 분석 단위가 너무 넓으면 관리가 어렵고 다양한 의미를 가질 수 있다. 의미 단위를 너무 좁히면 조각화될 수 있습니다. 가장 적합한 분석 단위는 [전체라고 보기에 충분히 크지만, 분석 과정 동안 관련 의미 단위가 될 수 있을 만큼 충분히 작은 것]이다. 분석 프로세스를 보고할 때 의미 단위를 충분히 기술하여 독자들이 분석의 신뢰도를 평가할 수 있도록 하는 것이 중요하다(Graaneheim & Lundman, 2004). 그러나 이전 과학 논문에서 분석 단위는 종종 부적절하게 설명되어 사용된 의미 단위가 얼마나 성공적이었는지 평가하기 어려웠다(Kyngás 등, 2011).
The success of data collection should be assessed in relation to the specific research questions and study aim. The preparation phase also involves the selection of a suitable unit of analysis, which is also important for ensuring the credibility of content analysis. The meaning unit can, for example, be a letter, word, sentence portion of pages, or words (Robson, 1993). Too broad a unit of analysis will be difficult to manage and may have various meanings. Too narrow a meaning unit may result in fragmentation. The most suitable unit of analysis will be sufficiently large to be considered as a whole but small enough to be a relevant meaning unit during the analysis process. It is important to fully describe the meaning unit when reporting the analysis process so that readers can evaluate the trustworthiness of the analysis (Graneheim & Lundman, 2004). However, in previous scientific articles, the unit of analysis has often been inadequately described, making it difficult to evaluate how successful was the meaning unit used (Kyngäs et al., 2011).

인식론, 문화, 정의, 권력: 의학 훈련을 위한 비-생물과학적 지식(Med Educ, 2017)
Epistemology, culture, justice and power: non-bioscientific knowledge for medical training
Ayelet Kuper,1,2,3 Paula Veinot,3 Jennifer Leavitt,4 Sarah Levitt,5 Amanda Li,3 Jeannette Goguen,3,6 Martin
Schreiber,3,6 Lisa Richardson1,3,7 & Cynthia R. Whitehead1,8,9

소개
Introduction

역량 프레임워크는 미래 및 현재 의사의 훈련과 평가를 안내하는 이상적인 방법으로 널리 받아들여지고 있다. 이러한 프레임워크는 국제적으로 개발, 적응 및 규제 권한이 주어졌다.1-8 의사 역량에 대한 가장 초기적이고 가장 영향력 있는 포괄적 정의 중 하나는 의사가 실천하기 위해 유능해야 하는 7가지 역할을 요약한 캐나다 CanMEDS 프레임워크이다. 이 프레임워크는 캐나다에서 상당한 규제 권한을 얻었으며 캐나다 왕립의과대학(RCPSC)에 의해 성문화되었으며, 캐나다 가정의과대학(CCFP)의 승인을 받았으며, 학부(의과대학) 및 대학원(거류지) 의료 교육의 인증 표준에 채택되었다. CanMEDS 의 역할은 전 세계적으로 채택되고 채택되어 현재 '세계에서 가장 널리 사용되는 역량 프레임워크 중 하나'를 나타내고 있다. 이들은 상당한 공개적, 전문적인 상담을 통해 개발되었으며, 따라서 현재 유능한 의사들의 사회적 기대를 대변하는 것으로 간주되고 있다. 따라서 의료 훈련에서 사회적 책임에 대한 현재 강조는 모든 7개의 캔메드 역할의 효과적인 교육을 지원하기 위해 적절한 내용을 의료 커리큘럼에 포함하는 것의 중요성을 더욱 강조한다.

Competency frameworks have become widely accepted as representing an ideal way to guide the training and assessment of future and current physicians. These frameworks have been developed, adapted and given regulatory power internationally.1-8 One of the earliest and most influential comprehensive definitions of physician competence is the Canadian CanMEDS framework, which outlines seven roles in which physicians must be competent in order to practise.1, 2 This framework has gained significant regulatory authority in Canada and has been codified by the Royal College of Physicians and Surgeons of Canada (RCPSC),1, 2, 9 endorsed by the Canadian College of Family Physicians (CCFP),10 and adopted in accreditation standards for both undergraduate (medical school) and postgraduate (residency) medical education. The CanMEDS roles have also been adopted and adapted worldwide, such that they now represent ‘one of the world's most widely used competency frameworks’.11 They were developed with significant public and professional consultation and are therefore currently seen as representing societal expectations of competent physicians.12-15 The current emphasis on social responsibility16, 17 in medical training thus further underscores the importance of including in medical curricula appropriate content to support the effective teaching of all seven CanMEDS roles.

CanMEDS 는 필요하긴 하지만 의사가 의료 전문가 역할에 포함되는 생물의학 지식과 기술력만을 보유하도록 훈련하는 것으로는 충분하지 않다는 것을 분명히 한다. 오히려 교육생들이 잘 협력하고 효과적으로 소통하며 개별 환자와 시스템 변화를 옹호하는 학문적이고 인정 많은 전문가가 되도록 해야 한다. 정의에 따르면, 그러한 역량은 단순히 타고난 개인적 자질이나 태도일 뿐만 아니라, 가르치고 그들의 습득을 평가할 수 있어야 한다. 그러나 한 세기 이상 동안 의학 교육은 의학을 생물의학과 동일시했고, 환자 치료를 위한 생명과학의 객관적인 사용으로서 그 실천을 구축했다. 의과대학과 레지던트 커리큘럼이 주로 생물과학 지식으로 구성되는 것과 같이 역사적으로 제한적으로 수용 가능한 커리큘럼 콘텐츠를 생각하고 아는 특권적인 방법들이다. 물론 의학계의 생체과학 지식 증가로 임상관리가 크게 개선됐지만, 많은 의학 교육자들은 현대 의학 교육과정이 생명과학만으로는 충분하지 못함을 강조해 왔다. 특히, 6개의 비의료 전문가(때로는 '내과적'11이라고도 함) CanMEDS 역할의 대다수는 생명과학이 아닌 사회과학 및 인문(SSH)에 기반을 두고 있기 때문에, 우리는 CanMEDS 가 주로 생체과학 지식으로 구성된 커리큘럼에서 적절하게 가르치고 평가되기를 기대할 수 없다.
CanMEDS makes clear that, although necessary, it is not sufficient to train physicians to possess only the biomedical knowledge and technical skills encompassed in the Medical Expert role. Rather, we must also ensure that trainees become scholarly, compassionate professionals who collaborate well, communicate effectively, and advocate for individual patients and systems change.1, 2 By definition, such competencies cannot merely be innate personal qualities or attitudes, but must be able to be taught and their acquisition assessed.18-20 Yet for over a century medical education equated medicine with biomedical science and constructed its practice as the objective use of bioscience for patient care.21-28 These particular privileged ways of thinking and knowing22-24, 28-31 historically limited acceptable curricular content28, 32-34 such that medical school and residency curricula continue to be comprised primarily of bioscientific knowledge. Although clinical care has, of course, greatly improved as a result of the medical community's ever-increasing bioscientific knowledge, many medical educators have highlighted the insufficiency of bioscience as the sole basis for contemporary medical curricula.21, 26, 35-40 In particular, as the majority of the six non-Medical Expert (sometimes called ‘Intrinsic’11) CanMEDS roles are based in the social sciences and humanities (SSH) rather than in bioscience,21 we cannot expect them to be taught and assessed adequately in a curriculum comprised primarily of bioscientific knowledge.

최근 출판물 및 보고서는 비의료 전문가 역할의 현재 교수 및 평가의 부적절성에 대한 의사의 인식을 강조하고 있다. 레지던트들과 그들의 프로그램 책임자들은 비의료 전문가 역할을 가르치기 위해 종종 사용되는 지나치게 단순화된 접근법에 대한 우려를 특히 확인했으며, 많은 임상의 교육자들은 이러한 역할을 지원하기 위해 무엇을 가르쳐야 하는지 모른다는 주장을 하고 있다. 이러한 격차를 해소하기 위해, 그리고 현재 역량 프레임워크의 내용 중 많은 부분에 대한 비생물학적 기반을 인식하여, 최근 의료 커리큘럼에 필요한 비생물학적 지식의 측면을 문서화하려는 여러 시도가 있었다. 이러한 노력은 필요한 지식 자체를 탐구하기 보다는 비생물학적 지식을 잘 이해해야 할 수 있는 교육 주제(예: 담배 사용, 가정 폭력, 생명 윤리)의 목록으로 이어졌다. CanMEDS 의 역할을 뒷받침하는 데 필요한 지식에 대한 철저한 이해는 아직 개발되지 않았다. 현재까지 CanMEDS 역량 프레임워크의 기초가 되는 비생물학적 지식에 대한 설명은 본 논문의 주요 저자가 2011년에 발표한 '사고 실험'으로서 문헌에 존재했다. 
Recent publications and reports have highlighted physician perceptions of the inadequacy of current teaching and assessment of all six non-Medical Expert roles.14, 41-45 Residents and their programme directors have especially identified concerns about overly simplistic approaches that are often employed to teach the non-Medical Expert roles,44, 46-50 and many clinician-educators claim simply not to know what to teach to support these roles. To address this gap, and in recognition of the non-bioscientific bases of much of the content of current competency frameworks, there have been several attempts recently to document aspects of necessary non-bioscientific knowledge for medical curricula. These efforts have led to the listing of curricular topics (e.g. tobacco use, domestic violence, bioethics) that might require non-bioscientific knowledge to be well understood,51-55 rather than exploring the necessary knowledge itself. A thorough understanding of the knowledge required to underpin the CanMEDS roles has not yet been developed; to date, the delineation of the non-bioscientific knowledge underlying the CanMEDS competency framework has existed in the literature only as a ‘thought experiment’ published in 2011 by the principal author of this paper.21

따라서 이 연구의 전반적인 프로그램의 목표는 CanMEDS 프레임워크로 대표되는 의사 역량에 대한 캐나다 사회적 기대를 충족시키는 의사를 훈련시키고 이러한 발견의 이행을 보급, 합법적, 번역, 구현 및 평가하기 위해 의료 커리큘럼에 필요한 지식을 식별하는 것이다. 본 논문에서, 우리는 다음의 연구 질문에 답하는 이 연구 프로그램의 1단계 결과를 제시한다. 여섯 가지 non-Medical Expert CanMEDS 역할에 완전히 역량을 갖춘 의사의 개발을 가장 잘 지원하기 위해 어떤 형태의 지식이 의료 커리큘럼에 포함되어야 하는가?

The goal of this overall programme of research is therefore to identify the knowledge needed in medical curricula to train physicians who meet Canadian societal expectations of physician competency, as represented by the CanMEDS framework, and to disseminate, legitimate, translate, implement and evaluate the implementation of those findings. In this paper, we present the results of Phase 1 of this research programme, in which we answer the following research question: What forms of knowledge beyond bioscience should be included in medical curricula to best support the development of physicians who are fully competent in the six non-Medical Expert CanMEDS roles?

방법들
Methods

CanMEDS 를 의료 역량 모델로 사용하여 SSH 내에서 생체 과학 외부의 광범위한 학문 분야의 전문가를 식별하여 각 비의료 전문가 CanMEDS 역할을 지원하기 위해 각 분야의 전문 지식을 구체적으로 식별하기 위해 의료 전문가를 제외한 모든 의사 역량 영역에서 작업했다. 우리는 CanMEDs 2005에서 설명한 역할을 사용했지만, 2015년에 있을 몇 가지 변화에 대해 점점 더 잘 알고 있었습니다(J R Frank, [전화로], 2011). 우리의 의도는 의료 커리큘럼에 추가하기 위해 전체 학문 SSH 과정을 만들지 않는 것이었다. 의학 교육자들이 역사적으로 의학 전문가 역할을 지원하기 위해 의료 커리큘럼에 통합된 물리 또는 화학의 측면을 식별한 것처럼, 우리는 SSH에서 의료 커리큘럼에 유사하게 통합될 경우 현재 정의된 역량있는 의사의 개발을 지원할 수 있는 요소를 식별하려고 했다. 참가자들에게 요약된 바와 같이, 이러한 요소에는 다음이 포함됩니다.

• 지식의 형태: 인식론적 토대57 및 권위에 대한 철학적 주장 
  
• 이론: 
  • 광범위한 사회적 힘에 대해 말하는, 보편적인 적용 가능성을 주장하는 거시적 수준의 이론들63; 
  • 특정 분야 또는 분야에서 사용되는 중범위 및 미시적 수준의 이론들,
  • 그리고 객관적 패러다임과 관련된 실증주의,
    
• 사실: 절대 진리의 객관적 개념 안에서 개념화된 사실들뿐만 아니라 특정 맥락 내에서 합의될 수 있는 사회적으로 구성된 사실들.68

Using CanMEDS as our model of medical competency, we identified experts in a wide range of academic disciplines outside bioscience – within the SSH – to work through all domains of physician competency except that of Medical Expert in order to concretely identify the knowledge from each of their area(s) of expertise to support each non-Medical Expert CanMEDS role. We used the roles as delineated in CanMEDS 2005,2 but we were also increasingly aware (J R Frank, personal communication [by telephone], 2011) of some of the changes that were to come in 2015.56 Our intention was not to create full disciplinary SSH courses to add to medical curricula. Much as medical educators have historically identified aspects of physics or chemistry that are integrated into medical curricula to support the Medical Expert role, we sought to identify those elements from the SSH that, if similarly integrated into medical curricula, would support the development of competent physicians as currently defined. As outlined to our participants, these elements included:

연구팀
Research team

우리 연구팀은 우리의 연구 질문과 관련된 몇 가지 관점을 대표합니다. SSH 분야의 석박사 학위를 가진 개업 의사가 주도하고 있으며, 대규모 의학부 내에서 임상 실습과 연구가 이루어진다. 연구팀의 다른 세 명의 구성원은 SSH 석사 학위를 가진 의사 교수진(보건 직업 교육 2명, 페미니스트 과학 연구 1명)이며, SSH 박사 학위를 가진 네 번째 의사 교수진은 상급 교육 및 리더십에서 근무했다. 교수진과 대학에서의 역할. 우리 팀원 중 3명이 의대생으로 더 참여하게 되었다. (한 명은 과학사 석사 과정을 밟았다.) 그들 모두 현재 상주 내과 의사이다. 저희 팀의 최종 인원은 건강 증진에 이력이 있는 건강 분야의 경험 많은 정성 연구자입니다. 임상의로서, 우리는 모두 환자와 그들의 가족과 공동체의 질병 상태뿐만 아니라 사회적 맥락과 개인의 필요를 해결하는 온정의료의 중요성에 대한 깊은 헌신을 공유한다; 연구자로서, 우리는 의료 훈련생들에게 지식과 기술을 확인하고 주입하기 위한 혁신적인 방법을 찾으려고 노력한다.이러한 훌륭한 보살핌을 제공해야 한다.
Our research team represents several points of view relevant to our research question. It is led by a practising physician with masters and doctoral degrees in SSH disciplines whose clinical practice and research take place within a large faculty of medicine. Three other members of the research team are physician faculty members with SSH masters degrees (two in health professions education, one in feminist science studies) who are heavily involved in medical education administration and curriculum design; a fourth physician faculty member with an SSH PhD has served in senior educational and leadership roles in both the faculty and the university. Three more of our team members became involved as medical students (one following a masters degree in the history of science); all of them are now resident physicians. The final member of our team is an experienced qualitative researcher in the health domain with a background in health promotion. As clinicians, we all share a deep commitment to the importance of compassionate medical care that addresses the social contexts and individual needs, as well as the disease states, of our patients and their families and communities; as researchers, we try to find innovative ways to identify and to instil in medical trainees the knowledge and skills required to provide such excellent care.

샘플링 전략
Sampling strategy

우리는 (대학 웹사이트 및 기관 데이터베이스 부여를 통해) 지역 대학 교수진에 대한 목적적 샘플링을 사용하여 다음과 같은 초기 참가자를 식별했다.

• (i) non-Medical Expert CanMEDS 역할과 잠재적으로 관련이 있다고 간주된 광범위한 SSH 분야 중 하나에 대한 공식적인 전문 지식(즉, PhD 또는 동등한 말단 학위) 
  
• (ii) 의료, 기타 보건 직업 또는 건강과 질병의 다른 측면에 대한 학문적 관심 

We identified initial participants using purposive sampling (through university websites and granting agency databases) for local university faculty members with:

• (i) formal expertise (i.e. a PhD or equivalent terminal degree) in one of a broad range of SSH disciplines we considered to be potentially relevant to the non-Medical Expert CanMEDS roles, as well as
• (ii) an academic interest in medicine, other health professions, or other aspects of health and disease.

SSH 전문가들 중 일부는 건강 직업 교육을 연구했지만, 대부분은 건강, 질병, 질병, 장애, 건강 관리 시스템 또는 건강 직업을 연구했다. 우리 스스로 임상의로서 우리는 SSH에서 광범위한 대학원 교육을 받았지만 그럼에도 불구하고 의학계의 지배적인 의학 교육에 대한 견해에 익숙해졌다는 사실을 유념했다. 따라서 임상의사가 작성한 많은 기존 의료 커리큘럼에 대한 논문을 보완하기 위해 커리큘럼에 대한 새로운 아이디어를 도출할 뿐만 아니라 허용 가능한 의료 커리큘럼과 의료 지식의 한계에 대한 임상의 선입견을 피하기 위해 임상 교육을 받은 참가자를 제외했다. 

Some of these SSH experts studied health professions education, but most studied health, illness, disease, disability, the health care system or the health professions. As clinicians ourselves, we were mindful of the fact that although many of us have extensive graduate training in the SSH, we had nonetheless all been acculturated into the medical community's dominant views of medical education. We therefore excluded participants with clinical training in order to avoid such clinician preconceptions about the limits of the acceptable medical curriculum and medical knowledge, as well as to elicit fresh ideas about the curriculum in order to complement the many existing papers on medical curricula written by clinicians.

비록 우리는 잠재적으로 관련이 있는 학문(사회학, 인류학, 역사학, 정치학, 경제학, 철학, 윤리, 교육, 심리학, 수사학, 언어학, 문학 연구, 종교, 고전, 음악, 드라마)의 초기 목록을 만들고 의도적으로 개인들을 찾아내는 것에서 시작했다. 그런 다음 눈덩이 샘플링을 통해 이 초기 목록을 확장했다(추가 참가자를 찾기 위해 초기 참가자의 조회에 의존하는 비확률적 방법). 수집된 관점의 편차를 극대화하고 의료 교육과 관련된 분야에 대한 우리의 가정에 대해 완화할 수 있도록 훈련 분야와 특정 개인 모두에 대한 것이다. 우리는 단일 분야 내에서 다양한 의견을 수렴하고, 주요 분야의 다양한 목소리를 보장하며, 여러 기관의 다양한 연구 영역에서 전문 지식을 활용하기 위해 여러 지역 대학에서 참가자를 모집하는 것으로 시작했다. 우리는 궁극적으로 우리 지역 내에 더 멀리 있는 여러 대학을 포함하도록 표본을 확장했다.

Although we began with an initial list of potentially relevant disciplines (sociology, anthropology, history, political science, economics, philosophy, ethics, education, psychology, rhetoric, linguistics, literary studies, religion, classics, music and drama) and purposively identified individuals, we then expanded this initial list by snowball sampling (a non-probability method that relies on referrals from initial participants to find additional ones69-71) both for disciplines and for specific individuals in order to maximise variation in the perspectives gathered and to mitigate against our own assumptions about disciplines relevant to medical education. We began by recruiting participants from multiple local universities in order to gather a range of opinions within single disciplines, to ensure multiple voices from key disciplines, and to take advantage of pockets of expertise in different research areas at different institutions; we ultimately extended our sampling to include several universities further afield within our region.

데이터 수집
Data collection

우리는 데이터 수집 프로세스 초기에 55개의 반구조적 인터뷰와 1개의 소규모 포커스 그룹을 수행했다. 첫째, 참가자들이 거의 중앙 위치에 올 수 없었고, 둘째, 포커스 그룹은 동일한 수의 참가자들과의 개별 인터뷰보다 더 적은 정보를 생성했기 때문에 우리는 추가 포커스 그룹을 수행하지 않았다. 전체적으로, 개인들은 우리의 포커스 그룹에 인터뷰하거나 참여했습니다. 참가자들은 인터뷰에 앞서 CanMEDs 의사 역량 프레임워크가 포함된 정보 패키지를 받았는데, 이는 의료 교육에서 CanMEDs 역할의 역사, 정의 및 현재 용도를 설명하는 프로젝트 팀이 작성한 문서, 그리고 그 연구의 수석 조사관이 우리의 연구 프로젝트의 목표를 요약한 기사가 담겨 있다. 우리는 참가자가 선택한 장소 또는 전화로 인터뷰를 진행했습니다. 우리는 참가자들의 허락을 받아 모든 인터뷰를 녹음했습니다.

We conducted 55 semi-structured interviews72-75 plus one small focus group76, 77 early in the data-gathering process. We conducted no additional focus groups because, firstly, participants were rarely available to come to a central location and, secondly, the focus group generated less information than individual interviews with the same number of participants. In total, 58 individuals were either interviewed or participated in our focus group. Participants received an information package in advance of the interview containing the CanMEDS Physician Competency Framework,1 a shorter document written by the project team describing the history, definitions and current uses of the CanMEDS roles in medical education, and a published article by the principal investigator of the study outlining the goals of our research project.21 We conducted interviews at a location of the participant's choosing or by telephone. We audio-recorded all interviews with the permission of participants.

각 인터뷰는 질적 연구 방법에 대해 스스로 훈련받은 의대생이나 질적 연구에 경험이 있는 연구 보조원이 CanMEDS 의 역할에 대해 직접 가르치며 진행했다. 각 인터뷰 동안, 인터뷰 진행자는 참가자에게 비의료 전문가 역할을 설명한 다음, 반구조적인 인터뷰 가이드를 사용하여 각 역할에 대한 철저한 이해를 뒷받침하는 학문적 전문지식 영역의 지식, 이론 및 사실 형태에 대한 토론에 인터뷰 대상자를 참여시켰다. 우리는 또한 참가자들에게 그들이 우리와 공유하고 있는 자료와 관련된 유용한 커리큘럼 자료, 텍스트 및 교육학적 기술을 식별하도록 요청했다. 우리는 동시 분석을 바탕으로 연구 내내 인터뷰 가이드를 반복적으로 조정했습니다. 우리 스스로 또는 눈덩이 샘플링을 통해 식별된 모든 관점이 적절히 표현되고 주제적 포화가 달성될 때까지 인터뷰는 계속되었다.

Each interview was conducted either by a medical student trained by ourselves in qualitative research methods or by a research assistant experienced in qualitative research and taught by ourselves about the CanMEDS roles. During each interview, the interviewer described each non-Medical Expert role to the participant and then, using a semi-structured interview guide, engaged the interviewee in a discussion of the forms of knowledge, theories and facts from his or her area(s) of academic expertise that would underpin a thorough understanding of each role. We also asked participants to identify any useful curricular resources, texts and pedagogical techniques relevant to the material they were sharing with us. We iteratively adjusted the interview guide throughout the study based on our concurrent analysis. Interviewing continued until all the perspectives identified by ourselves or through snowball sampling had been adequately represented and thematic saturation70, 78, 79 had been achieved.

분석.
Analysis

한 연구원은 각 인터뷰의 오디오테이프를 듣고 연구 참가자가 제안한 비생물학적 형태의 지식, 이론, 사실이 포함된 인터뷰 부분을 각 non-Medical Expert CanMEDS 역할에 따라 옮겨 적었습니다. 우리는 의미 응축과 직접 인용을 사용하여 대본을 추가로 추출하여 약 300페이지의 관련 데이터를 산출했다. 우리는 데이터를 정리하기 위해 이 추상화된 스크립트를 nvivo Version 10.0(QSR International Pty Ltd, 멜버른, Vic, Australia)에 업로드했습니다. 우리는 데이터 수집과 동시에 하향식(CanMEDs 역할에 의한) 및 상향식(구조주의 비판적 프레임워크 내에서) 접근 방식을 사용하여 데이터를 코드화했으며, 데이터 수집이 진행됨에 따라 상향식 주제별 코딩 구조를 지속적으로 수정하고 이전 스크립트로 반복적으로 돌아왔다. 우리가 포화 상태에 도달했다고 생각했을 때(샘플에 포함할 분야에 대한 눈덩이 샘플링을 모두 소진하고 캔 MED 역할 또는 주제 부호화 구조와 관련하여 참가자들로부터 더 이상 새로운 개념을 도출하지 않았을 때), 광범위한 학문적 경험을 가진 두 명의 연구 팀 구성원(AK, CW)은SSH와 건강 영역(PV)의 경험 많은 정성 연구원이 분석을 전면 검토했다. 우리는 확립된 범주에 도전하고 참가자들, CanMEDS 역할 및 테마에 걸쳐 데이터를 비교했다. 

• (i) 데이터의 개념 모델을 공식화한다. 
  
• (ii) 실제로 포화 상태에 도달했는지 확인한다. 
  
• (iii) 상향식 주제 간 및 이러한 주제와 CanMEDS 의 역할 간 관계를 설정한다.

One researcher listened to the audiotape of each interview and transcribed the sections of that interview that contained the non-bioscientific forms of knowledge, theories and facts suggested by the research participant for each non-Medical Expert CanMEDS role. We further abstracted the transcripts using meaning condensation and direct quotations, resulting in approximately 300 pages of relevant data. We uploaded these abstracted transcripts into nvivo Version 10.0 (QSR International Pty Ltd, Melbourne, Vic, Australia) in order to organise the data. We coded the data using both top-down (by CanMEDS role) and bottom-up (thematically within a constructivist critical framework) approaches concurrently with data collection, constantly revising our bottom-up thematic coding structure as data collection progressed, as well as returning iteratively to earlier transcripts. When we thought we had reached saturation (when we had exhausted our snowball sampling for disciplines to include in our sample and were no longer eliciting novel concepts from our participants in relation to either the CanMEDS roles or our thematic coding structure), two members of the research team (AK, CW) who are MDs with extensive academic training in SSH, as well as an experienced qualitative researcher in the health domain (PV), reviewed the analysis in full; we challenged established categories and compared data across participants, across CanMEDS roles and across themes to:

• (i) formulate a conceptual model of the data;
• (ii) ascertain that we had indeed reached saturation, and
• (iii) establish relationships among bottom-up themes and between these themes and the CanMEDS roles.

분석을 통해 데이터 수집 프로세스가 마무리되었음을 확인한 후, 데이터로부터 예비 기밀 보고서를 작성하고 두 그룹과 공유했다. 

• (i) 최종 공식 입력(연구 과정에 대한 지속적인 참여에 더하여)을 위한 전체 연구 팀(의대생 및 SSH 대학원 교육을 받은 의사) 
  
• (ii) 회원 확인에 자원한 인터뷰 참가자 58명 중 18명(우리가 그들의 생각을 정확하게 표현했는지, 그들이 우리의 보고서에 '자신의 목소리를 낼 수 있는지' 확인하기 위해) 

이 두 그룹의 피드백은 보고서의 사소한 수정(주로 캐나다 원주민 보건과 관련된 올바른 명명법을 명확히 하고 다양한 SSH 용어의 정의를 추가)을 필요로 했다.

Once we had confirmed through our analysis that we had concluded our data-gathering process, we created a preliminary confidential report from our data that was shared with two groups:

• (i) the full research team (medical students and physicians with interest or graduate training in SSH) for their final formal input (in addition to their ongoing involvement over the course of the study), and
• (ii) 18 of our original 58 interview participants who volunteered to take part in member checking80 (to ascertain that we had accurately represented their ideas and they could ‘hear their own voices’ in our report).

The written feedback from these two groups necessitated only minor modifications to the report (primarily clarifying correct nomenclature related to Canadian Aboriginal health and adding definitions of various SSH terms).

수정된 예비 기밀 보고서는 SSH Phds를 가진 서로 다른 보건 직업의 7명의 임상의에 의해 검토되었으며, 연구 결과를 구현할 가능성이 가장 높은 커뮤니티 내에서 구성원 검사를 받을 수 있도록 허용되었다. 이는 우리의 연구팀의 보고서 이외의 임상의의 목소리를 분석에 추가했다. 다시 한번 말하지만, 이전에 연구에 참여하지 않았던 이 마지막 그룹의 서면 피드백은 보고서에 사소한 수정(다양한 용어의 정의를 더 명확히 하고 지분성 및 반사성과 같은 개념의 중요성에 더 중점을 두는 등)만을 필요로 했다.

The modified preliminary confidential report was then reviewed by seven clinicians from different health professions (including medicine) with SSH PhDs in order to allow it to be member-checked within the community most likely to implement its findings; this added further clinician voices to our analysis beyond those of our research team. Again, written feedback from this last group, the members of which were not previously involved in our study, necessitated only minor modifications to the report (such as further clarifying definitions of various terms and adding more emphasis to the importance of concepts such as equity and reflexivity).

윤리
Ethics

이 프로젝트는 캐나다 Tri-Council 정책 성명 2.1조에 따라 토론토 대학의 연구 윤리 사무소에서 윤리 승인 요건을 면제받았다. 인간을 포함하는 연구를 위한 윤리적 행동, 즉 '어떤 경우에는, 연구는 정보를 얻기 위해 연구의 초점이 아닌 개인들과의 상호작용을 포함할 수 있다. […] 이러한 개인은 본 정책의 목적을 위한 참가자로 간주되지 않는다.'81 그럼에도 불구하고 우리는 모든 연구 참가자에게 서면 사전 동의를 구했고 이를 받았다. 최종 간행물에서 인정을 받고자 하는 참가자는 본 문서의 승인 섹션에 나열되어 있습니다.
This project was formally exempted from requirements for ethics approval by the University of Toronto's Research Ethics Office under Article 2.1 of the Canadian Tri-Council Policy Statement: Ethical Conduct for Research Involving Humans, which states, in part: ‘In some cases, research may involve interaction with individuals who are not themselves the focus of the research in order to obtain information. […] Such individuals are not considered participants for the purposes of this Policy.’81 We nonetheless sought and received written informed consent from all study participants. Those participants who wished to be acknowledged in our final publication are listed in the Acknowledgements section of this paper.

결과.
Results

비의료 전문가 CANMED 역할과 관련된 여러 SSH 분야
Multiple SSH disciplines relevant to non-Medical Expert CanMEDS roles

처음에 non-Medical Expert CanMEDS 역할과 관련된 지식을 포함할 가능성이 높은 분야(예: 보건 사회학, 의료 역사, 중요 장애 연구)에 전문 지식을 보유한 24명 이상의 지역 SSH 연구자를 식별했다. 그 후, 우리의 참가자들은 (우리가 처음에 고려하지 않았던) 다른 관련 전문 분야와 다양한 분야의 포함 기준에 맞는 (그리고 눈덩이 샘플의 일부로 접촉한) 우리 시와 지역 내 대학의 다른 SSH 연구원의 긴 목록을 식별할 수 있었다. 58명의 참가자들이 근무하고 있는 대학과 그들의 학문 전문 분야는 표 1에 제시되어 있다.

We initially identified more than two dozen local SSH researchers who had expertise in disciplines (e.g. sociology of health, history of medicine, critical disability studies) that were a priori likely to encompass knowledge relevant to the non-Medical Expert CanMEDS roles. Our participants were then able to identify other relevant areas of expertise (some of which we had not initially considered), as well as a long list of names of other SSH researchers at universities within our city and region who fit our inclusion criteria in various disciplines (and whom we contacted as part of our snowball sample). The universities at which our 58 participants work and their areas of academic expertise are listed in Table 1.

비의료 전문가 캔메이드 역할과 관련된 SSH의 통합 지식 개념 모델
Integrated conceptual model of knowledge from the SSH relevant to non-Medical Expert CanMEDS roles

우리는 non-Medical Expert CanMEDS역할을 뒷받침하는 SSH의 지식의 통합 개념 모델을 형성하는 12개의 상호 관련 테마를 데이터에서 식별했다. 이 주제들은 학문분야 범위를 넘나들었고 여러 개의 대화록으로 잘 표현되었다. 이러한 주제들 중에서, [(사회적 지식의 구성된 본질과 다양한 패러다임에서 지식이 어떻게 생산되는지를 포함한) 지식의 본질(인식론)]에 대한 이해는 다른 주제들이 적절하게 가르쳐지거나 이해될 수 없는 기초적인 교육적 요소로 여겨졌다. 나머지 11개 테마 중, 우리의 연구 결과는 상호 연관된 세 가지 앵커링 테마를 강조했다. 문화, 정의, 권력. 이러한 앵커링 테마는 CanMEDS의 모든 역할에 다양한 정도로 필수적이며, 또한 모두 나머지 8개의 교차 주제, 즉 미래의 의사가 세상과 (다른 사람과 관련된 대상) 그리고 자신(개인에게 적용되는 측면)과의 관계에 대한 일련의 풍부한 콘텐츠 영역과 연결된다. 이 모든 주제와 그 사이의 관계는 그림 1에 나타나 있다. 인식론, 문화, 정의, 권력이라는 근본적이고 앵커링된 주제에 좀 더 폭넓게 초점을 맞추고 나머지 8개 주제에 대해서는 간략히 짚어보는 등 각 주제를 차례로 다룰 예정이다. 이러한 각 주제는 온라인 부록 S1에 훨씬 더 자세히 설명되어 있다.

We identified 12 interrelated themes in our data that form an integrated conceptual model of the knowledge from the SSH that underpins the non-Medical Expert CanMEDS roles. These themes cut across disciplinary lines and were well represented in multiple transcripts. Of these themes, an understanding of the nature of knowledge (Epistemology), including the constructed nature of social knowledge and how knowledge is produced in various paradigms, was seen as the foundational curricular component without which the other themes could not be appropriately taught or understood. Among the remaining 11 themes, our findings highlighted three interrelated anchoring themes: Culture, Justice and Power. These anchoring themes are essential to all of the CanMEDS roles to varying degrees; they also all link in turn to each of the remaining eight cross-cutting themes, a series of rich content areas about the future physician's relationships to the world (aspects related to others) and to the self (facets applying to the individual him/herself). All of these themes, and the relationships between them, are represented in Fig. 1. We will address each theme in turn, focusing more extensively on the foundational and anchoring themes of Epistemology, Culture, Justice and Power, and touching briefly on the remaining eight themes. Each of these themes is also described in much greater detail in Appendix S1, online.

인식론은 지식의 본질과 범위를 가리킨다. 지식이란 무엇이며, 어떻게 습득할 수 있는지, 주어진 주제나 실체가 어느 정도까지 알 수 있는지에 대해 질문한다. 교차된 주제로서의 인식론은 사실상 모든 인터뷰 대상자에 의해 확인되었다. 구성주의에 상당한 강조가 있었다: 하나의 고정된 진리는 없고 현실에 대한 우리의 인식은 우리의 역사적, 사회적, 경제적, 문화적, 성별, 계급적 위치에 기초하여 구성된다는 개념이다. 이 주제는 지식이 무엇인지, 다양한 형태의 지식에 대한 한계, 아는 사람이 제거될 수 없는 특정 사회, 역사, 문화적 맥락에서 지식이 어떻게 창조되는지에 대한 이해를 포함한다. 우리의 데이터에서, 이 주제 내에서 중요한 초점 영역은 다음을 포함한다: 

• 객관성과 주관성 사이의 긴장, 
• 증거로서의 '무엇'이 중요한지에 대한 질문,
• 경험적 지식의 한계,
• 다른 직업에서 아는 방법,
• 특히 환자들 사이에서 지식의 내러티브 형태,
• 건강 지식을 정의하는 데 있어 문화와 위치의 역할

Epistemology refers to the nature and scope of knowledge. It questions what knowledge is and how it can be acquired, and the extent to which any given subject or entity can be known. Epistemology as a cross-cutting theme was identified by virtually all interviewees. There was considerable emphasis on constructivism: the notion that there is no single fixed truth but that our perceptions of reality are constructed based on our historical, social, economic, cultural, gender and class locations. This theme includes understanding of what knowledge is, the limitations of different forms of knowledge, and how knowledge is created in certain social, historical and cultural contexts from which the knower cannot be removed and which affect what he or she is able to perceive and how he or she interprets phenomena. In our data, prominent areas of focus within this theme include:

• the tension between objectivity and subjectivity;
• the question of what ‘counts’ as evidence (what is privileged, included or excluded);
• limits to empirical knowledge;
• ways of knowing in other professions;
• narrative forms of knowledge, particularly among patients, and
• the roles of culture and location in defining health knowledge.

문화는 특정 집단의 공유된 행동, 이상, 가치, 신념으로 정의될 수 있다. 이것은 타당하다고 여겨지게 된 기본적인 가정들의 패턴이며, 새로운 그룹 구성원들에게 느끼고 지각하고 행동하는 방법으로 암시적으로 가르쳐진다. 의학은 그 자체로 하나의 문화이다(표 2의 의학적 정체성/문화 참조). 참가자들은 의학 문화가 사회의 만연하고 체계적인 사회적 불평등에 어떻게 기여할 수 있는지를 의대생들에게 조명하는 것이 도움이 될 것이라고 제안했다. 그러나 문화는 건강 결과에 직간접적인 영향을 미치는 건강의 사회적 결정 요인이기도 하다. 문화가 건강에 미치는 영향, 개인의 건강 관리에 접근하는 능력, 그리고 건강에 대한 개인의 신념뿐만 아니라 문화적 차이에 대한 인식과 존중을 명시적으로 함양하고 존중하기 위한 의료 커리큘럼의 필요성에 대한 강한 지지가 있었다. 이러한 점에서 다른 문화에 대한 가정, 즉 명시적이고 암묵적인 편견에 대한 반사적인 인식은 매우 중요한 것으로 느껴졌다. 문화적 역량, 문화적 겸손, 문화적 안전의 연계된 개념도 이러한 맥락에서 강조되었다. 성공적인 의사소통 및 환자와 의사 관계와의 관련성은 특히 강조되었다. 마침내, 문화적 헤게모니, 또는 지배의 개념은 다른 직업에 대한 의학의 전통적인 지배와 식민지화의 매개체로서의 지속적인 레거시과 관련된 많은 참여자들에 의해 제기되었다. 이는 캐나다 원주민 공동체와 관련하여 특히 중요하지만 다른 소수민족 집단에게 돌봄을 전달하는 의미도 내포하고 있다.

Culture can be defined as the shared behaviours, ideals, values and beliefs of a particular group. It is a pattern of basic assumptions that have come to be considered valid and are implicitly taught to new group members as ways to feel, perceive and behave. Medicine is itself a culture (see also Medical identity/Culture in Table 2); participants suggested it would be helpful to illuminate for medical students how medical culture can contribute to their society's pervasive, systematic social inequities. However, culture is also a social determinant of health with direct and indirect effects on health outcomes. There was strong support of the need for medical curricula to explicitly foster awareness of, and respect for, cultural differences, as well as knowledge of the impact of culture on health, on an individual's ability to access health care, and on an individual's beliefs about health. A reflexive awareness of one's assumptions about other cultures – of one's explicit and implicit biases – was felt to be critical in this regard. The linked concepts of cultural competence, cultural humility and cultural safety were also highlighted in this context; their relevance to successful communication and to the patient–physician relationship was particularly emphasised. Finally, the concept of cultural hegemony, or dominance, was raised by many participants, relating both to medicine's traditional dominance over other professions and to its ongoing legacy of use as an agent of colonisation, which is particularly significant in Canada in relation to Aboriginal communities but also has implications for the delivery of care to other minoritised groups.

우리의 참여자들은 두 가지 상호 연계된 방식으로 정의를 논의하였다.

• (i) 공정성과 형평성과 같은 개념을 언급했던 도덕성, 법률, 직업윤리, 
  
• (ii) 사회 정의. 

'도덕성'으로서 정의의 범위 내의 쟁점들은 다음을 포함한다.

• 행동 강령 및 기타 규정된 윤리 행동 규칙
  
• 전문직업성에 대한 사회계약 관점
  
• 정직, 공감, 진실성과 같은 원칙을 통합한 윤리적 상상력의 개발
  
• 특정 집단이 다른 집단에 대해 특혜를 주는 도덕적 기준을 인식하고 의문을 제기할 수 있는 능력
  
• 환자와 신체로부터 파생된 지식의 적절한 소유권을 포함한 연구 윤리의 이해, 그리고
  
• 연구 및 임상 실무에서 산업계의 영향력을 인정

Justice was discussed by our participants in two interlinked ways:

• (i) as morality, law and professional ethics, which referred to concepts like fairness and equity, and
• (ii) as social justice. 

Issues within the purview of justice as morality included:

• codes of conduct and other prescribed rules of ethical behaviours;
• the social contract view of professionalism;
• the development of an ethical imagination that incorporates principles such as honesty, empathy and integrity;
• the ability to recognise and question moral standards that privilege certain groups over others;
• an understanding of research ethics, including the appropriate ownership of knowledge that is derived from patients and their bodies, and
• a recognition of industry influence in research and clinical practice.

다양한 윤리적 틀이 논의되었다. 절차적 정의(예: 자원의 분배에 관한 의사결정 과정의 공정성)와 분배적 정의(예: 자원의 실제 분배의 공정성)의 구별과 같은 것이다. 또한 응용 철학(예: 결과적 추론 대 원리 기반 추론)이기도 했다. 교육생들에게 윤리적 문제를 토론할 수 있는 보다 강력한 언어를 제공하기 위한 방법으로 몇 가지 도덕 이론(예: 공리주의, 페미니스트 윤리, 가치 윤리)도 제안되었다.

A variety of ethical frameworks were discussed, such as the distinction between procedural justice (e.g. fairness in the decision-making process regarding the distribution of resources) and distributive justice (e.g. fairness in the actual distribution of resources), as was applied philosophy (e.g. consequential reasoning versus principle-based reasoning). Several moral theories (e.g. utilitarianism, feminist ethics, value ethics) were also suggested as ways to provide trainees with more robust language with which to be able to discuss ethical issues.

정의의 두 번째 측면인 사회정의는 모든 사람들의 이익을 위한 사회의 사회적 경제적 자원의 분배로 정의될 수 있다. 이 영역 내에서 참가자들은 정의와 권력의 관계(의사가 사회적 변화를 옹호하기 위해 자신의 영향력과 권한을 사용할 수 있다는 개념 포함)와 계층과 건강 사이의 연관성을 강조했다. 정의와 경제적 원동력 사이의 긴장감은 [효율성과 비용 효과성]이나, [개별 환자를 옹호하고 사회 전반의 자원을 보존해야 하는 의사의 책임 사이]의 double-agency conflict을 지적했다. 참여자들은 또한 사회 정의를 다양성과 연결시켜 일부 환자들이 다른 환자들보다 의료 및 기타 서비스에 접근하는 데 더 많은 장벽을 경험한다고 지적하고, 그러한 사회적 불이익이 여러 소수자 집단에 속한 개인들에게 복합적으로 작용했다고 강조했다.
The second aspect of Justice, social justice, can be defined as the distribution of a society's social and economic resources for the benefit of all people.82 Within this area, participants highlighted the relationship between justice and power (including the notion that physicians might use their influence and authority to advocate for social change) and the link between class and health. They pointed out the tension between justice and economic drivers such as efficiency and cost-effectiveness, as well as the related double-agency conflict between a physician's responsibilities to advocate for individual patients and to preserve the resources of society at large. Participants also linked social justice to diversity, pointing out that some patients experience more barriers to accessing health care and other services than others, and emphasising that such social disadvantage was compounded for individuals belonging to multiple minoritised groups.

권력은 개인, 집단 또는 기관의 신념, 행동, 가치에 영향을 미치거나 통제하는 것으로 정의되며, 데이터 내에서 세 번째 고정 주제였다. 우리의 참가자들은 건강 관리의 네 가지 특정 측면과 관련된 힘의 문제를 분명히 밝혔다. 

• (i) 환자와 의사 사이의 관계 
  
• (ii) 의사와 다른 보건 전문가 간의 관계 
  
• (iii) 의료 시스템 내의 제도적 계층 구조 
  
• (iv) 국가와 사법 시스템을 포함한 법률 및 정책 환경 
  
  

Power, which can be defined as having influence or control over the beliefs, behaviours and values of individuals, groups or institutions, was the third anchoring theme within our data. Our participants articulated issues of power related to four specific aspects of health care:

• (i) relationships between patients and physicians;
• (ii) relationships between physicians and other health professionals;
• (iii) institutional hierarchies within the health care system, and
• (iv) legal and policy environments including the state and the judicial system.

환자-의사 관계의 관점에서 참가자들은 지식과 언어, 비언어적 의사소통 형태에 내재된 힘뿐만 아니라 신뢰, 관계, 기관 및 공유된 의사 결정의 문제를 포함하여 환자와 의사 사이의 권력 차이의 여러 측면에 크게 초점을 맞췄다. 이들은 의사가 자신의 권한을 인정하고 책임질 필요가 있다고 지적했다. 그리고 그렇게 하기 위해서는 계층, 성별, 민족성 및 기타 차이점 원천과 같은 개인과 그룹 간의 권력 차이에 inform하는 사회적 구조에 대한 이해가 필요하다. (차이/이중값, 표 2 및 부록 S1 참조). 참가자들은 또한 의사와 의사가 아닌 동료들 사이의 권력 역학에 대해 토론하며, 의사가 다른 건강 전문가에 비해 갖는 권위의식과 훈련 중 사회화되는 권위의식을 지적했다.

In terms of the patient–physician relationship, participants focused heavily on multiple aspects of the power differential between patients and their physicians, including the power inherent in knowledge, in language, and in non-verbal forms of communication, as well as issues of trust, rapport, agency, and shared decision making. They pointed out that physicians need to acknowledge and take responsibility for their own authority and that, in order to do so, they need to have an understanding of the social constructs that inform variations in power among individuals and groups, such as class, gender, ethnicity and other sources of difference (see also Difference/Binaries, Table 2 and Appendix S1). Participants also discussed the power dynamics between physicians and their non-physician colleagues, pointing to the traditional position of power held by physicians over other health professionals and to the sense of authority to which they are socialised during their training.

개인과 그룹 간의 상호작용에 대한 논평 외에도, 참가자들은 병원, 의료 시스템 전체 및 국가와 같은 기관과 관련하여 '권력'을 개념화했다. 국가가 의사들에게 부여한 정당성의 한 형태인 의료계의 자율성에 대한 개념은 많은 참석자들에 의해 논의되었다. 그들은 의사들이 의료 시스템의 문지기이자 합법적인 질병과 치료의 정의의 중재자로서 엄청난 권한을 부여받았으며, 이러한 권한과 자원에 대한 접근은 의사들이 그들의 힘을 (변화를 옹호하는 것을 포함하여) 공공의 이익을 위해 긍정적으로 활용할 책임을 부여한다고 설명했다. 그들은 이 권력의 역사적 뿌리와 진화는 환자 기대, 의료 전문가의 실천 범위, 자본주의 경제에서 의료 자금 지원 조직의 변화라는 맥락에서 주목했다. 그들은 의사들이 국가에 대한 그들의 권력에 대해 인식하고 그들의 일을 형성하기 위해 의학의 정치적 차원에 대한 지식을 사용할 필요가 있다고 강조했다. 따라서 그들은 의대생들에게 공공 정책의 기초, 정책 변화의 과정, 그리고 그들의 관할 구역에서 입법 과정을 가르칠 것을 제안했다.

In addition to commenting on the interactions between individuals and groups, participants conceptualised Power in relation to institutions, such as hospitals, the health care system as a whole, and the state. The notion of the self-regulation of the medical profession, a form of legitimacy granted to physicians by the state, was discussed by many participants. They explained that physicians have been granted immense authority as gatekeepers to the health care system and as arbiters of the definitions of legitimate diseases and their treatment, and that this authority and access to resources gives physicians the responsibility to leverage their power positively in the interests of the public, including by advocating for change. They noted the historical roots and evolution of this power in the context of changes in patient expectations, in health professional scopes of practice, and in the organisation of health care funding in capitalist economies. They emphasised that physicians need to be aware of their power with respect to the state and to use this knowledge of the political dimension of medicine to shape their work. They therefore suggested that medical students be taught the basics of public policy, of the process of policy change, and of the legislative process in their jurisdictions.

인식론, 문화, 정의, 권력을 넘어, 나머지 8개의 교차 주제는 미래 의사가 세계와 관계(맥락화, 사회경제적 지위 및 차이/이질) 및 자신과의 관계에 초점을 맞추고 있다(그림 1). 이러한 주제는 표 2에 간략하게 설명되어 있으며 부록 S1에 훨씬 더 자세히 설명되어 있다.

Beyond Epistemology, Culture, Justice and Power, the remaining eight cross-cutting themes focus on the future physician's relationships with the world (Contextualisation, Socio-economic status and Differences/Binaries) and with the self (Ambiguity, Knowledge evolving, Medical identity/Culture, Physician role conflict and Self-awareness) (Fig. 1). These themes are described briefly in Table 2 and in much greater detail in Appendix S1.

비의료 전문가 CanMEDs 역할과 관련된 SSH 지식의 교차 특성
The cross-cutting nature of SSH knowledge with respect to non-Medical expert CanMEDS roles

우리는 처음에 데이터에서 식별된 주제 중 어떤 것이 non-Medical Expert CanMEDS 역할과 관련이 있는지를 구별하고자 했다. 하지만 이것이 불가능하다는 것이 금세 우리에게 분명해졌다. 비록 몇몇 주제들이 다른 주제들보다 일부 역할과 더 밀접하게 관련되어 있지만, 그 주제들은 정말로 교차적이었다: 즉, 모든 주제들은 비의료 전문가 역할과 연결되었다. 우리는 (nvivo 10.0에서 이미 코딩한 추상화된 스크립트 데이터의 약 300페이지 내에서) 각 횡단 테마에 대해 상향 코딩한 데이터 청크와 각 캔 MED 역할에 대해 하향 코딩한 데이터 청크를 비교하여 이 교차점을 추가로 탐색했다. 표 3에 수치로 제시된 이 비교의 결과는, 비록 일부 주제와 CanMEDS 의 역할이 특히 밀접한 관련이 있지만(예: 문화와 커뮤니케이터 역할, 권력과 콜라보레이터 역할, 의사 역할 충돌 및 건강 옹호자 역할), 12개 주제 각각에는 6개 역할 각각과 관련하여 별도로 코딩된 자료가 포함되어 있다. 이 흥미로운 발견은 non-Medical Expert CanMEDS 역할의 개념적 통합을 지지하는 증거를 제공할 수 있다.

We had initially intended to distinguish which of the themes identified in our data were linked to each of the non-Medical Expert CanMEDS roles. However, it quickly became clear to us that this would not be possible. Although some themes related more closely to some roles than to others, the themes were truly cross-cutting: that is, every theme was linked to all of the non-Medical Expert roles. We explored this intersection further by comparing (within the approximately 300 pages of abstracted transcript data we had already coded in nvivo 10.0) the chunks of data that we had coded bottom-up for each cross-cutting theme with the chunks of data we had coded top-down for each CanMEDS role. The results of this comparison, which are presented numerically in Table 3, confirmed that although some themes and CanMEDS roles are particularly closely related (e.g. Culture and the Communicator role, Power and the Collaborator role, Physician role conflict and the Health Advocate role), each of the 12 themes includes material that had also been coded separately as relating to each of the six roles. This intriguing finding may provide evidence in support of a conceptual integration of the non-Medical Expert CanMEDS roles.

특정 비의료 전문가 캔메이드 역할과 관련된 SSH의 구체적인 커리큘럼 내용
Concrete curricular content from the SSH relevant to particular non-Medical expert CanMEDS roles

12개의 교차 주제에 대한 개념적으로 풍부한 기초를 넘어, 우리의 데이터는 참가자들이 non-Medical Expert CanMEDS역할과 각각 관련된 것으로 식별한 방대한 양의 구체적인 커리큘럼 콘텐츠를 포함한다. 이 자료의 폭과 다양성을 유지하기 위해 좀 더 간략하게 요약하기보다는 역할별로 분류해 교육과정 기획에 활용할 수 있도록 6개의 대형 문서로 정리했다. 표 4는 참가자들이 각 역할과 관련이 있다고 생각하는 지식의 간략한 표본을 보여줍니다. 표 4의 예는 필요하거나 충분하지 않다. 즉, 모든 의료 교육 맥락에서 각 역할의 적절한 교육에 필요한 지식의 결정적 형태도 아니며, 참가자들이 특정 역할에 대해 중요하다고 인식되는 유일한 자료도 아니다. 오히려, 그것들은 독자들에게 우리의 다양한 데이터의 맛을 제공하는 예시이다.

Beyond the conceptually rich basis for our 12 cross-cutting themes, our data contain an immense amount of concrete curricular content identified by our participants as being related to each of the non-Medical Expert CanMEDS roles. In order to maintain the breadth and variety of this material, rather than summarising it more briefly, we have sorted it by role and compiled it into six large documents for use in curriculum planning. Table 4 contains a brief sampling of the knowledge our participants thought was relevant for each role. It is important to note that the examples in Table 4 are intended to be neither necessary nor sufficient; that is, they are neither the definitive forms of knowledge that would be required for the appropriate teaching of each role in every medical education context nor the only material our participants perceived as important for that particular role. Rather, they are illustrative examples that provide the reader with a flavour of our diverse data.

논의
Discussion

우리의 연구는 non-Medical Expert CanMEDS 역할에 대한 개념적 토대를 형성하고 의사 역량에 대한 캐나다 사회적 기대를 충족하는 의사를 훈련시키기 위해 의료 교육 내에서 필요한 비생물학적 콘텐츠 유형에 대한 경험적 증거를 제공하는 정의 가능한 지식이 있음을 보여준다. 비록 이 내용의 많은 부분이 대부분의 의학 교육 맥락에서 참신해 보이지만, 대학의 다른 곳에서 우리의 학문적 동료들은 적절한 순서 지정과 실질적으로 그것을 가르친 엄청난 경험을 가지고 있다. 우리는 훈련생과 실무자들이 CanMEDS 의 역할을 보다 정교하게 제정함에 따라 의과대학에서 레지던트에 이르기까지 의학교육 연속체의 다양한 단계에 적합한 재료의 깊이를 결정할 때 그러한 경험을 활용할 수 있다.
Our study shows that there is a definable body of knowledge that forms the conceptual underpinnings for the non-Medical Expert CanMEDS roles, and provides empirical evidence for the types of non-biomedical content required within medical education to train practitioners who meet Canadian societal expectations of physician competency. Although much of this content appears novel within most medical education contexts, our academic colleagues elsewhere in the university have enormous experience in both appropriately sequencing and practically teaching it. We can draw on that experience as we determine the depth of materials appropriate to various stages of the medical education continuum, from medical school through to residency and then to continuing medical education, as trainees and practitioners become more sophisticated in their enactment of the CanMEDS roles.

우리의 방법론은 의료 교육자들이 사용할 수 있는 실질적인 실질적인 자료를 제공했다(부록 S1). 우리는 많은 구체적인 커리큘럼 선택권을 제공하는 이와 같은 연구를 통해 교육자들이 비의료 전문가 역할을 가르치는 것이 덜 벅차기를 바란다. 의료 전문가 역할 이외의 역량 교육을 지원하려면 프레임워크에 포함시킨 것과 같이 SSH의 엄격한 콘텐츠 지식을 통합하는 커리큘럼 변화가 절대적으로 필요하다. 이러한 분야의 전문가인 의학 교육자의 상대적 부족은 다음의 필요성을 지적한다.

• 광범위한 학술 의사 채용
• 대학 전체의 교수진과의 파트너십(많은 의과대학이 이미 기초의학과 학과와 제휴하고 있는 것처럼)
• 교수개발.

그러나 이러한 내부 전문지식의 부족은 (다른 새로운 의약품 관련 영역에서 그랬던 것처럼) 극복할 수 있는 과제이다.

Our methodology has provided a substantial body of practical materials for use by medical educators (Appendix S1). We hope that studies such as this, which provide many concrete curricular options, will make it less daunting for educators to teach the non-Medical Expert roles. Curricular change that incorporates rigorous content knowledge from the SSH, such as we have included in our framework, is absolutely necessary if we are to support the teaching of competencies other than those of the Medical Expert role. The relative lack of medical educators who are experts in these areas points to the need

• for broader academic physician recruitment,
• for partnership with faculty members from across the university (just as many medical schools already partner with basic biomedical science departments), and
• for significant faculty development.

However, this lack of internal expertise is a challenge that can be overcome (as it has been in other novel medicine-related domains83).

좀 더 이론적 수준에서, 우리의 데이터(역할과 6개 모두를 가로지르는 주제 사이에 내용이 겹친다)는 non-Medical Expert CanMEDS 역할의 개념적 통합에 대한 명확한 증거를 제공한다. 출판된 문헌에서는 이러한 역할이 인위적인 분할이며, 이러한 역할의 교육과 평가의 통합에 대한 주장이 제기되어 왔다. 다른 곳에서 지적되었듯이, CanMEDS 의 역할은 오늘날 존재하며(그리고 시간이 지남에 따라 변화) 좋은 의사에 대한 우리의 현대적 개념에 맞는 사회적 구조이며 자연스럽지도 않고 불가피하지도 않다. 현재 의사 역량의 해부도는 시간이 지남에 따라 감소할 수 있다. 그 사이에 우리의 발견들, 특히 우리의 횡단 테마는 전체론적으로 의사 역량의 기초를 가르치는 데 교육학적으로 유용한 메커니즘을 제공한다.

On a more theoretical level, our data (both the content overlap between roles and the themes that cut across all six of them) provide clear evidence for the conceptual integration of the non-Medical Expert CanMEDS roles. There have been complaints in the published literature that these roles are artificial divisions – that the constructs they represent are all deeply interrelated – and arguments for the integration of the teaching and assessment of these roles.42, 44, 84 As has been pointed out elsewhere, the CanMEDS roles as they exist today (and as they have shifted over time)1, 2, 9 are social constructs that fit with our contemporary conception of the good physician and are neither natural nor inevitable.44, 85 It may be that the current anatomisation of physician competence will decrease over time. In the interim, our findings, particularly our cross-cutting themes, provide a pedagogically useful mechanism for teaching the underpinnings of physician competence in a holistic way.

제한사항Limitations

이 연구에는 몇 가지 중요한 한계가 있습니다. 예를 들어, 우리는 우리의 연구 결과가 CanMEDS 가 개발되고 연구가 수행된 영어권, 북미, 유럽 중심 환경에 매우 구체적이라는 것을 인정해야 한다. 이것은 우리가 사용한 역량 프레임워크의 적용 가능성뿐만 아니라 다른 문화적 맥락에서 의사와 환자에 대한 우리의 응답자들에 의해 요약된 지식의 형태의 관련성에 중요한 제한을 둔다. 즉, 본 논문에서 제시된 개념 모델과 그에 수반되는 교육 자료 모두 본질적으로 문화적-특이적이다. 그러므로 우리는 다른 문화적 밀리에우스에서 그들의 문맥에 적합한 자료들을 도출하기 위해 유사한 방법론의 사용을 탐구하는데 관심이 있는 협력자들을 매우 환영할 것이다.
There are several important limitations to this study. We must, for example, acknowledge that our findings are very specific to the English-speaking, North American, Eurocentric environment in which CanMEDS was developed and in which our study was conducted. This places important limits not only on the applicability of the competency framework we used,86 but also on the relevance of the forms of knowledge outlined by our respondents to physicians and patients in other cultural contexts; in other words, both the conceptual model presented in this paper and its accompanying curricular materials are innately culturally specific. We would therefore very much welcome collaborators who would be interested in exploring the use of a similar methodology in different cultural milieus to derive materials appropriate for their contexts.

마찬가지로, 우리는 매우 널리 사용되는 역량 프레임워크에 초점을 맞췄지만, 문화적으로 우리와 꽤 일치하는 관할 구역에서는 다른 역량 프레임워크가 사용됩니다. 그럼에도 불구하고 캔메드에 표현된 많은 역량은 이러한 다른 프레임워크에도 존재하며, 이는 잠재적으로 우리의 발견의 광범위한 관련성을 지적한다. 또한, 우리의 방법론의 간단한 특성으로 인해 다른 사람들이 자신의 특정 상황에 대한 우리의 발견을 개선하기 위해 우리의 연구를 확장할 수 있어야 한다.
Similarly, although we focused on a very widely used competency framework,11 other competency frameworks3, 4, 6 are used in jurisdictions that are culturally quite congruent with our own. Nonetheless, many of the competencies represented in CanMEDS are also present in these other frameworks, which points to the potentially broader relevance of our findings. In addition, the straightforward nature of our methodology should allow others to extend our work in order to refine our findings for their own specific contexts; again, we would very much welcome collaborators interested in doing this.

마지막으로, 지난 몇 년 동안 CanMEDS 의 역할과 주변 언어의 세부 사항 중 일부가 바뀌었다는 점에 주목해야 한다. 이 과정은 연구를 시작한 시점과 거의 동시에 시작되었으며(J R Frank, 개인 커뮤니케이션 [전화로], 2011), 2015년 10월에 CanMEDs 2015를 출시했다. 우리는 RCPSC 웹사이트에 요약되어 있고 개념적 재구성이 아닌 일관성과 실제 적용에 초점을 맞추고 있는 2005년과 2015년 캔 MED 문서 사이의 변경 사항을 면밀히 검토했다. SSH 외부의 분야를 이용하는 하나의 주요 새로운 콘텐츠 영역(환자 안전 및 품질 개선)을 제외하고, 대부분의 변경 사항(지도자 역할의 가장 명백한 명칭 포함)은 언어와 조직의 명확화이다. 역할 간에는 몇 가지 사소한 내용 변화가 있지만(예: 비-의사 의료 전문가와의 커뮤니케이션이 이제 공동작업자 역할로 보다 명시적으로 이동됨) 이러한 변화는 참여자들이 언급한 개념적 중복을 크게 완화하지는 못합니다. 마지막으로, 우리는 참여자들이 2005년에 암묵적으로 식별한 몇 가지 개념(예: 문화적 안전)의 2015년 CanMEDS에서 명시적인 인정을 받았으며, 이를 위해 커리큘럼 및 교육학 자료를 이미 개발했다.

Finally, it should be noted that some of the details of, and language around, the CanMEDS roles have changed over the past several years. This process began at about the same time that we initiated our study (J R Frank, personal communication [by telephone], 2011) and culminated in the release of CanMEDS 2015 in October 2015.2 We have closely examined the changes between the 2005 and 2015 CanMEDS documents, which are summarised on the RCPSC website56 and which focus on coherence and practical application rather than a conceptual reframing. The vast majority of changes (including the most obvious, the renaming of the Manager role as the Leader role) are clarifications of language and organisation, with the exception of one major new content area (patient safety and quality improvement) which draws on disciplines outside the SSH. There are some minor shifts of content between roles (e.g. communicating with non-physician health care professionals has now moved more explicitly into the Collaborator role), but these do not substantially mitigate the conceptual overlaps noted by our participants. Finally, we note the explicit recognition in CanMEDS 2015 of a few concepts (e.g. cultural safety) identified by our participants as implicit in 2005 and for which we have already developed curricular and pedagogical materials.

미래 방향
Future directions

비록 이 연구는 원래 지적 연습에서 출발했지만, 우리는 결국 우리의 발견을 실행하고자 하는 프로그램을 찾을 수 있기를 바랐다. 교육과정 갱신에 대한 현지의 관심과 캐나다 인증 요건에서 CanMEDs의 지속적인 사용으로 인해, 우리는 실제로 여러 캐나다 학부 및 대학원 프로그램에서 자발적인 협력자(관리자, 교육자 및 학생)를 찾았다. 또한 CanMEDS 이후 자신의 역량 프레임워크를 모델링한 전문 분야의 다른 보건 전문가를 양성하는 프로그램에서도 협력자를 찾았다. 이 협력자 팀과 함께, 우리는 각 프로그램에 특화된 커리큘럼 콘텐츠의 다중 사이트 롤아웃을 시작했고, 현재 단일 기관에서 서로 다른 수준의 교육(의대, 레지던트, 교수진 개발) 간에 SSH 콘텐츠를 나선화하는 모델 커리큘럼을 구축하고 있다.

우리가 개발한 새로운 커리큘럼 자료에 대한 표준 평가와 더불어, 학장에서 의대생에 이르는 커리큘럼 이해관계자들의 의견을 수렴하여 복잡한 개입에 대한 구현 과정에 대한 엄격한 현실주의 평가를 수행하고 있다. 우리는 이 연구의 발견을 향후 출판물에 공유하고자 한다.

Although this study originally grew out of an intellectual exercise,21 we had hoped that we would eventually locate a programme willing to implement our findings. Due perhaps to current local interest in curriculum renewal and to the continued use of CanMEDS in Canadian accreditation requirements at multiple levels, we have indeed found willing collaborators (administrators, educators and students) at multiple Canadian undergraduate and postgraduate programmes, as well as in programmes that train other health professionals in professions that have modelled their own competency frameworks after CanMEDS. Together with this team of collaborators, we have begun a multi-site rollout of curricular content specific to each programme and are now building model curricula that will spiral SSH content between different levels of education (medical school, residency, faculty development) at a single institution. In addition to a standard evaluation of the novel curricular materials we have developed, we are also conducting a rigorous realist evaluation of the implementation process for this complex intervention, gathering input from curricular stakeholders ranging from deans to medical students; we intend to share the findings from this work in future publications.

© 2016 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

자율성과 의사의 성장: 자기결정이론으로 슈퍼비전을 다시 그려보기(Med Educ, 2022)
Autonomy and developing physicians: Reimagining supervision using self-determination theory
Adam P. Sawatsky1 | Bridget C. O’Brien2 | Frederic W. Hafferty3

1 소개
1 INTRODUCTION

이 글에서는 [임상학습 환경에서 감독과 자율성의 관계]를 탐구함으로써 '의사발달에 있어 자율성의 역할은 무엇인가'라는 질문을 다룬다. 감독으로부터의 독립성으로서 자율성을 벗어나 자기결정론에 근거한 자율성 지원에 기반을 둔 감독 개념을 지향하는 이러한 관계의 재개념화를 제안한다.  그렇게 함으로써, 우리는 자율적이고 자율적인 직업으로서 의학의 지위를 개념화하는 것의 사회적, 법적 의미와 환자 자율성과 환자 중심 치료의 문제를 포함한 의학 내 자율성에 대한 다른 논의를 무시한다. 이것들은 중요한 대화이지만, 우리는 특히 의사-훈련자를 위한 임상 훈련의 맥락에서 자율성과 감독에 초점을 맞추기로 결정했다.
In this article, we address the question, ‘What is the role of autonomy in physician development?’ by exploring the relationship between supervision and autonomy in the clinical learning environment. We propose a reconceptualisation of this relationship that moves away from autonomy as independence from supervision and towards a concept of supervision grounded in autonomy support based on self-determination theory.1 In doing so, we ignore other discussions on autonomy within medicine, including the social and legal implications of conceptualising medicine's status as an autonomous, self-regulating profession2 and issues of patient autonomy and patient-centred care.3, 4 While these are important conversations, we have chosen to focus specifically on autonomy and supervision within the context of clinical training for physician-trainees.

우리는 또한 '의사의 발달physician development'이 의미하는 바를 정의할 필요가 있습니다. 의학교육은 필요한 지식, 기술 및 직업적 정체성을 가진 효과적인 의료인의 형성을 다루는 발달 과정이다.5 PIF(Professional Identity formation)라고 알려진 이러한 발전은 [개인, 심리적 수준]뿐만 아니라 [집단적, 사회적 수준]에서도 일어나며 경험, 롤모델, 멘토를 통해 얻은 직업의 가치와 규범을 (의식적으로 그리고 무의식적으로) 습득하는 것이 특징이다. 자율성은 학습자의 자율성을 학습자의 자신감 향상, 임상 의사결정 능력 향상, 환자의 책임감과 소유 의식 향상, 독립적 실무 준비성 향상, 직업적 정체성 향상과 연계하여 오랫동안 연구되어 왔다. 임상 학습 환경에서 [자율성]은 [학습자가 환자 치료를 위한 '진정한' 결정을 내릴 수 있는 기회]를 제공하여, [임상 의사 결정에 대한 신뢰]와 [환자 관리에 대한 책임]의 개발을 촉진한다. 반대로 자율성이 떨어지면 학습자에게 양면성이 형성돼 책임감이 떨어지고 의사 역할을 맡을 기회도 줄어들어 '전문직이 되어간다professional becoming'는 의식이 줄어들 수 있다. 이러한 연구 결과는 자율성이 의사 발달에 동기 부여의 역할을 할 수 있으며, 의학교육이 발달과 동기를 통합한 자율성의 정의로부터 이익을 얻을 수 있음을 시사한다.
We also need to define what we mean by ‘physician development’. Medical education is a developmental process, addressing the formation of effective medical practitioners with the necessary knowledge, skills and professional identity.5 That development, known as professional identity formation (PIF), happens at both an individual, psychological level, as well as a collective, sociological level, and is characterised by the conscious and unconscious acquisition of values and norms of the profession gained through experience, role models and mentors.6, 7 Autonomy has long been studied in conjunction with the development of physicians in training, linking learner autonomy with increased learner confidence, improved clinical decision-making skills, increased sense of patient responsibility and ownership, increased readiness of independent practice and an enhanced development of professional identity.8-12 Within the clinical learning environment, autonomy provides opportunities for learners to make ‘real’ decisions for patient care, facilitating the development of confidence in clinical decision making and responsibility for patient care.8 Alternatively, decreased autonomy can foster feelings of ambivalence in learners leading to decreased feelings of responsibility along with a decreased sense of ‘professional becoming’ due to decreased opportunity to take on the role of physician.8, 13 These findings suggest that autonomy may play a motivational role in physician development and that medical education may benefit from a definition of autonomy that incorporates development and motivation.

자율성의 인식된 이점과 부재의 위험을 고려할 때, 훈련생 감독 강화를 요구하는 [환자 안전 운동]이 임상 학습 환경 내에서 학습자의 자율성을 위협한다는 우려가 커지고 있다. 이러한 우려는 감독 강화가 학습자의 자율성을 떨어뜨려 독립적이고 전문적인 의사의 발전을 방해할 수 있다는 두려움에 근거한다. 감독 강화, 독립성 저하, 이에 따른 훈련생 자율성의 감소에 대한 이러한 우려는 우리를 '임상 훈련의 감독성과 자율성 사이에 무슨 관계가 있는가?'라는 질문으로 이끈다.
Given the perceived benefits of autonomy and the risks of its absence, there is growing concern that the patient safety movement, with its calls for increased trainee supervision, threatens learner autonomy within the clinical learning environment.9, 10, 14 Such concerns are based on fear that increased supervision will reduce learners’ autonomy and thus might interfere with the development of independent, expert physicians.10, 15 These concerns over increased supervision, decreased independence and the subsequent decrease in trainee autonomy lead us to the question: ‘What is the relationship between supervision and autonomy in clinical training?’

2 감독과 자율성 사이의 복잡한 관계
2 THE COMPLEX RELATIONSHIP BETWEEN SUPERVISION AND AUTONOMY

의학 교육 문헌은 감독과 자율성 사이의 단순한 역관계(감독이 증가함에 따라 자율성은 감소한다)를 가정한다. 역량 프레임워크 내에서 자율성은 독립성과 동의어로 사용되며 따라서 훈련의 최종 목표로 간주된다. 자율성에 대한 이러한 이해는 의료 교육 연구 내에서 임상 지도와 학습자 자율성 사이의 관계에 대한 상반된 증거로 이어졌다. 따라서, 우리는 감독 내에서 자율성 지원이 가능한 감독과 자율성 사이의 보다 복잡한 관계를 제안한다.
The medical education literature posits a simple inverse relationship between supervision and autonomy (ie as supervision increases, autonomy decreases). Within competency frameworks, autonomy is used synonymously with independence and therefore viewed as the end goal of training. This understanding of autonomy has also led to conflicting evidence about the relationship between clinical supervision and learner autonomy within medical education research. Thus, we propose a more complex relationship between supervision and autonomy that allows for autonomy support within supervision.

현재의 역량 기반 의료 교육(CBME) 프레임워크는 감독과 자율성 사이의 역 관계를 암시하는 언어를 사용하며, 자율성을 나타내기 위해 다양한 다른 문구에 의존하는 경우가 많다. 예를 들어, 대학원의료교육인증협의회(ACGME)는 레지던트 연수를 '의과대학과 자율적인 임상 실습 사이에 존재하는 전문적 발전의 중요한 단계'로 개념화한다. 전공의 수련은 전공의가 직장 학습 환경에서 환자를 돌보는 곳으로써, '교수의 적절한 지도와 조건부 독립성을 갖춰, 전공의가 자율적인 의료행위에 필요한 지식, 기술, 태도, 공감을 얻을 수 있도록'하는 목적이 있다. 

Current competency-based medical education (CBME) frameworks use language that implies an inverse relationship between supervision and autonomy, often relying on a variety of different phrases to represent autonomy. For example, the Accreditation Council for Graduate Medical Education (ACGME) conceptualises residency training as ‘the crucial step of professional development between medical school and autonomous clinical practice’16 where residents care for patients in a workplace learning environment ‘with appropriate faculty supervision and conditional independence, allowing residents to attain the knowledge, skills, attitudes, and empathy required for autonomous practice’.16 

ACGME 프레임워크 내에서

• 역량 기반 목표와 목표는 '자율적 실천을 향한 궤도에서의 발전을 촉진하도록 설계'되며,
• 전공의의 발달상황에 대한 평가는 [역량과 신뢰의 언어]를 사용하며, '감독되지 않은 실천에 대한 준비'로 간주되는 전공의로 끝맺게 된다.
• 교직원은 전공의를 평가하고 '점진적 권한과 책임, 조건부 독립성 및 환자 진료에 대한 감독 역할의 특권'을 위임하는 한편,
• '점진적 자율성의 촉진'은 전공의의 웰빙을 해결하기 위한 전공의 프로그램 책임의 일부분으로 인식된다.
• 레지던트 교육이 끝나면 '4년자 전공의는 (치프 레지던트 역할 수행, 외래 진료소 운영, 자율성 증대 및 타인 교육 등) 자율적 의료행위로 전환할 준비가 되어 있음을 입증해야 한다'.

Within the ACGME framework,

• competency-based goals and objectives are ‘designed to promote progress on a trajectory to autonomous practice’, and
• assessments of resident progress utilise the language of competence and trust, ending with residents deemed ‘ready for unsupervised practice’.16, 17 
• Faculty members assess residents and delegate the ‘privilege of progressive authority and responsibility, conditional independence and a supervisory role in patient care’,16 
• while recognising that ‘promoting progressive autonomy’ is part of the responsibility of the residency programme to address resident well-being.16 
• At the end of residency training, ‘the senior trainee should demonstrate readiness to make the transition to autonomous practice: for example, acting as a chief resident, running an ambulatory clinic, performing procedures with increasing autonomy and teaching others’.18 

[자율성]을 대면하는 개념은 [독립성 증가, 감독 감소 및 환자 관리에 대한 책임 증가]와 같은 문구와 '자율성'이라는 단어를 번갈아 사용하면서 CBME 프레임워크에 스며든다. 이 용어들을 번갈아 사용하는 것은 감독과 자율성의 역관계를 의미하는데, 교육의 목표는 감독을 줄이고 자율성을 높이는 것이다. 이로 인해 대학원 의학교육에서 감독 및 자율성의 역할에 대한 오해가 생길 수 있다.

Concepts that represent autonomy permeate CBME frameworks, using the word ‘autonomy’ interchangeably with phrases like increasing independence, decreasing supervision and increasing responsibility for patient care.14, 16-21 Using these terms interchangeably implies an inverse relationship between supervision and autonomy, where the goal of education is to decrease supervision and increase autonomy.22 This may lead to misconceptions of the role of supervision and autonomy in graduate medical education.

단순한 역관계의 개념은 의료 교육 문헌으로 확장되며, 여기서 감독 증가에 대한 우려는 지도 수준과 학습자 자율성 인식 사이의 연관성을 탐구하는 연구를 촉발시켰다. 자율성의 교육적 역할에 대한 대규모 검토에서 [자율성]은 '독립적으로 또는 감독 없이 기능하는 자'로 정의되었다. 그러나 감독과 자율성의 관계를 조사하는 연구는 감독성과 자율성의 관계에 대한 상반된 증거를 보여준다. 한 연구 결과에 따르면 입원 중인 야간 부유식 순환에 대한 교직원의 감독 강화로 교대의 교육 수준이 향상되었으며 주민 자율성에는 차이가 없는 것으로 나타났다. 이에 비해 감독 강화로 교대로 인턴 투입량이 의사결정에 제한되고 인턴과 레지던트들의 자율성이 제한된다는 연구결과도 있다. 이러한 상반된 연구는 감독과 자율성의 관계가 단순한 역관계가 아님을 시사한다.
The notion of a simple inverse relationship extends into the medical education literature, where concerns about increasing supervision have prompted studies exploring the association between levels of supervision and perceptions of learner autonomy. Within a large scoping review on the educational role of autonomy, autonomy was defined as ‘one who functions independently or without supervision’.11 However, studies examining the relationship between supervision and autonomy demonstrate conflicting evidence about the relationship between supervision and autonomy.11 One set of studies found that increased faculty supervision of an inpatient night float rotation improved the educational quality of the rotation, with no difference in residents’ autonomy.23, 24 By contrast, other studies indicate that rotations with increased supervision limit the amount of intern input into decision making and limit interns’ and residents’ sense of autonomy.25, 26 These conflicting studies suggest that there is not a simple inverse relationship between supervision and autonomy.

이 관계의 복잡성에는 몇 가지 이유가 있을 수 있다. 

첫째, 감독에 관한 문헌을 살펴보면, 모든 감독이 동일한 것은 아니다. 레지던트들은 '마이크로 매니저'에서부터 거주자와 거리를 두고 독점적인 의사 결정권을 허용하는 '자리비운' 주치의에 이르기까지 광범위한 교수 감독 관행을 설명한다. 해당 스펙트럼 내에서 감독 유형은 다음과 같이 특징지어질 수 있다. 

• '일상적 감독'(연수생 임상 작업의 사전 계획된 모니터링),
• '반응적 감독'(임상 우려에 의해 촉발된 관여),
• '백스테이지 감독'(연수생이 직접 인지하지 못하는 감독) 또는
• '직접 환자 관리', 슈퍼바이저가 환자를 넘겨받는 것

There may be several reasons for the complexity of this relationship. First, examining the literature on supervision, not all supervision is created equal—there are many models for the type and amount of supervision provided. Residents describe a wide range of faculty supervision practices, from ‘micro-manager’—dictating the plan to residents and allowing few autonomous decisions—to the ‘absentee’ attending physician who distances themself from the residents and allows exclusive decision-making power.27 Within that spectrum, types of supervision can be characterised into

• ‘routine oversight’ (preplanned monitoring of trainees’ clinical work),
• ‘responsive oversight’ (engagement triggered by clinical concerns),
• ‘back-stage oversight’ (oversight of which the trainee is not directly aware) or
• ‘direct patient care’, where the supervisor takes over the care of the patient.28 

감독은 역동적이어서, 특정 상황에 맞게 '핸즈온' 전략과 '핸즈오프' 전략 사이에서 전환되며, 감독은 감독관과 임상 환경에 따라 달라질 수 있는 다양한 감독 모드를 포함할 수 있다.29

Supervision is dynamic, shifting between ‘hands-on’ and ‘hands-off’ strategies to suit specific contexts, and supervision can cover a range of oversight modes that can vary across supervisors and clinical settings.29

둘째, 감독 모델 내에서는 자율성의 여지가 있다. 예를 들어, 한 연구에서 전공의들은 자율성을 허용하고 독립적인 학습을 자극하는 것을 품질 감독의 특징으로 확인했다. 감독 구조와 지원 안에서 전공의가 의미 있는 임상 결정을 할 수 있도록 한 것은 전공의의 자율성을 뒷받침했다.8 [자율성 지지적 감독autonomy-supportive supervision]의 핵심 구성 요소로는 전공의가 환자진료를 위한 의사결정을 할 수 있도록 하고, 환자진료를 책임감을 느끼며, 협력자로서 환자진료에 참여하고, 직접감독에서 간접감독으로 전환하는 내용 등이 포함됐다. 게다가, 전공의가 더 많은 자치권을 원하는 것이 항상 감독으로부터 독립하려는 열망과 일치하지는 않는다. 사실 레지던트들은 임상 훈련 중에 독립적으로 행동하고 '자급자족'해야 한다는 과도한 압박을 느끼곤 하는데, 이는 독립적으로 행동하는 것이 의사 정체성의 일부라는 암묵적인 메시지에서 비롯된다. 자율성은 단순한 역관계에서 벗어나 감독 모델 내에 존재할 수 있다.

Second, within models of supervision, there is room for autonomy. For example, in one study, residents identified allowing for autonomy and stimulating independent learning as features of quality supervision.30 Allowing residents to make meaningful clinical decisions within the structure and support of supervision supported residents’ feelings of autonomy.8 Key components of autonomy-supportive supervision included allowing residents to make decisions for patient care, feeling responsible for the care of patients, engaging in patient care as a collaborator and moving from direct supervision to indirect supervision.12 In addition, residents desire for more autonomy does not always align with a desire for independence from supervision. In fact, residents often feel an undue pressure during their clinical training to act independently and be ‘self-sufficient’, a pressure that arises from implicit messaging that acting independently is part of the identity of a physician.31 Autonomy can exist within models of supervision, pointing away from a simple inverse relationship.

요약하자면, 감독과 자율성 사이의 관계는 특히 임상 학습 환경에서 훈련생 개발과 관련될 때 복잡하다. [학습자 자율성 함양]은 교육생 역량에 맞춰 감독 양을 조정하는 것만큼 간단하지 않을 수 있다. 역량 프레임워크와 의학 교육 문헌에서 자율성, 독립성 및 감독 감소라는 용어가 번갈아 사용되지만, 이러한 개념적 얽힘은 학습자의 발전에 의도하지 않은 결과를 초래할 수 있음을 시사한다.

In summary, the relationship between supervision and autonomy is complex, particularly when related to trainee development in the clinical learning environment. Fostering learner autonomy may not be as simple as tailoring the quantity of supervision to the level of trainee competence. While the terms autonomy, independence and decreased supervision are used interchangeably in competency frameworks and medical education literature, we suggest these conceptual entanglements might have unintended consequences for learners’ development. 

역량 체계와 의학 교육 문헌에서 자율성은 두 가지 다른 방식으로 사용되어 왔다.

• 첫째, 자율성은 [독립성과 동의어]로 사용되며, [교육생의 성과에 대한 판단]으로 개념화되며, 감독 수준은 지표(또는 지표)로 사용된다.
• 둘째, 자율성은 [훈련생들이 배우도록 동기를 부여하고 의사로서의 정체성을 개발할 기회를 주는 것]으로 개념화할 수 있다.

이러한 관점에서 자율성은 단순히 감독의 역이 아니다. 이 두 번째 관점은 자율성에 대한 심리적 관점을 제공하며, 우리는 의학 교육에서 그 명성을 높이기를 바라면서 이 글의 나머지 부분에 대해 고려한다.

Within the competency frameworks and medical education literature, autonomy has been used in two distinct ways.

• First, autonomy is used synonymously with independence and is conceptualised as a judgement of a trainees’ performance, with level of supervision used as an indicator (or metric).
• Second, autonomy can be conceptualised as a source of motivation that drives trainees to learn and gives them opportunities to develop their identity as a physician. In this view, autonomy is not simply the inverse of supervision.

This second perspective offers a psychological view of autonomy, which we consider for the remainder of this article in hopes of elevating its prominence in medical education.

3 자율성과 자기 결정 이론
3 AUTONOMY AND SELF-DETERMINATION THEORY

자기결정이론(self-determination theory)은 자율성과 감독 사이의 관계, 그리고 개발 과정에서의 훈련자 참여와의 연관성을 이해하기 위한 틀을 제공할 수 있는 인간 동기 부여 및 개인 개발 이론이다. SDT에 따르면, 인간 동기와 개발의 기반에는 능력, 관계성, 자율성의 세 가지 선천적 심리적 욕구가 있다. 동기부여는 이 세 가지 기본적인 심리적 욕구를 지지하거나 방해하는 만큼 환경적 요인에 의해 지지되거나 방해된다. SDT에서 자율성은 [자신의 내면에 따라 자신의 의지와 뜻대로 행동하는 것]으로 정의된다. 따라서 [행동 조절]의 진정한 동기는 상황적 지원에 의해 생성된 자율성 또는 통제의 느낌이다.32 SDT의 몇 가지 요약을 사용할 수 있으며, 표 1에 SDT의 주요 교리를 개략적으로 설명한다.

Self-determination theory (SDT) is a theory of human motivation and personal development that can provide a framework for understanding the relationship between autonomy and supervision, and their association with trainee engagement in the development process.1, 32, 33 According to SDT, at the foundation of human motivation and development are three innate psychological needs—competence, relatedness and autonomy.32, 33 Motivation is supported and hindered by environmental factors in as much as they support or hinder those basic psychological needs.32 Within SDT, autonomy is defined as the quality of behaving of one's own volition and will, in accord with one's inner self.1, 32 As such, one driver of authentic motivation for behavioural regulation is a feeling of autonomy or control created by contextual support.32 Several summaries of SDT are available32, 33; and we outline the main tenets of SDT in Table 1.

표 1 자기결정론의 주요 교리 
TABLE 1 Main tenets of self-determination theory32,33

• 인간은 성장 지향적이며, 심리적 요소를 개발하고 내면화하며 통합되고 통일된 자아의 감각을 구축하려는 자연스러운 경향이 있다. 이러한 자연적인 발달 경향은 내외부의 힘에 의해 자극되거나 방해될 수 있다. 
  
• 성장과 통합을 촉진하는 데 중요한 세 가지 선천적 심리적 욕구가 있다: 역량, 자율성, 타인과의 관련성.
  
• [자율성]은 인과관계의 내적 인식의 중심지로 정의된다; 자율성을 위한 선택과 기회를 제공하는 것은 사람들에게 자율성을 더 크게 느끼게 할 수 있다.
  
• 인간의 동기는 인간의 행동을 유도하고, 내부 또는 외부 압력으로부터 파생될 수 있으며, 무동기, 외적 동기, 내재적 동기의 스케일로 존재한다.
  
  • 내재적 동기 부여는 외부의 통제에서 자유로운 것으로서, 관심, 흥분, 자신감 증가와 연결돼 성과와 지속성, 창의성을 높인다.
    
• 내재적 동기 부여가 지속되려면 지지적 조건을 필요로 하고, 이것이 [역량과 자율성]이다. 역량의 느낌을 촉진하는 사건들은 본질적인 동기를 강화시킬 수 있다.
  
• 우리의 행동이 외적 동기부여에 의해 움직이는 많은 사회적 맥락이 있다; 외적 동기 내에서 [다양한 수준의 상대적 자율성]이 있을 수 있다. 더 높은 수준의 자율성은
  • 식별(다른 사람이 만든 규칙에 대한 이해 확대)과
  • 통합(규칙을 개인의 규범과 가치에 연결)으로 이어지고,
  • 자기 결정으로 이어진다.
    
• 통합은 '확인된 규정이 자신과 완전히 동화될 때' 발생하며, 이는 자신의 다른 가치와 요구에 부합하고 평가되었을 때 발생한다.
  
• 관계성, 즉 타인과 소속감과 연결성을 느끼는 필요성은 내면화internalisation에 있어 중심적으로 중요하다.
• Humans are growth-oriented and naturally inclined to develop, internalise and integrate psychological elements to build an integrated and unified sense of the self. This natural developmental tendency can be stimulated or hampered by internal and external forces. 
• There are three innate psychological needs that are important in facilitating growth and integration—competence, autonomy and relatedness to others.
• Autonomy is defined as an internal perceived locus of causality; providing choice and opportunities for self-direction can allow people a greater feeling of autonomy.
• Human motivation drives human behaviour, can be derived internally or from external pressures and is present on a scale from amotivation, extrinsic motivation and intrinsic motivation.
  • Intrinsic motivation, which is free from external control, is linked to increased interest, excitement and confidence, which enhances performance, persistence and creativity.
• Intrinsic motivation requires supportive conditions to sustain—namely competence and autonomy; events that promote feelings of competence can enhance intrinsic motivation.
• There are many social contexts where our behaviour is driven by extrinsic motivation; there can be various levels of relative autonomy within extrinsic motivation, which higher levels of autonomy leading to
  • identification (sincere understanding of a rule made by others) and
  • integration (connecting rules to personal norms and values),
  • leading to self-determination. 
• Integration occurs ‘when identified regulations are fully assimilated to the self, which means they have been evaluated and brought into congruence with one's other values and needs’.
• Relatedness, the need to feel belongingness and connectedness with others, is centrally important to internalisation.

자율성과 발전을 고려할 때, SDT는 다음의 문제를 다룬다. 

• 동기부여(무동기에서, 외적 동기부여, 내재적 동기부여로), 
• 조절 스타일(외적 조절에서 내부 조절로)  
• 인지된 인과관계 중심(외부에서 내부로)

SDT는 관련 동기, 규제 스타일 및 인지된 인과 관계 중심과 함께 비자체 결정에서 완전한 자기 결정으로 이어지는 행동 제어의 중요한 연속체를 설명한다(그림 1). 의학 교육 내에서 학습자가 하는 일의 거의 대부분이 엄격하게 내부적으로 동기 부여를 받지 않기 때문에, 이 연속체를 이해하는 것은 (슈퍼비전과 외적 동기 부여 내에서조차) 학습자 선택권의 제공이 어떻게 내부적 통제internal locus of control와 직업의 규칙 및 규범의 통합으로 이어질 수 있는지에 대한 통찰력을 제공한다. 

When considering autonomy and development, SDT addresses issues of

• motivation (from amotivation to extrinsic motivation to intrinsic motivation),
• styles of regulation (from external to internal regulation) and
• perceived locus of causality (from external to internal).32 

SDT describes an overarching continuum of behavioural control from non-self-determined to completely self-determined, with associated motivation, regulatory styles and perceived locus of causality (Figure 1).32 Since little of what learners do within medical education is strictly internally motivated, understanding this continuum provides insight into how provision of learner choice, even within supervision and extrinsic motivation, can lead to an internal locus of control and integration of the rules and norms of the profession.32 

레지던트 교육에서, 역량 프레임워크는 [역량의 형태]로 학습자에게 직업에 대한 규칙, 가치, 규범을 제공한다. 의학 교육자들은 이러한 규칙, 가치, 규범들이 훈련생의 직업적 정체성에 통합되기를 희망한다. SDT는 [역량, 관계성 및 자율성에 대한 교육생의 요구를 지원하는 것]이 어떻게 [전문직업적 행동의 통합적 조절integrated regulation 발달]을 위한 [규칙, 가치 및 규범의 내면화]를 통해 정체성 형성에 이르게 할 수 있는지를 조명한다. SDT를 의료교육에 적용하기 위한 핵심은 자율성을 함양하고 전문성 기준을 통합 정체성으로 내실화 및 통합을 촉진하는 맥락적 요소에 대한 생각에서 비롯된다. 감독이라는 맥락 안에서 선택의 제공, 감정의 인정, 그리고 자기 지도에 대한 기회들은 모두 자율성을 강화시키는 역할을 한다. 이러한 방식으로 SDT는 감독 내 자율성의 개념화를 지지한다.

Within residency training, competency frameworks provide the rules, values and norms for the profession to learners in the form of competencies. Medical educators hope that these rules, values and norms become integrated into the professional identity of the trainee. SDT illuminates how supporting a trainees’ needs for competence, relatedness and autonomy can lead to identity formation through the internalisation of these rules, values and norms to develop an integrated regulation of professional behaviour.32 The key to the application of SDT to medical education takes root in thinking about the contextual factors that foster a sense of autonomy and promote the internalisation and integration of the standards of professionalism into an integrated identity. Within the context of supervision, the provision of choice, acknowledgement of feelings and opportunities for self-direction all serve to enhance feelings of autonomy.32 In this way, SDT supports the conceptualisation of autonomy within supervision.

4 의료 교육에 대한 SDT의 적용 및 자율성
4 APPLICATION OF SDT AND AUTONOMY TO MEDICAL EDUCATION

SDT의 렌즈를 통해 자율성을 개념화하면 교육 개입과 감독 및 자율성에 대한 향후 연구의 길이 열린다. 자율성을 인과관계의 내적 인식의 중심지로 정의하면 자율성이 독립성, 감독 감소, 학습자에게 부여된 책임 증가라는 구조적 문제로부터 분리된다. 자율성 지원, 의료교육에서의 자율성 지원과 코칭의 관계, 향후 연구에 대한 시사점 등에 대해 논의할 예정이다.

Conceptualising autonomy through the lens of SDT provides an avenue for education interventions and future research on supervision and autonomy. Defining autonomy as an internal perceived locus of causality separates autonomy from the structural issues of independence, decreased supervision and increased responsibility granted to learners as they progress through medical education. We will discuss autonomy support, the relationship between autonomy support and coaching in medical education, and implications for future research.

4.1 감독구조 내 자율지원
4.1 Autonomy support within supervision structures

우리는 SDT를 의료 교육 감독에 적용하기 위해 [자율성 지원]의 개념을 그립니다. [자율성 지원]은 대인관계를 지향하는 교육으로서, 교육자는 학습자에게 [선택권, 선택을 위한 정보, 제안된 행동에 대한 의미 있는 이유, 학습자의 감정에 대한 인정, 선택과 지속의 장려]를 제공한다.1 의학 교육에서 자율적 동기 부여는 통제된 동기(외압이나 보상으로 인한 동기 부여)보다 더 나은 학습 노력과 전략, 더 나은 학업 성과, 그리고 덜 소진되는 것과 관련이 있다. (학습자 자율에 대한 교사 지원 등) 보건의료 분야의 자율성 지원은 자율적 동기부여를 유발하고 자율적 조절의 개발을 유도한다. 

We draw on the concept of autonomy support to apply SDT to supervision in medical education. Autonomy support is an interpersonal orientation to education where educators provide learners with choices, information to make those choices, meaningful rationales for suggested actions, acknowledgement of learners’ feelings and encouragement to choose and to persist.1 Within medical education, autonomous motivation has been associated with better learning effort and strategy, better academic performance and less exhaustion than controlled motivation (ie motivation from external pressures or rewards).34 Autonomy support in the health professions, including teacher support of learner autonomy, generates autonomous motivation and encourages the development of self-regulation.35, 36 

자율성을 [감독으로부터의 독립성] 이상으로 보는 교육자들은, 자율성을 지원하는 임상 지도와 교육을 더 잘 제공할 수 있다. 학습자에게 선택권을 주고 그 선택을 지원하는 것은 교수진과 수습생 개발 과정을 연결시켜줍니다. 이는 전공의의 PIF에게 중요한 질문으로 이어진다. 즉, 감독자가 감독 요청을 준수하면서 임상 학습 환경에서 선택과 합법적인 의사 결정 기회를 제공할 수 있는 방법은 무엇인가? 임상 환경에서 자율적 지원을 제공하는 다양한 방법이 있다. 예로는 다음이 포함된다.

• 학습자의 목표와 니즈를 탐색하고,
• 지속적인 토론에 참여하며,
• 학습에 대한 더 큰 책임감을 장려하고,
• 가이드를 제공하고,
• 최적의 과제를 제시하며,
• 효과적인 피드백을 제공하고,
• 최적의 지원을 제공하며,
• 궁극적으로 학습자의 성장과 발전에 대한 관심과 투자를 보여준다.

Viewing autonomy as more than independence from supervision, educators can better provide autonomy-supportive clinical supervision and teaching. Giving learners choices and supporting those choices links faculty to the process of trainee development. This leads to a key question for resident PIF—how can supervisors provide opportunities for choice and legitimate decision making in the clinical learning environment while still abiding by supervisory requirments?8, 34 Providing autonomy support in the clinical environment is multi-faceted. Examples include

• exploring a learner's goals and needs,
• engaging learners in ongoing discussion,
• encouraging greater responsibility for learning,
• providing guidance,
• presenting optimal challenges,
• offering effective feedback,
• providing optimal support and
• ultimately demonstrating interest and investment in learners growth and development.37 

이러한 자율 지원 사례는 새로운 것이 아니며, 최적의 도전과 지원을 통해 학습자 성장을 장려하는 멘토링 모델로 되돌아간다.38 슈퍼바이저가 과도한 도전을 아무런 지원 없이 제공할 경우 학습자 후퇴 또는 탈진으로 이어질 수 있다. 반면에, 감독자가 도전 없이 높은 지원을 제공할 경우, 학습자는 성장이 없는 확신만 갖게 될 수 있다.38 자율 지원을 제공하는 것은 역량, 관련성 및 자율성의 요구를 촉진하기 위해 도전과 지원을 모두 최적화하는 것을 수반한다.

These examples of autonomy support are not novel, and they hearken back to mentoring models of encouraging learner growth through providing optimal challenge and support.38 When supervisors provide high challenge with no support, this may lead to learner retreat or even burnout. On the other hand, when supervisors provide high support with no challenge, this can lead to confirmation without learner growth.38 Providing autonomy support entails optimising both challenge and support to facilitate the needs of competence, relatedness and autonomy.

슈퍼비전의 자율성 지원을 한발 더 나아가면, 자율지원이 어떻게 다른 유형의 감독에 정보를 줄 수 있는지를 가시화할 수 있다. 감독 유형에 대한 이전의 논의로 돌아가서, 전공의는 '마이크로 매니저'에서 '부재자'까지 감독 범위를 파악했다. 이 두 극단 모두 자율성을 지지하지 않는다.

• [마이크로 매니저]는 레지던트 선택권을 제공하지 않는 반면,
• [자리 비운 주치의]는 의학적 의사결정에 대한 선택을 서포트하지는 않으면서 독립성만을 제공한다.

Taking the application of autonomy support to supervision a step further, we can visualise how autonomy support can inform different types of supervision. Going back to our previous discussion of types of supervision, residents identified a spectrum of supervision from ‘micro-manager’ to ‘absentee’ attending.27 Neither of these extremes are autonomy-supportive.

• The micro-manager does not provide resident choice, while
• the absentee attending provides independence with no support for choice over medical decision making.

우리는 감독에 대한 이해를 높이기 위해, 감독 범위에 대한 [자율적 지원]의 유무와 ['핸즈 온'에서 '핸즈 오프']로 오버레이할 수 있다. 이는 적절한 자율성 지원을 받는 'hands-on' 접근 방식이 코칭 관계로 이어지는 반면, 자율 지원에 대한 'hands-off' 접근 방식은 동료와의 상호작용에서 확인할 수 있음을 보여줍니다(그림 2). 자율성 지지적, 핸즈 온 감독의 좋은 예는

• 학습자의 요구를 평가하고,
• 학습자에게 적절히 첼린지하며,
• 학습자가 의사 결정을 내리고 자신의 추론을 탐구하도록 하고,
• 개입할 때 허락을 먼저 받고, 임상 진료를 롤 모델하는 것.

이렇게 해야만, 마이크로 매니징에서 자율성-지지적, 핸즈-온 슈퍼비전으로 나아갈 수 있을 것이다.

We can overlay the presence or absence of autonomy support on this spectrum of supervision from ‘hands on’ to ‘hands off’ to augment our understanding of supervision.29 This demonstrates how a ‘hands-on’ approach with appropriate autonomy support can lead to a coaching relationship, while a ‘hands-off’ approach to autonomy support can be seen in the interaction of colleagues (Figure 2). A great example of autonomy-supportive, hands-on supervision is a faculty member who

• assesses learners’ needs,
• challenges learners appropriately,
• pushes learners to make decisions and probes their reasoning, and
• asks permission to step in and role model aspects of clinical care.39 

These strategies help to differentiate autonomy-supportive, hands-on supervision from micromanaging in the clinical training environment.

4.2 의료교육 자율지원 및 지도
4.2 Autonomy support and coaching in medical education

의학 교육 문헌에서 슈퍼비전에 대한 자율성 서포트가 적용되는 모습을 암묵적으로 볼 수 있는 한 곳은 피드백과 코칭에 대한 현재의 논의이다. SDT를 렌즈로 사용하는 것은 [시기적절하고 건설적인 피드백의 제공]이 의학 교육에서 역량의 감정을 뒷받침하는 데 매우 중요하며 자율적 지원과 연계되면 더 높은 형태의 자율 규제를 촉진할 수 있다. 학습을 위한 평가AfL 및 형성적 피드백이 CBME의 목표이지만, 평가에 대한 학습자의 인식이 효과적인 피드백 제공을 통해 학습자 개발을 방해할 수 있는 평가와 피드백 사이에는 단절이 남아 있다. 이러한 과제를 해결하기 위해 감독자와 학습자가 피드백을 탐색하고, 목표를 설정하고, 피드백을 받고, 이를 실천에 통합하는 [피드백 협업 모델]을 지원하는 의학 교육 관련 문헌이 증가하고 있다. 

One place we implicitly see the application autonomy support to supervision in the medical education literature is the current discussions on feedback and coaching. Using SDT as a lens, the provision of timely and constructive feedback is crucial to supporting feelings of competence in medical education,35 and when linked to autonomy support can promote higher forms of self-regulation.36 While assessment for learning and formative feedback are goals of CBME,40 there remains a disconnect between assessment and feedback, where learner perceptions of evaluation may hinder learner development through the provision of effective feedback.41 To address these challenges, there is a growing body of literature in medical education supporting a collaborative model of feedback, where the supervisor-as-teacher and learner are engaged in seeking, setting goals for, receiving and integrating feedback into practice.42-47 

그러나 양질의 피드백을 구현하고 교사와 학습자를 피드백 대화에 참여시키는 것에는 중대한 과제가 남아 있다. [학습자와의 관계 형성]에 참여하고 투자하는 교수진과의 관계 발전과 참여에 대한 더 큰 관심은 피드백 대화의 질을 향상할 수 있는 가능성을 가지고 있습니다. [피드백 대화]라는 개념은 [교사와 학습자 간 양질의 형성적 피드백 대화를 촉진하기 위한 특정한 형태의 협력 관계]로서 코칭을 도입시켰다. CBME의 공식적인 부분은 아니지만, 코칭은 학습자의 역량 개발을 지원하기 위한 수단으로서 설득력을 얻고 있으며, 캐나다 왕립의과대학은 CanMEDS의 역할을 보완하기 위한 코칭 모델까지 개발했습니다. 
Yet, there remain significant challenges to implementing high-quality feedback and engaging teacher and learner in feedback conversations.48 Greater attention to relationship development and engagement, with faculty members who are involved and invested in building relationships with learners, hold promise for improving the quality of feedback conversations.47, 48 The concept of feedback conversations has led to the introduction of coaching as a specific form of collaborative relationship to promote high-quality, formative feedback conversations between teacher and learner.49-55 While not a formal part of CBME, coaching is gaining traction as a means to support developing competence in learners, and the Royal College of Physicians and Surgeons of Canada has even developed a model of coaching to complement the CanMEDS roles.49 

https://www.royalcollege.ca/rcsite/cbd/implementation/wbas/coaching-and-cbd-e

코칭에 대한 개념적 프레임워크는 임상 코치와의 작업으로부터 도출되었으며, 코칭 모델은 관계 형성을 지원하고 피드백 대화를 용이하게 하기 위해 특별히 개발되었다. 의학 교육 내 코칭의 개념화를 살펴보면 SDT(표 2)에서 도출한 '자율정 지원autonomy support'과 상당 부분 겹친다. '자율성 지원'의 개념은 '교육적 파트너십'으로 의료교육에서 코칭 및 피드백 대화의 개념을 통합한다.1 역량 개발 및 통합 직업적 정체성 형성을 촉진하기 위해 CBME 내에서 코칭 통합의 타당성에 대한 논쟁이 남아있지만, SDT 개념을 코칭에 적용하면 전문적 정체성 형성을 지원하기 위한 임상 학습 환경에서 코칭에 추가적인 신빙성을 제공할 수 있다.

A conceptual framework for coaching has been derived from work with clinical coaches50 and models of coaching have been developed specifically to support relationship-building and facilitate feedback conversations.51-53 When we examine the conceptualisation of coaching within medical education, we see significant overlap with ‘autonomy support’ derived from SDT (Table 2). The conceptualisation of autonomy support as an ‘educational partnership’ unifies the concepts of coaching and feedback conversations in medical education.1 Although there remains debate about the feasibility of integrating coaching within CBME to promote the development of competence and the formation of an integrated professional identity,54, 55 applying SDT concepts to coaching can provide additional credence to coaching in the clinical learning environment to support professional identity formation.

의사 개발로 돌아가면, 우리는 의학교육에서 자율성 지원의 역할을 '통합'을 지지하는 것으로 본다. 이 '통합'은 '동일시되었던 규제가 자신의 다른 가치 및 요구와 일치하도록 평가되고 받아들여졌다는 것'을 의미한다. 이 통합의 과정은, 자율성 지원과 합해졌을 때, 의학교육에서 말하는 명시적 목표인 PIF에 부합한다 - 즉 미래 의사라는 정체성에 전문직의 가치와 태도를 통합하는 것을 반영한다. 의학교육에서 PIF는 멘토와 경험에 의해 영향을 받고 성찰에 의해 중재되는 사회화 과정이다.7 전공의에게 진정한 책임을 주고, 환자진료를 위한 실질적인 의사결정을 하게 만듦으로써 환자 진료에서 전공의의 자율성과 참여도를 높이고, [환자 진료를 둘러싼 책임과 오너십의 가치]를 중심으로 정체성이 형성되도록 지원할 수 있다. 코칭은 의학 교육에서 전문적인 정체성 형성을 위한 이상적인 환경을 제공합니다. 코칭 모델을 SDT 원칙과 일치시키면 교수 감독관이 학습자에 대한 자율적 지원을 제공하고 핵심 역량을 전문적 정체성 형성에 대한 전체론적 관점으로 통합하는 임상 감독 내에서 관계 형성에 대한 정보를 제공할 수 있습니다.

Circling back to physician development, we see the role of autonomy support in medical education as supporting ‘integration’, which occurs when ‘identified regulations are fully assimilated to the self, which means they have been evaluated and brought into congruence with one's other values and needs’.32 This process of integration, supported by autonomy, echoes the stated goal of PIF in medical education—the incorporation of the values and attitudes of the professional into the identity of the aspiring physician.56 PIF in medical education is a socialisation process that is influenced by mentors and experiences and moderated by reflection.7 Engaging residents by providing real responsibility and supporting them to make real decisions for patient care increased residents’ autonomy and engagement in patient care, supporting identity formation around the values of responsibility and ownership for patient care.8 Coaching offers an ideal setting to foster professional identity formation in medical education.54 Aligning coaching models with SDT principles can inform relationship-building within clinical supervision, where faculty supervisors provide autonomy support for learners and facilitate the integration of core competencies into a holistic view of professional identity formation.

요약하자면, 독립성과 감독에 대한 전통적인 개념을 넘어, 자율성의 동기 부여와 발달적 개념화를 포함하는 것으로 자율성을 확장한다면 감독자와 훈련생 사이의 미묘한 관계를 검토할 수 있는 렌즈를 제공한다. 감독의 양quantity이 학습자 자율성에 역할을 하는 반면, 감독관은 코칭과 같은 감독 모델을 통해 교육생들에게 자율성 지원을 할 수 있고, 수련기간동안 직업의 규범과 가치를 통합할 수 있는 기회를 제시할 수 있다. 자율성 지원은 감독관이 [(독립성을 높이고 감독을 줄이는) 게이트키퍼 역할]에서 [발달 과정에서 교육생의 가이드 역할]로 바꿔준다.
In summary, expanding autonomy beyond traditional notions of independence and supervision to include a motivational and developmental conceptualisation of autonomy provides a lens to examine the nuanced relationship between supervisor and trainee. While the quantity of supervision does play a role in learner autonomy, supervisors can provide autonomy support to trainees through models of supervision like coaching and present opportunities for integration of the norms and values of the profession throughout training. Providing autonomy support moves supervisors from the role of gatekeeper of increasing independence and decreased supervision, to the role of guide for trainees through the developmental process.

4.3 의학교육 연구의 자율성 및 감독
4.3 Autonomy and supervision in medical education research

SDT를 사용하여 자율성을 개념화하는 것은 몇 가지 가능한 연구 질문을 제공한다.

• 첫째, 감독자의 어떤 행동이 교육생들로 하여금 자율성을 인식하게 하는가? 이것은 단순화된 감독 개념과 자율성 사이의 연관성을 찾는 것에서 벗어나 이러한 개념의 복잡성을 탐구하는 것으로 옮겨진다.
• 둘째, 훈련 프로그램은 임상 교육과 자율성 지원을 어떻게 통합합니까? 학습자 동기를 포함한 정서적 영역은 의학 교육 내의 커리큘럼 개발에서 종종 간과된다. 연구자들은 훈련 프로그램이 코칭과 같은 자율지원 모델을 임상훈련에 어떻게 통합할 수 있는지를 이해하기 위해 임상훈련의 구조를 계속 검토할 필요가 있다.
• 마지막으로, 교수가 자율성 지원을 더 잘 하도록 어떻게 훈련시킬 수 있을까요? 임상 학습 환경에서 자율적 감독을 위한 교수진 개발에 대한 더 많은 연구가 필요하다.

임상 교육 내 자율 지원의 중요성과 통합에 대한 연구는 의료 교육에서 자율 지원의 역할에 대한 광범위한 이해를 제공하기 위해 학습자 궤적, 전문 분야 및 기관에 걸쳐 다양한 환경에서 연구되어야 한다.

Conceptualising autonomy using SDT offers several possible research questions.

• First, what supervisor behaviours lead to trainees’ perceptions of autonomy? This moves research away from seeking associations between simplified notions of supervision and autonomy to exploring the complexity of these concepts.
• Second, how do training programs integrate autonomy support into clinical teaching? The affective domain, including learner motivation, is often overlooked in curriculum development within medical education.57 Researchers need to continue to examine the structure of clinical training to understand how training programmes can integrate models of autonomy support, like coaching, into clinical training.
• Lastly, how do we train faculty to be more autonomy-supportive? More research is needed on faculty development for autonomy-supportive supervision in the clinical learning environment.

Research on the importance and integration of autonomy support within clinical teaching should be studied in diverse settings, across learner trajectories and across specialties and institutions, to provide a broad understanding of the role of autonomy support in medical education.1

5 결론
5 CONCLUSIONS

임상 환경에서 교육생의 성장과 발전을 위해서는 자율성이 중요하다. 의사, 교육자, 연구자가 발전하는 과정에서 자율성의 역할을 더 잘 이해하기 위해서는 [감독과 자율성의 관계]에 대한 생각을 [순수한 역관계]가 아니라, [학습자에게 자율성을 늘이거나 줄이는 '슈퍼비전'을 제공하는 방법을 인식]하는 것으로 확장해야 한다. 그럼으로써 배움과 성장을 위한 동기부여에 영향을 줄 수 있을 것이다.

Autonomy is critical for the growth and development of trainees in the clinical environment. To better understand the role of autonomy in the developing physician, educators and researchers need to expand their thinking about the relationship between supervision and autonomy, from a purely inverse relationship to one that recognises ways of providing ‘supervision’ that can give learners more or less autonomy and thereby affect their motivation to learn and grow.

SDT는 자율성을 보편적인 심리적 욕구로 분류하고 동기를 강화하고 직업의 규범과 가치를 통합된 행동 규제로 내실화하는 것을 촉진하기 위해 학습자 자율성을 지원하는 것의 중요성을 강조한다. 의료교육 분야가 지속적으로 발전함에 따라 SDT는 교육자와 연구자가 피드백과 코칭 영역에서 자율지원의 역할을 이해할 수 있는 틀을 제공할 수 있어 학습자 중심의 교육 및 전문적 정체성 형성에 대한 CBME의 약속을 이행하고자 함에 따라 교육현장의 발전을 도울 수 있다. 지도자의 적절한 양과 질과 연계하여 자율적 지원을 함으로써 학습자가 전문적 정체성이 잘 발달되어 있고 상호의존적인 의술을 실천할 준비가 되어 있는 의사로 발전하는 것이 촉진될 것이다.

SDT classifies autonomy as a universal psychological need and highlights the importance of supporting learner autonomy to enhance motivation and facilitate the internalisation of the norms and values of the profession into an integrated regulation of behaviour. As the medical education field continues to develop, SDT can provide a framework for educators and researchers to understand the role of autonomy support in the areas of feedback and coaching, helping to move the field forward as it seeks to fulfil the promises of CBME for learner-centred education and professional identity formation. Providing autonomy support in connection with appropriate quantity and quality of supervision will facilitate the development of learners into a physician with a well-developed professional identity and ready for the interdependent practice of medicine.

© 2021 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

표상, 상호작용, 해석. 임상추론 이해하기 (Med Educ, 2022)
Representation, interaction and interpretation. Making sense of the context in clinical reasoning
Charilaos Koufidis1,2 | Katri Manninen1,3 | Juha Nieminen1 | Martin Wohlin4 | Charlotte Silén1

1 | 소개
1 | INTRODUCTION

모든 사고는 일종의 맥락에서 일어나고, 그래서 맥락과 임상적 추론 사이의 관계를 중요한 문제로 만든다. 그러나 1-3 맥락은 의학 교육에서 악명높게 모호하고 논쟁적인 의미를 갖는다. 우리는 우리의 맥락에 너무 익숙해서 문자 그대로 우리에게 보이지 않게 된다. 맥락에 대한 다양한 해석이 제시되었다. 컨텍스트는 임상 상황의 상호작용 패턴의 상호작용, 활동의 신생 산물 또는 개인을 둘러싼 요소 등 서로 다른 요소를 '함께 엮는' 직물로 정의되기도 했다. (의료 사례 또는 물리적 환경의 임상 플롯을 구성하고, 헌신과 참여를 동원(또는 그렇지 않음)하는 것의 중요성과 같은) 맥락의 특정 측면을 강조하는 연구자도 있다.

All thinking occurs in some sort of context, rendering the relation between context and clinical reasoning a matter of significant interest. 1-3 Context, however, has a notoriously vague and contested meaning in medical education. We are so accustomed to our contexts that they literally become invisible to us.4 Various interpretations of context have been put forward.

• Context has been defined as a fabric ‘weaving together’ the different elements of the clinical situation,2 an interplay of dynamically interacting patterns,4 an emergent product of activity or an element surrounding the individual.5
• Others have emphasised particular aspects of context such as constituting the clinical plot of a medical case or the physical settings and its importance in mobilising (or not) commitment and engagement.6,7

맥락에 기인하는 이 의미에서의 심오한 불일치는 실망스러울 수 있지만, 놀랄 일은 아니다. 실제로, 임상 추론은 인지 심리학, 의학 인류학 또는 의학 사회학과 같은 다양한 학문 분야에서 주장하는 연구 대상을 구성한다. 각 분야는 임상적 추론을 이해하기 위한 합법적인 방법인 특정 세계관을 수용하는 다양한 상충하는competing '연구 전통'을 수용하며, 타당한 연구 질문 및 방법론뿐만 아니라 사고, 가치, 이론 및 개념의 뚜렷한 습관에 의해 제한된다. 연구 전통은 (암묵적으로든 명시적으로든) 지식의 본질과 관련된 근본적인 인식론적 가정에 기초한다. 이러한 '지도 가정guiding assumption'은 무엇을 지식으로 간주할 것인지를 결정할 뿐만 아니라, 지식 창조를 위한 합법적인 방법론을 지지한다. 
This profound disaccord in the meaning ascribed to context may be frustrating, but should come as no surprise. Indeed, clinical reasoning constitutes an object of study claimed by diverse academic disciplines, such as cognitive psychology, medical anthropology or medical sociology. Each discipline accommodates various competing ‘research traditions’ each embracing a certain worldview, a legitimate way of understanding clinical reasoning, bounded by distinct habits of thinking, values, theories and concepts as well as valid research questions and methodologies.8 These research traditions are grounded, tacitly or explicitly, on fundamental epistemological assumptions concerning the nature of knowledge and knowing. Such ‘guiding assumptions’8 not only authorise what counts as knowledge but also endorse legitimate methodologies for knowledge creation.9

[인식론적 주장]은 서로 다른 연구 전통이 어떻게 임상적 추론과 결과적으로 맥락을 개념화하는지 중요하게 결정한다. 맥락에 관한 우리의 이해를 증진시키기 위해서는 임상적 추론의 인식론적 토대를 고려해야 한다. 이런 점에서 맥락은 고정된 실체와는 거리가 멀다. 대신, 맥락의 의미는 다양한 연구 전통의 담론 내에서 능동적으로 생산, 협상 및 정당화된다.10 맥락의 의미를 이해하는 것은 임상적 추론이 개념화되는 방법에 대한 이해가 필요하다. 
Epistemological claims determine importantly how different research traditions conceptualise clinical reasoning and consequently context. Advancing our understanding regarding context requires then taking the epistemological underpinnings of clinical reasoning into consideration. Context, in this respect, is far from being a fixed entity. Instead, its meaning is actively produced, negotiated and legitimised within the discourses of different research traditions.10 Understanding the meaning of context necessitates understanding of how clinical reasoning is conceptualised.11

1.1 | 왜 맥락이 정말 중요한가?
1.1 | Why does context really matter?

최근 몇 년 동안, 많은 연구자들은 맥락을 다룰 것을 요구해 왔다.  그러나 우리는 맥락이 임상적 추론에 미치는 영향(또는 그렇지 않은)을 조사하는 경험적 증거는 맥락에 기인하는 의미에 대한 참조 없이 해석될 수 없다고 주장한다. 또한 맥락을 이해하는 것은 (한 상황에서 임상적 문제의 성공적인 수행이 다른 상황에서 성공적인 수행을 제대로 예측하지 못하는) 맥락 특이성이라는 널리 관찰되는 현상에 중요한 영향을 미친다. Eva가 언급했듯이, 맥락 특이성은 중요한 문제를 제기한다. 인지 능력(임상 추론 포함)이 정말로 고정된 성향인지 아니면 오히려 맥락에 묶인 상태인지의 역량에 대한 평가에 대한 공명적인 함의를 지니기 때문이다. 이 이슈는 분명히 많은 관심을 끌었다.  우리는 앞으로 나아가는 길이 맥락의 의미를 관점에 두는 것을 수반한다고 주장한다. 마지막으로, 의료 교육에서 학습 환경의 다양화가 증가하는 시대에 맥락을 조사하면 이러한 다양한 학습 맥락이 임상 추론 학습에 미치는 잠재적 영향을 발견할 수 있다.4
In recent years, many researchers have called for addressing context. 3,12,13 We argue, however, that empirical evidence examining the impact (or not) of context on clinical reasoning cannot be interpreted without reference to the meaning ascribed to context. Furthermore, making sense of context has important implications for the widely observed phenomenon of context specificity where successful performance in a clinical problem in one situation is poorly predictive of successful performance in a different situation.14,15 As Eva remarks, context specificity raises a crucial matter with resonating implications for the assessment of competences of whether cognitive skills (including clinical reasoning) are indeed stable dispositions or rather context-bound states.14 This issue has obviously attracted much attention. 13,14,16 We argue that the path forward involves putting the meaning of context into perspective. Lastly, in an era of growing diversification of learning environments in medical education, examining context could reveal the potential implications these diverse learning contexts have on the learning of clinical reasoning.4

2 | 맥락의 인식론적 차원
2 | EPISTEMOLOGICAL DIMENSIONS OF CONTEXT

임상 추론과 관련된 맥락의 세 가지 주요 인식론적 차원을 제안한다; '표상', '상호작용', '해석'이며, 이 셋은 각각 '앎의 근본적인 패턴'에 해당한다. (그림 1) 각 차원 아래에서, 우리는 임상 추론(특정 연구 전통에 해당하는)의 주요 이론을 식별한다.인식론적 주장에 따라 그림 삼각형 안에 배치한다(그림 2). 표 1과 2는 중요한 점을 요약하고 있다. 이론은 정적인 구조가 아니라 끊임없이 발전하고 수정되고 다른 방식으로 해석된다. 이 점에서, 그림 2에서 삼각형 내부의 다른 이론들의 위치는 정확한 좌표로 이해되지 않고 대략적인 근사치로 이해되어야 한다.

We suggest three main epistemological dimensions of context in relation to clinical reasoning; ‘Representation’, ‘Interaction’ and ‘Interpretation’, each of them corresponding to ‘fundamental patterns of knowing’.18 (Figure 1) Under each dimension, we identify the main theories of clinical reasoning (corresponding to particular research traditions) and position them inside the illustrated triangle, according to their epistemological claims (Figure 2). Tables 1 and 2 summarise important points. Theories are not static constructs but are constantly advanced, modified and interpreted in different ways. In this respect, the positions of different theories inside the triangle in Figure 2 should not be understood as exact coordinates but as rough approximations.

3 | 표상 차원
3 | REPRESENTATIONAL DIMENSION

(임상추론에 관한) 지배적인 사고방식은 인지과학의 문제해결 전통에서 비롯되며 임상추론을 범주화categorization 행위로 간주한다. 의사는 질병의 두드러진 특징을 인식하며, 이는 결국 이러한 특징에 가장 잘 맞는 해당 범주의 장기 기억에서 호출을 활성화한다. 패턴 인식은 비분석적 추론의 근간이며, 의사가 '특정한 종류의 자극과 사건에 대하여 [이전 경험에서 얻은 지식]으로부터' 귀납적 추론을 할 수 있게 한다. 이는 (과거의 지식이) '미래의 유사한 자극과 사건에 대한 의미를 부여하고 기대를 유도'하기 때문이다. 비분석적 추론은 이전에 접한 환자에서 관찰된 특징을 기반으로 새 환자에 대한 예측(예측)을 가능하게 한다.
A dominant line of thought originates from the problem-solving tradition in cognitive science and considers clinical reasoning an act of categorisation. The physician recognises salient features of a disease, which, in turn, activates the recall from long-term memory of the corresponding category that best fits these features.19,20 This pattern recognition constitutes the basis of non-analytical reasoning, affording the physician to make inductive inferences from knowledge acquired ‘from previous experience with respect to a given class of stimuli and events’ which ‘gives meaning and guides anticipation with respect to similar stimuli and events in the future’.21 Non-analytical reasoning enables making a prediction (diagnosis) for a new patient based on features observed in previously encountered patients.

인지과학의 많은 연구는 [장기 기억에 과거경험을 구성할 책임이 있는 인지 구조]를 식별하는 데 집중되어 왔다. 이러한 인지 구조 또는 정신적 스키마는 특정한 방식으로 조직된 이전 경험의 정신적 표현을 구성한다. 프로토타입, 예시, 의미론적 한정자 및 질병 스크립트는 정신적 표현이 기억에서 조직되는 방법에 대한 다른 접근 방식을 나타낸다. 

Much work in cognitive science has concentrated on identifying the cognitive structures responsible for the organisation of past experience in long-term memory. Such cognitive structures, or mental schemas, constitute mental representations of previous experiences organised in particular ways. Prototypes, exemplars, semantic qualifiers and illness scripts represent different approaches to how mental representations are organised in memory.19,20,22,23

모든 추론이 비분석적인 것은 아니다. 멘탈 스키마와는 별개로, 연구자들은 이러한 도식을 회수하고 변형시키고 저장하는 인지 과정의 존재를 가정해 왔다. 예를 들어, [가설연역적사고]에서 진단 문제는 초기 가설을 추론하거나 반박하기 위해 후속 임상 데이터 수집을 결정하는 제한된 수의 잠정 가설의 생성에 의해 초기에 해결된다. 최근 몇 년 동안 분석 경로와 비분석 경로를 모두 수용하는 [이중 프로세스 이론]이 인기를 얻고 있다. 이중 프로세스 이론은 별개의 연구 전통, 즉 범주화로서의 진단이 아닌 불확실성 조건에서의 의견 수정과 관련된 행동적 의사결정 연구로부터 비롯된다. 이 이론들은 두 가지 마음의 공존을 가정한다; 하나는 암묵적이고, 빠르고 직관적이며, 다른 하나는 분석적이고, 노력적이며, 의식적이다. [이중 프로세스]와 [지식 조직 이론] 간의 중복이 논의되고 있는 가운데, 두 연구 전통 모두에서 의사가 [진단 문제에 직면할 때 분석적 전략과 비분석적 전략을 번갈아 사용한다]는 공감대가 증가하고 있다. 
Not all reasoning is non-analytical. Apart from mental schemas, researchers have postulated the existence of cognitive processes that retrieve, transform and store these schemas.24 In Hypothetico-deductive thinking, for example, a diagnostic problem is solved by the generation initially of a limited number of tentative hypotheses that determine subsequent clinical data collection to deduce or refute these initial hypotheses. In recent years, dual-process theories embracing both analytical and non-analytical pathways have gained increasing popularity. Dual-process theories originate from a separate research tradition, namely behavioural decision-making research that is not concerned with diagnosis as categorisation, but as opinion revision under conditions of uncertainty.25,26 These theories postulate the coexistence of two minds; one tacit, rapid and intuitive, and the other analytical, effortful and conscious.27 While the overlap between dual-process and knowledge organisation theories is debated,28 there is growing consensus in both research traditions that physicians employ analytic and non-analytic strategies interchangeably when facing a diagnostic problem.15

이 두 이론 사이에는 이 글의 범위를 벗어난 중요한 차이점이 있다. 그럼에도 불구하고, 두 이론 모두 [정신적 표상으로 재구성된 외부적이고 미리 주어진 세계의 존재]를 암묵적으로 인정하기 때문에 공통의 인식론적 토대를 공유한다. 실용주의 철학자 리처드 로티는 '저 밖에서 일어나는 일'과 '머리에서 일어나는 일' 사이의 정신세계의 이분법을 훌륭하게 표현했다.
There are significant differences between these two theories that are beyond the scope of this article. Nevertheless, they share common epistemological ground as both implicitly acknowledge the existence of an external, pre-given world, reconstructed in mental representaions.29 The pragmatist philosopher Richard Rorty wonderfully articulated this mind-world dichotomy between ‘stuff happening out there’ and mental operations ‘inside the head’:30

아는 것은 마음 밖에 있는 것을 정확하게 표현하는 것이다. 그러므로 지식의 가능성과 본질을 이해하는 것은 마음이 그러한 내적 표현을 구성할 수 있는 방법을 이해하는 것이다. 
To know is to represent accurately what is outside the mind; so to understand the possibility and nature of knowledge is to understand the way in which the mind is able to construct such [internal] representations.31

이러한 관점에서, 연구는 의사가 머리(마음) 속에 [어떻게 미리 주어진 세계를 표현하고 그러한 표현에 따라 행동하는지에 대한 본질적인 '원리']를 풀기 위해 노력한다. 이러한 원칙은 엄격하게 통제된 실험 조건에서 개별 변수를 체계적으로 조작함으로써 구현된다. 실험 방법의 근거는 맥락을 환원하고 통제하여 조사 중인 특정 정신 과정에 대한 자극으로만 작용하도록 하는 것이다. 인지적 연구가 맥락의 영향을 완전히 거부한다고 주장하는 것은 불공평할 것이다. 그러나 맥락은 연구하는 정신적 과제에 대한 자극(입력)과 관련이 있는 범위 내에서만 중요한 것으로 다뤄진다. 일부에서는 '일부 맥락은 종종 [인지의] 구성요소를 평가하는 데 요구되지만, 그러한 맥락이 얼마나 복잡해야 하는지에 대한 경계는 항상 존재한다'고 주장한다. 맥락은 단순해야 하고 연구 중인 인지 과제와 관련이 있어야 한다. 이러한 관점에서 자연주의적 환경에서 추론을 공부하는 것은 기껏해야 문제가 있다. '실제' 복잡성이라는 환원되지 않은 맥락은 '현상이 복잡할수록 통제된 조건에서 연구할 필요성이 커지고 자연적 복잡성은 더 적어진다'는 관점을 병렬적으로 강조하는 너무 광범위하고 비특이적인 자극으로 작용할 것이다.33 더욱이 그러한 (실제의) 복잡성은 작업기억력을 압도하고 학습을 손상시킬 위험이 있다. 이 환원되지 않은 형태의 맥락은 필연적으로 노이즈로 무시된다.
From this perspective, research endeavours to unravel the essential ‘principles’ of how the physician's mind represents the pre-given world and acts upon such representations. These principles are carved out by systematically manipulating individual variables under tightly controlled experimental conditions. The rationale of the experimental method is to reduce and control context so that it acts solely as a stimulus for the particular mental process under investigation. It would be unfair to claim that cognitive studies reject the impact of context entirely. Context, however, assumes significance inasmuch as it is relevant as a stimulus (input) for the mental task under investigation. As some claim ‘while some context will often be required to assess a component [of cognition], there are always bounds on how complex such a context need be’.32 Context should be kept simple and relevant to the cognitive task under study. From this point-of- view, studying reasoning in naturalistic settings is problematic at best. Unreduced context from ‘real-life’ complexity would serve as a too broad, non-specific stimulus eliciting a multitude of mental operations in parallel underlining the view that ‘the more complex a phenomenon, the greater the need to study it under controlled conditions, and the less it ought to be studied in its natural complexity’.33 Furthermore, such complexity risks overwhelming working memory and impair learning. Context in this non-reduced form is inevitably disregarded as noise.34

[인지 과학의 전통을 따르는 임상 추론 연구]는 주로 엄격하게 조작된 실험 조건에서 수행되며, 여기서 맥락은 환원되고 측정 가능한 요소로 객관화된다. 맥락이 인간의 활동 및 인식과 명확하게 경계를 지을 수 있어서, 외부 세계는 '요인화가능factorable'하고 '수량화가능quantifiable'한 특징을 갖는다고 가정한다. 측정 가능한 요소들은 다양한 상황과 문화에 걸쳐 분명한 의미를 갖는 것으로 간주되며, 그것들은 보편적으로 타당하다. 맥락적 요인이 의사의 진단 정확도(문제 해결을 위한 프록시) 또는 규범적 합리성 모델(의사 결정을 위한 프록시)에 미치는 영향을 조사하는 연구가 풍부하다. 정량화 가능한 요인의 예로는 시간 압박, 반복적인 업무 중단, 장애 행동을 가진 환자, 환자의 인구 통계, 의사의 경력 년수, 특정 질병에 대한 미디어 정보에 대한 최근 노출이 포함된다. 
Clinical reasoning research in line with the tradition of cognitive science is predominantly conducted under strictly manipulated experimental conditions, where context is reduced and objectified into measurable factors. Context assumes the quality of a ‘factorable’ and ‘quantifiable’ external world sharply demarcated from human activity and cognition. The measurable factors are regarded as having unambiguous meaning across different situations and cultures; they are universally valid. There is an abundance of studies investigating the impact of contextual factors on physicians’ diagnostic accuracy (proxy for problem-solving) or on prescriptive models of rationality (proxy for decision-making). Examples of quantifiable factors include time pressure,35,36 repeated work interruptions,37 patients with disruptive behaviours,38,39 patients’ demographics, physician's years of experience,40 or recent exposure to media information about a particular disease.41

4 | 상호작용 차원
4 | INTERACTIONAL DIMENSION

최근 몇 년간 다른 관점을 취하는 연구들이 급증하고 있다. 이러한 연구들은 인지주의cognitivism의 정신-세계mind-world 이분법에 대한 강한 회의론을 공유한다. 그들은 대신 인지cognition란 [활동 안에서 자신을 드러내는 것이며, 마음과 세계의 상호작용에 달려있는 것]으로 본다. 그들은 상황성 이론Situativity Theories과 실용주의 철학자 듀이, 제임스, 미드와 심리학자인 바틀렛의 연구에서 이론적 틀을 끌어낸다. [지식]은 [(외부 세계와 뚜렷하게 구분가능한) 정신의 조직화된 인지 구조]에만 존재하는 것이 아니다. 이런 의미에서, 지식은 활동 내에 위치해situated in activity 있기 때문에 세상과 분리될 수 없으며, 오직 마음 세계와의 상호작용을 통해서만 현실화actualized될 수 있다. 알고 행하는 이분법을 극복하는 것은 주어진 상황의 특수성에서 지식과 인지력이 나오는 것을 수반한다. 

Recent years have seen a surge of studies that take a different perspective.2,42-44 These studies share a strong scepticism towards the mind-world dichotomy of cognitivism. They view instead cognition as manifesting itself in activity and as contingent on mind-world interaction. They draw their theoretical framework from Situativity Theories and on the work of the pragmatist philosophers Dewey, James and Mead and the psychologist Bartlett.24,30,45,46 Knowledge is not something solely residing in organised cognitive structures in a mind sharply demarcated from an external world. In this sense, it cannot be divorced from the world as it is situated in activity and can only be actualised through mind-world interaction. Overcoming the dichotomy of knowing and doing entails that knowledge and cognition emerge from the particularities of the given situation.47

이러한 인식론적 변화는 분석 단위를 [개인의 마음]에서 [마음과 환경의 관계]로 이동시키는 것이 분명한 영향을 미친다. [임상적 추론]은 '[머리 속에 저장된 어떤 것(표현 또는 도식)에서 읽어내는 것]이 아니라 [즉석에서 의미를 창조하는 활동]으로 구현된다.48 이것은 상황성 이론가들이 인지 구조의 존재를 부정한다는 것을 의미하지 않는다. 오히려 그들은 이러한 인주구조를 개인과 맥락 사이의 상호작용에 위치시킨다. 환자에게 간호를 제공하는 활동을 의사의 지식과 분리해낼 수 없다. 

This epistemological shift from moving the unit of analysis from the individual mind to the relation between the mind and its environment has clear repercussions. Clinical reasoning embodies an activity of creating meaning ‘on the fly, rather than reading it back from something (representation or schematic) stored in the head’.48 This does not mean that situativity theorists deny the existence of cognitive structures. Rather they place these structures in the interaction between the individual and the context. The physician's knowledge is entangled in the activity of providing care for the patient.49

우리는 위치 인식, 생태 심리학 및 분산 인지뿐만 아니라 위치 학습 및 활동 이론의 개별 연구 전통을 의학 교육의 임상 추론과 관련이 있는 이론으로 식별한다. 그러나 여기서 강조해야 할 것은 그들이 이 글의 범위를 벗어난 정신 세계 상호 작용의 구조에 관한 다양한 주장과 함께 [이론의 집합체agglomeration of theories]를 구성한다는 것이다. 이러한 이질성을 더 잘 설명하기 위해, 그림 2에서 여러가지 상황성 이론들을 삼각형의 '상호작용' 변을 따라 분산해두었다. 예를 들어,

• 활동 이론과 위치 학습과 같은 '해석' 측면에 근접한 이론들은 사회 세계(마음 속의 사회)에 우선권을 부여하며, 다음 절에서 논의될 것이다.
• 생태심리학뿐만 아니라 분산 및 위치 인식은 사회와 정신 사이의 균형 잡힌 위치를 차지하기 때문에 삼각형의 '상호작용' 측면의 중간에 놓이게 된다. 

We identify Situated Cognition,24 Ecological Psychology50 and Distributed Cognition,51 as well as the separate research tradition of Situated Learning and Activity Theory52 as theories having relevance to clincial reasoning in medical education. It should be emphasised here, however, that they make up an agglomeration of theories with varying claims regarding the structure of mind-world interaction, which is beyond the scope of this article. To better illustrate this heterogeneity, the different Situativity Theories have been dispersed accordingly along the ‘Interaction’ side of the triangle accordingly in Figure 2. Those theories placed in proximity to the ‘Interpretation’ side, such as

• Activity Theory and Situated Learning give primacy to the social world (society in the mind), and will be discussed in the following sections.
• Distributed and Situated Cognition as well as Ecological Psychology, discussed in this section, take a balanced position between society and mind and are therefore placed in the middle of the ‘Interaction’ side of the triangle.51

• [상황화된 인지(Situated Cognition)]는 임상적 추론(인지)이 매 순간 환경과의 상호작용에서 나온다고 주장한다.
• [생태심리학]에서 환경은 특정 유형의 개인 활동(이펙티비티)을 결정하지는 않지만, 특정한 가능 조건(어포던스)을 제공한다.
• [분산인식distributed cognition]은 상호작용하는 사람과 인공물의 상호관계에서 임상적 추론이 분산되어, 시스템 자체의 속성이 되는 시스템적systemic 관점을 가정한다. 이 점에서 개개인 수준의 임상 추론은 시스템 수준에서 운영되는 임상 추론의 작은 일부에 불과하다. 
• Situated Cognition argues that clinical reasoning (cognition) emerges from moment-by- moment interaction with the environment. 46
• In Ecological Psychology, the environment provides certain enabling conditions (affordances) that make possible but do not determine certain types of individual activity (effectivities).53
• Distributed Cognition assumes a systemic perspective where clinical reasoning is distributed in the interrelations of interacting people and artefacts, becoming a property of the system itself. In this respect, clinical reasoning at the individual level constitutes only a small piece of clinical reasoning operated at the system level.54

이 세 가지 이론은 분석의 초점은 다르지만, [임상추론은 특정 상황에 특정한 시스템의 다양한 요인(의사, 환자, 인공물, 물리적 환경)의 상호 의존성에 의해 결정된다는 관점]을 공유한다. 이로 인하여 비선형성이 발생하며, 모든 상황(예측 가능성)에서 임상 추론의 성과를 결정하는 데 분명한 한계를 둔다. 
While these three theories differ in their focus of analysis, what they share in common is the view that clinical reasoning is determined by the interdependency of the various factors of the system (physician, patient, artefacts, physical settings) specific to the particular situation. This affords for non-linearity and places clear limitations on determining the outcome of clinical reasoning in every situation (predictability).34

명백히, 이와 같은 인식론적 주장은 [맥락의 의미]에 중요한 함의를 갖는다. [환경]은 그것을 수용reception하는 것이 [자동적으로 특정한 인지 작동을 촉발하는 객관적이고 측정 가능한 입력의 고정된 원천]으로 간주되지 않는다. 환경은 '대리인agent의 행동에 상호작용하고 반응한다'는 의미를 지니기에 활동으로부터 맥락이 창발emerge한다. [에이전트]와 [환경] 간의 이러한 상호관계에서 [컨텍스트]는 [행동성을 가능하게 하거나 제한하는 활동의 공동 구성자]로서 [에이전트와 동등한 기반] 위에 둔다. 다시 말해, 맥락은 ''그냥 그 곳에 존재하는 것'이 아니라, 지금 수행하는 활동의 과정에서 능동적으로 생성, 유지, 집행'되는 것이다.55 이러한 각도에서, 연구자들은 임상 사례의 진단 결과가 의사의 이펙티비티가 문제해결에서 어포던스와 어떻게 관련이 있는지(생태 심리학) 또는 환자-의사 상호 작용의 진단 결과를 변화시키는 상황적 요인(상황 인지)은 무엇인지 연구했다.

Invariably, such epistemological claims have significant consequences for the meaning of context. The environment is not regarded as a fixed source of objectified and measurable inputs whose reception triggers cognitive operations. Context emerges from activity in the sense that the environment ‘is instead interactive and responsive to the agent's actions’.46 This reciprocity between agent and environment places context on equal footing with the agent as a co-constructor of the activity whereby context enables or restraints this acticity.2 Context in other words ‘isn't just there, but is actively produced, maintained, and enacted in the course of the activity at hand’.55 From this angle, researchers have investigated how the diagnostic outcome of a clinical case is related to the idiosyncratic attunement of the particular affordances with the effectivities of the physician solving it (Ecological Psychology) or to the contextual factors that alter the diagnostic outcome of patient-doctor interaction (Situated Cognition).12,56,57

4.1 | 표상과 상호작용의 교차로
4.1 | Crossroads of representation and interaction

자연주의 의사 결정(NDM)은 일상 생활에서의 의사 결정을 조사하는 뚜렷한 연구 전통이다. NDM에서 더 잘 알려진 이론적 프레임워크 중 하나는 Klein의 인식 기반 의사결정 모델(RPD)로, 불확실한 조건에서 복잡한 실제 상황을 관리하는 소방관, 군인, 중환자 간호사와 같은 전문가에 대한 경험적 연구를 기반으로 한다. RPD 모델에 따르면, 의사들은 [이전의 경험으로부터 형성된 광범위한 정신적 도식의 레퍼토리]를 이용한다. 눈앞에 닥친 상황에 맞는 스키마가 직관적으로 활성화된다. 이러한 스키마를 통해 실무자는 스키마에 인코딩된 인과 관계 패턴, 적절한 목표 및 실행 계획을 제안함으로써 상황을 이해할 수 있다. 스키마가 채택되기 전에 실행 계획의 적합성을 평가한다. 추론은 두 단계적biphasic 특성을 가지고 있다: 초기에는 관련성있는 스키마를 직관적으로 '숙련된 인식'을 하고, 그 다음에 의도적인deliberate 평가 행동이 뒤따른다.
Naturalistic decision-making (NDM), is a distinct research tradition examining decision-making everyday practice settings.58,59 One of the better known theoretical frameworks in NDM is Klein's recognition-primed decision model (RPD),60 based on empirical work on experts such as firefighters, military personnel and intensive care nurses managing complex real-life situations under conditions of uncertainty. According to the RPD model, practitioners draw on a wide repertoire of mental schemas formed from previous experience. Schemas fitting the situation at hand are intuitively activated. Such schemas enable practitioners to make sense of the situation, by suggesting patterns of causal relations, appropriate goals and action plans encoded in the schema itself. The suitability of the action plan is assessed before the schema is adopted. Reasoning has a biphasic character: an initial intuitive ‘skilled recognition’ of the appropriate schema followed by a deliberate act of assessment.

NDM은 두 인식론적 차원 사이의 교차로에 있다.

• [외부세계의 경험이 지식구조(정신체계)에 통합된다는 것]을 주창함으로써 [마음-세계의 이분법을 인정하고, 앎에 대한 표상적 관점represenational view]을 수용한다. 이에 따라, NDM은 일반화될 수 있는 인지적 규칙과 원칙을 만들어내기 위해carve out 노력한다.
• 반면, 실험심리학과는 구별되는 점은 [행동의 역할role of action을 강조함으로써, 맥락이 인식에 미치는 영향을 인정한다]는 것이다. 인식은 인식이 발생하는 환경과 분리될 수 없다. 60 

NDM lies at the crossroads between two epistemological dimensions.

• It acknowledges the mind-world divide and embraces a representational view of knowing by advocating that the experience of an external world becomes consolidated in knowledge structures (mental schemas). Likewise, it strives to carve out generalisable cognitive rules and principles.
• On the other hand, it distinguishes itself from experimental psychology in the sense that it recognises the pervasive impact of context on cognition by emphasising the role of action. Cognition cannot be separated from the environment inside which it occurs.60

전문가들은 잘 정의되지 않는 복잡한 문제에 직면하게 되는데, 이 때 시간은 제한되어있고, 정보는 불완전하다. 따라서 목표는 종종 상충하거나 변화하며, 깔끔하게 떨어지는 명확한 해결책은 없다. 61 전문가가 해결해야 하는 문제는 본질적으로 복잡하고, 변덕스럽고, 역동적인 불확실성의 조건에서 작동한다. 이러한 측면에서 임상추론은 [특정 맥락에서 최선의 정당화된 조치를 취하는 것]이 된다.64 실험적으로 통제된 환경에서 그러한 인지 프로세스를 연구하면 이러한 자연적 복잡성이 인지에 어떻게 영향을 미치는지를 등록할 수 있는 기회가 박탈된다.

Experts face ill-defined complex problems, under time constraints, with only incomplete information, thus burdening them with often competing or shifting goals and no clear-cut solutions.61 They operate, under conditions of uncertainty that are inherently complex, volatile and dynamic.62,63 Clinical reasoning in this respect involves taking the best justified action in a specific context.64 Studying such cognitive processes in experimentally controlled settings deprives the opportunity to register how this natural complexity impinges on cognition.

[인지 과학과 NDM의 차이]는 실험실의 생태학적 타당성에 대한 단순한 방법론적 논쟁을 넘어선다. 그것은 맥락의 중요성과 관련된 두 가지 뚜렷한 연구 전통 사이의 깊은 불화를 강조한다. NDM 연구에서, [더 높은 인지 기능을 실행으로 옮기도록 만들어주는 것]은 [완전한 복잡성을 담은 진정한 세계]이다. 잘못 정의되고 복잡한 실제 상황으로 구현된 맥락은 상황 인식, 계획, 문제 감지, 불확실성 관리와 같은 '거시적 인지적 프로세스'의 출현을 가능하게 한다. [맥락은 인지를 유도한다]라는 말은, 인지가 실험실에서 고립되어 연구될 수 없음을 암시한다. 환원론적 실험 기법에서는 [맥락을 관리 가능한 입력 단위로 분해]하고, 이러한 ['맥락에 따른 인지적 시스템'을 실제의 삶에 가져오는 바로 그 현상을 제거]한다. 이러한 이유로 NDM은 삼각형의 왼쪽 아래 각도에 배치됩니다(그림 2). NDM은 수술 중 의사 결정, 복강경, 응급의학, 중요 치료와 같은 다양한 의료 관련 맥락에서 전문가의 의사 결정 연구에 적용되어 왔다. 
This difference between cognitive science and NDM lies beyond a mere methodological dispute on the ecological validity of laboratory experiments.63 It highlights a deeper rift between two distinct research traditions that concerns the importance of context. In NDM research, it is the authentic world in its full complexity that puts higher cognitive functions into action. Context, embodied by the ill-defined, complex real-life situations, enables the emergence of ‘macro-cognitive processes’, such as situation awareness, planning, problem detection, and uncertainty management.65,66 Context drives cognition implying that cognition cannot be studied in isolation in the experimental laboratory. Reductionistic experimental techniques break down context in manageable input units, and eliminate the very phenomenon that actually brings these ‘cognitive systems in context’ to life.67 For this reason, NDM is positioned at the lower left angle of the triangle (Figure 2). NDM has been applied in the study of experts’ decision-making in various healthcare-related contexts, such as intra-operative decision-making, 68 laparoscopy,69 emergency medicine,70,71 and critical care.72,73

5 | 해석적 차원
5 | INTERPRETATIONAL DIMENSION

의학사회학, 의학인류학, 인문학의 렌즈를 통한 임상추론의 학술활동은 다른 길을 걷는다. 임상적 추론은 문화에 내재되어, 언어를 통해 존재하는, 해석적 사회적 행위로 간주된다. [언어]는 정보(내용)를 전달하는 중립적인 언어 매체로 간주될 뿐만 아니라, 의사가 어떻게 추론하는지에 대한 연구의 중심 역할을 담당한다. 언어에 의해 전달되는 의미는 사회적, 문화적으로 위치하며 특정한 사회적, 문화적 맥락에 의존한다. 그러나 언어 또한 사회적 행위이다. '허가된sanctioned 대화법을 배우는 것'은 전문직 사회로의 진입을 정당화합니다. 의사처럼 생각하는 법을 배우는 것은 의사처럼 말하는 법을 배우는 것을 수반한다. 언어와 사상은 분리할 수 없다. 이러한 의미에서 언어는 위치하는 동시에 위치하는 언어입니다. 그것은 그것이 봉사하는 문화 공동체를 반영하고 건설한다. 이러한 사고, 언어 및 문화의 근본적인 얽힘은 임상적 추론과 맥락에 가시적인 영향을 미친다. 단순히 [말하는 것(내용)]이 아니라 [어떻게 말하는지]가 중요해진다. 
The scholarship of clinical reasoning through the lens of sociology of medicine, anthropology of medicine and the humanities follows a different path. Clinical reasoning is regarded as an interpretative social practice, embedded in culture and coming into existence through language.74 Language is not merely considered a neutral linguistic medium conveying information (content) but assumes a central role in the study of how physicians reason. Meaning imparted by language is socially and culturally situated and dependent on the particular social and cultural contexts.75 Language, however, is also a social act. ‘Learning sanctioned ways of talking’ legitimise entry into a professional community.76 Learning to think like a physician entails learning to talk like a physician. Language and thought are inextricable.77 Language in this sense is both situated and situating. It both reflects and constructs the cultural community it serves.78 This fundamental entanglement of thought, language and culture has tangible implications for clinical reasoning and context. It is not simply what is said (the content) but how it is said that becomes important.79,80

특히 주의를 기울이는 언어의 두 가지 형태는 [수사학]과 [내러티브]이다. [수사학]은 언어적, 서면적 의사소통의 설득력에 초점을 맞춘다. [상황, 청중, 커뮤니케이션 목적]과 같은 커뮤니케이션의 맥락적 요소가 가장 중요하다. 예를 들어, 연구원들은 어떻게 의대생들이 발표를 할 때 (신뢰를 얻기 위한 수단으로서) 특정한 수사적 전략을 암묵적으로 익히는지를 보여주었다. 이러한 수사적 전략을 숙달하는 것은 의료계에 대한 정당한 접근을 허용하는 직업적 정체성을 개발하는 데 필수적인 측면이 된다. 중요한 것은 수사적 행위는 어떤 추론 전략이 더 신뢰할 수 있는지에 대한 암묵적인 가정을 반영한다는 것이다. 학생들은 의료계에 교화되는indoctrination 동안 이러한 전략을 내면화한다. 실제로, 실무자들이 그들의 강연을 '청중, 맥락, 목적에 부합하도록' '구성'함에 따라, 그들의 서술은 과학계에서 정당성을 갖는 합리성의 가정을 구체화하는 특정한 추론 방법을 암묵적으로 선호하게 된다. 링가드의 표현을 조금 바꿔본다면, 가설연역적 추론과 같은 추론 전략들은, 허가된 사고와 대화 방식을 의미한다.76

Two forms of language of particular attention are rhetoric and narrative.81 Rhetoric concentrates on the persuasive nature of verbal and written communication. Contextual elements of communication such as the occasion, audience and purpose of the communication assume primary importance.82 Researchers for example have demonstrated how medical students tacitly learn to master specific rhetorical strategies in case presentations as a means of achieving credibility.78 Mastering such rhetoric strategies becomes an integral aspect of developing a professional identity allowing legitimate access to the medical community. Importantly, rhetoric acts reflect tacit assumptions concerning which reasoning strategies are more credible. Students internalise these strategies during their indoctrination into the medical profession.83 Indeed, as practitioners ‘construct’ their talk ‘to match the audience, context and purpose’84 their narratives come to implicitly favour particular ways of reasoning, which embody assumptions of rationality, that have legitimacy in the scientific community.84-87 Reasoning strategies such as hypothetico-deductive reasoning signify, to paraphrase Lingard, sanctioned ways of thinking and talking.76

내러티브 추론은 브루너가 가설연역적 추론과 신중하게 구별하는 것으로서, 내러티브의 구성과 해석을 포함하는 근본적인 사고 방식을 나타낸다. 의료행위는 환자에 대해 이야기하거나(내러티브 구성) 환자와 대화하는(내러티브 해석) 내러티브로 넘쳐난다. 내러티브 지식narrative knowing은 환자의 질병 경험을 의미 있는 플롯meaningful plot으로 통합하는 서술의 회고적 구성을 구현하는데, 이 플롯에서 [사건, 믿음, 동기 및 행동]은 [경험을 그럴듯하고 이해할 수 있게 만드는] [시간적이고 의미 있는 (인과causal) 관계]로 배치된다. [플롯]은 개별 사건을 이해할 수 있게 만들고, 인간 기관이 이해될 수 있는 배경을 제공한다. 많은 저자들이 임상 실무에서 서술적 추론과 특히 실무자의 서술이 특정 추론 전략을 강조하는 방법을 조사했다. 
Narrative reasoning which Bruner carefully distinguishes from hypothetico-deductive reasoning denotes a fundamental way of thinking involving the construction and interpretation of narratives. 75 Medical practice is awash in narratives of talking about patients (narrative construction) or talking with patients (narrative interpretation).87 Narrative knowing embodies a retrospective construction of a narrative integrating the patient's illness experience into a meaningful plot where events, beliefs, motives and actions are placed in a temporal and meaningful (causal) relation that render the experience plausible and comprehensible to the practitioner.85 It is the plot that makes the individual events comprehensible88 and provides the background against which human agency can be understood. A number of authors have investigated narrative reasoning in clinical practice and how, in particular, the practitioners’ narratives emphasise particular reasoning strategies.86,87,89

이러한 인식론적 차원에 기반을 둔 맥락은 경험의 세계를 표현하거나, 샌드버그와 츠카스가 언급한 것처럼, '실천자들이 특정한 방식으로 이미 중요한 사물, 사람, 행동 및 선택지에 몰두하는 의미 있는 전체성'을 표현한다. 이러한 의미에서 [임상적 추론]은 (그러한 축적deposition이 존재하는 세계를 고려하지 않은 채로) 인지적 성향에만 초점을 맞추어서는 설명할 수 없다.

Context grounded in this epistemological dimension, expresses the world of experience or, as Sandberg and Tsoukas remark, ‘the meaningful totality into which practitioners are immersed […] in which things, people, actions and options already matter in specific ways’.90 Clinical reasoning in this sense cannot be accounted for solely by focusing on intrapsychic (cognitive) dispositions without taking account of the world in which such depositions exist.75

이 시점에서 두 가지 설명을 해야 한다. 첫째, 다른 연구 전통이 임상적 추론에서 해석의 가치를 무시한다고 주장하는 것은 불공평할 것이다. 이전 절에서 자세히 설명한 대부분의 이론들은 [상황적 자극에 대해 개인이 의미를 부여하는 방식의 중요성]을 인정한다. 인지과학 담론에서 이러한 우려는 [자신의 주관적 이해에 비춘 정보의 해석]을 강조하는 [해석construal]이라는 개념에 반영되어 있다. 이 개념은 '지능은 스스로 조직하여 세상을 정리한다'는 피아제의 명언에 그 뿌리를 두고 있으며, 이는 정신은 앎의 범주를 제공하는 반면, 경험은 콘텐츠를 제공한다는 것을 의미한다. 인지 구조는 미래에 유사한 자극을 경험하고 예상하는 데 의미를 부여한다. 그러나, 이 절에 내포된 해석interpretation의 의미는 분류의 행위로서 임상 추론의 이러한 대표적 기반representational ground를 벗어난 것이며, 그보다는 [임상 추론]을 [환자의 질병 경험을 이해하는 상호 주관적이고 사회적인 관행을 구현하는 현상학적-해석적 인식론]으로 채택한다.

Two clarifications should be made at this point. First, it would be unfair to claim that other research traditions dismiss the value of interpretation in clinical reasoning. The majority of theories elaborated in previous sections do indeed acknowledge some significance to how individuals give meaning to contextual stimuli of the situation.21,32,91 This concern in cognitive science discourse is reflected in the concept of construal, which signifies the interpretation of information in light of one's own subjective understandings.92 It has its roots in Piaget's famous words that ‘intelligence organizes the world by organizing itself’ signifying that the mind provides the categories of knowing while experience provides the content.93 Cognitive structures give meaning to experience and guide anticipation of similar stimuli in the future.21 The meaning of interpretation implied in this section, however, departs from this representational ground of clinical reasoning as an act of categorisation and adopts a phenomenological-hermeneutical epistemology where clinical reasoning embodies the intersubjective, social practice of making sense of the patient's illness experience.

다른 점은 [해석적interpretative 차원]과 [대화형 인식론적interactive epistemological 차원]을 구별하는 결정에 관한 것이다. '사회 세계의 참여'로 보이는 [해석interpretation]은 이 세계와 상호작용하는 요소도 전제하지 않는가? 네, 그렇습니다. 그러나 이전 섹션에서 논의한 [상호작용interaction]의 의미는 연결주의적connectionist 측면을 강조한다. 여기서 임상적 추론은 [인식과 환경의 요소(상황 인지 및 생태 심리학)의 상호작용] 또는 [에이전트와 인공물의 네트워크를 통한 인지 작동의 분포(분산 인지)]에 의해 결정되는 창발적 상태이다. 대조적으로, 이러한 관점의 임상적 추론은 사회 세계에 대한 참여와 참여engagement and participation를 강조한다. 이러한 참여적 함축은 앞서 설명한 연결주의(상호작용) 차원과 구별된다.
The other point concerns the decision to discriminate the interpretative from the interactive epistemological dimension. Does not interpretation, seen as participation in a social world, presuppose an interactive element with this world as well? Indeed, it does. However, the meaning of interaction discussed in the previous section emphasises a connectionist aspect, whereby clinical reasoning is an emergent state determined by the interaction of cognition with elements in the environment (Situated Cognition and Ecological Psychology) or by the distribution of cognitive operations over a network of agents and artefacts (Distributed Cognition). On the contrary, clinical reasoning in this view emphasises engagement and participation in a social world. This participatory connotation distinguishes it from the connectionist (interactive) dimension described previously.

5.1 | 상호작용과 해석의 교차로
5.1 | Crossroads of interaction and interpretation

[해석]과 [상호작용]의 교차점에 두 가지 관련 이론이 있다. 학습 및 활동 이론의 위치. 이러한 이론들은 비고츠키, 루리아, 레온티예프의 업적에서 비롯되고 라베, 콜, 엥게스트룀에 의해 발전된 역사문화심리학에서 그 경로를 가지고 있다. 두 이론 [의미와 상호작용 모두]에 특별히 중점을 둔다. 학습 이론이 되는 위치 학습은 임상 추론 학습과 관련하여 나중에 논의될 것입니다.
Two relevant theories lie at the intersection between interpretation and interaction: Situated Learning and Activity Theory. These theories have their routes in historical-cultural psychology originating from the works of Vygotsky, Luria and Leontief and further developed by Lave,94 Cole95 and Engeström.52 Both theories place particular emphasis on both meaning and interaction. Situated Learning, being primary a learning theory, will be discussed later in relation to learning of clinical reasoning.

[활동 이론]은 인지라는 것을 [인지가 embedded된 더 넓은 활동 체계를 고려하지 않고는 이해할 수 없는 목표 지향적인 행동]으로 간주한다. 활동 시스템은 개인의 목표(목표)를 달성하는 동시에 문화적, 사회적, 조직적 규범(규칙, 공동체, 노동분담)에 의해 정보를 제공받는 개인(대상)과 도구(예술)를 포함한다. 이러한 상호 연결된 시스템 요소들은 서로 충돌할 가능성이 있으며, 이것이 활동 시스템의 불안정성과 변동성을 강조하게 된다. 목표, 계획, 행동은 대상의 마음속에 고립되어 존재하지 않는다. Engeström이 언급했듯이, '"상황"이라는 개념만으로는 임상 인지의 맥락 분석 단위로서 불충분하다'. 그는 대신 임상적 인식을 '더 넓은 제도적 문화와 발전과 변화의 장기적 역사적 궤적'에 내재된 것으로 본다.
Activity Theory regards cognition as goal-oriented action that cannot be understood without considering the broader activity system in which it is embedded. An activity system includes individuals (subjects) and tools (artefacts) to achieve the individual's goals (objects) while simultaneously being informed by cultural, social and organisational norms (rules, community, division of labour). These interconnected systemic elements have the potential to conflict with each other underlining the instability and volatility of activity systems.96 Goals, plans and actions do not exist in isolation in the subject's mind; they are embedded in a system of relations within a sociocultural context from which they derive their meaning.94 As Engeström remarks, ‘the notion of situation is alone insufficient as a unit of contextual analysis of clinical cognition’.52 He sees clinical cognition instead as being embedded in ‘broader institutional cultures and long-term historical trajectories of development and change’.

[행동을 통해 발현되는 인식]은 그것이 발생하는 시스템에서 의미를 도출하고(해석적 차원), 활동 시스템의 요소에 걸쳐 분포한다(상호작용 차원). 임상적 추론은 광범위한 역사-문화 시스템에서 분산된 활동이 된다. 활동 체계에서 일어나는 것은 맥락이며, 열거할 수 없는 외부 요인들로 환원될 수 없지만, 시스템의 활동 제정enactment을 통해 구성된다. 활동 이론이 제공하는 강력한 이론적 프레임워크에도 불구하고 의학 교육에서 경험적 연구의 놀라운 희소성이 있다는 것을 주목할 필요가 있다.97

Cognition manifested through action derives its meaning from the system in which it occurs (interpretative dimension) and is distributed across the elements of the activity system (interactional dimension). Clinical reasoning becomes a distributed activity in wider historical-cultural systems.97 What takes place in the activity system itself is the context, irreducible to enumerable external factors but yet constituted through the enactment of the activity in the system.42 It is worth noting that despite the robust theoretical framework provided by Activity Theory there is a surprising scarcity of empirical studies in medical education.97

6 | 맥락 특이성에 대한 성찰
6 | REFLECTIONS ON CONTEXT SPECIFICITY

맥락 특이성의 까다로운 문제는 만족스럽고 널리 받아들여지는 설명 없이 오늘날에도 남아 있다. 그러나 맥락의 특수성이 애초에 문제로 여겨져야만 하는가? 연구자들이 보편적인 문제 해결 전략의 존재에 대해 상정하던 시기에, 이 문제(맥락 특이성)를 인식하게 된 것은 엘스타인의 선구적인 연구였다. 엘스타인의 연구는 의사들이 임상 문제를 해결하기 위해 가설연역적 추론 방법을 사용했다는 것을 입증했다. 그러나 그 방법은 너무 일반적이고 구체적이지 않았다. 전문성 수준에 상관없이 모두가 똑같은 일을 하고 있었다. 더 중요한 것은, 그것이 더 나은 진단 정확도와 상관관계가 없다는 것이다. 한 경우의 성공이 다음 경우의 성공을 예측하기 어려운 것이었다.
The thorny issue of context specificity remains even today without a satisfying and broadly accepted explanation.13,98 But should context specificity be regarded as a problem in the first place? At a time when researchers were postulating on the existence of universal problem-solving strategies, it was Elstein's pioneering work that brought the problem into awareness.99 Elstein's work demonstrated that physicians employed the hypothetico-deductive method to solve clinical problems. The method, however, was all too general and non-specific. Everybody was doing the same thing irrespective of level of expertise.20 More importantly, it did not correlate with better diagnostic accuracy.100 Success at one case was a poor predictor for success in the next.

이 발견을 해석하려고 시도하면서, 그는 효과적인 문제 해결은 '사용된 계획 및 문제 해결 휴리스틱의 차이보다' '장기 기억으로 정리된 [의사] 경험의 레퍼토리에서 발견될 수 있다'는 것을 암시하는 현상을 [내용 특이성]이라 명명하였다. 이 생각은 [마음속에 있는 지식의 조직]에 대한 연구를 자극하기에 충분히 영향력이 있는 것으로 증명되었다. 올바른 진단을 찾아내는 것은 [내용 지식], 즉 [기억 속의 정신적 표상으로 조직된 이전 경험의 지식 구성]의 문제가 되었다. 그러나 곧 진단 정확성을 위해 [컨텐츠에 대한 숙달]은 필요했지만, 이러한 case-to-case 수행능력 변화를 설명하기에 충분하지 않다는 것이 명백해졌다. 예를 들어, 증거는 임상 사례의 제시를 약간 수정하거나 심지어 다른 경우에 정확히 같은 사례를 제시하는 것이 진단 정확도에 영향을 미친다고 제안했다. 특정 사례에서 [콘텐츠가 '프레임'된 방식]은 의사가 사례에 대응하는 방식에 영향을 미쳤다.

Attempting to interpret this finding, he labelled the phenomenon content-specificity suggesting that effective problem-solving was ‘to be found in the repertory of their [physicians’] experiences, organized in long-term memory’ rather ‘than in differences in the planning and problem-solving heuristics employed’.99 This idea proved influential enough to stimulate research on the organisation of knowledge in the mind.101-104 Finding the correct diagnosis became an issue of organisation of content knowledge, in essence knowledge from previous experience organised as mental representations in memory.19,26,100,105,106 However, it soon became evident that while mastery of the content was necessary for diagnostic accuracy, it was not sufficient to explain this case-to- case variation in performance.16,98,106 For example, evidence suggested that slightly modifying the presentation of a clinical case or even presenting exactly the same case on a different occasion affects diagnostic accuracy. 16,107 The way content was ‘framed’ in a particular case affected how physicians responded to the case.108

한 가지 설명은, [내용 지식의 평가]의 방법론적 결함을 지적한다. [서로 다른 사례case에 걸친 성과 변동variance의 원인]이 주로 사례 내에서 클러스터링된 내용 지식 때문이 아니라, 각 사례 내에서 평가된 항목이 너무 적기 때문이라는 것이다. 인지과학의 대표적representational 세계관의 렌즈를 통해 볼 때, 그 문제는 충분히 혼란스러우면서도, 정말로 정당해 보인다. 그러나 다른 두 가지는 무시한 채 [맥락의 표현적 차원]을 고려하는 문맥에 대한 이러한 편협한constraining 시각이 잘못된 방향으로 나가는 것일지도 모른다는 생각을 갖게 한다. Engeström이 언급했듯이, '엘슈타인과 그의 동료들은 문제 특수성을 보다 맥락적이고 포괄적인 틀에서 문제 자체를 이해하기 위한 도전challenge이라기보다는 개별 실무자의 지식의 문제로 해석한다.'

One suggersted explanation implicated methodological flaws in the assessment of content knowledge suggesting that the cause of variance in performance across different cases was not primarily due to content knowledge clustered within cases but instead due to too few items assessed within each case.16 Seen through the lens of the representational worldview of cognitive science, the problem seems puzzling enough and indeed legitimate. It is tempting to wonder, however, if this rather constraining view of context that takes into consideration the representational dimension of context while ignoring the other two, might be a step in the wrong direction. As Engeström remarks, ‘Elstein and his colleagues themselves interpret problem specificity as an issue of the individual practitioner's knowledge rather than as a challenge to understand the problems themselves in a more contextual and comprehensive framework’.52

또 다른 설명은 문제를 해결할 수 있는 몇 가지 잠재적인 방법이 있을 수 있으며, 어떤 전략을 선택할지를 결정하는 것은 맥락이라는 것이다. 문제에 대한 낮은 상관관계는 이론적으로 문제 해결 전략의 다른 선택(분석 대 비분석)을 반영할 수 있다.  엘스타인 자신은 자신의 초기 연구를 회고적으로 성찰하면서 '실험 설정이 의사들이 특정한 방식으로 반응하도록 편향시켰을 가능성'에 주목했다. 내용 외에도 [상황적 요인의 영향]이 있다는 인식이 점차 높아지는 것을 반영하기 위해, 그 현상은 현재 [상황 특이성]으로 널리 재명명relabelled되고 있다. 이 방향의 연구는 환자-의사의 만남에서 [맥락적 요인]이 임상적 추론을 어떻게 방해하거나 용이하게 하고 진단 결과를 어떻게 변화시키는지 조사한다. 그러한 견해는 현상에 대한 우리의 이해를 부인할 수 없을 정도로 진전시킨다. 그들은 [내용]에서 [맥락]으로, 또는 이 논문에서 사용한 인식론적 프레임워크의 언어로 표현하자면, [표현적 차원]에서 [상호작용적 차원]으로 논의를 이동시킨다.

Another explanation put forward is that there may be several potential ways to solve a problem and it is the context that determines the strategy chosen. Low correlation across problems could theoretically reflect a different choice of problem-solving strategy (analytical vs. non-analytical). 15,106,109 Elstein himself reflecting retrospectively on his earlier work, noted the possibility that ‘the experimental setting biased the physicians to respond in a particular way’.100 To reflect this growing recognition of the impact of contextual factors other than content, the phenomenon is now widely relabelled as context specificity.43 Research in this direction investigates how contextual factors in patient-doctor encounters impede or facilitate clinical reasoning,43 and alter the diagnostic outcome.12,56,57 Such views undeniably advance our understanding of the phenomenon. They shift the discussion from content to context, or in the language of our epistemological framework, from the representational to the interactional dimension.

[맥락 특이성]은 임상 상황의 특이적 요소에 대한 강력한 지표이다.

• [상호작용적 인식론]의 관점에서, 임상적 추론은 지식 조직이나 문제 해결의 고정된 원칙에 의해 지배되는 안정적인 성향이나 기술을 나타내기보다, 대신 특정한 임상 만남에서 일어나는 특이적 상호작용에 의존하는 상태, 즉 위치된situated 활동을 나타낸다. 지식은 활동과 얽히게 되고, [맥락 특이성]은 이 유대를 강하게 예시한다.
• [해석적 인식론]의 관점에서, 임상적 추론은 의사와 환자의 상호주관성에 의해 추진되는 해석적 행위이다. 의사가 '지식이 상황에 따라 달라지는 상황에서' 최선의 행동 방침을 결정할 수 있도록, [환자의 질병 경험에 의미를 부여하는 활동enterprise]이다. 의사가 마주치는 각각의 상황은 실로 특이적specific이고 맥락에 내재되어embedded 있다. 듀이의 말을 인용하면, '우리는 맥락의 역할을 명시적으로 인식하지 못한다. 우리의 모든 발언utterance은 맥락으로 포화되어 있어서, 우리가 무엇을 말하고 들을지의 의미를 형성하기 때문이다.' 더 깊이 생각해 보면, 맥락 특이성이 존재한다는 것은 놀랄 일이 아니다. 오히려 그렇지 않다면 그것이 역설일 것이다.

Context specificity is a powerful indicator of the idiosyncratic elements of the clinical situation.

● In the light of an interactional epistemology, clinical reasoning does not denote a stable disposition, or skill, governed by fixed principles of knowledge organisation or problem-solving but instead a situated activity, a state contingent to the idiosyncratic interactions taking place in the specific clinical encounter.13,14,34 Knowledge becomes entangled with activity, and context specificity strongly exemplifies this bond.49

● In the light of an interpretative epistemology, clinical reasoning is an interpretative act driven by the intersubjectivity of physician-patient encounter. It is an enterprise assigning meaning to the patient's illness experience that enables physicians to determine the best course of action ‘when knowledge depends on the circumstance’.110 Each situation the physician encounters is specific and embedded in context. Quoting Dewey, ‘we are not explicitly aware of the role of context just because our every utterance is so saturated with it that it forms the significance of what we say and hear’.4 On deeper thought, it should hardly be surprising that context specificity exists. It would actually be a paradox if it did not.

누군가는 왜 엘스타인의 날카로운 관찰이 반세기 전처럼 오늘날에도 여전히 관련이 있는지 궁금해 할 것이다. 그럴듯한 대답은 그들이 제기하는 문제들이 과학의 경계를 초월하여 임상 추론의 인식론의 영역으로 나아간다는 것이다. 우리는 특정 주장을 뒷받침하기 위해 제시된 증거들 중 일부를 간략히 제시했습니다. 그러나, 우리의 확신은 아마도 그 현상에 대한 진정한 설명은 없을 것이라는 것이다. 우리는 분명히 어떤 것이 진행된다는 것을 암시하려는 것은 아니다. 아직 멀었지요 단지 옳고 그름의 개념은 기준점에 의해 결정되어야만 할 뿐이다. 실용적인 언어와 브루너를 바꾸어 말하면, 사람들은 '만약 내가 어떤 인식론적 주장을 믿는다면, 나는 임상적 추론을 거기에 맞게 전념하고 있는가?' 75 기억 속의 지식의 구성, 상황적 상호작용으로 인한 비상 활동, 또는 의미에 대한 상호 주관적 해석 등, 임상적 추론에 대한 각 인식론적 주장은 상황 간 좋지 않은 상관관계에 대한 엘스타인의 관찰과 씨름하고 맥락이 어떻게 처리되는지를 결정한다.

One might wonder why Elstein's sharp observations are still today as relevant as they were half a century ago. A plausible answer would be that the issues they raise transcend the borders of science towards the realm of epistemology of clinical reasoning. We have briefly presented some of the evidence put forward in support of particular claims. However, our conviction is that there is probably not one true explanation of the phenomenon. We surely do not mean to imply that anything goes. Far from it. It is just that the notions of right or wrong should be determined by the points of reference. In a pragmatic language and to paraphrase Bruner, one should wonder ‘what epistemological claims of clinical reasoning am I committing myself to if I believed that?’ 75 Be it organisation of knowledge in memory, emergent activity from the situational interaction, or intersubjective interpretation of meaning, each epistemological claim about clinical reasoning determines how context is treated and grapples with Elstein's observation of poor correlation between situations.

7 | 학습에 대한 시사점
7 | IMPLICATIONS FOR LEARNING

모든 학습 이론은 지식에 대한 가정과 앎의 본질에 대한 가정에 기초한다. 이는 맥락과 관련된 임상 추론의 인식론적 인식은 다른 사람이 다른 사람의 생각에 대해 어떻게 생각했는지에 대한 이론적 연습이 수반될 뿐만 아니라 임상 추론의 학습에도 중요한 영향을 미친다는 것을 의미한다.
All learning theories rest on assumptions of knowledge and the nature of knowing.94 This implies that the epistemological awareness of clinical reasoning in relation to context entails not only a theoretical exercise of thinking about what others thought about others thinking but also carries important implications for the learning of clinical reasoning.

7.1 | 인지 지식 및 기술 구성
7.1 | Constructing cognitive knowledge and skills

표상적 이론은 무엇을 배워야 하는지(내용)와 어떻게 배워야 하는지(실습)를 명확히 구분한다. 그러한 접근법은 임상 추론 기술을 숙달하기 위해 학습자가 [정신적 표현]을 개발하는 데 도움이 되는 교수 방법을 신중하게 고려한다. 맥락은 훈련하고자 하는 특정한 정신 전략mental strategies을 자극하는 통제된 입력으로 축소된다. 강의실에서 임상 추론을 가르치는 선호하는 방법은 다양한 교육 형식(즉, 종이와 비디오)의 의료 사례에 의존한다. 일부 대학은 이를 위해 임상추론과정을 개설하기도 한다. 
Representational theories make a clear distinction between what should be learned (content) and how it should be learned (practice). Such approaches take careful consideration of the instructional methods that facilitate the learner in developing mental representations to master the skill of clinical reasoning.24 Context is reduced to controlled inputs that stimulate the particular mental strategies one wishes to train. The preferred way to teach clinical reasoning in the classroom relies on medical cases in various instructional formats (ie paper and video). Some universities even offer clinical reasoning courses for this purpose.111

진단역량을 촉진하는 대표적인 교육방법은 크게 두 가지 방향으로 나뉜다.

• 학습자가 '구조화된 성찰', '표상의 스캐폴드' 또는 '스키마 기반 교육'의 구현과 같은 자신의 [지식 구조를 구성]할 수 있도록 지원하는 교육 방법
  
• 다양한 추론 전략을 고려하도록 명시적으로 가르치거나, '대조적contrastive 학습'과 같은 학습자의 추론 과정을 훈련하는 방법. 

임상환경과 같은 실생활 맥락에서의 교육은 [신중하게 선택한 의료 사례]와 [학생이 공부한 내용을 적용할 수 있는 통제된 상황]에 초점을 맞춰야 한다. 구조화되지 않으면 학생의 작업기억력을 압도할 위험이 있고 학습에 지장을 줄 수 있다.

Representative examples of instructive methods promoting diagnostic competence fall in two main directions;

• instructional methods facilitating learners to construct their own knowledge structures, such as the implementation of ‘structured reflection’, ‘representation scaffolds’ or ‘schema-based instruction’112-115 and
• methods training learners’ reasoning processes such as explicit instructions to consider various reasoning strategies or ‘contrastive learning’.116,117

Instructions in real-life contexts such as the clinical environment should focus on carefully chosen medical cases and controlled situations in which the students can apply what they have studied. If unstructured, they risk overwhelming the student's working memory and impair learning.

7.2 | 콘텐츠를 넘어서기
7.2 | Going beyond content

상호작용적 이론과 해석적 이론은 다른 교육학적 방향을 가정한다. 이러한 이론은 학습 내용과 학습 방법(실습)의 분리를 인위적으로 간주한다. 학습 상황은 '활동을 통해 지식을 공유한다고 말할 수 있다'. 연구자들은 훈련되는 정신 작용에 [가장 적절한 교육 방법]을 결정하기보다는, [학습 맥락을 제공하는 사회적 참여]에 대해 질문한다. 이러한 지향은 자연주의적이고 실제적 임상 환경에서 학습하는 것을 우선시하며, 교육 활동을 계획할 때 교육 환경을 신중하게 고려한다. Greeno가 말했듯이, '…모든 활동의 배열arrangement는 [학습이 일어나는 상황과 실천]을 제공하며, 모든 학습은 [어떤 상황]에서 이루어진다. 다른 배열arrangement에서 배우는 것이 만들어내는 차이는 [배움이 situated 되었는지 여부]가 아니라 [어떤 방식으로 배움이 situated 되었느냐]이다.'

Interactional and interpretative theories assume a different pedagogical orientation. Such theories regard the separation of learning content and learning method (practice) as artificial. Learning situations ‘might be said to co-produce knowledge through activity’.118 Rather than determining the most appropriate instructional method for the mental operation being trained, researchers inquire about the social engagements that provide the context for learning.119 This orientation prioritises learning in naturalistic, authentic clinical environments and takes careful consideration of the educational settings when planning educational activities. As Greeno remarks, ‘…all arrangements of activity provide situations and practices in which learning occurs, and all learning occurs in some situation. The difference between learning in different arrangements is not whether learning is situated or not, but how it is situated’.24

이 관점은 가르치는 것을 쓸모없는 것으로 여기지 않지만, 임상적 추론 학습은 교육이나 가르침과 무관하게 이루어지며, 따라서 강조점을 교육적 방법에서 학습 환경(맥락)으로 이동시킨다. 이러한 관점은 [학습의 결과]가 지도instruction에 의해 미리 결정될 수 없다는 것을 인정한다. 대신, [학습자와 환경 사이의 독특한 상호작용]은 종종 비선형 방식으로 학습을 의도하지 않고 예측할 수 없는 결과로 이끈다. 학생과 환자의 만남에 대한 우리의 연구는 맥락이 임상 추론 학습을 어떻게 촉진하는가에 초점을 맞춘다. 우리는 임상 상황이 자신의 기준 프레임과 일치하지 않기 때문에 학습자가 이해가 깨질 때 긴장을 경험해야 한다고 제안한다. 이러한 분류는 의사 결정 진단 및 치료에 대한 기존 가정에 도전하지만 학습자가 이러한 문제가 있는 가정을 수정할 수 있는 상당한 학습 잠재력을 제공합니다.

While this view does not regard teaching as obsolete, it argues that learning clinical reasoning takes place irrespective of teaching or instruction, thus shifting the emphasis from instructional methods to the learning environment (context). This view acknowledges that the outcome of learning cannot be predetermined by instruction. Instead, the idiosyncratic interaction between the learner and the environment drives learning often in a non-linear fashion to unintended and unpredictable outcomes.34,53 Our own research on student-patient encounters concentrates on how context drives learning of clinical reasoning. We suggest that learners experience tensions when their understanding breaks down because the clinical situation is inconsistent with their own frames of reference.120 These breakdowns challenge their held assumptions about diagnosing and treating decisions but present significant learning potential affording learners to revise these problematic assumptions.

그러나 주의를 요하는 것은 학습 활동의 [즉각적인immediate 맥락]만이 아니다. 학습활동이 내재된 더 넓은 [사회문화적 환경]도 보완할 필요가 있다. 임상적 추론을 배우는 것은 전문직업적 사회화를 통해 이루어진다는 연구 결과가 있다. 전화 상담이나 사례 프레젠테이션에 초점을 맞춘 연구는 초보자들이 특정 의사소통 전략을 개발함으로써 임상 불확실성을 관리하는 방법을 보여준다. 초보novice 의료 전문가들이 특정한 방식으로 말하는 법을 배울 때, 그들은 또한 특정한 방식으로 생각하는 법을 배우고 있다.
It is not only, however, the immediate context of the learning activity that demands attention. The wider sociocultural settings in which learning activities are embedded also need to be adressed.120 Research shows that learning clinical reasoning takes place through professional socialisation.121 Studies concentrating on telephone consultations or case presentations demonstrate how novices learn to manage clinical uncertainty by developing particular communication strategies.76,122 When novice healthcare professionals learn how to talk in a certain way, they are also learning to think in a certain way.

임상 환경에서 임상 추론 학습에 대한 문헌은 제한적이며, 직장 학습에 대한 이용 가능한 연구는 임상 추론을 특정 학습 결과로 인정하지 않는 경우가 많다는 점에 유의해야 한다. 내용을 넘어 환자의 질병 경험을 이해할 수 있게 되면 임상 추론 학습자에게 중요한 학습 이정표가 구현될 수 있다. 향후 연구는 학습자가 임상적 만남의 맥락을 어떻게 탐색하고 이것이 그들의 추론에 어떤 영향을 미치는지 다루어야 한다.

It should be noted that the literature about learning clinical reasoning in clinical environments is limited and available research on workplace learning often fails to acknowledge clinical reasoning as a specific learning outcome. Being able to go beyond content and make sense of the patient's illness experience could embody an important learning milestone for the learner of clinical reasoning. Future research should address how learners navigate the context of the clinical encounter and how this impacts on their reasoning.

8 | 마무리 의견
8 | CONCLUDING REMARKS

결론적으로, 맥락에 대한 연구는 임상 추론의 인식론에 대한 연구로 볼 수 있다. 일상적인 의료행위의 중심에는 '이 환자에게 무슨 일이 일어나고 있는 걸까?'라는 질문이 있다. 이것은 단순히 증거 기반 지침과 같은 이론적 지식을 적용하는 것 이상의 것을 포함한다. 아리스토텔레스의 프로네시스 감각에서 지혜는 전개되는 상황의 두드러지고 모호한 특징들을 개척하고 상황에 적합한 행동 과정을 숙고하여 만드는 능력을 의미한다.  이 점에서 [맥락의 숙달]은 의료행위의 핵심 활동이 된다. [맥락을 숙달한다는 것]은 맥락의 인식론적 차원 안에서 탐색하고, 불확실성을 용인하고, 우리가 살고 있는 세상을 다양한, 때로는 상충하는 방식으로 잉태할 수 있는 능력을 상정한다. 의료 프락시스(관행)는 결국 프로네시스 행위이다.

At the bottom line, the study of context may be viewed as the study of the epistemology of clinical reasoning. At the heart of everyday medical practice lies the question, ‘what is going on here with this patient?’123 This involves much more than simply applying theoretical knowledge such as evidence-based guidelines.124 Wisdom in the Aristotelian sense of phronesis (practical reasoning) denotes the capability to carve out the salient and ambiguous features of the situation unfolding and to craft through deliberation a course of action appropriate for the circumstances.125 Mastery of the context in this respect becomes a core activity of medical practice. It presupposes the capacity to navigate inside the epistemological dimensions of context, to tolerate uncertainty and to conceive the world we are living in (Umwelt) in multiple and sometimes competing ways. Medical praxis (practice) is, after all, an act of phronesis.  

© 2021 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

의학교육에서 자신감-역량 정렬과 자기확신의 역할: 개념 리뷰(Med Educ, 2022)
Confidence-competence alignment and the role of self-confidence in medical education: A conceptual review
Michael Gottlieb1 | Teresa M. Chan2 | Fareen Zaver3 | Rachel Ellaway4 

1 | 소개
 1 | INTRODUCTION

의심은 당신에게 동기를 부여할 수 있으니 두려워하지 마세요. 자신감과 의심은 양 끝에 있고, 당신은 둘 다 필요합니다. 그들은 서로 균형을 잡는다. –바바라 스트라이샌드
Doubt can motivate you, so don’t be afraid of it. Confidence and doubt are at two ends of the scale, and you need both. They balance each other out. –Barbra Streisand

지난 10년 동안 보건 직업 교육(HPE)에서 역량 기반 의료 교육에 대한 강조가 증가하고 있다. 이는 시간 기반 교육 및 평가에서 관찰 가능한 역량으로 관심이 이동했음을 반영한다. 관찰된 행동에만 기반한 역량에 대한 접근법은 [잘못된 인식과 속성]을 놓칠 수 있다.1 학습자가 역량에 대해 공개하거나 행동할 충분한 확신이 있는 경우에만 명확해질 것이다. 간단히 말해서, 오직 역량에만 집중하는 것은 자신감의 중요한 차원을 무시합니다.
There has been an increasing emphasis on competency-based medical education (CBME) in health professions education (HPE) in the last decade.1,2 T his reflects a shift of attention f rom t ime-based teaching and assessment to observable competence. Approaches to competence that are solely based on observed actions may miss aberrant perceptions and attributions,1 which will only become apparent if a learner is sufficiently confident to disclose or act on them.3 Simply put, focusing solely on competence neglects the important dimension of confidence.

자신감은 많은 것을 의미할 수 있지만, 일반적인 정의는 '사람이나 사물을 신뢰하거나 의지하는 마음가짐; 어떤 사실이나 문제에 대해 자신하거나 확신하는 마음가짐'이다. 자신감은 행동과 인식을 바꿀 수 있습니다. 불행하게도, 기술에 대한 개인의 자기평가는 형편없고, 이것은 자신감과 역량의 공통적인 불일치를 반영한다. 자기조절이 성과 개선의 한 방법으로 제안되었지만, 여전히 개인의 자신감과 기술에 대한 확실한 이해에 달려 있다.7 자신감과 역량이 맞지 않을 때 문제가 생긴다. 예를 들어, 자신감이 부족한 의사는 필요할 때 결정을 내리는 것을 망설일 수 있는 반면, 자신감이 부족한 의사는 그들의 행동의 결과에 무모하거나 맹목적일 수 있다. 두 가지 상황 모두 환자에게 해를 끼칠 수 있다.8,9 이와 비슷하게, 과소-자신감은 이미 알려진 정보에 과도한 시간을 소비할 수 있는 반면, 과다-자신감은 학습 기회를 놓치고 피드백에 대한 수용성이 저하될 수 있습니다. 안전한 임상 실천을 위해서는 훈련, 경험 및 임상 복잡성의 수준에 따라 적절한 수준의 자신감이 필요하다.
Confidence can mean many things, but a common definition is ‘the mental attitude of trusting in or relying on a person or thing; feeling sure or certain of a fact or issue’.4 Confidence can change behaviours and perceptions.5 Unfortunately, individual self-assessment of skills is poor,6 which reflects a common mismatch between confidence and competence. Although self-regulation has been proposed as a way of improving performance, it is still contingent on a robust understanding of one's confidence and skills.7 When confidence and competence are out of sync, problems arise. For instance, a physician who is underconfident may still hesitate to make decisions when needed, whereas an overconfident physician may be reckless or blind to the consequences of their actions; either situation could lead to patient harm.8,9 Similarly, underconfidence may lead to spending excessive time on information already known, while overconfidence may lead to missed learning opportunities and decreased receptivity to feedback. Safe clinical practice requires an appropriate level of confidence based on the level of training, experience and clinical complexity.

자신감은 스트레스, 불확실성, 감정, 인지 부하 및 그룹 역학을 포함한 많은 요인에 의해 영향을 받는다. 이러한 개별 차원이 어느 정도 주목을 받긴 했지만, 신뢰와 그것이 성과와 어떤 관련이 있는지 구체적으로 본 사람은 거의 없다.
Confidence is influenced by many factors including stress,10 uncertainty,11,12 emotion,13 cognitive load14 and group d ynamics.15 Although these individual dimensions have received some attention, few have specifically looked at confidence as a multidimensional construct and how it relates to performance.

2 | 방법
2 | METHODS

우리는 의학 교육뿐만 아니라 HPE 전반에 걸쳐 자신감과 역량에 대한 자신감의 교정을 탐구하기 위한 개념적 검토를 수행했다. 우리는 관심 있는 현상을 탐구하기 위해 문헌 검토와 이해관계자 협의를 이끌어내며 반복적인 발산 및 수렴 접근법(증거, 의견 및 이론의 차이점과 유사성을 탐구)을 채택했다. 
We undertook a conceptual review16 to explore confidence and the calibration of confidence against competence not just in medical education but across HPE. We employed an iterative divergent and convergent approach (exploring differences and similarities in evidence, opinion and theory), drawing on a literature review and a stakeholder consultation to explore our phenomena of interest.17,18 

2.1 | 팀
2.1 | The team

연구팀은 응급의학 분야의 임상 교육자 3명과 박사과정 과학자 1명으로 구성됐으며 이들 모두 HPE 분야의 연구자로 확인됐다. 임상의에게는, 한 명의 저자가 그녀의 첫 몇 년간의 임상 실습에 있었고, 두 명은 그들의 학문적인 경력에 더 가까웠다. 한 교육자는 그녀의 지역 역량 위원회에 참여했고 거의 10년 동안 CBME에 몰두해 왔다. 우리의 박사 교육 과학자는 HPE 연구의 여러 영역에 광범위하게 익숙하며 임상의 교육자들이 반사성과 이론에 대한 참여를 유지할 수 있도록 돕는 데 초점을 맞추고 있다. 우리는 과정 전반에 걸쳐 핵심 현상에 대한 가정과 개념화를 선언하고 해제함으로써 반사적인 구성 요소를 연구에 내장했다.
The study team was composed of three clinician educators in the field of Emergency Medicine and one PhD scientist, all of whom also identify as researchers within the field of HPE. For the clinicians, one author was in her first few years of clinical practice and two were further along in their academic careers. One educator has participated in her local competence committee and has been immersed in CBME for nearly a decade. Our PhD education scientist is broadly familiar with multiple domains of HPE research and focused on helping the clinician educators maintain their reflexivity and engagement with theory. We built a reflexive component into the study through declaring and unpacking our assumptions and conceptualisations of our core phenomena throughout the process.

2.2 | 팀 토론
2.2 | Team discussions

첫 번째 단계는 우리의 이론적 작업에 대한 민감한 개념으로 사용하기 위해 HPE 내부와 외부의 이론을 식별하기 위한 파일럿 문헌 검토를 포함했다. 반복적인 그룹 토론을 통해 확인된 용어에는 자기 효능감, 자가 평가, 직업적 정체성 형성, 쇤의 행동반영/행동반영25 개념 및 임포스터 증후군이 포함되었다. 이것은 우리의 초기 아이디어와 후속 문학 리뷰를 비계화 할 수 있게 해주었다. 다음으로, 우리는 협업 메모잉과 개념 쌓기를 사용하여 귀납적 추론과 연역적 추론을 번갈아 할 수 있는 일련의 대화식 토론에 참여했습니다. 우리의 목표는 명료성이 부족한 아이디어들을 질문하고 재구성하는 것뿐만 아니라 아이디어화와 이론적 합성을 지원하는 것이었습니다. 

The first step involved a pilot literature review to identify theories from within and beyond HPE to use as sensitising concepts for our theoretical work.19 Terms identified through iterative group discussion included self-efficacy, 20 self-assessment, 7,21-23 professional identity formation,24 Schön's concepts of reflection-in- action/ reflection-on- action25 and imposter syndrome.26 This enabled us to begin scaffolding our initial ideas and subsequent literature reviews. Next, we engaged in a series of interactive discussions that allowed us to alternate between inductive and deductive reasoning using collaborative memo-ing and concept-building. Our goal was to support ideation and theoretical synthesis, as well as question and reframe ideas which lacked clarity. 

2.3 | 문헌검토 및 작성
2.3 | Literature review and writing

초기 개념화를 만든 후, 우리는 좀 더 심층적이고 표적화된 문헌 검토를 시작했다. 우리는 HPE 및 인접 도메인/분야(예: 심리학, 비즈니스, 비보건 전문직 교육)의 문헌을 활용하여 문제 공식과 새로 제안된 이론적 프레임워크에서 설명한 개념을 삼각측량하고 강화했다. 본 논문을 위해 검토한 개념의 전체 목록은 부록 S1에 포함되어 있다. 기사는 그룹 토론과 합의를 바탕으로 선정되었습니다. 그런 다음 기존 개요와 프레임워크를 텍스트와 그림으로 변환했습니다. 우리는 글의 흐름과 개념이 일치하고 반영될 수 있도록 논평, 토론, 편집을 통해 반복적인 수정에 참여했다. 우리는 식별된 주요 주제를 요약하기 위해 일반적인 공리를 만들었다.
After creating our initial conceptualisations, we began a more in-depth, targeted literature review. We utilised literature in the field of HPE and adjacent domains/fields (eg psychology, business, non-health professions education) to triangulate and augment the concepts that we described in our problem formulation and our new proposed theoretical frameworks. A full list of the concepts reviewed for this paper is included in the Appendix S1. Articles were selected based upon group discussion and consensus. We then converted the existing outlines and frameworks to text and figures. We engaged in iterative revisions through comments, discussion and edits to ensure that the flow and concepts were congruent and reflective of the literature. We created general axioms to summarise the key themes identified.

2.4 | 이해관계자 협의
2.4 | Stakeholder consultation

검토 범위 지정에 사용된 방법과 유사하게, 우리는 다음으로 전문가(예: HPE 분야의 과학자 및 학자)와 일선 개인(예: 임상의사 교육자, 동료 의사, 레지던트 의사 및 의대생)으로부터 잠정적 발견에 대한 조형적 피드백을 구했다. 기관, 국가, 전문성, 훈련 단계 등 다양성이 포함될 수 있도록 의도적으로 이해관계자를 선정했습니다. 이해관계자들에게 연락하여 원고 초안을 제공했다. 8명의 개인이 광범위한 서면 의견과 선택적인 화상 상담을 통해 잠정적인 결과에 대한 의견을 제공했습니다. 주로 설명과 다른 연구와의 교차에 초점을 맞춘 이러한 의견을 바탕으로, 우리는 시사점을 논의하고 피드백을 반영하기 위해 섹션을 다시 작성했다. 이해관계자 피드백의 한 예는 분산 신뢰에 대한 논의를 가시적인 사례로 확장하는 것이었다.

Similar to methods used in scoping reviews, we next sought formative feedback on our provisional findings from experts (eg scientists and scholars in the field of HPE) and frontline individuals (eg clinician educators, fellow physicians, resident physicians and medical students).27-29 We intentionally selected the stakeholders to include diversity of institution, country, specialty and stage of training. Stakeholders were contacted and provided a draft of the manuscript. Eight individuals provided their reflections on our provisional findings via extensive written comments and optional video consultation. Based on these comments, which focused primarily on clarifications and intersections with other research, we discussed the implications and rewrote sections to incorporate their feedback. One example of the stakeholder feedback was to expand the discussion of distributed confidence with a tangible example.

3 | 결과
3 | RESULTS

3.1 | 현상으로서의 신뢰도
3.1 | Confidence as a phenomenon

[확실성]은 주로 지식을 중심으로 구성된 인식론적 현상인 반면, [자신감]은 행동에 중점을 둔다. 무언가에 대해 확신하는 것은 [행동할 수 있는 자신감]을 만들 수 있습니다. 시간이 지남에 따라, 행동의 결과가 확신감을 강화한다면, 확신은 자신감을 시작하고 그것을 유지할 수 있다. 과학철학에서 [인식론적 자신감]은 [지식]과 [다른 조건에서 지식을 검증하는 능력]을 모두 반영한다. 인식론적 자신감은 (지식과 앎의 한계를 인식하는 온건한 덕목인) [인식론적 겸손]에 의해 조절되며, 그래야 한다. [인식론적 자신감]은 검증 가능한 확실성과 신뢰성을 반영해야 하지만, 자신감이 검증 가능성을 초과하면 오만이나 무모함으로 이어질 수 있다. 다른 때에는, 자신감이 검증 가능한 확신 아래로 떨어져 [소심함]이나 [불안정]으로 이어질 수 있다. 자신감은 주관적이고 감정적이며 해석적입니다. 그것은 이성이나 논리에 끌릴 수도 있고 끌리지 않을 수도 있는 것에 대한 게슈탈트 감각이다.

While certainty is an epistemic phenomenon primarily constructed around knowledge, confidence centres on action. Being certain about something can create the confidence to act.30,31 Over time, if the outcomes of the action reinforce the sense of certainty, then certainty can initiate confidence and sustain it.32 In the philosophy of science, epistemic confidence reflects both knowledge and the ability to verify that knowledge in different conditions.33 Epistemic confidence is (or should be) regulated by epistemic humility, a moderating virtue that recognises the limits of knowledge and knowing. Although epistemic confidence should reflect verifiable certainty and reliability, if confidence exceeds verifiability then it can lead to arrogance or recklessness. At other times, confidence may fall below verifiable certainty and lead to timidity or insecurity. Confidence is subjective, emotional and interpretive. It is a gestalt sense about something that may or may not draw on reason or logic.

자신감은 역동적입니다(그림 1). 그것은 다른 modifier에 반응하여 빠르게 변할 수 있는데, 그 수식어 중 일부는 자신감(예: 용기, 확신)을 증폭시킬 수 있는 반면 다른 modifier들은 그것을 완화시킬 수 있다(예: 의심, 겸손). 더욱이, 자신감 수준은 개인이 처한 특정 상황의 역학을 반영해야 한다. 일상적인 신뢰도의 작은 차이(예: 비상 상황에서의 해결 또는 불확실성이 증가하는 상황에서의 주의)가 보장되는 반면, 신뢰의 상당한 초과나 부재(예: 명확성 앞에서의 소심함, 위험 앞에서의 무모함)는 피해야 한다. 
Confidence is dynamic (Figure 1). It can change rapidly in response to different modifiers, some of which can amplify confidence (eg, courage, conviction) while others moderate it (eg, doubt, humility). Moreover, the level of confidence should reflect the dynamics of the specific situation that an individual finds themselves in. Small variances in routine confidence are often warranted (eg, resolution in the face of an emergency or caution in the face of growing uncertainty), 11 whereas significant excesses or absences of confidence should be avoided (eg, timidity in the face of clarity, recklessness in the face of risk).6,26,34

공리: 자신감은 우리가 현실에서 어떻게 행동하는지 형성하며, 현실과 밀접하게 일치할 때 최적화됩니다.
AXIOM: Confidence can shape how we act in our reality and is optimised when it closely corresponds to reality.

3.2 | 자신감
3.2 | Self-confidence

우리는 모두 자신감을 표현합니다; 다른 사람들, 교육 및 보건 시스템, 그리고 광범위한 기술 및 사회 시스템에. 그러나 교육 문헌에 대한 자신감은 자기 효능감, 즉 '특정 활동을 성공적으로 수행할 수 있다는 믿음'이라는 측면에서 더 자주 형성되어 왔다. 자기효능감은 종종 과제에 따라 다르지만, 긍정적이거나 부정적인 [자신감]의 축적은 개인의 전반적인 역량 감각을 형성할 수 있다. 그것은 또한 그들의 동기부여, 감정적 반응, 사고와 행동을 형성할 수 있다. 그동안 반두라 등이 '자기효능감'이라는 용어를 사용했지만, 우리는 그것이 사실상 자신감과 동의어라는 것을 발견했고, 일관성을 위해 후자를 사용했다. 자신감이 얼마나 중요한지는 개인이 감독 없이 주어진 일을 수행할 수 있는 책임이 얼마나 많은지에 달려있다. 우리에게 더 많은 선택권을 줄수록, 우리의 자신감은 더 중요하다. [더 개인주의적이고 모호함을 견뎌야 하는 맥락]은 [규칙 기반 또는 위계적 맥락]보다 더 많은 자신감을 요구할 수 있다. 따라서 자신감은 이러한 행동을 성공적으로 완수할 수 있는 능력뿐만 아니라 행동의 방향을 지시하는directing 것입니다.

We all express levels of confidence; in other people, in our educational and health systems and in our broader technical and societal systems. However, confidence in the educational literature has more often been framed in terms of self-efficacy, ‘the belief that one can successfully execute a specific activity’.35 While self-efficacy is often task-specific (ie one can be adept at one thing and inept at another), an accumulation of positive or negative confidences can shape an individual's overall sense of competence. It can also shape their motivation, emotional reactions, thinking and behaviours.5 While Bandura and others have used the term ‘self-efficacy’, we found that it was effectively synonymous with self-confidence, and we used the latter term for the sake of consistency. The degree to which self-confidence matters depends upon how much responsibility an individual is afforded to carry out a given task without supervision; the more options available to us, the more our self-confidence matters.5 Contexts that are more individualistic and tolerant of ambiguity may require more self-confidence than those that are more rule-based or hierarchical. Self-confidence is therefore about directing actions as well as the ability to complete these actions successfully.

자신감은 개인의 성격, 경험, 기대, 사회적 문화적 조건에 의해서도 형성된다. 개인의 이전 경험과 기준 자신감은 미래의 자신감을 알려주기 때문에 자신감이 긍정적이거나 부정적인 방식으로 스스로 쌓일 수 있다. 예를 들어, 자신을 이끌거나 믿도록 문화화된enculturated 사람은 그렇지 않은 사람보다 더 자신감을 가질 가능성이 높다. 낮은 사회적 지위에 있는 사람들은 (아무리 구성되어 있더라도) 자신감이 더 낮을 수 있으며, 특히 높은 사회적 지위에 있는 사람들(예: 교사 대 학습자, 전문가 대 비전문가)과 비교될 수 있다. 이러한 현상은 젠더, 성별, 인종, 민족성, 장애 및 사회-경제적 지위에 대한 사회적 불평등에 의해 더욱 악화될 수 있다. 예를 들어, 성별 간 자신감의 비대칭은 동등한 능력에서도 설명되었다. 이러한 능력에서 내면화된 자신감은 편견, 고정관념, 역할, 노동의 분할 및 보상에 의해 영향을 받을 수 있다. [지배적인 집단]에 속한 사람들은 종종 [덜 지배적인 집단]에 속한 사람들보다 더 큰 자신감을 갖게 된다.

Self-confidence is also shaped by an individual's character, experiences, expectations and social and cultural conditioning. An individual's prior experiences and baseline confidence can inform their future confidence, such that confidence can build upon itself in a positive or negative manner. For instance someone who has been enculturated to lead or believe in themselves is likely to have more self-confidence than someone who has not. Individuals of lower social standing (however constructed) may be conditioned or expected to have less confidence, particularly around and compared to those of higher social status (eg teachers vs learners, experts vs non-experts). 36 This phenomenon may be further exacerbated by social inequity around gender, sexuality, race, ethnicity, (dis)ability and socio-economic status. For example asymmetries of confidence between genders have been described even in light of equivalent abilities.37 I n t his c apacity, internalised self-confidence can be impacted by biases, stereotypes, roles, division of labour and rewards; those in more dominant groups are often afforded greater self-confidence than those in less dominant groups.

공리: 자신감은 직무에 특화되어 있지만 또한 개인의 자아 개념화, 주변 시스템 및 사회에 의해 불가분의 영향을 받습니다.
AXIOM: Self-confidence is task-specific but also inextricably influenced by the individual self-conceptualisation, the surrounding system and society.

3.3 | 관계 신뢰도
3.3 | Relational confidence

자신감은 학습자가 위치한 시스템뿐만 아니라 함께 일하는 개인들 간의 [관계 역학]을 반영할 수 있다. 팀 기반 환경에서는 여러 팀 구성원 간에 신뢰를 공유할 수 있으므로, [팀 구성원]은 개인 간 자신감 수준의 차이를 보완하거나 다른 팀 구성원의 기저 자신감 수준을 바꿔놓을 수 있습니다. 예를 들어, 더 젊은 주치의가 더 경험이 많은 간호사와 함께 일한다면 더 높은 자신감을 경험할 수 있다. 마찬가지로, 지도 의사가 도움을 주지 않는다면 학습자는 더 낮은 자신감을 경험할 수 있습니다. 주변 사람들에 대한 개인의 자신감은 또한 이러한 개인들이 계획하는 자신감에 의해 영향을 받을 수 있다. 따라서 개인의 내적 자신감이 반영되지 않을 수 있는 ['예측된 신뢰']와 그룹 역학의 산물로서 자신감이 어떻게 변화하는지 반영하는 ['분산된 신뢰']를 고려해야 한다. 
Confidence can reflect the relational dynamics between individuals working together, as well as the system in which the learner is situated. In a team-based setting, confidence can be shared across multiple team members, allowing team members to compensate for differences in individual confidence levels or alter the baseline confidence among other team members. As an example, a more junior attending physician may experience increased confidence if they are working alongside a more experienced nurse. Similarly, a learner may experience more diminished confidence if their supervising physician is not supportive. A person's confidence in those around them may also be influenced by the confidence these individuals project. We should therefore consider ‘projected confidence’, which may not reflect an individual's internal confidence, and ‘distributed confidence’ that reflects how confidence changes as a product of the group dynamic.5,31

의료 지도자들(예: 의사, 교사)은 일반적으로 다른 사람들이 그들을 따르도록 자연스럽게 설득하는 자신감을 투영하도록 기대되지만, 부하들은 비판으로부터 그들 자신을 보호하기 위해 그들의 실제 자신감을 평가절하 할 수 있다. 이는 일부 교육생들이 현재 [CBME 환경을 고부담으로 보는 관점]으로 인해 복합적으로 해석될 수 있으며, 학습learning보다 성과performance를 중요시하는 인식이 반영되어 있다. 학습자는 학습 능력과 피드백을 받는 능력에 지장을 줄 수 있는 [과도한 자신감]은 피하면서, 적절한 수준의 자율성을 개발할 수 있는 [충분한 자신감]을 가져야 한다. 실제로, 자신감 부족을 감추기 위해 과도한 자신감을 보이는 학습자들은 역량의 위험뿐만 아니라 학습 기회를 더욱 제한하고 있을 수 있다. 

Medical leaders (eg attending physicians, teachers) are typically expected to project confidence which naturally convinces others to follow them, while subordinates may downplay their actual confidence to protect themselves from criticism.38,39 T his c an b e c ompounded by the high-stakes view of the current CBME environment taken by some trainees, reflected in a perceived emphasis on performance over learning.38,40 In this capacity, learners must have sufficient confidence to develop appropriate levels and forms of autonomy, while avoiding overconfidence that may interfere with their ability to learn and receive feedback. Indeed, learners who exhibit excessive confidence to mask a lack of self-confidence may be further limiting their learning opportunities as well as risking dyscompetence.41

마지막으로 자신감의 [관계적 특성]은 자신감을 형성하는 많은 상황적, 우발적 요소에 반영된다. 예를 들어, 학습자가 엄격한 위계구조와 제한된 지원을 받는 부적응maladaptive 시스템에 있다면, 학습자의 자신감은 더 도움이 되는 학습 환경에 있을 때보다 더 낮을 수 있다. 그림 2는 반복 분석을 기반으로 신뢰도에 기여하는 몇 가지 주요 내부 및 외부 구성요소를 강조한다. [불확실성]이 클수록 자신감은 일상적이거나 단순한 상황보다 낮아지는 경향이 있다. 앞서 언급한 바와 같이 문화와 환경과 같은 맥락적 요소들이 모든 상황에 필연적으로 스며들기 때문에 그림 2에는 포함되지 않았다. 자신감은 [행동-후-성찰과 행동-중-성찰]에 의해서도 영향을 받는데, 그 결과 빠르게 진행할 때와 속도를 늦춰야 할 때를 조절할 수 있게 된다. 최악의 경우 자신감이 현실과 완전히 괴리될 경우 소시오패스(sociopathy)를 반영할 수 있다.
Finally, the relational nature of confidence is reflected in the many contextual and contingent factors that can shape it. For example, if the learner is in a maladaptive system with a strict hierarchy and limited support, their confidence may be lower than if they were in a more supportive learning environment. Figure 2 highlights some of the key internal and external components contributing to confidence based upon our iterative analyses. When there is greater uncertainty, confidence will tend to be lower than in routine or simple situations.11,12 As stated before, the contextual factors such as culture and environment inevitably permeate all situations, and thus have not been included in Figure 2. Confidence is also influenced by reflecting-on- action and reflecting-in- action, 42 moderating when one might proceed with ease or should slow down.7,43 In the worst-case scenario, it can reflect sociopathy if confidence becomes fully dissociated from reality.

공리: 자신감은 많은 외부 요인과 상황의 맥락에 의해 형성됩니다.
AXIOM: Confidence is shaped by many external factors and the context of the situation.

3.4 | 자신감 보정
3.4 | Calibrating confidence

우리는 자신감이 당면한 상황을 반영해야 한다고 주장해왔다; 개인의 자신감은 상황이 변함에 따라 변해야 한다. 우리는 또한 확실성certainty이 자신감에 대한 직접적인 아날로그는 아니지만, 자신감의 전구체precursor라고 제안했다. 일반적으로, 더 큰 확신을 가지게 되면, 자신감이 증가해야 한다. 그러나 자신감은 감정, 위계, 경험을 포함한 광범위한 외부 요인에 의해 수정될 수 있다. [자신이 처한 상황을 인지하고 해석하는 능력]은 [이러한 인식과 해석에 대해 행동하는 능력]과 직결된다. 이 단계가 중단되면 피드백 루프가 중단될 수 있습니다.
We have argued that confidence should reflect the circumstances on hand; an individual's confidence should change as their situation changes. We have also suggested that certainty is a precursor for, but not a direct analogue for confidence. Generally, with greater certainty, confidence should increase. However, confidence may be modified by a wide range of external factors including emotion, hierarchy and experience.44,45 The ability of an individual to perceive and interpret the situations they find themselves in is directly linked to their ability to act on these perceptions and interpretations. If any stage of this is interrupted, then the feedback loop can be disrupted.

자신감 수준은 다양한 심리 측정 도구를 사용하여 측정할 수 있습니다. 자신감 평가를 위한 검증된 도구는 많지만, 특정 애플리케이션(예: 근골격계 검사, 학생 학습 기술)으로 제한되는 경우가 많다. 따라서, 사용된 새로운 자신감 평가 도구에 대한 적절한 타당성 증거를 확립할 필요가 있을 것이다. 중요한 것은, 이 자신감 수준의 결과는 어느 정도 수준의 자신감이 특정 개인과 상황에 적합한지에 대한 이해를 필요로 한다는 것이다. 이러한 [비례성]과 [맥락화]는 비록 간접적이지만 CBME에서 자주 사용되는 위임 척도에 반영된다(예: CBME에서 자주 사용되는 위탁 척도에 대해 이야기하고, 설득하고, 만일의 경우를 대비해서 방에 있어야 하며, 거기에 있을 필요가 없다). 특정 도구와 별개로, 변화하는 상황에 대한 자신감을 설명할 수 있는 능력은 위임을 확립하는 데 어느 정도의 확실성이 필요하다. 
Levels of confidence can be measured using different psychometric instruments.46-48 While there are a number of validated tools for assessing confidence, they are often limited to specific applications (eg musculoskeletal examination, student learning skills).47,48 Therefore, it would be necessary to establish proper validity evidence for any new confidence assessment tools used. Importantly, the ramifications of this confidence level require an understanding of what levels of confidence are appropriate to the particular individual and situation. This proportionality and contextualisation is reflected, albeit tangentially, in the entrustment scales often used in CBME (eg had to do, had to talk them through, had to prompt them, needed to be in the room just in case, did not need to be there).49,50 Regardless of the exact tool, the ability to account for confidence in response to changing circumstances, need and degree of certainty is a necessary part of establishing entrustment.

앞에서 언급한 많은 도구들은 자신감의 자기평가에 의존한다. 이들은 일반적으로 '전혀 자신감이 없다'와 '매우 자신감 있다'와 같은 용어로 고정될 수 있는 리커트 척도를 사용하여 측정된다. 자신감을 평가할 때, 우리는 [자신감self-confidence]과 [인지된 자신감]을 모두 고려하는 것이 중요하다고 믿는다. 전자의 관점에서 후자의 개념은 묘사된 자신감과 실제 신뢰도의 차이를 식별하고 적절한 경우 정렬을 유도하기 위해 고려될 수 있다(예: 과도한 자신감은 팀이 잘못된 정보에 의문을 갖지 않도록 이끈다). 인간이 자기 평가에 악명 높기로 악명 높은 것을 감안할 때, 적절한 수준의 자신감을 유지하는 것은 전적으로 개인에게 맡겨서는 해결하기 어려울 수 있다. 

Many of the aforementioned tools rely upon self-assessment of confidence. These are typically measured using Likert scales that can be anchored by terms such as ‘not at all confident’ and ‘very confident’. When assessing confidence, we believe it important to consider both self-confidence and perceived confidence. The latter concept may be considered in light of the former to identify differences in portrayed versus actual confidence and guide alignment when appropriate (eg the perception of overconfidence leading the team to avoid questioning incorrect information). Given that humans are notoriously bad at self-assessment, maintaining appropriate levels of confidence can be challenging if left entirely to the individual to resolve.21-23,51,52

자신감은 [독립적인 변수나 구성으로서 측정하기보다는] 역량과 연결되어 있다고 생각할 수 있다. HPE에 대한 자신감과 역량의 상호작용은 오랫동안 고려되어 왔으며, 개인은 자신감과 역량이 분리될 때 문제가 있다고 본다. 역량과 자신감은 독립적으로 평가하기 어렵지만, 비율로 더 추적하기 쉬울 수 있다. 이는 주어진 기술에 대한 역량 점수에 대한 자신감의 비율(리커트 척도를 사용하여 평가)로 계산할 수 있다. 대안적으로, 교육자들은 자신감 앵커를 역량 앵커에 매핑하여 역량 단계를 통한 진행을 반영할 수 있습니다. 이상적으로는 자신감이 역량에 부합되어야 하며, 능력 있는 사람일수록 자신감이 있어야 하며, 그 반대의 경우도 마찬가지입니다(그림 3, 표 1). 다만 CCR이 잘못 보정됐을 때 문제가 발생할 수 있다. 

Rather than measuring confidence as an independent variable or construct, we can consider it as being linked to (but not as a surrogate for) competence. The interaction of confidence and competence in HPE has long been considered,53-58 and individuals are viewed to be problematic when confidence and competence are decoupled.37 While competence and confidence are hard to assess independently,21,56 they may be more trackable as a ratio. This may be calculated as the ratio of self-confidence (assessed using a Likert scale) to a competence score for a given skill. Alternatively, educators could map confidence anchors to competence anchors, such that they mirror the progression through stages of competency. Ideally, confidence should align with competence, such that the more competent a person is, the more confident they are and vice versa (Figure 3, Table 1). However, it is when the CCR is miscalibrated that problems can arise.6,26,34

CCR은 일반적으로 [자신감을 역량에 따라오는 것]으로 표현하며, 자신감은 행동적 성향이고, 역량이 더 중요하고 필수적인 구조라고 본다. 주장의 핵심은 이 둘이 정렬되고 비례해야 한다는 것이다. 이들이 정렬하면 일이 예상대로 진행돼 자신감도 관심사로 후퇴한다. CCR이 과신이나 저신뢰로 표류할 때 우리는 균형을 다시 잡으려고 한다. 그러므로 우리는 자신감이 역량의 중재자라고 제안합니다. 연습생은 기술적으로 유능할 수 있지만 자신감이 부족하다면 그러한 잠재적 역량을 사용할 수 있는 능력이 손상되어 다음과 같은 일반적인 공식이 제시된다.
The CCR is typically articulated such that confidence needs to follow competence, with the former being a behavioural disposition, while the latter is the more critical and essential construct. The argument is that they should be aligned and proportional. When they are aligned, things proceed as expected and confidence recedes as a concern. It is when the CCR drifts towards overconfidence or underconfidence that we seek to re-establish the balance. We, therefore, suggest that confidence is a mediator of competence. A trainee might be technically competent but if they lack confidence then their ability to use that potential competence is compromised, suggesting a general formula such as:

예를 들어, 과신하는 학습자(높은 CCR 값)는 잘못된 진단 계획을 과도하게 추구하고 잠재적인 인지 편향을 무시함으로써 역량이 낮아질 수 있다. 한편 학습자의 임포스터 증후군(즉, 낮은 CCR 값)은 정답을 억제하거나 적절한 계획에서 벗어나 자신을 재추측하는 것으로 나타날 수 있다. 따라서 교육자와 전문가들은 독립적인 변수로서의 자신감보다는 CCR 구성에 더 집중해야 한다.
For example an overconfident learner (ie high CCR value) may manifest lower competence by over-aggressively pursuing an incorrect diagnostic plan and ignoring potential cognitive biases. Meanwhile, a learner's imposter syndrome (ie a low CCR value) may manifest with holding back on correct answers or second-guessing themselves out of an apt plan. Educators and professionals should therefore be more focused on the CCR construct than on confidence as an independent variable.

공리: 자신감은 역량과 함께 고려되어야 합니다.
AXIOM: Confidence must be considered in conjunction with competence.

3.5 | CCR 및 CBME
3.5 | CCR and CBME

CCR은 역동적이다(그림 4). 과도한 자신감과 과소한 자신감의 균형을 유지하는 것이 목표다. 이상적인 CCR은 개인과 상황에 따라 약간 다를 수 있다. 개인 수준에서 일부 학습자는 약간 과하거나 자신감이 부족한 영역에서 탁월할 수 있으며, 이는 보다 균형 잡힌 팀을 만드는 데 도움이 될 수 있습니다. 또한 복잡한 의료 사례나 희귀 진단과 같은 일부 영역은 낮은 CCR을 필요로 할 수 있는 반면, 어떤 경우(예: 중요한 환자의 소생 유도, 새로운 리더십 위치)는 자신감을 표현하기 위해 더 높은 CCR을 필요로 할 수 있다. 임상의사 역량에 대한 현재 관점은 능력의 여러 영역이 있으며 각 영역에 대해 초보자에서 마스터까지 해당하는 스펙트럼이 있음을 시사한다. 따라서 자신감은 각 영역에 대한 역량의 정도를 반영하도록 adapt할 수 있어야 합니다. 그러나 이상적인 CCR에서 멀어질수록 CCR의 중앙으로 진로를 되돌려야 할 필요성이 커진다.

The CCR is dynamic (Figure 4). The goal is to maintain a balance between overconfidence and underconfidence. The ideal CCR may vary slightly by person and situation. At the individual level, some learners may excel in areas of slight over-or under-confidence, and this may in fact be beneficial for creating a more balanced team. Moreover, some areas such as complex medical cases or rare diagnoses may require a lower CCR, while other scenarios (eg leading a resuscitation of a critical patient, assuming a new leadership position) may need a higher CCR to portray confidence. The current view of clinician competence suggests that there are multiple domains of ability and for each domain there is a corresponding spectrum from novice to master.59 Thus, confidence must be able to adapt to reflect the degree of competence for each domain. However, as one drifts farther from their ideal CCR, there is a greater need to revert course back towards the centre of their CCR.

따라서 우리는 학습자를 평가할 때 자신감은 역량과 함께 추적되어야 한다고 주장한다. 이러한 측정은 지식 평가를 위한 시험 중 질문의 일부로, 그리고 시뮬레이션 사례 및 보다 포괄적인 학습자 평가 모델의 일부로써 실제 환자와의 만남에서 수집될 수 있다. 이는 CBME 내의 각 위탁 가능한 전문 활동(EPA)에 매핑되어 자신감과 역량이 각 구성요소에 대해 유사한 궤적을 따르도록 보장할 수 있다.
We therefore argue that confidence should be tracked alongside competence when assessing learners. These measurements could be gathered as part of the questions during examinations for knowledge assessment, as well as in simulation cases and real-life patient encounters as part of a more comprehensive learner assessment model. This could then be mapped to each entrustable professional activity (EPA) within CBME, ensuring that confidence and competence follow a similar trajectory for each component.

CCR의 deviation이 확인되면, 보다 균형 잡힌 CCR로 개인을 복귀시키기 위한 노력을 기울여야 한다. CCR의 교정 노력은 종종 역량 향상에 초점을 맞추고 있지만, 교정 및 일상적인 교육에서 자신감도 다루어야 한다고 제안한다. 자신감이 주체감과 밀접하게 묶여 있다는 점에서 지식에만 집중하는 것 또한 부족할 것이다. 오히려 CCR의 균형을 재조정하는 작업이 그들의 어려움을 해결하는 데 더 효과적일 수 있다. 대안적으로, 과신하는 학습자들이 [자신감이 과도한 부분을 파악할 수 있도록 돕는 것]은 그들이 더 열심히 생각하고 편견을 버리고 주어진 주제에 대한 더 깊은 이해를 찾도록 도전하게 할 수 있다. 
When a deviation in CCR has been identified, efforts should be made to return the individual to a more balanced CCR. While remediation efforts are often focused on improving competence, we propose that confidence should be addressed in remediation as well as in day-to- day teaching. Given that self-confidence is intimately tied to one's sense of agency,20,30,60 concentrating on knowledge alone will also be insufficient. Rather, working to rebalance their CCR could be more effective in addressing their difficulties. Alternatively, helping overconfident learners identify where their confidence may be excessive may challenge them to think harder, discard biases and seek out a deeper understanding of a given topic.61-65

따라서 과소한 자신감과 과도한 자신감은 모두 학습자가 자신감과 역량 피드백 루프를 개발하도록 유도하는 것을 목표로 하는 목표targeted 피드백과 코칭 노력의 혜택을 받을 수 있습니다. 이를 위해 특정 사건 및 성과 데이터의 지원을 통해 학습자가 성공과 한계를 확인할 수 있도록 돕는 것은 특히 자신감과 역량의 정도를 연결하는 데 유용할 수 있다. 5,26,68-71 표 2는 학습자의 CCR 재정렬에 도움이 될 수 있는 전략을 제시한다.

Both underconfidence and overconfidence may therefore benefit from targeted feedback and coaching efforts,5,66,67 with a goal of guiding learners to develop their own confidence-competence feedback loops. To that end, helping learners identify their successes and limitations with the support of specific incidences and performance data may be particularly valuable for linking confidence to their degree of competence.5,26,68-71 Table 2 sets out some strategies that could be employed to help realign learners’ CCR.

AXIOM: CCR은 시간이 지남에 따라 바뀔 수 있다. CCR을 측정하고 학습자와 협력하여 CCR을 이상적인 비율로 재조정하는 것이 중요합니다.
AXIOM: CCR is dynamic over time. It is important to measure CCR and work with learners to realign their CCR towards their ideal ratio.

4 | 토론
4 | DISCUSSION

본 논문에서, 우리는 HPE에서, 특히 CBME의 현재 컨텍스트 내에서 신뢰와 역량이 어떻게 연결되어 있는지 살펴보았다. In this paper, we have explored how confidence and competence are linked within HPE, specifically within the current context of CBME.

자신감과 역량의 관계는 [언어 행위 이론]과 [수행성performativity]의 개념의 맥락에서 볼 때 특히 흥미롭다. 예를 들어, 오스틴은 [말이 행동을 완성하는 역할을 할 수 있다]고 제안했다. 어떤 것을 선언함으로써, 그것은 실제로 특정한 경우에 행동을 구성할 수 있다(예를 들어, 환자를 입원시키거나 퇴원시키는 것을 선택한다). 이 개념은 버틀러에 의해 이와 관련된 권력과 정체성 형성에 대해 논의하기 위해 확장되었다. 이것에 비추어 볼 때, 자신감은 말에 영향을 미치며, 이는 나중에 행동을 유도할 수 있다. 따라서 CCR이 잘못 정렬되면 행위action에 직접적인 영향을 미칠 수 있습니다.
The concept of confidence and the relationship with competence is particularly interesting when viewed in the context of the speech act theory and the concept of performativity.72,73 For instance, Austin proposed that words could serve to consummate an action.72 By declaring something, it can actually constitute the action in certain cases (eg choosing to admit or discharge a patient). This concept was expanded upon by Butler to discuss the subsequent power and identity formation associated with this.73 When viewed in light of this, confidence influences speech, which can subsequently drive action. Therefore, when the CCR is misaligned, there can be a direct impact on action.

이는 신뢰와 CCR을 CBME에 대한 접근법에 반영해야 한다는 우리의 주장을 뒷받침한다. CCR 교정에 대한 적절한 관심이 없다면 역량 개발은 관리되기 어려울 것이다. 우리는 CCR이 CBME 프레임워크 내에서 일상적으로 평가되고 추적되어야 한다고 제안한다. 모의사례는 자신감과 역량에 대한 부수적인 평가로 수행될 수 있으며, 보다 표적화된 교정조치 전략을 안내할 수 있다. 피드백에는 역량만 고립해서 보기보다는 아닌 [자신감의 맥락에서 역량에 대한 논의]도 포함해어야 하며, CCR은 EPA에 통합되고 진급advancement 의사결정에 반영되어야 한다. 또한 CCR 불균형을 사용하여 '니어미스'를 식별하고 예측함으로써 나쁜 결과가 발생하기 전에 학습할 수 있는 순간을 식별할 수 있다. 정확하게 보정된 CCR은 학습자가 자신의 ZPD과 가장 잘 일치하도록 도와 성장률을 극대화할 수 있다. 
This reinforces our argument that confidence and the CCR need to be factored into our approach to CBME. Without adequate attention to CCR calibration, the development of competency will likely be harder to manage. We propose that CCRs should be routinely assessed and tracked within the CBME framework. Simulated cases could be performed with concomitant assessments of confidence and competence, guiding more targeted remediation strategies. Feedback should include a discussion of competency in the context of confidence, as opposed to competency in isolation and CCRs should be incorporated into EPAs and factored into advancement decisions. Moreover, CCR imbalances could be used to identify and predict ‘near misses’, thereby identifying a teachable moment before a bad outcome occurs. An accurately calibrated CCR could also help a learner best align with their zone of proximal development to maximise their growth.74

추가 연구는 자신감 측정을 위한 이상적인 도구를 개발하는 것, 및 자신감이 상황에 따라 달라지는지 여부를 식별해야 한다(예: 시뮬레이션 사례, 절차, 실제 시나리오). 연구는 CBME 내의 CCR과 학습자와 환자의 결과에 영향을 미칠 수 있는 특정 CCR 임계값이 있는지 여부를 추가로 평가해야 한다. 이것은 어떤 CCR 수준이 개입이나 교정조치를 촉발해야 하는지를 알리는 데 사용될 수 있다. CBME에서 핵심 역할을 하는 기존의 임상 역량 위원회는 '신뢰 및 역량 위원회'로 재구성되어 학습자의 기술 집합에 대한 자신감을 평가하고 위임 의사 결정과 연결할 수 있다. 이는 아마도 CCBMC(역량 및 자신감 기반 의학교육)일지도 모른다.

Further research needs to identify the ideal tools for measuring confidence and whether this varies by situation (eg simulated cases, procedures, real-life scenarios). Studies should further assess CCRs within CBME and whether there are specific CCR thresholds that may impact outcomes for learners, as well as for patients. This could be used to inform what CCR levels should trigger interventions or remediations. The traditional clinical competency committees that play a key role in CBME could be reframed as ‘confidence and competency committees’, assessing learners' confidence in their skill sets and linking them to entrustment decisions—perhaps as part of CCBME (competency and confidence-based medical education).

또한 자신감을 가르치고 다른 사람들이 그들의 자신감을 스스로 교정하도록 지도하는 가장 효과적인 접근법이 무엇인지 결정해야 한다. 여기에는 개인화된 코칭 및 시뮬레이션 기반 전략이 포함될 수 있습니다. 자신감과 역량의 관계는 또한 우리의 학습자들 사이에 심리적 안전을 보장하고, 가짜 증후군과 이와 유사한 보증되지 않는 불안을 겪고 있는 사람들을 위한 완화 전략을 개발하는 것의 중요성을 강조한다. 
Research should also determine what are the most effective approaches for teaching confidence and guiding others to self-calibrate their confidence. This could include personalised coaching and simulation-based strategies. The relationship between confidence and competence also emphasises the importance of ensuring psychological safety among our learners and developing mitigation strategies for those suffering from imposter syndrome and similar unwarranted anxieties.26

또한, 수련 종료 후 이를 지속적인 전문성 개발(CPD)에 통합하는 방법을 평가해야 한다. 현재 피드백은 종종 덜 강력하기 때문에 지속적인 임상 우수성 추구의 일환으로 개선이 필요한 영역을 식별하는 데 이상적인 영역을 제시한다. 향후의 노력은 훈련 후 신뢰도 보정을 위한 CPD 노력을 구축하고 지원하는 최선의 방법을 결정해야 한다. 여기에는 동료 관찰이나 레지던트 회의일 동안 환자 또는 외과 케이스의 공동 관리가 포함될 수 있다. 게다가, 전문 학회는 자격증 시험에 신뢰도 평가를 통합하는 것을 고려해야 합니다.
Additionally, studies should assess how to incorporate this into continuing professional development (CPD) after completion of training. As feedback is often less robust at this time,75 it presents an ideal arena to identify areas for improvement as part of the continuous pursuit of clinical excellence. Future efforts should determine how best to build and support CPD efforts to calibrate confidence post-training. This could include peer observation or co-management of patients or surgical cases during resident conference days. Moreover, professional societies should consider incorporating confidence assessment into certification examinations.

마지막으로, 자신감과 역량의 관계적인 측면은 흥미로운 탐구 영역입니다. 트레이너와 훈련생 사이의 관계는 개인의 자신감과 겉으로 보이는 자신감에 대한 외부 인식 사이의 관계뿐만 아니라 더 완전하게 검토하는 데 중요할 것이다. 분산된 신뢰도를 이해하고 조직과 팀에 걸쳐 공유된 신뢰의 상호작용을 이해하면 보다 효과적이고 균형 잡힌 팀을 구성할 수 있을 뿐만 아니라 팀을 활용하여 구성원 간의 신뢰 보정을 강화할 수 있는 방법을 알 수 있습니다.
Finally, the relational aspects of confidence and competence are an exciting area to explore. The relationships between trainers and trainees will be crucial to more fully examine, as well as the relationship between an individual's self-confidence and external perceptions of their apparent confidence. Understanding distributed confidence and the interaction of shared confidence across organisations and teams could inform the creation of more effective and balanced teams, as well as how teams can be utilised to strengthen confidence calibration across members.

5 | 제한사항
5 | LIMITATIONS

이 작품에는 몇 가지 한계가 있습니다. '과학의 상태' 논문으로서, 우리는 앞으로 이 연구의 영역에 직면하는 문제들을 추론적으로 탐색하고 반영하려고 노력해 왔다. 이 논문은 경험적으로 고려될 수 있는 것을 강조하기 위한 것이며, 이 시점에서 생겨나야 하는 과학적 연구를 대체하거나 대체하려고 하지 않는다. 또한 필드 내에서 잘 정의된 도메인을 조사하지 않기 때문에 체계적인 검토나 범위 지정 검토가 아니었습니다. 실제로 이러한 유형의 검토에 익숙한 사람들은 신흥 분야에서 이러한 유형의 지식 합성을 수행하는 것이 부적절하거나 시기상조라는 점에 주목한다. 
This work has several limitations. As a ‘state of the science’ paper, we have sought to deductively explore and reflect on issues that face this domain of research going forward. This paper is meant to highlight what might be considered empirically and does not seek to supplant or replace the scientific work that must spring forth from this juncture. Additionally, this was not a systematic or a scoping review, as we are not looking to examine a well-defined domain within a field. Indeed, those with the familiarity of these types of reviews would note that in an emerging field it would be either inappropriate or premature to conduct these types of knowledge syntheses.

우리의 리뷰는 다른 사람들이 우리가 제기한 문제들을 고려하고 향후 작업을 위한 방법을 제안하도록 영감을 주기 위한 것이다. 우리는 또한 우리의 현재 개념이 이전의 많은 담론, 이론 및 탐구 영역과 겹친다는 것을 완전히 인정한다. 이 경우 HPE 분야 내에서 다른 저명한 업무 기관과의 연계를 끌어내고 연역적 과정을 통해 해당 분야를 발전시켜 이전에 왔던 아이디어를 결합하고 재방문하는 새로운 방법을 추가하는 것이 우리의 의도였다. 마지막으로, 우리가 포용력을 가지기 위해 노력해왔지만, 우리의 이론적이고 개념적인 제품들은 그 분야 전문가들로부터 피드백을 받는 작가팀의 공동 구성입니다. 그러므로 우리는 보건 분야와 그 너머에서 온 문헌에 대한 우리 자신의 인식에 의해 제한을 받는다.

Our review is meant to inspire others to consider the issues we have brought forth and suggest a way forward for further work. We also admit fully that our current concepts overlap with many preceding discourses, theories and areas of inquiry. It was our intention in this case to draw linkages to other prominent bodies of work within the field of HPE and advance the field through our deductive process, adding new ways to combine and revisit ideas that have come before. Finally, while we have tried to be inclusive, our theoretical and conceptual products are co-constructions of the authorship team with feedback from experts within the field. We are, therefore, limited by our own awareness of the literature from within the health professions and beyond.

6 | 결론
6 | CONCLUSION

자신감은 개인에서 사회 전반에 이르기까지 다양한 수식어와 상황에 의해 영향을 받을 수 있는 구조이다. CBME는 현재 주로 자신감에 중점을 두고 역량에 초점을 맞추고 있다. 그러나 자신감은 역량 평가의 필수 요소이며 CCR의 일부로 두 가지를 함께 고려하는 것이 중요하다고 생각한다. 이상적인 CCR에서 벗어나기 시작할 때 학습자가 어느 한 쪽에도 접근하지 않도록 이를 인식하고 개입하는 것이 중요하다. 향후 연구는 CCR을 평가하기 위한 전략, 신뢰도를 가르치고 자가 교정을 지도하기 위한 모범 사례 및 CBME, CPD 및 팀 간 CCR의 역할을 평가해야 한다.

Confidence is a construct that can be influenced by a variety of modifiers and circumstances, ranging from the individual to society at-large. CBME currently focuses primarily on competency with limited emphasis on confidence. However, confidence is an integral component of competency assessment and we believe it is important to consider them both in conjunction as part of the CCR. As one begins to deviate from the ideal CCR, it is important to recognise this and intervene to guide the learner to avoid approaching either extreme. Future research should evaluate strategies for assessing CCR, best practices for teaching confidence and guiding self-calibration, and the role of CCR in CBME, CPD and among teams.

© 2021 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

보건의료전문직 교육의 평가 - 성과 측정은 충분한가? (Med Educ, 2022)
Evaluation in health professions education—Is measuring outcomes enough?
Louise M. Allen1 | Margaret Hay1 | Claire Palermo2

1 | 소개
1 | INTRODUCTION

평가 프로세스는 프로그램의 개발, 구현 및 결과에 대한 정보를 수집, 분류 및 해석하는 것을 목표로 한다. 평가는 다양한 목적이 있다. 여기에는 다음이 포함될 수 있다

• 시행 전에 프로그램의 타당성 판단,
• 프로그램이 의도한 대로 구현되었는지 판단,
• 프로그램의 영향측정 (개인을 중심으로 다양한 수준에서 또는 모집단 수준에서 훨씬 더 광범위한 수준일 수 있음),
• 프로그램 성과로 이어지는 메커니즘을 이해.

Evaluation processes aim to collect, sort and interpret information about the development, implementation and outcomes of programmes.1 Evaluations can have a range of goals. These may include

• determining the feasibility of a programme prior to implementation,
• determining if a programme was implemented as intended,
• measuring the effects of a programme (this can be at a variety of levels, focusing on individuals, or much broader at the population level) and
• understanding the mechanisms that lead to programme outcomes.1,2

건강 직업 교육(HPE)에서 평가는 필수적이다. 이를 통해 개입의 내용과 전달을 개선하고, HPE의 장단기 영향을 평가하고, 자금 할당에 대한 결정을 내릴 수 있습니다. 이상적으로 평가는 다음의 두 가지를 모두 의미한다.

• 프로그램 결과와 영향을 측정하는 것(성과 평가)
• 프로그램 평가로 이어지는 기본 프로세스를 이해하는 것(프로그램 평가)

Evaluation in health professions education (HPE) is essential. It allows us to improve the content and delivery of interventions, to assess a range of short and long-term impacts of HPE, and to make decisions on the allocation of funding. Ideally, evaluation refers to not only

• measuring programme outcomes and impacts (outcome evaluation), but also
• understanding the underlying processes that lead to them (programme evaluation).

HPE 연구에서, 엄격하고 이론을 활용하는 보다 강력한 접근법으로 향하는 경향이 증가하고 있다. 평가에 있어서, 이것은 [평가를 가이드하는 프레임워크 또는 모델을 사용하는 것]으로 해석된다. 다양한 평가 모델이 HPE에서 사용됩니다. 여기에는 다음이 있다.

• 성과 평가 모델(많이 인용된 커크패트릭 모델 및 건강 또는 HPE 설정에 대한 다양한 수정모델)
• 현실주의 평가와 같은 어떤 성과가 발생한 방법과 이유를 이해하는 것을 목표로 하는 보다 엄격한 프로그램 평가 모델(CIPP, 이론 중심 평가, 기여 분석, 계층 분석, 그리고 RE-AIM 프레임워크.)

Increasingly in HPE research, there has been a trend towards more robust approaches that are rigorous, and utilise theory.3,4 For evaluation, this has translated to the use of frameworks or models to guide evaluation. A range of evaluation models are used in HPE. These include

• outcome evaluation models such as the heavily cited Kirkpatrick Model5,6 and its various modifications specifically for the health or HPE settings,7–17 as well as
• more rigorous programme evaluation models that aim to understand how and why outcomes have occurred such as realist evaluation; Context, Input, Process and Product (CIPP) evaluation; theory-driven evaluation; contribution analysis; layered analysis; and the RE-AIM framework.

HPE에서 성과평가 모델의 사용은 점점 더 대중화되고 있다. 아마도 단순성 때문일 것이다. 그러나 복잡한 HPE 환경에서 결과 평가 모델을 사용하는 것에 대한 출판된 주의사항, 프로그램이 어떻게 그리고 왜 작동했는지에 초점을 맞추는 것을 넘어서야 한다는 요구, 결과 평가 모델에 대한 수많은 비판에도 불구하고, 그 사용은 계속 증가해 왔다.

The use of outcome evaluation models in HPE is becoming increasingly popular, perhaps due to their simplicity. However, despite published cautions of the use of outcome evaluation models in the complex HPE environment,18,19 calls to move beyond focusing on outcomes (did it work) to how and why programmes worked and what else happened,20 and a number of criticisms of outcome evaluation models,18,21–29 their use has continued to increase.

이 기사에서는 [성과 평가]와 [프로그램 평가]의 차이를 살펴본다. 우리는 광범위한 수용과 사용을 고려할 때 특히 커크패트릭 모델에 초점을 맞추어 결과 평가 모델의 사용을 검토하고 비판하며, 결과가 어떻게 그리고 왜 발생하는지를 이해하는 데 도움이 되는 평가 모델의 사용을 옹호하는 것을 목표로 한다.

In this article, we explore the difference between outcome evaluation and programme evaluation. We aim to review and critique the use of outcome evaluation models, with a particular focus on the Kirkpatrick Model given its wide acceptance and use, and advocate for the use of evaluation models that help us understand how and why outcomes are occurring.

2 | 프로그램 평가와 비교한 결과 평가 개요
2 | BRIEF OVERVIEW OF OUTCOME EVALUATION COMPARED WITH PROGRAMME EVALUATION

이름에서 알 수 있듯이, 성과 평가는 주어진 개입의 결과나 영향에 초점을 맞추고 '그것이 효과가 있었는가?'라는 질문에 답하려고 한다. 30 성과 평가는 일반적으로 적용하기가 쉽고 결과를 분류하는 복잡한 방법을 제공하는 인기 있는 커크패트릭 모델과 같은 분류법에 의해 안내된다. 실무에서, 이것은 종종 개입의 효과를 결정하는 것을 목적으로 하는 평가로 귀결되는데, 여기서 그 효과는 [미리 결정된 결과가 달성되었는지]를 결정함으로써 입증된다.20

As the name suggests, outcome evaluation focuses on the outcomes or impacts of a given intervention and seek to answer the question ‘Did it work?’30 Outcome evaluations are usually guided by a taxonomy, such as the popular Kirkpatrick Model, which is easy to apply and provides an uncomplicated way to classify outcomes.20,25 In practice, this often results in evaluations aimed at determining the effectiveness of an intervention, where effectiveness is demonstrated by determining if predetermined outcomes have been achieved.20

성과 평가는 특정 개입이 원하는 효과를 얻었는지에 대한 중요한 정보를 제공할 수 있지만, 교육 개입의 복잡한 성격과 결과, 장기적 결과 및 의도하지 않은 결과로 이어지는 프로세스를 무시하는 경향이 있다. 교육개입 연구의 대다수가 큰 차이를 보이지 않는 이유일 것이다. 
While outcome evaluations can provide important information about if a specific intervention had the desired effect, they tend to neglect the complex nature of educational interventions and the processes that lead to outcomes, longer term outcomes and unintended outcomes. This is likely the reason that the vast majority of studies of educational interventions show no significant differences.30

반면 프로그램 평가는 '그것이 작동했는가?'를 넘어 '어떻게, 왜 작동했는가?'에 대답하는 것을 추구한다. 프로그램 평가는 [프로그램 성과] 외에 [프로그램의 설계 및 구현]과 관련이 있다.26 프로그램 평가의 목적은 '프로그램 내부와 외부 모두에서 프로그램 결과의 변동 원인을 식별하는 동시에, 이러한 변화의 출처(소스) 또는 성과 자체의 타당성을 판단하는 것'이다.따라서 HPE 연구의 초점이 되는 [복잡한 개입과 복잡한 시스템]을 평가하는 데 사용하는 것이 더 적절한 접근법이다. HPE에서 결과 평가의 사용이 매우 보편적이기 때문에, 다음 절에서는 HPE에서의 결과 평가의 사용에 대한 검토를 제공한다.

Programme evaluation on the other hand seeks to go beyond answering ‘Did it work?’ to ‘How and why did it work?’. Programme evaluation is concerned with the design and implementation of the programme, in addition to the programme outcomes.26 The aim of programme evaluation is ‘to identify the sources of variation in program outcomes both from within and outside the program, while determining whether these sources of variation or even the outcome itself are desirable or undesirable’ (p. 289).26 It is therefore a more appropriate approach to use in evaluating the complex interventions and systems that are usually the focus of HPE research. As the use of outcome evaluation is so prevalent in HPE, the following section provides a review of the use of outcome evaluations in HPE.

3 | HPE의 결과평가 모델 사용에 대한 비판적 검토 - KirkPatrick 모델 예시
3 | A CRITICAL REVIEW OF USING OUTCOME EVALUATION MODELS IN HPE— THE KIRKPATRICK MODEL EXAMPLE

3.1 | 커크패트릭 모델 개요
3.1 | Overview of the Kirkpatrick Model

위에서 언급한 바와 같이, 커크패트릭 모델은 HPE의 평가에 널리 사용되어 왔습니다. 의대생, 레지던트 및 의사의 시뮬레이션, 간호 시뮬레이션, 전문가 간 학습, 지속적인 전문 개발, 온라인 학습 및 커리큘럼 평가를 포함한 다양한 교육 프로그램을 평가하는 데 사용되어 왔다. 이 모델은 1959년과 1960년 도널드 커크패트릭이 4개의 기사로 된 시리즈로 처음 발표했는데, 이는 인간관계 교육 책임자들이 평가 노력을 높일 수 있도록 지침을 제공하는 것을 목표로 했다. [뉴 월드 커크패트릭 모델]은 원래 커크패트릭 모델을 기반으로 제작되었으며 도널드 커크패트릭의 아들과 며느리(제임스 커크패트릭과 웬디 커크패트릭)가 2008년부터 2010년 사이에 모델을 현대화하기 위해 개발했다. 오리지널 및 뉴월드 커크패트릭 모델의 요약과 비교는 표 1에서 볼 수 있다. 궁극적으로 오리지널 모델과 뉴월드 모델은 모두 참여, 태도, 지식 및 기술, 행동 변화 및 전반적인 프로그램 결과에 초점을 맞춘 4단계 결과 평가 모델이다. 모델의 기원은 모델이 어떻게 개발되었는지에 대한 설명이나 커크패트릭의 출판물 또는 박사학위 논문의 이론적 또는 과학적 토대에 대한 언급이 없는 실용주의적인 것으로 보인다.

As mentioned above, the Kirkpatrick Model has been widely used in evaluation in HPE. It has been used to evaluate a range of education programmes including simulation in medical students, residents and physicians31–33; simulation in nursing34,35; interprofessional learning36; continuing professional development37–39; online learning40; and curriculum evaluation.41,42 The model was first published by Donald Kirkpatrick as a series of four articles in 1959 and 1960,43–46 which aimed to provide guidance to human relations training directors to increase their evaluation efforts. The New World Kirkpatrick Model builds on the original Kirkpatrick Model and was developed by Donald Kirkpatrick's son and daughter in law (James and Wendy Kirkpatrick) to modernise the model, sometime between 2008 and 2010.6,47 A summary and comparison of the original and New World Kirkpatrick Models can be seen in Table 1. Ultimately, both the original and the New World Model are four-level outcome evaluation models that focus on participation; attitudes, knowledge and skills; behaviour change; and overall programme results. The origins of the model are likely pragmatic, with no description of how the model was developed or reference to theoretical or scientific underpinnings of the model in any of Kirkpatrick's publications,5,6,43-46,48 or in his PhD.

3.2 | HPE에서 Kirkpatrick 모델의 사용
3.2 | Use of the Kirkpatrick Model in HPE

커크패트릭 모델은 HPE 평가에 널리 사용되어 왔다. HPE에서 Kirkpatrick 모델의 사용에 대한 개요를 얻기 위해 다음 검색자를 사용하여 네 개의 데이터베이스(OVID medline, Scopus, CINAHL 및 Pubmed)에 대한 체계적인 문헌 검색을 2020년 6월에 수행했다.

The Kirkpatrick Model has been used widely in the evaluation of HPE. To obtain an overview of the use of the Kirkpatrick Model in HPE, a systematic literature search of four databases (OVID medline, Scopus, CINAHL and Pubmed) was conducted in June 2020 using the following searchers:

1. ('의학교육' 또는 '건강교수*교육') 및 커크패트릭
1. (‘medical education’ OR ‘health prof* education’) AND Kirkpatrick

2. 평가 및 커크패트릭
2. Evaluation AND Kirkpatrick

검색에 적용된 날짜 범위가 없습니다. 반환된 모든 논문의 제목과 요약은 HPE 설정에서 Kirkpatrick Model을 추상적으로 참조하는 경우 선별되어 포함되었다. 이어 주요 의료교육 관련 기사가 빠지지 않도록 하기 위해 '커크패트릭(Kirkpatrick)'이라는 용어를 사용하여 HPE 저널(학술지, 의학교육지, BMC의학교육지, 보건과학교육지, 의료교육의 진보 및 관점)을 손으로 검색했다. 연구 또는 개입, 평가, 데이터 수집 또는 데이터 분석의 설계에서 Kirkpatrick 모델을 사용합니다. 

No date range was applied to the search. Titles and abstracts of all returned papers were screened and included if the abstract referenced use of the Kirkpatrick Model in an HPE setting. Following this, to make sure no major articles were missed key medical education and HPE journals (Academic Medicine, Medical Education, Medical Teacher, BMC Medical Education, Advances in Health Science Education and Perspectives on Medical Education) were hand searched using the term ‘Kirkpatrick’ with all full texts searched for reference to the use of the Kirkpatrick Model in the design of the research or intervention, evaluation, data collection or data analysis.

이 조사는 커크패트릭 모델을 이용한 603개의 연구를 반환했다. 이 중 2000년 이전에 발표된 것은 3건(0.5%)에 불과해 HPE에서 커크패트릭 모델이 지난 20년 동안 주로 사용되었음을 알 수 있다. 커크패트릭 모델 사용은 2000년 이후 꾸준히 증가해 2018년(65편)과 2019년(110편) 사이에 69% 증가에 해당하는 가장 큰 증가폭을 보였다(그림 1). 표준화된 평가의 커크패트릭 방법, 커크패트릭의 이론, 검증된 커크패트릭의 모델, 커크패트릭의 평가 피라미드의 계층적 모델, 커크패트릭의 4단계 평가의 이론적 프레임워크, 복잡한 열차 평가를 위한 커크패트릭 프레임워크를 포함한 많은 용어들이 커크패트릭 모델을 언급하기 위해 사용됩니다.개입, 커크패트릭 커리큘럼 평가 프레임워크 및 커크패트릭 계층 구조. 

The search returned 603 studies that utilised the Kirkpatrick Model in some way. Of these, only three (0.5%) were published prior to 2000, showing that the use of the Kirkpatrick Model in HPE has largely occurred in the last 20 years. Since 2000, the use of the Kirkpatrick Model has steadily increased, with the largest increase seen between 2018 (65 papers) and 2019 (110), which equates to a 69% increase (Figure 1). Many terms are used to refer to the Kirkpatrick Model, including the Kirkpatrick method of standardised evaluation, Kirkpatrick's theory, the validated Kirkpatrick's model, Kirkpatrick's hierarchical model of evaluation pyramid, the theoretical framework of Kirkpatrick's four levels of evaluation, Kirkpatrick framework for evaluating complex training interventions, the Kirkpatrick curriculum evaluation framework and the Kirkpatrick hierarchy.

커크패트릭 모델을 지칭하는 데 사용되는 이 용어는 일관성이 없으며 이론적 프레임워크 또는 검증된 모델이라는 오해를 증가시킨다.

This terminology used to refer to the Kirkpatrick Model is inconsistent and increases the misconception that it is a theoretical framework or validated model.

위에서 검색한 많은 연구는 오리지널 Kirkpatrick 모델을 사용합니다. 앞서 언급했듯이, 건강 또는 HPE 설정을 위해 특별히 만들어진 모델의 많은 개조도 있었다. 이러한 수정된 버전의 커크패트릭 모델의 요약은 표 2에서 볼 수 있다. 대부분의 경우, 이러한 수정된 버전은 원래 모델과 동일한 4단계 구조를 유지하고 있으며, 레벨이 어떻게 구성되는지에 대해서는 약간의 차이가 있다. 이러한 수정된 버전의 커크패트릭 모델 간의 주요 차이점은 레벨 4(결과)를 나타내는 방식이 다르다는 것입니다. 수정된 버전마다 다양한 조합을 사용하고 있다.

• 조직 관행의 변화,
• 환자 또는 서비스 사용자에 대한 혜택,
• 전문직 관행의 변화,
• 의료의 질의 변화,
• 학생과 교육생의 변화,
• 동료 간의 변화,
• 지역사회에 대한 혜택 및 사회 변화

A number of the studies returned in the above search use the original Kirkpatrick Model. As mentioned previously, there have also been a number of adaptations of the model created specifically for the health or HPE settings. A summary of these modified versions of the Kirkpatrick Model can be seen in Table 2. For the most part, these modified versions retain the same four-level structure as the original model, with some variations as to how the levels are structured. The main difference between these modified versions of the Kirkpatrick Model is the different ways they represent Level 4 (results). The various modifications look at various combinations of

• change in organisational practice,
• benefits to patients or service users,
• change in professional practice,
• change in quality of care,
• change among students and trainees,
• change among colleagues,
• benefits to the community and societal changes.

보건 및 HPE 분야에 더 특화된 이러한 많은 각색에도 불구하고 2020년에 발표된 55개 논문 중 오직 6개(11%)만이 이러한 수정된 버전 중 하나를 사용하고 있으며, 그 해에 발표된 논문의 대부분은 원래의 커크패트릭 모델 버전(n = 35, 64%)을 참조하고 있고, 7개(13%)만이 '뉴월드' 버전을 참조하고 있다. 또한 2020년에 발표된 55개의 논문이 커크패트릭 모델(또는 각색 버전 중 하나)을 어떻게 사용했는지 살펴보면, 커크패트릭 모델이 프로그램 개발에 사용된다는 보고가 거의 없으며, 그 중 1개 논문(1.8%)만이 그렇게 하고 있다. 이것은 [개입의 설계에 사용되어야 한다]는 모델의 핵심 원칙 중 하나와 모순된다. 모델의 일관되지 않은 적용이 분명히 있으며, 이는 결과의 일반화를 문제시한다.

Despite these many adaptations that are more specific to the health and HPE fields, of the 55 papers published in 2020, only six (11%) use one of these modified versions, with the majority of papers published that year referencing a version of the original Kirkpatrick Model (n = 35, 64%), and only seven (13%) referencing the ‘New World’ version. Furthermore, when looking at how the 55 papers published in 2020 used the Kirkpatrick Model (or one of the adapted versions), it is seldom reported that the Kirkpatrick Model is used in the development of programmes, with only one paper (1.8%) doing so. This contradicts one of the key principles of the model, which states that it should be used in intervention design. There is clearly an inconsistent application of the model, which make generalisations of findings problematic.

보건 분야의 교육 개입을 평가하는 데 사용될 뿐만 아니라, 커크패트릭 모델은 의료 교육에서 일반적으로 사용되는 품질 평가 도구인 MERSQI(의료 교육 연구 품질 기구)의 일부를 형성한다. 2007년에는 실험, 준실험, 관측 연구의 품질을 측정하기 위해 MERSQI가 개발되었다. MERSQI의 내용은 '… 연구 저자들 간의 연구 품질 및 비판적 토론과 도구 개정에 대한 보고서의 종합적인 문헌 검토에 의해 결정된다'(1003쪽). 커크패트릭 모델은 MERSQI의 10번 문항이며, 환자 또는 건강 결과가 가장 높고 만족도 및 태도 결과가 가장 낮은 점수 기반 시스템을 사용하여 결과를 분류한다.

In addition to being used to evaluate educational interventions in the health professions, the Kirkpatrick Model also forms part of a commonly used quality assessment tool in medical education, the Medical Education Research Study Quality Instrument (MERSQI). In 2007, the MERSQI was developed to measure the quality of experimental, quasi-experimental and observational studies.49 The content of the MERSQI was ‘… determined by a comprehensive literature review of reports on research quality and critical discussion and instrument revision among the study authors’ (p. 1003).49 The Kirkpatrick Model forms item 10 of the MERSQI, which classifies outcomes using a points based system where patient or health outcomes score the highest and satisfaction and attitude outcomes score the lowest.

세계보건기구(WHO)도 훈련 평가 가이드의 기초로 커크패트릭 모델을 채택했다. 그리고 커크패트릭 모델의 수정된 버전은 BEME(Best Evidence Medical Education)에 의해 채택되었으며 검토 코딩 시트의 일부를 형성한다. 코딩 시트는 의도된 결과와 의도되지 않은 결과를 고려하는 것을 포함하지만, 이러한 결과는 연구자들이 그들의 평가에서 의도하지 않은 결과를 고려할 때에만 포착할 수 있다. BEME 검토 프레임워크는 앞서 언급한 바와 같이 교육 개입의 영향을 분류하거나 분류하는 데 도움이 되는 커크패트릭 모델을 주로 사용한다.BEME 검토자들은 커크패트릭 모델을 품질 지표로서가 아니라 근거를 정리organize하기 위해 사용한다.51 그러나, 어떤 리뷰는 커크패트릭 모델을 위계로 언급하여 상위 수준의 중요성을 암시하는 반면, 어떤 리뷰들은 인과관계나 위계질서가 가정되지 않는다고 말한다. 또한 일부 BEME 리뷰에서는 연구의 질을 평가하기 위해 MERSQI를 사용하기도 하는데, 위에서 언급한 것처럼 MERSQI의 구성 요소 중 하나가 커크패트릭 모델이다. 

The World Health Organisation (WHO) also adopted the Kirkpatrick Model as the basis for their training evaluation guide.50 And a modified version of the Kirkpatrick Model has been adopted by the Best Evidence Medical Education (BEME) and forms part of their review coding sheet. The coding sheet does include considering intended and unintended outcomes, but these can only be captured when researchers consider unintended outcomes in their evaluations. The BEME review framework largely uses the Kirkpatrick Model to aid in classifying or categorising impacts of educational interventions, as has been previously stated—BEME reviewers use the Kirkpatrick Model to organise evidence, rather than as a quality indicator.51 However, there is some inconsistency in its use, with some reviews referring to the Kirkpatrick Model as a hierarchy, implying increasing importance with increasing levels,10,52–63 whereas others state that no causality or hierarchy are assumed. Furthermore, some BEME reviews use the MERSQI to assess study quality, and as mentioned above, one component of the MERSQI is the Kirkpatrick Model.

MERSQI, BEME 및 WHO가 커크패트릭 모델을 사용하는 것은 커크패트릭 모델이 프로그램 평가의 gold standard라는 믿음이나 오해에 기여한다. 따라서 커크패트릭 모델을 MERSQI, BEME, WHO의 일부로 사용하는 것은 재고될 필요가 있다. 더 높은 수준의 커크패트릭 모델을 품질 지표로 사용하는 것은 커크패트릭 자신이 레벨이 계층 구조로 간주되어서는 안 된다고 언급하면서 부적절하다.

The use of the Kirkpatrick Model by the MERSQI, BEME and WHO contribute to the myth or misconception that the Kirkpatrick Model is the gold standard for programme evaluation. As such, the use of the Kirkpatrick Model as part of the MERSQI, BEME and WHO needs to be reconsidered. Using the higher levels of the Kirkpatrick Model as an indicator of quality is inappropriate with Kirkpatrick himself stating that the levels should not be considered a hierarchy.

3.3 | Kirkpatrick 모델의 비판
3.3 | Critiques of the Kirkpatrick Model

커크패트릭 모델이 HPE 평가에 널리 사용되는 것은 분명하지만, HPE 분야에 대해 내외부에서 모델에 대한 많은 비판이 있었다. 다음 단락은 모델에 대한 주요 비판 사항을 간략하게 요약한 것입니다.

• 첫째, 모델은 성과에 중점을 두기 때문에 훈련 성과에 영향을 미칠 수 있는 개인 및 환경 요소를 고려하지 못한다. 성과에 영향을 미치는 근본적인 메커니즘을 탐구하는 것을 허용하지 않는다. 게다가, 집중의 결과는 단기적이고 수량화 가능한 결과입니다. 장기적으로는 수준 3과 수준 4에서 예상되는 것과 같은 복잡한 결과를 평가하기 어려우며, 수준 1과 수준 2가 수준 3과 4보다 더 자주 측정된다는 사실이 이를 증명한다.
• 둘째, 이 모형은 수준 사이에 양의 인과 관계가 있다고 가정합니다. 즉, 호의적인 반응이 학습 향상에 기여하여 행동 변화와 긍정적인 프로그램 결과로 이어진다. 하지만, 배우는 것은 불편하고 좌절감을 주지만 여전히 배움으로 이어질 수 있습니다. 게다가, 학습을 실천으로 옮기는 우리의 능력에 영향을 미치는 많은 요인들이 있습니다. 이와 같이 긍정적인 인과 관계를 가정할 수 없다.
• 셋째, 높은 레벨의 성과일수록 중요하다는 가정이 있습니다. 이는 반드시 그런 것은 아니며 평가의 목적에 따라 달라진다. 만약 평가가 교육 개입의 내용과 전달을 개선하는 것을 목표로 한다면, 레벨 1의 결과는 매우 유용할 것입니다. 평가가 실제로 스킬의 이행을 측정하는 것을 목표로 한다면, 레벨 3 결과가 가장 유용할 것입니다.
• 마지막으로, 커크패트릭 모델은 교육 개입의 의도된 결과에 초점을 맞추고, 모델에 의해 분류되지 않은 영향과 의도하지 않은 영향을 무시한다.

While the Kirkpatrick Model is clearly widely in used in HPE evaluation, there have been a number of criticisms of the model, both within and external to the field of HPE.18,21–29 The following paragraph provides a brief summary of the major criticisms of the model.

• First, the model is outcomes focused, and as such, it fails to consider individual and environmental factors that can impact training outcomes.22–26 It does not allow for the underlying mechanisms that influence outcomes to be explored.23–26 Furthermore, the outcomes of focus are short-term, quantifiable outcomes. Longer term, complex outcomes, such as those expected in Level 3 and Level 4 are challenging to evaluate, evidenced by the fact that Levels 1 and 2 are measured more frequently than Levels 3 and 4.11,16,18
• Second, the model assumes that there are positive causal linkages between the levels. That is, that favourable reactions contribute to greater learning, leading to behaviour change and positive programme results. However, learning can be uncomfortable and frustrating yet still lead to learning. In addition, there are many factors that affect our ability to transfer learning to practice. As such, positive causal linkages cannot be assumed.
• Third, there is an assumption that the higher the level, the more important the outcome. This is not necessarily the case and depends on the objective of the evaluation. If the evaluation is aiming to improve the content and delivery of the education intervention, then Level 1 outcomes will be highly useful. If the evaluation is aiming to measure the implementation of a skill in practice, then Level 3 outcomes will be most useful.
• Finally, the Kirkpatrick Model focuses on intended outcomes of the educational intervention, neglecting impacts not categorised by the model as well as unintended impacts:

"결과 X는 의도한 대로 이루어졌는가, 그렇지 않은가?" "이 개입의 결과는 무엇이었는가?" 임상에 비교한다면, (커크패트릭 모델은) 신약에 대해서 부작용은 빼고 의도된 효과만을 측정하는 임상시험이 될 것이다. (p. 100)64
“Was outcome X achieved as intended, or not?” rather than “What were the outcomes of this intervention?” A clinical parallel would be a clinical trial that measured only the intended effects of a new drug and not its side-effects. (p. 100)64

이 비평들은 커크패트릭의 아들이 커크패트릭 모델을 신세계 커크패트릭 모델로 개정하기 전에 출판되었다. 이러한 문제들 중 일부는 뉴월드 모델에서 다루어지지만, 몇 가지 짧은 의견들이 남아 있다.

• 모델은 여전히 훈련 프로그램의 [의도하지 않은 성과를 다루지 못하기] 때문에 가치있는 임팩트가 포착되지 않을 가능성이 있다.
• 레벨 3에 필요한 동인을 포함하면 평가자가 변화 가능자enablers를 고려하도록 유도하지만, 변화에 대한 장벽barriers은 거의 강조하지 않으며, 이것이 종종 학습이 실천으로 이전되지 않는 이유이다.
• 모델은 여전히 학습 성과에 영향을 미칠 수 있는 [사회 규범, 정치적 영향, 교육 정책 및 학습에 대한 미디어의 역할]과 같은 개인 외부의 광범위한 요소를 고려할 수 없다.
• 무엇보다 오리지널이든 뉴월드든 커크패트릭 모델의 일부로 명확하게 표현되지 않지만 매우 중요한 임팩트에 해당하는 것들이 있다. 예를 들어, 연결, 네트워크 및 커뮤니티의 개발, 그리고 정체성(또는 정체성) 등은 보건 전문가들에게 점점 더 중요한 것으로 나타나고 있다. 그러나 커크패트릭 모델은 연결의 강화 또는 개발, 그리고 정체성을 교육 개입의 중요한 영향으로서 인식하지 못한다.

These critiques were published before the revision of the Kirkpatrick Model to the New World Kirkpatrick Model by Kirkpatrick's son. While some of these issues are addressed in the New World Model, there remain a number of short comings.

• The model still fails to address unintended outcomes of training programmes, as such there is the potential that valuable impacts are not being captured.
• The inclusion of required drivers in Level 3 prompts evaluators to consider enablers to change but places little emphasis on barriers to change, which are often why transfer of learning to practice does not occur.
• There is no capacity of the model to consider broader factors outside the individual that may be influencing learning outcomes, such as social norms, political influences, education policy and the role of media on learning.
• Furthermore, there is a range of important impacts that are not clearly articulated as part of the original, or New World Kirkpatrick Model. For example, the development of connections, networks and, a community; and identity (or identities) are being shown to be increasingly important to health professionals.65-67 Yet, the Kirkpatrick Model fails to recognise the strengthening or development of connections, and identity as important impacts of educational interventions.

4 | 결과 평가만으로는 충분하지 않음—결과 평가를 넘어 프로그램 평가로 넘어가는 방법
4 | OUTCOME EVALUATION IS NOT ENOUGH—HOW TO MOVE BEYOND OUTCOME EVALUATION TO PROGRAMME EVALUATION

성과 평가 모델이 수많은 이유로 프로그램 평가의 황금 표준이 되어서는 안 된다는 것은 커크패트릭 모델의 예로부터 명백하다. 우리는 연구자와 평가자 모두에게 미리 결정된 결과에 초점을 맞추고 결과가 발생하는 방법과 이유를 탐구하지 못하는 결과 평가에서 벗어나 HPE 개입의 복잡성을 포착할 수 있는 프로그램 평가 모델로 이동할 수 있는 권한을 부여해야 한다. HPE에서 사용할 수 있는 많은 다른 평가 모델이 있지만, Kirkpatrick 모델보다 덜 자주 사용되지만 HPE에서 발생하는 복잡한 프로세스를 평가하는 데 더 적합하다. 표 3은 의도하지 않은 결과, 프로그램 구현 및 영향이 발생하는 방법 및 이유를 탐색할 수 있는 능력을 위해 선택된 6개의 모델을 요약한 것이다. 표 3은 각 모델에 대한 설명과 이 모델을 잘 사용한 연구의 예를 보여줍니다. 예시는 존재하는 HPE 또는 존재하지 않는 다른 건강 관련 분야에서 도출되었다.

It is clear from the example of the Kirkpatrick Model that outcome evaluation models should not be the gold standard for programme evaluation for a myriad of reasons. We need to empower both researchers and evaluators to move away from outcome evaluation that focuses on predetermined outcomes and fails to explore how and why the outcomes occur, to programme evaluation models that are capable of capturing the complexities of HPE interventions. There are a number of other evaluation models that can be used in HPE, that while used less frequently than the Kirkpatrick Model, are better placed to evaluate the complex processes that occur in HPE. Table 3 presents a summary of six of these models, which were chosen for their ability to explore unintended outcomes, programme implementation, as well and how and why impacts occur. Table 3 includes a description of each model and an example of research that has used the model well. Examples have been drawn from HPE where they exist, or from other health-related fields where they do not.

컨텍스트, 입력, 프로세스 및 제품(CIPP) 평가
Context, Input, Process and Product (CIPP) evaluation

이름에서 알 수 있듯이 다음으로 구성된다.

• 컨텍스트 평가(평가 요구, 문제, 자산 및 기회, 관련 컨텍스트 조건 및 역학),
• 투입 평가(대안 접근 방식을 식별 및 평가하고 타당성 및 잠재적 비용 효과 평가),
• 프로세스 평가(모니터 및 프로그램의 구현 평가: 의도와 요구대로 구현되었는지, 그리고 이것이 결과에 어떤 영향을 미칠 수 있는지),
• 산출 평가(비용과 성과의 평가 - 의도하거나 의도하지 않은 것, 단기 및 장기).68

As the name suggests consists of

• context evaluation (assess needs, problems, assets, and opportunities, plus relevant contextual conditions and dynamics),
• input evaluation (identifies and assesses alternative approaches and assesses feasibility and potential cost-effectiveness),
• process evaluation (monitors and assesses implementation of the programme—was it implemented as intended and required, and how this may have effected outcomes) and
• product evaluation (assess costs and outcomes—intended, unintended, short and long term).68

CIPP 평가모형의 모든 부분은 프로그램 기간 동안 완료되며, 여기에는 중요한 성과를 달성하지 못할 때의 문제를 해결하기 위한 중간 산출 평가도 포함한다.

All parts of the CIPP evaluation model are completed throughout the duration of the programme, including interim product evaluation to address any issues resulting in important outcomes not being achieved.68

현실주의 평가
Realist Evaluation

Pawson과 Tilley에 의해 기술된 바와 같이, 70 현실주의 평가는 '누구를 위해, 어떤 맥락에서, 어떻게, 왜 그리고 언제, 왜 그렇지 않은가'를 설명하고자 한다. 즉, 실제 사회 과정real social process을 설명하는 것입니다. 이 접근방식은 단순히 측정 가능한 것을 설명하는 것에 그치지 않으며, 프로그램 성과에 영향을 미치는 상황적 조건을 찾고 설명하는 것을 목표로 한다. 현실주의 평가는 [무엇이 변화를 가져오는지에 대한 기저 이론]을 이해하고자 하며, 데이터 수집은 프로그램 이론의 테스트를 가능하게 할 필요가 있으므로 '프로그램 영향과 프로그램 구현 프로세스, 프로그램 결과에 영향을 미칠 수 있는 프로그램 컨텍스트의 특정 측면 및 어떻게 특정 컨텍스트가 변화를 유발하는 특정 메커니즘을 형성하는지'에 대한 데이터를 포함해야 한다. 그런 다음 이 정보는 특정 컨텍스트가 메커니즘에 영향을 미치고 결과로 이어지는 방법을 나타내는 CMO(Content-Mechanism-outcome) 구성으로 표현된다. 

As described by Pawson and Tilley.70 Realist evaluation seeks to explain ‘what kinds of outcomes, for whom, in what respects, in what contexts, how, why and when not, why not?’71 That is, to explain real social processes. The approach is concerned with going further than describing what can be measured, aiming to find and explain contextual conditions that affect programme outcomes.72 Realist evaluation seeks to understand the underlying theories about what is leading to change, data collection needs to enable testing of programme theories and therefore should include data on ‘programme impacts and the processes of programme implementation, the specific aspects of programme context that might impact on programme outcomes, and how these contexts shape the specific mechanisms that might be creating change’.73 This information is then expressed in content-mechanism-outcome (CMO) configurations, which refers to how a particular context impacts a mechanism and leads to an outcome.73 

이론 중심 평가
Theory-driven evaluation

현실주의 평가와 유사하게, 결과를 평가할 때 프로그램의 구현과 근본적인 인과 메커니즘 모두를 고려한다. 75 이론 중심 평가는 변화 모델(프로그램 근거), 실행 모델(프로그램 계획) 또는 두 가지 모두에 초점을 맞춘다.

• 변화모델은 '개입과 성과의 근간을 이루는 인과적 과정에 관한 일군의 서술적 가정'을 언급하는 반면,
• 실행모델은 '프로그램 설계자와 기타 주요 이해관계자가 프로그램의 성공에 필요하다고 생각하는 구성요소 및 활동'을 언급한다. 

Similarly to realist evaluation considers both the implementation of a programme and the underlying causal mechanisms when assessing outcomes.75 It seeks to understand what outcomes are occurring and the ‘hows and whys of programme success or failure’.75 Theory-driven evaluation focus on a change model (programme rationale), an action model (programme plan) or both.

• The change model refers to ‘the set of descriptive assumptions made about causal processes underlying intervention and its outcomes’, while
• the action model refers to the ‘components and activities that the programme designers and other key stakeholders see as necessary to a programme's success’.

이론 중심 평가의 핵심 요소는 다음과 같다.
The key elements of theory-driven evaluation are:

1. 결정 요인—'니즈 충족을 위해 치료나 개입을 개발하게 하는 레버리지 메커니즘 또는 문제의 원인'(20페이지) 
1. Determinants—‘a leverage mechanism or cause of a problem upon which it can develop a treatment or intervention to meet a need’ (p. 20).75

2. 개입—'결정요인에 대한 직접적 변화를 목표로 하는 프로그램의 모든 활동' 
2. Intervention—‘any activity or activities of a programme that aims directly at changing a determinant’ (p. 22).75

3. 결과—프로그램 목표의 '구체적이고 측정 가능한 측면'
3. Outcomes—‘concrete, measurable aspects’ of the programme goals.

기여도분석
Contribution analysis

그러나 보건 전문직 교육 연구에 사용되지는 않았지만, '복잡한 조건에서 신뢰할 수 있는 주장을 하는 체계적인 방법'으로 제안되었다.77 프로그램이 구현된 방법과 이유를 이해하는 것이 기여 분석의 핵심이다. 그것은 '프로그램이 관찰된 결과에 얼마나 많은 차이(또는 기여)를 가져왔는가?'를 이해하고자 한다.

Yet to be used in health professions education research, but proposed as a ‘systematic way to make credible claims under conditions of complexity’.77 Understanding how and why the programme has been implemented is key to contribution analysis. It seeks to understand ‘How much of a difference (or contribution) has the programme made to the observed outcomes?’78

레이어드 분석 
Layered analysis 

'그것이 효과가 있었느냐'는 질문 대신, 계층 분석은 영향의 보다 근본적인 질문을 탐구하기 위해 철학, 원리, 기법에 대한 다층적 검사를 포함한다: "의도된 개입이, "실제로", 일어났는가?" (792쪽)30 성과 달성은 '개입이 오직 의도한 대로 전달되었을 경우에만' relevant한 것이다"는 이해에 기초한다

‘Instead of asking, “Did it work?” layered analysis comprises a multilevel examination of philosophy, principle, and technique in context to explore a more fundamental question of impact: “Did the intended intervention, in fact, occur?”’ (p. 792)30 It is based on the understanding that outcome achievement are only relevant if the intervention was delivered as intended.30

RE-AIM 프레임워크 
RE-AIM framework 

5개 차원으로 구성된 평가 프레임워크81:
1. 도달 범위—개입에 참여한 목표 인구의 비율
2. 효과—잠재적인 부정적 영향, 삶의 질 및 경제적 결과를 포함한 중요한 결과에 대한 개입의 영향(성공 또는 실패에 대한 이유 포함) 
3. 채택—이 개입을 채택할 설정, 관행 및 계획의 비율
4. 구현—실제 단어에서 의도한 대로 개입이 구현되는 범위
5. 유지보수—시간이 지남에 따라 프로그램이 지속되는 범위
개입의 궁극적인 영향은 이 5개 영역의 결합 효과 때문이다.
An evaluation framework consisting of five dimensions81:
1. Reach—proportion of the target population that participated in the intervention
2. Effectiveness—impact of an intervention on important outcomes, including potential negative effects, quality of life and economic outcomes (includes reasons for success or lack of such) 
3. Adoption—proportion of settings, practices, and plans that will adopt this intervention
4. Implementation—extent to which the intervention is implemented as intended in the real word
5. Maintenance—extend to which a programme is sustain over time
The ultimate impact of an intervention is due to its combined effects of these five domains.

이러한 모델은 성과 평가보다 더 복잡하고 시간 소모가 클 수 있으며, 이는 모델을 덜 자주 사용하는 이유에 기여하는 요인일 가능성이 높다. 그러나, 우리는 HPE의 복잡한 개입과 함께 작업하며, 이러한 모델들은 개입 결과와 그것들이 어떻게 그리고 왜 일어나거나 일어나지 않는지를 더 잘 이해할 수 있는 다른 것들 중에서 [내부 및 외부 요인, 의도하지 않은 결과, 이론 및 프로그램 구현]을 모두 고려할 수 있게 한다. 이러한 유형의 프로그램 평가 접근방식을 사용하지 않고는 개입이 의도한 대로 구현되었는지 확신할 수 없으며 개입이 성공했는지 또는 실패했는지 설명할 수 없다. 

These models are more complex and can be more time consuming than outcome evaluations, which is likely a contributing factor to why they are used less frequently. However, we work with complex interventions in HPE, and these models allow us to consider both internal and external factors, unintended outcomes, theory and programme implementation, among other things that enable greater understanding of intervention outcomes and how and why they do and do not occur. Without using these types of programme evaluation approaches, we cannot be sure that interventions have been implemented as intended, nor can we explain why interventions have, or have not, been successful.

그림 2와 같이 이러한 프로그램 평가 모델 중 일부의 사용이 증가하는 추세로 서서히 변화하고 있다. 이 수치는 위에서 설명한 4개의 데이터베이스와 6개의 저널에 대한 체계적인 문헌 검색을 반복하여 생성되었지만 커크패트릭 대신 6개의 프로그램 평가 모델의 이름을 사용하여 생성되었다. 2020년 6월 9일까지 HPE에 603개의 출판물이 있었던 커크패트릭 모델과 비교하면, 6개의 프로그램 평가 모델은 2021년 8월 16일까지 57개의 출판물이 있다. 57개의 출판물 중 56개가 그림 2에 나타나 있으며, 2000년 이전에 발표된 논문은 단 1개뿐이어서 그림에 포함되지 않았다. 이러한 모델들의 느린 사용 증가에도 불구하고, 커크패트릭 모델의 사용은 여전히 상당히 높으며 그림 1에서 볼 수 있듯이 훨씬 더 빠른 속도로 성장하고 있다. 

 There is a slow shift to the increasing use of some of these programme evaluation models, as shown in Figure 2. The figure was generated by repeating the systematic literature search of four databases and the six journals described above but using the names of the six programme evaluation models in the place of Kirkpatrick. Compared with the Kirkpatrick Model, which up until 9 June 2020 had 603 publications in HPE, the six programme evaluation models have 57 publications up until 16 August 2021. Fifty-six of the 57 publications are depicted in Figure 2, with only one paper published prior to 2000 and hence not included in the figure. Despite this slow increase in the use of these models, the use of the Kirkpatrick Model is still substantially higher and continues to grow at a much faster rate as demonstrated in Figure 1.

우리는 Kirkpatrick 모델을 사용하여 수행된 것과 같은 결과 평가가 금본위제라는 이 신화를 불식시키고 프로그램이 의도대로 전달되는지, 결과가 어떻게 그리고 왜 발생하는지를 이해하는 데 도움이 되는 프로그램 평가 접근법의 사용을 옹호하기 위해 WHO, MERSQI, BEME 및 보건 및 HPE의 다른 리더가 필요하다.표 3에 기술된 것과 같은 프로그램 평가 접근방식을 사용할 경우, 평가를 위한 계획을 조기에 수행하는 것이 필수적이다. 그것을 사후적인 생각이나 개입의 마지막에 일어나는 것으로 생각하기보다는 HPE 개입을 설계하고 실행하는 과정으로 연계할 필요가 있다.

We need WHO, MERSQI, BEME and other leaders in health and HPE to dispel this myth that outcome evaluations such as those done using the Kirkpatrick Model are the gold standard and to advocate for the use of programme evaluation approaches that help us understand if programmes are being delivered as intended, as well as how and why outcomes are occurring. When using programme evaluation approaches such as those described in Table 3, it is imperative that planning for evaluation is done early. Rather than thinking of it as an afterthought, or something that happens at the end of an intervention, it needs to be interwoven into the processes of designing and implementing HPE interventions.

© 2021 Association for the Study of Medical Education and John Wiley & Sons Ltd.

맥락 속의 자기조절학습: 자기-, 공동-, 사회적으로 공유된 학습의 조절(Med Educ, 2021)
Putting self-regulated learning in context: Integrating self-, co-, and socially shared regulation of learning
Derk Bransen1 | Marjan J. B. Govaerts2 | Ernesto Panadero3,4 | Dominique M. A. Sluijsmans5 | Erik W. Driessen2 

1 소개 및 문제 설명
1 INTRODUCTION AND PROBLEM STATEMENT

양질의 의료 및 평생 학습과의 긍정적인 연관성 때문에 의료 전문가들이 학습을 조절regulate할 필요성이 널리 인정되고 있다. 예를 들어, 의료 분야에서 높은 표준을 보호하려면 의사가 지속적으로 빠르게 변화하는 의료 관행에서 이뤄지는 발전을 모니터링하고, 적절한 학습 기회를 개인 학습 요구 및 학습 목표에 맞춰야 합니다.3 따라서 의사는 역량을 개발하고 유지하기 위해 자기조절학습(SRL)에 참여해야 한다. 일반적으로, 자기 조절 학습자는 "자신의 학습에 메타인지적, 동기 부여적, 행동적으로 적극적인 참여자"로 간주된다. 목표를 추구하며 목표를 달성하기 위해 이러한 목표에 부합하는 전략을 설계 및 실행하고, 목표를 향한 진행을 모니터링하며, 성찰과 (해당되는 경우) 새로운 학습 목표를 수립합니다.
The necessity for healthcare professionals to regulate their learning is widely acknowledged due to positive associations with high-quality healthcare and lifelong learning.1, 2 For example, safeguarding high standards in healthcare requires physicians to monitor relevant developments in continuously and rapidly changing healthcare practices and to align appropriate learning opportunities with personal learning needs and learning goals.3 Hence, physicians have to engage in self-regulated learning (SRL) to develop and maintain competence.4 Generally, self-regulated learners are considered to be “meta-cognitively, motivationally, and behaviourally active participants in their own learning”.5 In pursuit of and committed to their goals, they design and implement strategies aligned with these goals, monitor progression towards these goals, followed by reflection and – when applicable – formulation of new learning goals.6, 7

교육 및 실습과의 관련성 때문에, 그리고 SRL 기술은 가르치고 배울 수 있기 때문에, 보건의료전문직 커리큘럼은 학생들의 SRL 개발을 지원하고 촉진하기 위한 요소를 구축한다. 예를 들어 많은 커리큘럼이 진도를 성찰하거나 개인 학습 계획을 수립하도록 자극하거나 요구하는 포트폴리오 시스템을 구현하거나, 학생의 자기주도성을 자극하기 위해 문제 기반 학습 원리를 포함한다. 연구 결과는 꾸준히 개인의 학습과 전문성 개발을 조절하는 능력이 긍정적인 결과와 연관되어 있다는 것을 보여준다. 예를 들어, SRL은 의대생들의 임상 기술 성과, 그들의 전반적인 학업 성취도, 그리고 학생들의 안녕과 긍정적으로 연관되어 있다. 다만 보건직 교육·연구가 학생들을 적절히 실습준비를 시키고, 전문직 종사자들이 역량을 유지·개발할 수 있도록 돕기 위해 자신을 뛰어넘을 필요와 책임이 있다고 주장한다.
Because of its relevance for education and practice, and as SRL skills can be learnt and therefore taught, health professions curricula build in elements to support and facilitate the development of students’ SRL.8-10 For example, many curricula implement portfolio systems that stimulate or require students to reflect on progress and formulate personal learning plans,11 or include problem-based learning principles to stimulate students’ self-directedness.12, 13 Research findings consistently show that the ability to regulate one's learning and professional development is associated with positive outcomes.14 For example, SRL has been related positively to medical students’ clinical skill performance,15, 16 their overall academic achievement,17 and student well-being.18 However, we argue that there is a need and responsibility for health professions education and research to look beyond the self in order to adequately prepare students for practice, and to help professionals maintain and develop competence.

보건 직업 교육(및 보건의료 실습)은 전통적으로 [개인]에 초점을 맞추고 있다. 교육은 광범위한 개인 평가 후 개별적으로 자격을 부여하고, 개인 수준에서 학습 과정과 활동을 규제하도록 가르치는 [개인 학습자]에게 초점을 맞추고 있다. 보건직 교육은 교육과정과 평가 틀에 '협업'과 같은 역량 영역을 포함시킴으로써 개인을 뛰어넘는 것을 목표로 한다고 주장할 수 있다. 그러나 '협력자collaborator' 역할을 '최적의 환자 진료를 달성하기 위해 의료 팀 내에서 효과적으로 일하는 것'으로 설명하면서도, 그 숙련도는 (비록 협력 상황에서 평가되더라도) 여전히 개인의 성과에 기초한다. 
Health professions education (and healthcare practice, for that matter) has traditionally been characterised by a focus on the individual; education focuses on individual learners whom we licence individually after extensive individual assessment, and whom we teach to regulate their learning processes and activities on an individual level.19 One might argue that health professions education aims to move beyond the individual by including competency domains such as “Collaboration” in curriculum and assessment frameworks.20 However, while described as ‘effectively working within a healthcare team to achieve optimal patient care’, learners’ proficiency as collaborators is still primarily based on their individual performance, even when evaluated in collaborative situations.21 

그러나 오늘날의 의료 서비스는 점점 더 팀 기반화되어 의료 팀에 의해 제공되고 있으며, 종종 전문 분야와 전문 분야를 넘나들며 협업하는 의료 전문가들로 구성됩니다. 보건 직업 교육의 주요 목적은 학생들이 이러한 협력적 실습을 할 수 있도록 준비하는 것이기 때문에, '학습의 조절'이라는 개념이 의료 팀에서 학습하고 일하는 조직의 요구와 일치하도록 하는 것이 필수적이다.

Notwithstanding, present-day healthcare is increasingly team-based, delivered by healthcare teams, often consisting of healthcare professionals collaborating across specialities and professions.22, 23 As the main purpose of health professions education is to prepare students for this collaborative practice, it is essential that conceptualisations of regulation of learning align with the organisation and demands of learning and working in healthcare teams.

양질의 의료 서비스를 제공하는 데 있어, [헬스케어 팀]에 대한 의존도가 높아짐에 따라, HPE 연구는 '집단 역량'의 개념을 탐구하기 시작했다. 집단적 역량의 본질은 [전체는 그 부분의 합보다 더 많을 수 있고(또는 덜할 수 있다)]는 것에 있다. 또한 집단적 역량이란 '역동적, 상황-의존적, 분산적 역량으로서, 특정한 한 명의 구성원의 기여를 역추적하기 어렵다'는 것과도 관련이 있다. 다시 말해, '팀원 한 명이 무능하더라도 팀은 유능할 수 있고, 유능한 개인을 모아서 무능한 팀을 구성할 수 있다'는 것이다. 개별 의사의 역량을 보장하는 것이 필수적이며 여전히 중요하지만, 고품질의 의료 서비스를 제공하기 위해서는 의료 팀의 [집단적 역량]에 대한 보장이 필요합니다. 
Geared to the growing reliance on healthcare teams for high-quality healthcare delivery, health professions education research has started to explore the concept of collective competence.22-24 The essence of collective competence is that the whole can be more (or less, for that matter) than the sum of its parts, and relates to the ‘dynamic, context-dependent, distributed capacity of a team, which is difficult to trace back to any one individual team member’.25 In other words, ‘teams can be competent when one team member is incompetent, and competent individuals can form an incompetent team’.19 Although ensuring an individual physician's competence is and remains essential, providing high-quality healthcare thus requires assurance of the healthcare team's collective competence.

집단 역량을 유지하고 발전시키기 위해서는 의료 팀이 지속적인 [협력적 학습]에 참여할 수 있어야 합니다. [협력적 학습collaborative learning]은 [공동의 목표를 가진 팀원들이, 목표를 달성하기 위해, 그리고 일련의 통합된 실천을 발전시키기 위해, 공유된 과제의 특징에 대해 상호작용할 때 발생하는 학습]을 말한다. 이와 같이, 협력 학습은 개인을 넘어 팀 구성원들 간의 [상호 의존성]을 강조한다. 예를 들어, 협업 학습은 외상 팀의 의료 제공 평가 중, 외과 팀이 새로운 기술을 구현하기 시작할 때, 또는 학생이 학습 과제를 수행하는 데 협업할 때 발생할 수 있다. 협력적 학습이 필수적이라고 여겨질 때마다, 팀이 스스로 학습을 조절하는 능력도 마찬가지로 중요해진다. 양질의 돌봄이 의료팀의 협력적 학습에 달려 있음에 동의한다면, [집단적 역량을 개발하고 유지하는 데 효과적인 학습의 조절을 어떻게 촉진할 것인가]에도 초점을 맞춰야 한다는 얘기다. 

To maintain and develop collective competence, it is essential that healthcare teams are able to engage in ongoing collaborative learning. Collaborative learning refers to learning that occurs when team members who have a collective goal interact about features of their shared tasks in order to attain their goals and by means of which they develop a set of integrated practices.26, 27 As such, collaborative learning stretches beyond the individual and emphasises the interdependence among team members.28 Collaborative learning may, for example, occur during trauma teams’ evaluation of healthcare delivery, when surgical teams start implementing new technology, or when students collaborate in performing learning tasks. Whenever collaborative learning is considered essential, the team's ability to regulate their learning becomes of equal importance. In other words, if we agree that high-quality care hinges upon collaborative learning in healthcare teams, we should also focus on how to foster effective regulation of learning in order to develop and maintain collective competence. 

2 학습조절의 개념화
2 CONCEPTUALISATIONS OF REGULATION OF LEARNING

2.1 자기조절학습: 개인에 집중하기
2.1 Self-regulated learning: Focus on the individual

연대순으로, 학습의 조절에 대한 이론에서 처음 등장한 개념은 자기 자신, 즉 개별 학생이나 전문가가 개인 학습을 어떻게 규제하는가에 초점을 맞췄다. 학습의 조절을 개념화하려는 초기 시도들 중 일부는 1980년대 후반 짐머만과 Boekaerts에 의해 이루어졌으며, 그 이후로 SRL 모델이 적용, 확장 및 추가 연구에 사용되었다. 첫 번째 SRL 모델은 (메타)인지적, 동기부여적, 감정적 측면을 강조하는 개인 내의 과정을 학습 규제의 운영양식modus operandi으로 분류했다. 결과적으로, 자기조절학습에 관심이 있는 연구자들은 [개인 내에서 일어나는 과정을 분석 단위로] 초점을 맞췄다. 마찬가지로, SRL에 대한 연구의 대부분은 (의료 교육의 맥락 내외 모두에서) 자가 보고 데이터 수집을 통해 수행된다. [개인에 초점]을 맞춘 의료(교육) 환경에서 학습조절에 대한 연구는 개별화된 학습 계획 및 성과 자체 모니터링과 같은 SRL의 하위 구성요소에 초점을 맞춘 연구에 반영된다. 
Chronologically, the first conceptualisations in the regulation of learning theory focussed on the self, that is, on how an individual student or professional regulates his or her individual learning. Some of the earliest attempts to conceptualise the regulation of learning were made in the late 1980s by Zimmerman5, 29 and by Boekaerts,30, 31 with their SRL models having been adapted, expanded, and used for further research ever since.10 The first SRL models labelled processes within the individual – varying in their emphasis on either (meta)cognitive, motivational, or emotional aspects – as modus operandi of regulation of learning. Consequently, researchers interested in self-regulation of learning focussed on processes within the individual as the unit of analysis.32 Likewise, the majority of research (both within and outside the context of healthcare education) into SRL is conducted through collecting self-reported data.33 Research on regulation of learning within healthcare (educational) settings with a strong focus on the individual is reflected in studies focussing on sub-components of SRL such as individualised learning plans,34-37 and self-monitoring of performance.38-40

2.2 공동 조절 학습: 개인과 컨텍스트 간의 상호 작용에 초점을 맞춥니다.
2.2 Co-regulated learning: Focus on interaction between individual and context

학습 조절의 초기 개념화(즉, "자기"조절학습)는 개별 학습자 내에서의 과정을 강조했지만, 1990년대 말, 공동조절학습(CRL)이라는 용어가 [학습 조절에 대한 사회적, 맥락적 영향]을 포착하기 위해 만들어졌다. CRL의 개념은 학습자의 인식, 정서, 학습 동기가 환경에서 타인과의 사회적 상호작용을 통해 어떻게 매개되는지에 초점을 맞춘 사회문화학습이론에서 나왔다. 따라서 CRL은 [학습조절을 제대로 설명하려면, 개인 내부의 조절 과정을 넘어서야 한다는 개념]을 기반으로 하며, CRL의 분석 단위는 항상 개인과 (다른) 맥락 사이의 상호작용이다. 보다 구체적으로, CRL은 '공동조절자co-regulator'가 '피-공동조절자co-regulated'의 조절를 안내하는 조절과정과 활동에 대한 비호혜적non-reciprocal 참여를 의미한다. 
While early conceptualisations of regulation of learning (ie self-regulation of learning) emphasise processes within the individual learner, the term co-regulated learning (CRL) was coined in the late 1990s to capture the social and contextual influences on the regulation of learning.41-43 The concept of CRL emerged from sociocultural learning theories that focus on how learners’ cognitions, emotions, and motivation for learning are mediated through social interactions with others in the environment.41 CRL thus builds on the notion that we need to go beyond regulatory processes within the individual in order to describe the regulation of learning satisfactorily, and the unit of analysis in CRL always is the interaction between the individual and (others in) the context.32 More specifically, CRL refers to non-reciprocal engagement in regulatory processes and activities, with the ‘co-regulator’ guiding the regulation of the ‘co-regulated’.

따라서 개념적으로 CRL은 [한 명 또는 여러 명의 집단 구성원이 집단 내 다른 개인의 학습 활동을 조절]한다는 점에서 ['불균등하게 퍼져있는unevenly distributed' 형태의 사회적 조절]로 간주된다. CRL의 필수 요소는 학습자 또는 전문가 간의 사회적 상호 작용입니다. 이 상호작용은 (학습의 조절과 관련된 과정을 포함하여) 학습 프로세스를 매개한다. 즉, '공동조절자co-regulator'는 타인의 조절활동(목표 설정, 성과 모니터링, 성찰 등)에 관여함으로써 '피공동조절자co-regulated'의 메타인지 및 인지활동을 매개mediates(즉, 공동조절)하고, 그 결과 학습 프로세스의 조절에 영향을 미칩니다. 공동조절자가 CRL을 촉발하는 방법으로는, 요약을 해주거나, 정보를 요청하거나, 설명을 하거나, 패러프레이징을 하거나, 학습에 대한 판단을 요구하거나, 사고와 성찰에 대한 자극을 주는 것 등이 있다. 상자 1은 예를 제공합니다.

Conceptually, CRL is therefore considered an ‘unevenly distributed’ form of social regulation, in that a single or multiple group member(s) regulate(s) the learning activities of other individuals in the group.44 Essential to CRL are social interactions between learners or professionals through which their learning processes, including processes relevant for the regulation of their learning, are mediated.45, 46 Thus, through engaging in others’ regulatory activities – such as goal setting, performance monitoring, and reflection – the ‘co-regulator’ mediates (ie co-regulates) the metacognitive and cognitive activities of the ‘co-regulated’, thereby influencing the regulation of his or her learning processes.41, 45 Students or professionals can trigger CRL by summarising, requesting information, or giving explanations,47 or through paraphrasing, requesting judgements of learning, giving prompts for thinking and reflection.41 Box 1 provides an example.

==================================================

==================================================

중요한 점은, CRL은 학습 과제, 설정, 공동조절자와 학습자 사이의 관계에 따라 형태가 달라질 수 있다는 것이다. 예를 들어, 위계적 관계에서의 권력 역학 또는 전문 지식 수준의 (인식된) 차이는 CRL의 특성 및 잠재적으로 효과에 영향을 미칠 수 있다. 따라서 친구/동료에 의한 공동조절은, 목표 및 결과 측면에서 상급감독자와의 CRL과 상당히 다를 수 있다. 보건 직업 교육에서 학습의 공동 규제에 대한 새로운 연구는 CRL 참여의 다양한 징후와 초점에 대한 통찰력을 제공하고 있다. 
Importantly, CRL can take different forms, depending on the learning task, setting and/or relationships between co-regulator and learner. For example, power dynamics in hierarchical relationships or (perceived) differences in the level of expertise may influence the nature – and potentially effectiveness – of CRL. Co-regulation by peers may therefore differ substantially from supervisors’ CRL in terms of goals and outcomes. Within health professions education, emergent research on co-regulation of learning is providing insight into the different manifestations and foci of CRL engagement.

연구 결과에 따르면 의대생들은 다른 사람의 CRL에 참여하려는 목적뿐만 아니라 참여 대상도 다르다. 예를 들어, 초보 학생들은 학습 목표를 토론하기 위해 [동료를 선호]하는 반면, 경험이 많은 학생들은 전문적인 정체성 형성에 반영하기 위해 [경험이 많은 의료 전문가를 선호]하는 것으로 보인다.48 CRL에 대한 다른 연구는 소셜 네트워크 관점을 채택하고, 조절에서의 네트워크 구축의 특성을 검토했다. 그들의 학문. 특히 CRL에 참여하는 다른 사람들과의 상호작용 빈도는 학생들이 스스로 보고하는 학습능력 조절과 긍정적으로 관련이 있다는 사실이 연구결과 밝혀졌다.49

Research findings suggest that medical students differ in whom they engage as well as the purpose of engaging others’ CRL. For instance, novice students seem to favour peers to discuss their learning goals, whereas experienced students favour more experienced healthcare professionals to reflect on professional identity formation.48 Other studies into CRL adopted a social network perspective, and examined characteristics of the networks students’ deploy when regulating their learning. Findings revealed that, in particular, the interaction frequency with which others are engaged in CRL positively relates to students’ self-reported regulation of learning proficiency.49

2.3 사회적으로 공유되는 학습 규정: 상황에 맞게 팀에 집중
2.3 Socially shared regulation of learning: Focus on the team within context

21세기 초에 협력 학습의 중요성과 필요성에 힘입어, 집단들이 어떻게 [집단적 학습과 성과를 분산적으로distributed 조절]하는지 탐구하기 시작했다. 사회적 공유 학습 조절(SSRL)라는 용어는 그러한 규제 조치를 설명하기 위해 만들어졌다. 일반적으로 SSRL은 팀이 협력적 학습을 조절하는 방법을 설명하고, 팀 구성원 간의 상호 의존성을 강조한다. SSRL은 팀원들이 [공동으로 구성된 목표를 추구하기 위하여 집단적 학습 활동의 조절을 공유하는 과정]에 초점을 맞추고 있다. CRL과 유사하게, SSRL은 [학습의 조절이 여러 개인 사이에서 공유되는 조절방식]을 반영한다. 그러나 주요 차이점은

• CRL은 한 명 이상의 집단 구성원이 개별 학습자의 조절을 가이드guide하는 데 관여한다는 것이다('불평등한unevenly distributed' 형태의 사회적 조절로 만든다).
• 반면, SSRL은 그룹 구성원의 규제 활동 및 과정에 상호 관여reciprocal engagement하는 것이 특징이다. 따라서 SSRL은 '고르게 분포된evenly distributed' 형태의 사회적 조절로 간주되며, 이러한 조절은 집단 구성원 간의 상호작용을 통해 형성된다. 따라서 SSRL의 분석 단위는 집단, 시스템 및 시스템 내의 개인입니다. 

At the start of the 21st century, fuelled by the increasing importance and need for collaborative learning, research started exploring how groups regulate their collective learning and performance in a distributed fashion. The term socially shared regulation of learning (SSRL) was coined to explain such regulatory actions. Generally, SSRL describes how teams regulate their collaborative learning and emphasises interdependency among members of a group or team. SSRL focuses on processes through which team members share the regulation of their collective learning activities, directed towards the pursuit of their jointly constructed goals.41, 50 Similar to CRL, SSRL reflects a mode of regulatory learning in which the regulation is shared between individuals. The main difference, however, is that

• CRL involves one (or more) group members to guide the regulation of an individual learner (making it an ‘unevenly distributed’ form of social regulation), whereas
• SSRL is characterised by group members’ reciprocal engagement in regulatory activities and processes. SSRL is therefore considered an ‘evenly distributed’ form of social regulation in which the regulation is shaped by and arises through the interactions between members of the group.44 Therefore, the units of analysis in SSRL are the collective, the system, as well as the individual within the system.32, 51

의료 실무에서의 협력적 학습은 어려움을 겪을 수 있다. 예를 들어, 팀 구성원의 지속적으로 변동, 시간 제약, 의료 팀 내의 위계적 구조 등의 요인이 협력적 학습의 구현 정도에 영향을 미칠 수 있습니다. 이러한 학습에 대한 협력적 조절은 나중에 훨씬 더 어려울 수 있다. 해드윈, 예르벨레, 밀러는 SSRL 이론 모델을 최초로 기술하였다. 이들이 개념화한 [협력적 학습 조절collaborative regulation of learning]에는 SSRL의 작동 방식을 네 가지 단계로 설명한다. 특히, 이러한 단계는 Winne 및 Hadwin의 SRL 모델의 네 가지 단계에 대략 일치한다.

• 1단계: 팀이 당면한 (학습) 과제에 대한 공통된 이해 또는 인식의 공동 구성 및 협상에 참여합니다.
• 2단계: 팀들이 공동의 목표를 구성하여, 효과적으로 과제를 완료하고 공동으로 과제를 해결하는 방법을 계획합니다.
• 3단계: 팀은 목표를 향해 나아가는 과정을 감시한다. 이 때 협력은 전략적으로 잘 조정coordinated되어야 한다. 과제, 목표, 전략 또는 계획에 대한 인식과 이해는 목표 진행에 대한 집단 모니터링을 기반으로 조정될 수 있다.
• 4단계: 팀은 프로세스를 평가한다. 평가의 결과는 후속 조절, 학습, 수행을 적응adaptation하는 데 필요한 투입이 된다.

Collaborative learning in medical practice may be prone to challenges. For example, fluid healthcare teams in which team members reshuffle constantly, time constraints, or hierarchy within healthcare teams may influence the extent to which collaborative learning is actually taking place. Collaborative regulation of such learning may subsequently be even more difficult. Hadwin, Järvelä, and Miller52 were among the first to describe a theoretical model SSRL. Their conceptualisation of collaborative regulation of learning includes four phases that jointly describe the modus operandi of SSRL.52 Notably, these phases roughly correspond to the four phases in Winne and Hadwin's SRL model.53 

• In phase one, teams engage in the co-construction and negotiation of a shared understanding or perception of the (learning) task at hand.
• In phase two, teams co-construct shared goals to effectively complete the task and design a plan for how to tackle the task collectively.
• In phase three, the team monitors their progression towards the goal, to which collaboration is strategically coordinated. Perceptions and understanding of the task, their goal(s), strategies, or plans might be adjusted based on their collective monitoring of goal progression.
• Lastly, in phase four, teams evaluate the process, which might provide input for adaptation of future regulation, learning and performance.

박스 2는 신기술 도입이 팀워크에 어떤 영향을 미치는지에 대한 Edmondson의 연구를 바탕으로 헬스케어 팀이 [사회적으로 공유되는 학습조절SSRL]에 어떻게 참여할 수 있는지를 보여주는 예를 제공합니다. 우리는 박스 2의 예제가 일상적인 실천을 반영하지 않을 수 있다는 것을 인정한다. 그러나, 이 예제가 기반으로 하는 연구는 SSRL이 임상 작업장에서 어떻게 발생할 수 있는지를 잘 설명해준다. SSRL은 어떤 의료 팀이 여태껏 해왔던 학습 노력의 방향을 전환하게 만드는 파괴적인 사건의 경우에 특히 중요하지만(박스 2의 예와 같이), 그러한 사건에만 필요한 것은 아니다. SSRL 또는 SSRL 구성 요소에 대한 팀들의 참여에 호소할 수 있는 건강 직업 교육 및 실습의 다른 예로는 기업 훈련 시스템의 평가, 실무 협력 커뮤니티 구축, 팀 성찰 또는 학습 과제에 대한 공유된 인식을 구축하는 데 의대생이 협력하는 것이 포함된다.

Drawing on Edmondson's work about how introducing new technology influences teamwork, Box 2 provides an example of how healthcare teams may engage in socially shared regulation of learning.54 We acknowledge that the example in Box 2 may not reflect common, day-to-day practice. However, the research the example is based on, lends itself well to explain how SSRL may occur in clinical workplaces. Although SSRL may be particularly relevant in cases of disruptive events that force healthcare teams to re-direct their learning endeavours (such as in the example in Box 2), SSRL is not exclusive to such events. Other examples in health professions education and practice that may appeal to teams’ engagement in SSRL or components of SSRL include evaluation of corporate training systems, the building of collaborative communities of practice,55 team reflection, or medical students’ collaborating in co-constructing a shared perception of their learning tasks.

SSRL을 딱 구별되는distinct 단계로 구분하는 것은 이론적으로 이상적인 상황이다. 하지만 실무에서, 특히 의료 서비스의 예측 불가능하고 역동적인 맥락에서, 의료팀은 위의 네 단계를 순서대로 단계를 거치지 않거나, 일부 단계를 병합할 수 있다(박스 2의 예). 하지만, 연구결과에 따르면, 이러한 단계를 거치는 팀들이 새로운 상황에서 배우고 적응하는데 더 성공적인 경향이 있다는 것을 시사한다. SSRL에 대한 의료 교육 연구는 팀 학습에 대한 연구(예: 팀 성찰성)에서 유사한 개념이 등장했지만 제한적이다. 의료 서비스의 질이 의료 팀의 학습 및 작업 품질과 관련이 있다는 점을 고려할 때 SSRL이라는 개념은 [조절 프로세스가 어떻게 협력적 학습을 서포트하는지]를 더 잘 이해할 수 있는 귀중한 렌즈를 제공합니다.
It is important to note that describing SSRL in terms of distinct phases refers to a theoretically ideal situation. In practice – especially in the unpredictable and dynamic context of healthcare practice – teams might not go through the phases in the abovementioned order, or might merge phases (as in the example in Box 2). However, research suggests that teams that go through these phases tend to be more successful in learning in and adapting to new situations.54 Healthcare education research into SSRL is limited, although seemingly similar concepts emerged from research on team learning (eg team reflexivity).56-58 Given that healthcare quality is associated with the quality of learning and working in healthcare teams,19, 59 the conceptualisation of SSRL provides a valuable lens through which we might be better able to examine and understand how regulatory processes support collaborative learning.

==================================================

3 교육 및 의료 분야에서 학습에 대한 자체, 공동 및 사회적 공유 규제 통합
3 INTEGRATING SELF-, CO-, AND SOCIALLY SHARED REGULATION OF LEARNING IN EDUCATION AND HEALTHCARE

협업 학습 상황에서 팀과 팀 구성원은 학습에 대한 사회적으로 공유된 조절 뿐만 아니라 자기조절과 공동조절에 참여할 수 있다. [조절 프로세스 및 활동에 대한 협력 팀 내에서의 균형]은 개별 팀원의 특성, 팀 구성 및 팀 구성원 간의 관계, 사회적 연결성, 업무와 맥락의 특징에 따라, 개인 간에, 시간이 지남에 따라 바뀔 수 있다. 이러한 균형의 이동은 조절참여도가 팀 구성원 전체에 고르게 분포되어 있는지 또는 불균일하게 분포되어 있는지에 따라 SRL, CRL, SSRL의 수준을 변화시킬 수 있다. 예제는 상자 3을 참조하십시오.
During collaborative learning situations, teams and team members may engage in self-, co-, as well as socially shared regulation of learning. The balance within collaborating teams regarding their engagement in regulatory processes and activities may shift across individuals and over time, based on characteristics of individual team members, the team composition and relationships between team members, social connectedness, as well as features of task and context. This shifting balance may subsequently result in varying levels of SRL, CRL or SSRL, depending on whether regulatory engagement is evenly (SSRL) or unevenly (CRL) distributed across team members. See Box 3 for an example.

• 집단이 생산적으로 기능하려면, 개인 수준의 SRL이 집단적 목표를 지향하는 것이 중요하다. 팀이 협력적 학습에 engage할 때, 개별 팀원은 자신의 학습 과정과 활동을 스스로 조절합니다. 심지어 협력적 학습 중에도, 개별 팀 구성원은 개별적으로 전략을 활성화하고 개인의 노력을 모니터링하고 규제합니다.
• 팀 수준의 CRL은 협력적 학습 중에 나타날 수 있으며, [개개의 팀 구성원이 다른 구성원의 조절 과정이나 활동을 통제하거나 자극하는 경우]에 발생한다. 이와 같이 CRL은 [생산적인 자기 조절를 향한 매개적 또는 이행기적 역할]을 할 수 있다. 또한, 만약 CRL이 집단으로서의 팀의 조절(SSRL)에 맞춰져 있다면 shared regulation of learning을 생산적으로 만들 수도 있다. 예를 들어, 박스 3의 팀 구성원은 모든 집단 목표가 적절하게 평가되는지 여부에 대한 우려를 표하고 있다. 이런 우려는 학습조절의 agency가 집단을 지향하는 공동조절 메커니즘의 역할을 한다. 
• 협력 중 SSRL은 [모든 팀 구성원이 목표나 과제 인식의 공동구축과 같은 학습 과정을 집단적으로 규제할 때] 나타날 수 있다. 팀이 SSRL에 참여할 때, 팀 구성원은 자신의 업무 완료 요건에 따라 행동, 인식 및 동기를 조정하여 팀의 업무를 메타인지적으로 통제한다.52
• To function productively as a collective, individual SRL geared towards collective goals is crucial.52 When teams engage in collaborative learning, individual team members will therefore engage in self-regulating their own learning processes and activities; even during collaborative learning, individual team members will activate strategies individually and monitor and regulate their individual efforts.60 
• Team-level CRL may emerge during collaborative learning in cases when an individual team member takes control of or stimulates another team member's regulation processes or activities.60 As such, CRL can play a mediational or transitional role towards productive self-regulation, yet also shared regulation of learning, depending on whether co-regulation is geared towards an individual team member's regulation (SRL) or the regulation of team as a collective (SSRL).52 The team member in Box 3 who expresses concerns about whether all of their collective goals are adequately evaluated, for example, serves as a co-regulatory mechanism through which the agency of regulation of learning shifts towards the collective.
• SSRL during collaboration may emerge when all team members regulate learning processes collectively, such as co-constructing goals or task perceptions. When teams engage in SSRL, team members collectively take metacognitive control of the team's tasks by means of adjusting behaviours, cognitions, and motivations, based on requirements for completion of their tasks.52

==================================================

협력 학습에서, 순간적인 CRL 상호작용은 SSRL과 SRL가 발생하는 순간에도 일어날 수 있다. 따라서 학습자는 동시에 다양한 형태의 조절에 참여할 수 있습니다. 따라서 세 가지 수준의 규제 학습(SRL, CRL, SSRL)은 협력 학습 상황에서 서로 내장된 것으로 가장 잘 간주될 수 있다. 협력 학습 중에 팀은 CRL 또는 SSRL(또는 SRL)에 항상 관여하지 않을 수 있습니다. 팀이 CRL 또는 SSRL(또는 둘 다)에 참여할지 여부는 상황에 따라 달라진다. 예를 들어, 팀 리더(박스 3)가 학습 조절을 완전히 가이드하는 매우 지시적인 사람이라면(즉, CRL), 학습은 SSRL 없이 조절될 가능성이 높다. 따라서 CRL이 다른 조절모드로 전환되는지 여부는, [학습 과제 요건]뿐만 아니라 [팀과 팀 리더십 내의 역학 관계]에 따라 달라진다.
In any collaborative learning, engagement in momentary co-regulatory interactions may occur within episodes of both SSRL and SRL. Thus, learners may concurrently engage in different forms of regulation. The three levels of regulatory learning (SRL, CRL, and SSRL) may therefore best be considered as embedded in one another during collaborative learning situations.41, 44 During collaborative learning, teams may not always engage in either CRL or SSRL (or SRL for that matter). Whether a team will engage in either CRL or SSRL (or both) is context- and situation-specific. For example, if the team leader (Box 3) is highly directive, fully guiding the regulation of learning (ie CRL), learning will likely be regulated without engagement in SSRL. Therefore, whether CRL is transitional towards other modes of regulation depends on dynamics within the team and team leadership as well as requirements of the learning task.

4 나아갈 방향
4 A WAY FORWARD

4.1 연구에 미치는 영향
4.1 Implications for research

중요한 것은 이 글에서 개념화한 학습조절은 이상적이고 이론적인 상황을 의미하며, 실제 작업 환경과 다를 수 있다. 그러나 그러한 모델은 협력적 환경에서 학습의 조절이 어떻게 발생할 수 있는지를 분리하기 위한 향후 연구에 유용한 프레임워크를 제공할 수 있다. 건강 직업 교육 연구에서 다양한 수준의 조절적 학습regulatory learning이 점점 더 연구되고 있지만, [주로 개인 또는 개인 내의 과정]에 초점을 맞추고 있으며, 상대적으로 [팀 수준에서 어떻게 협력 학습을 조절하는가]는 덜 다룬다. 현재 의료 분야의 협력에 대한 요구를 고려할 때 규제 학습에 대한 우리의 시각을 넓히는 것이 중요하다.
Importantly, conceptualisations of regulation of learning in the present article refer to an idealised and theoretical situation, which may differ from actual work settings. However, such models may provide useful frameworks for future research to disentangle how regulation of learning may occur in collaborative settings. While various levels of regulatory learning are increasingly explored in health professions education research,45, 48, 61-63 studies predominantly focus on processes within the individual or the individual in interaction and less on how teams regulate their collaborative learning. Given the demands for collaboration in current healthcare, it is important to widen our views of regulatory learning.

이는 학습 조절에 관심이 있는 연구자라면, 현재 SRL이 지배하고 있는 방정식에 SSRL을 추가해야 한다는 것을 의미한다. 최근 HPE의 맥락에서, 협력적 학습을 이해하기 위하여 사회적 조절에 집중해야 한다는 점이 강조되고 있다. Team reflexivity과 같은 관련 개념을 기반으로 하는 HPE 연구는 팀 차원 조절프로세스와 활동으로 관심을 전환할 수 있으며, (개별 팀 구성원뿐만 아니라) 팀 수준에서 집단적 목표에 따라 어떻게 학습을 조절하는지를 이해하는 것을 목표로 한다. 또한 후속 연구는, 협력적 학습 중 SRL, CRL 및 SSRL의 상호 관련성을 분해entangle하여 학습 조절에 대한 이해를 개선하는 것을 목표로 할 수 있다. 특히, 연구자들은 생산적인 SRL과 SSRL에 대한 [CRL의 매개 역할], 그리고 조절적 상호작용이 학습과 성과에 어떻게 영향을 미치는지 탐구하고자 할 수 있다. CRL은 다른 방식의 규제에 대한 부담과 제약을 제공할 수 있기 때문에, CRL이 어떻게 영향을 미치는지 그 메커니즘에 대한 철저한 이해가 필수적이다. 

This first and foremost implies that researchers interested in the regulation of learning should add SSRL to the equation that is currently dominated by SRL, and to a lesser extent, by CRL. The importance of focussing on social regulation to understand collaborative learning has recently been underlined in the context of health professions education.64 Building on related concepts, such as team reflexivity,57, 58 health professions education research could shift attention to team-level regulatory processes and activities, aiming to understand how teams – as well as individual team members – shape their regulation towards their collective goals. Furthermore, to improve our understanding of the regulation of learning, future studies could aim to disentangle the interrelatedness of SRL, CRL, and SSRL during collaborative learning. Specifically, researchers may want to explore the mediating role of CRL towards productive SRL and SSRL, and how regulatory interactions affect learning and performance. Because CRL can provide the affordances and constrains for other modes of regulation, a thorough understanding of the mechanisms by which it may exert its influence is essential.

HPE 연구의 SRL 데이터(및 CRL 데이터)는 대부분 주관적인 자기보고서를 통해 수집되며, 참여자의 [조절 활동에 대한 인식]을 탐구한다. 그러나 종종 이러한 인식은 실제 행동과 같지 않다. 이러한 한계를 극복하기 위해 최근의 경향은 기술 발전을 통한 [다중 모드 데이터 수집]을 가리키고 있다. 여기에는 서로 다른 데이터 채널(즉, 양식)에서 데이터(예: 객관적 생리학적 및 주관적 자가 보고 데이터)를 수집하여, 연구자들이 복잡한 협력적 학습 상황에서 조절학습의 특징과 단계를 검토할 수 있게 한다. 객관적 데이터 수집을 통해 SRL, CRL, SSRL의 에피소드 동안 일어나는 (노력 조절, 주의력 증가, 혼란과 같은) 보이지 않는 것들을 보이는 것으로 만들 수 있다.

Much of the SRL data in health professions education research (and CRL data for that matter) is collected through subjective self-reports,33 exploring participants’ perceptions of their regulatory activities. However, these perceptions often differ from their actual behaviour.65 To overcome these limitations, recent trends draw on technological advancements and point to collecting multimodal data.52, 66 This involves collecting data from different data channels (ie modalities),52 for example objective physiological and subjective self-report data, allowing researchers to examine features and phases of regulatory learning in complex collaborative learning situations.67 Through collecting objective data, we are able to make visible what otherwise remains invisible, such as effort regulation, increased attention, and confusion that may take place during episodes of SRL, CRL, and/or SSRL.

예를 들어, 최근의 연구는 360도 카메라와 전피 측정과 같은 데이터 소스를 사용하여 그룹 구성원의 협업 학습에 대한 공유 모니터링을 검사하거나, 협업 학습 상황에서 심박수 및 피부 전도 측정과 같은 생리학적 데이터(예: 감정 반응 측정)를 수집한다. 서로 다른 출처의 데이터(객관적 데이터와 주관적 데이터 모두)를 삼각측량하면 다양한 환경에서 학습 규제의 수준과 결과를 더 잘 설명하는 데 도움이 될 수 있다. 협업 중 학습 규제에 대한 이해를 높이기 위해 시뮬레이션 기반 연구를 할 수 있으며, 테크놀로지로 쉽게 통합할 수 있다. 따라서 시뮬레이션 기반 연구 환경은 규제 학습 과정과 같이 밝혀내기 어려운 복잡한 현상을 분석하고 분리하는 데 학자들이 매우 적합한 것으로 보인다.

For example, recent studies use data sources such as 360-degree cameras and electro-dermal measures to examine group members’ shared monitoring of collaborative learning,68 or collect physiological data such as heart rate and skin conductance measures (eg to measure emotional reactions) during collaborative learning situations.66 Triangulating data from different sources (both objective and subjective data), may help us to better describe levels and outcomes of regulation of learning in various settings. To improve our understanding of the regulation of learning during collaboration, we can draw on simulation-based research, in particular,69 as this more easily allows incorporation of technology. Simulation-based research settings seem therefore eminently suitable for helping scholars analyse and disentangle complex phenomena that are difficult to uncover,70 such as regulatory learning processes.

민족지학 연구는 규제 학습 과정에 대한 우리의 이해를 증진시킬 수 있는 독특하고 새로운 기회를 제공할 수 있다. 실제 환경이나 시뮬레이션 환경에서 의료팀을 직접 관찰하면, 실제 작업을 수행하는 동안 발생하는 조절행동과 서로 다른 조절형태가 어떻게 내재될 수 있는지에 대한 탐구를 가능하게 할 수 있다. 또한, 조절행동을 관찰하면 unevenly distributed CRL과 evenly distributed SSRL의 차이를 조사할 수 있다. 
Ethnographic research might offer unique and new opportunities to further our understanding of regulatory learning processes. Direct observation of healthcare teams, either in real-life settings or in simulation settings, may enable exploration of regulatory behaviour as it occurs during the performance of authentic tasks and how different regulatory forms may be embedded in one another. Additionally, observing regulatory behaviour allows for examination of the distinction of unevenly distributed CRL and evenly distributed SSRL. 

4.2 보건직 교육에 대한 시사점
4.2 Implications for health professions education

의료 전문가들에게 [협력적 학습]이 중요하다면, [협력적 학습의 조절]은 마찬가지로 중요해진다. 따라서 [협력적 학습의 조절을 지원하고 자극하며 촉진하는 요소]가 HPE 커리큘럼에 스며들어야 한다. 무엇보다 다양한 조절수준에 대한 인식 제고가 필수다. 현재 대부분의 HPE 커리큘럼은 CRL과 SSRL보다 SRL에 더 관심을 갖는 것으로 보인다. 팀원들이 서로의 지식, 활동, 감정, 동기, 집단으로서의 기능에 대한 관점을 높이는 것은 CRL과 SSRL의 발전을 지원하기 위한 중요한 출발점이다. 예를 들어 시뮬레이션 기반 팀 훈련 세션의 보고 세션에서 팀 구성원의 자체 및 기타 규제 학습 프로세스에 대한 인식에 초점을 맞춘 논의를 촉진할 수 있다. 

When collaborative learning is considered important for healthcare professionals, regulation of collaborative learning becomes equally important. Therefore, elements that support, stimulate, and facilitate the regulation of collaborative learning should permeate healthcare professions curricula. First and foremost, increasing awareness of different regulatory levels is vital. Currently, most healthcare professions curricula seem to pay more attention to SRL than to CRL and SSRL. Increasing team members’ awareness of each other's knowledge, activities, emotions, motivation, and views of the group's functioning as a collective is a crucial starting point to support development of CRL and SSRL.50 To help make explicit what often remains implicit, discussions that focus on team members’ awareness of own and other regulatory learning processes could be stimulated during debriefing sessions of simulation-based team training sessions, for example.71, 72

만약 HPE의 목표 중 하나가 [협력적 학습을 촉진하는 것]이라면, 커리큘럼은 [협력적 학습] 뿐만 아니라 [협력적 학습의 조절]을 요구하는 과제까지도 포함해야 한다. 이러한 학습 과제는 학생들에게 그러한 기술을 개발하는 것과 관련된 정보를 제공해야 한다. 그런 다음 특정 자체, 공동 및 공유 규제 학습 프로세스와 활동을 명시적으로 목표로 하는 피드백 제공에 주의를 기울여야 한다. 

If one of the aims of healthcare professions education is to promote collaborative learning, curricula must include learning tasks that require collaborative learning as well as regulation of that learning. These learning tasks should provide students with information that is relevant for developing such skills. It is then crucial that attention is paid to the provision of feedback that is explicitly aimed at specific self-, co-, and shared regulatory learning processes and activities.73

5 결론
5 CONCLUSION

건강 직업 영역 내에서 학습(따라서 학습의 조절)은 서로 다른 수준의 학습과 함께 서로 다른 수준에서 이루어진다. 의료 전문가를 위한 협업 및 집단 역량의 중요성은 점점 더 인식되고 있지만, 의료 팀이 협업 학습을 규제하는 방법에 대한 관심은 아직 탄력을 받지 못하고 있다. 그러므로 우리는 [자기조절학습을 최적화하는 방법]에만 배타적으로 초점을 두는 것에서, [학습이 일어나는 수준에 맞춘 가장 효과적인 조절]이라는 더 넓은 관점으로 전환해야 한다. 따라서 의료 영역 내에서 학습의 규제를 진정으로 완화한다는 것은 학습의 자체, 공동 및 사회적으로 공유되는 규제 수준을 완화한다는 것을 의미한다. 그래야 미래의 의료 전문가들이 복잡하고 예측 불가능하며 협업적인 의료 제공 환경에서 생산적으로 작동하는 데 필요한 기술을 개발할 수 있습니다.

Learning – and therefore regulation of learning – within the health professions domain takes place at different levels, with different levels of regulation of learning being embedded in one another. While the importance of collaboration and collective competence for healthcare professionals is increasingly recognised, attention to how healthcare teams regulate their collaborative learning has yet to gain momentum. We, therefore, may want to shift from an exclusive focus on how to optimise self-regulation of learning, to the broader perspective of how to most effectively regulate learning, depending on the level at which it takes place. Truly unravelling regulation of learning within the healthcare domain therefore means unravelling the levels of self-, co-, and socially shared regulation of learning. Only then are we able to help future healthcare professionals to develop the skills that are necessary to function productively within the complex, unpredictable, and collaborative context of healthcare delivery.

© 2021 The Authors. Medical Education published by Association for the Study of Medical Education John Wiley & Sons Ltd.

효과적으로 질적연구 결과 섹션을 쓰는 세 가지 원칙 (Focus on Health Professional Education, 2021)
Three principles for writing an effective qualitative results section
S. Cristancho, C. J. Watling & L. A. Lingard

도입 Introduction

우리의 글쓰기와 학문적 글쓰기에 대한 가르침은 중요한 전제에 달려 있다. 괜찮은decent 연구 논문은 [연구study]를 보고하지만, 훌륭한great 연구 논문은 [이야기story]를 들려준다. 명확하게 하기 위해, 우리는 연구와 이야기가 더 두드러지는 연구 논문의 부분을 구분했습니다. 우리는 [이야기가 크게 도입/고찰]이고 [연구는 방법/결과]라고 말해왔다. 그러나 이러한 구분을 너무 엄격하게 적용하지 않는 것이 중요합니다. 좋은 결과 섹션은 결과를 보고할 뿐만 아니라 독자가 결과에 참여할 수 있도록 도와줍니다. 좋은 결과 섹션은 스토리와 공부의 요소가 모두 필요하고, 그것들을 공존시키는 것은 결과 섹션을 쓰기가 어려운 이유일 것이다. 본 논문에서, 우리는 질적 논문의 저자들이 결과 부분에서 연구/이야기 난제와 씨름하는 데 도움이 되는 세 가지 원칙인 과학적 스토리텔링, 진정성 및 주장을 논의한다. 
Our writing, and our teaching about academic writing, hinges on a key premise—a decent research paper reports a study, but a great research paper tells a story (Lingard & Watling, 2016). For the sake of clarity, we have distinguished the sections of a research paper where study and story are more prominent. We have said that story is largely introduction/discussion and study is methods/results. It’s important, however, not to apply this distinction too rigidly—a good results section not only reports findings but also helps the reader to engage with them. A good results section needs elements of both story and study, and making them coexist is, likely, why a results section is so difficult to write. In this paper, we discuss three principles—scientific storytelling, authenticity and argument—to help writers of qualitative papers grapple with the study/story conundrum in their results sections. 

원칙들
The principles

1. 과학적 스토리텔링
1. Scientific storytelling

"이야기"라는 단어는 과학과 함께 놓이기 불편한 단어이다. 과학은 그 자체로 설득력이 있다는 믿음 때문에 불편함을 만듭니다. 따라서, 연구 보고를 윤색하는 것처럼 보이는 것은 무엇이든 잘못인 것처럼 느껴집니다. 우리가 "이야기"라는 단어를 사용하는 것은 과학의 장식을 선호하기 위한 것이 아니라, 독자들이 [연구의 결과를 설득력 있게 만드는 것]이 무엇인지 쉽게 인식하도록 하기 위함이다. 과학적 스토리텔링의 원리는 그러한 목표를 향한 몇 가지 지침을 제공할 수 있습니다.
The word “story” sits uneasily alongside science (“Should scientists tell stories?,” 2013). It creates discomfort because of the belief that science is persuasive on its own. Therefore, anything that seems like embellishing the reporting of a study feels wrong. Our use of the word “story” is not to favor embellishment of science but, rather, to ensure that readers readily recognise what makes the results of a study compelling. The principle of scientific storytelling can offer some guidance towards such a goal.

많은 작가들이 직면하는 어려운 점은 [무엇이 당신의 결과를 구성하는지]를 결정하는 것이다. 만약 독자들이 여러분의 연구에 참여하도록 강요하는 것이 목표라면, 여러분의 결과 섹션은 여러분이 그 구성 요소의 목록보다 더 많이 연구하고 있는 문제에 대한 개념적인 이해를 그들에게 제공해야 합니다. 훌륭한 연구자들은 독자들에게 의미를 부여하기 위해 해석하고 맥락화하며, 그러한 맥락화는 과학적 스토리텔링의 기초가 된다.
A struggle many writers face is deciding what constitutes your results. If the goal is to compel readers to engage with your study, then your results section should offer them a conceptual understanding of the issue that you’re studying more than an inventory of its components. Good researchers interpret and contextualise to make meaning for their readers, and such contextualisation is the basis of scientific storytelling.

일반적으로 좋은 이야기는 환기시키고evocative, 참신하며 기억에 남아야 한다(Simmons, 2019).

• 과학적 스토리텔링에서, 환기시킨다는 것은 글이 감정을 자극한다는 것을 의미하지 않는다; 대신, 그것은 마음을 사로잡고 울려 퍼지게 하는 결과를 의미한다.
• 마찬가지로, 새롭다는 것이 항상 획기적인 발견을 제시하는 것은 아니다. 그것은 또한 알려진 현상에 대해 다른 관점을 제공하는 것에 관한 것이다.
• 그리고 기억에 남는다는 것은 독자들이 신문의 모든 세부사항을 기억할 것이라는 것을 의미하는 것이 아니라, 오히려 중요한 발견이 그들을 돋보이게 할 것이라는 것을 의미한다. 

As a general rule, a good story should be evocative, novel and memorable (Simmons, 2019).

- In scientific storytelling, evocative doesn’t mean the writing stirs emotion (although it might); instead, it refers to results that captivate and resonate.

- Similarly, novel is not always about presenting a groundbreaking discovery. It is also about offering a different perspective on a known phenomenon.

- And memorable doesn’t mean that your readers will remember every single detail of the paper but, rather, that the key findings will stand out for them. How do you organise your story with these features in mind?

여기서부터 시작하는 것은 시작 단락입니다. 대부분의 질적 연구가 주제를 식별하는 것을 포함하기 때문에, 흔히 다음과 같이 시작하는 단락을 쓰는 경향이 있을 것이다: "우리는 다섯 가지 주제를 발견했다: 테마 1, 테마 2, … 테마 5. 주제 1은 … 주제 5는 … 각 주제는 참가자들의 인용문을 사용하여 아래에 설명되어 있습니다." 이러한 유형의 문단은 결과에 대한 큰 그림 설명을 제공하는 것으로 생각할 수 있지만 그렇지 않습니다. 이것은 테마의 목록입니다. 그리고 틀린 것은 아니지만, 할 이야기가 있는 것 같지는 않다. 대신 수치 경험에 대한 바이넘 외 연구진(2021)의 논문의 이 첫 단락을 생각해 보자.
A place to start is the opening paragraph. As most qualitative studies involve identifying themes, we might be inclined to write an opening paragraph that reads like: “We found five themes: theme 1, theme 2, … theme 5. Theme 1 refers to … theme 5 refers to … Each theme will be described below using quotes from participants”. You might think of this type of paragraph as providing a big picture description of the results, but it does not. That’s an inventory of themes. And while it is not wrong, it doesn’t feel like there is a story to be told. Consider instead this opening paragraph from Bynum et al.’s (2021) paper on experiences of shame.

참가자들이 묘사한 수치 경험은 개인과 그들의 환경 사이의 동시적이고 다층적인 상호작용으로 구성되었다. 이러한 상호작용의 의미를 모색하면서, 우리는 '불의 은유'를 통해 참가자들의 수치심을 이해하게 되었습니다. 불이 기질에 미치는 잠재적인 영향처럼, 수치심은 우리의 참가자들에게 깊은 영향을 미칠 수 있다: 대부분의 보고는 세계적으로 부정적인 자기 평가로 구성된 강렬하고, 음흉하고, 그리고/또는 매우 골치 아픈 수치 반응을 경험한다. 학생들은 스스로를 '좋지 않다'(P10), '전혀 가치가 없다'(P12), '부적절한 의대생'(P15), '작다'(P8, P11), '멍청하다'(P6)고 생각한다고 보고했다. "이름도 없는 이 부정적인 감정에 빠져드는 것 같았다"(P15)는 수치심의 감정적 경험이 종종 압도적이었다. 참가자가 겪어낸 수치심 경험의 기원에 대한 두 가지 광범위한 구조, 즉 수치심 유발자와 수치심 촉진자를 식별했다. (188쪽)
The shame experiences described by participants consisted of simultaneous, multi-layered interactions between the individual and their environment. In seeking the meaning of these interactions, we came to understand participants’ shame experiences through the metaphor of fire. Like the potential impact of fire on a substrate, shame could profoundly affect our participants: most reported experiencing intense, insidious and/or deeply troublesome shame reactions that consisted of globally negative self-assessments. Students reported viewing themselves as “no good” (P10), “completely worthless” (P12), “an inadequate medical student” (P15), feeling “small” (P8, P11) and feeling “stupid” (P6). The emotional experience of shame was often overwhelming: “I felt like I was drowning in this negative emotion that I didn’t have a name for” (P15). We identified two broad structures of the origins of participants’ lived experiences of shame: shame triggers and shame promoters. (p. 188)

이 단락을 읽으면, 여러분은 결과 파트에서 [수치심을 유발하고 촉진하는 것]을 다룰 것이라는 느낌을 받게 됩니다. 하지만, 그것이 다가 아닙니다. 저자들은 이 단락에 이야기 풍미를 불어넣기 위해 [두 가지 추가 전략]을 사용했다. 주제 간 관계가 [메타포의 형태로 묘사될 것이라는 기대]를 독자들에게 준비시키고, [메타포를 엿볼 수 있는 짧은 인용구]를 주입하는 동시에 독자들의 시선을 사로잡았다.
In reading this paragraph, you get a sense that the results will be about triggers and promoters of shame. However, that’s not all. The authors used two additional strategies to instill a story flavor in the paragraph. They prepared readers to expect that the relationships among themes will be described in the form of a metaphor, and they infused evocative short quotes to provide a glimpse of the metaphor, while at the same time, capturing readers’ attention.

문단을 여는 것만이 당신의 결과의 스토리를 묘사하는 유일한 방법은 아니다. [시각 지향적인 도표]를 사용하여 독자가 아이디어 간의 연결을 볼 수 있습니다. 다음은 예입니다.
Opening paragraphs are not the only way to portray the story of your results. In the event that you are more visually oriented, you could also use diagrams to help readers see the connections between your ideas. Here is an example:

임상 학습 과정은 도표를 사용하여 표현되었다(Watling 등, 2012). 저자들은 모델의 각 핵심 요소를 입증하고자 했기 때문에 결과 섹션의 시작 부분에 도표를 포함하기로 명시했다. 그렇게 함으로써, 그 다이어그램은 독자들이 앞으로 다가올 것과 각각의 요소들이 어떻게 연결되어 있는지에 대한 방향을 제시하는데 도움을 주었다. 
The process of clinical learning was represented using a diagram (Watling et al., 2012). Since the authors intended to evidence each key element of the model, they made the explicit decision to include the diagram at the beginning of the results section. By doing so, the diagram helped orient readers to what was to come and to how each element was connected. 

시작 문단 및 도표는 [이야기의 큰 그림]을 그리는데 도움이 된다. 결과 섹션의 나머지 부분에서는 의도한 스토리가 스터디와 어떤 관련이 있는지 설명합니다. 시작하기 전에, 모든 주제가 과학 이야기에서 동등하게 표현되어야 하는 것은 아니라는 것을 기억하라. 모든 주제 간의 관계를 설명할 수 있지만, 때때로 하나의 핵심 주제를 중심으로 이야기를 진행하기로 결정할 수도 있습니다. 이것은 임의적인 결정이 아닙니다. 테마가 이야기를 의미 있게 진전시키는지, 그리고 그것을 뒷받침할 충분한 자료가 있는지 여부에 달려 있다. 이는 전통적인 결과 표시가 아니므로, 작성자들은 이 사례에서 예시된 바와 같이 의사결정을 명시적으로 표현하는 것을 고려해야 한다.
Opening paragraphs or diagrams help lay out the big picture of the story. The rest of the results section is about describing how your intended story relates to your study. To start, remember that not all themes must figure equally in a scientific story. While you could describe all the relationships among all your themes, sometimes you might decide to center your story around one key theme. This is not a random decision. It hinges on whether the theme(s) advances the story in a meaningful way and on whether you have enough data to support it. As this is not a traditional presentation of results, writers should consider explicitly articulating their decision making, as illustrated in this example.

우리는 두 가지 주요 발견을 확인했다. 첫 번째 범주는 아래에 설명된 원칙과 선호도의 한계인 핵심 범주입니다. 두 번째는 참가자들이 이러한 문턱에 직면했을 때 어떻게 반응했는지에 대한 이론적 프레임워크입니다. 연구 결과를 더 강력하게 표현해야 한다는 최근의 요구에 따라(26–28) 우리는 그 구축을 이끈 모든 범주와 코드를 요약하는 대신 [핵심적 이론 구조]를 환기하는 핵심 내러티브를 사용하기로 결정했다. (Apramian 등, 2015, 페이지 S71)
We identified two key findings. The first is the core category—thresholds of principle and preference—as described below. The second is a grounded theoretical framework of how our participants responded to encountering these thresholds. Following recent calls to represent research findings more powerfully (26–28) we have elected to use core narratives that evoke the central theoretical constructs rather than outlining all categories and codes that led to their construction. (Apramian et al., 2015, p. S71)

저자들은 결과 이야기를 '문턱 원칙과 선호'라는 핵심 주제에 집중하기로 했을 뿐만 아니라 그 구성 요소를 짧은 인용구가 아닌 내러티브의 형태로 설명하기로 했다. 아래의 주장의 원칙이 이 전략에서 확장될 것입니다.
Not only did the authors decide to focus the story of the results on the key theme of “thresholds of principle and preference”, but they also chose to illustrate its components in the form of narratives, not short quotes. The principle of argument, below, will expand on this strategy.

문단이나 도표를 여는 용도, 주제 간 관계를 어떻게 탐구할 것인지 등을 고려하는 것 외에도, [결과 부분을 어떻게 마무리할지]에 대해서도 어느 정도 고민해야 한다. 요약 단락, 기억할 만한 인용문 또는 간단한 전환 문장을 사용할 수 있습니다. 자신의 선호도와 단어 수 제한과 상관없이, 중요한 것은 가장 취약한 지점weakest point으로 끝나지 않는 것입니다. 첫 번째 초안 후에 이야기의 흐름을 다시 돌아보는 습관을 들이고 수사적인 목적을 위해 재정렬하세요.
In addition to considering the use of opening paragraphs or diagrams and how you will explore the relationships among your themes, some thought should be given to the ending of the results section. You may use a summary paragraph, a memorable quote or simply a transition sentence. Regardless of your preference and word count limit, what’s important is that you don’t end with your weakest point. Make a habit of revisiting the flow of the story after your first draft, rearranging for rhetorical purposes.

과학적 스토리텔링의 원리를 이용하면서, 작가들이 마주치는 또 다른 어려움은 [결과와 토론 사이의 연결성]에 대해 결정하는 것이다. 저자는 잘못이 없다. 이런 어려움을 만드는 것은 질적 연구의 비선형성 때문이다. 질적 연구는 반복적이고 진화하는 것이다; 연구자들은 그들의 데이터를 읽고 해석하는 것 사이를 왔다 갔다 한다. 그리고 그것들을 작성하는 것도 마찬가지입니다. 이렇게 하면, 때때로 검토자로부터 해당 문장이 토론 섹션에 속하는지 궁금하거나 질문을 받을 수 있습니다. 보건전문교육(HPE) 논문의 전통적인 IMRD(서론, 방법, 결과, 토론) 구조에서 [결과 섹션]은 참가자들이 어떻게 경험했는가라는 질문에 답하고, [토론 섹션]은 참가자들의 경험을 알게 되었으니, 우리는 이 지식으로 무엇을 할 수 있는가라는 질문에 답한다.
In using the principle of scientific storytelling, another struggle writers encounter is deciding about the connection between the results and the discussion. The writer is not at fault here. What creates this struggle is the non-linear nature of qualitative studies. Qualitative studies are iterative and evolving; researchers go back and forth between reading and interpreting their data. And the same applies to writing them up. In doing so, you might sometimes wonder or get asked by a reviewer whether a statement belongs to the discussion section. In the traditional IMRD (Introduction, Methods, Results, and Discussion) structure for health professional education (HPE) papers, while

• a results section answers the question How did participants experience this?,
• a discussion section answers the question Now that we know about their experiences, what can we do with this knowledge?

결과 중 한 조각이 토론에 속하는지를 빠르게 점검해보는 요령은 [문장의 시제]를 확인하는 것입니다. 우리는 참가자들의 관점을 설명할 때 과거형을 사용하고, 우리의 해석을 제공할 때 현재형을 사용하는 경향이 있습니다. 만약 그러한 해석이 [참가자들이 말한 것을 어떻게 해야 하는지에 대한 권고]로 넘어가게 된다면, 당신은 경계를 넘은 것이다. 예를 들어, 아래 첫 번째 문장은 참가자들이 조정된 치료 계획을 해결책으로 식별했음을 암시한다. 두 번째 문장은 현재 시제로 인해 권고와 혼동될 수 있다.
A quick test to identify if a piece of the results belongs to the discussion is to check the tense of your sentences. We tend to use past tense when describing participants’ perspectives and present tense when providing our interpretation. If such interpretation slips into recommendations of what to do with what participants said, then you have crossed the boundary. For instance, the first sentence below implied that participants had identified the coordinated care plan as a solution. The second sentence, by virtue of its present tense, can be confused with a recommendation.

많은 참가자들이 환자의 의료 필요성의 반복적인 문제에 대한 "정밀한 해결책"으로서 조정된 진료 계획을 언급했다. 따라서 그러한 계획의 일상적인 채택은 전문가 간 의사소통을 개선하고 환자와 가족[작업의 시사점]의 관리에 있어 차질을 줄이기 위한 전략을 나타낼 수 있다.
Many participants spoke of coordinated care planning as a “sophisticated solution” to the recurring problem of patients’ healthcare needs “falling through the cracks” [participants’ experiences]. The routine adoption of such plans may, thus, represent a strategy to improve interprofessional communication and reduce disruptions in care for patients and families [implications of the work].

마찬가지로, 레퍼런스가 필요할 수도 있다고 생각되는 문장이나, 독자들이 그들의 실천에서 (적용)할 수 있는 것과 관련된 진술은 아마도 결과 섹션에 속하지 않을 것이다.
Similarly, if you write a statement that you think may need a reference, or a statement that has to do with what readers might do in their practice, those statements probably don’t belong in the results section.

이러한 빠른 테스트가 [결과 대 고찰]의 딜레마를 반드시 해결하는 것은 아니지만, 특히 결과와 토론이 관례적으로 혼합된 분야에서 온 경우 HPE 분야에서 글을 쓰는 연습에 자신을 적응시키는 데 도움이 될 것입니다. 최소한, 이 테스트들은 발견에 대한 묘사가 추천이나 함축적인 향을 가지고 있는지 자신에게 물어보거나 피드백을 요청하도록 유도해야 한다. 그런 경우 데이터로 돌아가서 소견으로 확인하거나 토론으로 이동해야 합니다.
While these quick tests will not necessarily solve the results versus discussion dilemma, it should help you orient yourself into the practices of writing in the HPE field, particularly if you come from a discipline where results and discussion are conventionally blended. At a minimum, these tests should prompt you to ask yourself or ask for feedback on whether a description of a finding has a recommendation or implication flavour. If so, then you should either go back to your data to confirm it as a finding or move it to the discussion.

2. 진실성—이야기에 가장 적합한 인용문 선택
2. Authenticity—selecting the best quotes for the story

연구에서 코딩하고 분석한 내용 중에서 가장 좋은 인용문을 선택하는 것은 보기보다 어렵습니다. 당신에게는 아마 선택지가 아주 많을 것이고, 그 중 일부는 당신이 꽤 좋아하는 것이다. [진실성의 원칙]은 각 인용문이 독자들에게 데이터의 지배적인 패턴에 대한 직접적인 접근을 제공하도록 당신의 선택을 안내할 수 있다. 진실성을 확보하려면 데이터에 대한 요점을 설명해주면서, 데이터 패턴을 나타내는 인용문을 선택하십시오.
Selecting the best quotes from among all those you’ve coded and analysed in your study is harder than it looks. You likely have a wealth to choose from, some of which you’re quite fond of. The principle of authenticity can guide your selection to ensure that each quote offers readers firsthand access to dominant patterns in the data. To achieve authenticity, select quotes that are illustrative of the point you’re making about the data, reasonably succinct and representative of the patterns in data.

인용문이 설명이 되는가?
Is the quote illustrative?

독자들은 여러분의 주장의 요점과 여러분이 증거로 제시한 인용문을 연결하기 위해 노력할 필요가 없습니다. 가장 좋은 인용구는 암묵적인 설명보다는 [명시적인 설명]입니다. 다음 예를 생각해 보십시오.
Readers should not have to work to connect the point in your argument and the quote you’ve offered as evidence. The best quote is an explicit illustration rather than an implicit one. Consider the following examples:

훈련 프로그램을 마친 뒤 참가자들은 "내가 내린 결정 중 가장 어려운 결정이었고, 하고 나니 기분이 나아지지 않았다"며 깊은 혼란과 방향감각을 드러냈다. (P5)
After leaving their training program, participants expressed profound confusion and disorientation: “It was the most difficult decision I’ d ever made, and I didn’t feel any better after making it”. (P5)

훈련 프로그램을 마친 뒤 참가자들은 자신들이 바라던 안도감이 바로 드러나지 않았다고 표현했다. "내가 내린 결정 중 가장 어려웠고, 하고 나니 기분이 나아지지 않았다." (P5)
After leaving their training program, participants expressed that the relief they’ d hoped for wasn’t immediately apparent: “It was the most difficult decision I’ d ever made, and I didn’t feel any better after making it”. (P5)

첫 번째 예에서, 인용문은 "혼란과 방향 상실"의 요점을 명시적으로 증명하지 않는다. 두 번째 예시는 인용문과의 연결을 타이트하게 만들고 있다.
In the first example, the quote doesn’t explicitly evidence the point of “confusion and disorientation”. The second example alters the lead up to the quote to tighten the connection.

때로는 작가로서 스스로가 할 수 없는 말을 인용구를 이용해 하고 싶을 때가 있다. 이 경우, 인용문은 당신의 주장을 입증하는 것이 아니라 당신을 대신해서 주장을 하는 것입니다. 다음 예를 들어 다음과 같습니다.
Sometimes, you may also want to use a quotation to say something that you, as the writer, can’t say yourself. In this case, the quote isn’t so much evidencing your point, it’s making a point on your behalf. Consider this example:

워크숍과 초청 연사와 같은 형평성 및 다양성 이니셔티브는 소수 교수진에 의해 "립 서비스"(P7)로 간주되었으며, 특히 기관의 더 큰 구조가 변경되지 않은 경우 더욱 그러했다.
Equity and diversity initiatives such as workshops and invited speakers were often viewed as “ lip service” (P7) by minority faculty, particularly if larger structures in the institution remained unchanged.

"립 서비스"라는 용어는 특히 소수 교수진 참가자의 입에서 나온 강력한 비판이다. 이것은 번역이 같은 영향을 미치지 않았을 때입니다. 독자들은 이러한 강한 입장이 참가자들로부터 직접 나온다는 것을 알아야 합니다.
The term “lip service” is a powerful critique, particularly coming from the mouth of a minority faculty participant. This is a moment where paraphrasing would not have had the same impact—readers need to know that this strong position comes directly from participants.

그 인용문은 간결합니까?
Is the quote succinct?

인터뷰 녹취록을 읽어본 사람이라면 그들이 구불구불하고 재귀적이며 타원과 갑작스러운 전환으로 가득 차 있다는 것을 안다. 이 때문에 요점을 설명하기 위한 짧은 인용문을 찾는 것이 어려울 수 있으며, 더 긴 인용문을 타이트하게 줄여야 합니다. 한 가지 조임tightening 기법은 주요 문구를 추출하여 인용문의 도입 문장에 통합하는 것이다.
Anyone who has ever read an interview transcript knows that they are meandering and recursive, full of ellipses and abrupt transitions. Because of this, it can be difficult to find a short quote to illustrate a point, and you need to tighten up a longer one. One tightening technique is to extract key phrases and integrate them into your own introductory sentence to the quote.

훈련 프로그램을 떠난 참가자들은 "어려운 결정"이었다고 반성을 했고, 직후에는 "기분이 나아지지 않았다."고 밝혔다 (P5)
Participants who had left their training program reflected that it was a “difficult decision”, immediately after which they “didn’t feel any better”. (P5)

또 다른 해결책은 줄임표를 사용하여 인용문의 일부를 오려냈다는 신호를 보내는 것입니다.
Another solution is to use the ellipsis to signal that you have cut part of the quote out:

대학원 훈련 경로는 "컨베이어 벨트처럼 단단하고 자동적이다. … 뛰어내릴 수는 있지만, 그 후에 다시 타는 것은 정말 쉽지 않습니다." (P13)
Postgraduate training pathways were described as “rigid and automatic, like … a conveyor belt. … You can jump off, but getting back on afterwards is really not easy”. (P13)

• 첫 번째 줄임표는 문장 중간에 무언가가 제거되었다는 신호입니다. 이 경우 이 누락된 자료는 내용을 추가하지 않았습니다. "그러니까, 알잖아요, 그 단어가, 내가 하려던 말은..." 
• 두 번째 줄임표는 완전한 정지를 따르며, 따라서 적어도 한 문장이 제거되었거나 그 이상이 될 수 있다는 신호를 보낸다. 
• The first ellipsis signals that something mid-sentence has been removed. In this case, this missing material did not add content: “like, you know, um, what’s the word I’m looking for, like you’re on a”.
• The second ellipsis follows a full stop, and therefore signals that at least one sentence has been removed and perhaps more.

줄임표를 사용할 때, 인용구의 의미에 중요한 뉘앙스를 가진 물질을 제거하지 않도록 주의하세요. 참가자가 원하는 바를 말할 때까지 단편적인 내용을 담아내는 것이 목적이 아니며, 목표는 전체 인용문의 요지에 충실한 표현입니다.
When using an ellipsis, be careful not to remove material that importantly nuances the meaning of the quote. The goal is not to snip bits and pieces until participants say what you want them to; it is a representation that remains faithful to the gist of the full quote.

앞의 예에서 알 수 있듯이, 여러분은 간결함을 돕기 위해 구술을 정돈하기를 원할지도 모릅니다. 인용문의 문구를 바꾸는 것은 항상 진실성 원칙에 위배될 위험이 있기 때문에 신중해야 한다. 인터뷰 전사본은 언어학자들이 "필러" 또는 "후회 표시자"라고 부르는 것, 소리 및 단어, 예를 들어 "아/어/음/좋아요/당신이 알고 있는/맞아요"(Tottie, 2016)로 가득 차 있다. 만약 당신이 담론과 서술적 분석을 한다면, 당신은 반드시 그러한 [망설임의 표현]조차도 의미의 일부로 분석하게 될 것입니다. 그러나 다른 연구 방법론에서는 언어적 특성이 참가자를 식별할 수 있게 한다는 우려와 같은 가독성 또는 윤리적 이유로 일부 "라이트 정리"를 선택할 수 있습니다(Corden & Sainsbury, 2006).
As the previous example shows, you may wish to tidy up oral speech to help with succinctness. Changing the wording of a quotation always risks violating the authenticity principle, so writers must do it thoughtfully. Interview transcripts are replete with what linguists refer to as “fillers” or “hesitation markers”, sounds and words such as “ah/uh/ um/like/you know/right” (Tottie, 2016). If you’re conducting discourse and narrative analysis, you will necessarily analyse such hesitations as part of the meaning. However, in other research methodologies, you may opt to do some “light tidying up” for readability or ethical reasons, such as the concern that linguistic features might make participants identifiable (Corden & Sainsbury, 2006).

마지막으로, 문장의 문법적 무결성을 유지하기 위해 인용구의 문구를 변경할 필요가 있을 수 있습니다. 작가들은 일반적으로 일관된 시제나, 동사와 주어 또는 대명사와 선행의 합치성을 위해 인용부호를 변경할 필요가 있다. 적절한 문법 흐름을 보장하기 위해 동사 시제를 과거에서 현재로 변경한 예에서와 같이 대괄호를 사용하여 이러한 변화를 나타냅니다.
Finally, you may need to alter the wording of a quote to maintain the grammatical integrity of your sentence. Writers commonly need to alter quotes for consistent tense or for agreement of verb and subject or pronoun and antecedent. Use square brackets to signal such changes, as in this example in which verb tenses were changed from past to present to ensure appropriate grammatical flow:

임상 감독관들은 "직접 관찰이 항상 가능한 것은 아니다.", 특히 "우리는 훈련생과 함께 일하지 않는다"와 "선배가 학생들의 직접적인 감독 중 일부를 하고 있다." (P2)
Clinical supervisors understood that “direct observation [isn’t] always feasible”, particularly in settings where “we [don’t] work side by side with the trainee” and “seniors [are doing] some of the direct supervision of the students. (P2)

간결함을 위한 또 다른 전략은 인용문을 표에 넣는 것이다. 질적 연구자들은 표 형식이 주는 제약(그리고 '표'라는 것의 실승주의적 뿌리)에 대해 불평할 수 있지만, 복잡한 결과를 한눈에 보여주기 위해 전략적으로 사용될 수 있다. 이 예에서 긴즈버그 외 연구진(2015)은 참가자가 교육 중 평가 보고서에 대한 의견을 해석할 때 고려한 요소를 정의하고 설명한다(그림 2 참조).
Another strategy for succinctness is to put the quotes into a table. While qualitative researchers may chafe at the constraints (and positivist roots) of the table format, it can be used strategically to present complex results at a glance. In this example, Ginsburg et al. (2015) name, define and illustrate the factors their participants considered when interpreting comments on in-training evaluation reports (see Figure 2).

정성 분석의 주요 결과를 스냅샷하는 데 표를 사용할 수 있지만, 결과 본문에서 서술적 설명을 대체하거나 중복되어서는 안 됩니다. 이것은 의문을 제기한다: 어떤 인용구가 본문에 속하고 어떤 인용구가 표에 속할까? 결정하는 한 가지 방법은 "힘power"과 "증명proof" 인용구를 구별하는 것입니다.

• 파워 인용문은 가장 설득력 있는 인용문이며,
• 입증 인용문은 해당 인용문이 반복되었거나 다소 다면적이라는 추가 증거입니다(Pratt, 2008, 2009).

While tables can be used to snapshot the key findings from a qualitative analysis, they should not replace your narrative explanation in the body of the results, nor should they be duplicated. This begs the question: which quotes belong in the body and which belong in a table? One way to decide is to distinguish between “power” and “proof” quotes.

• Power quotes are the most compelling ones, the quotes that most effectively illustrate your points, while
• proof quotes are additional evidence that the point was recurrent or, perhaps, somewhat multifaceted (Pratt, 2008, 2009).

그 인용문이 대표적이니?
Is the quote representative?

모든 질적 연구자들은 그들이 빨리 논문을 작성하고 싶은 환상적인 인용문을 찾아냈다. 그러나 초안을 수정하다 보면 데이터가 잘못 전달되어 삭제되어야 하는 경우가 있습니다. 선택한 인용문은 데이터의 강력한 패턴을 반영해야 합니다. 모순되는 예는 중요한 목적을 수행하지만, 그 사용은 전략적이고 명확해야 합니다. 또한, 인용문 선택은 한 두 명의 매우 명확한 참가자로부터 나와서는 안 됩니다. 경우에 따라 차선의 또는 차차선의 모범적 예시문을 사용하더라도 여러 참가자에게 분산시킴으로써 데이터 집합 전체를 더 잘 표현할 수 있습니다.
Every qualitative researcher has identified a fantastic quote they just can’t wait to put into a paper. Sometimes, however, you discover as you revise the draft that it misrepresents the data, and it has to be removed. The quotes you choose should reflect strong patterns in the data. Discrepant examples serve an important purpose, but their use should be strategic and explicit. Furthermore, your quote selection shouldn’t come from the same one or two highly articulate participants. Distributing your choices across participants better represents the dataset as a whole, even if it means using the second- or third-best example in some instances.

주요 결과를 나타낼 인용문을 선택할 때 독자가 의미를 정확하게 추론할 수 있도록 충분한 맥락을 유지해야 합니다. 때때로 이것은 [참가자의 답변]뿐만 아니라, [면접관의 질문]도 포함한다는 것을 의미합니다. 그룹 토론에 중점을 두는 포커스 그룹 연구에서는 개별 의견을 추출하는 것보다 참가자 간의 교류를 인용하는 것이 필요할 수 있다. 다음의 공개된 예(Greenhalgh 등, 2004)는 이 기술을 설명한다.
As you select quotes to represent main findings, be sure that you retain sufficient context so that readers can accurately infer their meaning. Sometimes this means including the interviewer’s question as well as the participant’s answer. In focus group research, where the emphasis is on the group discussion, it might be necessary to quote an exchange among participants rather than extracting individual comments. The following published example (Greenhalgh et al., 2004) illustrates this technique.

그러나 부유하지 못한 학생들 사이에서는 높은 사회 계층과 특권 교육이 입학 과정에 유리하다는 인식이 강했다.
However, there was a strong perception among less affluent pupils that high social class and a privileged education would confer an advantage in the admissions process:

[왜 학생이 의대에 입학하는 것을 쉽게 느낄 수 있는지에 대한 질문에 대한 답변]
[in response to a question about why a pupil might find it easy to get into medical school]

"그녀의 자기 자신과 성적은... ...잘하면 면접을 보는 것처럼요."
“The way she carries herself and her grades . . . like at interview if she does well.”

"어떻게 스스로를 감당하겠어?"
[facilitator] “How would she carry herself?”

"각각, 제대로 말하고, 적절한 옷을 입고, 자신감이 넘친다."
“Respectively [sic], talking properly, and dressing appropriately, alot of confidence.”

"일반적인 억양이 아니라 제대로 말하세요."
“Not saying it in a common accent, say it properly.”

말을 잘하면 더 교육받은 것처럼 보일 것이다.(B학교 남학생들)
“If they speak well, then they’ ll look more well-educated.” (Boys from school B)

이 발췌문은 단일 참가자의 답변보다는 질문에 대한 그룹 참여를 효과적으로 나타냅니다.
This excerpt effectively represents the group engagement with the question rather than a single participant response.

3. 논쟁
3. Argument

예를 들어, 가장 대표적인 인용문조차도 스스로 설명하지는 않습니다. 글쓴이는 문법적으로나 수사적으로나 [인용문을 자신의 텍스트에 포함]해야 합니다. 문법 통합의 경우 인용된 자료는 인용되지 않은 자료와 동일한 문법 및 구두점 규정을 적용한다는 것만 기억하면 됩니다. 이 예제를 큰 소리로 읽어보십시오.
Even an illustrative, representative quote does not speak for itself—writers must incorporate the quote, both grammatically and rhetorically, into their own text. For grammatical incorporation, you need only remember that quoted material is subject to the same sentence-level conventions for grammar and punctuation as non-quoted material. Read this example aloud:

사무국장들은 "전문성 문제가 반복될 때 아마 그 역할에서 가장 어려운 부분일 것"이라며 비전문적인 행동을 바로잡기 위해 고군분투했다(P8)
Clerkship directors struggled to remediate unprofessional behavior, “ it’s probably the most difficult part of the role, when you come across a recurring professionalism problem.” (P8)

쉼표를 사용하여 인용구를 작가의 문장에 결합하면 쉼표 스플라이스와 런온 문장이 생성되는데, 이는 눈이 즉시 인식하지 못하더라도 귀가 들을 가능성이 높다. 인용구를 삽입한 문장을 큰 소리로 읽어서 문법적 편입을 확인하세요. 간단한 수정은 [쉼표를 콜론으로] 바꾸는 것입니다.
Using a comma to join the quote to the writer’s sentence creates a comma splice and a run-on sentence, which your ear likely hears even if your eye doesn’t instantly recognise it. Read aloud sentences where you’ve inserted a quote to check grammatical incorporation. A simple correction is to replace the comma with a colon.

사무국장들은 비전문적인 행동을 바로잡기 위해 고군분투했다. "전문성 문제가 반복되는 것이 그 역할에서 가장 어려운 부분일 것이다." (P8)
Clerkship directors struggled to remediate unprofessional behavior: “ it’s probably the most difficult part of the role, when you come across a recurring professionalism problem.” (P8)

[콜론]은 인용된 물질을 통합하기 위한 기본 메커니즘입니다. 그리고 그것은 문법적으로 많은 시간을 충분합니다. 그러나, 그것이 항상 수사적으로 충분한 것은 아니다. 왜냐하면 독자에게 [연구자가 하려는 말]과 [인용된 말] 사이의 관계를 유추하게 남겨두기 때문이다. 인용문이 글쓴이의 논점을 완벽하게 전달할 때, 콜론은 충분할 뿐만 아니라 인용문을 산만하게 집중 조명한다. 하지만, 인용문은 당신의 논점을 완벽하게 만드는 경우는 거의 없다; (인용문을 이해하는 데에는) 보통 약간의 추론이 필요하며, 독자들은 작가가 의도하는 바를 추론하지 못할 수도 있다. 독자들이 자신만의 해석을 하도록 내버려둘 것이 아니라, 작가들은 그들의 해석을 분명하게 해야 한다. 이러한 맥락화는 모로(2005)가 해석과 인용의 "균형balance"이라고 부르는 것을 달성하기 위한 요건이다.
The colon is a default mechanism for integrating quoted material. And it suffices grammatically much of the time. However, it doesn’t always suffice rhetorically, because it leaves the reader to infer the relationship between the point being made and the quoted illustration. When the quote perfectly makes the writer’s point, the colon not only suffices, it spotlights the quote without distraction. However, only rarely do quotes perfectly make your point; usually some inference is required, and readers might not infer what the writer intends. Instead of leaving readers to come to their own interpretations, writers should make explicit their interpretation. Such contextualising is a requirement for achieving what Morrow (2005) calls the “balance” of interpretation and quotation.

연구자들의 해석과 인용문 사이에 이러한 균형을 이루기 위한 많은 기술들이 있다. 다음 예에서 콜론 앞의 자료가 견적서에 대해 점진적으로 더 많은 맥락화를 제공하는 방법에 주목하십시오.
There are many techniques for achieving this balance between researcher interpretations and supporting quotations. Note in the following examples how the material before the colon provides progressively more contextualisation for the quote:

한 주민은 "표준 훈련 경로에서 벗어날 수 있지만, 다시 타는 것은 보장되지 않습니다."라고 말했다. (P21)
One resident said: “You can get off the standard training pathway, but getting back on isn’t guaranteed”. (P21)

한 주민은 "표준적인 훈련 경로에서 벗어날 수 있지만, 다시 승선하는 것은 보장되지 않는다."라고 단언했다. (P21)
One resident asserted: “You can get off the standard training pathway, but getting back on isn’t guaranteed”. (P21)

포커스 그룹의 한 주민은 훈련 경로가 CBME[역량 기반 의료 교육]의 맥락에서 개별화되고 유연하다는 생각에 동의하지 않았다. "표준 훈련 경로에서 벗어날 수 있지만, 다시 복귀하는 것은 보장되지 않습니다." (P21)
One resident in the focus group disagreed with the idea that training pathways were individualised and flexible in the context of CBME [competency-based medical education]: “You can get off the standard training pathway, but getting back on isn’t guaranteed”. (P21)

포커스 그룹 참가자들은 CBME의 맥락에서 훈련 경로의 유연성에 대해 토론했다. 일부는 훈련이 "더디게 갈 필요가 있거나 더 빨리 갈 수 있거나, 거주자의 길에서 조금 벗어나고 싶은 경우" (P19) 반면 다른 이들은 "표준 훈련 경로에서 벗어날 수 있다"고 주장했다. 하지만 다시 탈 수 있다는 보장은 없습니다." (21)
Focus group participants debated the flexibility of training pathways in the context of CBME. Some anticipated that training “can be adjusted, for if you need to go slower or you’re able to go faster or you want to do something a bit off the beaten path of residency” (P19), while others contested that “you can get off the standard training pathway, but getting back on isn’t guaranteed”. (P21)

증가하는 문맥화는 중립적인 "말한said"을 사용하는 첫 번째 예와 참가자의 어조를 감지하기 위해 "주장된asserted"을 사용하는 두 번째 예 사이의 동사 변화에서 시작된다. 세 번째는 [포커스 그룹 토론의 맥락]에 그것을 배치함으로써 인용문의 의미를 더욱 해석한다. 네 번째 예시는 두 개의 인용구를 [문장의 서술 구조에 직접 통합]하여 참여자들 사이에서 일어나고 있는 토론을 보여준다. 그리고 콜론을 사용하지 않음으로써, 마지막 예는 작가가 인용문을 그들의 논증에 엮기 위해 더 열심히 일하도록 강요한다. 이러한 직조는 [인용문의 의미를 수사적으로 강하게 통제]한다.
The increasing contextualisation begins with a shift in verb between the first example, which uses the neutral “said”, and the second example, which uses “asserted” to give a sense of the participant’s tone. The third interprets the meaning of the quote even more by situating it in the context of a focus group debate. The fourth example integrates two quotes directly into the narrative structure of the sentence to show the debate that was occurring among participants. And by not using a colon, the last example forces the writer to work harder to weave the quotes into their argument. Such weaving exerts strong rhetorical control over the quote’s meaning.

초안을 쓸 때는 때는 기본적으로 콜론을 사용하는 편이 낫다. 각각의 조각을 어떤 자리에 고정하는 데 이상적이다. 하지만 수정할 때는 더 다양하고 스타일을 지향하세요. 이렇게 하면 결과 섹션이 점-콜론-인용, 점-콜론-인용, 점-콜론-인용 등의 로봇적 운율을 넘어 향상되고 인용문이 여러분이 주장하는 요점을 뒷받침하고 발전시킬 수 있습니다.
Use the default colon when you’re drafting—it’s perfect for just getting the pieces into place. But when you revise, aim for more variety and style. This will elevate your results sections beyond a robotic cadence of point-colon-quote, point-colon-quote, point-colon-… . And it will ensure that the quotes support and develop the points you’re making.

때때로 당신은 자신의 문장에 통합할 수 없는 더 긴 인용구를 포함하기를 원할 것이다. 이러한 인용문은 독자들에게 인터뷰의 분위기를 느낄 수 있게 하거나 아이디어들 사이의 복잡한 상호관계를 엿볼 수 있게 할 수 있으며, 당신은 이러한 차원을 잃어버릴 정도로 그것들을 자르고 싶어하지 않을 것이다. 하지만, 인용문이 길어질수록 독자의 관심이 당신이 의도한 것과는 다른 무언가에 걸릴 가능성이 더 커진다는 것을 명심하라. 결과 작성에 있어 이러한 모순을 방지하기 위해 인용 샌드위치 기법(인용문 앞의 문맥에 적용하고 그 뒤의 해석을 요약하는 것)을 고려하십시오. 다음 그림(Emerton-Coughlin et al., 2017)에서 비디오 발췌문 필사본은 3번 박스에서 설명되는 내용과 포인트에 대한 자세한 분석을 제공하는 요약 텍스트로 구성된다.
Sometimes you will want to include a longer quote that cannot be integrated into your own sentence. Such quotes can offer readers a sense of the mood of the interview, or a glimpse of the complex interrelationship among ideas, and you don’t want to cut them back to the point that this dimension is lost. Keep in mind, though, that the longer the quote, the greater the chance that the reader’s attention will snag on something other than what you intend. To guard against this source of incoherence in your results writing, consider applying the “quotation sandwich” technique (Graff & Birkenstein, 2018) to contextualise before the quotation and summarise your interpretation after it. In the following illustration (Emmerton-Coughlin et al., 2017), the transcription of a video excerpt is set off in Box 3, sandwiched by introductory text that sets up what’s being illustrated and summary text that provides detailed analysis of the point:

다음 예는 통제 역학의 양방향 특성을 보여줍니다. 의사가 수술 기법을 수정하라는 지침을 시작합니다(상자 3 참조).
The next example typifies the bidirectional nature of control dynamics. The surgeon initiates an instruction to modify the surgical technique (see Box 3).

외과의사의 지침을 올바르게 이행하려면 훈련생이 올바른 표현을 해석해야 합니다. "상단 부분"과 "하단 부분"이 있습니다. 훈련생은 다시 데히스를 사용하여 "이것이 바로 여기입니까?"라고 응답하고 주어진 지침에 대한 자신의 해석을 확인하기 위해 현지화 기동을 합니다. 외과의는 명령을 승인한 다음 추가 정보와 추가 지시로 자신의 신체적 제스처 동작을 추가하며 더 정교하게 다듬는다. 이는 핵심 구조물인 담관을 식별하고 보호하는 것과 관련된 고난도의 순간 동안 교육생이 강사에게 준 엄격한 수준의 통제를 강조합니다.
Correct implementation of the surgeon’s instruction relies on the trainee’s correct interpretation of the deictic expressions: “the top part” and “the bottom part”. The trainee responds, again using deixis, “This right here?” and pairs with it a physical localising manoeuvre in order to confirm her interpretation of the instruction given. The surgeon ratifies and then goes on to further refine the instruction with additional information and additional deictic instruction, adding his own physical gesturing manoeuvre. This back and forth highlights a concession by the trainee of a tight degree of control to the instructor during this high-stakes moment involving the identification and protection of a key structure, the bile duct.

이 예제는 또한 인용문의 내용을 단순히 반복하지 않고 요약하는 방법을 보여줍니다. 독자는 이미 인용문을 읽었는데, 인용문은 지시적인 표현들을 강조하기 위해 주석을 달았다. 그 뒤의 텍스트는 이 교환의 "양방향성"에 대한 시작점을 예시하며, 예제의 진행 상황에 대한 설명에서 "대응", "확인", "뒤로"와 같은 용어를 사용한다.
This example also demonstrates how to summarise the quote without simply repeating what it says. The reader has already read the quote, which is annotated to highlight the deictic expressions. The text after it exemplifies the opening point about “the bidirectional nature” of this exchange, by using terms such as “responds”, “confirms”, “ratifies” and “back and forth” in the explanation of what’s going on in the example.

한 요점을 뒷받침하기 위해 여러 개의 인용문을 사용하는 것은 피해야 합니다. 여러 인용구를 사용하는 편이 더 좋은 경우는 단 하나의 인용구만으로는 정당하지 않은 층위나 뉘앙스가 있을 때 뿐이다
Using multiple quotations to support a single point should be avoided. More is only better when there are layers or nuances that a single quote doesn’t do justice to.

웰니스(Wellness)는 참가자들에게는 미묘한 아이디어였습니다.
Wellness was a nuanced idea for our participants:

"걸어다니는 좀비가 되지 않기 위해 규칙적으로 먹고, 잠을 자는 것." (P2)
“Eating regularly, getting some sleep, so that you’re not a walking zombie.” (P2)

"건강하지 않을 때, 불안하거나 우울할 때, 인간관계가 고통받고 있을 때, 곁에 있을 수 없다는 것을 깨닫는다."(P11)
“Recognising when you’re not well, you’re anxious or depressed, your relationships are suffering, you’re impossible to be around.” (P11)

"기본적인 행복이요, 제게 더 이상 기쁨이 없는 것처럼요? '나는 임상적으로 우울하다'가 아니라 '나는 내 작품에 더 이상 없을 뿐이다.' (P12)
“Basic happiness, like is there any joy in this anymore for me? Not, ‘I’m clinically depressed’ but sort of, ‘I’m just not present in my work anymore.’” (P12)

"미묘한 아이디어"라는 표현이 독자에게 여러 인용문이 이러한 뉘앙스를 보여주기 위한 것임을 경고하지만, 이 예는 독자로 하여금 [인용문 사이의 (비어있는) 공간을 스케치를 하도록] 만든다. 다음과 같이 바꾸는 것이 수사적으로 더 효과적이다.
While “nuanced idea” alerts the reader that the multiple quotes are intended to demonstrate this nuance, this example makes the reader do the work of sketching in the space between the quotes. The following revision is more rhetorically effective.

웰니스(Wellness)는 우리의 참가자들에게는 미묘한 아이디어였다. 많은 이들이 "걸어다니는 좀비가 되지 않기 위해 규칙적으로 먹고, 잠을 자는 것"의 중요성을 인정하는 가운데, 참가자들의 설명에서 신체 건강의 차원이 두드러졌다(P2). 정신건강도 특히 "건강이 좋지 않을 때, 불안하거나 우울할 때, 인간관계가 고통받고 있을 때, 곁에 있을 수 없을 때" (P11)에 대해 논의했습니다. 건강은 또한 신체적, 정신적 건강에 대한 전통적인 개념을 넘어 "기본적인 행복, 나에게 더 이상 기쁨이 없는가?"라는 질문으로까지 확장됩니다. '나는 임상적으로 우울하다'가 아니라 '나는 더 이상 내 일에 있지 않을 뿐이다' (P12).
Wellness was a nuanced idea for our participants. Dimensions of physical health were prominent in participants’ explanations, with many acknowledging the importance of “eating regularly, getting some sleep, so that you’re not a walking zombie” (P2). Mental health was also discussed, in particular “recognising when you’re not well, you’re anxious or depressed, your relationships are suffering, you’re impossible to be around” (P11). And wellness was also understood to extend beyond the conventional notions of physical and mental health, into questions of “basic happiness, like is there any joy in this anymore for me? Not, ‘I’m clinically depressed’ but sort of, ‘I’m just not present in my work anymore’” (P12).

이 버전에서 작가는 독자를 위한 이 세 인용구 사이의 관계를 설정하면서 '물리적', '정신적', '그 너머'를 명시적으로 명명한다.
In this version, the writer explicitly names “physical”, “mental” and “beyond” as they establish the relations between these three quotes for the reader.

우리가 논의할 마지막 예는 결과를 설명하기 위해 복합 내러티브를 사용하는 것입니다. 복합 서술은 여러 인터뷰나 관찰로부터 얻은 데이터를 사용하여 하나의 상세한 이야기를 들려준다. 복합 내러티브는 인용구가 아니다; 그것들은 구성이고, 따라서 작가들에게 상당한 수준의 수사적 통제를 제공한다. 그것들을 효과적으로 사용하기 위해서, 작가들은 그 구성 요소들이 무엇을 나타내는지 그리고 발견을 설명하기 위해 어떻게 사용되는지를 설명하면서 독자들의 방향을 잡아야 한다. 다음 단락은 그러한 지향성이 어떻게 보일 수 있는지를 보여준다.
The final example we will discuss is the use of composite narratives to illustrate your results. A composite narrative uses data from multiple interviews or observations to tell a single, elaborated story. Composite narratives are not quotations; they are constructions and, thus, offer writers a significant degree of rhetorical control. To use them effectively, writers must orient readers, explaining what the composites represent and how they are used to illustrate findings. The following paragraph illustrates how such orienting might look.

데이터 분석 결과를 바탕으로 3가지 복합 내러티브가 생성되었는데, 참가자들의 3가지 구분된 그룹 각각에 대해, GP 교육을 마친 직후 학문적 역할에 입문한 GP들이 전임 임상을 원하지 않는다고 결정한 경험의 복합체인 '내러티브 1, '알렉스'l post; 교육이나 연구에 관심을 가지고 학문적 역할에 입문한 GP의 경험을 종합한 서사 2, '로빈', 그리고 경력 중후반에 학계에 입문한 GP의 경험을 종합한 서사 3, '조'로, 임상 실습에 대한 대안을 모색하고 있다.무식한 일 경험이 스스로 식별된 성별 범주를 넘나들었다는 것을 반영하여, 이러한 서술에 성 중립적인 이름이 할당되었다. 연구 결과는 복합 서술에서 발췌한 것으로 설명된다. (McElhinney & Kennedy, 2021, 페이지 3) 
Based on the findings of the data analysis, three composite narratives were produced, one for each of the three distinct groups of participants identified: Narrative 1, ‘Alex’, a composite of the experiences of GPs who had entered an academic role immediately after completion of GP training, having decided that they did not want a full-time clinical post; Narrative 2, ‘Robin’, a synthesis of the experiences of GPs who entered an academic role mid-career, having been a GP partner, with an interest in education or research; and Narrative 3, ‘Jo’, synthesising the experiences of GPs who entered academia mid to late career, looking for an alternative to clinical practice to run in parallel to clinical work. Gender-neutral names were assigned to these narratives, reflecting that the experiences crossed self-identified gender categories. The findings are illustrated with excerpts from the composite narratives. (McElhinney & Kennedy, 2021, p. 3)

Willis (2019)에 따르면, 복합 내러티브은 세 가지 주요 이점을 제공한다: 

• 원자적인 범주나 주제보다 복잡하고, 위치된 설명을 제공한다;
• 익명성을 보장한다;
• 효용성과 접근성을 극대화할 수 있다. 특히 학계 밖의 독자들을 위한 질적 연구 결과.

필자는 복합물이 주요 데이터의 톤과 내용에 충실하도록 보장해야 하며 복합 서사를 작성하기 위한 적절한 절차를 따라야 한다. 그들의 결과를 설명하기 위해 복합 사례를 시도하는 데 관심이 있는 저자들의 경우, 아파르미안 외 연구진(2015)과 팩 외 연구진(2020)은 이 접근방식을 사용하는 두 가지 다른 방법을 보여준다.

According to Willis (2019), composite narratives offer three main advantages:

• they present complex, situated accounts rather than atomistic categories or themes;
• they ensure anonymity; and
• they may maximise the utility and accessibility of qualitative findings, particularly for readers outside academia.

Their main limitation relates to authenticity—the writer must ensure that the composite is faithful to the tone and content of the primary data and should follow appropriate procedures for creating their composite narrative. For writers interested in trying a composite case to illustrate their results, Apramian et al. (2015) and Pack et al. (2020) demonstrate two different ways of employing this approach.

복잡성의 인정
An acknowledgement of complexity

우리는 효과적인 질적 결과 섹션의 작성을 안내하는 데 도움이 되는 세 가지 원칙을 제시했습니다: 스토리텔링, 진실성 및 논쟁. 이러한 원칙들을 고정된 규칙으로 보아서는 안 된다. 많은 요인들이 이러한 요인들이 어떻게 적용될 수 있는지에 영향을 미칩니다. 연구 방법론은 중요하다. 예를 들어, 서술적 탐구, 구성주의 기반 이론 및 비판적 담론 분석은 각자 바람직한 방식이 다를 것이다. 저널도 중요합니다. 많은 경우 이러한 원칙을 성공적으로 적용하는 방법을 이해하려면 반드시 참조해야 할 저자 지침이 있습니다. 

We have offered three principles to help guide the writing of an effective qualitative results section: storytelling, authenticity and argument. These principles should not be viewed as static rules. A number of factors influence how they might be applied. Research methodology matters; for example, narrative inquiry, constructivist grounded theory and critical discourse analysis will look—and sound—distinct. The journal also matters. Many have author guidelines you should consult to understand how to adapt these principles successfully.

마지막으로, 역사는 중요합니다. 질적 연구가 정당성을 얻으면서 우리 분야의 관습이 변화하고 있다. 방법론적 용어가 변화하고 있는 것처럼(Varpio 등, 2017) 결과를 제시하는 관례도 변화하고 있다. 이 원고를 작성하면서 우리의 논문을 되돌아보면서, 우리는 우리의 접근 방식의 변화를 깨달았다. 예를 들어, 우리는 각 주제 범주의 인스턴스 수를 열거하는 테이블을 더 이상 거의 사용하지 않는다(Lingard, 2004). 그러나 20년 전에는 데이터 코딩에 관련된 여러 연구자에 대한 평가자 간 신뢰도 계수를 포함시키는 것이 흔한 일이었다. 따라서 이러한 원칙을 지침으로 사용하고, 설득력 있는 질적 결과 섹션을 만들 때 수사적 상황에 주의를 기울이십시오.

Finally, history matters. Conventions in our field are changing over time as qualitative research gains legitimacy. Just as methodological terms are shifting (Varpio et al., 2017), so too are conventions for presenting results. Looking back at our papers in the writing of this manuscript, we realised shifts in our own approaches. For instance, we rarely use tables enumerating the number of instances of each thematic category (Lingard, 2004) anymore, but that was commonplace 20 years ago, as were inter-rater reliability coefficients for multiple researchers involved in coding data. So use these principles as a guide, and stay attentive to your rhetorical situation as you work to craft a compelling qualitative results section.

Abstract

의학교육의 프로그램적 평가가 헬스케어에서 배울 수 있는 것(Perspect Med Educ, 2017)
What programmatic assessment in medical education can learn from healthcare
L. Schuwirth1,2 · C. van der Vleuten2 · S. J. Durning1,3