질적연구의 일반화가능성: 오해, 기회, 권고(Qualitative Research in Sport, Exercise and Health, 2018)
Generalizability in qualitative research: misunderstandings, opportunities and recommendations for the sport and exercise sciences
Brett Smith

질적연구에서 포화: 개념과 조작화 탐색(Qual Quant, 2018)
Saturation in qualitative research: exploring its conceptualization and operationalization
Benjamin Saunders1 • Julius Sim1 • Tom Kingstone1 • Shula Baker1 • Jackie Waterfield2 • Bernadette Bartlam1 • Heather Burroughs1 • Clare Jinks

 

"포화란 무엇인가?"—포화는 어떤 방식으로 정의되는 거죠?
‘What?’—in what way(s) is saturation defined?

글레이저와 슈트라우스는 그들의 근거이론에 대한 최초의 논문에서 포화를 다음과 같이 정의했다.
In their original treatise on grounded theory, Glaser and Strauss (1967: p. 61) defined saturation in these terms:

[특정 범주와 관련하여 또 다른 그룹의 표본수집을 중단해야 하는 시기를 판단하는 기준]은 범주의 이론적 포화도이다. 포화상태는 사회학자가 범주의 속성을 개발할 수 있는 추가 데이터가 발견되지 않음을 의미한다. 유사한 사례를 반복해서 보면서, 연구자들은 한 범주가 포화 상태라는 것을 경험적으로 확신하게 된다. 연구자는 가능한 한 다양한 데이터를 확장시켜줄 수 있는 그룹을 찾기 위해 노력합니다. 이러한 노력을 통해 '포화'는 해당 범주에서 가능한 가장 광범위한 데이터를 기반으로 한다는 것을 확실하게 해준다.
The criterion for judging when to stop sampling the different groups pertinent to a category is the category’s theoretical saturation. Saturation means that no additional data are being found whereby the sociologist can develop properties of the category. As he sees similar instances over and over again, the researcher becomes empirically confident that a category is saturated. He goes out of his way to look for groups that stretch diversity of data as far as possible, just to make certain that saturation is based on the widest possible range of data on the category.

 

여기서, [의사결정은 '추가 표본 추출을 할 것인지']와 관련이 있으며, 적절한 표본 추출의 결정 요인은 분석 과정에서 이론적 범주theoretical category의 개발 정도와 관련이 있다. 따라서 포화는 [이론적 표본 추출]의 개념과 밀접한 관련이 있다. 이는 표본 추출이 '새롭게 등장하는emerging 이론에 필요한 유사점 및 대비점'에 의해 유도된다는 생각이다. 포화는 연구자가 '샘플링, 데이터 수집, 데이터 분석을 (선형적으로 이뤄지는 별도의 단계로 취급하기보다는) 결합하게끔' 한다.

Here, the decision to be made relates to further sampling, and the determinant of adequate sampling has to do with the degree of development of a theoretical category in the process of analysis. Saturation is therefore closely related to the notion of theoretical sampling—the idea that sampling is guided by ‘the necessary similarities and contrasts required by the emerging theory’ (Dey 1999: p. 30)—and causes the researcher to ‘combine sampling, data collection and data analysis, rather than treating them as separate stages in a linear process’ (Bryman 2012: p. 18).

Urquhart(2013: 페이지 194)는 근거이론의 관점에서 포화를 다음과 같이 정의한다. '데이터에서 새로운 코드가 발생하지 않는 것을 발견하는 지점을 말한다. 같은 코드를 가진 인스턴스가 있지만 새로운 코드는 없는 것이다' Given은 은 포화 상태를 '추가 데이터가 새로운 Emergent themes를 초래하지 않는' 지점이라고 이야기했다. 다른 사람들도 새로운 코드나 테마의 출현에 대해 비슷한 입장을 취했다. 이러한 정의는 강조의 변화를 보여주며, [두 번째 포화 모델]을 제안합니다. 초점은 [분석 수준]에 머물러 있지만, 결정은 (이미 확인된 코드의 개발 정도보다는) [새로운 코드나 테마의 출현]과 관련이 있는 것으로 보인다. 또한 Urqhart(2013)와 Birks and Mills(2015)는 포화 상태를 [새로운 데이터 수집보다는 분석의 종료]와 주로 연관시킨다.

Also writing from a grounded theory standpoint, Urquhart (2013: p. 194) defines saturation as: ‘the point in coding when you find that no new codes occur in the data. There are mounting instances of the same codes, but no new ones’, whilst Given (2016: p. 135) considers saturation as the point at which ‘additional data do not lead to any new emergent themes’. A similar position regarding the (non)emergence of new codes or themes has been taken by others (e.g. Birks and Mills 2015; Olshansky 2015).Footnote3 These definitions show a change of emphasis, and suggest a second model of saturation. Whilst the focus remains at the level of analysis, the decision to be made appears to relate to the emergence of new codes or themes, rather than the degree of development of those already identified. Moreover, Urqhart (2013) and Birks and Mills (2015) relate saturation primarily to the termination of analysis, rather than to the collection of new data.

1. 3. Birks and Mills (2015)는 또한 이론적 포화의 일부로서 '범주는 명확하게 정의되고 차원화된 특성으로 명확하게 표현된다'고 언급하고 있으며, 이는 새로운 테마의 (비) 출현의 사실보다는 포화에 대한 다소 광범위한 관점을 시사한다는 점에 주목해야 한다.
   3. It should be noted that Birks and Mills (2015) also state that, as part of theoretical saturation, ‘Categories are clearly articulated with sharply defined and dimensionalized properties’, suggesting a somewhat broader view of saturation, in which the nature of emerging themes is important, rather than just the fact of their (non)emergence.

그러나 Starks and Trinidad (2007: p. 1375)에 따르면, 이론적인 포화는 '이론을 구성하는 전체 범위의 구조가 데이터로 완전히 표현될 때' 발생한다. 완전히 명시적이지는 않지만, 이 정의는 [다른 논리의 방향성을 가진 세 번째 포화 모델]을 제안한다: '데이터를 고려할 때, 우리는 분석적 또는 이론적 적절성을 가지고 있는가?'가 아니라, '이론을 고려할 때, 우리는 그것을 설명하기에 충분한 데이터를 가지고 있는가?'인 것이다.
According to Starks and Trinidad (2007: p. 1375), however, theoretical saturation occurs ‘when the complete range of constructs that make up the theory is fully represented by the data’. Whilst not wholly explicit, this definition suggests a third model of saturation with a different directional logic: not ‘given the data, do we have analytical or theoretical adequacy?’, but ‘given the theory, do we have sufficient data to illustrate it?’Footnote4

1. 4. 이것은 슈트라우스의 표본 추출에 대한 접근에 대한 글레이저의 비판을 불러일으킨다. 그는 그것을 이론적인 표본 추출이라기 보다는 관습적인 표본 추출로 간주한다. 슈트라우스에게 발견은 귀납induction와 출현emergence을 의미하는 것이 아니라, 그의 이론을 시험할 수 있도록 데이터에서 찾는 것finding을 의미한다.' (Glaser 1992: 페이지 103).
   4. This evokes Glaser’s criticism of Strauss’s approach to sampling, which he regards as conventional, rather than theoretical, sampling: ‘In conventional sampling the analyst questions, guesses and uses experience to go where he thinks he will have the data to test his hypotheses and find the theory that he has preconceived. Discovery to Strauss does not mean induction and emergence, it means finding his theory in data so that it can be tested’ (Glaser 1992: p. 103).

 

근거이론 문헌 밖으로 이동하면, [네 번째 관점은 이론적 포화theoretical saturation보다는 데이터 포화data saturation를 참조하는 것]이 명백해진다(예: Fusch 및 Ness 2015). 이러한 포화 관점은 새로운 것이 드러나지 않을 때까지 [얼마나 많은 데이터(보통 인터뷰 횟수)가 필요]한가, 또는 Sandelowski(2008: 페이지 875)가 '정보 중복성'(예: 프랜시스 외 2010; Guest et al. 2006)이라고 부르는 것에 초점을 맞춘 것으로 보인다. Grady(1998: 페이지 26)는 [데이터 포화]에 대한 유사한 설명을 제공한다:
If we move outside the grounded theory literature,Footnote5 a fourth perspective becomes apparent in which there are references to data saturation, rather than theoretical saturation (e.g. Fusch and Ness 2015).Footnote6 This view of saturation seems to centre on the question of how much data (usually number of interviews) is needed until nothing new is apparent, or what Sandelowski (2008: p. 875) calls ‘informational redundancy’ (e.g. Francis et al. 2010; Guest et al. 2006). Grady (1998: p. 26) provides a similar description of data saturation as the point at which:

새로운 데이터는 이미 수집된 데이터를 중복하는 경향이 있습니다. 인터뷰에서 연구원이 동일한 의견을 계속해서 듣기 시작하면 데이터 포화 상태에 도달하게 됩니다. 이제 정보 수집을 중단하고 수집된 정보를 분석하기 시작해야 할 때입니다.
New data tend to be redundant of data already collected. In interviews, when the researcher begins to hear the same comments again and again, data saturation is being reached… It is then time to stop collecting information and to start analysing what has been collected.

 

1. 5. Charmaz(2008, 2014)는 근거이론의 맥락을 넘어선 포화 개념의 확장에 비판적이다. 특히 데이터 포화라고 부르는 것으로의 확장에 대해 그렇다.
   5. Charmaz (2008, 2014) is critical of the extension of the notion of saturation beyond the context of grounded theory, and in particular of its extension into what we here refer to as data saturation.
2. 6. 데이터 포화와 이론적 포화를 명시적으로 구분하는 저자는 거의 없다. 
   6. Few authors draw an explicit distinction between data and theoretical saturation—among the exceptions are Bowen (2008), Sandelowski (2008), O’Reilly and Parker (2013), and Hennink et al. (2017).

 

다른 몇몇 연구진도 유사한 방식으로 데이터 포화도를 정의한 반면, 레가드 등은 [데이터 포화에 관하여 조금 더 협소하고 개인 지향적인 관점]을 채택하는 것으로 보인다. 즉, 포화는 데이터 세트 전체 수준이 아니라 [개별 참가자가 제공한 데이터]와 관련하여 작동한다. 즉, 포화는 [특정 인터뷰 내의 특정 지점]에서 달성된다.
Whilst several others have defined data saturation in a similar way (e.g. Hill et al. 2014: p. 2; Middlemiss et al. 2015; Jackson et al. 2015), Legard et al. (2003) seem to adopt a narrower, more individual-oriented perspective on data saturation, whereby saturation operates not at the level of the dataset as a whole, but in relation to the data provided by an individual participant; i.e. it is achieved at a particular point within a specific interview:

연구자가 참가자의 관점을 완전히 이해한 포화 상태에 도달했다고 느낄 때까지 조사를 계속할 필요가 있다(Legard 등 2003: 페이지 152).
Probing needs to continue until the researcher feels they have reached saturation, a full understanding of the participant’s perspective (Legard et al. 2003: p. 152).

 

이러한 관점에서, 데이터에 대한 연구자의 대응(새로운 '정보'의 생성 여부에 대한 의사결정)이 반드시 분석 자체의 일부로 인식되지는 않는다. 따라서 이 모델에서 포화 과정은 [주로 데이터 수집 수준에 위치]하며, 데이터 분석의 전체 프로세스, 즉 이론과 분리된다.
From this perspective, the researcher’s response to the data—through which decisions are made about whether or not any new ‘information’ is being generated—is not necessarily perceived as forming part of the analysis itself. Thus, in this model, the process of saturation is located principally at the level of data collection and is thereby separated from a fuller process of data analysis, and hence from theory.

따라서 네 가지 다른 포화 모델이 존재하는 것으로 보인다(표 1).

1. 첫 번째는 전통적인 근거이론에 뿌리를 두고 있으며, [이론적 표본 추출]의 개념에 따라서, [분석 과정에서의 범주 개발과 새롭게 만들어지는 이론Emerging theory]을 [추가 데이터 수집의 기준]으로 사용한다. 일반적으로 사용되는 용어를 사용하지만, 더 구체적인 정의에 초점을 둔다면, 이 모델은 [이론적인 포화theoretical saturation]로 분류될 수 있다. 

2. 두 번째 모델은 유사한 접근방식을 취하지만, 포화도는 [새로운 코드나 테마의 식별]에 초점을 맞추고 있으며, 기존의 [이론적 범주의 완전성]보다는, 그러한 [코드나 테마의 수]를 기반으로 한다. 이것은 [귀납적 주제 포화inductive thematic saturation]이라고 할 수 있다. 이 모델에서 포화도는 [분석 수준에 국한된 것]으로 보이며, 데이터 수집에 대한 의미는 기껏해야 함축적이다. 

3. 세 번째 모델에서는 앞선 논리가 반전되는데, 여기서 데이터는 (이론을 발전시키거나 정제refine하기보다는), [낮은 단계의 코드나 테마 수준에서 이론을 예시exemplify]하기 위해 수집된다. 이 모델은 사전 결정된 이론적 범주의 개념을 가리키고 근거 이론의 '귀납적 논리'라는 특성으로부터 우리를 멀어지게 하기 때문에, [선험적 주제 포화a priori thematic saturation]라고 불릴 수 있다. 

4. 네 번째 모델은 포화도를 [데이터에서 중복성을 식별하는 문제]로 간주하며, 이러한 데이터에 연결된 이론을 참조할 필요가 없다. 이러한 포화를 일반적으로 사용되고 있는 용어에 맞추어 [데이터 포화data saturation]라고 합니다. 네 번째 모델에서 포화는 공식적인 [데이터 분석과는 구별되는 것]으로 보입니다.
Four different models of saturation seem therefore to exist (Table 1).

The first of these, rooted in traditional grounded theory, uses the development of categories and the emerging theory in the analysis process as the criterion for additional data collection, driven by the notion of theoretical sampling; using a term in common use, but with a more specific definitional focus, this model could thus be labelled as theoretical saturation.

The second model takes a similar approach, but saturation focuses on the identification of new codes or themes, and is based on the number of such codes or themes rather than the completeness of existing theoretical categories. This can be termed inductive thematic saturation. In this model, saturation appears confined to the level of analysis; its implication for data collection is at best implicit.

In the third model, a reversal of the preceding logic is suggested, whereby data is collected so as to exemplify theory, at the level of lower-order codes or themes, rather than to develop or refine theory. This model can be termed a priori thematic saturation, as it points to the idea of pre-determined theoretical categories and leads us away from the inductive logic characteristic of grounded theory.

Finally, the fourth model—which, again aligning with the term already in common use, we will refer to as data saturation—sees saturation as a matter of identifying redundancy in the data, with no necessary reference to the theory linked to these data; saturation appears to be distinct from formal data analysis.

 

'하이브리드' 형태의 포화
‘Hybrid’ forms of saturation

일부 저자들은 위에서 정의한 [두 개 이상의 모델을 결합]하여 개념화를 덜 구별되게 하는 포화 해석을 지지하는 것으로 보인다. 예를 들어, Goulding(2005)은 데이터와 이론 모두 근거이론 내에서 포화되어야 한다고 제안했고, Drisko(1997: 페이지 192)는 포화를를 '데이터 수집과 분석의 포괄성' 측면에서 정의했다. 비슷하게, 모스의 포화에 대한 관점은 [이론적인 요소와 데이터 포화 요소 모두를 구체화한 것]으로 보인다. 그녀는 데이터 포화 과정을 제안하는 방식으로 포화 상태를 복제 개념과 연결한다.
Some authors appear to espouse interpretations of saturation that combine two or more of the models defined above, making its conceptualization less distinct. For example, Goulding (2005) suggests that both data and theory should be saturated within grounded theory, and Drisko (1997: p. 192) defines saturation in terms of ‘the comprehensiveness of both the data collection and analysis’. Similarly, Morse’s view of saturation seems to embody elements of both theoretical and data saturation. She links saturation with the idea of replication, in a way that suggests a process of data saturation:

그러나 도메인이 완전히 샘플링되면(모든 데이터가 수집되면) 데이터의 복제가 발생하고 이 복제를 통해 포화 신호가 발생합니다(Morse 1995: 페이지 148).

However, when the domain has been fully sampled – when all data have been collected – then replication of data occurs and, with this replication… the signal of saturation (Morse 1995: p. 148).

 

모스는 자신의 학생들이 '언제 포화 상태에 이르렀는지를 알 수 있다. 바로 더 일반적인 용어로 데이터에 대해 이야기하기 시작하는 때, 그리고 질문을 받았을 때 예시를 쉽게 제공할 수 있는 때이다. 학생들이 자신의 데이터를 '알고' 있는 것이다.' (모스 2015: 페이지 588) 이 역시 [데이터 포화 형태]를 시사한다. 그러나 모스는 또한 '개념의 특성을 파악하고 이론을 발전시키기에는 각 범주에 예시가 너무 적을 때'는 포화가 결여되었다고 제안한다. 이러한 관점은 [데이터 수준]과 [데이터가 이론을 예시하는 방식]에 큰 중점을 두고 있으므로 데이터와 이론적 포화 상태를 모두 환기시키는 것처럼 보이지만, 이론 개발의 개념에 확고히 자리 잡고 있는 것으로 보인다.

Morse notes elsewhere that she is able to tell when her students have achieved saturation, as they begin to talk about the data in more generalized terms and ‘can readily supply examples when asked. These students know their data’ (Morse 2015: p. 588). This too suggests a form of data saturation. However, Morse also proposes that saturation is lacking when ‘there are too few examples in each category to identify the characteristics of concepts, and to develop theory’ (Morse 2015: p. 588). This perspective seems to be located firmly in the idea of theory development (as other parts of the quoted papers by Morse make clear), though a heavy emphasis is placed at the level of the data and the way in which the data exemplify theory, thereby seeming to evoke both data and theoretical saturation.

Hennink 등(2017)은 더 나아가 네 가지 포화 모델의 요소를 모두 결합한 것으로 보인다. 그들은 먼저 '코드 포화'를 식별한다. 이는 [귀납적 주제 포화 요소]와 [데이터 포화] 요소를 결합한 것으로 보인다. 즉, '추가 문제가 식별되지 않고 코드북이 안정화되기 시작하는 지점'이다. 그러나, 이 접근법 내에서 포화는 귀납적으로 개발된 코드뿐만 아니라 세 번째 모델인 [선험적 주제적 포화]를 반영하는 [선험적 코드]와도 관련이 있는 것으로 논의된다. 그들은 또한 '코드 포화'와 '의미 포화'를 구별한다. '의미 포화'에서 분석가는 '[구체적 코드]로부터 [개념적 코드나 개념적 차원]을 완전히 이해하려고 한다'. 코드의 차원을 포화시키는 것에 대한 이러한 초점은 이론적 포화와 더 유사한 것처럼 보인다. 그러나 그들의 분석은 이러한 [코드에서 개발된 이론적 범주]보다는 [코드 수준]에 머무르며, Hennink 등은 그들의 접근방식을 명시적으로 근거이론 방법의 외부에 배치한다.
Hennink et al. (2017) go further, appearing to combine elements of all four models of saturation. They firstly identify ‘code saturation’, the point at which ‘no additional issues are identified and the codebook begins to stabilize’ (2017: p. 4), which seems to combine elements of both inductive thematic saturation and data saturation. However, within this approach saturation is discussed as relating not only to codes developed inductively, but also to a priori codes, which echoes the third model: a priori thematic saturation. They go on to distinguish ‘code saturation’ from ‘meaning saturation’; in the latter, the analyst attempts to ‘fully understand conceptual codes or the conceptual dimensions of… concrete codes’ (2017: p. 14). This focus on saturating the dimensions of codes seems more akin to theoretical saturation; however, their analysis remains at the level of codes, rather than theoretical categories developed from these codes, and Hennink et al. explicitly position their approach outside grounded theory methods.

 doi: 10.1007/s11135-017-0574-8. Epub 2017 Sep 14.

Saturation in qualitative research: exploring its conceptualization and operationalization

PMID: 29937585

PMCID: PMC5993836

DOI: 10.1007/s11135-017-0574-8

Free PMC article

의료전문직 학술활동: 그것의 등장, 현재상태, 미래(FASEB Bioadv. 2021)
Health professions education scholarship: The emergence, current status, and future of a discipline in its own right
Olle ten Cate

1 의학교육의 역사적 연구
1 THE HISTORICAL OUVERTURE OF SCHOLARSHIP IN MEDICAL EDUCATION

교육 또는 의학 학문에 관여하는 대부분의 생물 의학 과학자는 물론 대부분의 교육 과학자는 현재 "보건 전문직 교육"이라는 더 넓은 용어로 포괄되는 의학 교육 학술활동이라는 교차 영역의 풍부함을 깨닫지 못할 수 있다.
Most educational scientists, as well as most biomedical scientist, involved in educational or medical scholarship, may not realize the richness of the intersecting field of medical education scholarship, currently subsumed under the broader term of “health professions education.”

[인구 건강]과 [인구 교육]은 번영하는 사회의 두 가지 기본 요소이다. 이 둘의 교차점에는 의사 및 보건 전문직이 인구의 건강을 위해 복무하도록 교육하는 기술art가 있다. 의학 교육은 항상 [의사와 교육자]의 헌신적인 관심을 누려왔다. 아폴로와 코로니스의 아들인 최초의 저명한 의대생이자 교육자인 아스클레피오스가 켄타우루스 키론에게 의술을 배웠고, 마법의 막대기와 함께 자신의 회사가 된 뱀으로부터 치유와 부활에 대해 배웠다는 것이 신화의 교훈이다(그림 1). 전 세계 의료협회의 수많은 로고에서 볼 수 있듯이, 막대기와 뱀은 오늘날까지 가장 중요한 의학 상징이 되었고 지금도 남아 있다. 키론과 아스클레피오스가 의학적 지식뿐만 아니라 [교육적 능력]으로도 유명했다는 것을 인정해야 한다.
The intersection of two fundamental pillars of a thriving society—population health and population education—is the art of educating doctors and other health professionals to serve the health of populations. Medical education has always enjoyed the dedicated interest of physicians and educators. Mythology teaches us that the first renown medical student and educator, Asclepius, son of Apollo and Coronis, had been educated himself in the art of medicine by centaur Chiron, and had learned about healing and resurrection from a snake who became his company along with a magical rod (Figure 1). Rod and snake became and remained the most important symbols of medicine throughout the ages until today, as witnessed by the many logos of medical associations around the world. It should be acknowledged that Chiron and Asclepius were not only famous for their medical knowledge, but also known for their educational skill.

21세기에 의학과 생의학은 전문 병원, 실험실, 대학 및 상업 기업을 통해 주요 산업이 되었다. 교육은 여러 세기에 걸쳐서 청소년들을 위한 초등교육과 handcraft에 초점을 맞추었지만, 대부분의 중등교육과 중요한 과학적 토대를 가진 많은 시민들을 위한 3차교육과 함께 지난 세기 동안 산업화된 사회에서 발전해왔다. 교육과학은 20세기에 강하게 발전했다.
In the 21st century, medical and biomedical sciences have become a major industry through specialized hospitals, laboratories, universities, and commercial enterprises. Education, while for many ages focused on primary schooling and handicraft for the youth, has developed in the past century in industrialized societies with secondary education for most and tertiary education for many citizens with important scientific foundations. The science of education has developed strongly in the 20th century.

어느 시대든, 의학 교육 자체는 존경받는 기술respected art이었다. 시대를 통한 유명한 의학 학자들과 교육자들은 히포크라테스, 셀수스, 갤런, 안드레아스 비살리우스, 허먼 보어하브, 윌리엄 오슬러, 그리고 윌리엄 할스테드를 20세기 초까지 주요한 예로 포함한다. 국내적이든 국제적으로든 더 많은 의학 교육자들이 따랐고, 대부분의 의과대학들은 과거에 있었던 교수들에 대하여 초상화 갤러리와 강의실에서 그들의 이름과 얼굴을 기리는 형태로 자부심을 드러낸다.
Medical education itself has been a respected art through the ages. Famous medical scholars and educators through the ages include Hippocrates, Celsus, Galen, Andreas Vesalius, Herman Boerhaave, William Osler, and William Halsted as prime examples until the early 20th century.1-4 Many more medical educators followed, nationally or internationally famous, and most medical schools take pride in some of their own professors of the past, honoring their names and faces in portrait galleries and lecture halls.

오랜 세월 동안 dissection을 통한 [인체 해부학]은 임상 전 교육의 중심이었다. 그림 2는 암스테르담의 와그 해부학 극장에서 공공 해부 강의를 하는 니콜라이스 툴프 교수 (1593–1674)를 보여준다.
For many ages, the anatomy of the human body through dissection was central to preclinical education. Figure 2 shows professor Nicolaes Tulp (1593–1674), delivering a public dissection lecture at the Waag Anatomical Theater in Amsterdam.

2 학문적 연구의 영역으로서 의학 교육의 탄생
2 THE BIRTH OF MEDICAL EDUCATION AS A DOMAIN OF SCHOLARLY STUDY

[의학을 가르치는 기술Art of teaching medicine]이 수 세기에 걸쳐 널리 인정받았지만, 개별 교육자와는 별개로 의학 교육의 방법과 효과에 초점을 맞춘 의학교육 연구는 최근에야 연구의 초점이 되었다. 그 출현은 주로 [20세기 중반]부터 시작된 것으로 간주될 수 있으며, 새로운 방법, 목표 및 내용과 함께 의학 커리큘럼에 대한 새로운 접근법의 개발과 연결된다. 세계적으로 의과대학이 1953년 566개에서 2018년 2881개로 급증하면서 의과대학 학술활동, 이후 보건전문교육에 대한 관심이 눈에 띄게 발전했다.
While the art of teaching medicine became widely acknowledged over the centuries, the study of medical education, with its focus on methods and effectiveness of medical education, independent of individual educators, became a focused domain of study only recently. Its emergence can be considered to have started primarily from mid-20th century, linked to development of new approaches to the medical curriculum, with new methods, objectives, and content. With the rapid increase of medical schools around the world, from 566 in the year 1953 to 2881 in the year 20185 the interest in scholarship of medical and, later, health professional education has developed remarkably.

학문으로서 의학교육 학술활동의 출발점을 어디로 볼 것인가를 논란의 여지없이 정확히 집어내기는 어렵다. 보통 많은 요소들이 함께, 우연히 작동하여, 그러한 출현을 가능하게 한다.

• 의학교육사학자 Ludmerer는 1920년 전후를 미국의 현대 의학 교육의 시작이라고 본다. (비록 유럽에서는 영향력이 작았지만) 이 시기는 미국 학교들을 폐쇄하거나 현대화하도록 강요한 유명하지만 비판적인 1910년 카네기 보고서(플렉스너 보고서) 직후이다.
• Journal of Medical Education 의 첫 호는 1920년에 나왔지만, 솔직히, 학문적 노력으로서 의학 교육 발전과 연구의 시작은 [Western Reserve 대학교가 그들의 의학 교육과정을 현대화하기 위해 위원회를 설립한 1950년 즈음]이라고 보는 것이 더 나을지도 모른다. 이후 콜로라도대학이 이를 따랐고, 이 두 대학의 노력은 철저히 기록되었기에, 그 변화의 움직임의 시작을 정확히 짚어낼 수 있다.
• 조지 밀러, 스티븐 에이브러햄슨, 힐리어드 제이슨, 크리스틴 맥과이어, 그리고 하워드 베로우스 같은 연구자들이 뉴욕, 미시간, 일리노이, 캘리포니아의 여러 대학에서 등장하면서, 대표적인 1세대 의학 교육 학자가 등장했다고 볼 수 있다. 이렇게 약 70년 전에 새로운 학문을 구성하였고, 이 당시 최초로 뚜렷한 교육 연구 유닛들이 의과대학에 설립되었습니다.
• 동시에 1950년대에 의학 교육은 사회과학자들의 연구 대상이 되었다. 그들은 의사가 되는 것이 어떤 의미인지를 연구한 후 영향력 있는 심리학적, 사회학적 보고서를 작성하였다. 미국만이 의학교육을 위한 단위units을 설립한 것은 아니다. 캐나다의 맥마스터 대학, 스코틀랜드의 던디 대학, 네덜란드의 마스트리흐트 대학이 다른 나라에서 의학교육을 위한 학술활동을 가진 최초의 기관이다.

It is difficult to pinpoint an undisputed moment in time that can be qualified as the starting point of medical education scholarship as a discipline. Usually many factors together, operating coincidentally, enable such an emergence.

• Medical education historian Ludmerer rightly qualifies the years around 1920 as the start of modern medical education in the United States,6 shortly after Flexner's famous but critical 1910 Carnegie Report that forced U.S. schools to either close or modernize7—while less influential in Europe.8 
• The first issue of the Journal of Medical Education appeared in 1920, but, frankly, the start of medical education development and research as a scholarly endeavor may be better located around 1950, the year that Western Reserve University established a committee to modernize their medical curriculum, followed by the University of Colorado a few years later, two endeavors that were extensively documented,9, 10 and therefore, enabling to pinpoint the start of a movement.
• With George Miller, Stephen Abrahamson, Hilliard Jason, Christine McGuire, and Howard Barrows at universities in New York, Michigan, Illinois, and California, prominent examples of a first generation of medical education scholars emerged, together constituting a new discipline about 70 years ago, when the first distinct units of education research were established in medical schools.11, 12 
• In parallel, in the 1950s, medical education became an external object of study by social scientists, who produced influential psychological and sociological reports after studying what it means to become a doctor.13-15 Not only the United States established units for the study of medical education. McMaster University in Canada, University of Dundee in Scotland, and Maastricht University in the Netherlands are among the first institutions with units for scholarship in medical education in other countries.

몇몇 개인, 교사, 연구원, 또는 과학적 추구의 특정 영역에 특정한 관심을 가진 센터들은 아직 그 분야를 인정받을 수 있는 학문 영역으로 만들지 못할 수 있다. 그래서 질문은 이것이다. 누군가를 의료 또는 보건 전문직 교육의 학자scholar라고 부르고, 그러한 개인들의 공동체를 "학술적scholarly"이라고 부르려면 무엇이 필요할까? 아자위와 동료들은 연구자 정체성 형성과 협력관계, 연구에 대한 보호시간을 조성하는 환경이 보건직 학술활동을 번창하게 할 수 있다는 것을 발견했다. 학술 공동체는 어니스트 보이어의 널리 인용된 네 가지 기준을 사용하여 정의될 수 있다: 발견, 통합, 응용, 그리고 가르침.17
A few individuals, teachers, researchers, or even centers with a specific interest in a particular domain of scientific pursuit may not yet make the field a recognizable scholarly domain. So the questions is: what would be needed to call someone a medical or health professions education (HPE) scholar1 and to call a community of such individuals scholarly? Ajjawi and colleagues found that an environment fostering researcher identity formation, collaborative relationships, and protected time for research is likely to make health professions education scholarship thrive.16 To create that identity, the scholar should belong to a community with specific characteristics. Scholarly communities may be defined using Ernest Boyer's widely cited four criteria that, together, should determine scholarship: discovery, integration, application, and teaching.17

[디스커버리]란 과학적 호기심을 충족시키기 위해서만 알 가치가 있는 새로운 아이디어와 통찰력의 생산이다. 상당수의 학자들이 적극적인 HPE 연구에 참여하고 영역을 발전시키는 연구 결과를 산출하고 있다는 사실은, 이 준거를 중요하게 만든다.
Discovery is the production of new ideas and insights, things that are worth knowing, if only to satisfy scientific curiosity. A significant number of scholars should engage in active HPE research and yield research findings that advance the domain, to give this criterion weight.

[통합]은 고립된 사실에 의미를 부여하고 새로운 발견과 이미 알려진 것을 연결하는 것이다. 학술활동은 응집력coherence를 갖추어야 하고, 그러기 위해서는 [사회 및 기타 과학과 관련을 짓거나, 다양한 연구 합성 노력]을 해야 한다. 이렇게 해야만 "바퀴의 재발명"을 피할 수 있다. [수용될 지식체body of accepted knowledge]는 통합을 통해 구축된다.
Integration is giving meaning to isolated facts and connecting new findings with what is already known, within and across disciplines. Coherence must be established, by relating to or involving social and other sciences and by various research synthesis efforts, if only to avoid wheels being reinvented. A body of accepted knowledge is to be built through integration.

[응용]은 문제를 해결하기 위한 발견의 유용성과 관련이 있습니다. 학술활동은 "그 자체로서가 아니라, 사회에 대한 복무를 통하여 가치를 입증해야 한다."(보이어, 23페이지) 실무적으로 개선된 의료 및 보건직 교육 커리큘럼을 통해, 졸업생들의 역량 향상을 통해, 궁극적으로는 더 나은 의료 서비스를 통해 보여야 한다.
Application relates to the usefulness of findings to solve problems. Scholarship must "prove its worth not on its own terms but by service [to society]"(Boyer, page 23). It should be visible through improved medical and health professions education curricula in practice, through improved competence of graduates and, ultimately, through better health care.

[가르치는 것]은 "가장 높은 형태의 이해"이다. 여기에는 [과학적 의사소통]과 [미래 학자를 위한 교육]을 포함한다. 보이어는 학생과 개인의 상호작용을 염두에 두고 있었지만, 강의는 회의, 책, 논문, 현대 미디어를 통해서도 이루어질 수 있다. 더 넓은 의미에서 Teaching이란 [차세대 학자들의 충분하고 지속적인 훈련]과 [충분한 출판물, 회의, 협회]로 특징지어지며, 이는 [진정한 상호작용적 학문 공동체의 존재]를 의미한다.
Teaching, as "the highest form of understanding" (Boyer, page 23), involves scientific communications and the education of future scholars. While Boyer had students and individual interactions in mind, teaching can also be done through conferences, publication of books, papers, and modern media. Teaching in its broader sense, would be characterized by the sufficient and sustained training of next generation scholars and sufficient publications, conferences, associations that would characterize the existence of a true interactive scholarly community.

글래식18과 오브라이언 외 19는 보이어의 기준을 건강 직업 교육 학술활동 단위의 개별 학자들뿐만 아니라 더 자세히 설명했다. 
Glassick18 and O'Brien et al19 have elaborated Boyer's criteria not only for individual scholars in health professions education scholarship units. 

보건 전문직 교육HPE은 학술적 영역이나 학문으로서 적합한가?
3 DOES HEALTH PROFESSIONS EDUCATION QUALIFY AS A SCHOLARLY DOMAIN OR DISCIPLINE?

학문 분야와 하위학문 분야가 명확하게 정의된 것은 아니다. 그것들은 보통 대학들에 의해 인정되고, 때로는 과학 학회에 의해, 때로는 법에 의해, 면허와 특권이 제한될 때, 교수진, 학과, 학술 과정에 분류된다. 그러나 공식적인 제도적 진술을 넘어, [학문적 공동체나 학문이 무엇인지를 결정하는 것]은 [학문적 개인들 간의 상호작용과 활동]이다. [사회 정체성 이론Social Identity Theory] 은 개인에게 정체성을 제공하는 집단에 속하는 것이 중요하다고 가정한다. 사회적 정체성은 자존감과 집단 행동을 서포트하는데, 이는 사람들이 자신의 존재를 알고 자부심을 느끼고, 다른 사람들에게 그것을 설명하고, (명함이나 문구처럼) 쓸모 없어 보이는 목적을 위해 사용할 수 있고, 또한 마음이 비슷한 다른 사람들과 연결되기 위해서이다. 학문적 공동체에서 정의된 정체성은 [조직 내에서의 승진]과 심지어 [연구 자금]에도 영향을 미칠 수 있다. 분야를 정의하는 것은 사소하지 않다.

Academic disciplines and subdisciplines are not unequivocally defined. They are usually acknowledged by universities and categorized in faculties, departments, and academic courses, sometimes by scientific societies and sometimes by law, when licensing and privileging is restricted. But beyond formal, institutional statements, it is the dynamics among scholarly individuals, with their interactions and activities, that determines what a scholarly community or discipline is. Social Identity Theory posits that for individuals it is important to belong to a group that provides them with identity.20 Social identification supports self-esteem and group behavior,21 as people like to know and take pride in what they are, be able to explain that to others, use it for purposes as seemingly futile as business cards and stationary, and also to connect with likeminded others. A defined identity in a scholarly community can also affect promotions in an organization, and even funding of research. Defining a discipline is not trivial.

3.1 검색
3.1 Discovery

(학문분야로서) Discovery 기준을 충족시키려면 현재 발견자 역할을 하는 충분한 연구자가 있어야 한다. 2021년에 세계적으로 얼마나 많은 HPE 연구원들이 활동하고 있는지 정확히 알 수 없다. 그러나 1950년 이후 그 수가 증가했다는 몇 가지 대리 지표가 있다. 만약 활동적인 연구원이 10년이라는 기간 동안 매년 적어도 한 편의 저널 기사를 발표하는 사람이고, 발견이 건강 직업 교육의 지식의 본체에 사실이나 통찰력의 추가라고 정의된다면, 시간에 따라 발표된 논문의 수와 저자들을 볼 가치가 있다.
To meet the Discovery criterion, there must be sufficient researchers who are active discoverers. We do not know how many HPE researchers exactly are active worldwide, in 2021. However, there are some proxy indicators of growth in volume since 1950. If an active researcher would be someone who publishes at least one journal article per year over a sustained period of time, say 10 years, and discovery would be defined as the addition of a fact or insight to the body of knowledge of health professions education, it is worth looking at number of published papers and their authors at different moments in time.

1980년에는 의학 교육 저널(현재의 학술 의학 저널), 영국 의학 교육 저널(현재의 의학 교육 저널), 그리고 의학 교사(Medical Teacher)의 세 개의 의학 교육 전문 저널이 있었다. 가장 오래된 것(의학교육저널)에는 1980년 한 해 동안(12호)에 걸쳐 450여 명의 저자가 등장했는데, 여기에는 비연구자뿐 아니라 두 번 이상 출판한 작가도 포함됐다. 2020년에, 이 저널의 12개 호에 기고하는 추정 저자의 수는 약 3배가 되었다. 2018년에 제이슨이 제시한 그래프와 비교할 수 있는 다른 성장 대용치가 그림 3에 나와 있다. 저널 기사 제목에 있는 "의료"와 "교육"이라는 단어의 조합은 50년 이내에 10배 증가를 보여준다. 게다가, 그 40년 동안, 국제 의학교육 저널의 수는 (해부학, 생리학, 생화학, 수술, 시뮬레이션, 그리고 많은 국가에서 의학 교육을 위한 국가 협회의 저널과 같은 전문 분야의 전용 교육 저널을 제외하고도) 3개에서 약 35개로 꾸준히 증가하였다
In 1980, there were three dedicated medical education journals:

• the Journal of Medical Education (now called Academic Medicine),
• The British Journal of Medical Education (now called Medical Education), and 
• Medical Teacher.

The oldest one (the Journal of Medical Education) featured about 450 authors across the year of 1980 (12 issues), including non-researchers, but also some authors who published more than once. In 2020, the estimated number of authors contributing to the 12 issues of this same journal has about tripled. A different proxy of growth is shown in Figure 3, comparable to graphs presented by Jason in 2018.22 The combined words "medical" and "education" in journal article titles shows a 10-fold increase in less than 50 year (data from Google Scholar; and note that such titles only cover a small minority of articles in the domain). In addition, in those 40 years the number of international peer reviewed medical education journals has steadily grown from three to about 35, excluding dedicated education journals in specialty areas such as anatomy, physiology, biochemistry, surgery, simulation, and journals of national associations for medical education in many countries, not counting education journals in other health professions than medicine.

HPE에 관한 학술지의 총 목록은 주로 약 90개에 달한다. 만약 이들 각각이 연간 100명의 저자를 배출하고 모든 학자가 매년 하나의 학술 논문을 낸다면(둘 다 매우 보수적인 추정치이다), 이 영역은 거의 100,000명의 저자를 보유하게 될 것이다. 로건스는 2010년 최근 12년간 가장 많이 발간된 6개 의학교육전문지에 1만건의 기사가 실렸다고 추산했다. 논문 한 편당 평균 3명의 저자를 취해서 현재 양질의 학술지 수가 늘어난 것에 대해 3을 곱하면 비슷한 수치로 이어진다. 수많은 의학 교육 저널 기사의 질은 학문적 기준을 모두 충족시키지 못할 수도 있지만, 만약 20%만이 진정으로 학문적scholarly인 것으로 잡더라도, (보수적으로 추정해도) 연구와 개발에 적극적으로 참여하는 HPE 학자들은 최소한 20,000명에 이르는 구성된 공동체를 구성한다. 공동체의 기준으로서의 [임계질량]은, 논쟁의 여지 없이 충분히 충족된 것으로 보인다.

The total list of journals predominantly publishing on health professional education approaches about ninety2. If these each would feature only 100 authors per year and every scholar would produce one scholarly paper per year (both are very conservative estimates), the domain would have close to 100,000 authors. Rotgans estimated in 2010 that 10,000 articles had appeared in the six most common medical education journals in the past 12 years.23 Taking an average number of three authors per paper and multiplying by three for the increased number of current quality journals leads to a similar figure. The quality of the numerous medical education journal articles may not all meet scholarly standards,24 but if only 20% would be regarded as truly scholarly, the combined authors would establish a community of at least 20,000 true health professions education scholars, educators actively involved in research and development, which again is probably a conservative estimate. The critical mass for a scholarly community as criterion seems, arguably, amply met.

다음으로, 일반적으로 인정된 도메인의 발전은 발견을 지원해야 합니다. 의학교육이 70년 전보다 '더 나아지지' 않는다면 보이어의 발견 기준은 아마도 충족되지 않을 것이다. 그래서 문제는, 우리가 이 개선을 확인할 수 있을까 하는 것입니다. 이 기준은 측정하거나 추정하기가 훨씬 더 어렵다. [2020년 의대 졸업자]들이 [1950년 졸업자]보다 의료행위에 더 적합한지 여부를 확인할 수 있는 측정 수단이 전혀 없다.
Next, generally acknowledged advances in the domain should support discovery. If medical education would not be “better” than 70 years ago, then, the Boyer's discovery criterion would probably not be met. So the question is, can we confirm this improvement? This criterion is much more difficult to measure or estimate. There is simply no measurement instrument to establish whether the 2020 medical graduates are better equipped for clinical practice than in 1950.

교육 연구의 진보와 발견은 종종 [근거 기반의 교육적 진보]가 아닌 [새로운 이론과 연구 방법]에 초점을 맞추는데, 이는 단계적이고 부정할 수 없이 더 나은 교육 결과를 보여준다. 물리, 화학, 의학 등의 분야에서 이론과 실천에 기반을 두고 새로운 사실들이 만들어 질 수 있지만, 이는 교육 연구에서 드물다. 소이어는 "교육에 대한 과학적 접근의 역사는 유망하지 않다"고 주장하며, [교육이 과학인지 예술인지에 대한 계속되는 논쟁]을 인용한다. 그러나 다른 이들은 학습과 지도에 대한 증거 기반 원칙을 확립했다. 새로운 절차나 치료법이 적절히 적용될 때마다 '작동할 것work'을 기대할 수 있는 생물의학이나 공학의 발전과는 달리, 교육원리의 효과는 예측 가능성이 낮다. 종종 통제할 수 없는 많은 변수들이 교육의 결과를 방해할 뿐만 아니라, "교육 시스템" 자체가 복잡하고 적응적이다.

Advances and discoveries in educational research often focus on new theories and research methods, rather than evidence-based education advances, that stepwise and undeniably show better and better education outcomes. New, undisputed facts on which theories and practice can build, such as in physics, chemistry, and medicine, are rare in educational research.25, 26 Sawyer contends that "the history of scientific approaches to [general] education is not promising" and cites the ongoing debate about whether education is a science or an art.27 Others, however, have established evidence-based principles of learning and instruction.28-30 Different from biomedical or engineering advances that may be expected to “work” every time new procedures or therapies are applied appropriately, the effects of educational principles are less predictable. Not only do many variables, often not controllable, interfere with outcomes of education, the "system of education" itself is complex and adaptive.

[복잡한 적응 시스템]은 변수가 바뀌면 자신의 방식대로 반응한다. 새롭고 "증명된" 교육 방법은, 그것이 적용되었을 때, 학생들의 감정적, 동기적, 지적 반응을 불러일으킬 것이다. 의사가 되고자 고도로 동기부여를 받은 학생들은 어떤 교육적 방법과 요구 사항이 적용되든지 간에 목표에 도달하기 위해 그들이 필요하다고 느끼는 모든 것을 할 것이다. 학생은 블랙박스나, [조작이 가능한 수동적인 대상]이 아니라, 어느 정도 학습 경로를 스스로 형성하려는 자유의지가 있다. 예를 들어, 우수한 강의는 자기주도적인 학습 성향을 감소시킬 수 있으며, 시험에서는 이러한 우수한 교사 수행에 참석하지 않은 학생들보다 더 나쁜 성적을 낼 수 있고, 내용물의 복잡성을 스스로 알아내야 한다고 느꼈을 수도 있다. 

Complex adaptive systems react in their own way when variables change. A new, "proven" teaching method will, when applied, evoke emotions, motivations, and intelligent responses by students. Students, highly motivated to become doctors, will simply do whatever they feel is needed to reach their target, no matter which curricular methods and demands apply. They are not a black box, or a passive object that can be manipulated, but have a free will to shape their learning pathway to some extent.31, 32 

• For instance, excellent lectures may decrease the students' inclination to self-directed study, to the point that on tests they may perform worse than students who did not attend these superb teacher performances, and who may have felt forced to figure out the complexities of the content matter themselves.33 

교육 연구를 더욱 복잡하게 만드는 것은 교육 개입의 결과 척도를 결정하기 어렵다는 것이다. 시험에서 증명된 지식과 기술이 그러한 결과로 간주될 수 있지만, 의학에서와 같은 교육의 진정한 목적은 실습에서의 효과적인 성과와 개선된 임상 결과이며, 이는 종종 우수한 개인 기술에 의해서만 결정되는 것이 아니라 생물 의학 및 기술 발전, 맥락 및 팀워크에 의해 결정된다. 

What further complicates educational research is that outcome measures of educational interventions are difficult to determine. While knowledge and skills demonstrated at exams may be considered such outcomes, the true purpose of education, such as in medicine, is effective performance in practice and improved clinical outcomes, which are often determined by biomedical and technical advances, context and teamwork, not only by superior individual skills.34, 35

그러나 이러한 어려움에도 불구하고, 현재 HPE의 학자들은 많은 발전이 분명히 이루어졌고, 이러한 발전이 교육 관행으로 확립되어왔다는 것에 동의할 가능성이 높다. 의학 교육에서 "발견"은 [일반화된 이론적 진리를 뒷받침하는 발견]보다는 [새로운 교육 또는 평가 방법]인 경우가 더 많다. 성공이 보장된 교육 혁신에 대한 논란의 여지가 없는 증거는 확립하기 어렵지만, 신뢰할 수 있는 이론에 기초한 의학의 몇 가지 변화는 지난 50년 동안 의료 커리큘럼에 깊은 영향을 미쳤으며 현재 권장 접근법으로 간주되고 있다. [이론의 여지가 없는 증거 기반]이라기보다는, 엄격한 최선의 근거에 기반한 의학교육 BEME 문헌 리뷰가 의료 교육자들에게 인기 있는 자료였다. 지난 20년 동안 60개 이상의 BEME 리뷰가 출판되었으며, 건강 직업 교육에서 많은 다른 지식 합성도 이루어졌다.
Despite these difficulties, however, current scholars in HPE would likely agree that many advances have certainly been made and turned into established educational practices in the health care domain. "Discoveries" in medical education are more often new educational or assessment methods, rather than findings supporting generalized theoretical truths. While undisputable evidence of educational innovations with guaranteed success is hard to establish,36 several changes in medical education, based on credible theory, have had profound influence on medical curricula in the past 50 years and would now be viewed as recommended approaches. Rather than suggesting to be unequivocally evidence based, rigorous best-evidence medical education (BEME) literature reviews have been popular resources for medical educators.37 Over 60 BEME reviews have been published in the past 20 years, in addition to many other knowledge syntheses in health professions education.

표 1은 50년 동안 의학에 대한 발견과 교육 발전의 예를 보여주는데, 이는 보건 직업 교육 분야의 학자들 덕분이라고 할 수 있다. 표의 한계는 단일 식별 가능한 개념, 발견 또는 혁신과 관련되지 않은 많은 의학 교육자들의 중요한 학문적 작업을 공정하게 수행하지 못한다는 것이다. 아래의 모두든 것들이 어느 정도 의료 훈련을 개선했다. 한편 다른 학자들은 (혁신을 제시하거나 시도하기보다는), 의학교육에 대한 [신화를 폭로]하거나 [의학교육의 강점과 약점에 대한 주요 개요를 제공]하고, [개혁을 촉구]함으로써 이 분야를 더 예리하게 하는 데 도움을 주었다. 
Table 1 shows examples across a 50-year period of findings and educational advances in medicine, “discoveries” if you will, that can be attributed to scholars in the field of health professions education. A limitation of the table is that does not do justice to the important scholarly work of many medical educators not associated with single identifiable concepts, findings, or innovations.

• Applying advanced skills training and advanced assessment techniques,
• deliberate practice,
• mastery learning,
• clinical reasoning tests,
• instruments to measure clinical learning environments,
• physical space for education,
• studies to correlate lapses in professional behavior with later adverse practice events,
• studies on theories of workplace learning,
• motivation,
• cognitive load in medical education,
• conditions for interprofessional education,
• studies on burn-out and depression, and
• many other findings or innovations that were tried on smaller scale

all have improved medical training to some extent.

Still other scholars, rather than presenting or trying an innovation, have helped sharpen the mind by

• debunking myths about medical education,38-41 or
• provided major overviews of strengths and weaknesses in medical education, and urged for reform.42, 43

의학 교육, 그리고 어느 정도 다른 건강 직업 교육은 오늘날 우리가 알고 있는 바와 같이 이러한 진보가 없었다면 분명히 달라졌을 것이다.
Medical education, and to some extent other health professions education, as we know it today would be definitely different without these advances.

3.2 통합
3.2 Integration

[통합]은 [분야 내부에서의 통합] 및 [분야 간 새로운 발견의 통합]과 관련이 있습니다. 표 1에 나타난 모범적인 발전은 특히 보건 직업 교육을 위해 개발되었으며, 많은 것들이 문제 기반 학습과 같은 의료 교육이나 보건 직업보다 더 넓은 지역사회에서 상당한 영향을 미쳤다. 일부 발전은 연구가 불충분한 것으로 밝혀진 후 포기되고 새로운 방법으로 대체되었다. 예를 들면 임상 추론 기술(크리스틴 맥과이어와 동료들에 의한) 평가를 위한 환자 관리 문제의PMP 도입이 그러하다. 그러나 PMP의 후계자라고 할 수 있는 Key-Feature 항목은 선구적인 근거가 없었더라면 결코 도입되지 않았을 것이다. 이러한 통합consolidation의 예는 의학 교육이 스스로 발전하는 학문적 전통으로 자리잡아간다는 증거이다.
Integration pertains to the consolidation of new findings within and across disciplines. The exemplary advances shown in Table 1 have specifically been developed for health professions education, and many had significant impact in a wider community than only medical education or the health professions, such as problem-based learning.44 Some advances, such as the introduction of Patient Management Problems for the assessment of clinical reasoning skill (by Christine McGuire and colleagues) were abandoned45 and replaced by newer methods after research had revealed inadequacies. But Key-Feature items (more or less their successor)46 would have never been introduced without its precursory grounding. This example of consolidation is a testimony of a self-developing scholarly tradition in medical education.

통합은, 연구의 전통을 구축하는, HPE를 전담하는 학술활동 단위가 꾸준히 확산되는 것으로 해석되었다. 1980년대 북미와 유럽에서는 이런 유닛이 적었지만 2000년 북미에는 61개가 생겼고, 2020년에는 전 세계 여러 나라에 셀 수 없이 많은 유닛이 있다. 의학교육연구회에는 현재 78명의 회원이 등록되어 있으며, 많은 이사들은 SDRME 회원이 아니다. 이 부서들은 일반적으로 연구, 교수 개발(교육) 및 봉사에 관여하는 과학자, 학술 교육자 및 행정 지도자를 고용한다. 
Consolidation has translated in the establishment of a steady proliferation of dedicated health professions education scholarship units that build a tradition of research.47 In the 1980s, such units were just few in North America and Europe, but in 2000 North America had 61 units48 and 2020 there are countless units in several countries worldwide. The Society of Directors of Medical Education Research currently lists 78 members directing such units, and many directors are not SDRME members. These units typically employ scientists, scholarly educators, and administrative leaders, involved in research, faculty development (teaching), and service.49, 50

통합은 또한 [다양한 과학 영역의 이종교배cross-fertilization]를 의미한다. 보건직 학술활동은 사회과학의 혜택을 많이 받았다. 노먼은 심리학, 사회학자, 심리학자, 심리학자 등 건강 직업 분야에서 비의료적 배경을 가진 학자들의 공헌을 인정하였다. 1980년대와 1990년대에는 사회과학 학자들이 HPE분야에 자신들의 기술을 적응시키는 물결이 거세었다. 이들 중 소수만이 외부 관찰자로 남아 인류학자가 하듯이 HPE를 연구 주제로서 연구하였다. 오히려, 많은 사회과학자들은  의과대학에 고용되어, 의학 및 생물의학 전문가들과 긴밀히 협력하여, 교육의 질적인 발전을 지원하면서, 의학교육 학술공동체에 통합되었다. 이는 보건 직업 교육의 발전과 실천에 학습, 교육, 심리학 이론의 통합을 상당히 자극했다. 
Integration also speaks to the cross-fertilization of different domains of sciences. Health professions scholarship has hugely benefited from the social sciences. Norman has qualified the contributions made by scholars with a nonmedical background as made by “immigrants” in the health professions domain: psychologists, sociologists, and psychometricians. He saw a strong wave of these scholars in the 1980 s and 1990s,45 adapting their skills to serve HPE. Only few of these remained outside observers, studying HPE as a topic of research, as would an anthropologist do, without becoming part of it. Rather, PhD level social scientists were hired by medical schools, and integrated in their communities, to support the quality development of their education, in close collaboration with medical and biomedical experts. This has significantly stimulated the integration of theories of learning, education, and psychology in the development and practice of health professions education.

"의료", "교육", "이론"을 결합한 저널 기사 제목은 1960년 이후 60년 동안 기하급수적으로 증가했다. 이 통합은 Norman이 "3세대" 학자라고 부른 이들을 향해 한 걸음 더 나아갔다. 이들은 이민자가 아니라 의학적으로 훈련받은 사람으로서, HPE 석사와 박사과정 고유의 전통 속에서 HPE 학술활동을 훈련받으며 보완해나간 사람들이다. 3세대 학자들은 장점(상아탑 스탠스 없이 고도로 전문화된)과 단점(다른 학문분야에서 경험과 배경지식의 깊이가 얕은)이 있었다. 또 다른 중요한 영향은 연구의 방법론에 관한 것이다. HPE 연구는 통제된 실험의 한계에 대한 인식을 반영하듯, [질적 연구]의 상당한 증가를 보였다. 

The number of journal article titles combining "medical," "education," and "theory" has exponentially grown across the six decades since 1960 (from 3, via 7, 11, 31, 96, to 195 in 2020) (Google Scholar). The integration made a further step in what Norman called “third generation” scholars, not immigrants but medically trained, and supplemented with HPE scholarship training in an own tradition of dedicated HPE Masters and PhD education, with its pros (being highly specialized without an ivory tower stance) and cons (with less depth of experience and background in other disciplines).45 Another important influence regards the methodology of research. HPE research has seen a significant increase of qualitative studies,51, 52 reflecting the awareness of the limitations of controlled experiments.36, 53

HPE분야의 학술활동은, 보이어가 이야기한 통합이라는 용어에 비추어볼 때 한계가 있는가? 전문 영역으로 성숙되어갈 때 나타나는 특징 중 하나는, 전문 학술지가 만들어지며, 역설적으로 다른 학문과 통합하는 것을 주저하는 모습니다. 사회과학 저널에 게재된 HPE 연구의 양은 비교적 적다. 그것은 HPE 학자들이 어떻게 이러한 저널을 읽고 출판하는 것을 덜 선호하는지, 그리고 이러한 저널의 독자들이 HPE에 대한 관심을 덜 가질 수 있는지를 보여준다. 가장 큰 교육 학자 집단은 거의 틀림없이 미국 교육 연구 협회(AERA)이며, 매년 10,000~15,000명의 학자들이 모인다. HPE 학자들은 AERA에 속하지만, HPE 학자들이 지배하는 "The Profession"의 한 분과 내에서 주로 교류한다. 대조적으로, 일부 주제는 다른 교육 문헌보다 HPE 문헌에서 단순히 더 잘 표현될 수 있다. 예를 들어, Van Dijk 등은 대학교에서의 Teaching task의 프레임워크를 검색한 결과, 광범위한 문헌 리뷰에서 46개를 확인했는데, 그 중 18개는 의학 교수진, 6개는 간호, 치과, 약국 및 조산사를 포함한 다른 보건 직종에 관한 것이었다.
Are there limitations of Boyer's sense of integration with regards to health professions education scholarship? One hallmark of maturation of a professional domain, the establishment of specialized journals, paradoxically shows a hesitation to integrate with other disciplines. Comparatively very little about health professions education is published in journals of the social sciences. It shows how HPE scholars may be less inclined to read and publish in these journals, and how readers of these journal may be less interested in HPE. The largest community of educational scholars is arguably the American Educational Research Association (AERA), with an annual meeting that brings together 10,000–15,000 scholars. HPE scholars are represented in AERA, but interact largely within one division of it, that of “The Professions”, dominated by HPE scholars. In contrast, some topics may simply be better represented in the HPE literature than in other educational literature. As an example, Van Dijk et al., searching for frameworks of university teaching tasks identified 46 in an extensive literature review, 18 of which pertained to medical faculty and 6 more to other health professions including nursing, dentistry, pharmacy, and midwifery.54

결론적으로, 통합은 혁신과 발견의 통합을 통해 [내부적]으로 이루어졌지만, 다른 분야와의 통합(외부적)은 제한적이었다.
To conclude, integration has happened internally, through consolidation of innovations and findings, but integration with other disciplines has been limited.

3.3 적용
3.3 Application

HPE학술활동에서는 연구와 개발이 함께 진행된다. 응용은 이 분야의 핵심적 특성이다. HPE 연구에 관여하는 대부분의 학자들은 임상의, 교사, 또는 둘 다, 교육 과정이나 프로그램 책임자, 부학장과 같은 행정 담당자로서 교육에 대한 역할을 한다. 대학 사회과학부의 교육과학자들이 초중고교 교사가 아니었을 수도 있고 상아탑과학에 대해 비판받을 수도 있는 반면, 매우 많은 경우, HPE 연구자들은 활동적인 교사들, 활동적인 교수 개발자들, 활동적인 교육과정 및 과목 개발자로서, 임상 또는 생의학 연구경험을 가지고 있다. 많은 학구적인 HP 교육자들은 초기에 환자 진료 또는 기초 과학 분야에서 경력을 쌓았고, 이후 단계에서 [두 번째 직업]으로 학문 교육자로 발전했다.

In health professions education scholarship, research and development go hand-in-hand. Application is a core characteristic. The vast majority of scholars involved in HPE research have roles in education, either as clinicians, as teachers, or both; as course or program directors or as administrative officers, such as associate deans. While educational scientists in university faculties of social science, may never have been primary or secondary school teachers (even if that is their domain of study) and may be criticized for ivory tower science, HPE researchers are very often active teachers, active faculty developers, active curriculum and course developers with clinical or biomedical research experience. Many scholarly HP educators have initially built a career in patient care or the basic sciences and developed as scholarly educators only at a later stage, as a second career.

HPE의 학술활동 적용 기준이 다른 고등교육 영역보다 더 강력한 이유는 [양질의 의료 서비스에 대한 명확한 사회적 욕구] 때문이다. 의료는 모든 사람에게 영향을 미치며, [사회적 신뢰]를 필요로 하는데, 이는 주로 [의료 제공자와 그들이 제공할 것으로 추정되는 교육]에 초점을 맞춘 신뢰이다. 수십 년에 걸친 의학 훈련의 개선을 옹호하는 많은 보고서들은 크리스타키스가 1995년에 그들 모두가 다음과 같은 결론을 내리고 있다고 정리했다.

"놀랄 정도로 일관되게, [의료 전문직의 특정한 사회적 비전]을 제시하고 있으며, 여기에서 의과대학은 다음을 달성하기 위하여 사회에 복무하는 것으로 여겨진다.

• [공공의 이익]에 더 잘 봉사하기 위해 
  
• [의료 인력 수요]를 해결하기 위해 
  
• [급성장하는 의학 지식에 대처]하기 위해 
  
• [일반주의를 강조]하기 위해 

다음의 권고사항은 1910년 이후로 거의 지속적으로 등장해 왔다

• 일반의 교육을 늘린다. 
  
• 외래 진료 노출을 증가시킨다. 
  
• 사회과학 강좌를 제공한다. 
  
• 평생 및 자기 학습 기술을 가르친다. 
  
• 교육활동에 보상한다, 
  
• 학교 사명을 명확히 하고 
  
• 교육 과정을 중앙 집중식으로 관리하다 

The reason why the application criterion of scholarship in HPE may be stronger than in other higher education domains is a clear societal desire for high-quality health care. Health care affects everyone, and requires societal trust to operate, a trust that primarily focuses on care providers and their presumed education. The many reports, across several decades, advocating for improvement of medical training led Christakis to conclude in 1995 that they all

"articulate a specifically social vision of the medical profession, in which medical schools are seen as serving society [..] with a remarkable consistency, [..]

• to better serve the public interest,
• to address physician workforce needs,
• to cope with burgeoning medical knowledge, and
• to increase the emphasis on generalism.

[Recommendations to]

• increase generalist training,
• increase ambulatory care exposure,
• provide social science courses,
• teach lifelong and self-learning skills,
• reward teaching,
• clarify the school mission, and
• centralize curriculum control

have appeared almost continuously since 1910",55 

이러한 결론은 1995년 이래로, 의학 교육 개혁에 대한 후속 요구로 쉽게 확장된다. 
conclusions that easily extend to subsequent calls for medical education reforms after 1995.42, 43, 56

보건직업 교육학술활동은 응용과학의 전형이며, 응용에 지속적으로 치중하기 때문에 순수과학으로 볼 수 없다. 현재 주요 HPE 저널에 게재된 모든 간행물 중 대다수는 연구 보고서가 아니라 관점의 기사, 지침, 리뷰이다. 그것들은 교육을 발전시키고 매우 유용하며, 응용이 HPE 학문 영역의 중심이라는 것을 보여준다.
Health professions education scholarship is an exemplar of an applied science and cannot be viewed as a pure science, because of its continuous focus on application. Of all current publications in the major HPE journals, the majority are not research reports, but perspective articles, guidelines, and reviews. They serve to advance education and are highly useful, and show that application is central to the HPE scholarly domain.

3.4 교육 및 학술 커뮤니케이션
3.4 Teaching and scholarly communication

네 번째 기준은 Teaching이며, 더 넓게 해석하자면 지식, 통찰력, 발견을 커뮤니케이션함으로써 공동체와 후배 학자들에게 가르치는 것이다. 1970년 이전에는 사실상 존재하지 않았던 의학 교육에 대한 지역, 국가 및 국제 회의는 수와 규모가 급격히 증가했다(표 2)
Boyer's fourth criterion of scholarship is Teaching, or, interpreted more broadly, the communication of knowledge, insight, and discovery, to the community at large and to junior generations of scholars. Not only the number of journals and publications increased significantly; local, national, and international conferences in medical education––virtually nonexistent before 1970, increased rapidly in number and size (Table 2).

회원들과 회의 참석자들에 의해 가장 큰 국제 HPE 협회는 유럽 의학교육협회이다. 1973년 창설된 이래 매년 열리는 이 회의는 유럽 밖에서 온 대다수의 참석자들이 참석하는 글로벌 회의로 성장했다. AMEE는 의료 및 보건 직업 교육의 질을 높이기 위한 다양한 다른 서비스(여행, 웨비나, 자격증 과정, 지침 및 리뷰를 포함한 자원, 상, 상금, 소액 보조금, 펠로우 멤버 옵션)를 제공합니다. 그들의 웹사이트에는 의료 또는 보건 직업 교육을 위한 37개의 소규모 활동적인 국내 및 국제 사회와 협회가 나열되어 있다. 이들 중 다수는 매년 국가 또는 지역 컨퍼런스를 개최하기도 하며, 일부 국가 HPE 컨퍼런스는 국제 컨퍼런스를 능가한다. 미국 의과대학협회는 2019년 연례 회의에서 4490명의 참가자를 받아들였지만, 교육 연구는 AAMC 회의에서 덜 강조되었다. 네덜란드 연례 HPE 컨퍼런스는 지난 10년 동안 매년 900~1000명의 참가자를 안정적으로 받고 있다.
The largest international HPE society by members and conference attendees is the Association of Medical Education in Europe (AMEE). Its annual conference has grown since its inception in 1973 into a global conference with a majority of attendees from outside Europe.57 AMEE offers a variety of other services to foster the quality of medical and health professions education (journals, webinars, certificate courses, resources including guidelines and reviews, awards, prizes, and small grants, fellowship member options). Their website lists 37 smaller active national and international societies and associations for medical or health professions education (www.AMEE.org). Many of these also hold annual national or regional conferences. Some national HPE conferences exceed international conferences. The Association of American Medical Colleges received 4490 participants at their 2019 annual meeting, but educational research has less emphasis at AAMC meetings; the Dutch annual 2-day HPE conference has received a stable number of 900–1000 participants annually across the past decade.

Teaching이란, 좀 더 구체적으로 말하면, 특정 영역에서 [미래 세대를 교육하는 것]이다. 교육학술활동의 목적은 가르치는 것을 포함하지만, [새로운 세대의 학자들을 가르치는 것]은 뭔가 다르다. 그래서 문제는 HPE 공동체가 HPE 학술활동의 내용과 방법을 가르치는데 어느 정도 투자를 했는가 하는 것입니다. [의학적 배경을 가진 1세대 HPE 학자들]은 교육학과 또는 사회과학 분야에서 석박사 학위를 취득하기 위해 교육 방법을 스스로 훈련하거나 시간을 보냈다. 이러한 모습은 1990년대에 HPE 학술활동 단위에서 [자체적인 HPE 석박사 프로그램]이 제공되기 시작하고, 의과대학에서 teacher career에 대한 진지한 관심이 등장하면서 바뀌었다.58 HPE에서

• [전담dedicated 교수] 및 [부교수associated 직책]의 설립,
• [임상 및 비임상 교수진]을 위한 대안적 커리어 기회 제공,
• 의과대학 내 교육 커뮤니티로서 [아카데미Academies의 설립]

...은 이러한 흐름을 더 촉진하였다.
Teaching, more specifically, involves educating future generations in a specific domain. While the object of educational scholarship includes teaching, teaching new generations of scholars is something different. So the question is: to what extent has the HPE community invested in teaching the content and methods of HPE scholarship? The first generations of HPE scholars with a medical background have trained themselves in educational methods or spent time to obtain an advanced degree in schools of educational or social sciences. This has shifted in the 1990s, when advanced academic degree programs began to be offered by units of health professions education scholarship, and serious attention for teacher careers in medical schools emerged.58 

• The establishment of dedicated professor and associate professor positions in health professions education,
• providing an alternative career opportunity for clinical and nonclinical faculty members,59 and
• the establishment of Academies as educational communities within medical schools for early career or distinguished educators60 

has further fostered this.

석사와 박사 프로그램은 이러한 지속적인 학문의 전문적 발전을 가능하게 하였다. HPE의 석사급 프로그램은 1996년 7개에서 2012년 76개, 2020년 139개로 증가했으며, 구조화된 박사급 프로그램은 2014년 24개, 2020년 26개로 집계됐다. 여기서 훈련받은 학생 수도 크게 늘었다. 일례로 마스트리히트대 보건전문대학원(School of Health Professional Education)에서 활동 중인 박사과정 학생의 수가 지난 10년간 25명에서 100명으로 증가했다. 확장된 국제 협력은 프로그램이 한 곳에 점점 덜 제한됨에 따라 그러한 증가를 촉진한다. 몇몇 국가들은 이 운동에서 지도력이 뛰어났다. 1960년 이후 영국, 캐나다, 미국에 이어 네덜란드, 호주까지 건강 직업 교육에서 학술활동을 장려해 왔다. 의과대학별 생산성으로 측정했을 때, 즉, 지난 10년 반 동안 캐나다와 네덜란드는 가장 높은 상대적 HPE 연구 생산성을 보여주었으며, 학술지 기사에 대한 선임 저자 자격을 종종 제공했으며(표 4), 국제 연구 멘토십의 표시로 해석된다

Masters and PhD programs enable this continued professional development in scholarship. The number of masters level programs in HPE increased from 7 in the year 1996 to 76 in the year 201261 and 139 in the year 2020 (www.faimer.org) and the number of structured doctoral programs was calculated to be 24 in the year 201462 and 26 in the year 2020 (www.faimer.org). The numbers of students trained in these units also expanded significantly. As an example, the number of active PhD students in Maastricht University's School of Health Professions Education increased in the past decade from 25 to 100.63 Expanded international collaborations foster such increases as programs become less and less confined to one location.64 A few countries have excelled in leadership in this movement. Since 1960 the United Kingdom, Canada, and the USA, followed by the Netherlands and Australia have promoted scholarship in health professions education. Measured by productivity per medical school, that is, considering the size of the country, Canada and the Netherlands have shown the highest relative HPE research productivity across the past decade and a half, and often provided senior authorships on journal articles (Table 4), to be interpreted as a sign of international research mentorship (Table 3).

[네덜란드]와 같은 일부 국가에서는 교수직은 박사과정 학생들을 개별적으로 또는 구조화된 프로그램에서 감독할 수 있는 공식적인 권리와 기대를 포함한다. 보건직 교육에서 이러한 의자의 증가는 HPE 박사과정 학생 수의 증가로 인한 촉매 효과를 가져왔다. 박사 학위 졸업에 기초한 대학 연구의 정부 자금과 결합하면, 이것은 네덜란드에서 건강 직업 교육 연구의 다작 생산을 설명할 수 있을 것이다.
In some countries, such as the Netherlands, professor positions include the formal right and expectation to supervise doctoral students in their domain of expertise, individually or in structured programs. In health professions education, the increase of such chairs has had the catalytic effect of increased numbers of PhD students in HPE which. Combined with government funding of university research based on PhD graduations, this may explain the prolific production of health professions education research in the Netherlands.65

의심할 여지 없이, 보이어의 Teaching 기준은 개별 국가 수준 뿐만 아니라, 국제적인 수준에서도 충족되었다.
Boyer's teaching criterion, no doubt, has been met, not only locally, but also at the international level.

4 결론 및 전망
4 CONCLUSION AND OUTLOOK

HPE 학술활동의 발전과 현황을 분석해보았을 때, 보이어의 성숙한 학문 규율 기준을 모두 충족한다는 것을 부인할 수 없다. HPE 학문 단위는 학문적 단위가 될 수 있으며, 따라서 이어져야 하는 질문은 그러한 학과 또는 단위가 대학에서 어디에 속하느냐이다. 지금까지는 사회과학이나 교육과학의 학부나 학과보다는, 보건전문직 대학들이 이러한 단위를 설립하고 주최해왔으며, 이를 유치해야 했다. (사회과학의 통찰력과 결합하여) [보건의료행위가 이뤄지는 곳과 근접하게 자리하는 것]이 이러한 단위가 번창하기 위한 중요한 조건이었던 것으로 보인다. 66 HPE 연구는 의사, 간호사 또는 다른 건강 전문가처럼 생각하고 행동하고 느끼는 것이 무엇인지 이해하는 사고방식을 가진 학자들에 의해 가장 잘 수행되어야 한다. 즉, 의료 분야에서 [전문지업적 정체성]을 소유하거나, 적어도 공감하기 위한 것이다. 
The analysis of the development and current status of health professional education scholarship would undeniably qualify it as meeting all of Ernest Boyer's criteria of mature scholarly discipline. HPE scholarly units can become academic departments and a relevant question is then where in universities such departments or units belong.50 Rather than in faculties or departments of social or educational sciences, schools in the health professions have established and hosted such units and should host them. Situated in close vicinity to the practice of health care seems to have been a critical condition for these units to flourish, combined with the insights of the social sciences.66 HPE research should be best conducted by scholars with a mindset to understand what it is to think, act, and feel like a physician, nurse, or other health professional, in other words to possess, or at least sympathize, with professional identities in health care.67

20세기 중반 이후 HPE 학술활동 활동에 대한 관심의 성장은 다른 고등 교육 분야에서도 유사한 발전을 앞질렀다. 잘 준비된 의료 전문가를 위한 최적의 의료 서비스에 대한 추구는 사회적 영향, 전문적인 존중, 직업의 명확성과 70년 전에는 부족했던 교육 이론 및 연구 방법론의 통찰력을 결합한 명확한 교육적 집중으로부터 이익을 얻었을 수 있다.
The growth of health professions education scholarship activities and interest since mid-20th century (journals, publications, conferences, HPE research, and development centers, scholars) has out-paced similar developments in other higher education domains. The quest for optimal health care, and consequently, for well-prepared health care professionals may have benefited from a clear educational focus that combines societal impact, professional esteem, and clarity of occupations with insights from educational theory and research methodology that lacked 70 years ago.

초기 수십 년 동안 몇몇 계몽된 사람들이 HPE 학술활동의 성장과 방향에 큰 영향을 미쳤지만, 현재 학자들의 숫자는 오랫동안 지속 가능한 영역을 유지하는데 중심적인 임계 질량을 넘어섰다.
While during the early decades a few enlightened individuals had a major impact on the growth and direction of HPE scholarship, the number of scholars now has likely passed the pivotal critical mass to keep the domain sustainable for a long time.

스털리 외 연구진(222-225페이지)은 의료 교육의 미래에 대한 분석에서 의료 교육 연구의 개선을 위한 5가지 주요 의제를 상세히 설명한다.
In their analysis of the future of medical education,77 Bleakley et al. (page 222–225) elaborate a five-point agenda for improvement of medical education research (slightly amended):

(1) [개념적 질문 및 명확화]에 초점을 맞추고, 증거로서 무엇이 중요한지 결정한다.
(1) a focus on conceptual questions and clarifications and deciding on what counts as evidence,

(2) 기회주의적 연구보다는 [체계적인 연구]의 프로그램 구축
(2) building programs of systematic research rather than conducting just opportunistic studies,

(3) 보다 엄격한 [성과-기반 연구],
(3) more rigorous outcome-based research,

(4) 질적 및 정량적 (혼합된 방법) 연구에 대한 더 나은 전문지식을 구축하고,
(4) building better expertise in combined qualitative and quantitative (mixed methods) research, and

(5) 학술계와 임상계 사이에 생산적인 대화를 창출한다. 
(5) creating a productive dialog between the academic and clinical communities.77 

아스클레피오스는 히포크라테스의 선서에 포함된 건강 전문가들의 고유 임무인 뱀과 막대기에 대한 자신의 상징이 어떻게 수천 년 후에 활발한 학문 교육자 공동체로 이어졌는지 알면 놀랄 것이다. 그때나 지금이나, 최고의 자격을 갖춘 의료 전문가를 양성한다는 일반적인 목적은 변하지 않았습니다. 연구자와 학자들은 [유능한 의료 인력이라는 궁극적인 목표]가 달성가능하며, [이 목표가 의료 교육의 지속적인 혁신에 기름을 부을 것]이라는 비전을 만들지만, 학술활동을 특징짓는 것은 달성 가능한 종점이 아니라 거기에 이르는 과정pathway일 수 있다. 최적의 교육을 통해 만들어진 '역량있는 전문직'은 마치 성배Holy Grail처럼 보일지 모르지만, 이를 달성하려면 보이어의 기준에 따른 학술활동이 필요하다. 이 과정에는 부침이 있으며, [역량있는 의료인력]에 대한 [학교, 병원 및 규제 기관의 관심]은 [자금 조달, 효율성, 법적인 제약]이라는 "의도하지 않은 결과"로 이어졌다. 이러한 결과를 분별하고 이를 극복할 수 있는 방법을 제시하는 학자들이 필요하다. 이러한 역학의 혼합은 미래의 학자들이 학습자, 임상의, 환자 및 사회를 위해 건강 직업 교육의 지속적인 혁신을 만들고 시험하도록 계속 도전하게 될 것이다.

Asclepius would be surprised to know how his symbols of snake and rod as well as the obligation to teach—an inherent task of health professionals, incorporated in Hippocrates' oath—have led to a lively community of scholarly educators several millennia later. The common pursuit, then and now, for the best qualified health professionals has not changed. While researchers and scholars develop visions that suggest that the ultimate goal of a competent health care workforce may be attainable and fuel the continued innovation in medical education, it may be the pathway rather than an attainable endpoint that characterizes scholarship. While "the competent health professional," molded by optimal education, may seem a Holy Grail, the quest for it is served by scholarship according to Boyer's criteria. The pathway shows ups and downs,78 and the interest of schools, hospitals, and regulatory bodies in this competent workforce, has led, in the words of Woolliscroft, to "unintended consequences" of financing, efficiency, and legal constraints.69 Scholars are needed to discern these consequences and recommend routes to overcome them. This amalgam of dynamics is bound to keep challenging future scholars to create and test ongoing innovations in health professions education, to the benefit of learners, clinicians, patients, and society.

FASEB Bioadv. 2021 Mar 29;3(7):510-522.

 doi: 10.1096/fba.2021-00011. eCollection 2021 Jul.

Health professions education scholarship: The emergence, current status, and future of a discipline in its own right

PMID: 34258520

PMCID: PMC8255850

DOI: 10.1096/fba.2021-00011

Free PMC article

© 2021 The Authors. FASEB BioAdvances published by the Federation of American Societies for Experimental Biology.

When I say … 리커트 문항(Med Educ, 2021)
When I say … Likert item
Edward Krupat

정량 지향적인 연구자들은 설문지와 설문 조사 형태의 자기 보고 조치에 크게 의존한다. 특히 리커트 아이템을 이용해 태도와 신념을 평가하는 방식이 의대 교육자부터 여론 조사자까지 전 세계 연구진에 의해 채택됐다. 리커트 아이템이라는 용어는 1932년 유망한 젊은 사회과학자 렌시스 리커트가 자신의 논문에서 태도를 측정하는 새로운 방법의 사용을 소개한 것으로 거슬러 올라간다. 
Researchers who are quantitatively oriented rely greatly on self-report measures in the form of questionnaires and surveys. In particular, the use of Likert items to assess attitudes and beliefs has been adopted by researchers worldwide, from medical educators to public opinion pollsters. The term Likert item dates back to 1932 when a promising young social scientist, Rensis Likert, introduced the use of a new method to measure attitudes in his dissertation.

발명자의 이름을 딴 리커트 항목은 진술에 불과하며(예: 내 주치의에게 만족함), 강한 동의에서 강한 반대까지 다양한 옵션이 뒤따른다. 태도를 측정하는 다른 수단(아래 참조)이 존재하지만, 기술적으로 보자면, 리커트 문항은 독점적으로 이러한 형식만을 의미한다. 그럼에도 불구하고, 의학 교육 문헌에서 이 라벨은 종종 '라이커트 스타일'이라고 불리는 다양한 태도 항목 형식과 함께 매우 느슨하게 사용되어 왔다. 

Named after its inventor, a Likert item is nothing more than a statement (e.g., I am satisfied with my physician), followed by several options varying from Strongly Agree to Strongly Disagree.1 While other means of measuring attitudes exist (see below), technically, a Likert item refers exclusively to this format. Nonetheless, in the medical education literature, this label has been used very loosely, with a range of attitude item formats often referred to as ‘Likert style’. 

겉보기에는 간단해 보이지만, 리커트 항목과 리커트 척도의 사용(리커트 항목을 합치거나 조합한 결과)을 둘러싸고 많은 잘못된 정보와 논쟁이 존재한다. 첫째, 문자 그대로, 내가 "라이크-에르트"라고 말할 때, 나는 "라이크-에르트"가 아니라 "i"로 짧게 발음하는데, 이것은 전 세계의 많은 학식 있는 동료들이 저지른 실수이다. 이 발음의 이유는 간단합니다. 렌시스 리커트는 자기 이름을 '릭-에르트'라고 발음했다. 마치 'k' 앞에 'c'가 붙은 것과 같다. 우리도 그래야 한다.

Although seemingly straightforward, a good deal of misinformation and debate exists around the use of Likert items and Likert scales (which are the result of summing or combining Likert items). First, literally, when I say … Likert, I pronounce it Lick-ert, with a short ‘i’, not Like-ert (with a long ‘i’), a mistake made by so many of my learned colleagues around the world. The reason for this pronunciation is simple. Rensis Lickert pronounced his name ‘Lick-ert’, as if it had a ‘c’ before the ‘k’, and we should too. 

리커트 아이템은 찬성과 반대 의견의 다양한 이슈와 우려를 가지고 있습니다.2-4

• 질문 중 하나는 얼마나 많은 선택지가 있어야 하는가 하는 것이다. 일반적인 관행은 4개보다 적지 않고, 7개를 넘지 않으며, 필자의 경험상 의학교육연구자는 4, 5개의 선택지를 사용하는 경향이 큰 반면, 더 넓은 사회과학계, 특히 심리학자와 사회학자들 사이에서는 6, 7개를 사용한다.
• 선택한 숫자에 관계없이, 짝수 또는 홀수 수의 응답지 수를 선택할 경우 종종 동의 안 함으로 분류되는 중간점을 제공하는 것이 좋은 생각인지에 대한 의문이 제기된다. 설문 조사 실무자들 사이에 논쟁이 존재하며, 일부는 응답자들에게 자신의 태도가 진정으로 중립적이라는 것을 나타내는 방법을 제공하는 것이 더 낫다고 믿고, 다른 일부는 중간점이 단순한 중립성을 반영하지 않는 이유로 개인에 의해 종종 부적절하게 사용된다고 주장한다.5
• 또한 리커트 항목 데이터를 분석하고 제시하는 방법에 대해서도 의견이 일치하지 않는다.6 일부에서는 빈도 및 백분율의 사용(카이-제곱과 같은 통계 사용)을 지지하지만, 다른 많은 사람들은 기술적으로는 선택사항이 구간 수준 데이터를 나타내지 않더라도 합계 및 평균이 계산되고 보고될 수 있다고 믿는다. 

Likert items come with a range of issues and concerns, pro's and con's.2-4 

• One question is that of how many response alternatives there should be. The general practice is no less than four nor more than seven, and in my experience, medical education researchers greatly tend to use four or five options, whereas in the broader social science community, in particular among psychologists and sociologists, six or seven are used.
• Regardless of the number chosen, the choice of whether to go with an even or odd number of alternatives raises the question of whether providing a midpoint, often labelled neither-agree-nor-disagree, is a good idea. Debates exist among survey practitioners, some believing that it is better to offer respondents a way of indicating that their attitude is truly neutral; others arguing that the midpoint is often used inappropriately by individuals for reasons that do not reflect simple neutrality.5 
• Disagreement also exists as to how the Likert-item data should be analysed and presented.6 While some endorse the use of frequencies and percentages (using statistics such as chi-square), many others believe that sums and means can be calculated and reported (using statistics such as t-tests), even though technically, the choices do not represent interval-level data. 

또한 리커트 항목에서 파생된 가능한 편견에 대한 의문도 많다.

• 한 가지 가능한 편견은, '묵인'으로서 사람들이 진술에 부동의하기보다는 동의하는 경향을 의미한다.
• 또 다른 [사회적 만족도 편향]은 사람들이 자신의 '진정한' 반응보다는 다른 사람들이 듣고 싶어한다고 믿는 대답을 제공하는 경향이 있다는 것이다.
• '자대고 긋기straightlining'를 생성하는 응답 집합은 여러 항목이 모두 같은 방향으로 단어화될 때 지나치게 일관된 방식으로 답하는 경향이다. 비록 일부에서는 '아니오'를 문장에 삽입하여 항목의 의미를 되돌리려고 시도했지만, 이것이 형편없는 해결책이라는 증거가 존재한다.7
  • 선호하는 관행은 일부와 동의하지만 다른 사람들과의 의견 불일치가 유사한 태도를 나타내는 항목을 작성하는 것이다. 예를 들어, '진료 중 환자와 의사는 동등해야 한다' 항목에 동의하는 것과  '의사가 진료면담에 책임이 있다'는 의견에 부동의하는 것은 둘 다 환자-중심적 지향성의 표현일 수 있습니다.

Questions also abound about possible biases deriving from Likert items.

• One possible bias results from response acquiescence, the tendency of people to agree with statements rather than disagree.
• Another, the social desirability bias, is the tendency for people to provide answers they believe others want to hear rather than their ‘true’ responses.
• Response set, which generates ‘straightlining’, is a tendency to answer multiple items in an overly consistent manner when all are worded in the same direction. Although some have attempted to reverse an item's meaning by inserting ‘not’ into the statement, evidence exists that this is a poor solution.7
  • A preferred practice is to write items such that agreement with some, but disagreement with others, indicate a similar attitude (e.g., agreement with the item ‘Patients and their doctors should be seen as equals during a visit’ but disagreement with ‘The doctor should be in charge of the medical interview’ would both be expressions of a patient-centred orientation). 

최근 리커트 항목에 대한 회의적인 시각으로 인해 대안적 유형의 접근법, 특히 '항목-특이적item-specific'(IS) 형식의 사용에 대한 논란이 일고 있다. 이와 같은 항목은 질문 초점의 함수로 다양한 응답 대안과 함께 문제를 제기한다. 예를 들어, 의대생들을 대상으로 설문조사를 할 때, 찬성 또는 반대와 관련된 선택사항에 따라 '나는 환자에게 나쁜 소식을 효과적으로 전달할 수 있다'는 진술보다는, IS의 지지자들은 '당신은 얼마나 자주 나쁜 소식을 환자에게 효과적으로 전달합니까?'와 같은 진술과 그 다음 '항상 그러함'에서 '절대 안 함'까지 다양한 선택을 추천할 것이다. IS 항목에는 대응 옵션 사용의 통일성이 잠재적으로 결여되어 교차 연구 비교를 어렵게 하는 것과 같은 가능한 문제가 있다. 예를 들어 빈도를 측정할 때 '빈번히', '종종', '대부분의 시간' 사이의 동등성을 확인하기는 어렵다.

Recently, scepticism about Likert items has led to debate about the use of alternative types of approaches, in particular the use of ‘Item-Specific’ (IS) formats. Items such as these pose a question, with response alternatives that vary as a function of the question's focus. In surveying medical students, for example, rather than providing the statement, ‘I can deliver bad news to patients effectively’, followed by options involving agreement or disagreement, IS proponents would recommend something such as, ‘How often do you deliver bad news to patients effectively?’ followed by choices that might range from Always to Never. IS items have their own possible problems, such as potential lack of uniformity in the use of response options, which would make cross-study comparison challenging. In measuring frequency, for instance, the equivalence among ‘frequently’, ‘often’ and ‘much of the time’ is difficult to ascertain.

Artino 등과 같이 의학 교육의 일부 연구자들은, 설문 조사 연구 설계에서 이러한 형태의 항목을 사용하는 것은 '문제Pitfall'중 하나로 지적하며, 동의-부동의 항목의 지속적인 사용에 대해 강한 (반대적) 입장을 취해왔다. 8 이러한 저자들이 방법론적 전문지식과 지식을 갖춘 사회 과학자들에 의해 논문을 인용하는 만큼, 이에 대한 정보는 다른 질문 형식을 사용하여 비교 연구에 집중하는 [조사 방법론자]와 [미국 여론 조사 협회와 같은 조직]의 회의에 정기적으로 참석하는 전문가에 의해 생성된 증거에서 나온다. 
Some in medical education have taken a strong position on the continued use of agree–disagree items, such as Artino et al, who have listed the use of this form of item as a ‘pitfall’ in survey research design.8 As much as these authors are respected for their methodological expertise and cite papers by informed social scientists,9 the ultimate source of information about this comes from the evidence generated by those survey methodologists who focus on comparative research using different question formats, professionals who regularly attend meetings of organisations such as the American Association of Public Opinion Research.

현재 증거의 상태를 요약한 매우 최근 그리고 철저한 리뷰에서, Dykema 등은 우리에게 다음과 같이 말한다.

• (1) 증거 기반은 여전히 작고 잠정적이며, 연구 설계의 문제점과 혼란으로 인해서 결론을 쉽게 내리기 어렵다.
  
• (2) 여러 연구에 따르면, 어떤 리커트 형식이 사용되었는지를 비교했을 때, 차이 또는 비교상의 긍정적 효과는 없다.
  
• (3) 상당한 증거는 분명히 IS 질문의 방향으로 진행되고 있다.

In a very recent and thorough review summarising the state of the current evidence, Dykema et al tell us that

• (1) the evidence base in still small and tentative, and problems and confounds in research design limit easy conclusions;
• (2) several studies show no differences or comparative positive effects resulting from the comparative use of the Likert format; however,
• (3) the preponderance of evidence is definitely trending in the direction of IS questions.

수년 동안 데이터의 신뢰성과 타당성에 대한 큰 걱정 없이 동의-불합치 형식을 사용하여 설문조사를 설계해 온 필자는 데이터 중심적이어야 하며, 근거의 무게가 명확하고 일관될 때까지 오랜 접근 방식을 단순히 거부해서는 안 된다고 굳게 믿고 있다. 만약 당신이 '얼마나 자주 항목특이적IS 질문을 사용할 생각인가'라는 질문을 한다면, 제 개인적인 대답은 '자주Often'일 것입니다. 그러나 만약 '동의-불합치 항목이 공룡처럼 멸종되어야 한다'는 문장이 있다면, 내 대답은 '강력히 동의하지 않는다'일 것이다.

Having for many years designed surveys using the agree–disagree format without great concern for the reliability and validity of the data, I am a strong believer that we should be data driven, and not simply reject long-standing approaches until the weight of the evidence is clear and consistent. If you presented me with the question, ‘How often do you intend to employ Item-Specific questions’, my personal response would be ‘Often’. Yet, if presented with the statement: ‘Agree–disagree items should go the way of the dinosaurs’, my response would be ‘Strongly Disagree’. 

Med Educ. 2021 Sep 6.

 doi: 10.1111/medu.14660. Online ahead of print.

When I say … Likert item

Edward Krupat 1

Affiliations expand

• PMID: 34490643
• DOI: 10.1111/medu.14660No abstract available

정답은 하나? (성찰적) 주제분석의 옳바른 실천은 무엇인가? (Qualitative Research in Psychology, 2021)
One size fits all? What counts as quality practice in (reflexive) thematic analysis?
Virginia Braun a and Victoria Clarke b

주제 분석의 질: 무엇이 중요합니까?
Quality in thematic analysis: what matters?

"저자들은 분석 과정에서 어떻게 편견을 피하려고 했는지 논의해야 합니다."
“The authors should discuss how they attempted to avoid bias in their analytic process.”

전문가 질적 저널에 제출한 경험적 논문에 대한 익명의 리뷰에서 이 의견을 받았고, 2006년(Braun and Clarke 2006) 이 저널에서 처음 요약한 반사적 주제 분석(TA) 접근법을 사용했다. 검토자의 명령은 TA와 관련된 여러 가지 문제가 있는 가정과 본 논문에서 맥락화, 언팩 및 확장한 질적 품질 기준을 반영한다. TA의 사용이 확대되고 다양해짐에 따라, 논문 발표 이후 출판된 연구의 일관성과 무결성이 항상 유지되는 것은 아니다. 본 논문에서는, TA의 품질에 대해 생각하고 학자들이 우수하고 응집력 있는 TA를 수행하도록 지원하기 위한 도구로서, 출판된 TA에서 확인되는 10가지 문제적 관행과 가정을 설명하고자 한다.
We received this comment in an anonymous review of an empirical paper we had submitted to a specialist qualitative journal, and in which we used our reflexive thematic analysis (TA) approach, which we first outlined in this journal in 2006 (Braun and Clarke 2006). The reviewer’s command reflects a number of problematic assumptions around TA, and indeed qualitative quality criteria, which we contextualise, unpack and expand on in this paper. As the use of TA has expanded, and diversified, since the publication of that paper, the coherence and integrity of published research does not always hold. We use ten problematic practices and assumptions evident in published TA as a tool for thinking about quality in TA, and to support scholars in doing excellent, cohesive TA. 

이러한 [문제적 관행]은 TA에 대한 혼란과 오해를 반영하며, 이를 양질의 TA를 위한 명확한 권고사항을 줌으로써 명확히 하고자 하였다 (일부는 질적 학문에 더 폭넓게 적용될 수 있으므로 TA 이상의 관련성을 가질 수 있다). 편집자와 검토자가 품질 관리자로서 역할을 잘 하게끔 돕기 위해, 우리는 이러한 문제가 있는, 그리고 그에 상응하는 좋은(또는 최선의) 관행을 TA 연구의 품질을 평가하기 위한 '지침guideline'으로 정리하였다. 이는 출판을 위해 TA 연구를 평가할 때 고려해야 할 20개의 중요한 질문의 형태로 제시된다. 
These problematic practices reflect confusions and misconceptions about TA that we seek to clarify with clear ‘take away’ recommendations for quality TA (some of which may apply to qualitative scholarship more broadly, and thus have relevance beyond TA). In order to support editors and reviewers in their role as quality custodians, we translate these problematic, and corresponding good (or best), practices into ‘guidelines’ for assessing the quality of TA research – presented in the form of twenty critical questions to consider when evaluating TA research for publication 

우리가 출판된 TA에서 흔히 마주치는 문제는 종종 절차의 기초가 되는 이론적, 철학적 가정과 거의 관련이 없는 것으로 보이며, 또는 진정의로 quality criteria를 정교하게, 의도적으로, 상황적으로 적용하는 것과도 거의 관련이 없는 것으로 보인다. 
The problems we commonly encounter in published TA often seem to reflect little to no engagement with the theoretical and philosophical assumptions that underlie procedures, with wider quality discussions in qualitative research (e.g. Levitt et al. 2018; Madill et al., 2000; Sparks & Smith, 2009; Yardley 2015), or indeed nuanced, aware and situated application of quality criteria.

TA는 실증주의/양적 그리고 질적 패러다임 내에서 사용되며, 다양한 유형의 TA가 질적 연구의 다른 개념화에 포함되고 반영되기 때문에, TA에 대한 '보편적인' 품질 표준과 기준을 명확히 표현하는 것은 어렵다. 우리는 [작은 q]와 [큰 Q]로 정성 연구를 구분한 키더와 파인(1987)의 구분이 유용하다는 것을 발견한다. 

• (small q, 질적 실증주의): 실증주의 패러다임 내에서 데이터 수집 및 분석의 질적 기술의 사용,
• (Big Q): 질적 패러다임 내에서 질적 기법을 사용

As TA is used within positivist/quantitative and qualitative paradigms, and different types of TA are embedded within, and reflect, different conceptualisations of qualitative research, articulating ‘universal’ quality standards and criteria for TA is challenging. We find Kidder and Fine’s (1987) distinction between small q and Big Q qualitative research useful for demarcating between

• qualitative positivism (small q), the use of qualitative techniques of data collection and analysis within a positivist paradigm, and
• the use of qualitative techniques within a qualitative paradigm (Big Q qualitative).

이러한 패러다임의 가치는 다소 긴장 상태에 있으며, 이러한 긴장에 대한 인식 없이, 발표된 TA 연구는 우리의 TA 공동 저자 중 한 사람(니키 헤이필드)이 기억될 정도로 'confused q' qualitative라고 부르는 것과도 비슷하다. 즉, 이는 질적 실증주의의 요소와 질적 패러다임의 가치 및 가정을 아무 생각 없이, 비성찰적으로, 비일관적으로 결합하는 것처럼 보이는 연구를 말한다.
The values of these paradigms are in more or less tension, and without awareness of this tension, published TA research can exemplify what one of our TA co-authors (Nikki Hayfield) memorably dubbed ‘confused q’ qualitative – research that seems to unknowingly, unreflexively and incoherently combine elements of qualitative positivism with the values and assumptions of a qualitative paradigm.

일부에서는 우리가 (성찰적) TA에 대한 접근 가능한 지침을 개발한 것이 '절차주의'(King and Brooks 2017) 또는 '방법론'(Chemberlain 2000)에 굴복했음을 의미한다고 이야기한다. 연구자들에게 유연한 '시작점'을 제공하기보다는 성문화하고, 이론적 민감성과 반사성보다 절차를 우선시하며, TA 연구를 위한 엄격하고 구체적인 '규칙'을 만들었다는 지적이다. 하지만 이러한 비판은 TA가 연구자에게 어떤 좋은 (즉 성찰적인) 것을 요구하는지를 잘못 읽은 것이다. 세인트피에르와 잭슨(2014) 등이 '질적 코딩'과 관련해 하는 비판과 같은 종류다. – 그러나 마찬가지로 방법에 따라 질적 연구가 어떻게 보여야 하고 어떻게 보일 것인지에 대한 협소한 이해로도 어려움을 겪는다.

Some might suggest our development of accessible guidelines for ‘how to do’ (reflexive) TA means we’ve succumbed to ‘proceduralism’ (King and Brooks 2017) or ‘methodolatry’ (Chamberlain 2000). That we have codified practice, prioritised procedure over theoretical sensitivity and reflexivity, and created rigid and concrete ‘rules’ for TA research, rather than providing researchers with flexible ‘starting points’. This is a misreading of what good (reflexive) TA requires of the researcher. It is the same sort of critique that St. Pierre and Jackson (2014) and others make in relation to ‘qualitative coding’ – but similarly suffers from a narrow reading of what qualitative researching, guided by methods, should and will look like.

프로세스에 대한 세부 지침을 제공하는 것을 목표로 하지만, 우리는 동시에 TA 내에서 강조되는 유동성, 맥락, 우발성, 그리고 실제로 이론을 강조한다. 절차를 따르는 것이 '좋은 TA'를 수행하는 것을 보증하는 것은 아닙니다. 그보다는, 절차가 무엇을 촉진하는지, 절차가 무엇에 대한 접근을 가능하게 하는지를 이해해야 한다. 또한 절차는 분석의 목적이 아니라 과정을 위한 "도구"라는 것을 이해하는 것이 중요합니다. (품질 보장과 입증에 중점을 둔) 분석 절차는 - 명시적으로 했는지 여부에 관계없이 - 의미 있는 지식과 지식 생산에 대한 기본 패러다임 및 인식론적 가정을 반영한다. 우리는 이 논문이 오용이나 오해의 소지가 있는 부분을 명확히 하기를 바랍니다.

Although we aim to provide detailed guidelines on process, we also emphasise the fluid, the contextual and contingent, and indeed theory, as crucial within TA. Following procedure is not a guarantor for doing ‘good TA’; instead, understanding what the procedures facilitate, what they give you access to, and that these are tools for a process, rather than the purpose of analysis, is important. Analytic procedures, including those centred on ensuring and demonstrating quality, typically reflect underlying paradigmatic and epistemological assumptions about meaningful knowledge and knowledge production (Carter and Little 2007), whether explicated or not. We hope this paper clarifies some potential misuses or misunderstandings.

우리의 목표는 어떤 TA가 되었든지간에, TA에 대한 이론적으로 민감하고, 성찰적이고, 신중한 참여를 장려하는 것이다. 현재의 모습'What is'을 TA 측면에서 비판함으로써, 나가아야 할 방향'What could be'을 촉진하고, 개별 연구과제에서 TA의 넓은 지형에 대한 이해와 TA의 제정을 동시에 증진시키는 것을 목표로 하고 있습니다. TA가 고유한distinct 방법인지 아니면 일반적인 분석 절차인지에 대한 논의가 있었지만, 우리는 [비록 TA가 데이터에서 '패턴'을 식별하려는 다른 접근법(예: 근거 이론, 해석 현상학적 분석[IPA] 또는 질적 내용 분석)과 공통적으로 일부 특징을 공유함에도] 질적 데이터를 다루는 나름의 고유한 방법을 제공한다고 믿는다. 그럼에도 불구하고 그것은 그 자체로 하나의 방법(또는 방법의 클러스터)이다.

Our aim is to encourage theoretically sensitive (Yardley 2015), and reflexive and deliberative engagement with TA, of whatever variety. By critiquing ‘what is,’ in terms of TA, we aim to promote ‘what could be’, and improve both the understanding of the wider terrain of TA, and the enactment of TA in individual research projects. Although there has been discussion as to whether TA is a distinct method, or a generic set of analytic procedures (e.g. Boyatzis 1998; Willig 2013), TA does – we believe – offer a distinct way of working with qualitative data, and that, although it shares some features in common with other approaches that seek to identify ‘patterns’ in data (e.g., grounded theory, interpretative phenomenological analysis [IPA] or qualitative content analysis), it is nonetheless a method (or cluster of methods) in its own right.

(반복) 주제 분석: 간략한 상황별 소개
(Reflexive) thematic analysis: a brief contextualising introduction

TA에 대해 처음 썼을 때(Braun and Clarke 2006) 우리의 목표는 정성적 패러다임(Braun and Clarke 2019a)의 가정을 반영하고 양립할 수 있는 TA에 대한 접근 방식을 명확히 하는 것이었다. 이 목표는 아래의 과정을 통해 개발되었다.  
Our aim, when we first wrote about TA (Braun and Clarke 2006), was to articulate an approach to TA that reflected, and was compatible with, the assumptions of a qualitative paradigm (Braun and Clarke 2019a). This aim has been developed in

• a qualitative research textbook (Braun and Clarke 2013),
• numerous chapters (Braun and Clarke 2012; Braun Clarke and Rance 2014; Braun Clarke and Terry 2015; Braun Clarke and Weate 2016; Braun et al. 2019a ; Clarke and Braun 2016; Clarke, Braun, and Hayfield 2015; Terry et al. 2017),
• encyclopaedia entries (Clarke and Braun 2014a, 2014b),
• commentaries (Braun and Clarke 2016, 2019a, 2019b, 2019c; Clarke and Braun 2018) and
• editorials about TA (e.g. Braun and Clarke 2014; Clarke and Braun 2017).

최근 출판물에서, 우리는 우리의 접근방식에 대한 우리의 접근법(예: 브라운과 클라크 2019a)을 알려주고 우리의 접근방식에 대해 구별되는 것과 다른 것(예: 브라운과 클라크 2019c; Braun 등 2019a)을 구별하는 정성적 연구와 관련된 가정과 가치를 더 신중하게 표현했다. 우리는 이제 이러한 접근방식을 성찰적 TA라고 부른다 Braun and Clarke 2019a, 2019b; Braun 등 2019a; Terry 등 2017 참조). 이러한 명칭은 이것을 특정 TA 접근법으로 정의할 뿐만 아니라, 분석 자원으로서의 연구자의 주관성과 이론, 데이터 및 해석에 대한 성찰적 참여를 강조한다.

In recent publications, we have more carefully articulated the assumptions and values around qualitative research that inform our approach to TA (e.g. Braun and Clarke 2019a) to demarcate what is distinct and different about our approach (e.g. Braun and Clarke 2019c; Braun et al. 2019a). We now call this approach reflexive TA (see Braun and Clarke 2019a, 2019b; Braun et al. 2019a; Terry et al. 2017). This not only demarcates it as a particular TA approach, it emphasises the importance of the researcher’s subjectivity as analytic resource, and their reflexive engagement with theory, data and interpretation.

우리의 원래 논문은 유연성을 유지하는 TA 연구를 위한 [접근 가능한 지침]을 제공하고자 했다. 우리는 다양한 참여 모드의 가능성의 범위를 강조했고, 우리의 목표는 TA 연구의 가능성을 폐쇄가 아닌 개방하고 창의성과 광범위한 사용을 장려하는 것이었다. 우리는 질적 분석이 '공예 기술craft skill'이며, 분석 절차의 설명을 통해 완전히 포착하기 어려운 것이기에, '스승master'의 발치에서 가장 잘 배울 것이라는 포터(1997)의 주장에 부분적으로 동의한다. 하지만, 우리 중 한 명은 예리한 공예사이며, 어느 정도까지는 공예 기술도 가르치기 위해 공식화될 수 있다는 것을 알고 있습니다. 일부 구조화된 비계는 이 기술을 그냥 직관적으로 '이해해버리지get it' 못하는 사람들에게 개념을 소개하고 기술을 가르칠 수 있다. 

Our original paper sought to provide accessible guidance for TA research that retained flexibility. We emphasised the range of possibilities of different modes of engagement, and our aim was to open-up, rather than close-down, possibilities for TA research, encouraging creativity and wide-ranging use. We partly agree with Potter’s (1997) claim that qualitative analysis is a ‘craft skill’, and something ideally learnt at the feet of ‘master’, something difficult to fully capture through descriptions of analytic procedures. However, one of us is a keen crafter, and we know craft skills can be formulised for teaching to some extent. Some structured scaffolding can introduce concepts and teach skills to those who do not intuitively just ‘get it’, who are not the proverbial ducks-to-water. 

모든 사람이 질적 분석의 '마스터'를 만날 수 있을 만큼 운이 좋거나 특권이 있는 것은 아니기 때문에, 질적 방법에 대한 접근을 민주화하는 것은 특히 중요하다. 질적 연구에 대한 관심은 감독자의 availability을 훨씬 초과하며, 방법 커리큘럼(학문 및 지역별로 상당히 다양함)에서 잘 교육되지 않는 경우도 많다. 그래서 데이터 참여, 코딩 및 테마 개발을 위한 6단계 프로세스를 설명했습니다. 이에 대한 가장 최근의 표현은 다음과 같다.

This is especially important for democratising access to qualitative methods, as not everyone is fortunate or privileged enough to have access to a ‘master’ qualitative analyst. Interest in qualitative research far exceeds the availability of supervisors and remains often under-taught in methods curricula (varying considerably by discipline and by locale). So, we explicated a six-phase process for data engagement, coding and theme development. Our most recent articulation of this is:

• 1) 데이터 친숙화 및 익숙화 노트 작성;
  
• 2) 체계적인 데이터 코딩,
  
• 3) 코드화되고 수집된 데이터로부터 초기 테마를 생성한다.
  
• 4) 테마의 개발 및 검토
  
• 5) 테마의 정제, 정의 및 명명
  
• 6) 보고서 작성
• 1) data familiarisation and writing familiarisation notes;
• 2) systematic data coding;
• 3) generating initial themes from coded and collated data;
• 4) developing and reviewing themes;
• 5) refining, defining and naming themes; and
• 6) writing the report.

우리는 서면 지침의 한계와 그것이 규범적으로 해석될 수 있는 가능성을 인정한다. 그러나, 언급한 바와 같이, 이러한 지침에는 전문가의 감독이나 멘토링 없이 질적 연구를 더 쉽게 할 수 있도록 하는 데 많은 가치가 있다(McLeod 2001). 또한, 우리는 이 단계적 접근법이 엄격하게 따르려는 의도가 아니라는 것을 명확히 하는 것을 목표로 한다. 그리고 분석 기술이 발달함에 따라, 이 여섯 단계는 어느 정도 섞일 수 있고, 분석 과정은 필연적으로 점점 더 재귀적이 된다.

We acknowledge the limits of written guidance, and the potential for it to be (mis)interpreted as prescriptive. However, as noted, there is much value in such guidance, not least in making qualitative research more accessible to those without expert supervision or mentoring (McLeod 2001). Furthermore, we aim to be clear that this phase-approach is not intended to be followed rigidly. And as one’s analytic (craft) skill develops, these six phases can blend together somewhat, and the analytic process necessarily becomes increasingly recursive.

데이터 세트 전체에서 의미 패턴을 식별하고 의미를 이해하는 것을 목표로 하는 다양한 TA 접근 방식이 있다. 동일한 이름과 패턴 있는 의미에 초점을 맞추고 있음에도 불구하고, 서로 다른 TA 접근법 사이에 유의미한 차이가 존재한다(이러한 사항은 나중에 논의한다). 예를 들어, 주제를 공유된 의미의 패턴으로 개념화하는 것은 중심 개념(주제가 포착하는 중심 아이디어 또는 의미)을 중심으로 하는 것은 보편적이지 않다. [완전히-내재된 방법론]보다는 [방법]으로서 [(성찰적) TA가 갖는 유연성]은 상당히 다른 guiding theories으로 수행될 수 있음을 의미한다(의미있는 지식과 지식 생산에 대한 질적 패러다임과 인식론적 가정에 의해 제한되지만). 또한 데이터, 코딩 관행 및 테마 개발에 상당히 다른 방향을 사용합니다.

There are various TA approaches that all aim to identify and make sense of patterns of meaning across a dataset. Despite a shared name and focus on patterned meaning, there are not insignificant differences between different TA approaches (we discuss these later). Our conceptualisation of themes as patterns of shared meaning, cohering around a central concept – the central idea or meaning the theme captures – is not universal, for instance. The flexibility of (reflexive) TA as a method, rather than a fully-embedded methodology, means it can be undertaken with quite different guiding theories (albeit constrained by qualitative paradigmatic and epistemological assumptions about meaningful knowledge and knowledge production), and using quite different orientations to data, coding practices and theme development.

성찰적 TA는 언어, 데이터 및 의미에 대한 경험적(예: 비판적 현실주의자, 맥락론자) 및 비판적(예: 상대론자, 구성론자) 프레임 모두에 적합하다(Braun 및 Clarke 2013). 성찰적 TA는 연역적으로 사용될 수도 있고 귀납적인 분석 과정에 사용될 수도 있다(이 두 가지는 이분법적이지 않고 연속적일 될 수 있음). TA를 할 때, 이론적으로 진공인 상태에서 TA를 수행할 수 없기 때문에, [순수한 귀납적 분석]이 아니라 [데이터에 '근거된' 분석]이라는 의미에서 귀납성을 의미한다. 패러다임, 인식론적, 존재론적 가정은 불가피하게 분석에 정보를 제공한다.

• 성찰적 TA를 귀납적으로 사용하는 연구자들은 그들의 분석에 inform하는 [이론적 가정]을 확인하고, 이상적으로는, 그들의 분명하게 표현하여 보고할 필요가 있다.
• 성찰적 TA를 연역적으로 사용하는 것은 기존의 연구와 이론이 우리가 데이터를 분석하고 해석하는 렌즈를 제공한다는 것을 의미한다.
  • 좁게는, 이것은 이전 연구에서 확인된 주제에 대한 증거를 탐구하는 것을 의미할 수 있다;
  • 넓게는 (그리고 더 일반적으로) 이것은 종종 데이터를 코딩하고 해석하는 렌즈로 기존의 정치 또는 설명 이론을 사을용하는 것을 의미한다. (예를 들어 애착 이론 (윌콕스, 몰러, 클라크 2019) 또는 푸코의 성윤리 이론 (베레스와 파비드 2010))

Reflexive TA is suited to both experiential (e.g. critical realist, contextualist) and critical (e.g. relativist, constructionist) framings of language, data and meaning (Braun and Clarke 2013). It can be used for a more deductive or more inductive analytic process (recognising this can be a continuum, rather than dichotomy). We mean inductive in the sense of analysis ‘grounded in’ the data, rather than ‘pure’ induction, because you cannot enter a theoretical vacuum when doing TA. Paradigmatic, epistemological and ontological assumptions inescapably inform analysis.

• Researchers using reflexive TA inductively need to identify, and ideally articulate in their reporting, the theoretical assumptions informing their analysis.
• Using reflexive TA deductively means existing research and theory provide the lens through which we analyse and interpret data. Narrowly, this might mean exploring evidence for themes identified in previous research; broadly (and more commonly), this often means using existing political or explanatory theory – such as attachment theory (Willcox, Moller, and Clarke 2019) or Foucault’s theory of sexual ethics (Beres and Farvid 2010) – as a lens through which data are coded and interpreted.

또한 (TA간의 차이는) 의미론적(표면적, 명백함, 명백함)인 것에서 잠재적(암시적, 기저적, '숨겨진')인 것까지의 스펙트럼에 걸쳐, [의미 탐색을 위한 코딩의 포커스]에서도 발생한다. 성찰적 TA 내에서 코딩 프로세스는 테마가 이러한 코딩 프로세스의 '결과'이며, 테마는 코딩을 통해through 개발된다는 점에서 테마 "개발"에 필수적이다. 코딩은 [사전에 개념화한 주제에 대한 증거를 찾는 과정]이 아니다. 분석 과정에는 데이터에 대한 몰입, 읽기, 반성, 질문, 상상, 궁금, 쓰기, 후퇴, 복귀가 포함됩니다. 코딩은 기계적으로 하는 것과는 거리가 멀고, '제대로 생각할 시간'을 필요로 하며, 영감이 떠오르고 통찰력을 발휘해 발전해야 하는 과정이다(고프·라이언스 2016).

Variation also occurs through coding focus, where meaning can be explored across a spectrum from the semantic (surface, obvious, overt) to the latent (implicit, underlying, ‘hidden’). Within reflexive TA, the coding process is integral to theme development, in the sense that themes are an ‘outcome’ of these coding and theme development processes, are developed through coding; coding is not – in general – a process for finding evidence for pre-conceptualised themes. The analytic process involves immersion in the data, reading, reflecting, questioning, imagining, wondering, writing, retreating, returning. It is far from mechanical and is a process that requires ‘headspace’ and time for inspiration to strike and insight to develop (Gough and Lyons 2016).

Ho, Chiang, Leung(2017)은 홍콩에서 일하는 외국인 가정 도우미(FDH)의 경험에 대한 연구에서, TA에 대한 해석학적 접근법을 사용하면서, 자료에 'dwelling with'하는 과정과, '지속적이고 엄격하게' 자신의 생각을 반영하는 과정을 생생하게 보여준다. 호는 다음을 기록했다.

• 참가자들이 말하는 단어 뒤에 숨겨진 무언의 의미를 궁금해한 것
  
• FDH를 고용하고 간호사로 일했던 개인적인 경험을 성찰해본 것
  
• 참가자가 설명하고 경험한 상황에서 그가 어떻게 느낄지 상상하고 질문한 것
  
• 통찰력 따른 것
  
• 데이터에서 유사하거나 반대되는 언어 및 경험을 찾은 것
  
• 이것들을 곰곰이 생각한 것

Ho, Chiang, and Leung (2017) provide a vivid example of this process of ‘dwelling with’ data, and of ‘continuously and rigorously reflect[ing] on their own taken for granted thinking’ (p. 1760) when researching the experiences of foreign domestic helpers (FDHs) working in Hong Kong, using a hermeneutic phenomenological approach to TA. Ho documents his

• wondering about unspoken meaning behind the words spoken by participants,
• reflecting on his personal experiences of hiring FDHs and working as a junior nurse,
• imagining and questioning how he would feel in situations described and experienced by participants,
• following insights,
• looking for instances of similar or contrary language and experiences in the data, and
• pondering these.

이 과정은 빠른 과정도, 쉬운 과정도 아니다. 시간과 공간(데이터 포함)은 반사적 TA가 제공할 수 있는 미묘한 분석을 개발하여 분석 전에는 결코 예상할 수 없었던 풍부하고 복잡하며 명확하지 않은 테마를 생성한다.

It is neither a quick nor an easy process. Time and space (with the data) help develop the nuanced analyses that reflexive TA can deliver, producing rich, complex, non-obvious themes that could never have been anticipated in advance of analysis.

(성찰적) TA에 대한 이 간략한 설명과 2006년 논문(Braun and Clarke 2019a, 2019b; Braun et al. 2019a 참조) 사이에는 몇 가지 차이점이 있다. TA에 대해서 우리의 접근 방식에 대한 가정을 완전히 표현하지 못한 것, 그리고 우리의 접근 방식이 우리가 인용한 다른 접근법과 어떻게 다른지를 설명하지 못한 것은 의심할 여지 없이 일부 TA 연구에서 명백한 혼란과 오해에 기여한다. 우리는 이 논문이 최근의 다른 기여(Braun and Clarke 2019a, 2019b; Braun 등 2019a; Terry 등 2017)와 함께 교정적corrective 역할을 하고, 더 명확성을 가져오며, 궁극적으로 연구자들이 현재 개략적으로 설명하는 일반적인 문제를 피하는 데 도움이 되기를 바란다.

There are some differences between this brief account of (reflexive) TA, and that in our 2006 paper (for discussion of how our thinking has evolved and what has changed, see Braun and Clarke 2019a, 2019b; Braun et al. 2019a). Our failure to fully articulate the assumptions informing our approach to TA, and how our approach differs from the other approaches we cited (e.g. Boyatzis 1998), undoubtedly contributes to the confusions and misconceptions apparent in some TA research. We hope this paper, alongside other more recent contributions (Braun and Clarke 2019a, 2019b; Braun et al. 2019a; Terry et al. 2017), serves as a corrective and helps to bring greater clarity, and ultimately assists researchers to avoid the common problems we now outline.

발표된 TA 연구의 10가지 일반적인 문제
Ten common problems in published TA research

이제 우리는 우리의 접근방식을 인용하거나 따르고 있다고 주장하는 발표된 TA 연구에서 볼 수 있는 10가지 문제를 강조한다. 이러한 문제는 TA 연구에서도 더욱 광범위하게 드러난다. 이러한 문제들은 광범위하거나 개념적인 문제, 오해 또는 문제적 가정, 처리 또는 실행 문제에 걸쳐 있다.
We now highlight ten problems we see in published TA research that cites, or claims to follow, our approach. Such problems are also apparent in TA research more broadly. These problems span broad or conceptual issues, misunderstandings or problematic assumptions, and process or practice problems.

첫 번째 문제: TA가 하나의 접근 방식이라고 가정합니다.
Problem one: assuming TA is one approach

앞서 언급한 바와 같이, TA는 단일한 접근법이 아니다. 그보다 TA는 [여러 접근법의 클러스터]를 의미하며, 이들은 절차와 기본 철학 모두에서 서로 다르지만(때로는 상충되지만), 데이터에서 패턴을 포착하는 데 관심을 공유한다. 그러나 너무 자주 저자들은 TA에 대한 "그들 자신의" 구체적인 지향을 명시하지 않거나, 실제로 TA의 다양성을 인정하지 않는다. 우리가 처음 우리의 접근 방식을 명확히 했을 때, 우리는 분명히 이것을 인정하지 않았다. (유용한 것을 이용했지만, 보야치스(1998)와 다른 보다 실증적인 접근법은 질적 패러다임의 가정, 가치 및 감성을 '실제로 얻지 못한다'고 치부했다(Braun and Clarke 2019a)). 우리는 이제 TA를 몇 가지 다른 '버전'이 있는 것으로 개념화하는 것이 더 낫다고 생각한다. 우리는 접근 방식을 '코딩 신뢰성', '코드북' 및 '성찰적' 변형이라고 부르는 것으로 묶는다(Braun et al. 2019a). 
군집화와 구분은 다양한 패러다임과 인식론적 위치 및 관련 절차적 차이를 반영한다. 요약하면 다음과 같다.
As previously noted, TA refers not to a singular approach, but rather to a cluster of sometimes conflicting approaches, divergent both in procedure and underlying philosophy, but which share an interest in capturing patterns in data. Yet too often authors do not specify their particular orientation to TA, or indeed acknowledge the diversity of TA. We certainly failed to acknowledge this when we first articulated our approach – utilising what was useful, but privately dismissing Boyatzis’ (1998) and other more positivist approaches as ‘not really getting’ the assumptions, values and sensibility of a qualitative paradigm (Braun and Clarke 2019a). We now think that it is better to conceptualise TA as having several different ‘versions’; we cluster the approaches into what we call ‘coding reliability’, ‘codebook’ and ‘reflexive’ variations (Braun et al. 2019a). The clustering and demarcation reflects divergent paradigmatic and epistemological positions and associated procedural differences. Briefly, these are:

• '코딩 신뢰성' TA는 '객관적'과 '편향되지 않은' 코딩에 대한 핵심적 관심을 두는 신-실증주의적 접근법을 포착한다. 분석 프로세스 및 복수의 코더를 위한 코드북의 사용은 '정확하고' '신뢰할 수 있는' 코딩의 핵심이다. 이러한 접근법은 일반적으로 코드 품질의 핵심 척도로 평가자 간 신뢰성(코딩 일치)을 사용한다. 그것들은 종종 분석 초기 또는 분석 이전에 주제가 개발된다는 점에서 연역적이다.
  ‘Coding reliability’ TA captures neopositivist approaches that have at their core concerns about ‘objective’ and ‘unbiased’ coding. The use of a codebook for the analytic process, and multiple coders, is key to ensuring ‘accurate’ and ‘reliable’ coding. Such approaches typically use inter-rater reliability (coding agreement) as a key measure of coding quality. They are often deductive in orientation, in the sense that themes are developed early on in, or even prior to, analysis.
• '코드북' TA는 질적 패러다임(일부 실용적 타협이 있기는 하지만) 안에 폭넓게 자리 잡고 있는 방법의 클러스터를 포착한다. 그들은 분석을 개발하고 문서화하기 위해 일종의 구조화된 코딩 프레임워크를 사용하지만, 코드 작성자 간의 합의와 평가자 간 신뢰성은 보통 품질의 척도가 아니다. 테마는 일반적으로 초기에 코딩 신뢰성과 함께 개발되지만, 일부 방법에서는 유도 데이터 참여와 분석 과정을 통해 개선되거나 새로운 테마를 개발할 수 있다.
  ‘Codebook’ TA captures a cluster of methods that broadly sit within a qualitative paradigm (albeit with some pragmatic compromises). They use some kind of structured coding framework for developing and documenting the analysis, but consensus between coders and inter-rater reliability are not usually measures of quality. Themes are typically initially developed early on, as they are with coding reliability, but in some methods can be refined or new themes can be developed through inductive data engagement and the analytic process.
• '성찰적' TA는 질적 연구의 가치를 완전히 포용하며, 연구자가 프로세스에 제공하는 주관적 기술을 완벽하게 포용하는 접근 방식을 의미한다. 연구 팀은 품질에 필요하지도 않고, 심지어 연구의 퀄리티를 위하여 바람직하지도 않습니다.
  • 분석은 더 귀납적이거나 더 이론적이거나 추론적일 수 있으며,
  • 분석은 상황적situated인 해석적 성찰적 과정이다.
  • 코딩은 개방적이고 유기적이며 어떠한 코딩 프레임워크도 사용하지 않는다.
  • 테마는 데이터 코딩과 반복적인 테마 개발의 최종 '결과'가 되어야 한다.
    ‘Reflexive’ TA captures approaches that fully embrace qualitative research values and the subjective skills the researcher brings to the process – a research team is not required or even desirable for quality. Analysis, which can be more inductive or more theoretical/deductive, is a situated interpretative reflexive process. Coding is open and organic, with no use of any coding framework. Themes should be the final ‘outcome’ of data coding and iterative theme development.

TA는 종종 하나의 접근법인 것처럼 쓰여진다. 예를 들어, Firmin 등이 있습니다. (2008) TA와 텍스트 분석 소프트웨어를 비교하는 논문에서 '전통 주제 분석'(p. 202)을 단일하고 널리 이해되는 것처럼 언급했지만 귀납적이고 수정된 근거 이론과 유사한 버전을 개략적으로 설명한다. TA의 유일성 또는 균질성에 대한 가정은 또한 때때로 암시적이다.

• 연구자들은 그들의 데이터가 TA를 사용하여 분석되었다고 언급하면서,
• 복수의 (개념적으로 호환되지 않거나 모순된) 접근법을 인용하며,
• (여러가지 어마어마한 차이가 있는 TA의 버전들 가운데) 무엇을 가지고 실제로 분석을 어떻게 수행했는지에 대한 구체적인 정보를 제공하지 않는다.

TA is often written about as if it is just one approach. For example, Firmin et al. (2008), in a paper comparing TA and text analysis software, referred to ‘traditional thematic analysis’ (p. 202), as if that is singular and widely understood, but outline a version that is inductive and similar to a modified grounded theory. The assumption of singularity or homogeneity is also at times implicit, with researchers

• noting their data were analysed using TA,
• citing multiple (conceptually incompatible or contradictory) approaches, and
• not providing any specific information about how the analysis was actually conducted – which varies considerably across different versions of TA.

이러한 '단일 접근법' 개념화와 밀접하게 관련된 기준은 '단일 품질 표준' 기준이다. 검토자가 인용한 본 논문의 서두 인용문은 이를 예시한다. 그 인용문을 보면 일부 형태의 TA(특히 '코딩 신뢰성' 접근법)에만 가장 잘 적용되는 품질 표준quality standard을 지향한다. 이러한 접근법은 가장 오랜 역사를 가지고 있으며, 종종 TA의 가까운 사촌인 [질적 내용 분석]과 유사하다(예: Forman 및 Damschroder 2008). Boyatzis(1998)는 [질적 데이터의 수집과 분석]을 [퀄리티에 대한 양적 지표]와 결합시키는 것을 실증주의(양적) 패러다임과 해석적(질적) 패러다임 사이의 '격차를 메우기' 위한 하나의 전략으로서, TA에 대한 자신만의 접근 방식을 제공했다. 그가 제시한 방법에는 [측정 또는 관찰의 신뢰성], [코딩 절차의 표준화를 통해 연구자 '편향' 을 억제하 것], [여러 코더의 합의를 입증하는 것] 등이 있다. 이러한 quality marker가 종종 모든 형태의 TA에 적용되는 것으로 가정된다. 그러나 [코딩 신뢰성 TA]를 위한 논리, 과정, 그리고 품질 측정은 [성찰적 TA]와는 상당히 다릅니다. 질적 연구, 그리고 질적 연구에 대한 다른 접근법이 그들 자신의 관점에서 평가되는 것이 중요하다. 

Intimately connected to this ‘one approach’ conceptualisation is a ‘one quality standard’ criterion. This paper’s opening quotation from a reviewer exemplifies this – orienting to quality standards that best apply only to some forms of TA, and in particular to ‘coding reliability’ approaches (e.g. Boyatzis 1998; Guest, MacQueen, and Namey 2012; Joffe 2012). These approaches have the longest history, and are often similar to TA’s close cousin, qualitative content analysis (e.g. Forman and Damschroder 2008). Boyatzis (1998) offered his approach to TA as one to ‘bridge the divide’ between positivist (quantitative) and interpretative (qualitative) paradigms by marrying the collection and analysis of qualitative data with positivist markers of quality – reliability of measurement or observation and containing researcher ‘bias’ through the standardisation of coding procedures and the demonstration of consensus among multiple coders. Such quality markers are often assumed to apply to all forms of TA. And yet the logic, process, and thus quality measures for coding reliability TA are quite different from reflexive TA. It is important that qualitative research, and different approaches to qualitative research, are evaluated on their own terms (Madill et al., 2000; Sparkes and Smith 2009; Yardley 2015).

간략히 언급한 바와 같이, [코딩 신뢰성 접근법]은 아래의 것들을 권고한다는 점에서 [성찰적 TA]와 다르다. 

• 초기 테마 개발(일부 데이터 익숙화 이후 진행),
  
• 구조화되고 고정된 코드북 또는 코딩 프레임의 사용(일부 데이터 익숙화 또는 데이터 부분의 초기 분석에 따라 개발된 정보)
  
• 독립적으로 작업하는 여러 코더의 사용
  
• 코드 간 일치도(또는 평가자 간 신뢰도) 및
  
• 합의를 통한 최종 코딩 결정.

As briefly noted above, these coding reliability approaches differ from reflexive TA in recommending 

• early theme development (perhaps following some data familiarisation),
• the use of a structured and fixed codebook or coding frame (perhaps developed following some data familiarisation or initial analysis of a portion of the data),
• the use of multiple coders who work independently,
• measurement of between-coder agreement (or inter-rater reliability) and
• the determination of final coding through consensus.

[코딩 신뢰성 TA]에서 가장 중요한 관심사는 코딩의 정확성 또는 신뢰성을 입증하는 것이며, 이러한 실증주의적 우선 순위는 분석이 수행되는 방법을 형성한다. 하지만 [질적 패러다임과 성찰적 TA]에서는 코딩 신뢰성을 입증하는 것이나 '편향'을 회피하는 것은 비논리적인 것이고, coherent하지 못한 것이며, 궁극적으로 무의미하다. 왜냐하면 의미와 지식은 위치적이고 맥락적인 것으로 이해되며, 연구자의 주관성은 지식 생산을 위한 자원으로 개념화되기 때문이다. 연구자의 주관성은, credibility의 위협이기에 억제되어야 하는 것이 아니라, 만들어질 지식을 형상화sculpt하는 것이다. [성찰적 TA]에 '코딩 신뢰성' 기준을 적용하는 것은 연구자가 반사적 TA의 근간fundamentals을 완전히 '이해하지 못하며' 프레임워크를 뒷받침하는 질적 가치가 무엇을 기대하거나 구분하는지 이해하지 못한다는 것을 시사한다.

An overriding concern is with demonstrating the accuracy or reliability of coding, and this positivist prioritisation shapes how analysis is conducted. Demonstrating coding reliability and the avoidance of ‘bias’ is illogical, incoherent and ultimately meaningless in a qualitative paradigm and in reflexive TA, because meaning and knowledge are understood as situated and contextual, and researcher subjectivity is conceptualised as a resource for knowledge production, which inevitably sculpts the knowledge produced, rather than a must-be-contained threat to credibility. The application of such ‘coding reliability’ criteria to reflexive TA also, to us, suggests that the researcher does not fully ‘get’ the fundamentals of reflexive TA, does not understand what the qualitative values underpinning the framework expect or delimit.

TA의 이 두 가지 '극poles' 사이에서 다음과 같은 '코드북' 접근방식이 등장했다.

• 프레임워크 분석(예: 게일 외 2013; Ritchie 및 Lewis 2003; Smith & Firth, 2011),
• 매트릭스 분석(예: Miles 및 Huberman 1994; Nadin 및 Cassell 2014)과
• 템플릿 분석(예: Brooks et al. 2015; 2012)

이 방법 각각은 자체적인 '모범 사례' 및 품질 기준 가이드라인을 가지고 있다. 이들은 다음의 특징을 공유한다.

• 테마를 초기에 개발(일부 또는 모든 테마)
• 코딩 신뢰성 접근법과 마찬가지로 구조화된 코드북 또는 코딩 프레임(프레임, 템플릿 또는 매트릭스)의 사용
• 질적 철학과 성찰적 TA의 가치(연구자의 주관성을 인정)를 공유하고, 지식이 문맥적임을 인정한다.

Between these two ‘poles’ of TA, ‘codebook’ approaches, like framework analysis (e.g. Gale et al. 2013; Ritchie and Lewis 2003; Smith & Firth, 2011), matrix analysis (e.g. Miles and Huberman 1994; Nadin and Cassell 2014) and template analysis (e.g. Brooks et al. 2015; King 2012, 2014), comprise processes and conceptualisations that have elements of each, with their own ‘best practice’ and quality criteria guidelines. They share

• early theme development (of some or all themes) and
• the use of a structured codebook or coding frame (the framework, template or matrix) with coding reliability approaches, and
• the qualitative philosophy and values of reflexive TA, such as recognising researcher subjectivity and that knowledge is contextual (see Braun et al. 2019a, for more discussion). 

일부 코드북 지지자들의 경우, 이들의 접근방식은 [사전에 미리 결정된 정보 요구(이것 때문에 '테마'는 종종 특정 질문에 대한 응답 요약으로 구성된다.)], [결과를 내야 하는 엄격한 타임프레임], [팀워크의 필요성] 등을 둘러싼 [실용적 요구]에의해 주도되기에, 어느 정도 질적 원칙의 '타협'을 시도한다. (코드북 TA)에서는

• 여러 연구자가 데이터의 여러 부분을 코딩하여 '결과'를 정해진 기한 내에 전달할 수 있게 한다.
• 이 방법은 연구 배경이 거의 없거나 전혀 없는, 질적 초보자와 참여자 또는 이해관계자의 참여를 개방하여 포괄적 연구팀을 용이하게 한다.
• 데이터는 종종 다소 구체적이며, 연구를 통해서 얻어야 하는 산출물은 종종 [의미론적 의미의 서술적 또는 요약적 분석]으로서 [실무자와 이해관계자가 접근하고 실행할 수 있는 결과]가 된다(Ritchie and Spencer 1994; Smith and Firth 2011).
• 이러한 접근법은 종종 '질적 실용주의'를 보여주며 응용 연구에 효과적이다. 예를 들어, 프레임워크 접근법은 1980년대에 응용 사회 정책 연구에 사용하기 위해 (영국) 국립 사회 연구 센터의 연구원들이 개발했다(리치와 스펜서 1994).

For some codebook proponents, their approach represents some degree of ‘compromise’ of qualitative principles, with research driven by pragmatic demands around pre-determined information needs (with ‘themes’ often consisting of summaries of responses to particular questions), strict time frames for producing ‘results,’ and the necessity of team work.

• Multiple researchers code different portions of the data, facilitating delivery of ‘results’ to a fixed deadline.
• The methods facilitate inclusive teams of researchers, opening participation for qualitative novices and participants or stakeholders, with little or no research background.
• Data are often rather concrete, and the required output can often be a descriptive or summative analysis of semantic meaning with results accessible to and actionable by practitioners and stakeholders (Ritchie and Spencer 1994; Smith and Firth 2011).
• These approaches often demonstrate a ‘qualitative pragmatism’ and work well for applied research – for instance, the framework approach was developed by researchers at the (British) National Centre for Social Research in the 1980s for use in applied social policy research (Ritchie and Spencer 1994).

요약하자면… 'TA'는 [공통적으로 (코딩과 테마 개발을 통한 분석, 어느 정도의 이론 및 연구 설계 유연성; 의미와 잠재 의미에 대한 초점과 같은) 일부 특성을 공유하는 접근법]의 포괄적 용어 또는 '불분명한fuzzy' 집합으로 가장 잘 생각되지만(Madill and Gough 2008) 기저의 패러다임과 인식론적 가치, 그리고 절차에서 크게 다를 수 있다. 연구자, 검토자 및 편집자가 서로 다른 버전의 TA 사이의 광범위한 패러다임 차이를 이해하는 것이 중요하다. 우리는 TA 연구자들이 어떤 TA 접근법을 사용하고 있는지 명확하게 구분하도록 권장한다. 또한, 그들이 TA에 대해 다른 방향의 저자들을 인용하는 경우, 그들이 각각에서 '취하는taking' 것을 명확히 명시하고 (잘) 다양한 기준과 실천의 사용을 정당화하여야 한다.
The take away … ‘TA’ is best thought of as an umbrella term for, or a ‘fuzzy’ set (Madill and Gough 2008) of, approaches that share some characteristics in common (analysis through coding and theme development; some degree of theoretical and research design flexibility; a focus on semantic and latent meaning) but can differ significantly in both underlying paradigmatic and epistemological values, and in procedures. It is vital that researchers, reviewers and editors understand the broad paradigm distinctions between different versions of TA. We encourage TA researchers to clearly demarcate which TA approach they are using. Furthermore, if they cite authors from different orientations to TA, to clearly specify what they are ‘taking’ from each and justify (well) any use of divergent criteria and practice.

문제2: 읽지 않고 인용!
Problem two: citing without reading!

안타깝게도 이 문제는 장난이 아닙니다. 2006년 논문을 인용한 일부는 보여주기식performative이었다. '편리함' 또는 '필수' 인용문으로도 활용될 수 있는 것으로 보입니다. 수많은 저자들은 '브라운과 클라크(2006)가 개괄한 절차를 따랐다'고 주장하며, 우리가 개괄한 절차와 거의 또는 전혀 유사하지 않은 절차를 설명한다. 예를 들어, Kaye, Wall 및 Malone(2016)은 그들의 접근방식과 절차를 'Braun and Clarke (2006) 분석 전략과 일치한다'(p. 464)라고 설명했지만, 신뢰성 TA 코딩에 더 가까운 분석 과정을 개략적으로 설명하고 있다.

• 데이터는 '두 개의 순진한 코드 작성자'에 의해 읽혔다.
  
• 각 코더가 독립적으로 초기 주제를 식별함
  
• 데이터는 초기 테마의 타당성을 시험하기 위해 코딩되었다(부분적으로는 각 테마의 빈도를 결정하기 위해).
  
• 데이터는 코드북의 개발과 함께 다시 검토되었다.

Unfortunately, this problem is not a joke. Some citations of our 2006 paper appear performative: dropped in as a ‘convenient’ or maybe even ‘required’ citation. Numerous authors claim to have ‘followed the procedures outlined by Braun and Clarke (2006),’ then describe procedures with little or no resemblance to those we outlined. For example, Kaye, Wall, and Malone (2016) described their approach as TA and their procedure as ‘in line with Braun and Clarke (2006) analytic strategy’ (p. 464), but then outlined an analytic process more akin to coding reliability TA:

• the data were read by ‘two naïve coders’;
• each coder independently identified initial themes;
• the data were coded to test the validity of the initial themes (in part to determine the frequency of each theme);
• the data were reviewed again alongside the development of a codebook.

그러한 논문을 읽으면서, 우리는 코드북과 코딩 프레임, 합의 코딩, 코딩 신뢰성의 측정, 데이터 코딩 이전의 주제 개발, 데이터 또는 테마 포화, 주제 빈도의 측정 및 보고, 지속적인 비교 분석 등을 장려한다는 것을 발견했다. 독자들이여, 우리는 그렇지 않다! 이러한 것들은 우리가 말하지 않았을 뿐만 아니라, 빅 Q 질적 조사를 위한 관행으로서 우리가 정말로 비판적인 것들입니다. 우리가 실제로 지지하지 않는 절차에 대해 옹호하는 주장에 대한 가장 그럴듯한(아마도 관대할 수 있는) 설명은 저자들이 우리의 논문을 읽지 않았다는 것이다.

Reading such papers, we have discovered that we promote the use of codebooks and coding frames, consensus coding, the measurement of coding reliability, developing themes before data coding, data or theme saturation, the measurement and reporting of theme frequency, constant comparative analysis, and more … Reader, we do not! Not only are these things we have not said, they are all things we are indeed critical of, as practices for Big Q qualitative inquiry (Braun and Clarke 2013, 2019c; Clarke and Braun 2019). The most plausible (and perhaps generous) explanation for claims that we advocate for procedures that we do not in fact advocate for, is that the authors have not read our paper.

숙제를 하십시오. 즉, 다음 사항 없이 TA에 사용되는 방법으로 저희(또는 다른 TA 저자)를 인용하지 마십시오.

• a) 제공된 방법론적 지침을 읽을 것.
• b) 당신이 한 일이 지지받는 것임을 확인하는 것;
• c) 어떤 '개정deviation'이 있었다면 그 이유를 명확히 하는 것.

The take away … Do your homework – by which we mean, do not cite us (or indeed any other TA author) as the method used for TA without:

• a) reading the methodological guidelines provided;
• b) confirming that what you did is what is advocated; and
• c) being clear on why any ‘deviations’ from the broad approach were adopted.

문제 3: 정당하지 않거나 호환되지 않는 '매시업'
Problem three: unjustified or incompatible ‘mash-ups’

연구자들이 TA에 대해 복수의 (호환되지 않는) 소스를 인용하는 것을 넘어, 정당성이나 설명 없이 반사성 TA를 종종 양립할 수 없는 다른 절차와 효과적으로 결합하는 수많은 문제적 실무 사례가 있다. 방법론적인 '매쉬업'의 개념은 그 자체로 문제가 되지 않는다. TA의 유연성은 그러한 창의성과 혁신을 불러온다. 우리가 지적하려는 것은 이론적이고 개념적인 모순인 '혼돈된 q' 연구를 초래하는 겉보기에는 알 수 없고 유연하지 않은 매시업이다. 예를 들어, 성찰적 TA와 코드북 및 코딩 신뢰성 측정의 조합은 일반적이지만 [성찰적 TA의 유기적이고 주관적인 코딩 프로세스]와 [코딩 정확성과 신뢰성에 대한 우려] 사이의 긴장감에 대한 인식은 훨씬 낮은 것으로 보이며, 확실히 자주 논의되지는 않는다. 
There are numerous instances of problematic practice that go beyond researchers citing multiple (incompatible) sources for TA, effectively combining reflexive TA with other often incompatible procedures without justification or explanation. The notion of methodological ‘mash-ups’ is not problematic per se; the flexibility of TA invites such creativity and innovation. Our concern is with seemingly unknowing and unreflexive mash-ups that result in theoretical and conceptual incoherence – ‘confused q’ research. For example, the combination of reflexive TA with the use of codebooks and coding reliability measures is common, but the tensions between the organic and subjective coding processes of reflexive TA and concerns for coding accuracy and reliability seem to be far less commonly recognised – certainly they are not often discussed.

일부 연구자들은 또한 [개념과 실천과 관련된 위치 및 특정 의미 또는 이론적 앵커에 대한 논의 없이] 다른 분석적 접근법과 독특하게 연관된 개념과 용어를 사용한다.

• (예: IPA와 관련하여 emergent라는 용어나, superordinate theme이라는 용어;
• 근거이론에서의 개념인 지속적 비교 분석, 라인 바이 라인 코딩, 포화
• TA의 포화 개념 사용에 대한 비판적 논의는 Braun 및 Clarke 2019c 참조)

Some researchers also use concepts and terminology distinctively associated with other analytic approaches without discussion of the located and particular meanings, or theoretical anchors, associated with these concepts and practices.

• (e.g. the terms emergent and superordinate theme, associated with IPA;
• the grounded theory concepts of constant comparative analysis, line-by-line coding and saturation;
• see Braun and Clarke 2019c, for a critical discussion of the use of the saturation concept in TA) 

이러한 개념이나 용어들이 항상 TA로 잘 translate되거나 TA에 부합하지는 않는다. 우리는 또한 연구자들이 TA가 분석 목적을 달성하기에 그 자체로 불충분하다고 주장하며 추가 절차나 접근법으로 TA를 '보충'(반복)하는 것을 본다(예: Floersch et al. 2010). 이는 [잘못된 가정]에 근거하고 있으며, [TA가 단일한 것이라는 아이디어]에 기초한 것으로 보입니다(이후의 문제에서 더 자세히 설명).

They do not always translate (well) to, or cohere with, TA. We also see researchers ‘supplementing’ (reflexive) TA with additional procedures or approaches, arguing that TA is insufficient in and of itself to achieve their analytic purpose (e.g. Floersch et al. 2010) – which seems to be based on flawed assumptions and a singular idea of what TA is (discussed further in subsequent Problems).

방법론적인 매시업은 보증되고 정당화되고 이론적으로 일관되어야 하며, (반복적인) TA가 제공할 수 있는 것과 제공할 수 없는 것에 대한 완전한 이해에 기초해야 한다.

The take away … Methodological mash-ups should be warranted, justified and theoretically coherent, and based in a full understanding of what (reflexive) TA can – and cannot – offer.

문제 4: TA가 무이론적이라고 가정함
Problem four: assuming TA is atheoretical

[TA의 이론적 유연성]은 내재된inbuilt 지침 이론guiding theory의 부재함을 의미하고, TA가 IPA, 기초 이론, 담화 분석 및 서술 분석과 같은 인기 있고 잘 활용된 질적 분석 접근법에서 벗어나는 부분이다. 이러한 접근법 중 일부는 원래 접근법의 다른 반복의 확산을 통해 다양한 이론적 가능성을 제공한다(예: 근거 이론의 다양한 'flavor'가 있다 – 실증론자, 맥락론자/실용론자, 급진 구성론자가 모두 논의된다;2008년 차마즈와 헨우드, 1992년 글레이저, 1997년 피존과 헨우드).

The theoretical flexibility of TA, the absence of inbuilt guiding theory, is where TA departs from other popular and well-utilised qualitative analytic approaches such as IPA, grounded theory, discourse analysis and narrative analysis. Some of these approaches offer a range of theoretical possibilities through the proliferation of different iterations of the original approach (e.g. there are various ‘flavours’ of grounded theory – positivist, contextualist/constructivist and radical constructionist are all discussed; see Charmaz and Henwood 2008; Glaser 1992; Pidgeon and Henwood 1997).

TA에 내재된 이론적 처방의 상대적 부족은 종종 TA가 무이론적임을 나타내는 것으로 잘못 해석된다. 우리는 또한 TA를 하면서 연구자들의 engagement에 informing하는 이론적 가정을 명시하지 못한 연구자를 보며 [TA가 무이론적 방법으로 취급되는 것]을 마주한다. 실제로 최근 원고에 대한 저자의 응답에서 명백해졌듯이, 어떤 연구자들은 [귀납적 TA]는 전적으로 이론적 근거가 없으며, 연역적 TA만이 이론의 논의를 필요로 한다고 가정한다. (또한 우리는 [연역적 TA]가 [연구 질문이나 연구자의 존재론적, 인식론적 가정 또는 주제에 대한 관심에 의해 informed되는 TA]로 잘못 인식되고 있다고 본다.)

The relative lack of theoretical prescription inherent in TA is often misinterpreted as indicating TA is atheoretical. We also encounter TA being treated as an atheoretical method through researchers failing to specify the theoretical assumptions informing their engagement with TA. Indeed, as became clear to us in an author’s response to our review of their manuscript recently, it is sometimes assumed that inductive TA is entirely without theoretical foundations, and that only deductive TA requires discussion of theory. (We also see deductive TA misconceptualised as TA informed by a research question, or the researcher’s ontological and epistemological assumptions or interests in the topic.)

내재된 이론이 없음에도 불구하고, TA는 절대로 이론적인 공백에서 수행될 수 없다; 연구자들은 항상 가정을 한다

• 데이터가 나타내는 것은 무엇인가?
  • 예: 참가자의 말은 비교적 투명하게 개인의 경험을 전달하고 있는가?
  • 또는 참가자가 한 말은 사회적 담론을 구성하고 사회적 행동을 수행하는가?)
• 이 데이터에 기초하여 무엇을 주장할 수 있는가?
  
• 궁극적으로, 무엇이 의미 있는 지식을 구성하는가?

Despite not having inbuilt theory, TA can never be conducted in a theoretical vacuum; researchers always make assumptions about

• what data represent
  • (e.g. do participants’ words relatively transparently communicate individual experience or
  • do their words constitute social discourse, performing social actions?),
• what can be claimed on the basis of these data, and
• indeed what constitutes meaningful knowledge.

만약 가정들이 더 '상식적common-sensical'이거나, 학문분야 내에서 지배적인 가정을 반영한다면, 이러한 가정들을 [가정으로서], 더 나아가 실제로 [이론으로서], 인식하는 것은 어려울 수 있지만, 그럼에도 불구하고 이론적으로 정보에 근거한 가정이며 결과적으로 분석적 함의가 있다.

If the assumptions made are more ‘common-sensical’ or reflect the dominant assumptions within a discipline, it can be hard to recognise these as assumptions, indeed as theory, but they are nonetheless theoretically-informed assumptions with consequent analytic implications.

연구자들은 항상 TA의 사용에 informing하는 철학적, 이론적 가정을 성찰하고 명시해야 한다. 심지어 귀납적 TA에서도 그러하다. (구체적인 iteration에 따라 다소간 차이가 있더라도) TA는 이론적으로 유동적이지만, 무이론적 접근법이 아니며 [질적 연구의 경험적, 비판적 지향]에 동일하게 적합한 접근법으로 인식되어야 한다. (종종 경험적 지향experiential orientation에만 TA를 사용하는 것이 적절하다고 가정한다.)

The take away … Researchers should always reflect on and specify the philosophical and theoretical assumptions informing their use of TA, even inductive TA. TA should be recognised as a (more or less, depending on the specific iteration) theoretically flexible, but not atheoretical, approach and one equally suited to experiential and critical orientations for qualitative research (TA is often assumed to be only appropriate to use in experiential orientations, a Problem we now discuss).

문제 5: TA가 현실주의자/본질주의자 또는 경험적/현상학적이라고 가정한다.
Problem five: assuming TA is only realist/essentialist or experiential/phenomenological 

문제 4와 밀접하게 연결되어, TA는 단순히 진리와 현실을 검색하는 현실주의 또는 본질주의 방법으로 암묵적으로 배치되며, 두 방법 모두 문제없이 접근 가능한 것으로 취급되며 종종 이론화되지 않는다. 경험은 종종 TA를 통해 접근할 수 있다고 가정하며, TA는 일반적으로 특히 더 현상학 또는 현상학적인 방법으로도 설명된다. 이런 식이다. '주제 분석'은 주제를 체계적으로 식별하기 위한 현상학적 위치를 채택한다(Newton-John et al. 2017, 1822). 
Closely connected to Problem four, TA is regularly positioned implicitly as a realist or essentialist method that simply retrieves truth and reality, both of which are treated as unproblematically accessible (and are often un[der]theorised). Experience is likewise often assumed to be accessible through TA, and TA is commonly described as particularly compatible with phenomenology (e.g. Guest, MacQueen, and Namey 2012; Joffe 2012) or even as a phenomenological method: ‘thematic analysis adopts a phenomenological position to systematically identify themes’ (Newton-John et al. 2017, 1822).

IPA 이전에, TA는 심리학에서 현상학적 방법으로 사용되었지만(예: Dapkus 1985) TA와 현상학이 일치한다는 선언은 거의 설명되지 않는다. 우리는 이것이 TA를 [질적 연구에 대한 광범위한 경험적 접근법에 (유일하게) 양립할 수 있는 것]이며, TA를 ['주관적 관점'의 분석인 것]으로 이해하는 것를 반영한다고 추측한다(Flik 2014, 423). 즉, 언어에 대한 성찰적 관점으로 뒷받침되고, 참여자들의 생생한 경험, 감각 형성, 관점, 요구, 실천 등을 광범위하게 '감정적' 렌즈(Braun and Clarke 2013; Willig 2013)를 통해 탐구하는 데 초점을 맞춘 연구. 이 프레임은 불필요하게 제한적이다.

Before IPA, TA was used as a phenomenological method in psychology (e.g. Dapkus 1985), yet the proclamation that TA and phenomenology are aligned is rarely explained. We speculate that this reflects an understanding of TA as (only) compatible with broadly experiential approaches to qualitative research, and the analysis of ‘subjective viewpoints’ (Flick 2014, 423) – research underpinned by a reflective view of language and focused on exploring participants’ lived experience, sense-making, views, needs, practices and so on, through a broadly ‘empathic’ lens (Braun and Clarke 2013; Willig 2013). This framing is unnecessarily limited.

이와는 대조적으로, 우리는 (성찰적) TA를 [경험적 질적 연구]와 [비판적 질적 연구] 두 가지 모두와 양립할 수 있을 만큼 충분히 유연한 접근법으로 포지셔닝한다(Clarke와 Braun 2014b 참조). 이는 의심의 여지 없이 비판적 질적 심리학에 대한 우리의 배경과 훈련을 반영합니다. 또한 심리학에는 주제 분해(Stenner 1993), 주제 담화 분석(가수와 헌터 1999; 테일러와 어셔 2001)과 같은 주제적(thematic) 디스커버리 방법의 전통이 있다. 그리고 우리는 성찰적 TA의 흥미로운 매시업과 디스커버리 및 서술적 접근 방식을 점점 더 많이 볼 수 있으며, TA를 결합하여 주제를 식별하고 참가자의 말account에서 사건의 순차적 구성을 탐구하는 '주제적 내러티브 분석'과 같은 혼합적 접근 방식의 개발을 볼 수 있다. '비판적 주제 분석'(예: Terry and Braun 2011)도 마찬가지로 반사적 TA를 비판적 분산 심리의 일부 특징(예: Wetherell 및 Edley 2009)과 결합한다. 3번 문제에서 기술된, 아무 생각 없이 성찰적 TA를 질적 실증주의와 섞어버린 것과는 반대로, 우리가 환영하는 것은 정확히 이런 종류의 이론적이고 창의적이고 성찰적인 매시업이다.

In contrast, we position (reflexive) TA as an approach that is flexible enough to be compatible with both experiential and critical qualitative research (see Clarke and Braun 2014b) – no doubt a reflection of our background and training in critical qualitative psychology (see Braun and Clarke 2019a; Jankowski, Braun, and Clarke 2017; Lainson, Braun, and Clarke 2019). Moreover, there is a tradition of ‘thematic’ discursive methods in psychology such as thematic decomposition (Stenner 1993) and thematic discourse analysis (Singer and Hunter 1999; Taylor and Ussher 2001). And we increasingly see exciting mash-ups of reflexive TA and discursive and narrative approaches, and the development of hybrid approaches like ‘thematic narrative analysis’, which combines TA to identify themes with narrative analysis to explore the sequential organisation of events in participants’ accounts (e.g. Palomäki, Laakasuo, and Salmela 2013). ‘Critical thematic analysis’ (e.g. Terry and Braun 2011) likewise combines reflexive TA with some features of critical discursive psychology (e.g. Wetherell and Edley 2009). It is precisely this kind of theoretically-knowing, creative and reflexive mash-ups that we welcome, in contrast to the seemingly unknowing ‘mash-ups’ of reflexive TA with qualitative positivism described in Problem three.

TA가 본질적으로 질적 연구에 대한 한 가지 유형의 지향만을 제공하는 것처럼 취급하는 것을 피하십시오. 대신, (성찰적) TA의 특별한 사용 방법과 사용 중인 (성찰적) TA에 대한 특정 지향을 설명하는 근거를 제시하십시오.

The take away … Avoid treating TA as if it inherently offers only one type of orientation to qualitative research. Instead, provide a rationale that explains the particular use of (reflexive) TA, and the particular orientation to (reflexive) TA you are taking.

문제 6: TA는 설명만 한다고 가정합니다.
Problem six: assuming TA is only descriptive

앞의 두 가지 문제와 밀접한 관련이 있는 것은 TA가 데이터 패턴을 패러프레이즈하거나 요약하는 기술 또는 데이터 감소 방법일 뿐이라는 개념이다. TA 연구는 근거 이론이나 서술 분석과 같은 접근법에 비해 낮은 수준의 해석을 제공하는 것으로 가정되며, TA를 잘못 이해한 경우 종종 TA를 '더 높은 수준의 해석'을 제공하는 다른 접근법(예: 근거 이론)과 결합하는 것을 정당화하기 위해 사용된다. (예: Floersch et al. 2010). 우리는 이 문제 있는 가정에 대해 두 가지 염려가 있습니다.
Closely related to the previous two Problems is the notion that TA is only a descriptive or data reduction method, in which data patterns are paraphrased or summarised. TA research is assumed to offer a low level of interpretation compared to approaches such as grounded theory or narrative analysis (e.g. Aguinaldo 2012; Vaismoradi, Turunen, and Bondas 2013), and this impoverished conceptualisation of TA is often used to justify combining TA with other approaches (such as grounded theory) that are positioned as offering (a higher level of) interpretation (e.g. Floersch et al. 2010). We have two concerns with this problematic assumption.

첫째, 기술과 해석은 분리되고 별개의 활동이다. 그리고 기술적 또는 종합적 분석에서, 연구자는 참가자들의 목소리에 대해 수동적이고, 무관심하며, 탈맥락화된 전달자가 되는 것으로 보인다. 우리는 기술적 목적을 가진 TA조차도 다양한 방식으로 위치하며 그들의 특정한 사회적, 문화적, 역사적, 규율적, 정치적, 이념적 위치의 렌즈를 통해 데이터를 읽는 연구자에 의해 수행되는 [해석적 활동]이라고 주장한다. 그들은 참여자의 '목소리'를 편집하고 환기시키지만 궁극적으로는 데이터에 대한 [그들의 이야기]를 들려준다: '목소리를 통해 주조되는 사회적 연구는 일반적으로 우리가 우리의 주장을 경계하기 위해 선택하고 편집하고 배치하는 확인되지 않은 서술적 증거의 조각을 조각내는 것을 포함한다.' (Fine 1992, 218) 그리고 (객관적 과학자의) 수동적 목소리와 같은 [실증-경험적 보고 관행]은 실제로 ('정확성'을 위하여) '코딩 신뢰성'을 입증하였다고 어필하는데, 이는 참가자의 말을 해석하는 방법에 대한 [우리의 책임]을 불명확하게 만든다(클라크와 브라운 2019). 우리가 사용하는 언어는 심지어 명백한 기술적 보고에서조차 중립적이지 않다.
First, description and interpretation are positioned as separate and distinct activities. And in descriptive or summative analyses, the researcher appears to become a passive, disinterested and decontextualised conduit for the voices of participants. We contend that even TA with a descriptive purpose is an interpretative activity undertaken by a researcher who is situated in various ways, and who reads data through the lenses of their particular social, cultural, historical, disciplinary, political and ideological positionings. They edit and evoke participant ‘voices’ but ultimately tell their story about the data: ‘social research cast through voices typically involves carving out unacknowledged pieces of narrative evidence that we select, edit, and deploy to border our arguments’ (Fine 1992, 218). And positivist-empiricist reporting practices, like the passive voice (of the objective scientist), and indeed appeals to demonstrating ‘coding reliability’ – for ‘accuracy’ – can obfuscate our responsibility for the ways we interpret participants’ accounts (Clarke and Braun 2019). Our language use is never neutral, even in apparently descriptive reporting.

둘째, TA를 낮은 수준의 서술적 방법으로 개념적으로 환원시키면 반사적 TA가 갖는 가능성의 범위가 모호해진다. 무엇보다 TA의 깊은 해석적, 이론화된 분석의 잠재력을 평가절하하게 된다. 그러한 TA의 가능성과 잠재력을 인식하고 충분히 인식한다면, 연구자들은 그들의 TA를 '확장'하기 위해 또 다른 (아마도 더 해석적인) 방법을 추가하는 것을 중단할 수 있다. 그러한 mash-ups는 종종 단지 불필요할 뿐만 아니라, 설득력도 없고, 심지어 문제가 되기도 한다.
Second, the conceptual reduction of TA to a low-level descriptive method obscures the range of possibilities reflexive TA holds – most particularly its potential for deeply interpretative, theorised analyses. If such possibilities and potentials were recognised and fully appreciated, researchers could stop adding another (supposedly more interpretative) method to ‘extend’ their TA – such mash-ups are often not just unnecessary, but unconvincing or even problematic.

해석은 (TA) 분석 과정에 내재되어 있으며, TA 방법에서는 단순히 요약적이거나 기술적으로 만드는 것이 없다. 해석의 깊이는 방법이 아니라 분석가의 기술에 있다. 학생/대학원생 연구를 지도하는 연구자들은 학생들에게 이 점을 유용하게 강조할 수 있다. (우리는 TA가 정교함이 부족하고 무이론적이고 순진하며 서술적인 방법이기 때문에 대학원 및 특히 박사 학위 연구에 적합하지 않다는 말을 들은 불안한 학생들로부터 많은 이메일을 받는다.)

The take away … Interpretation is inherent to the (TA) analytic process, and there is nothing in the method of TA that renders it simply summative or descriptive. Interpretative depth lies in the skill of the analyst, not the method. Researchers supervising (postgraduate) student research can usefully emphasise this point to students. (We get many emails from anxious students who have been told that TA is unsuitable for postgraduate and especially doctoral research because it lacks sophistication and is only an atheoretical, [naïve] realist, descriptive method.)

문제 7: 코드와 테마를 혼동합니다.
Problem seven: confusing codes and themes

성찰적 TA는 코드와 테마를 구별하지만, TA 방법 전반에 걸쳐 코드와 테마의 절대적인 차이는 없다. 많은 TA 접근법에서 이 용어들은 서로 교환적으로 사용되거나, 코딩은 [사전에 정해진 테마에 데이터를 할당하는 과정]으로 개념화된다.

• 성찰적 TA에서 코드는 [연구자가 (초기) 테마를 개발하기 위해 사용하는 분석 단위 또는 도구]로 개념화된다. 여기서 코드는 (최소한) 하나의 관측치를 캡처하고, (보통) 하나의 면을 표시하는 엔티티로 생각할 수 있다.
• 대조적으로 테마는 다면적 크리스탈과 같다. 즉, 여러 관찰 또는 측면을 포착합니다. (때로는 풍부하고 복잡하고 다면적인 코드가 [Charmaz 2006] 테마로 '승진promoted'될 수 있는데, IPA에서는 'subsumption'이라고 불리는 과정이다.

Reflexive TA makes a distinction between codes and themes, but there is no absolute distinction between codes and themes across TA methods. In many TA approaches, these terms are used interchangeably, or coding is conceptualised as a process of allocating data to predetermined themes.

• In reflexive TA, a code is conceptualised as an analytic unit or tool, used by researcher to develop (initial) themes. Here, codes can be thought of as entities that capture (at least) one observation, display (usually just) one facet;
• themes, in contrast, are like multi-faceted crystals – they capture multiple observations or facets (occasionally, rich, complex and multifaceted codes might be ‘promoted’ to themes [Charmaz 2006], a process called ‘subsumption’ in IPA [Smith, Flowers, and Larkin 2009]).

수많은 '테마'가 제시되는 TA 논문에서 '테마'는 종종 1차원적이고 의미가 얇다.

• 예를 들어, Fornells-Ambrojo 외 연구진(2017)은 서비스 사용자가 중증 정신 질환 서비스에 대한 심리 치료 접근성을 개선하기 위해 일상적인 결과 모니터링(ROM)을 경험한 것을 혼합된 방법으로 연구했다.
• 이 보고서는 7개의 '중요한'/'상급superordinate' 주제 및 18개 주제를 보고했다. (참고로 '상급superordinate'이란 표현은 TA가 아니라 IPA와 관련한 표현이다).
• 가장 중요한 주제는 1) 도움이 되는 측면과 2) 도움이 되지 않는 측면의 ROM이라는 두 가지 제목 아래에 내포되었다. 
• 제시된 정보에서 테마는 각각 사용자의 인식에 대한 [하나의 의미적 관찰 또는 통찰력을 포착]하는 것으로 나타났다(예: 나의 감정을 표현, 이해받음).
• 이러한 것들은 (반사적 TA에서는) [코드]라고 개념화하는 편이 더 맞다. 가장 중요한 주제나 상위 주제들은 모두 비슷한 수준으로 '얄팍했고thin', 대부분 한 단어(예: 형식, 괴로움, 혐오)로 명명되었다.

In TA papers where numerous ‘themes’ are presented, the ‘themes’ are often one dimensional and meaning-thin; they tend to capture only one (small) observation or facet of meaning (and quite often they are named with just one word).

• For example, Fornells-Ambrojo et al. (2017), in mixed methods research on service users’ experiences of routine outcome monitoring (ROM) in an improving access to psychological therapies for severe mental illness service,
• reported seven ‘overarching’/‘superordinate’ themes (‘superordinate’ is associated with IPA [Smith et al. 2009] not TA) and 18 themes.
• The overarching themes were nested under two headings: 1) helpful and 2) unhelpful aspects of ROM.
• From the information presented, the themes appeared to each capture a single semantic observation or insight about users’ perceptions (e.g. expressing my feelings, being understood).
• These are better conceptualised as (reflexive TA) codes. The overarching or superordinate themes were similarly ‘thin’, and mostly named with one word (e.g. format, distressing, disliked).

이는 또한 '분석적 조기종결'을 시사한다. 즉, 추가 분석 작업을 통해 이러한 '테마'(코드) 중 여러 개를 특정 의미나 경험의 여러 측면을 드러내는 더 풍부하고 복잡한 테마로 끌어모은 공유 의미의 기본 패턴을 식별할 수 있었을 것이다. (분석의 사전 정의된 목적이 ROM의 긍정적 측면과 부정적 측면을 식별하는 것이었으므로, 패러다임적 포지셔닝에 따라서는 TA에 대한 [코드북] 또는 [코딩 신뢰성] 접근법이 연구의 목적에 더 부합할 수 있었다. 왜냐하면 이 경우 연구가 평가자 간 신뢰성을 측정하는 것이 실증주의자에 더 가깝기 때문이다.)

This also illustrates ‘analytic foreclosure’ (Connelly and Peltzer 2016) – with further analytic work, underlying patterns of shared meaning could have been identified that drew together several of these ‘themes’ (codes) into richer, more complex themes that revealed multiple facets of a particular meaning or experience. (As a pre-defined purpose of the analysis was to identify positive and negative aspects of ROM, a codebook or coding reliability approach to TA might have been more in keeping with the purpose of the study, depending on paradigmatic positionings, which in the study leant towards the positivist, as inter-rater reliability was measured.)

코드인가, 테마인가? 어떤 코드와 테마가 무엇을 나타내는지, 분석에서 어떤 역할을 하는지를 명확히 하는 것이 중요하다. 연구자들은 임시 주제 또는 후보 주제가 1차원인지 다차원인지 여부를 고려하고 개념 프레임워크와 분석 결과 보고가 사용하는 TA 버전과 일치하는지 확인해야 한다.

The take away … Is it a code, or is it a theme? Clarification of what codes and themes represent, and what role they play in analysis, is important. Researchers should consider whether their provisional or candidate themes are one- or multi-dimensional and ensure their conceptual frameworks and reporting of analytic outputs align with the version of TA they are using.

8번 문제: 주제와 토픽을 혼동합니다.
Problem eight: confusing themes and topics

이는 아마도 발표된 TA 연구에서 가장 흔한 문제 중 하나일 것이다. TA에서 단 하나의 널리 동의하고 채택된 테마의 개념화가 없기 때문에, 테마가 개념화되는 방법에 대한 혼란 때문이기도 하다.(DeSantis & Ugarriza, 2000). 우리는 이후 '주제'에 대한 개념화를 명확히 했는데, 이는 테마를 '일부 수준의 패턴 있는 반응 또는 의미'(Braun and Clarke 2006)를 포착하는 것으로 정의한 것이 분명했기 때문이다. 성찰적 TA에서 '주제'는 [중심 개념 또는 아이디어로 결합된 공유된 의미의 패턴]이다(Braun and Clarke 2013; Braun et al. 2014). 즉, 주제는 겉보기에 다소 이질적으로 보이는 데이터를 한데 모을 수 있습니다. 앞서 언급한 바와 같이, 주제는 다면적이기도 하다. 우리는 테마를 이야기, 즉 데이터에 대한 이야기로 생각하는 것을 좋아합니다. 
This is probably one of the most common problems in published TA research, and it hinges on confusion around how themes are conceptualised, as there is no one widely agreed on and adopted conceptualisation of a theme in TA (DeSantis & Ugarriza, 2000). We have subsequently clarified our conceptualisation of themes, because it was evident that our initial definition of a theme as capturing ‘some level of patterned response or meaning’ (Braun and Clarke 2006) left too much room for confusion. Themes in reflexive TA are patterns of shared meaning, united by a central concept or idea (Braun and Clarke 2013; Braun et al. 2014). This means themes might draw together data that on the surface appear rather disparate. As previously noted, themes are also multifaceted. We like to think of themes as stories – stories we tell about our data.

이렇게 볼 때, 데이터 토픽(도메인이라고도 함)은 주제가 아니다. 데이터 토픽은 인터뷰(말하기)에서 논의된 것들로서, 인터뷰 가이드의 질문으로부터 유도될 수 있다. 참가자는 하나의 토픽을 중심으로 다양하고 이질적인 답변을 제공하는 경우가 꽤 많지만, 토픽이나 영역의 요약이 테마로 제시되는 것이 일반적이다. 이처럼 토픽을 주제화한 것data-topics-as-themes에서는 참가자들의 반응이 요약되어 있지만, '중심 개념'도 '공유된 의미'도 없고 '공유된 '토픽''만 있을 뿐이다.

Data topics (sometimes called domains) are not themes in this way – they are things discussed in (say) an interview, perhaps introduced in a question from the interview guide. Participants quite often provide divergent and disparate responses around a topic, but it is common for summaries of topics or domains to be presented as themes. In these data-topics-as-themes, the participants responses are summarised, but there is no central concept, no shared meaning, only a shared topic.

예를 들어, 센더스 외 연구진(2016)은 다발성 경화증 치료에서 스트레스가 어떻게 해소되는지에 대한 환자의 인식을 탐구하는 연구에서, '브라운 & 클라크에 따른 TA'(p. 1678)를 사용했다고 언급하였으나, 코드북과 합의 코딩도 사용하였으며, 두 가지 주제(1) 촉진자 및 2) 의료 방문 시 스트레스에 대한 대화 장벽)를 보고했다. 각각의 테마는 각각 스트레스에 대한 의사소통을 촉진하거나 억제하는 의료 시스템, 임상의 행동 및 환자 행동의 세 가지 하위 테마를 통합했다. 보고된 내용은 예를 들어 촉진제 또는 장벽과 의료 시스템과 관련된 일련의 관찰이다. 이러한 유형의 분석은 [코드북 TA] 또는 [코딩 신뢰성 TA]에 더 적합한 것으로 보이는데, 이러한 유형의 TA에서는 분석 전에 테마를 미리 결정할 수 있고 테마가 데이터 도메인의 요약으로 구성될 수 있기 때문이다. 

To give an example, Senders et al. (2016), in research exploring patient perceptions of how stress is addressed in medical treatment for multiple sclerosis, which used TA ‘according to Braun & Clarke’ (p. 1678), but also involved the use of codebooks and consensus coding, reported two themes: 1) facilitators and 2) barriers to talking about stress in the medical visit. Each theme incorporated the same three sub-themes: the medical system, clinician behaviour and patient behaviour, that each facilitated or inhibited communication about stress. What is reported is a series of observations related to the topics of, for instance, facilitators or barriers and the medical system. This type of analysis seems better suited to a codebook or coding reliability TA, in which themes can be predetermined prior to analysis and themes may consist of summaries of data domains. 

공유 의미 주제shared meaning themes에 대한 명확한 예를 제공하기 위해, Tischner(2019)는 체중 감량 동기와 건강의 구성을 탐구하는 이야기 완성 연구에서 '모든 여성에게 좋은 체중 감량 활동'이라는 제목의 주제를 포함하여 다섯 가지 주제를 제시했다. 제목만으로도 이것이 중앙 조직 개념 주제와 함께 공유된 의미임을 분명히 전달한다. 즉, 테마 이름 지정의 중요성을 강조하고 있다.(Braun and Clarke 2013). 티슈네르의 주제는 [체중 감량]이 [여성의 외모를 개선하는 방법]으로 긍정적으로 프레임되며, 모든 여성이 원할 뿐만 아니라 바람직한 것이라는 의심받지 않는 지위를 차지하고 있으며, 모든 여성이 삶의 어느 시점에 필연적으로 참여하게 되는 것이라는 것을 포착하였다.
To provide a clear example of shared-meaning themes, Tischner (2019), in her story completion study exploring constructions of weight loss motivations and health, presented five themes, including one entitled ‘weight-loss activity as good for every woman’. The title alone clearly conveys that this is a shared meaning with a central organising concept theme – this highlights the importance of naming themes well (Braun and Clarke 2013). Tischner’s theme captured the way weight loss was positively framed as a way of improving appearance for women and occupied a mostly unquestioned position as desired and desirable by and for every woman, and something all women would inevitably engage in at some point in their lives.

의심할 여지 없이 혼란스러운 것은, 일부 TA 접근법, 특히 [코딩 신뢰성]과 [코드북 접근법]이 토픽 요약topic-summary을 주제theme로 취급한다는 것이다. 실제로는 이 둘은 주제-의미 패턴의 이해라는 측면에서 상당히 다르다. 실제로, 테마가 분석과 코딩에 앞서 개발된다면, (코드로부터 만들어진 코딩의 결과인) 주제적 패턴thematic pattern의 유형을 상상하는 것이 어렵기 때문에, 주제 요약 이상의 것이 될 수 있을 것 같지 않다. [테마]가 [중심 개념에 의해 뒷받침되는 공유된 의미의 패턴]이 되려면, 입력input이 아닌 분석적 출력analytic output이어야 한다. '무엇이 테마인가'에 대한 개념적 혼란 외에도 [토픽을 테마로 사용하는 것]도 [분석적 조기종결]의 또 다른 예가 될 수 있다(Connelly and Peltzer 2016).

What is no doubt confusing is that some TA approaches, particularly coding reliability and codebook approaches, treat such topic summaries as themes, when these are quite different from understandings of patterns of thematic-meaning. Indeed, if themes are developed prior to any analysis and coding, it is unlikely they can be much more than topic summaries, as it’s difficult to conceive of the type of thematic patterning that is the outcome of coding, built from codes, being fully anticipated in advance of any or much analytic work taking place. For themes to be patterns of shared meaning underpinned by a central concept, they must be analytic outputs, not inputs. In addition to the conceptual confusion around ‘what is a theme’, the use of topics as themes can also be another example of analytic foreclosure (Connelly and Peltzer 2016).

우리는 연구자들이 주제에 대한 이해를 반성하고, '공유된 의미로서의 주제'와 '공유된 토픽으로서의 주제'를 knowingly and reflectively하게 사용하고, 성찰적 TA에서 토픽 요약을 '주제'로 사요한 경우, 그 이유를 명확히 정당화하도록 권장한다.

The take away … We encourage researchers to reflect on their understanding of themes, to use themes-as-shared-meaning and themes-as-shared-topic knowingly and reflexively, and to clearly justify any use of topic summaries for ‘themes’ in reflexive TA.

문제 9: 새로운 테마 – '기존 분석으로서의 주제'와 '분석의 결과로서의 주제'를 혼동
Problem nine: emerging themes – confusing ‘themes-as-pre-existing analysis’ with ‘themes-as-the-outcome of analysis’

일부 연구자와 방법론자들이 주제에 대해 쓰는 방식을 보면, 그들은 주제를 개념화할 때, 분석 이전에 데이터 세트에 이미 숨어 있었던 무언가로 개념화하는 것처럼 보인다. 이러한 개념화 하에서 연구자의 임무는 보고를 위해 이러한 테마를 찾고 검색하는 것입니다. 이러한 주제는 [데이터에 대한 해석적 관여를 통해 능동적으로 만들어낸 것]이라기 보다는 연구자가 찾아낸 ['모래에 흩어진 다이아몬드'] 같은 것으로 본다. 이것은 게스트, 번스, 존슨 (2006:66)이 더빙한 것처럼 사실상 '주제적 발견thematic discovery'이다. 
The way some researchers and methodologists write about themes, they appear to conceptualise them as entities that pre-exist analysis, lurking about in the dataset. The researcher’s task is to locate and retrieve these themes, for reporting. Such themes are ‘diamonds scattered in the sand’ (Braun and Clarke 2016, 740), found by the researcher, rather than actively created by them through their interpretative engagement with data. This is effectively ‘thematic discovery,’ as Guest, Bunce and Johnson (2006: 66) dubbed it.

테마가 모래 속의 다이아몬드라는 개념은 수많은 TA 논문 저자들이 사용하고 TA와 같은 질적 방법의 비평가들에 의해 테마 개발의 과정으로 떠오른 '테마가 떠올랐다themes emerged'라는 구절에서 분명하게 나타난다. 우리는 'emergent themes'라는 개념이 IPA(그리고 때로는 TA)와 같은 접근법에 사용되어 테마의 귀납적 생성을 반영한다는 것은 받아들이지만, 우리는 '테마가 나타났다'는 주장의 함축으로 인해 골머리를 앓고 있다. 이 표현은, 일단 주제가 (잠재적으로 불투명한) 데이터 깊이에서 자신의 모습을 드러낸 경우, [연구자의 개입이라고는 추출extraction외에는 거의 없이 데이터에 주제가 존재한다는 것]을 암시하는 과정을 떠오르게 한다.

This notion of themes as diamonds in the sand is evident in the phrase ‘themes emerged’, used by countless authors of TA papers, and evoked by critics of qualitative methods like TA, as the process of theme development (e.g. ‘thematic analysis in which themes somehow miraculously emerge from the data’; St. Pierre 2019, 4). We appreciate that the concept of ‘emergent themes’ is used in approaches such as IPA (and sometimes TA) to reflect the inductive creation of themes, but we are troubled by the implications of the claim ‘themes emerged’. The phrasing evokes a process that suggests that themes present from data with little intervention from the researcher other than extraction, once the themes reveal themselves from the (potentially murky) data depths.

우리는 2006년 논문에서 '테마가 나타난다themes emerge'라는 언어에 대해 다음과 같이 비판했습니다. '주제의 출현'이나 '발견됨discovered'에 대한 설명은 [분석 과정에 대한 수동적인 설명]으로, 패턴/테마를 파악하고, 관심사를 선정해 독자에게 보고하는 과정에서 [연구자가 늘 하는 적극적인 역할을 부정]한다'(80쪽). 우리는 엘리 외 연구진(1997, 205–6)을 인용했다. Ely는 '테마가 어디엔가 존재reside한다면, 그것들은 [우리의 데이터에 대해 우리가 생각하고]과 [우리가 이해하는 대로 연결을 만드는] [우리의 머릿속]에 존재하고 있을 것이다.' 우리의 주장은 특별히 설득력이 없었던 것 같다. 왜냐하면 많은 연구자들이 우리의 논문을 인용하고 우리의 접근법을 따르고 있다고 주장했지만, 그들은 데이터에서 'the themes that emerged'를 언급했기 때문이다. (이것은 의심할 여지 없이 문제 2와 연결된다). 
We were critical of the language of ‘themes emerge’ in our 2006 paper: ‘An account of themes “emerging” or being “discovered” is a passive account of the process of analysis, and it denies the active role the researcher always plays in identifying patterns/themes, selecting which are of interest, and reporting them to the readers’ (p. 80). We quoted Ely et al. 1997, 205–6) who argued that ‘if themes “reside” anywhere, they reside in our heads from our thinking about our data and creating links as we understand them.’ It seems that our argument was not particularly persuasive, as so many researchers citing our paper and claiming to follow our approach, refer to ‘the themes that emerged’ from their data (this connects, no doubt, to Problem two). 

우리는 성찰적 TA의 세 번째 단계인 '테마 검색searching'이라고 이름붙인 대한 우리의 (초기) 표현 때문에 [데이터에 이미 존재하는 entities]로 주제를 개념화하는 혼란을 야기했을 가능성이 높다는 것을 인정한다. 이러한 이유로, 우리는 이 단계에 '초기 테마 생성generating'이라고 레이블을 다시 붙여서, 주제 생성theme creation에 대한 연구자의 적극적인 역할과 처음 개발할 때 테마의 잠정성provisionality을 강조하였다. 주제를 '이미 존재하는 것의 분석'으로 개념화하는 것은 [토픽으로서의 주제]와 [분석적 입력으로서의 주제]에 더 잘 들어맞을지도 모른다. 일부 TA 지지자들은 테마를 [entities that pre-exist analyisis]로 개념화하는 듯 보이지만, 이는 반사적 TA와 일치하지 않는다.

We acknowledge that our (initial) phrasing of the third phase of reflexive TA – ‘searching for themes’ – has likely contributed to confusion around the conceptualisation of themes as pre-existing entities that reside in data. For this reason, we have, for now, relabelled this phase ‘generating initial themes’ to highlight the active role of the researcher in theme creation and the provisionality of themes when first developed. A ‘pre-existing analysis’ conceptualisation of themes can perhaps be reconciled with conceptions of topics as themes and themes as analytic inputs, and some TA proponents do appear to conceptualise themes as entities that pre-exist analysis, but this does not align with reflexive TA.

우리는 반사적인 TA를 사용하는 연구자들이 [테마 생성]창의적이고 적극적인 과정으로 서술하며, 테마들이 생겨났다emerged고 주장하는 것은 언제나 지양할 것을 권고한다.3

The take away … We encourage researchers using reflexive TA to write about theme generation as a creative and active process, one they are central to, and to always avoid claiming that themes emerged.3

10번 문제: 우리가 말하는 것에 대한 비판적인 수용
Problem ten: uncritical acceptance of what we say

우리가 강조하고 싶은 마지막 문제는, 정말로 절차주의라고 불릴 수 있다. 그러나 우리는 '비판적이고 사고력 있는 연구자이자 작가가 되라'는 암묵적이고 명시적인 우리의 메시지가 10번 조언과 모순되는 것으로 보이지 않길 바란다. 퀄리티에 대한 우리의 강조는 맹종적인 것, 생각 없이 절차를 고수하는 것을 단념시키는 것을 의미한다. 오히려, 우리는 이론적으로 알고 반사적이며 '생각하는aware' TA 사용을 권장한다. 우리는 TA의 다양성과 유연성, 분석 및 품질 절차가 패러다임 및 인식론적 가정을 반영하는 방법을 이해하는 연구자에게 과제를 준다. 우리는 질적 연구자에게 이론적으로 민감하고 창의적인 연구를 위한 유연한 '시작점'을 제공하려는 것이며, 그들이 자신만의 연구를 할 수 있도록 초대하려는 것이다. 성찰적 TA를 잘 수행하기 위해서는, [이론, 데이터 지향 등과 관련한 선택을 내려야 하며], 이것을 [명확하며, 일관성 있게 집행enacted]하여야 한다.
The final problem we want to highlight could, indeed, be called proceduralism. But we hope our implicit and explicit message to ‘be a critical, thinking researcher and writer’ makes this point not seem contrary. Our emphasis on quality involves discouraging slavish or unthinking adherence to procedures, and any accusation of that represents a misconceptualisation of our articulation of TA (and qualitative research more widely). Rather, we encourage theoretically-knowing, reflexive and ‘aware’ use of TA; we task researchers with appreciating the diversity and flexibility of TA, and the ways analytic and quality procedures reflect paradigmatic and epistemological assumptions. We offer qualitative researchers reflexive TA as a flexible ‘starting point’ for theoretically sensitive and creative research and invite them to make it their own. To do good reflexive TA, choices related to theory, data orientation and more must be made, articulated and coherently enacted.

사려 깊은 연구자가 되어라; 방법론 작가들의 말을 맹종적으로 따르지 마라. 우리는 완전한 풀-패키지를 제공하는 것이 아니다; 우리는 당신의 모험을 항해할 수 있는 나침반과 지도를 제공하려는 것이다. 그리고 우리는 연구자들이 성찰적 TA든, 코딩 신뢰성 TA든, 코드북 TA이든 연구자의 철학적 헌신과 연구의 분석 목적에 가장 적합한 TA가 무엇일지 성찰할 것을 권장한다.

The take away … Be a thoughtful researcher; do not just slavishly follow what methodology writers say. We do not provide a full holiday package; we provide a compass and a map to navigate your adventure (Braun, Clarke, and Hayfield 2019b). And we encourage researchers to reflect on whether it is a reflexive, coding reliability or codebook version of TA that is best suited to their philosophical commitments and the analytic purpose of their research.

검토자 및 편집자를 위한 평가 도구 소개
Introducing our evaluation tool for reviewers and editors

TA를 하는 연구자들은 그들이 할 수 있는 최고의 양질의 연구를 해야 할 중요한 책임이 있습니다. 그러나 출판된 작업은 또한 동료 검토, 편집자의 의사 결정 및 지침과 같은 품질 보증 프로세스를 거치며, 이러한 단계는 품질을 보장하는 데에도 중요합니다. 불행하게도, 우리는 개인적인 경험을 통해 그것들이 (위에서 논의된 10가지 중 일부를 포함한) 문제들이 슬금슬금 들어오거나, 심지어 (학술지에 의해서) 요구될 수 있는 지점이 될 수 있다는 것을 안다. 저자들은 검토 과정을 진행하면서 곤란한 입장에 처할 수 있다. 검토자나 편집자가 문제가 되는 것을 제안하거나 요구할 경우 저자들은 다음을 수행해야 한다.
Researchers who do TA have an important responsibility to do the best quality research they can. But published work also goes through quality assurance processes – peer review, and editorial decision making and guidance – and these steps are also important for ensuring quality. Unfortunately, we know from personal experience they can also be the points at which problems (including some of the 10 discussed above) can either creep in, or even be demanded. Authors can be in a tricky spot navigating the review process. If reviewers or editors suggest or demand something problematic, authors have to:

• 1) 문제가 있다는 것을 인지한다.
  
• 2) 해쳐나갈 방법을 찾습니다.
• 1) recognise that it is problematic; and
• 2) find a way to navigate through it.

우리가 이 논문을 시작한 것과 같은 검토자나 편집자의 논평에 직면했을 때 반사적인 TA 연구의 저자는 무엇을 해야 하는가? 그들은 반사적인 TA를 뒷받침하는 가정인 TA의 복수성에 대해 검토자와 편집자를 '교육'하도록 시도해야 하는가? 그들은 모든 질적 분석 접근방식을 포괄하는 단일 품질 표준의 부족을 강조해야 하는가? (Levitt et al. 2018) 그렇다! 우리는 저자들이 본 논문과 다른 곳에서 제공하는 정보를 사용하여 [편집자와 검토자의 요청 또는 요구사항에 대한 문제제기challenges]를 정당화하기 위해 [자기 연구의 가치를 설명하고 방어할 것]을 권장한다. 우리는 리뷰와 편집 피드백에 대한 우리의 반응을 '모범 사례' 문헌에 포함시켜야 합니다.

What is the author of a reflexive TA study to do, when faced with a reviewer or editor comment like the one we started this paper with? Should they attempt to ‘educate’ reviewers and editors about the plurality of TA, the assumptions underpinning reflexive TA? Should they highlight the lack of a single quality standard that cuts across all qualitative analytic approaches? (Levitt et al. 2018) Yes! We encourage authors to explain and defend their research values, using the information provided in this paper and elsewhere to justify their challenges to requests or requirements from editors and reviewers. We should embed our responses to reviews and editorial feedback in ‘best practice’ literature. 

그러나 저자는 여기까지만 할 수 있을 뿐이다. 궁극적으로는 편집자와 리뷰어가 광범위한 연구 커뮤니티에서 논의되고 개발된 품질 표준의 집행(또는 집행실패)에 대한 책임을 진다. 양질의 TA의 출판을 용이하게 할 수 있는 몇 가지 기본 편집 관행이 있다. 

• 편집자는 자신의 방법론적 한계뿐만 아니라 이론적/개념적, 방법론적 가정 및 가치를 이해해야 한다.
  
• 편집자는 TA 원고를 심사할 수 있는 적절한 방법론적 전문지식을 갖춘 심사자를 적어도 한 명 선택해야 한다(Levitt 등 2018).
  
• 편집자는 저널의 편집 위원회가 적절한 검토자 선택을 안내하는 데 도움이 될 수 있는 광범위한 전문 지식을 가진 질적 방법론자를 한 명 이상 포함하도록 보장해야 한다.

However, authors can only argue so far … And editors and reviewers hold ultimate responsibility for enacting (or failing to enact) the quality standards debated and developed in the wider research community. There are some basic editorial practices that can facilitate the publication of good quality TA:

• editors should understand not just their own methodological limits, but their theoretical/conceptual and methodological assumptions and values;
• editors should select at least one reviewer with appropriate methodological expertise to review TA manuscripts (Levitt et al. 2018); and
• editors should ensure the journal’s editorial board includes at least one qualitative methodologist with wide-ranging expertise who can help guide appropriate reviewer selection

– 편집자가 질적 방법론자가 아닌 경우 마지막 요점은 매우 중요합니다. 편집자가 선택한 '전문가' 검토자 중 한 명이라도 TA에 대한 매우 광범위하고 깊이 있는 지식을 가지고 있지 않다면, 어떻게 형편없는 연습이 질문이나 도전을 받지 않는지, 그리고 우리가 문서화한 문제들이 그렇게 흔해졌는지 쉽게 알 수 있다.
– this latter point is vital if the editor is not a qualitative methodologist. Unless at least one of the ‘expert’ reviewers chosen by the editor has very wide-ranging and in-depth knowledge of TA, it is easy to see how poor practice is not questioned or challenged, and how the problems we have documented have become so common.

TA와 관련하여 더 나은 편집(및 검토자) 관행을 촉진하기 위해 TA와 관련된 주요 긴장 및 모범 사례 중 일부를 제시하는 편집자와 검토자를 위한 평가 질문 목록을 개발했다(표 1 참조). 이러한 중요한 질문들은 적어도 우리가 보는 몇몇 공개된 문제들을 빠르고 쉽게 해결할 수 있다. 예를 들어 저널에 제출할 때 TA 저자가 편집자의 주의를 끌도록 권장한다.
To facilitate better editorial (and reviewer) practice in relation to TA, we have developed a list of evaluation questions for editors and reviewers that lay out some of the key tensions and best practices related to TA (see Table 1). These critical questions can offer a quick and easy resolution to at least some of published problems that we see. We encourage TA authors to bring these to editors’ attention, for instance, when submitting to a journal.

마지막으로 저널 편집자가 TA 및 기타 질적 논문에 대해 더 원고 길이를 더 길게 할 수 있도록 제공할 것을 권고한다(Levitt et al. 2018, 2017). 짧은 단어 수는 TA 연구가 보고되는 방법을 상당히 제약할 수 있으며, 이는 모든 종류의 방법으로 명백히 더 나쁜 관행을 야기할 수 있다. 레빗 외 연구진(2018)이 주장한 것처럼, 품질 기대와 맥락화, 연구 성찰성, 데이터 추출물을 통한 발견 사례화는 더 많은 원고 페이지를 요구한다. 저널이 주로 디지털화되면서 확장의 폭이 넓어졌습니다. 그러나 우리는 데이터나 방법론적 해설이 품질 판단 및 프로세스에 필수적인 것으로 보기 때문에 2차 표 또는 추가 온라인 부록으로 밀려나는 솔루션을 옹호하지 않을 것이다(Braun and Clarke 2019b).
Finally, we recommend that journal editors provide longer page limits for TA – and other qualitative – papers (Levitt et al. 2018, 2017). Short word counts can significantly constrain how TA research is reported, which can contribute to apparently poorer practice, in all sorts of ways. As Levitt et al. (2018) argued, quality expectations and contextualisation, research reflexivity and illustrating findings with data extracts demand more manuscript pages. As journals are now primarily digital, the scope for expansion is increased. But we would not advocate for a solution where data or methodological commentary are relegated to secondary tables or additional online appendices, because we see these as integral to quality judgements and process (Braun and Clarke 2019b).

결론
Conclusion

TA의 품질을 논의하기 위해, 우리는 TA에 대한 성찰적 접근 방식을 인용하거나 따르고 있다고 주장하는 발표된 TA 연구에서 10가지 일반적인 문제를 설명했다. TA가 하나의 접근법이라고 가정하는 이들 중 첫 번째 문제는 다른 대부분의 문제의 기초가 된다. 그리고 실제로, TA의 다양성과 다원성 - TA가 실증주의에서 비판적 질적 패러다임에 이르기까지 - TA 연구의 품질 표준을 규정하는 데 있어 질적 연구 커뮤니티의 핵심 과제를 제시하며, 이는 광범위한 질적 논의를 지속해 온 문제이다.

In order to discuss quality in TA, we have delineated ten common problems in published TA research that cites, or claims to follow, our reflexive approach to TA. The first of these – assuming TA is one approach – underlies most of the other problems. And indeed, it is the diversity and plurality of TA – that TA ranges from positivist to critical qualitative paradigms – that presents a key challenge for the qualitative research community in demarcating quality standards for TA research, an issue that has dogged wider qualitative quality discussions. 

출판되는 TA의 품질을 향상시키기 위해, 우리는 연구자들이 양질의 실천quality practice를 포함하여, 분석적 실천과 연구의 존재론적 및 인식론적 기반 사이의 관계를 성찰하고, TA를 knowingly, deliberatively and reflexively 사용할 것을 권장한다. 우리는 이를 실현하기 위해 연구 품질에 대한 효과적인 중재자인 검토자 및 편집자를 지원합니다. 이를 위해 TA 원고를 검토하거나 편집할 때 고려해야 할 중요 질문 20개를 제공했습니다.

To improve the quality of published TA, we encourage researchers to reflect on the relationship between analytic practices, including quality practices, and the ontological and epistemological foundations of their research, and to use TA knowingly, deliberatively and reflexively. We task reviewers and editors – who are effective arbiters of research quality – with supporting researchers in realising this. To this end, we provided twenty critical questions to consider when reviewing or editing TA manuscripts. 

하지만 우리가 TA에 대해 쓰는 모든 것들과 마찬가지로, 이것은 우리의 "현재" 생각을 반영할 뿐이며, 모든 것은 변한다. 따라서 반사적이든 다른 접근법이든 TA를 사용하는 모든 사람에게 가장 중요한 조언은 단순히 접근법에 대한 '주요 참조'가 아니라 [가장 최신]에 나온 글과 저자의 조언을 읽는 것이다. 그리고 마지막으로 TA는 [모든 목적에 적합한 방법]이 아님을 강조합니다! 적절하지 않을 때는 프로젝트에 적합하게 만들기 위해 노력하는 대신, 프로젝트에 어떤 다른 훌륭한 질적 분석 방법을 제공할 수 있는지 살펴보십시오.

But like everything we write about TA, this reflects our current thinking, and things change. So, our most vital piece of advice for anyone using TA, whether reflexive or another approach, is to read the most up-to-date writing and advice from authors, rather than just the ‘key reference’ for an approach. And finally, we emphasise that TA is not a method for all purposes! Instead of trying to make it fit, when it does not, explore what the many other wonderful qualitative analytic approaches might offer your project instead.

ABSTRACT

Developing a universal quality standard for thematic analysis (TA) is complicated by the existence of numerous iterations of TA that differ paradigmatically, philosophically and procedurally. This plurality in TA is often not recognised by editors, reviewers or authors, who promote ‘coding reliability measures’ as universal requirements of quality TA. Focusing particularly on our reflexive TA approach, we discuss quality in TA with reference to ten common problems we have identified in published TA research that cites or claims to follow our guidance. Many of the common problems are underpinned by an assumption of homogeneity in TA. We end by outlining guidelines for reviewers and editors – in the form of twenty critical questions – to support them in promoting high(er) standards in TA research, and more deliberative and reflexive engagement with TA as method and practice.

다중 비교에 관한 팩트와 픽션(J Grad Med Educ, 2021)
Facts and Fictions About Handling Multiple Comparisons
Gail M. Sullivan, MD, MPH
Richard S. Feinn, PhD

한 가지 측면은 많은 비교를 이용한 분석과 관련이 있다. 다중 독립 비교를 고려하지 않는 교육자와 연구자는 다음과 같은 검토자의 의견을 받을 수 있다. 

• 얼마나 많은 비교를 할 계획이었나요? 
• 이러한 다중 비교를 위해 어떻게 조정했습니까? 또는 
• 다중 비교가 통계적 추론에 어떤 영향을 미칩니까? 

One aspect concerns analyses using many comparisons. Educators and researchers who do not take into account multiple independent comparisons may receive reviewer comments such as:

• Where did you prespecify how many comparisons you planned to make?
• How did you adjust for these multiple comparisons? or
• How do the multiple comparisons affect your statistical inferences?

다중 비교를 고려하지 않으면 내부 타당성에 대한 의문이 제기될 수 있습니다(즉, 이러한 결과가 실제로 사실입니까?). 또한 검토자와 저자의 관점에서 저자에 대한 신뢰도를 낮출 수 있다(이 작가들은 그들이 뭘 하는지 알고 있을까? )임상의와 교육자로서 우리는 이러한 문제와 투명하고 잘 다루지 않을 경우 연구나 논문을 파멸시킬 수 있는 방법에 대해 잘 알지 못할 수 있다.

Not considering multiple comparisons can raise questions of internal validity (ie, are these findings actually true?). It can also lower, in the minds of reviewers and authors, confidence in the authors: Do these authors know what the heck they're doing? As clinicians and educators we may be less aware of these issues and how they can doom a study or paper if not handled transparently and well.

정량적 논문을 고려할 때 다음과 같은 3가지 질문이 즉시 제기된다. 

• (1) 본 논문은 내 환경 또는 교육생(외부 타당성, 일반화 가능성)에 적용되는가? 
  
• (2) 연구 대상 전체 모집단에 대한 우연 또는 사실로 인한 발견인가(위양성 대 실제 양성 발견) 및 
  
• (3) 소견의 크기 또는 의미(효과 크기)는 어느 정도인가?1  

이 사설은 많은 작가들에게 성배인 두 번째 이슈에 대해 간략하게 소개합니다: 상당한 P 레벨입니다.

When considering a quantitative paper, 3 questions immediately arise:

• (1) Does this paper apply to my setting or trainees (external validity, generalizability);
• (2) Are the findings likely due to chance or true for the overall population being studied (false vs true positive finding); and
• (3) How large or meaningful are the findings (effect size).1  

This editorial provides a brief introduction to the second issue, the holy grail for many authors: a significant P level.

기본으로 돌아가기
Back to Basics

왜 우리는 P 레벨을 소중히 여기는가? 두 평균을 비교하는 단일 비교부터 시작합시다. 내과 레지던트 그룹이 고가의 이사회 검사 준비 과정을 수강했지만 유사한 레지던트 그룹이 수강하지 않았다고 가정하고, 그룹 간 이사회 점수 평균을 비교하여 이 과정을 계속 진행해야 하는지 여부를 결정하려고 합니다. 귀무 가설이 참이라고 가정하면(즉, 그룹 간에 차이가 없다), P 값은 선택된 거주자(모든 전공의의 무작위 표본)가 적어도 발견된 크기의 두 가지 이사회 점수 수단에서 차이를 생성할 확률이다.
Why do we cherish P levels? Let's start with a single comparison, comparing 2 means. Suppose a group of internal medicine residents took an expensive board examination prep course and a similar group of residents did not, and we want to compare board score means between groups to determine if the course should be continued. If we assume that the null hypothesis is true (ie, there is no difference between the groups), the P value is the probability that our selection of residents—a random sample of all residents—produced a difference in the 2 board score means of at least the size found.

제1종 오류(alpha)는 연구팀이 합당하다고 인정하는 오류의 수준으로, 통계시험을 실시하기 전에 이를 선택해야 한다. 즉, 실제로 차이가 없을 때 그룹 간에 차이가 존재한다고 결론을 내릴 확률이다. 통계 테스트의 P 수준이 선택한 오류 수준보다 작은 경우(보통 5%(0.05)), 테스트 차이는 보드 준비 과정이 아니라 전공의의 선택으로 인해 발견된 차이(전체 모집단을 연구할 수 없기 때문에)일 5%의 확률만 갖는 것으로 본다. (즉, 시험 점수 차이가 우리 연구를 위해 선택된 거주자 때문에 발생할 5% 확률, 즉 우연에 의해서만 발생).

Type I error (alpha) is the error level deemed reasonable by the research team, who must select it before conducting the statistical test. It is the probability of committing a false positive error: in other words, of concluding that a difference between groups exists when there is truly no difference. If the P level from the statistical test is less than the selected error level, usually 5% (.05), we view the test difference as having only a 5% chance that the difference found is due to the selection of residents (as we cannot study the entire population) rather than the board prep course (ie, a 5% chance that the test score difference is due to the residents selected for our study, ie, by chance alone).

하지만 이 값비싼 이사회 준비 과정의 대상이 누구인지를 이해하는 데 중요한 추가 요소를 살펴보려면 어떻게 해야 할까요? 예: 교육 중 시험 점수, 레지던트 나이 및 성별, 미국 의대 졸업자 대 국제 의대 졸업자, 레지던트 중 마일스톤 등급(Milestones leveling) 또는 선호되는 아침식사 음료? 우리가 환자를 위한 많은 실험실 검사를 주문할 때도 이러한 문제가 발생할 수 있습니다.

But what if we wish to look at additional factors that might be important to understanding who should be targeted for this expensive board prep course? For example: in-training examination scores, resident age and gender, US medical graduate vs international medical graduate, Milestones ratings during residency—or preferred breakfast drink? These issues can occur when we order many lab tests for a patient, too.

 알파 또는 I형 오류 수준이 비교 시마다 0.05로 유지되면 하나 이상의 "통계적으로 유의한" 결과가 나올 확률은 5% 이상 증가합니다(그림 참조). 예를 들어, 10개의 비교의 경우 검사 중인 요인이 아닌 랜덤하게 선택된 주민 모집단(즉, 우연히)으로 인해 적어도 하나의 "통계적으로 유의한"(P < .05) 비교를 찾을 확률이 40%로 증가합니다. 
13개의 독립적인 비교의 경우, 우연히 "유의한" P 수준을 찾을 확률은 50%로 증가합니다.2  이러한 값을 familywise error rate이라고 하며, 이는 family of comparison에 의해 발생한다. 

If the alpha or type I error level remains at .05 for each comparison, the probability of at least one finding being “statistically significant” increases above 5% (see Figure). For example, for just 10 comparisons, the probability rises to 40% that you will find at least one “statistically significant” (P < .05) comparison that is due to the population of residents randomly selected rather than the factor under examination—that is, by chance. For 13 independent comparisons, the probability of finding a “significant” P level by chance increases to 50%.2  These are called family-wise error rates, for a family of comparisons.

아침 식사로 차를 마시는 전공의가 이 보드 준비 과정을 수강하는 데 가장 적합한 대상이라고 잘못 결론을 내릴 수 있는 것이다.

You could erroneously conclude that residents who drink tea for breakfast are the best target for taking this board prep course—and create tortured explanations for this finding in your Discussion section.

통계적 유요성은 허용 오차 수준(알파 또는 유형 I 오류)에 의해 결정되며, 표본 모집단이 전체 모집단과 유사할 가능성(예: 여러 기관에서 2020-2021년 내과 레지던트들이 모든 내과 레지던트들과 유사)을 반영한다는 점을 기억하라. 이 다중 비교 문제는 95% 신뢰 구간과도 관련이 있습니다. 다중 비교를 수행하고 각 비교에 대해 평균 차이의 95% 신뢰 구간을 생성하면 모든 구간에 평균의 실제 차이가 포함될 확률은 95% 미만입니다.
Remember that statistical significance is determined by the level of error accepted (alpha or type I error) and reflects the likelihood that the sampled population resembles the entire population (eg, that internal medicine residents in 2020–2021 at several institutions resemble all internal medicine residents). Note that this issue of multiple comparisons also pertains to 95% confidence intervals. If multiple comparisons are performed and a 95% confidence interval of the difference in means is created for each comparison, the probability that all the intervals will contain the true difference in means will be less than 95%.

극단적인 예로, 게놈 전체 연관 연구(GWAS)를 수행하는 연구자들이 다중 테스트에 적응하지 않았다고 가정해 보자. GWAS는 질병과의 연관성에 대해 100,000개의 다른 위치를 검사할 수 있다. 각 위치에 0.05의 알파 수준을 사용한 경우 위양성 값이 많이 나올 수 있습니다.

As an extreme example, imagine if researchers conducting genome-wide association studies (GWAS) did not adjust for multiple testing. GWAS may test 100 000 different loci for an association with a disease. If an alpha level of .05 was used for each locus you can guarantee there would be numerous false positives.

낚시 원정대 및 P-해킹
Fishing Expeditions and P-Hacking

낚시 탐험대 또는 [P-해킹]이라는 용어는 연구자들이 독립변수와 종속변수의 관계에 대한 모든 가능한 비교에 대해 그들의 데이터를 검사할 때를 가리킨다. 

• 독립 변수(예: 인구통계학적 요인, 대학원생 수준, 전문성, 학부 위치, 레지던트 순환) 
• 종속 변수(예: 웰빙 지수, 번아웃 지수, 번아웃 서브그룹 요소, 워라밸 지수) 

더 많이 비교할수록 P 수준 < .05가 비교 대상으로 발견될 가능성이 높으며, 귀무 가설(즉, 차이 없음)은 부정확하게 기각될 수 있다. 이 용어들은 일반적으로 경멸적이며, 예를 들어 논문의 요약 또는 결과 섹션과 같이 중요한 결과만 보고되는 경우를 위해 남겨둔다.
The terms fishing expedition or P-hacking refer to when researchers examine their data for every possible comparison of independent variables (eg, numerous demographic factors, postgraduate year levels, specialties, undergraduate locations, residency rotations) and/or dependent variables (eg, well-being index, burnout index, burnout subgroup elements, work-life balance index). The more comparisons, the more likely a P level of < .05 will be found for a comparison, and the null hypothesis (ie, no difference) may be rejected inaccurately. These terms are generally pejorative and reserved for when only the significant findings are reported, for example in the Abstract or Results section of a paper.

이 문제는 [흥미로운 발견을 어디서 찾을 수 있을지에 대한 기대 없이 완전히 새로운 질문을 탐구할 때]에는 피할 수 없을지도 모른다. 그러나 의학 교육에서 이것은 거의 사실이 아니다; 우리는 보통 이전의 연구나 그럴듯한 이론에 근거한 가설을 가지고 있다. '낚시'가 나타나는 것을 피하려면 '방법' 섹션에서 자신의 접근 방식에 대한 문헌과 이론적 틀을 바탕으로 계획된 비교를 미리 규정하는 것이 최선이다. 이 fishing의 문제는 임상시험에서 충분히 자주 발견되어 이제 연구자들이 데이터를 수집하고 분석하기 전에 주요 결과물을 공공 사이트(clinicaltrials.gov)에 게시하는 것이 의무화 되었다. 데이터를 본 후에는 분석을 추가하고 싶은 유혹을 이겨내십시오!
This problem may be inevitable when exploring entirely new questions with no expectation of where the interesting findings may lie. However, in medical education this is rarely true; we usually have hypotheses based on prior work or plausible theory. To avoid the appearance of “fishing,” it is best to prespecify, based on the literature and theoretical framework for your approach, your planned comparisons in the Methods section. This fishing problem was found often enough in clinical trials that it is now mandatory for researchers to post the primary outcome(s) on a public site (clinicaltrials.gov) before the data are collected and analyzed. Resist the temptation to add additional analyses after you have seen the data!

그럴듯한 사전 가설이 없는 경우 많은 비교를 수행하고, 관련된 P 수준 및 신뢰 구간과 함께 모든 가설을 보고하고, 방법 절에 탐색 가설이며, 이러한 이유로 다중 비교를 조정하지 않았다고 기술할 수 있습니다. 검정 횟수가 증가함에 따라 모임별 오류율도 증가하므로 이러한 상황에서는 추론을 그리는 데 주의해야 합니다.
When there are no plausible prior hypotheses, it can be acceptable to make many comparisons, report all of them with the associated P levels and/or confidence intervals, and state in your Methods section that these were exploratory hypotheses and that no adjustment for multiple comparisons was made for this reason. Be cautious in drawing inferences in these situations: as the number of tests expands, so does the family-wise error rate.

비교 및 사전 계획 분석을 제한하는 이유
Why to Limit Comparisons and Pre-Plan Analyses

프로젝트를 준비하기 위한 첫 번째 단계는 문헌에 대한 심층적인 검토입니다.

• 다른 연구자들은 어떤 방법을 사용했나요?
• 어떤 이론이 다른 접근법을 뒷받침할 수 있는가?
• 우리의 지식에는 어떤 gap이 있을까요?

In preparing for a project, the first step is a deep dive into the literature:

• What methods did other researchers use?
• What theories may support different approaches?
• What gaps remain in our knowledge?

종종 이전 작업은 다음 단계로 구체적인 방향이나 질문을 제공합니다. 따라서 계획된 데이터 분석뿐만 아니라 데이터 수집도 제한할 수 있습니다. 데이터가 이미 수집되었다면(예: 의학대학원 교육 인증 위원회 및 국가 프로그램 관리자 그룹에는 방대한 데이터 수집이 있다), 질문에 답변하는 데 필요한 사항을 신중하게 선택하십시오.

Often prior work will provide you with specific directions or questions as next steps. This in turn will help you limit the collection of data as well as planned analyses of the data. If data were already collected (eg, Accreditation Council for Graduate Medical Education and national program director groups have enormous data collections to explore), choose carefully what you need to answer your question(s).

여기 문제가 있다: 다중 비교를 수정하지 않으면 복제 스터디에서 다른 연구자는 발견하지 못하는 위양성 결과를 찾을 위험이 있습니다. 다중 비교를 수정하면 실제로 존재하는 차이를 찾을 수 있는 통계적 검정력이 손실됩니다(위음성). 따라서, 당신의 질문에 가장 적합한 것으로 당신의 비교를 제한하세요.
Here's the conundrum: If you don't correct for multiple comparisons, you risk finding “significant” results that are false positives and that will not be found by others in replication studies. If you do correct for multiple comparisons, you lose statistical power to find differences that actually exist (false negatives). Ergo, limit your comparisons to what fits your questions best.

비교에 대한 수정이 필요하지 않은 경우도 있습니다. 예를 들어, [새로운 경험적 오리엔테이션 프로그램]이 현재 [미국 정신건강의학 인턴]에서 [6개월째에 집계된 전문직업성 마일스톤]에 미치는 영향을 보고 있다고 생각해 보십시오. 인턴들 중 절반은 새로운 일주일간의 체험 오리엔테이션을 받고, 나머지 절반은 대규모 그룹 오리엔테이션과 가상 오리엔테이션을 병행한다. 경험적 오리엔테이션 프로그램을 받은 사람들은 P < .05 수준에서 유의미하게 더 높은 점수를 받는다.
Correction for a comparison may not be needed in some instances. For example, consider that you are looking at the effects of a new experiential orientation week on intern performance on aggregated professionalism milestones at 6 months, in current US psychiatry interns. Half of the interns receive the new week-long experiential orientation, and the other half receive a combination of large group and virtual orientation sessions. Those with the experiential orientation score significantly (and meaningfully) higher at the P < .05 level.

아래의 하위그룹에 대해서 이차 분석을 계획합니다.

• 국제 의학 졸업생 대 미국 의학 졸업생,
  
• 남자 대 여자,
  
• 나이가 많은(30세) 대 어린(31세),
  
• USMLE 1단계 5분위수 및
  
• 대학 기반 프로그램과 비대학 기반 프로그램의 사용자.

You plan secondary analyses to look at subgroups:

• international medical graduates vs US medical graduates,
• male vs female,
• older (> 30) vs younger (< 31 years),
• USMLE Step 1 quintile, and
• those at university-based vs non-university-based programs.

이 예에서는 2차 분석에서는 다중 비교를 위해 조정이 필요할 수 있지만, 1차 분석에서는 correction이 필요하지 않다.
In this example, it is not necessary to correct for the primary analysis, although the secondary analyses may require adjustment for multiple comparisons.

다중 비교 처리 전략
Strategies for Handling Multiple Comparisons

계획 중인 가장 중요한 비교를 고려한 후 여러 개 이상의 비교를 수행할 경우 다중 비교를 반영하도록 분석을 조정하는 것을 고려해야 합니다. 비교할 항목을 결정하기 전에 데이터를 살펴본다면 이미 다중 비교를 수행한 것입니다. 우리는 당신이 진정으로 탐구적인 연구를 수행하는 것이 아니라면 이것을 하지 말 것을 제안합니다.
After considering the most important comparisons you plan to make, if you have more than a few, you should consider adjusting your analysis to reflect the multiple comparisons. (Remember that if you look at your data before deciding what comparisons to make, you have already made multiple comparisons. We suggest not to do this unless you are performing truly exploratory research.)

고려해야 할 많은 방법들이 있고, 전문은 물론 수많은 글들이 잘 묘사되어 있다. 이 가운데 본페로니 교정은 의학 교육에 많이 쓰인다. 본페로니 교정은 알파를 계획된 비교 횟수로 나누어 알파 수준(오류)을 하향 조정한다. 10개 비교의 경우 유형 I 오차가 0.05인 경우 수정된 알파 수준은 .05/10 또는 .005입니다. 이를 비교 오류율이라고도 합니다. 본페로니 교정은 기억하기 쉬워서 인기가 있지만, 특히 협회가 사실 서로 독립적이지 않을 경우 지나치게 보수적이다. 따라서 유형 II 오류(위음성)로 이어질 수 있다. 이 일반적인 접근법에는 많은 수정 사항이 있으며, 일부는 덜 보수적인 조정을 사용한다(예: 벤자미니-호흐버그 방법)은 일차 가설과 이차 가설의 알파 수준을 변화시키거나 모든 검정의 알파 수준을 더 낮은 알파 수준으로 변화시킨다(예: 0.05 대신 0.01).

There are many methods to consider, and full texts as well as numerous articles describe them well. Of these, the Bonferroni correction is often used in medical education. The Bonferroni correction adjusts the alpha level (error) downward by dividing alpha by the planned number of comparisons. For 10 comparisons, with a type I error of 0.05, the corrected alpha level is .05/10 or .005. This is sometimes termed the comparison-wise error rate. The Bonferroni correction is easy to remember and thus popular, but it is overly conservative, especially if the associations are not in fact independent of each other. Thus, it can lead to a type II error (falsely accepting the null hypothesis of no association). There are many modifications of this general approach; some include using a less conservative adjustment (eg, Benjamini–Hochberg method), varying the alpha level for primary and secondary hypotheses, or switching to a lower alpha level for all tests (eg, .01 instead of .05).

하지만 우리가 비교하고자 하는 다양한 비교가 서로 독립적이지 않다면 어떨까요? 아니면 우리가 25와 같이 많은 수의 비교를 한다면 어떨까요? 독립 변수 및 종속 변수가 상관관계가 있는 경우와 수많은 검정이 수행되는 상황에 대한 방법이 있습니다. 이 소개 기사의 범위를 벗어나, 독자들이 다중 비교와 방법을 지원할 수 있는 다양한 접근 방식에 대해 자세히 알아볼 수 있는 좋은 자료가 많이 있습니다(자료 참조).
But what if the various comparisons we want to make are not independent of each other? Or what if we are making a large number of comparisons, such as 25? There are methods for when independent and/or dependent variables are correlated and situations where numerous tests are performed. While beyond the scope of this introductory article, there are many good resources for readers to learn more about multiple comparisons and the various approaches that can support your methods (see Resources).

제한 사항에 대해 논의하는 방법
How to Discuss in Limitations

지금까지 살펴본 바와 같이, 데이터를 조사하기 전에(최적으로 데이터를 수집하기 전에) 결정을 내려야 하며, 이러한 결정이 결과의 "진실truth"에 영향을 미칠 수밖에 없습니다. 방법 섹션에서 비교 및 알파 오차 수준을 선택하여 추론을 명확하게 제시합니다. 그런 다음 토론 섹션에서 잘못된 긍정(우연히 관측된 차이) 또는 잘못된 부정(존재하나 찾지 못한 차이) 중 어느 방향으로든 결정이 결과에 영향을 미칠 수 있는 방법을 고려하십시오. 이 후자의 문제는 유형 II 오류(베타)의 결과로 더 자주 발생하며, 우리는 이를 다음 논의를 위해 저장해 둘 것이다. 방법의 결정으로 인한 잠재적 효과를 투명하게 나열하면 검토자, 편집자 및 독자의 관점에서 신뢰성이 향상되며, 장황할 필요도 없습니다. '지나친' 투명성은 '너무 적게'은 투명성보다 좋고, 과도한 단어는 개정 과정에서 싹쓸이할 수 있다.
As you have seen, decisions must be made before examining your data—optimally before even collecting your data—that will inevitably affect the “truth” of your findings. Clearly present your reasoning in choice of comparisons and alpha error levels in the Methods section. Then, in the Discussion section, consider how your decisions may have affected your findings in either direction: false positives (differences observed that are actually due to chance) or false negatives (no difference found when one does exist). This latter problem more often occurs as a result of a type II error (beta), which we will save for another discussion. Laying out the potential effects of your methods' decisions in a transparent way enhances credibility in the eyes of reviewers, editors, and readers, and does not have to be lengthy. It's better to have “too much” transparency vs “too little,” and any excess words can be trimmed away in the revision process.

결론들
Conclusions

이 기사는 의학교육연구에서 다중비교라는 주제를 거의 다루지 않는다. 교육자와 연구자들이 발표나 출판을 위해 기사를 읽고, 분석을 고려하고, 작품을 작성할 때 이 문제를 염두에 둘 수 있도록 인지도를 높였으면 한다. 가장 중요한 항목:
This article barely scratches the surface of the topic of multiple comparisons in medical education research. We hope to raise awareness so that educators and researchers keep this issue in mind when reading articles, considering analyses, and writing up their work for presentations or publications. Most important:

• 시작할 때 비교를 미리 계획합니다. 아직 분석하지 않았지만 분석을 수행하기 전에 데이터를 검토한 경우에는 이러한 사후 분석을 가능한 모든 비교로 간주하십시오.
• 비교가 서로 독립적일 가능성이 높은지 또는 일부 비교가 서로 관련이 있을 수 있는지 판단합니다.4 
• 여러 가지 비교를 위해 알파 수준(오차)을 조정하는 것을 고려해 보십시오.
• 방법 섹션에서 결정을 명확하게 제시합니다.
• 자신의 방법이 토론에서 발견한 내용에 어떤 영향을 미쳤는지 토론합니다.
• 의심스러울 때는 친절한 생물통계학자 한 명에게 물어보세요.

1. Preplan your comparisons at the start. If you have not, but have examined the data before deciding which analyses to make, consider these post-hoc analyses as all possible comparisons.
2. Decide if your comparisons are likely independent of each other or if some may be related to each other.4 
3. Consider adjusting your alpha level (error) for more than a few comparisons.
4. Present your decisions clearly in the Methods section.
5. Discuss how your methods may have affected your findings in the Discussion.
6. When in doubt, ask a friendly biostatistician.

A general introduction to adjustment for multiple comparisons

Shi-Yi Chen,1 Zhe Feng,2 and Xiaolian Yi3

Abstract

In experimental research a scientific conclusion is always drawn from the statistical testing of hypothesis, in which an acceptable cutoff of probability, such as 0.05 or 0.01, is used for decision-making. However, the probability of committing false statistical inferences would considerably increase when more than one hypothesis is simultaneously tested (namely the multiple comparisons), which therefore requires proper adjustment. Although the adjustment for multiple comparisons is proposed to be mandatory in some journals, it still remains difficult to select a proper method suitable for the various experimental properties and study purposes, especially for researchers without good background in statistics. In the present paper, we provide a brief review on mathematical framework, general concepts and common methods of adjustment for multiple comparisons, which is expected to facilitate the understanding and selection of adjustment methods.

Introduction

The statistical inference would be a critical step of experimental researches, such as in medicine, molecular biology, bioinformatics, agricultural science, etc. It is well acceptable that an appropriate significance level α, such as 0.05 or 0.01, is pre-specified to guarantee the probability of incorrectly rejecting a single test of null hypothesis (H0) no larger than α. However, there are many situations where more than one or even a large number of hypotheses are simultaneously tested, which is referred to as multiple comparisons (1). For example, it is common in clinical trials to simultaneously compare the therapeutic effects of more than one dose levels of a new drug in comparison with standard treatment. A similar problem is to evaluate whether there is difference between treatment and control groups according to multiple outcome measurements. Due to rapid advances of high-throughput sequencing technologies, it is also common to simultaneously determine differential expression among tens of thousands of genes.

The statistical probability of incorrectly rejecting a true H0 will significantly inflate along with the increased number of simultaneously tested hypotheses. In the most general case where all H0 are supposed to be true and also independent with each other, the statistical inference of committing at least one incorrect rejection will become inevitable even when 100 hypotheses are individually tested at significance level α=0.05 (Figure 1). In other words, if we simultaneously test 10,000 true and independent hypotheses, it will incorrectly reject 500 hypotheses and declare them significant at α=0.05. Of course, estimation of error rate would become more complex when hypotheses are correlated in fact and not all of them are true. Therefore, it is obvious that the proper adjustment of statistical inference is required for multiple comparisons (2). In the present paper, we provide a brief introduction to multiple comparisons about the mathematical framework, general concepts and the wildly used adjustment methods.

Mathematical framework

For a simultaneous testing of m hypotheses, the possible outcomes are listed in Table 1. Let’s suppose that the number of true H0 is m0, which is an unobservable random variable (0≤m0≤m). After performing statistical inferences we totally found R H0 being rejected and declared significant at the pre-specified significance level; and herein R is an observable random variable (0≤R≤m). Among the statistically rejected hypotheses of R, when R>0, we suppose that there are U H0 that have been incorrectly rejected. Similar to m0, U is also an unobservable random variable with equal to or larger than 0. Accordingly, counts of other possible outcomes could be deduced, including the correctly rejected H0 (R- U), correctly retained H0 (m0-U), and incorrectly retained H0 (m-R-m0+U).

Type I and II errors

For the statistical inference of multiple comparisons, it would commit two main types of errors that are denoted as Type I and Type II errors, respectively. The Type I error is that we incorrectly reject a true H0, whereas Type II error is referred to a false negative. Because the exact numbers of Type I and Type II errors are unobservable (as denoted in Table 1), we would intend to control the probability of committing these errors under acceptable levels. In general, the controlled probabilities of committing Type I and Type II errors are negatively correlated, for which therefore we must determine an appropriate trade-off according to various experimental properties and study purposes. If a significant conclusion has important practical consequence, such as to declare an effective new treatment, we would control Type I error more rigorously. On the other hand, we should avoid committing too many Type II errors when it intends to obtain primary candidates for further investigation, which is very common in studies of genomics. Here, we specially address the controlling of Type I error because it considerably increases for multiple comparisons.

Adjusted P value or significance level

In statistical inference, a probability value (namely P value) is directly or indirectly computed for each hypothesis and then compared with the pre-specified significance level α for determining this H0 should be rejected or not (3). Therefore, there are two ways for adjusting the statistical inference of multiple comparisons.

• First, it could directly adjust the observed P value for each hypothesis and keep the pre-specified significance level α unchanging; and this is herein referred to as the adjusted P value.
• Second, an adjusted cut-off corresponding to the initially pre-specified α could be also computationally determined and then compared with the observed P value for statistical inference.

In general, the adjusted P value is more convenient because in which the perceptible significance level is employed. However, it would be difficult or impossible to accurately compute the adjusted P value in some situations.

Measures accounting for Type I error

According to possible outcomes of multiple comparisons (Table 1), all efforts would be paid to the control of variable U, for which therefore various statistical measures have been proposed to account (4). Certainly, each of these measures has differential applications with respective strengths and weaknesses.

A simple and straightforward measurement is the expected proportion of variable U among all simultaneously tested hypotheses of m, which is referred to as the per-comparison error rate (PCER):

If each hypothesis is separately tested at significance level α, PCER will be equal to α when all H0 are true and independent with each other. Obviously, it becomes PCER=αm0/m≤α when not all H0 are true in fact. However, control of PCER would be less efficient because we would obtain at least one false positive at significance level α=0.05 when 20 true H0 are simultaneously tested.

In practical applications, it is more reasonable to jointly consider all hypotheses as a family for controlling Type I error; and therefore the most stringent criterion is to guarantee that not any H0 is incorrectly rejected. Accordingly, the measure of familywise error rate (FWER) is introduced and defined as the probability of incorrectly rejecting at least one H0:

The control of FWER has been widely used especially when only a few or at most several tens of hypotheses are simultaneously tested. However, FWER is believed to be too conservative in cases that the number of simultaneously tested hypotheses reaches several hundreds or thousands.

Another popular measure for controlling Type I error of multiple comparisons is the false discovery rate (FDR), which is defined as the expected proportion of incorrectly rejected H0 among all rejections:

Therefore, FDR allows the occurrence of Type I errors under a reasonable proportion by taking the total number of rejections into consideration. An obvious advantage of FDR controlling is the greatly improved power of statistical inference, which would be useful when a large number of hypotheses are simultaneously tested.

Common methods for adjustment

Suppose that there are m hypotheses of H1, …, Hm being simultaneously tested, which correspond to the initially computed P values of p1, …, pm. Accordingly, the adjusted P values of multiple comparisons are denoted as p′1, …, p′m. The pre-specified and adjusted significance levels are further denoted as α and α’, respectively. Furthermore, we assume that all hypotheses are ordered as H(1), …, H(m) according to their observed P values of p(1)≤...≤p(m); and the associated P values and significance level are denoted as p(i), p′(i) and α′(i) for the ith ordered hypothesis of H(i). We here provide an illustrative example for demonstrating differences among various adjustment methods. Let m=6 and α=0.05; and the initially computed P values corresponding to six hypotheses are p1=0.1025, p2=0.0085, p3=0.0045, p4=0.0658, p5=0.0201 and p6=0.0304, respectively.

Bonferroni adjustment

Bonferroni adjustment is one of the most commonly used approaches for multiple comparisons (5). This method tries to control FWER in a very stringent criterion and compute the adjusted P values by directly multiplying the number of simultaneously tested hypotheses (m):

Equivalently, we could let the observed P values unchanging and directly adjust the significance level as α′ = α/m = 0.05/6. For our illustrative example the adjusted P values are compared with the pre-specified significance level α=0.05, and the statistical conclusion is obviously altered before and after adjustment (Figure 2). Bonferroni adjustment has been well acknowledged to be much conservative especially when there are a large number of hypotheses being simultaneously tested and/or hypotheses are highly correlated.

Holm adjustment

On the basis of Bonferroni method, Holm adjustment was subsequently proposed with less conservative character (6). Holm method, in a stepwise way, computes the significance levels depending on the P value based rank of hypotheses. For the ith ordered hypothesis H(i), the specifically adjusted significance level is computed:

The observed P value p(i) of hypothesis H(i) is then compared with its corresponding α′(i) for statistical inference; and each hypothesis will be tested in order from the smallest to largest P values (H(1), …, H(m)). The comparison will immediately stop when the first p(i) ≥ α′(i) is observed (i=1, ..., m) and hence all remaining hypotheses of H(j) (j=i,…,m) are directly declared non-significant without requiring individual comparison (Figure 3). Alternatively, it could directly compute the adjusted P value for each hypothesis and produce same conclusion (Figure 2).

Hochberg adjustment

Similar to Holm method, Hochberg adjustment employs same formula for computing the associated significance levels (7). Therefore, the specifically adjusted significance level for ith ordered hypothesis H(i) is also computed:

However, Hochberg method conducts statistical inference of hypothesis by starting with the largest P value (H(m), …, H(1)). When we first observe p(i) < α′(i) for hypothesis H(i) (i=m,…,1), the comparison stops and then concludes that the hypotheses of H(j) (j=i,…,1) will be rejected at significance level α. The adjusted P values of Hochberg method are shown in Figure 2. It is also known that Hochberg adjustment is more powerful than Holm method.

Hommel adjustment

Simes (1986) modified Bonferroni method and proposed a global test of m hypotheses (8). Let H={ H(1), …, H(m)} be the global intersection hypothesis, H will be rejected if p(i) ≤ iα/m for any i=1, …, m. However, Simes global test could not be used for assessing the individual hypothesis Hi. Therefore, Hommel (1988) extended Simes’ method for testing individual Hi (9). Let an index of j=max{i∈{1, ..., m}:p(m−i+k)>kα/i for k=1, ..., i} be the size of the largest subset of m hypotheses for which Simes test is not significant. All Hi (i=1,…,m) are rejected if j does not exist, otherwise reject all Hi with pi≤α/j. Although straightforward explanation for computing the adjusted P values of Hommel method would be not easy, this task could be conveniently performed by computer tools, such as the p.adjust() function in R stats package (http://cran.r-project.org).

Benjamini-Hochberg (BH) adjustment

In contrast to the strong control of FWER, Benjamini and Hochberg [1995] introduced a method for controlling FDR, which is herein termed BH adjustment (10). Let be the pre-specified upper bound of FDR (e.g., q=0.05), the first step is to compute index:

If k does not exist, reject no hypothesis, otherwise reject hypothesis of Hi (i=1,…,k). BH method starts with comparing H(i) from the largest to smallest P value (i=m,…,1). The FDR-based control is less stringent with the increased gain in power (Figure 2) and has been widely used in cases where a large number of hypotheses are simultaneously tested.

Benjamini and Yekutieli (BY) adjustment

Similar to BH method, a more conservative adjustment was further proposed for controlling FDR by Benjamini and Yekutieli [2001], and this method is also termed BY adjustment (11). Let again q be the pre-specified upper bound of FDR, the index k is computed as:

If does not exist, reject no hypothesis, otherwise reject hypothesis of Hi (i=1,…,k). BY method could address the dependency of hypotheses with increased advantages.

Conclusions

Although substantial literature has been published for addressing the increased Type I errors of multiple comparisons during the past decades, many researchers are puzzling in selecting an appropriate adjustment method. Therefore, it would be helpful for providing a straightforward overview on the adjustment for multiple comparisons to researchers who don’t have good background in statistics. Of course, there are many theoretical topics and methodological issues having not been addressed yet in the present paper, such as resampling-based adjustment methods, choice of significance level α, and specific concerns for genomics data. It is also beyond the scope of this paper to discuss the sophisticated mathematical issues in this filed.

J Grad Med Educ. 2021 Aug;13(4):457-460.

 doi: 10.4300/JGME-D-21-00599.1. Epub 2021 Aug 13.

Facts and Fictions About Handling Multiple Comparisons

Gail M Sullivan 1, Richard S Feinn 2

Affiliations collapse

Affiliations

• 1is Editor-in-Chief, Journal of Graduate Medical Education (JGME), and Associate Director for Education, Center on Aging, and Professor of Medicine, University of Connecticut Health Center.
• 2is Statistical Editor, JGME, and Associate Professor of Medical Sciences, Quinnipiac University.

• PMID: 34434505
• PMCID: PMC8370375 (available on 2022-08-01)
• DOI: 10.4300/JGME-D-21-00599.1

통계학개론 (Adv Health Sci Educ Theory Pract. 2019)
Statistics 101

Geoff Norman1

간단한 사전 테스트를 준비했습니다. 그건 이런 식이다:
I have devised a simple pretest. It goes like this:

• 대학원생 중 한 명이 최근 연구 결과를 보여 줍니다. 이것은 간단한 두 그룹 비교입니다 – 세부 사항은 중요하지 않습니다. 독립적인 표본 t 검정을 사용하여 두 그룹 평균을 비교했는데, 이는 단지 기호화 –> p = .0498인 것으로 밝혀졌다.
  One of your graduate students shows you the findings from her latest study. It is a simple two group comparison – the details do not matter. She compared the two group means using an independent sample t test, which turned out to be just significant –> p = .0498.
• 동네 술집에서 축하를 하고 나면, 당신은 최근 복제 불가능에 대한 모든 홍보에 시달립니다. 그래서 다음 날 당신은 그녀가 확실히 하기 위해 연구를 반복해야 한다고 주장합니다. 그녀는 전에 했던 것처럼 똑같이 합니다. 디자인은 바뀐 것이 없습니다.
  After due celebration at the local pub, you are haunted by all the recent publicity about non-replication. So the next day you insist that she repeat the study just to be sure. She does it exactly like she did before. Nothing has changed in the design.
• 질문: 순전히 통계적인 근거로, 두 번째 연구에서 동일한 결론에 도달할 확률, 즉 귀무 가설을 두 번 기각할 확률은 얼마입니까?
  QUESTION: On purely statistical grounds, what is the probability that you will arrive at the same conclusion in the second study; that is, you will reject the null hypothesis a second time?

다음 페이지의 각주1에서 정답을 찾을 수 있을 것입니다. 정답을 맞힌 사람은 올바른 이유(어떻게 나올지에 대한 정당한 논리적 주장)로 다음 섹션을 건너뜁니다. 나머지는, 계속 읽어보세요. 
You will find the correct answer in the footnote1 on the next page, just to keep you from peeking. For those who got it right, for the right reasons (a legitimate logical argument as to how it comes out that way), skip the next section. For the remainder, read on.

1 귀무 가설을 두 번째로 기각할 확률은 0.50입니다.
1 The probability that you will reject the null hypothesis a second time is 0.50


통계논리학의 기초
A primer of statistical logic

복습할 시간이에요. 통계 추론의 기본 논리는 이제 약 100년 정도 되었고(RIP 로날드 경), 반복된 도전(Cohen 2016)을 견뎌냈지만 여전히 살아있다. 효과 크기, 신뢰 구간 및 승산비를 추가했지만, 좋든 싫든 마법의 "p < .05"가 없으면 정량적으로 게시하는 데 어려움이 있을 것입니다. 
It’s time for a review. The basic logic of statistical inference is now about 100 years old (RIP Sir Ronald), and has withstood repeated challenges (Cohen 2016), but lives on. We’ve added effect sizes and confidence intervals and odds ratios, but like it or not, you still will have trouble publishing anything quantitative without the magical “p < .05”. 

그러니 그것이 무엇인지 그리고 우리에게 말하지 않는 것을 명확히 하자. 쉽게 설명하려면 이 책에서 가장 간단한 예를 들어 샘플을 모집단에 비교하는 경우를 살펴보겠습니다. 예를 들어, 우리는 "광도"와 소아과 유사점을 찾았다고 가정해 봅시다(그런데 광도는 작동하지 않습니다). 노화에 따른 인지력 저하를 줄이는 대신, 우리는 다른 쪽 끝에서 일할 것입니다. 그리고 유동적인 지능의 흐름을 조금 더 좋게 만들고 아이들의 IQ를 높이기 위해 고안된 온라인 개입인 윤활성을 고안할 것입니다. 
So let’s be clear on what it is and is not telling us. To make it easy, let’s take the simplest case in the book—comparing a sample to a population. Suppose, for example, we have come up with a pediatric analog to “Luminosity” (which does NOT work, by the way). Instead of reducing cognitive decline with aging, we’re going to work at the other end, and devise an online intervention, Lubricosity—designed to make fluid intelligence flow just a bit better, and raise IQ of kids (that doesn’t work either, but let’s pretend it does for now). 

그러나, 우리는 그 반대로 시작하여 "null 가설"을 설정한다. 
However we begin by doing the opposite and setting up a “null hypothesis”, which in contracted form is: 

H0 pop 모평균(모양성) = 모평균 = 100. 
H0 ∶ Population mean(lubricosity) = Population mean = 100. 

기본적인 논리는 간단하다. 만약 우리 연구 아이들이 12세 모두의 집단에서 무작위로 추출된 샘플이고, 만약 치료법이 효과가 없다면, 그리고 만약 우리가 연구를 수 천 번 하고 모든 샘플의 평균 IQ를 표시한다면, 그들은 치료받지 않은 집단의 평균 IQ인 100 정도 정규 분포를 따를 것입니다. 
The basic logic is simple: If our study kids are a random sample from the population of all 12 year olds, and if the treatment doesn’t work, and if we did the study a zillion times and displayed all the sample mean IQ’s, they would be normally distributed around 100, the mean IQ in the untreated population. 

그래서 우리는 무작위로 100명의 6살짜리 아이들을 표본으로 추출하여 3개월 동안 프로그램에 등록한 후 그들의 IQ를 측정합니다. 중요한 것은 표본 크기 100에서 계산된 평균의 분포를 살펴보기 때문에, 정규분포의 width는, 평균의 표준오차라고 하며, 이는 원래 점수의 표준편차를 평균의 제곱근으로 나눈 1.5가 된다는 것입니다. 데이터는 그림 1a)와 비슷할 것이며, 여기서 우리는 IQ를 Z 점수로 변환하여 모든 것을 표준 오차 단위로 표현했다.  
So we randomly sample 100 6 year olds, enrol them in the program for 3 months, then measure their IQ. Critically, because we re looking at the distribution of means computed from sample size 100, the width of the normal distribution of means, the standard error of the mean, would be the standard deviation of the original scores (15 for IQ) divided by the square root of the sample size (√100 = 10), or 1.5. The data would look like Fig. 1a), where we have also converted the IQ to a Z score, expressing everything in standard error units.  

논리의 다음 단계는 연구의 표본 평균이 이 (null 가설) 분포에서 왔다면 우연히 발생할 가능성이 충분히 없는 경우, 귀무 가설을 기각하고 관측된 차이가 통계적으로 유의하다고 선언하는 것이다. 그리고 "비슷하게"는 항상 같은 방식으로 정의된다; 발생 확률은 100분의 5 미만이다. 
The next step in the logic is to declare that, if the sample mean of the study is sufficiently unlikely to have arisen by chance if it came from this (null hypothesis) distribution, we will reject the null hypothesis and declare that the observed difference is statistically significant. And “unlikely” is always defined the same way; a probability of occurrence of less than 5 in 100. 

그런 다음 꼬리 확률이 .05 미만인 분포에 임계값을 설정하며, 이는 일반적으로 "알파"라고 불린다. 간단한 z 테스트의 경우, 그림과 같이 Z가 1.96일 때 발생합니다. 즉, H0을 거부(수용)하지 못하는 [임계값의 왼쪽에 있는 영역]과 H0을 거부(수용)하지 못하는 [임계값의 오른쪽에 있는 영역]입니다. 
This then establishes a critical value out on the distribution beyond which the tail probability is < .05, which is conventionally called “alpha”. For the simple z test, this arises at a Z of 1.96, as shown in the figure. In turn, this defines two zones: one to the left of the critical value, where we fail to reject (accept) H0, and one to the right, where we reject H0. (Again, because this is a two-tailed test, there is a similar zone on the left side of the graph, but we’ll ignore this). See Fig. 1a). 

이제 중요한 부분이 왔다. 만약 우리가 H0을 거부한다면, 우리는 논리적으로 그것이 다른 분포인 H1 분포에서 왔다고 선언한다. 데이터가 나오기 전에 이 모든 것을 가정한다면, H1은 거의 모든 곳에 중심이 맞춰질 수 있습니다. 따라서 표본 크기 계산은 항상 올바른 값을 산출합니다! 그러나 연구가 끝나면 H1 분포가 있을 수 있는 위치, 정확히 관찰한 위치에 대한 정보를 얻을 수 있습니다. 따라서 "작업"한 두 번째 연구 집단은 새로운 모집단 평균인 관측된 표본 평균에 대한 "최상의 추측"에 초점을 맞춘 분포를 가지고 있다고 가정한다. 또한 해당 분포가 치료되지 않은 모집단과 동일한 표준 편차를 갖는다고 가정한다. 
Now comes the critical part. If we reject H0, we then logically declare it comes from a different distribution, the H1 distribution, somewhere to the right of the critical value. Now, if we were doing all this hypothetically before we had the data, H1 could be centered almost anywhere (which is why sample size calculations always come up with the right number!) But once the study is over, we have information about where the H1 distribution might be—exactly where we observed it. So we assume that the second population of studies that “worked” has a distribution centered on our “best guess” of the new population mean, the observed sample mean. We also assume the distribution has the same standard deviation as the untreated population (“homoscedasticity”, if you want to sound intellectual). 

연구 평균이 104.5로 H0 평균보다 3 표준 오차 위에 있다고 가정합시다. 그러면 곡선은 그림 1b와 같다.
Let’s assume we found that the study mean was 104.5, 3 standard errors above H0 mean. Then the curve looks like Fig. 1b):

이제 중요한 비트는 임계값 왼쪽의 H1 곡선 영역입니다. 즉, 4.5의 IQ 포인트 차이가 있다는 대립 가설 하에서 유의한 차이를 선언하지 않을 가능성인 베타입니다. 이 경우 0.15입니다. 그리고 (1-베타)는 차이가 있는 경우 이를 검출할 수 있는 가능성으로, 이를 검정력이라고 합니다. 이 값은 (1–.15) =.85입니다. 
Now the important bit is the area of the H1 curve to the left of the critical value. That is beta, the likelihood that you would not declare a significant difference, under the alternative hypothesis that there was a difference of 4.5 IQ points. In this case, it’s 0.15. And (1-beta) is the likelihood of detecting a difference if there was one, which is called “power”. This is (1–.15) = .85 

분명히 하자면, 이 연구는 0.0001의 p 값에 해당하는 Z = 3.0의 차이를 발견했지만 유의미한 차이를 반복할 확률은 여전히 85%에 불과하다는 것을 의미합니다. 
To be very clear, what this means is that even though this study found a difference of Z = 3.0, corresponding to a p value of 0.0001, the chance of replicating the finding of a significant difference is still only 85%. 

그리고 그것은 우리에게 프라이머의 시작 부분에서 제기되는 질문으로 이어집니다. p-값을 정확히 0.05로 계산하면, 이것은 Ho 분포의 Z = 1.96에서 표본 평균에 해당합니다. 즉, H1 분포가 임계값에 바로 중심을 맞춘다는 뜻입니다. 분포의 절반은 임계값의 왼쪽에 있고 절반은 오른쪽에 있습니다. 유의한 차이의 원래 발견을 반복할 가능성은 50%에 불과합니다! 
And that brings us to the question posed at the beginning of the primer. If we computed a p-value of exactly .05, this corresponds to a sample mean at Z = 1.96 on the Ho distribution. That means the H1 distribution is centred right on the critical value. Half of the distribution lies to the left of the critical value and half to the right. The likelihood of replicating the original finding of a significant difference is only 50%! 

그림 2에서, 나는 계산된 p 값의 함수로 복제 가능성을 표시했다. 그것은 0.50에서 0.97까지이다. 
In Fig. 2, I’ve plotted the likelihood of replication as a function of the calculated p value (for “significant” results). It goes from .50 to .97. 

이제 시작 부분에 제시된 세 가지 시나리오로 돌아가겠습니다. 
Now let’s return to the 3 scenarios posed at the beginning: 

1. "Power analysis이 제시되지 않았습니다. 실험 설계의 일부로 포함되어야 한다." 
1. “There is not [sic] power analysis presented. Should be included as part of experimental design.” 

위에서 설명한 바와 같이, 통계적 검정의 검정력은 (즉, 데이터가 H1 분포에서 나온 경우) 하나일 때 유의한 차이를 찾을 확률이다. 연구에서 우리는 모든 중요한 차이가 0.001에서 0.0001 사이의 p 값을 갖는다고 보고했다. 유의한 차이를 찾을 확률은 1.0이었는데, 그 이유는 우리가 유의한 차이를 발견했기 때문입니다. Power analysis는 아무것도 더하지 않습니다. 
As we described above, the power of a statistical test is the probability of finding a significant difference when there is one present (i.e. when the data come from the H1 distribution). In the study we reported all the critical differences had p values ranging from 0.001 to 0.0001. The probability of finding a significant difference was 1.0, because we did find a significant difference. The power calculation adds nothing. 

검정력 계산은 차이가 예상되지만 발견되지 않을 때 추정된 크기의 차이를 찾을 가능성을 추정하는 데 유용합니다. 차이가 감지되면 가치가 없습니다. 
Power calculations are useful when a difference is expected but was not found, to estimate the likelihood of finding a difference of some presumed magnitude. They have no value when a difference was detected. 

2. 복제 비복제에 대한 Pashler의 해결책은 피험자당 시행 횟수를 증가시켜 (표본 크기를 증가시켜) 연구에 더 큰 통계적 power을 부여하는 것이었다. 
2. Pashler’s solution to non-replication was to build greater statistical power into the studies by increasing the number of trials per subject (increasing sample size). 

밝혀진 바와 같이 표본 크기가 증가하면 복제되지 않는 문제가 줄어들지 않을지는 유의미한 효과의 원래 결과가 참이었는지 아닌지에 대한 믿음에 달려 있습니다. 
As it turns out, whether increased sample size will or will not reduce problems of non-replication depends on your belief that the original finding of a significant effect was true or not. 

복제와 비복제에 대한 대부분의 문헌은 원래의 결과가 위양성false positive이라는 견해를 가지고 있는 것으로 보인다. (존 외 2012; 마시캄포 및 랄랑드 2012; 시몬스 외 2011). 만약 그렇다면, 우리가 설명한 개념 논리는 알파가 처음부터 0.05로 설정되기 때문에 거짓 양의 가능성은 항상 0.05라는 것을 보여준다. (이 주장을 할 때, 우리는 의도적으로 참고 문헌 목록 중 일부에서 논의된 많은 잠재적인 조사자 편향을 무시하고 단지 이론적 확률을 보고 있다.) 
It would appear that most of the literature on replication and non-replication holds the view that the original finding is a false positive; the effect is really not there. (John et al. 2012; Masicampo and Lalande 2012; Simmons et al. 2011). If this is the case, then the conceptual logic we have described demonstrates that the likelihood of a false positive is always 0.05, because alpha is set at .05 from the outset. No amount of increase in sample size changes that. (In making this claim, we are deliberately ignoring the many potential investigator biases discussed in some of the references in the bibliography, and are simply looking at the theoretical probability). 

그러면 샘플 크기를 늘리면 어떤 효과가 있을까요? 도함수로 돌아가면, 평균의 표준 오차는 감소하므로 두 곡선은 원래 척도에서 더 멀리 이동한다. 겹치는 부분overlap이 감소하면 검정력이 증가하지만, 이는 실제 차이를 탐지할 가능성에만 영향을 미칩니다. 즉, 증가된 검정력은 실제 효과가 있는 경우 점점 더 작은 효과의 탐지를 허용하지만, 효과가 유의하다고 잘못 선언될 가능성은 바꾸지 않는다. 
So what does increased sample size achieve? Going back to the derivation, as sample size increases, the standard error of the mean decreases, so the two curves move further apart on the original scale. Power increases as the overlap decreases, but this only impacts on the likelihood of detecting a true difference. In other words, increased power will permit detection of smaller and smaller effects if they are real, but does not change the likelihood that an effect will be falsely declared significant. 

3. 다중 문항 조사에서 얻어진 문항수준에서의 상관 관계.
3. Correlations at item level from a multi-item survey.

연구 설계가 알파에 미치는 영향의 연장선상에서, 다중 검정이 전체 알파 수준에 미치는 영향에 대한 관심이 부족하다. 다중 항목 목록에서 관찰된 차이의 분석은 적어도 두 가지 이유로 인해 타당하지 않다. 첫째, 검정 횟수가 증가할수록 유의한 차이를 관측할 가능성이 커집니다. 예를 들어, 알파가 0.05인 경우 5개의 검정을 통해 적어도 하나의 유의한 차이(위양성)를 찾을 확률은 0.23, 10개의 검정에서는 0.40, 20개에서는 0.65, 50개에서는 0.92입니다. 거짓과 실제 긍정을 구별하는 것은 불가능하다. 게다가, 수백 명의 참여자들이 참여하기 때문에, 심지어 작은 상관관계도 통계적으로 중요한 것으로 나타날 것이다. 한 가지 해결책은 기존의 알파를 제안된 테스트 수로 나누는 본페로니 보정이다. 발표된 예에서, 논문에 있는 약 40개의 중요한 결과는 본페로니 보정을 통해 3으로 떨어집니다. 

As an extension of the effect of study design on alpha, there is insufficient attention to the effect of multiple tests on the overall alpha level. Analysis of differences observed in a multi-item inventory is rarely sensible, for at least two reasons. First, as the number of tests increases, the likelihood of observing a significant difference increases. As a simple example, using an alpha of .05, the likelihood of finding at least one significant difference (false positive) with 5 tests is .23; with 10 tests, .40; with 20, .65 and with 50, .92. It is not possible to distinguish false from real positives. Moreover, with several hundred participants, which is not uncommon in surveys, even tiny correlations will emerge as statistically significant. One solution is a Bonferroni correction, dividing the conventional alpha by the number of proposed tests. In the published example, the approximately 40 significant results in the paper drops to 3 with a Bonferroni correction. 

그러한 접근법이 유용하지 않은 두 번째 이유가 있다. 다중문항인벤토리를 사용하는 것의 핵심은, 하나의 문항만으로는 신뢰할 수 있는 결과를 산출하기에 충분히 신뢰성이 없다는 것을 인식하는 것이다. 실제로 요인분석은 기초 치수를 식별하기 위한 항목별 판매 생성 지침을 제공하기 위한 것이며, 전체적인 내부 일관성 계산은 모든 항목이 동일한 기초 치수를 측정한다는 가정에 기초한다. 따라서 분석은 항목item 수준이 아닌 척도scale 또는 하위척도subscale 수준에서 진행되어야 합니다. 

There is a second reason why such an approach is not useful. The whole point of a multi-item inventory is recognition that a single item is not sufficiently reliable to yield credible results. Indeed a factor analysis is directed at providing guidance for creating subscales to identify underlying dimensions, and an overall internal consistency calculation is based on the assumption that all items are measuring the same underlying dimension. So analysis should be conducted at the scale or subscale level, not the item level. 

결론
Conclusion

다양한 방법론적 편향에 기초한 복제 실패의 이해를 위한 광범위한 문헌이 있지만(Francis 2013; Schulz 등 1995), 비복제가 피셔 통계 추론의 구조적 특징이라는 사실에 대한 인식과 동일하다고 생각한다.
While there is an extensive literature directed at understanding failure to replicate based on various methodological biases (Francis 2013; Schulz et al. 1995), there is, I think inadequate recognition of the fact that non-replication is an architectural feature of Fisherian statistical inference.

Cohen, J. (2016). The earth is round (p < . 05). In What if there were no significance tests? (pp. 69–82). Routledge.

Norman, G. (2017). Generalization and the qualitative–quantitative debate. Advances in Health Sciences Education, 22(5), 1051–1055. XXX

Adv Health Sci Educ Theory Pract. 2019 Oct;24(4):637-642.

 doi: 10.1007/s10459-019-09915-3.

Statistics 101

Geoff Norman 1

Affiliations collapse

Affiliation

• 1McMaster University, Hamilton, ON, Canada. norman@mcmaster.ca.

• PMID: 31578699
• DOI: 10.1007/s10459-019-09915-3

모두에게 맞는 사이즈는 없다: 보건전문직교육 연구에서 개인-중심 분석(Perspect Med Educ, 2020)
‘One size does not fit all’: The value of person-centred analysis in health professions education research 
Rashmi A. Kusurkar · Marianne Mak-van der Vossen · Joyce Kors · Jan-Willem Grijpma · Stéphanie M. E. van der Burgt · Andries S. Koster · Anne de la Croix 

도입
Introduction

의료 교육 저널을 빠르게 스캔한 결과, 보건 직업 교육(HPE)에서 수행된 연구는 주로 변수-중심 분석variable-centred analysis [1]이라고 할 수 있는 것을 채택하고 있음을 알 수 있습니다. [주어진 표본에서 두 개 이상의 변수 간의 관계]를 조사하는 이러한 유형의 분석은 HPE 연구의 변수가 서로 어떤 영향을 미칠 수 있는지를 이해하는 데 중요합니다. 그러나 [많은 연구가 단지 몇 가지 변수에만 초점을 맞추고 있지만, 교육적 실천은 복잡하고 상황에 의존적이며 지저분할 수 있기 때문에], 교육자는 그러한 분석에 근거하여 실천 방식을 적용하거나 바꾸기가 어려울 수 있다. 
A quick scan of medical education journals shows that the research conducted in health professions education (HPE) predominantly employs what can be called variable-centred analysis [1]. This type of analysis, which investigates the relationships between two or more variables in a given sample, is important in understanding how variables in HPE research can influence one another. However, it can be hard for educators to adapt or change their practice on the basis of such analysis, as many studies focus only on a few variables and educational practice can be complex, context-dependent and messy. 

[사람 중심 분석]은 하위집단subgroup 전체에 걸쳐 변수가 서로 어떻게 관련되는지를 기반으로 [개인의 하위집단subgroup이 어떻게 만들어질 수 있는지]를 조사하는 추가 접근법입니다 [1]. 개인 중심 분석은 교육자에게 개인별 실천 이니셔티브를 위한 도구를 제공할 수 있는 결과를 생성합니다. 

Person-centred analysis is an additional approach, which investigates how subgroups of individuals can be made based on how variables are related to each other across sub-groups [1]. Person-centred analysis generates findings that could provide educators with tools to personalize practice initiatives. 

사람 중심 분석이란 무엇입니까?
What is person-centred analysis?

주어진 데이터 집합에서 [독립 변수에 대해 유사한 특성 또는 유사한 점수를 가진 사람들이 함께 군집화]하는 방식으로 [사람 그룹groups of people]을 만들 수 있다 [2]. 이는 [사례 기반 분석case-based analysis]의 한 유형으로, 즉 유사한 특성을 가진 개인 또는 사례에 대한 분석입니다. 이를 위해 일반적으로 변수 중심 분석에 사용하는 것과 다른 유형의 파일을 만들 필요가 없습니다. 유일한 차이점은 분석이 수행되는 방식입니다. 
In a given dataset we can create groups of people in such a way that people with similar characteristics or similar scores on the independent variables are clustered together [2]. This is a type of case-based analysis, i.e. analysis of individuals or cases with similar characteristics. For this, we do not need to create a different type of file than what we would normally use for a variable-centred analysis. The only difference is the way the analysis is carried out. 

종속 변수와의 연관성을 독립 변수로 간주하여 계산한다면, 특정 특성(예: 높은 공감과 높은 복원력)을 가진 그룹 1이 종속 변수(학업 성과)와 어떤 연관성을 가지는지를 보여주고, 그룹 2(예: 낮은 공감과 높은 복원력)가 보이는 종속 변수(학업성적)와의 연관성이 (그룹1과) 다르거나 유사하다는 것을 보여줍니다.

If the associations with the dependent variables are computed by considering group membership as the independent variable, we demonstrate that group 1 with certain characteristics (e.g. high empathy and high resilience) shows a certain type of association with the dependent variables (academic performance), group 2 (e.g. low empathy and high resilience) shows a different or similar association with the dependent variables (academic performance), and so on. 

[사람 중심 분석]에서는 데이터의 패턴을 기반으로 '덜 명확한' 범주를 찾으려고 시도합니다. 통계적으로 말하면, 우리는 총 변동성을 '군간' 변동성과 '군내' 변동성‘between-group’ variability and ‘within-group’ variability으로 나누고 그룹 간의 차이를 해석하는 데 더 집중함으로써 데이터의 '잡음'을 줄이려고 합니다. 그런 다음 이러한 연구 결과에서 도출된 실제적인 의미는 특정 요구에 따라 [서로 다른 그룹에 맞게 커스터마이징]될 수 있습니다.
In person-centred analysis, the attempt is to find the ‘less obvious’ categories on the basis of patterns in the data. Statistically speaking we try to reduce the ‘noise’ in the data by splitting the total variability into ‘between-group’ variability and ‘within-group’ variability, and further concentrating on interpreting the differences between groups. The practical implications derived fromthese research findings can then be customized for the different groups as per their specific needs.

[사람 중심 분석]은 [[전체 표본] 또는 [인구통계학적 특성에 기반한 표본의 부분군]에 대해서 변수 간의 연관성을 찾는 변수 중심 분석]을 보완합니다. 

Person-centred analysis complements variable-centred analysis, in which we look for associations between variables for the entire sample or subgroups in the sample made on the basis of demographic characteristics. 

변수 중심 분석 [3]과 사람 중심 분석 [2]을 비교하는 예는 그림 1을 참조하십시오.
See Fig. 1 for an example comparing variablecentred [3] and person-centred analyses [2].

표 1은 예제 연구 질문에 대한 변수 중심 분석과 사람 중심 분석이 서로 어떻게 비교되고 보완되는지를 보여준다.

Tab. 1 illustrates how variable and person-centred analyses for an example research question compare with as well as complement each other.

문헌의 구체적인 사례를 포함한 사람 중심 분석 수행 방법
How to conduct person-centred analysis including concrete examples fromthe literature

전자 보완 자료에서 찾을 수 있는 본 문서의 부록에는 이 세 가지 방법, 이 방법을 사용한 분석 수행 방법에 대한 실제 단계 및 분석 결과를 해석하는 방법에 대한 세부 사항이 포함되어 있습니다. 자세한 내용에 관심이 있는 독자는 온라인 부록을 참조하시기 바랍니다.
In the Appendix of this paper, which can be found in the Electronic Supplementary Material, we have included details on these three methods, practical steps on how to conduct analyses using these methods, and how to interpret the findings of such analyses. We encourage the readers who are interested in more details to consult the online Appendix.

군집 분석
Cluster analysis

군집 분석 [4]은 [두 개 이상의 변수의 조합]에 대한 점수 또는 결과에 따라 연구 참가자를 함께 그룹화하는 방법입니다. 이 방법은 모든 종류의 샘플 크기에 사용할 수 있습니다. 이는 '그룹 내' 변동성을 줄이고 '그룹 간' 변동성을 극대화하여 데이터의 노이즈를 줄이려고 합니다. 
Cluster analysis [4] is a method in which study participants are grouped together based on their scores or results on a combination of two or more variables. This method can be used with all kinds of sample sizes. It tries to reduce noise in the data by reducing ‘within-group’ variability and maximizing ‘betweengroup’ variability. 

제이콥스 외 연구진[5] 이 연구의 목적은 COLT(학습 및 교육에 대한 교사 개념) 사이의 패턴을 탐구하는 것이었다. 저자들은 COLT의 3가지 차원 즉 교사 중심, 능동적 학습의 감사, 전문적 실무에 대한 오리엔테이션에 대한 참가자들의 점수를 이용하여 클러스터 분석을 실시했다. 이들은 5개의 클러스터로 구성된 클러스터 솔루션을 수용했습니다. 이러한 5가지 COLT 프로파일은 전송기, 조직자, 중간자, 촉진자 및 개념 변경 에이전트로 분류되었습니다. 

Jacobs et al. 2014 [5] The aimof this study was to explore patterns among teachers’ conceptions for learning and teaching (COLT). The authors ran a cluster analysis using the participants’ scores on the three dimensions of the COLT: teacher-centredness, appreciation of active learning and orientationto professional practice. They accepted a cluster solution comprising five clusters. These five COLT profiles were labelled as transmitters, organizers, intermediates, facilitators and conceptual change agents. 

Kusurkar et al. 2013 [2] 본 연구는 학생들의 [동기 부여와 성과] 사이의 관계를 조사하는 것을 목표로 하였다. 본 연구에서는 1~6학년 의대생들의 내적 및 통제된 동기 부여에 대한 점수를 바탕으로 프로필을 만들었다. 고유 저조 제어, 고유 고조 제어, 저 고유 고조 제어 및 저 고유 저조 제어로 분류된 네 가지 프로파일이 발견되었습니다. 그런 다음 이러한 프로파일과 학습 및 성과 결과의 연관성을 조사했습니다. 이러한 프로파일 각각은 이러한 결과와 서로 다른 연관성을 가지고 있었으며, [높은 내인성 낮은 통제] 프로파일은 더 많은 학습 시간, 심층 학습 전략, 우수한 학업 성과 및 낮은 학업 피로 측면에서 최상의 결과를 나타냈다. 사실 [높은 내인성 낮은 통제] 프로파일은 학업으로부터의 높은 소모와 연관지어 [높은 내인성 높은 통제] 프로파일과 차이가 있을 뿐이었고, 이는 연구 결과에 중요한 뉘앙스였다. 이러한 프로필은 모니터링 및 멘토링의 다른 방법이 필요하다는 권고 사항이었습니다. 

Kusurkar et al. 2013 [2] This study aimed to investigate the relationship between student motivation and performance. In this study, profiles of medical students fromyear 1-6 were created on the basis of their scores on intrinsic and controlled motivation. Four profiles were found which were labelled as high-intrinsic low-controlled, high-intrinsic high-controlled, low-intrinsic high-controlled and low-intrinsic low-controlled. The associations of these profiles with learning and performance outcomes were then explored. Each of these profiles had different associations with these outcomes and the high intrinsic low controlled profile had the best outcomes in terms of more study hours, deep learning strategy, good academic performance and low-exhaustion from study. In fact the high intrinsic low controlled profile only differed from the high intrinsic high controlled profile in its association with higher exhaustion from study, which was an important nuance in our findings. Recommendations were that these profiles would need different ways of monitoring and mentoring. 


Orsini et al. 2018 [6] 이 연구의 목적은 치과 학생들의 동기 부여와 그 학업 결과를 조사하는 것이었다. 저자들은 학생들의 본질적이고 통제된 동기를 바탕으로 프로필을 만들었습니다. 
Orsini et al. 2018 [6] The purpose of this study was to investigate dental students’ motivation and its academic outcomes. The authors created profiles of students on the basis of their intrinsic and controlled motivation. 

잠재 클래스 분석
Latent class analysis

잠재 클래스 분석[10](LCA)은 연구에 포함된 표본의 부분군(클래스, 클러스터)을 구성하는 것을 목표로 하는 [탐색적 통계 기법]이며, 이러한 표본의 관측된 지표를 기반으로 합니다. LCA는 범주형 데이터와 함께 사용할 수 있습니다. LCA의 출력output은 [지표의 조합에 기초한 가설적 그룹화hypothesized grouping]입니다. 
Latent class analysis [10] (LCA) is an exploratory, statistical technique that aims at forming subgroups (classes, clusters) of the samples included in a study, based on observed indicators of these samples. LCA can be used with categorical data. The output of LCA is a hypothesized grouping based on a combination of indicators. 

보스카딘 외 연구진[11] 이 연구는 교정조치에 대한 학생을 식별하고 교정조치에 대한 최선의 방법론적 접근법에 대한 합의에 기여하는 것을 목표로 했다. LCA는 임상성과검사에서 의대생 147명의 점수를 분석하는 데 사용되었다. 성능이 낮은 두 개의 하위 그룹을 포함하여 세 가지 뚜렷한 성능 프로파일이 식별되었습니다. [낮은 성과 부분군]을 두 그룹으로 구분하는 것은 의미가 있었는데, 이 두 그룹이 보여준 [성과 지표 집합]이 달랐기 때문이다. 첫 번째 하위그룹은 임상지식과 [모든 종류의 임상기술]에서 모두 결손이 나타났고, 두 번째 하위그룹은 주로 [의사소통 능력]에서 결손이 나타났다. 
Boscardin et al. 2012 [11] This study aimed to identify students for remediation and to contribute to consensus about the best methodological approach for remediation. LCA was used to analyze scores of 147 medical students on the Clinical Performance Examination. Three distinct performance profiles were identified, including two low performing subgroups. Distinguishing two different low performing subgroups had significant implications, as the two groups had low scores on contrasting sets of performance indicators. The first subgroup of students showed deficits in both clinical knowledge and all kinds of clinical skills, while the second subgroup mainly displayed a deficit in communication skills. 

Mak-Van der Vossen et al. 2016 [12] 본 연구의 목적은 의과대학에서 만족스럽지 못한 전문적 행동 평가를 받은 의대생들의 행동 패턴을 식별하고 이러한 패턴의 분류에 사용할 수 있는 변수를 정의하는 것이었다. 잠재적 그룹의 수에 대한 다양한 선택권을 가진 잠재 클래스 모형이 반응 데이터에 적합되었습니다. 이 경우, 응답 데이터는 앞서 문헌 검토에 기초한 템플릿에 요약된 바와 같이 109개의 비전문적 행동 각각을 학생 평가 보고서에서 '관찰됨' 또는 '관찰되지 않음'으로 기술했는지 여부를 나타냈다. LCA는 불만족스러운 전문 행동 보고서를 받은 학생 중 '신뢰성 저하', '신뢰성 저하 및 통찰력 저하', '신뢰성 저하, 통찰력 저하 및 적응성 저하' 등 3개 계층classes을 발표했다. 
Mak-van der Vossen et al. 2016 [12] The purpose of this study was to identify patterns in the behaviours of medical students who received an unsatisfactory professional behaviour evaluation in medical school, and to define a variable that could be used for the categorization of these patterns. A latent class model with various choices for the number of latent groups was fitted to the response data. In this case, the response data indicated whether each of 109 unprofessional behaviours, as earlier summarized in a template based on a literature review, was described as ‘observed’ or ‘not observed’ in student evaluation reports. LCA yielded three classes of students who received unsatisfactory professional behaviour reports: ‘poor reliability’, ‘poor reliability and poor insight’, and ‘poor reliability, poor insight and poor adaptability’. 


Lambe & Bristow 2011 [13] 이 연구의 초점은 학생 수행의 '유형학' 모델을 식별하는 것이었다. LCA는 선행 학업성취도 측정, 의과대학 입학 당시 면접등급, 과정 전반의 후속 성과 측정치를 바탕으로 학생 하위그룹을 만드는 데 사용되었다. LCA는 학생 시험 성과의 '유형'을 나타내는 구별되는 하위집단의 세 가지 클래스 모델을 식별했다. 
Lambe & Bristow 2011 [13] The focus of this study was to identify a model of ‘typologies’ of student performance. LCA was used to make subgroups of students based on measures of

• prior academic achievement,
• interview rating at the time of medical school admission and
• outcome measures of subsequent performance across the course.

LCA identified a three class model of distinct subgroups representing ‘typologies’ of student examination performance. 

Q-정렬 분석
Q-sort analysis

Q 방법론은 [주관성] 연구(예: 관점, 아이디어 및 의견)에 적합하다[16–18]. 참가자가 동의에 따라 순서를 매겨야 하는 자극(일반적으로 진술 형식)을 사용한다. 요인 분석의 특별한 형태를 사용하여 연구 대상 주제에 대해 비슷하게 생각하는 참가자를 그룹화한다.
Q-methodology is suitable for the study of subjectivity (e.g. viewpoints, ideas and opinions) [16–18]. It uses stimuli (usually in the form of statements) that participants need to rank order according to agreement. A special form of factor analysis is used to group participants who think similarly about the topic under study. 

Fokkema et al. 2014 [19] 이 연구는 산부인과 레지던트 및 담당 의사의 작업장 기반 평가에 대한 인식을 결정하는 것을 목표로 했다. 36개의 진술과 65명의 참가자들이 있었다. 저자들은 열정, 규정 준수, 노력, 중립성, 회의의 다섯 가지 유형의 인식을 발견했습니다. 이 다섯 가지 프로파일의 기본 문제는 혁신의 의도된 목표, 적용 가능성 및 실제 영향에 대한 아이디어였습니다. 그들은 이 연구가 '동료들이 혁신에 대한 서로의 반응을 이해하는 데 도움이 될 수 있다'고 느꼈다. 
Fokkema et al. 2014 [19] This study aimed to determine the perceptions of obstetrics-gynaecology residents and attending physicians about workplacebased assessment. There were 36 statements and 65 participants. The authors found five types of perceptions: enthusiasm, compliance, effort, neutrality, and scepticism. The issues underlying these five profiles were ideas about intended goals of the innovation, its applicability, and actual impact. They felt that the study ‘may help colleagues understand one another’s responses to an innovation’. 

Dotters-Katz et al. 2016 [20] 본 연구는 미국 의대 졸업생들의 교육 태도와 동기 부여에 초점을 맞췄다. 47개의 문장이 사용되었다. 편의 표본추출을 통해 '다양한 전문분야 및 대학원생 수준의 전공의 107명'이 연구에 참여했으며, Q 정렬과 사후면접은 디지털 방식으로 진행됐다. 이들의 분석 결과 열정, 거부감, 보상이라는 세 가지 프로파일이 나왔습니다. 이러한 연구결과는 '교육을 촉진하고 교육생들의 교육 동기를 개선하는 태도 강화 및 장려'를 위한 교사로서의 레지던트 프로그램 설계 변경 사항을 알리기 위해 사용되었다. 
Dotters-Katz et al. 2016 [20] This study focused on US medical graduates’ attitudes and motivation for teaching. Forty-seven statements were used. Through convenience sampling, 107 residents ‘from a wide variety of specialties and postgraduate year levels’ joined the study, and the Q-sorting and post-interview were done digitally. Their analysis yielded three profiles: enthusiasm, reluctance and rewarded. These findings were used to inform modifications in the design of resident-as-teacher programmes that ‘reinforce and encourage attitudes that promote teaching as well as improve trainees’ motivation to teach’, 


Berkhout 등[21] Berkhout 및 동료들은 임상 환경에서 학생들의 자기조절 학습 행동 패턴을 찾는 것을 목표로 했다. 그들은 이론과 학생 인터뷰를 통해 52개의 진술문를 만들었습니다. 서로 다른 병원의 11개 임상실습에 속해 있는 4명의 학생이 진술서를 분류했다. 온라인 데이터 수집 절차를 사용했으며 '실시간' 분류후post-sorting 면접은 없었다. 그들의 분석은 참여적이고, 비판적으로 기회주의적이며, 불확실하고, 절제되고, 노력적인 다섯 가지 학습 패턴으로 이어졌다.

Berkhout et al. 2017 [21] Berkhout and colleagues aimed to find patterns in students’ self-regulated learning behaviours in the clinical environment. They created 52 statements from theory and student interviews. Four students in 11 different clinical clerkships, in different hospitals, sortedthe statements. An online data collection procedure was used and there was no ‘live’ post-sorting interview. Their analysis led to five patterns of self-regulated learning behaviour, which they called engaged, critically opportunistic, uncertain, restrained and effortful.

사람 중심 분석을 위한 세 가지 방법의 비교, 장점 및 단점
Comparisons, advantages and disadvantages of the three methods for person-centred analysis

세 가지 분석 방법의 구체적인 장점과 단점은 표 3에 비교 요약되어 있다.
The specific advantages and disadvantages of the threeanalysismethodsarecomparedandsummarized in Tab. 3.

개인 중심 분석의 한계 및 윤리적 고려 사항
Limitations and ethical considerations of personcentred analysis

표본에서 발견되는 부분군은 [문화적으로 민감하고 맥락 의존적culturally sensitive and context-dependent]일 수 있습니다. 따라서 이 분석의 프로파일과 결과는 다른 모집단으로 일반화하기가 어려울 수 있다. 실제 개입을 설계하는 데 사람 중심 분석 결과를 사용하려면 [지역 대상 모집단local target population]의 프로파일 구조를 조사하는 것이 좋습니다. 사람 중심 분석은 변수 중심 분석을 대체하는 것이 아니라 보완 분석입니다. [특정 집단에 대한 오명stigmatization]을 남길 수 있다는 게 사람 중심 분석의 위험이다. 이러한 위험을 최소화하려면 다음과 같은 것이 중요합니다. 
Subgroups found in samples may be culturally sensitive and context-dependent. The profiles and findings from this analysis could thus be difficult to generalize to other populations. To use the results of personcentred analyses for designing practical interventions, it is better to investigate the profile structure in the local target population. A person-centred analysis is not a replacement for variable-centred analysis, but a complementary analysis. A risk of person-centred analysis is that it can lead to stigmatization of certain groups. To minimize this risk, it is important that: 

A. 개인 중심 분석을 사용하는 연구원들은 윤리 승인을 신청하고 연구 결과를 발표하는 경우 다음 작업을 수행합니다.
A. Researchers using person-centred analysis always do the following while applying for ethical approval and publishing their research:

– 이러한 분석을 수행한 배경과 근거를 설명합니다.
– Explain the background and rationale for conducting such an analysis;

– 분석 결과를 어떻게 해석해야 하는지 설명하며, 특히 상황에 유의해야 합니다.
– Explain how the results of this analysis should be interpreted, especially keeping in mind its context; and

– 이러한 연구 결과는 특정 그룹에 오명을 남기지 않고 사용자 개입을 맞춤화하는 건설적인 방법으로 사용되어야 한다고 선언합니다.
– Make a declaration that the results of such research should be used in a constructive way to customize interventions and not to stigmatize certain groups.

B. 윤리검토위원회는 항상 다음 사항을 고려한다.
B. Ethical Review Boards always consider the following:

– 연구진이 사람 중심 분석을 사용할 수 있는 충분한 근거를 제시했습니까?
– Have the researchers provideda goodrationale for using person-centred analysis?

– 연구자들이 실제로 생성된 프로파일을 맞춤형 또는 맞춤형 개입에 사용하고 있습니까?
– Are the researchers actually using the generated profiles for tailor-made or personalized interventions?

– 연구원들은 이 분석 결과를 어떻게 처리할 것인지 명확히 설명했습니까?
– How have the researchers clarified how they will treat the findings from this analysis?

Methodological details of cluster, latent class and Q-sort analyses

Cluster analysis1 - This analysis can be done quite easily using SPSS. Two ways of conducting this analysis are K-means clustering and hierarchical clustering. In SPSS, an additional ‘Two Step’ clustering procedure can be used to suggest an optimal cluster number.

K-means clustering is the most commonly used data clustering method. The methods sorts cases in a predefined number of clusters. The number of clusters can be based on theoretical (existing literature) or practical (applicability) considerations. Initial k-cluster centers are selected and then iteratively refined assigning each data point to its closest cluster-center and updating each cluster-center to be the mean of its constituent data points. An acceptable cluster solution should explain at least 50% of the variance in the variable scores and have an incremental effect over the cluster solution with (k-1) groups.

Hierarchical clustering is an approach in which all data points are clustered hierarchically until only one cluster is left. The optimal cluster solution is decided on the basis of a hierarchical diagram called a dendrogram, a taxonomy or hierarchy of data point. This is a convenient representation which answers questions such as: ‘How many useful groups are present in this data?’ and ‘What salient interrelationships are present?’.2

Hierarchical clustering techniques are fundamentally different from K-means clustering. K-means tries to find compact clusters, where cluster members are similar (as far as possible). Hierarchical clustering leads to a tree of clustering, where it remains arbitrary at what level you want to set the borders between clusters.

After using one of the cluster methods, the cluster solutions can be tested for stability using a double split cross validation procedure in which the sample is divided into two and the cluster solution with the same cluster centers is tested in each sample. For a stable cluster solution, the Cohen’s kappa values, derived from this procedure, should be as close to 1 as possible.3

For use on categorical data, this data needs to be treated first (e.g. with Homogeneity analysis using alternating least squares - HOMALS).4

Latent Class Analysis5 – This is also called Latent Partition Analysis (LPA). This is done in a manner that the samples in the study are homogeneous within, and heterogeneous between the formed subgroups. It is a flexible method, as the best fitting model is established by testing several combinations of numbers of classes. This can be done using the software programmes R6 or Latent Gold7.

LCA can be used if there exists a still-unknown, so called ‘latent’ variable that can be used to make subgroups of the samples under investigation. This newly emerging variable can be identified as a distinguishing factor for the content of the subgroups. The researchers then determine if the distinguishing factor has practical relevance, and attribute a meaningful description and name to it.

LCA has an advantage over other clustering methods because it can reveal patterns, i.e. combinations of indicators within a sample, that cannot easily be detected by other methods. LCA is a probabilistic method. It means that there is no one-to-one relationship between a class and the occurrence of an indicator within that class, but each class is composed of a subgroup that is more likely to display a certain pattern than the subgroup belonging to a different class. A similar classification process is applied in diagnosing a disease: The presence or absence of a certain symptom in a patient (indicator in a sample) does not always lead to one specific diagnosis (class), but a certain combination of symptoms (pattern) makes this diagnosis more likely. Thus, instead of making a black-and-white decision on the subgroups of samples as cluster analysis does, LCA defines the probability of certain patterns in the samples, and thus sketches a more attenuated picture.

LCA has the possibility of defining ‘prototypes’ in each subgroup. To achieve this, LCA specifies for each class a probability of a sample belonging to that class. The probabilistic statement indicates the certainty of the assignment of a sample, based on a certain combination of indicators, to that class. In particular, samples that have a high, say >90%, probability of belonging to a certain class could be considered as prototypes of that class.

Q-sort analysis8-10- Although there is considerable flexibility in Q-methodology, there are some common practices. A Q-methodological study starts with the development of a set of statements on a topic (the Q-set). This set of statements can be created as a result of interviewing stakeholders, looking at teaching evaluations, theories and literature, focus groups, etc. This initial Q-set is often piloted and refined before use in a study.

Each participant sorts statements in a Grid (the Q-sort), with most statements placed in the middle, and the fewest placed at the edges (i.e. bell-curve shaped). These edges have 'strongly agree' or 'very important' on one side, and 'strongly disagree' or 'not at all important' on the other. This ranking process is called ‘Q-sorting’ and forces participants to make choices based on their own opinions and experiences. Usually the Q-sorting procedure is followed by a post-sorting interview or survey questions. In this post-sorting (often semi-structured) interview, or in some open survey questions, the participant elaborates on the reasons and stories behind the Q-sort, to enrich the data collected from the Q-sort.

Q-sorts are then compared to identify groups of individuals (profiles) who have similar attitudes on the subject of interest. This is often done using using Q-sort analysis software called PQmethod.11 The ranking scores are analysed statistically to lead to different factors10 using Q-sort analysis software. The number of profiles are dependent on how the participant scores 'load' onto a specific profile, similar to factor analysis. The qualitative data can aid the decision for the number of factors/profiles. The profiles are finalized through a combination of statistical, methodological and qualitative data analysis from a post Q-sort interview or survey questions. A description of the prototype of each profile is constructed by the researchers while constantly consulting the data.

10. Vermunt JK, Magidson J. Latent class cluster analysis. In: HagenaarsJ,McCutcheonA,editors. Appliedlatentclass analysis. Cambridge: Cambridge University Press; 2002. pp. 89–106.

Perspect Med Educ. 2021 Aug;10(4):245-251.

 doi: 10.1007/s40037-020-00633-w. Epub 2020 Dec 7.

'One size does not fit all': The value of person-centred analysis in health professions education research

Rashmi A Kusurkar 1 2, Marianne Mak-van der Vossen 3 4, Joyce Kors 3 4, Jan-Willem Grijpma 3 4 5, Stéphanie M E van der Burgt 6, Andries S Koster 7, Anne de la Croix 3 4

Affiliations collapse

Affiliations

• 1Amsterdam UMC, Faculty of Medicine, Vrije Universiteit Amsterdam, Research in Education, Amsterdam, The Netherlands. R.Kusurkar@amsterdamumc.nl.
• 2LEARN! Research Institute for Learning and Education, Faculty of Psychology and Education, Vrije Universiteit Amsterdam, Amsterdam, The Netherlands. R.Kusurkar@amsterdamumc.nl.
• 3Amsterdam UMC, Faculty of Medicine, Vrije Universiteit Amsterdam, Research in Education, Amsterdam, The Netherlands.
• 4LEARN! Research Institute for Learning and Education, Faculty of Psychology and Education, Vrije Universiteit Amsterdam, Amsterdam, The Netherlands.
• 5LEARN! Academy, Faculty of Behavioural and Movement Sciences, Vrije Universiteit Amsterdam, Amsterdam, The Netherlands.
• 6Center for Evidence Based Education, Amsterdam UMC-location AMC, Amsterdam, The Netherlands.
• 7Department of Pharmaceutical Sciences, Utrecht University, Utrecht, The Netherlands.

• PMID: 33284407
• DOI: 10.1007/s40037-020-00633-wAbstractKeywords: Person-centred analysis; Personalized approach; Research method.
• Health professions education (HPE) research is dominated by variable-centred analysis, which enables the exploration of relationships between different independent and dependent variables in a study. Although the results of such analysis are interesting, an effort to conduct a more person-centred analysis in HPE research can help us in generating a more nuanced interpretation of the data on the variables involved in teaching and learning. The added value of using person-centred analysis, next to variable-centred analysis, lies in what it can bring to the applications of the research findings in educational practice. Research findings of person-centred analysis can facilitate the development of more personalized learning or remediation pathways and customization of teaching and supervision efforts. Making the research findings more recognizable in practice can make it easier for teachers and supervisors to understand and deal with students. The aim of this article is to compare and contrast different methods that can be used for person-centred analysis and show the incremental value of such analysis in HPE research. We describe three methods for conducting person-centred analysis: cluster, latent class and Q‑sort analyses, along with their advantages and disadvantage with three concrete examples for each method from HPE research studies.
• © 2020. The Author(s).

이론을 명시적으로 만들기: 의학교육 연구자는 이론과의 연계성을 어떻게 기술하는가(BMC Med Educ, 2017)
Making theory explicit - An analysis of how medical education research(ers) describe how they connect to theory
Klara Bolander Laksov1,2*, Tim Dornan3,4 and Pim W. Teunissen4,5

배경
Background

10년 이상, 명확한 이론적 근거가 결여된 의대 교육 연구 간행물에 대한 우려의 표현이 있어왔다[1–5]. 의학 교육에서 이론의 활용이 증가하는 징후[6]가 있지만, 문제를 식별하는 것뿐만 아니라 문제를 더 잘 이해하고 해결하는 것이 흥미롭다. 이 논문의 목적은 과거에 사람들이 어떻게 해왔는지 살펴보고 다른 사람들이 미래에 어떻게 할 수 있는지를 제시함으로써 연구자들이 이론을 더 잘 활용할 수 있도록 돕는 것이다. 우선, 우리가 '이론'이란 단어로 무엇을 의미하는지 더 자세히 설명해야 합니다. 
For over a decade, there have been expressions of concern about medical education research publications lacking an explicit theoretical basis [1–5]. Although there are signs of an increase in use of theory in medical education [6], it is of interest to not only identifying the issue, but to better understand and remedy it. The aim of this paper is to help researchers make better use of theory by examining how people have done so in the past and suggesting how others might do so in the future. First, this requires an elaboration of what we mean by theory. 

이론의 일반적인 설명은 [어떤 현상을 설명하기 위한 아이디어의 체계]라는 것이다. 이론에 대한 이러한 관점은 생물 의학 및 물리 연구에서 종종 받아들여지는 견해와 일관되며, 이론과 반복적으로 시험될 수 있는 것으로 명확하게 연결되어 있어 모든 경우에 활동을 안내합니다. 
A general description of theory is that it is a system of ideas intended to explain a phenomenon. This perspective on theory is consistent with the view that is often taken in biomedical and physical research and is clearly linked to theory as something that can be repeatedly tested, and hence guide activity in all cases. 

그러나 의대교육의 이론은 생의학과 다른 시각으로 볼 필요가 있다. [7] [입증의 필요성]을 강조하기 보다는, 출발점은 조사가 수행된 특정 렌즈를 가지고 [현상에 대한 서로 다른 설명을 둘러싼 과학적 대화에 참여]하는 것이며, 이는 이론 생성[8]을 초래할 것이다. 
However, theory in medical education needs to be viewed as different from the biomedical view. Rather than emphasising an imperative of proof [7], the point of departure is the participation in scientific dialogue around different explanations of phenomena with a specific lens through which the inquiry was conducted, which will result in theory generation [8]. 

리브스와 동료(ibid.)는 이론을 다음과 같이 정의했다: [의미 있는 전체]로서 소통되는 일련의 이슈에 대한 조직화된, 일관성있는, 체계적인 설명
Reeves and colleagues (ibid.) define theory as: an organized, coherent, and systematic articulation of a set of issues that are communicated as a meaningful whole”.

교육에서 이론의 개념화는 역사적으로 [20세기 초기의 고수준의 이론에서부터, 1960년대의 중범위 이론, 1900년대 말까지 개인실천 이론에 이르기까지] 추상화abstraction의 여러 수준에 따라 연속체상에 배치될 수 있다.
The conceptualisation of theory in education can be placed historically during the 20th century [9] at a continuum that covers different levels of abstraction ranging from high level theories at the turn of the 20th century, to middle range theories in the 1960s, and personal practice theories by the end of the 1900s.

[고차원 이론high level theories]은 시스템의 근본적인 변수를 제시하고, 마르크스주의 이론처럼 높은 수준의 추상성을 포함합니다. 예를 들어, 경험적 연구나 직접 이끌지 않는 범위 내에서 '설명할 대상과 무관함'(사회적 투쟁)이다. 이러한 수준의 이론은 실증적 연구empirical research로부터 유래한 것은 아니며, (시험 가능한 아이디어나 가설을 통해) 실증적 연구로 직접 이끌지lead는 않지만, 경험적 조사empirical enquiry를 위한 지침guidance은 제공할 수 있습니다.
High level theories state the fundamental variables of systems and include a high level of abstractness, like Marxist theory, which are ’independent of the thing to be explained’ (social struggle, for example) to the extent that they might not arise from empirical research or lead directly, via testable ideas or hypotheses, to empirical research, however it can provide guidance for empirical enquiry. 

반세기 전, Merton(1968)은 [중간 범위의 이론]이 있다는 아이디어를 도입했다. [중범위 이론]이란 다음의 사이에 놓여있다 - [일상적 연구에서 풍부하게 발전하는, 작지만, 필요한 작업 가설들]과 [사회 행동, 사회 조직, 그리고 사회 변화의 모든 관찰된 획일성을 설명할 통일 이론을 개발하기 위한 전면적인 체계적 노력]
In a seminal paper half a century ago, Merton (1968) introduced the idea that there are middle range theories – theories that lie between the minor but necessary working hypotheses that evolve in abundance during day-to-day research and the all-inclusive systematic efforts to develop a unified theory that will explain all the observed uniformities of social behavior, social organization, and social change ([10]p. 39.). 

가장 자세하고 개별적인 수준에서 '개인적 이론'[12]은 우리 모두의 일상적인 활동을 안내합니다. 예를 들어, 학생들의 성과에 대한 피드백을 제공하는 방법에 대한 우리의 선택은 대부분 성과를 전달하고 평가하는 방법에 대한 매우 개별적인 이론에 의해 이끌어집니다. 이 이론은 [비록 학생과의 관계에서 무엇을 어떻게 말해야 하는지만 말해준다 하더라도],(경험적 관찰과 쌍방 관계에 있는) 개인의 이론personal theory이다.  
At the most detailed and individual level, ’personal theories’ [12] guide the day-to-day activities of every one of us. Our choice of how to feedback on student performance, for example, is most often guided by a highly individual theory of how to communicate and appraise performance. It is a personal theory, which is in a two-way relationship with empirical observations, even if it only tells us when to say what and how in relation to the student. 

교육 분야에서 Donald Schön(1991)의 연구는 이른바 사용중인 이론(theory-in-use)에 초점을 맞췄다. 이는, 교사가 일상적인 교육에 적용하는 것이다. 또한 이것이 '옹호된 이론espoused theory'와 어떻게 관련되는지를 보았는데, 이는 피드백 및 커뮤니케이션 패턴에 대한 미드레인지 이론일 수도 있고, 교수개발 과정에서 학습했을 수 있는 과정 설계가 관련될 수 있습니다.
In education, Donald Schön’s (1991) research has focused on these so called theories-inuse, that teachers apply in everyday teaching, and how they relate to their ’espoused theory’, which could be midrange theories of feedback and communication patterns together with course design that might have been learned in a faculty development course.

이론 개발에 대한 기여는 학계 커뮤니티가 '실제적 목적적합성을 달성하기 위해 얼마나 효과적으로 연구 프레임워크를 통합하느냐'에 달려 있기 때문에, 이 논문의 초점은 중범위 이론을 어떻게 명시할 수 있는지에 있다[13]. 
The focus of this paper is on how middle-range theory can be made explicit, since the contribution to development of theory depends on how effectively the community of scholars ‘integrates inquiry frameworks to achieve practical relevance’ [13]. 

어떤 패러다임이든, 연구의 이론적 가정에 대해 명확히 하는 것은 가치를 더한다. 사람들이 의학 교육 연구를 더 잘 이론화해야 한다고 요구할 때, 그들은 연구자들에게 그들의 연구를 어떤 명시적인 이론적 틀 안에서 포지셔닝하고, 그들이 그렇게 한 방법과 이유를 정당화할 수 있고, 그 틀에서 도출된 통찰력을 사용하여 경험적 관찰을 해석할 수 있도록 요청하고 있다.
Whatever one’s paradigm, being clear about the theoretical assumptions that underly research adds value to it. When people call for medical education research to be better theorised, they are asking researchers to

• position their work within some explicit theoretical framework,
• be able to justify how and why they did so, and
• use insights derived from the framework to help interpret empirical observations.

철학적 고려에서 좀 더 실용적인 고려로 넘어가면서, Bordage (2009)는 교육 연구자들이 [개념적 체계conceptual framework]를 '문제나 연구에 대한 사고 방식, 또는 복잡한 사물이 어떻게 작용하는지를 표현하는 방법'으로 어떻게 사용할 수 있는지를 설명했다. 이러한 개념적 프레임워크는 연구자들이 특정한 방법으로 문제를 검토하도록 유도하거나 시험할 가설을 생성할 수 있으며[14] 따라서 이론과 경험적 데이터 사이의 연관성에 있어 매우 중요하다. 그것들은 그들 자신의 연구나 타인의 연구로부터 발생할 수 있고 개념적 체계는 특정 이론에서 도출될 수 있다. 한 이론이 많은 다른 연구자들에 의해 채택된다면, 그 분야는 비로소 개별 연구가 진행되었던 조건을 넘어 전이될 수 있는transferable 일관된 연구결과집합체body of work를 구축하게 된다.
Moving from philosophical considerations to more practical ones, Bordage (2009) explained how education researchers can use conceptual frameworks as ‘ways of thinking about a problem or study, or a way of representing how complex things work.’ Such conceptual frameworks may guide researchers to look at problems in particular ways or generate hypotheses to be tested [14] and are thus crucial in the linkage between theory and empirical data. They may arise from their own or other people’s research and the conceptual framework can be derived from a specific theory. When theories are adopted by many different researchers, they help the field build up a coherent body of work, which is transferable beyond the conditions in which individual studies were conducted.

교육 연구 방법론 교사로써, 석사과정 학생, 박사과정 학생, 의대신입학 연구자들이 이론에 관여하기 어려운 주제라는 것을 꾸준히 발견해 왔습니다.

As teachers of education research methodology, we have consistently found that Masters students, PhD students, and new medical education researchers find theory a difficult topic to engage with.

방법
Methods

개념적 지향
Conceptual orientation

이 연구는 사회적 구성주의 접근법을 따랐다. 사회구성주의social constructivism는 집단이나 공동체가 그들의 [상호작용의 결과로 공유된 의미를 창출한다]고 가정한다. 이러한 [공유된 의미shared meaning]는 저널이나 직책, 직책과 같은 '인공물artefacts'이라 불리는 사물로부터 기인할 수 있으며, 이것들이 모여 [공유된 문화shared culture]를 이룬다. 

A social constructivist approach [15] guided our research [16–18]. Social constructivism assumes that groups or communities create shared meaning as a result of their interactions. These shared meanings can be attributed to things, which are called ’artefacts’, such as a journal or a position or title, and together contribute to a shared culture.

이번 프로젝트에서는, [출판물]을 의학교육계의 협업으로 제작된 인공물artefacts으로 보았다는 점에서 본 연구는 "사회적social"이었다. 한편, 세 저자 사이의 데이터 분석과 이론 개발의 반복적인 과정을 통해 우리가 데이터로 포함시킨 출판물에 개념적 프레임워크에 대한 연결이 어떻게 형성되고 사용되는지에 대한 해석을 구성할 수 있었다는 점에서 "구성주의적constructivist"이였다. 

In this project, the research was social in that we regarded publications as artefacts produced by the collaborative efforts of the medical education community. It was constructivist in that an iterative process of data analysis and theory development between the three authors allowed the construction of an interpretation of how connections to conceptual frameworks were formed and used in the publications we included as data. 

데이터 수집 절차
Data collection procedure

이 프로젝트의 데이터 집합은 의학 교육 분야에서 영향력이 있다고 여겨지는 발표된 논문 집합으로 구성되었습니다. 
The dataset for this project consisted of a set of published papers that were deemed influential in the medical education domain. 

선정된 연구진은 연구 pp주제, 성별, 지리뿐만 아니라 자체 연구에 일반적으로 적용되는 방법론적 선호도 변화에서 차이를 보였다(표 1 참조). 그들은 다음과 같은 요청을 받았다. 
The selected researchers differed in their variation of methodological preferences usually applied in their own research as well as research topic, gender and geography (see Table 1). They received the following request:

의학 교육 분야에서 영향력이 있다고 생각되는 약 5개의 연구 논문을 지명해 주십시오. 각 논문마다 왜 그것을 선택했는지에 대해 몇 개의 문장을 써주세요. 
Please nominate approximately 5 research papers you consider as influential in the field of medical education. For each paper, please write a few sentences saying why you chose it.

"영향력있는"이라는 단어의 의미를 우리는 "[의학 교육 관행이나 연구에서 전반적인 영향]을 미쳤거나, 혹은 [응답자 개인의 연구 또는 교육 관행]에 영향을 미쳤던 연구 논문"으로 명확히 했습니다. 
By influential we clarified that it could be “research papers that have, in your opinion, impacted medical education practice or research in general or your own research or educational practice”. 

분석
Analysis

주요 분석을 안내하는 4가지 주요 질문의 공식화:
the formulation of four main questions to guide the main analysis:

1) "이 논문의 출발점starting point은 무엇이었습니까?" 그 출발점은 예를 들어 실용적 문제 또는 이론적 문제 또는 이전 연구의 발견일 수 있습니다.
1) ”What was the starting point of this article?” The starting point could be, for instance, a practical or theoretical problem, or the findings of previous research.

2) "문제에 접근하기 위해 어떤 개념적 체계conceptual framework를 사용하였는가?" 이것이 우리가 이론적인 개념이나 프레임워크와 다소 명백한 연관성을 볼 수 있는 곳입니다.
2) ”What conceptual framework was used to approach the problem?”.This is where we could see a more or less explicit linkage to theoretical concepts or frameworks.

3) "이 논문은 방법론적으로 문제를 어떻게 다루었는가?" Guba & Lincoln의 [20] 유형 방법론적 접근법이 우리의 분석을 이끌었다.
3)”How did the paper address the problem methodologically?”;Guba & Lincoln’s [20] typology of methodological approaches guided our analysis.

4) "이 기사가 이론에 어떤 기여를 했는가?"
4)”How did the article contribute to theory?”. 

1. 저자들의 출발 지점은 무엇이었습니까?
a) 문제는 어디에서 발생하였는가(예: 실제 문제, 이전 논문, 이론 문제, 이론에 근거한 가설)?
1. What was the authors’ point of departure?
a) Where did the problem come from (e.g. practical issue, previous papers, theoretical problem, hypothesized based on theory)?

2. 저자들은 어떤 경로를 택했는가?
a) 이슈는 어떻게 문제화되고 개념화되었는가?
b) 질문 1과 2의 답변은 서로 어떤 관련이 있습니까?
c) 저자들은 자신의 문제를 다루기 위해 어떤 방법론을 사용했으며, 선택권을 얼마나 명확히 고려했는가?
2. What route did the authors take?
a) How was the issue problematized and conceptualized?
b) How do the answers to questions 1 and 2 relate to each other?
c) What methodology did the authors use to tackle their problem and how explicit were they in considering their options?

3. 저자들은 어디에 도착했나요?
a) 조사 중인 문제를 해결하는 데 어떻게 기여했다고 제안했습니까?
b) 이 과학적 여정의 여러 요소들 사이의 명백한 관계는 무엇인가?
3. Where did the authors arrive?
a) How did they suggest they had contributed to addressing the problem under investigation?
b) What is the apparent relationship between the different components of this scientific journey?

결과
Results

초청연구가 15명 중 남성 6명, 여성 4명 등 10명이 총 41편의 논문을 내정했다. 두 명은 초대를 거절했고 세 명은 응답하지 않았다. 논문은 추가 파일 1: 부록 1에 나열되며 경험적 논문부터 검토, 개념적 논문 및 사설까지 다양합니다. 
Ten of the 15 invited researchers, six men and four women, nominated a total of 41 papers. Two declined the invitation and three did not reply. The papers are listed in Additional file 1: Appendix 1 and ranged from empirical papers, to reviews, conceptual papers and editorials. 

근접 탐사
Close-up exploration

여기서 연구자들은 전공의들이 실제 경험을 통해 배우는 방법 등 몇 가지 [구체적인 현상을 설명하는 것]을 목표로 했다. [국지적 이슈]에 의해 촉발되거나, [다른 연구에서 제기된 이슈]를 바탕으로, 그들은 이러한 [현상에 대한 현재의 이해를 더할 필요성이나 기회]를 포착하였다. 이를 통해 그들은 구체적인 질문을 하고, 연구 계획을 결정하고, 연구를 착수할 수 있었다. 중범위이론은 이들이 질문, 방법, 연구 진행 환경 등을 선택할 수 있도록 도움으로써 기여했고, 그 결과 관심 주제에 대한 보다 명확하고 참신한 이해를 쌓을 수 있었다.
Here, researchers aimed to explain some specific phenomenon, such as how residents learn from practical experience. Either instigated by a local issue or issues raised in other studies, they recognized a need or opportunity to add to the current understanding of this phenomenon. This allowed them to formulate a specific question, decide on a research plan, and set out to do the research. Middle range theory contributed to this process by helping them choose questions, methods, and a setting in which to conduct the research, which would contribute to building a clearer or novel understanding of the topic of interest. 

Example 1

이 범주의 연구 예는 Lingard 외 연구진들의 연구이다. (2004). Lingard와 동료[21]는 수술실의 커뮤니케이션 장애를 조사하면서 이전 연구에서 비롯된 문제를 출발점으로 삼았다.
An example of a study in this category is a study by Lingard et al. (2004). Examining communication failures in operating rooms, Lingard and colleagues [21] took as their point of departure an issue stemming from previous research:

최근의 증거는 오류로 인한 부작용은 입원환자 환경에서 수용할 수 없을 정도로 높은 비율로 발생하며 팀 구성원 간의 비효율적이거나 불충분한 의사소통이 종종 기여 요소임을 시사한다(330페이지). 
Recent evidence suggests that adverse events resulting from error happen at unacceptably high rates in the inpatient setting and that ineffective or insufficient communication among team members is often a contributing factor. (p.330) 

의료 분야에서 팀워크와 안전의 관계, 연구 방식의 동향에 관한 문헌의 증가 추이를 언급함으로써, 지식의 격차를 확인했다.
By referring to a growing body of literature regarding the relationship between teamwork and safety in health care, and trends in the way it had been studied, the route taken by Lingard et al. identified a gap of knowledge:

이러한 모델은 효과적인 팀 기능에서 의사소통의 중요성을 강조해 왔지만, 다차원성은 커뮤니케이션의 개별 변수에 대한 깊은 관심을 배제합니다.
While these models have reinforced the importance of communication in effective team function, their multidimensionality precludes in depth attention to the individual variable of communication. (p.330) 

저자들은 "표준화와 팀 통합의 부족"이라고 공식화한formulated 수술실의 특정 맥락에서의 의사소통에 관한 연구 결과를 언급하며 계속했다. 여기서, 그들은 항공 산업에서의 의사소통에 대한 사고 방식(즉, 다른 분야에서의 이론화)을 언급함으로써, 당면한 이슈를 프레이밍(의사소통 실패)하였고, 문제 극복을 위한 개입을 선택하였다.
The authors continued by referring to the findings from studies on communication in the specific context of operating rooms, formulated as ”lack of standardization and team integration”. Here, they referred to the ways of thinking about communication in aviation industry (i.e. theoretization from another field) both as a way to frame the issue at hand (communication failures) and to choose interventions to overcome the problem:

OR 팀 커뮤니케이션의 기술된 약점에 대한 하나의 잠재적 해결책은 항공 산업에서 체계적인 비행 전 팀 커뮤니케이션을 위해 현재 사용 중인 체크리스트 시스템을 조정하는 것이다… 우리는 세심하게 조정된 체크리스트 시스템이 OR 팀에서 더 안전하고 효과적인 커뮤니케이션을 촉진할 수 있을 것으로 예상한다. (p.330)
One potential solution to the described weaknesses in OR team communication is to adapt the checklist system currently in use for systematic preflight team communications in the aviation industry … we anticipate that a carefully adapted checklist system could promote safer, more effective communications in the OR team. (p.330)

방법 섹션은 논문 초기에 식별된 방법론적 격차에 맞춰 조정되었으며 관찰된 커뮤니케이션의 현장 노트를 분석하기 위해 이론 기반의 프레임워크를 사용했다. 이를 통해 연구진은 의사소통 장애의 특성을 파악하고 탐구 중인 주제에 대한 보다 자세한 이해를 할 수 있었습니다. 이를 통해 시스템, 프로세스 및 환자 수준에서 이러한 장애를 분석하고 조사 중인 환경, 즉 수술실에서의 커뮤니케이션을 자세히 이해할 수 있었습니다.
The methods section aligned with the methodological gap identified at the outset of the paper and used a theory-based framework for analysis of the fieldnotes taken of the communication that was observed. This enabled the researchers to approach and identify the characteristics of communication failures and arrive at a more detailed understanding of the topic under exploration. It allowed them to analyse these failures in relation to the effects at system, process, and patient level and arrive at a detailed understanding of the landscape under investigation: communication in the operating room.

Example 2

첫 번째 범주의 또 다른 예는 Van Zanten의 연구이다[22]. 의사 인종과 관련된 환자 만족 주제에 대한 기존 지식의 개요로 시작합니다. 저자들은 다른 사람들이 발견한 것을 요약합니다. 과학적 풍경을 재개념화하기 위해서가 아니라 자신이 탐구하고자 하는 부분과 발견하기를 기대하는 부분을 설명하기 위해서입니다.

Another example of the first category is the study by Van Zanten [22]. It starts with an overview of existing knowledge on the topic of patient satisfaction in relation to physician ethnicity. The authors summarize what other people have discovered, not to reconceptualise the scientific landscape but to explain what part of it they want to explore and what they expect to find:

특정 관점
A specific perspective

이 범주에는 의도적으로 선택된, 고정된 유리한 지점에서 [이론 구축theory building을 추가하기 위한 연구]가 포함되었습니다. 연구자들은 심리, 사회, 인류학 또는 철학적 영역에서 도출된 특정 연구 관점을 의료 교육 분야의 이슈에 적용할 수 있는 장점을 주장했다. 
This category included research that intended to add to theory buiding from a deliberately chosen, fixed vantage point. Researchers argued for the advantages of applying a particular research perspective derived from psychological, sociological, anthropological, or philosophical domains to an issue in the field of healthcare education. 

Example 1

Example 2

Kerosuo와 Engestrom[23]에 의해 해결된 현실적 문제는 다중 전문 그룹multi-professional groups에 의한 돌봄care 제공이었다. 그들은 조직 내 사람들이 [어떻게 집단적으로 일하는 법을 배웠는지] 검토하기 시작했다. 그들은

• [인간의 활동을 체계적이고 사회적으로 자리잡은 현상으로 이해]하고, 이에 따라 [개인 주체와 사회적 현실의 차이를 메워주고],
• 그들이 일하고 있는 [의료 환경을 이해하고 변화시키기 위한 이론]인,

...활동 이론(Activity Theory)에 의해 inform된, 변화 연구실 접근법Change Laboratory approach을 취했다. 
The practical problem addresssed by Kerosuo and Engeström [23] was provision of care by multi-professional groups. They set out to examine how people in organisations learned to work collectively. They took a Change Laboratory approach, informed by Activity Theory, a theory that seeks

• to understand human activities as systemic and socially situated phenomena and hence bridges the gap between the individual subject and the social reality,
• to understand and change the health care environments they were working in. 

거리두기 관점
A distanced perspective

이 세 번째 범주는 비교적 [추상적인 수준]에서 운영된다. 학자들은 연구 영역을 스캔하여 다른 연구자들이 이전에 매핑한 내용을 종합하고 모순과 추가 탐사가 필요한 영역을 식별합니다. 특정 현상에 대한 면밀한 탐사를 하거나 특정 관점에서 문제를 살펴본 연구자들의 노력이 없었다면 이런 유형의 작업은 불가능했을 것이다. 그러나 때로는 한 발짝 물러서서 정보의 일부가 어떻게 서로 들어맞는지 살펴봐야 합니다. 일반적으로 이 세 번째 범주의 논문들은 새로운 경험적 데이터를 보고하지 않고, 그 대신 이전의 연구 결과가 그들의 데이터이다.
This third category operates at a relatively abstract level. Scholars scan an area of research, piecing together what others had previously mapped and identifying contradictions and areas that need further exploration. It would not be possible to do this type of work were it not for the efforts of researchers who have done close up explorations of specific phenomena or looked at the issue from a specific perspective. However, sometimes one needs to take a step back and look at how the pieces of information fit together, or not. Typically, papers in this third category do not report new empirical data; instead, previous research findings are their data.


Example 1

Steinert 등[24]의 교수진 개발에 대한 체계적인 검토는 수많은 교수진 개발 프로그램이 효과의 차이를 명확히 이해하지 못한 채 제공되었다는 관찰에서 시작되었습니다. 다른 학자들이 만들어낸 수많은 지식들을 스캔함으로써, 저자들은 이 조각들이 어떻게 서로 맞고 겹쳐지고 발견되지 않은 부분들을 정리할 수 있었다. 이것은 이전의 연구에 의해 생성된 지식을 종합하는 개념적 프레임conceptual framework으로 이어졌다.

A systematic review by Steinert et al. [24] on faculty development started from the observation that a myriad of faculty development programs had been delivered without any clear understanding of differences in their effectiveness. By scanning the numerous pieces of knowledge produced by other scholars, the authors were able to map out how these pieces fitted together, overlapped, and left areas undiscovered. This led to a conceptual framework that synthesized the knowledge generated by previous research.

이 프레임워크에서는 교수진의 다양한 역할을 인정하며, 교육teaching은 그 중 하나이다. 이 프레임워크는 특정 교수개발 활동을 넘어서는 많은 중재 요인이 교사의 효율성에 영향을 미칠 수 있으며, 그 결과는 여러 수준에서 관찰될 수 있다는 사실을 강조한다(p.500).
This framework acknowledges the different roles of faculty members, of which teaching is one. It also highlights the fact that many mediating factors beyond specific faculty development activities can influence teacher effectiveness, and that outcome can be observed at a number of levels. (p.500)

저자들은 교수 발달에 대한 증거를 이용하여 사람들의 행동에 대한 사고에 기여하는 틀을 만들었습니다.
The authors used evidence about faculty development to produce a framework that contributes to people’s thinking about their actions.

Example 2

이 예는 Schmidt, Norman & Boshuizen[25]에 의해 제공되며, 그는 임상 역량에 대한 문헌 검토에서 다음과 같이 결론지었다.
This example is provided by Schmidt, Norman & Boshuizen [25], who concluded from a review of literature on clinical competence:

…임상 역량의 성격에 대한 몇 가지 근본적인 가정에 의문을 제기하면서 여러 가지 반복적인 문제가 나타났습니다. (p.611) 
…a number of recurrent problems emerged, casting doubt on some of the fundamental assumptions about the nature of clinical competence. (p.611) 

고찰
Discussion

그러나 세 가지 접근방식은 우리의 주요 데이터(논문)와 구별되었지만, 하나의 범주로만 쉽게 분류할 수 없는 논문도 있었다. 이는 대부분 이 논문들이 이론적 출발점을 명확히 밝히지 않았기 때문이다.
However, although the three approaches were discerned from our primary data (the papers), there were papers that could not easily be categorized into only one of the categories. This was mostly due to the fact that these papers had not made their theoretical point of departure explicit. 

범주화뿐만 아니라, 우리의 분석은 은유를 만들어냈고, 우리는 이것이 이론이 어떻게 사용되는지를 설명하는 데 도움이 되기를 바란다. 이 비유는 해안 풍경을 탐험하고 싶은 사람이 배, 등대, 비행기로부터 탐험할 수 있다는 것이다. 해안의 풍경은 사람들의 행동과 함께 탐구 영역을 구성하는 사회적 과정을 나타낸다. 보트, 등대, 비행기는 세 가지 관점, 세부 수준, 조도 유형을 제공합니다. 이 '이야기'는 아래와 같다.
As well as a categorisation, our analysis has produced a metaphor, which we hope will help explain how theory is used. The metaphor is of a person wanting to explore a coastal landscape and being able to do so from a boat, a lighthouse, or a plane. The coastal landscape represents the people, their behaviour, and the social processes that together constitute a field of inquiry. The boat, lighthouse, and plane provide three different perspectives, levels of detail, and types of illumination of the landscape. This ’story’ is outlined below. 

이 논문에서 사용되는 은유 체계를 설명하는 서술
A narrative explaining the system of metaphors used in this paper

멀리 떨어져 있는 섬을 도표로 만들어야 한다고 상상해 보세요. 그곳에는 먼 옛날에 살았던 사람들이 만든 조잡하고 부정확한 지도들이 있다. 섬의 좋은 지점vantage point에 등대의 외딴 잔해가 서 있다. 그 섬에는 [귀중한 광물 퇴적물]이 있을 수 있기 때문에 조사되고 있다. 세 가지 방법으로 자유롭게 조사할 수 있습니다. 배를 타고 바위 해안으로 접근하거나, 등대 꼭대기에서 측량하거나, 상공 비행을 할 수 있습니다.
Imagine you have to chart a far-off island. There are some crude, inaccurate maps of it made by people who lived there in the distant past. At a vantage point on the island stand the solitary remains of a lighthouse. The island is being surveyed because there may be valuable mineral deposits there. You have, at your disposal, three ways of surveying it. You can approach its rocky coast by boat, you can survey it from the top of the lighthouse or you can overfly it.

이 비유에 따르면,

• [섬]은 연구 주제입니다.
• [귀중한 광물 퇴적물]은 그것을 조사하기 위한 목적이다.
• [지도]는 주제에 대한 지식 상태를 나타냅니다.
• 보트, 등대, 비행기는 지도를 정교화하는 [세 가지 다른 방법]이다. 즉, 근접 탐사(보트), 특정 관점(등대), 개요(비행).

According to this metaphor,

• the island is a research topic.
• The valuable mineral deposits are a purpose for surveying it.
• The map represents the state of knowledge of the topic.
• The boat, lighthouse, and plane represent the three different ways theory can help refine the map discussed in the finding section:
  • theory as close-up exploration (boat);
  • theory as a specific perspective (lighthouse); and
  • theory as overview (plane).

당신은 그것들로부터 매우 다양한 종류와 세부사항, 그리고 바위 경관에 대한 관점을 얻을 수 있을 것입니다. 마찬가지로, 여러분이 물려받은 [조잡한 지도]도 땅을 조사한 관점의 영향을 받았을 것이며, 여러분이 앞으로 생산할 [정교한 지도]도 마찬가지로 여러분이 선택한 관점의 영향과 섬의 위상학적 특성에 영향을 받을 것입니다. 
You would get very different types and levels of detail, and perspectives on the rocky landscape from them. In the same way, the crude map you inherited was influenced by the perspective from which the land was surveyed and the sophisticated map you produce will, likewise, be influenced by the perspective you have chosen as well as the topographical features of the island.

이 은유법은 연구에 대한 기본적인 원리를 보여준다. 하나의 주제를 아는 단 하나의 논쟁의 여지가 없는 방법은 없다. 마치 한 풍경을 아는 데 논쟁의 여지가 없는 방법은 없는 것과 같다. 우리가 그것을 인정하든 말든, "진리"는, 지도와 마찬가지로, 그것이 얻어진 이론적인 관점에 의해 영향을 받습니다. 궁극적으로, 원근법과 거리가 지도에 지워지지 않는 흔적을 남기는 것과 마찬가지로, 이론은 여러 가지 방법으로 우리의 연구에 스며든다. 광물 퇴적물처럼 탐구할 가치가 있는 주제라는 결정도 이론의 영향을 받는다. 하지만 그 세 가지 관점과 목표를 달성하는 데 어떻게 도움이 될 수 있는지는 지켜보자. 
This metaphor illustrates a fundamental principle about research. There is no single, incontrovertible way of knowing a topic, just as there is no incontrovertible way of knowing a landscape. Whether we acknowledge it or not, “truths”, like maps, are influenced by the theoretical perspective from which they were gleaned. Ultimately, theory permeates our research in many ways, just as perspective and distance leaves their indelible marks on a map. Even the decision that a topic is, like mineral deposits, worth exploring is influenced by theory. But let’s stick with those three different perspectives and how they can help you achieve your goal. 

보트는 풍경 가까이 다가갈 수 있게 해줍니다. 심지어 만질 수도 있습니다. 아주 미세한 디테일을 얻을 수 있습니다. 예를 들어, 귀중한 광물을 수출하는 선박을 위한 선착장을 어디에 지을지 계획한다면 매우 값진 일일 것입니다. 하지만 섬 전체를 일관된 시각으로 바라보는 데는 그리 좋지 않을 것이다. 연구용어로, 이러한 이론의 사용은 특정한 관심 영역을 식별하고, 그곳에서부터 지도의 특정 부분을 조사하는 것을 의미합니다. 주제 전체의 일관성 있는 지도를 작성하는 것보다는, 주제 일부를 세부적으로 설명하는 목적에 더 좋습니다. 보트만으로 측량하면 관심 분야에 대해서 [해결되지 않은 상반된 결과]가 동반된 짜깁기 지도가 나올 수 있습니다.
The boat allows you to come close to the landscape; even touch it. You can get very fine detail. It would be invaluable if, for example, you wanted to plan where to build a dock for ships exporting the valuable mineral. But it would not be so good for putting the entire island into a coherent perspective. In research terms, this use of theory means identifying a specific area of interest, getting out there and investigating a specific piece of the map. It is better at giving fine detail of part of a topic than producing a coherent map of the topic as a whole. Surveying solely by boat could produce a patchy map of the field of interest with unresolved, conflicting results.

만약 [등대]가 위치한 [고정된 유리한 지점]으로 인해, 광산에서 물결치는 경관을 가로질러 선착장으로 가는 경로를 선택할 수 있다면 등대를 선택할 수 있습니다. 마찬가지로, 이론은 여러분이 [의도적으로 선택한, 고정된 유리한 위치]에서 진화하는 과학 지식의 지도에 정보를 추가하는 데 도움을 줄 수 있습니다. 여러분은 특정한 심리학적, 사회학적, 인류학적 또는 철학적 입장을 선택할 수 있습니다. 왜냐하면 [그 입장]이 [이 주제]에 대해 어떤 것을 말해 줄지 알고 싶기 때문입니다. 등대에서 그렇게 하다 보면 배에서 관찰한 것과 같은 세부 수준은 아니지만 주제에 대한 가치 있는 새로운 시각을 갖게 될 것입니다. 
You would choose the lighthouse if its fixed vantage point helped you, for example, choose the route from the mineral mine to the dock across an undulating landscape. Likewise, theory can help you add a piece of information to the evolving map of scientific knowledge from the deliberately chosen, fixed vantage point. You might choose some specific psychological, sociological, anthropological or philosophical stance because you want to know what that stance will tell you about the topic. Having done so from the lighthouse, you would shed a valuable new perspective on a topic, though perhaps not at the same level of detail as if you had surveyed it from a boat. 

혹은 비행기를 타고 전체 풍경을 둘러볼 수 있다. 이로서, 탐구자들이 이전에 보트 및 등대를 사용하여 기울였던 노력을 어느 정도 적합한 전체로 통합할 수 있습니다. 연구자로서 비행기의 관점은 잘못된 표현이나 추가 탐사가 필요한 지역을 식별하는 데 도움이 될 수 있지만, 등대나 보트처럼 세부적으로 주제를 조사할 수는 없습니다. 지금까지의 지도 상태에 대한 귀중한 통찰력을 제공하고 향후 연구 의제를 추진하는 데 도움이 되는 새로운 통찰력을 제공할 수 있습니다. 
A plane allows you to overview the entire landscape and, for example, pull together the previous efforts of surveyors in boats and lighthouses into a more or less fitting whole. As a researcher, the plane perspective could help you identify misrepresentations or areas that need further exploration, though it would not allow you to examine topics in the same detail as either a lighthouse or a boat. It could give you valuable insights into the state of the maps so far and provide new insights that help drive future research agendas. 

의학 교육 연구에서 이론의 다양한 이용 방법에 첨부된 은유와 약점을 밝혀낼 수 있습니다. 예를 들어, 보트는, 탐색 범위를 제한하는 한계가 있다. 보트는 잘 정의된 영역에서 한 번에 하나의 질문에 집중할 때 가장 효과적입니다. 여러 연구자들이 서로 다르지만 관련 질문에 답하려고 노력한 결과는, [잘 정의된 영역과 사각지대와 상반된 조사 결과]가 뒤섞여서, 해당 분야에 대한 [짜깁기 지도patchy map]로 이어질 수 있다. 등대의 관점은 다양한 지역을 관찰하고 그 특이점을 연구하는데 활용될 수 있다.
By applying the metaphors, strengths and weaknesses attached to different ways of using theory in medical education research can be uncovered. Being in a boat limits, for example, the scope of the quest; it works best when focusing on one question at a time in a well-defined area. The result of many researchers trying to answer different but related questions is a patchy map of the field of interest, with areas that are well defined, blind spots, and conflicting findings. The lighthouse perspective can be used to look at different areas and study their peculiarities. 

이전에 보트로 연구했던 지역들을 재조명할 수 있고, 이는 가치 있는 깨달음으로 이어질 수 있다. 하지만 등대에서 세계를 연구하려면 유연성의 희생이 따른다. [등대]는 보트처럼 연구주제를 중심으로 움직일 수 없기 때문에, [선택한 시각]이라는 빛이 도달하지 않는 지역은 탐사가 불가능하다. 따라서 등대 연구진이 관점을 철저히 설명하고, 다른 관점(또는 빛)을 사용했다면, 다른 연구 결과를 이끌어 냈을 수도 있음을 인정하는 것이 필수적이다. 

Areas that were previously researched by boat can be re-examined and this can lead to valuable enlightenment. However, researching the world from a lighthouse comes at the expense of flexibility. Areas on which the chosen perspective does not shed light cannot be explored because the lighthouse cannot move around a research topic like a boat can. It is thus essential that lighthouse researchers describe the perspective thoroughly and acknowledge that using a different perspective (or light) might have been brought forward different findings.

[비행기 접근법]은 다른 사람의 작업을 일반화 및 구축하거나 비평함으로써 연구 커뮤니티에 중요한 자원을 제공합니다. 그러나 관심 영역으로부터의 거리를 두었기 때문에 세부 정보를 잃게 됩니다. 반면에 비행기를 타면서 얻게 되는 감시는 지금까지의 지도 상태에 대한 [중요한 윤곽]을 이끌어낼 수 있고, 심지어 미래의 연구 의제를 주도하는 새로운 통찰을 낳을 수도 있다. 

The plane approach provides an important resource to the research community by generalising and building on or critiquing different people’s work. However, the distance from the area of interest results in loss of detail. On the other hand, the oversight one gets from being in a plane can lead to valuable outlines of the state of the map so far and even result in new insights that drive future research agendas. 



이 연구가 추가하는 내용
What this study adds

그렇다면, 어떻게 이론이 만들어지는지에 대한 세 가지 관점이 이론에 대한 우리의 이해를 어떻게 알려줄까요? 이론은 경험적 연구의 자동화된 결과가 아니며, 연구자 쪽에서 선택하는 것이다 [26]. 이론을 (연구 아이디어를 창출하고 경험적 연구의 결과를 예측하는 도구로 기능하는) 생물 의학 연구에 적용되는 실증주의 패러다임에서 이론의 사용과 달리, 본 연구에서 우리가 가지고 있는 실증적 연구에서는 세 가지 접근법에 의해 이론의 사용을 예로 들었다. 
So, how do the three perspectives of how theory is made explicit inform our understanding of theory? Theory is not an automated result of empirical research but emerges from a choice on the part of the researcher [26]. In contrast to theory use in the positivist paradigm applied in biomedical research, where the function of theory is as a tool in generating research ideas and predict outcomes in empirical studies we have in this study exemplified the use of theory in medical education by the three approaches. 


이론에 어떻게 접근했는지를 분석함으로써 우리는 접근법의 변화를 볼 수 있었다.

• 첫째, 포함된 연구들은 미시 수준micro-level 이론에서 중간 범위 이론에 접근했다는 것을 알 수 있었습니다 [10].
• 두 번째로 우리는 각 논문에서 어떤 현상을 더 잘 이해하기 위해 이론을 어느 정도로 쓰는지에 차이가 있음을 보았다. 한 쪽 끝에는 [(이론으로부터) 연구 질문, 방법론 및 해석을 생성]하는 것이 있다면, 다른 쪽 끝에는 [(자료 분석의 귀납적 과정의 결과로) 이론에 기여]하는 연구가 있었다.

By analysing how theory was approached in the articles we could see a variation in approaches.

• Firstly, we could see that the included articles approached theory ranging from micro-level theory to mid-range theory [10].
• Secondly we saw a difference in the degree to which the articles worked with theory to better understand a phenomenon, i.e. generated research questions, methodology and interpretation at one end, or contributed to theory as a result of an inductive process of data analysis, at the other.

여러 논문이 실제적인 문제에 근거하고 있었기 때문에, 이 특정한 질문에 대한 해답을 특별히 목표로 했으며, 의도적으로 중거리 이론에도 기여하지 않았다. 여기서, 종종, 이론은 이전의 연구에서 나온 발견으로만 여겨졌습니다. 그러나 이론과 관련하여 연구문제를 틀에 넣은 사례도 있는데, 연구문제가 특정 이론에 근거한 것이며, 논문은 그 이론과 관련된 논쟁의 예이며, 따라서 이론토론에 대한 기여도 있다. 

As several of the papers were based on a practical problem, the paper specifically aimed to answer this specific question, and did not intentionally also contribute to mid-range theory. Here, often, theory was only viewed as findings from previous research. However, there were also examples where the research question was framed in relation to theory, where the research question was based on particular theories, and the paper is an example of an argumentation in relation to that theory, and as such is a contribution to a theoretical discussion.

마지막으로 논문에서 이론이 도입된 방식에는 차이가 있었다. 이것은 [매우 미묘하거나 암묵적인 이론적 입장]을 도입한 것부터, [이론적 관점에 대한 매우 명확하고 개념적인 설명]에 이르기까지 다양했습니다. 배경[8]에 언급된 이론의 정의로 돌아가자면, 이론을 명시적으로 드러내지 않으면 덜 도움이 됩니다. 일부 저자들이 취한 이론적인 입장의 관점에서 행간을 읽는 것은 가능했지만, 이론을 명백하게 밝힌 논문들은 (어떤 것의 증거를 발견했다고 주장하기 보다는) 특정한 렌즈로 과학적인 대화에 참여하고 있다는 것이 분명해졌다. 

Finally there was a difference in the way in which theory was introduced in a paper. This ranged from very subtle or implicit introduction of theoretical stance, to very clear and conceptual explanations of the theoretical perspective. If we go back to the definition of theory referred to in the background [8] it is less helpful when theory is not made explicit. Although it was possible to read between the lines in terms of the theoretical stance taken by some authors of the publications, it became clear that papers where theory was made explicit were participating in a scientific dialogue with a specific lens, rather than claiming to having found proof of something, in a technical sense. 

서로 다른 분야나 과학 전통에 있어서 서로 다른 접근법이 필요하고 다른 수준으로 작용하고 있습니다. 의학 교육에 적용해보자면, 비록 사회 과학이기는 하지만, [객관적인 진리를 정립하려는 목표]가 오랫동안 연구를 지배해 온 것으로 보이는데, 이는 여기서 예로 든 (후기) 실증주의 전통의 관점에서 이뤄진 연구로부터 확인할 수 있다. 그러나, 이 연구에 포함된 여러 논문들은 이러한 견해에 이의를 제기하였고, 해석적hermeneutic 지식과 해방적 지식 모두를 포함한 논문들도 포함되었다. 
Different approaches are necessary and in play to different degree in different disciplines or scientific tradtions. Adapted to medical education, it seems that although to a large degree being a social science, the aim for establishing objective truths has for a long time dominated the research, something that is also part of our findings as exemplified by studies written in a (post) positivist tradition. However, several of the papers included in this study challenged this view and papers including both hermeneutic and emancipatory knowledge interests were also included. 

의학교육연구 분야에 초보자 연구자를 대상으로 한 안내 논문은 이미 다수 존재한다. 그러한 논문 중 하나가 '연구 나침반'[30]인데, 여기서 독자들은 탐구, 실험, 관찰 및 번역 연구의 네 가지 범주를 통해 안내된다. 핵심은, 연구는 [일반화된 지식]으로 이어지고, [실질적으로 관련이 있는 연구 가능한 문제]에 관한 것이어야 한다는 것이다.

간단한 질문을 하고 간단한 방법을 사용함으로써, [면밀한 탐구로서의 이론] 및 [구체적인 관점으로서의 이론] 접근은 교수와 학습의 발전에 대한 학문적 접근(scholarship of teaching and learning)을 제공한다는 점에서 모두 중요한 역할을 한다. 한편 [개괄overview로서의 이론]을 사용될 때에는 더 높은 수준에서 이론의 발전을 위한 기초를 제공합니다.

A number of guiding articles to researchers who are new to the field of medical education research already exist. One such article is ’The research compass’ [30], in which readers are guided through four categories of research approach; explorative, experimental, observational and translational studies. A main point made in that paper is that research should be about researchable problems that lead to generalisable knowledge and are practically relevant. By asking simple questions and use simple methods, the approaches theory as close-up exploration and theory as specific perspective play a crucial role both in terms of providing a scholarly approach to the development of teaching and learning (scholarship of teaching and learning), and in providing the basis for the development of theory at higher level as when theory is used as overview. 

마지막으로, Thomas [26]는 교육적 탐구에서 더 많은 'bricolage'가 필요하다고 주장하며, 연구 분야를 탐구하는 데 있어 다양한 이론적 접근 방식을 사용할 수 있는 여지를 제공합니다. 이러한 다양한 관점의 필요성은 최근 의학교육의 증가 [27]로 언급되었으며, 의학교육에서 이론을 특정 관점으로 하는 연구가 증가하고 있다는 우리의 견해와 일치한다. 

Finally, Thomas [26] argues for the need for more ’bricolage’ in educational enquiry, giving room for multiple theoretical approaches in exploring the field of research. This need for multiple perspectives was recently commented as increasing in medical education [27] and it is in line with our view that research with theory as a specific perspective is increasing in medical education. 

방법론적 고려
Methodological considerations

결론
Conclusion

의료교육 연구를 이론적 근거가 부족한 분야로 지속적으로 비판하는 것은 명분이 낮아질 수밖에 없다. 복수의 학문적, 패러다임적 배경을 가진 연구자들이 진행하는 연구가 특징인 만큼 의학 교육 연구의 이론 문제를 어떻게 다룰지에 대한 가정은 연구에 가져오는 관점에 따라 논쟁이 될 것으로 보인다. 최소한 이론의 사용은 분명히 해야 한다고 우리는 주장한다. 
The continuous criticism of medical education research as a field that lacks theoretical basis is subject to decreased justification. As it is an area characterized by research carried out by researchers from multiple disciplinary and paradigmatic backgrounds the assumptions of how to treat the issue of theory in medical education research will probably be contentious depending on the perspective one brings to research. At a minumum, we argue, theory use needs to be made explicit. 

BMC Med Educ. 2017 Jan 19;17(1):18.

 doi: 10.1186/s12909-016-0848-1.

Making theory explicit - An analysis of how medical education research(ers) describe how they connect to theory

Klara Bolander Laksov 1 2, Tim Dornan 3 4, Pim W Teunissen 4 5

Affiliations collapse

Affiliations

• 1Department of Learning, Informatics, Management and Ethics (LIME), Karolinska Institutet, Stockholm, Sweden. Klara.bolander.laksov@edu.su.se.
• 2Department of Education, Centre for the Advancement of University Teaching, Stockholm University, Stockholm, Sweden. Klara.bolander.laksov@edu.su.se.
• 3Dentistry and Biomedical Sciences, School of Medicine, Queen's University Belfast, Belfast, UK.
• 4School of Health Professions Education (SHE), Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, NL, Netherlands.
• 5Department of Obstetrics & Gynecology, Gynaecologist at VU University Medical Center, Amsterdam, The Netherlands.

• PMID: 28103854
• PMCID: PMC5248446
• DOI: 10.1186/s12909-016-0848-1

Free PMC article

Abstract

Background: As medical education develops into a varied and well-developed field of research, the issue of quality research anchored in or generating theory has gained increasing importance. Medical education researchers have been criticized of not connecting their work to relevant theory. This paper set out to analyse how researchers can connect to theory in medical education. The goal of this paper is to provide an accessible framework for those entering medical education research, regarding how theory may become an integral part of one's work.

Methods: Fifteen purposefully selected researchers in medical education were asked to nominate papers they considered influential in medical education. Through this process 41 papers were identified and included in the study.

Results: The papers were analysed with thematic content analysis, which resulted in three approaches to the use of theory: as close-up exploration; as a specific perspective; and as an overview. The approaches are exemplified by quotes from the papers included in our dataset and further illuminated by a metaphoric story.

Conclusions: We conclude by pointing at the importance of making explicit how theory is used in medical education as a way to collaboratively take responsibility for the quality of medical education research.

문헌고찰: 양질의 의학교육연구를 위한 초석(J Grad Med Educ. 2016)
The Literature Review: A Foundation for High-Quality Medical Education Research
Lauren A. Maggio, PhD, MS (LIS) Justin L. Sewell, MD, MPH Anthony R. Artino Jr, PhD

의학 교육1의 발표된 학술연구가 급증하고 교육 연구를 출판하는 저널의 급속한 성장에도 불구하고 원고 acceptance rate은 계속 떨어지고 있다.2 [중요한 문제를 식별하고 연구를 맥락에 배치하는 철저하고 정확하며 최신의 문헌 검토를 실시하지 않는 것]은 일관되게 rejection의 가장 큰 이유 중 하나이다.
Despite a surge in published scholarship in medical education1 and rapid growth in journals that publish educational research, manuscript acceptance rates continue to fall.2 Failure to conduct a thorough, accurate, and up-to-date literature review identifying an important problem and placing the study in context is consistently identified as one of the top reasons for rejection.3,4

문헌 검토 정의
The Literature Review Defined

의학 교육에서, 어떤 조직도 연구 논문의 문헌 검토에 대한 공식적인 정의를 명확히 하지 않았습니다. 따라서, 문헌 검토는 여러 가지 형태를 취할 수 있습니다. 기사의 유형, 대상 저널 및 특정 주제에 따라 이러한 형태는 방법론, 엄격성 및 깊이에서 다양합니다. 
In medical education, no organization has articulated a formal definition of a literature review for a research paper; thus, a literature review can take a number of forms. Depending on the type of article, target journal, and specific topic, these forms will vary in methodology, rigor, and depth. 

우리는 그러한 문헌검토를 [기존의 지식 내에서 (현재 연구의 위치를 포함하여) 연구하려는 주제에 대해 알려진 것과 알려지지 않은 것의 종합적 검토와 요약]으로 정의한다. 이러한 유형의 문헌 검토는 체계적인 검토에 의해 요구되는 집중적인 검색 과정을 요구하지 않을 수도 있지만, 신중하고 엄격한 접근 방식을 사용할 가치가 있습니다.
We define such a literature review as a synthetic review and summary of what is known and unknown regarding the topic of a scholarly body of work, including the current work’s place within the existing knowledge. While this type of literature review may not require the intensive search processes mandated by systematic reviews, it merits a thoughtful and rigorous approach.

문헌검토의 목적과 중요성
Purpose and Importance of the Literature Review

현재 문헌에 대한 이해는 연구 연구의 모든 단계에서 매우 중요하다. 링가드9는 최근 자신의 연구가 더 큰 의학교육 대화에 어떻게 적합한지를 이해하기 위해 "대화로서의 저널" 은유를 사용했다. 그녀는 이렇게 묘사한다.

당신이 사교 행사에서 대화에 참여하는 것을 상상해 보세요. 무슨 말을 하는지 알기 위해 엿듣고 있다가(이것이 문헌 검토가 '대화conversational'에 해당하는 것이다), 당신이 주제에 대한 공통 관심사를 가지고 있으며, 이미 말한 내용에 대한 지식이 있고, 자신의 의도를 나타내며 대화에 참여한다.

  
An understanding of the current literature is critical for all phases of a research study. Lingard9 recently invoked the ‘‘journal-as-conversation’’ metaphor as away of understanding how one’s research fits into the larger medical education conversation. As she described it:

‘‘Imagine yourself joining a conversation ata social event. After you hang about eavesdropping toget the drift of what’s being said (the conversational equivalent of the literature review), you join the conversation with a contribution that signals your shared interest in the topic, your knowledge of what’s already been said, and your intention.’’9 

문헌 검토는 [맥락을 제공하고, 방법론을 알려주며, 혁신을 식별하고, 중복 연구를 최소화하며, 전문적 기준을 충족]하도록 함으로써 모든 연구자가 '대화에 참여'할 수 있도록 도와줍니다. 현재의 문헌에 대한 이해는 또한 Boyer가 제안한, 학문적 작업을 평가해야 하는 6가지 기준 중 5가지에 기여함으로써 장학금을 증진시킨다.11 구체적으로, 문헌 검토는 연구자에게 다음과 같은 도움을 준다.
The literature review helps any researcher ‘‘join the conversation’’ by providing context, informing methodology, identifying innovation, minimizing duplicative research, and ensuring that professional standards are met. Understanding the current literature also promotes scholarship, as proposed by Boyer,10 by contributing to 5 of the 6 standards by which scholarly work should be evaluated.11 Specifically, the review helps the researcher

• (1) 명확한 목표를 명시한다.
• (2) 적절한 준비의 증거를 보여준다.
• (3) 적절한 방법을 선택한다.
• (4) 관련 결과를 전달한다.
• (5) 성찰적 비평에 참여한다.  

• (1) articulate clear goals,
• (2) show evidence of adequate preparation,
• (3) select appropriate methods,
• (4) communicate relevant results, and
• (5) engage in reflective critique.  

수준 높은 문헌 검토를 수행하지 못한다면, [반복적이고, 이론에 기초하지 않으며, 방법론적으로 취약하고, 단일 설정 이상으로 지식을 확장하지 못하는 것] 등과 같이 의학 교육 문헌에서 확인된 여러 문제로 이어진다.12 실제로 많은 연구가 이미 출판된 연구의 반복 작업을 수행한 것이고 새로운 지식에는 거의 기여하지 않는다고 의료 교육 학자들은 불평한다. 명백한 원인은 적절한 문헌 검토를 수행하지 못했기 때문이다.3.4 
Failure to conduct a high-quality literature reviewis associated with several problems identified in the medical education literature, including studies that are repetitive, not grounded in theory, methodologically weak, and fail to expand knowledge beyond asingle setting.12 Indeed, medical education scholars complain that many studies repeat work already published and contribute little new knowledge—alikely cause of which is failure to conduct a proper literature review.3,4 

마찬가지로, 이론적인 기초나 개념적 프레임워크가 결여된 연구는 연구 설계와 해석을 어렵게 만든다.13 의학 교육 연구에 이론이 사용될 때, 종종 피상적인 수준에서 호출된다. Norman14가 지적한 바와 같이, 이론이 적절하게 사용될 때, 그것은 [함께 연결될 수 있는 변수]와 그 이유를 명확히 표현하는데 도움을 주고, 연구자가 [가설을 세우고 연구의 맥락과 범위를 정의]할 수 있게 해준다. 
Likewise, studies that lack theoretical grounding or a conceptual framework make study design and interpretation difficult.13 When theory is used in medical education studies, it is often invoked at asuperficial level. As Norman14 noted, when theory isused appropriately, it helps articulate variables that might be linked together and why, and it allows the researcher to make hypotheses and define a study’s context and scope. 

또 다른 문제는 많은 의학 교육 연구가 방법론적으로 취약하다는 것이다.12 좋은 연구를 위해서는 관련 교육을 받은 연구 조사자 질문이 필요한데, 이들은 관심 변수를 운영적으로 정의하고 특정 연구 질문에 대한 최선의 방법을 선택할 수 있다.
Another problem is that many medical education studies are methodologically weak.12 Good research requires relevant trained research investigators questions, who can articulate operationally define variables of interest, and choose the best method forspecific research questions.

마지막으로, 의대 교육에 관한 많은 연구들은 "일회성one-offs"이다. 즉, 기회가 현지에서 나타났기 때문에 수행되는 단일 연구이다. 이러한 연구는 종종 다른 환경에 대한 점진적인 구축과 일반화를 지향하지 않습니다. 문헌에 대한 확실한 이해는 연구에 대한 프로그램적 접근을 장려할 수 있다.  
Finally, many studies in medical education are‘‘one-offs,’’ that is, single studies undertaken because the opportunity presented itself locally. Such studies frequently knowledge are not oriented toward progressive building and generalization to other settings. A firm grasp of the literature can encouragea programmatic approach to research.  

문헌 검토 접근 중
Approaching the Literature Review

문헌 검토를 계획하려면 저널에 따라 크게 달라지는 저널 요건을 이해해야 합니다(표 1). 저자들은 문헌 검토의 결과 보고와 관련된 일반적인 문제점을 주목하는 것이 좋다. 표 2는 우리가 작가, 검토자, 편집자로서 직면했던 가장 일반적인 문제들을 열거합니다.  
Planning the literature review requires understanding of journal requirements, which vary greatly by journal (TABLE 1). Authors are advised to take note of common problems with reporting results of the literature review. TABLE 2 lists the most common problems that we have encountered as authors, reviewers, and editors.  

문헌 찾기 및 구성
Locating and Organizing the Literature

인적 자원
Human Resources

의학 사서는 연구 관심사를 효과적인 검색 전략으로 변환하고, 이용 가능한 정보 리소스를 연구자에게 익숙하게 하며, 정보를 정리하는 데 필요한 정보를 제공하고, 새롭게 부상하는 연구에 최신 정보를 제공하기 위한 전략을 도입할 수 있습니다. 종종, 사서들은 또한 그들의 기관 전반에 걸친 연구에 대해 알고 있고 비슷한 관심사를 가진 연구원들을 연결할 수 있을 것이다. 동료들에게 제안을 구하면 연구원들이 레이더에 없을 자원을 빠르게 찾는 데 도움이 될 수 있다.
A medical librarian can help translate researchinterests into an effective search strategy, familiarize researchers with available information resources, provide information on organizing information, and introduce strategies for keeping current with emerging research. Often, librarians are also aware of research across their institutions and may be able toconnect researchers with similar interests. Reaching out to colleagues for suggestions may help researchers quickly locate resources that would not otherwise be on their radar.  

이 과정에서 연구자들은 다른 연구자들이 자신들의 주제에 대해 쓰고 있는 것을 확인할 것으로 보인다.연구자들은 이러한 관련 연구자들의 출판물 검색을 고려해야 한다(검색 전략은 표 3 참조). 또한 기관 웹사이트에는 해당 교직원의 교육과정 이력서, 도서장, 논문, 기술보고서 등 어려운 자료를 포함하여 해당 교직원의 전체 위치 간행물, 기록물 등을 포함할 수 있다. 
During this process, researchers will likely identifyother researchers writing on aspects of their topic.Researchers should consider searching for the publications of these relevant researchers (see TABLE 3 for search strategies). Additionally, institutional websites may include curriculum vitae of such relevant faculty with access to their entire locate publication publications, record, including difficult to such asbook chapters, dissertations, and technical reports. 

검색 도구 및 관련 문서
Search Tools and Related Literature

의학교육 연구는 다양한 학문으로 이루어지기 때문에, 연구원들은 [의학을 넘어서는 범위](예: 심리학, 간호학, 교육학, 인류학)와 보고서, 기준집, 학술대회 초록, 단행본 서적과 같은 [여러 출판 유형]을 다루는 검색 도구를 포함해야 한다(여러 정보 자원은 BOX 참조). 많은 검색 도구에는 선택한 기사의 인용문을 보기 위한 옵션이 포함되어 있습니다. 인용된 참조를 검토하면 검토를 위한 추가 기사와 선택한 기사가 해당 필드에 미치는 영향에 대한 느낌을 얻을 수 있습니다. 
Because medical education research draws on avariety of disciplines, researchers should include search tools with coverage beyond medicine (eg, psychology, nursing, education, and anthropology) and that cover several publication types, such as reports, standards, conference abstracts, and book chapters (see the BOX for several information resources). Many search tools include options for viewing citations of selected articles. Examining cited references provides additional articles for review and a sense of the influence of the selected article on its field. 

참고문헌 정리하기
Getting Organized

앞서 언급한 리소스는 엄청난 양의 정보를 제공할 가능성이 높기 때문에 잘 정리하는 것이 매우 중요합니다. 연구자들은 어떤 세부사항이 그들의 연구에 가장 중요한지 결정하고(예: 참가자, 설정, 방법, 결과) 그러한 세부사항을 체계적이고 접근 가능하도록 유지하는 전략을 만들어야 한다. 연구자들이 Evernote와 같은 디지털 도구를 사용하여 이러한 정보를 캡처하고 있으며, 이를 통해 디지털 작업 공간 및 검색 기능에 액세스할 수 있습니다. Citation manager의 사용은 인용문을 저장하기 때문에 유용할 수 있으며, 경우에 따라 참고 문헌을 작성할 수 있다(표 4).
As the aforementioned resources will likely provide a tremendous amount of information, organization is crucial. Researchers should determine which details are most important to their study (eg, participants, setting, methods, and outcomes) and generate a strategy for keeping those details organized and accessible. Increasingly, researchers utilize digital tools, such as Evernote, to capture such information, which enables accessibility across digital workspaces and search capabilities. Use of citation managers can also be helpful as they store citations and, in some cases, can generate bibliographies (TABLE 4).

언제 말해야 하는지 알기
Knowing When to Say When

연구자들은 종종 citation이 충분하다는 것을 어떻게 알 수 있는지 묻는다. 안타깝게도 마법의 숫자나 이상적인 숫자는 없습니다. 문헌 취재를 점검하는 전략 중 하나는 관련 논문의 참고 문헌을 점검하는 것이다. 연구자들이 참고 문헌을 검토하면서 새로운 문헌이 거의 나타나지 않고, 동일한 문헌이 반복되는 것을 알아차리기 시작할 것이다. 이것은 연구자가 특정 주제에 관한 문헌을 (충분히) 다루었음을 나타낼 수 있다.
Researchers often ask how to know when they have located enough citations. Unfortunately, there is no magic or ideal number of citations to collect. One strategy for checking coverage of the literature is to inspect references of relevant articles. As researchers review references they will start noticing a repetition of the same articles with few new articles appearing. This can indicate that the researcher has covered the literature base on a particular topic.

모두 합치기
Putting It All Together

연구논문 작성을 준비할 때는 어떤 citation을 포함시킬지, 그리고 introduction과 discuttion에 어떻게 활용inform할지 고민하는 것이 중요하다. 대상 저널에 대한 'Instructions to Authors'은 종종 문헌 검토(또는 소개)와 각 기사 범주에 허용되는 총 인용 횟수에 대한 지침을 제공한다. 
In preparing to write a research paper, it is important to consider which citations to include and how they will inform the introduction and discussion sections. The ‘‘Instructions to Authors’’ for the targeted journal will often provide guidance on structuring the literature review (or introduction) and the number of total citations permitted for each article category. 

Introduction에 대한 참고문헌을 선택할 때에는, 핵심 배경 이론 및 방법론 개념뿐만 아니라 [최근에 발표된 관련 연구]를 설명하는 것을 고려한다. 서론에서 제시하는 참고문헌은 사용 가능한 문헌의 너저분한 목록이나 단순 서술이 아니라, 현재 연구에 대한 맥락을 제공하고, 연구가 채우려는 문헌의 격차를 파악하기 위한 [종합적 요약]이므로, 간략해야 한다. 논의를 위해 현재 연구의 조사 결과를 현재 문헌과 비교 및 대조하고 현재 연구가 어떻게 필드를 발전시키는지를 나타내기 위해 citation을 신중히 선택해야 한다. 
When selecting references for the introduction consider those that illustrate core background theoretical and methodological concepts, as well as recent relevant studies. The introduction should be brief and present references not as a laundry list or narrative of available literature, but rather as a synthesized summary to provide context for the current study and to identify the gap in the literature that the study intends to fill. For the discussion, citations should be thoughtfully selected to compare and contrast the present study’s findings with the current literature andto indicate how the present study moves the field forward. 

결론
Conclusion

J Grad Med Educ. 2016 Jul;8(3):297-303.

 doi: 10.4300/JGME-D-16-00175.1.

The Literature Review: A Foundation for High-Quality Medical Education Research

Lauren A Maggio, Justin L Sewell, Anthony R Artino Jr

• PMID: 27413425
• PMCID: PMC4936839
• DOI: 10.4300/JGME-D-16-00175.1

Free PMC article

No abstract available

The Green Lumber Fallacy 

fs.blog/2016/11/green-lumber-fallacy/?s=09

"말하는 기술과 행동하는 기술을 동일시하는 것은 엄격하지 않다.”
— 나심 테일브
“Clearly, it is unrigorous to equate skills at doing with skills at talking..”

— Nassim Taleb

"반짝이는 모든 것이 금은 아니다"라는 속담이 있다. 사물의 미학은 종종 우리를 속인다. 우리가 무식하다고 부르는 사람들은 무식하지 않을지도 모른다. 우리가 똑똑하다고 부르는 사람들은 똑똑하지 않을 수도 있다. 녹색 목재 오류는 현실 세계가 항상 우리의 이야기와 일치하지 않는다는 것을 가르쳐준다. 성공의 진짜 원인 요인은 종종 우리에게 숨겨져 있다.

“All that glitters is not gold,” the saying goes. The aesthetics of things often fool us. People we call ignorant might not be ignorant. People we call smart might not be smart. The Green Lumber Fallacy teaches us that the real world doesn’t always match our stories. The real causative factors of success are often hidden from us.

***

진화 이론에 익숙하다면, 유기체의 개체군은 끊임없이 "선택 압력"을 받는다는 것을 알 것입니다. 어떤 특성들이 선호되고 그들의 자손에게 전해지고 다른 것들은 진화 쓰레기통에 버려지게 되는 그들 환경의 혹독함입니다.
If you’re familiar with evolutionary theory, you know that populations of organisms are constantly subjected to “selection pressures” — the rigors of their environment which lead to certain traits being favored and passed down to their offspring and others being thrown into the evolutionary dustbin.

생물학자들은 이러한 장점들을 번식의 "적합성"이라고 부른다. 기린 목의 길이가 길어진 것이 그들의 환경에 더 큰 "적합성"을 가져다 주었지요. 왜냐하면 그것이 그들이 높은 곳에 닿고, 손대지 않은 잎에 도달하도록 도와주었기 때문입니다. 적합성은 일반적으로 상대적인 개념입니다. 유기체는 부족한 자원을 얻기 위해 경쟁해야 하기 때문에, 그들의 적합성은 서로에 대한 생식적 우위를 준다는 의미에서 측정된다.
Biologists dub these advantages in reproduction “fitness” — as in, the famously lengthening of giraffe necks gave them greater “fitness” in their environment because it helped them reach high up, untouched leaves. Fitness is generally a relative concept: Since organisms must compete for scarce resources, their fitnesses is measured in the sense of giving a reproductive advantage over one another.

한 환경에서 뛰어난 적합성을 제공할 수 있는 특성은 쓸모없거나 다른 환경에서 불리할 수 있습니다. (연못에서 물을 뺀다고 가정해 보십시오: 정말 믿을 수 없는 물고기가 가지고 있는 어떤 건강상의 이점도 물 없이는 즉시 가치가 없어집니다.) 특성은 또한 환경과 관련이 있다. 한 번에 장점은 다른 한 가지 단점이 될 수 있고 그 반대도 마찬가지입니다. 자연은 논쟁하지 않고, 그저 반복해서 시험할 뿐입니다.
A trait that might provide great fitness in one environment may be useless or even disadvantageous in another. (Imagine draining a pond: Any fitness advantages held by a really incredible fish becomes instantly worthless without water.) Traits also relate to circumstance. An advantage at one time could be a disadvantage at another and vice versa. Nature doesn’t argue, it just tests over and over.

이것은 적합성을 생물학에서 가장 중요한 개념으로 만든다. 특성은 주어진 환경 내에서 유기체에 적합성을 제공하는 경우에 선택된다.

This makes fitness an all-important concept in biology: Traits are selected for if they provide fitness to the organism within a given environment.

블랙 스완의 작가 나심 탤브는 피트니스와 현실세계에서의 선택에 대해 흥미로운 견해를 가지고 있다: "잘 하는 사람doers"과 "잘 말하는 사람talkers"이 다른 특성으로 선택되는 경우가 많다. 그것들을 섞지 않도록 조심해라.
The Black Swan author Nassim Taleb has an interesting take on fitness and selection in the real world that boils down to: People who are good “doers” and people who are good “talkers” are often selected for different traits. Be careful not to mix them up.

그의 저서 Antifragile에서, Taleb는 이 아이디어를 월가의 상인들을 고용할 때 사용했던 경험적 발견을 발현하기 위해 사용합니다.
In his book Antifragile, Taleb uses this idea to invoke a heuristic he’d once used when hiring traders on Wall Street:

누군가가 하는 말이 더 흥미롭고, 더 교양 있을수록, 그 사람이 실제 사업에서 하는 일도 더 효과적이라고 생각하게 될 것이다. (심리학자들이 후광 효과라고 부르는 것, 스키에서의 기술이 도자기 공방이나 은행을 관리하는 기술로 실패하지 않는다고 생각하는 실수) 훌륭한 체스 선수가 실생활에서 훌륭한 전략가가 될 것이라는 것을 의미한다.
The more interesting their conversation, the more cultured they are, the more they will be trapped into thinking that they are effective at what they are doing in real business (something psychologists call the halo effect, the mistake of thinking that skills in, say, skiing translate unfailingly into skills in managing a pottery workshop or a bank department, or that a good chess player would be a good strategist in real life).

분명히, 말하는 기술과 하는 기술을 동일시하는 것은 허술하다unrigorous. 훌륭한 실무자들에 대한 제 경험은, 그들도 완전히 incomprehensible하다는 것입니다. 그들은 통찰력과 내부 일관성을 우아한 스타일과 서사로 바꾸는 데 많은 에너지를 쏟을 필요가 없습니다. 기업가는 사상가가 아닌 행동가이며, 행동가는 말을 하지 않으며, 토크 부서에서 그들을 측정하는 것은 불공평하고, 잘못되고, 완전히 모욕적일 것이다.
Clearly, it is unrigorous to equate skills at doing with skills at talking. My experience of good practitioners is that they can be totally incomprehensible–they do not have to put much energy into turning their insights and internal coherence into elegant style and narratives. Entrepreneurs are selected to be doers, not thinkers, and doers do, they don’t talk, and it would be unfair, wrong, and downright insulting to measure them in the talk department.

기업가에 대한 선택압력은 기업 경영자나 관료에 대한 압박과는 매우 다르다. 기업가와 위험부담자는 [대화와 설명, 합리화 능력]에 따라 성공하거나 실패하지 않는다. 그들은 군중으로부터 advantageously diverge되어 일을 처리하는 능력에 따라 성공하거나 실패한다. 말하는 것과 행하는 것이 함께 갈 수도 있지만, 보통은 그렇지 않습니다.
The selection pressures for an entrepreneur are very different from those on a corporate manager or bureaucrat. Entrepreneurs and risk-takers succeed or fail not so much on their ability to talk, explain, and rationalize as their ability to advantageously diverge from the crowd and get things done. While talking and doing can go together, they frequently don’t.

반드시 훌륭한 지적 능력과 훌륭한 행동이 함께 있어야 할 이유는 없습니다: 놀라운 코드 조각들을 함께 해킹할 수 있다는 것은 여러분이 훌륭한 이론적인 컴퓨터 과학을 하는 동안 아마도 학계에서 더 나은 적합성을 갖게 해 줄 것입니다. 그 두 기술은 연관될 필요가 없다. 대부분 위대한 경제학자라고 훌륭한 투자자는 아니다.  그러나 우리는 종종 두 영역을 혼동한다.

When you think about it, there’s no reason great intellectualizing and great doing must go together: Being able to hack together an incredible piece of code gives you great fitness in the world of software development while doing great theoretical computer science probably gives you better fitness in academia. The two skills don’t have to be connected. Great economists don’t usually make great investors.  But we often confuse the two realms.

특히 배관, 프로그래밍, 트레이딩 또는 마케팅과 같은 일부 "좁은" 분야에서의 성공은 지적이지 못한 사람들에 의해 달성되는 경우가 많습니다. 그들의 진화적 적합성은 [말하는 능력]에서 오는 것이 아니라 [행동하는 능력]에서 오는 것이다.

Success, especially in some “narrow” area like plumbing, programming, trading, or marketing, is often achieved by rather non-intellectual folks. Their evolutionary fitness doesn’t come from the ability to talk but do.

녹색 목재 오류
The Green Lumber Fallacy

Taleb는 이 차이를 "녹색 목재 오류"라고 부릅니다. "100만 달러를 잃으면서 배운 것"이라는 책에 나오는 이야기입니다.
Taleb calls this divergence the Green Lumber Fallacy, after a story in the book What I Learned Losing a Million Dollars.

Taleb이 Antifragile에서 설명한 것처럼 
As Taleb describes it in Antifragile:

금융 분야에서는 드물게 "백만 달러를 잃으면서 배운 것"이라고 불리는 noncharlantanic 서적 중 하나에서 주인공은 큰 발견을 합니다. 그는 "녹색 목재"라고 불리는 상품에서 가장 성공한 무역업자 중 한 명인 조 시겔이라는 사람이 실제로 그것이 (마르지 않았기 때문에 새로 깎은 목재보다는) 녹색으로 칠해진 목재라고 생각했다. 그리고 그는 이걸 거래하는 것을 그의 직업으로 삼았습니다! 한편 narrator는 위대한 지적 이론과 원자재의 가격을 움직이게 한 것에 대한 내러티브에 빠져서 파산했다.
In one of the rare noncharlatanic books in finance, descriptively called What I Learned Losing a Million Dollars, the protagonist makes a big discovery. He remarks that a fellow named Joe Siegel, one of the most successful traders in a commodity called “green lumber,” actually thought it was lumber painted green (rather than freshly cut lumber, called green because it had not been dried). And he made it his profession to trade the stuff! Meanwhile the narrator was into grand intellectual theories and narratives of what caused the price of commodities to move, and went bust.

그것은 단지 성공적인 목재 전문가가 "녹색"이라는 명칭과 같은 중요한 문제들에 대해 무지했던 것만은 아니다. 그는 또한 어떤 전문가도 중요하지 않다고 생각하는 목재에 대한 것들을 알고 있었다. 우리가 무식하다고 부르는 사람들은 무식하지 않을지도 모른다.
It is not just that the successful expert on lumber was ignorant of central matters like the designation “green.” He also knew things about lumber that nonexperts think are unimportant. People we call ignorant might not be ignorant.

목재에서의 순서 흐름 예측과 일반적인 서술이 외부에서 가정할 세부 사항과 거의 관련이 없다는 사실은 중요하다. 현장에서 일을 하는 사람들은 정해진 시험set exam을 보지 않는다. 그들은 가장 서술적이지non-narrative 않은 매니저 중에서 선발된다. 말을 잘하는 것은 별 차이가 만들지 못한다. 진화는 내러티브에 의존하지 않습니다. 인간도 마찬가지입니다. 진화론에는 파란색에 대한 단어가 필요하지 않다.
The fact that predicting the order flow in lumber and the usual narrative had little to do with the details one would assume from the outside are important. People who do things in the field are not subjected to a set exam; they are selected in the most non-narrative manager—nice arguments don’t make much difference. Evolution does not rely on narratives, humans do. Evolution does not need a word for the color blue.

그래서 녹색 목재 오류라고 부르죠. 어떤 사람이 [눈에 보이는 지식의 원천]을 잘못 알고 있는 상황입니다. 여기서는 목재가 띄고 있는 녹색빛greenness이 그것이다. 외부에서는 잘 보이지 않고, 덜 다루기 쉽고, 덜 이야기하기 쉽기 때문입니다.
So let us call the green lumber fallacy the situation in which one mistakes a source of visible knowledge — the greenness of lumber — for another, less visible from the outside, less tractable, less narratable.

핵심은 [진짜 원인 요인]은 종종 우리에게 숨겨져 있다는 것이다. 우리는 녹색 재목의 복잡한 점을 아는 것이 주문 흐름을 예의 주시하는 것보다 더 중요하다고 생각합니다. 우리는 우리 스스로를 지성의 영향을 과대평가하도록 유혹하고 왜 "이단"이 앞서나가고 있는지 궁금해한다.
The main takeaway is that the real causative factors of success are often hidden from us. We think that knowing the intricacies of green lumber are more important than keeping a close eye on the order flow. We seduce ourselves into overestimating the impact of our intellectualism and then wonder why “idiots” are getting ahead.

그러나 "스킨 인 더 게임"에서는, [선택과 진화]가 결과로 변환되지 않는 한, 훌륭한 이야기와 아이디어에 신경 쓰지 않습니다. 이 때는 [당신이 알고 있는 것]보다 [당신이 하는 것]에 더 신경을 쓴다. 위험관리 이론에 대한 폭넓은 지식보다는 실제로 위험을 피하는 것에 신경을 쓴다. (물론, 현대의 많은 분야에서는 게임 속에 피부가 없기 때문에 대화와 합리화가 선택될 수 있고 자주 선택된다.)
But for “skin in the game” operations, selection and evolution don’t care about great talk and ideas unless they translate into results. They care what you do with the thing more than that you know the thing. They care about actually avoiding risk rather than your extensive knowledge of risk management theories. (Of course, in many areas of modernity there is no skin in the game, so talking and rationalizing can be and frequently are selected for.)

Taleb가 그의 고용 휴리스틱에서 그랬던 것처럼, 우리에게 좋은 말을 하는 사람들을 액면 그대로 받아들이는 것에 대해 약간 회의적이어야 함을 가르쳐준다. 또한 우리가 "그다지 똑똑하다"고 생각하는 사람에게서 "설명할 수 없는" 성공을 볼 때 약간 회의적이 되도록 가르쳐야 한다. 설화에 유혹되어 보이지 않는 단절이 있을 수 있다. (리콴유 같은 사람이 오로지 어떤 일에만 집중해서 피한 문제)
As Taleb did with his hiring heuristic, this should teach us to be a little skeptical of taking good talkers at face value, and to be a little skeptical when we see “unexplainable” success in someone we consider “not as smart.” There might be a disconnect we’re not seeing because we’re seduced by a narrative. (A problem someone like Lee Kuan Yew avoided by focusing exclusively on what worked.)

우리는 이 지혜의 덩어리를 감상하기 위해 우리의 지적 추구들을 포기할 필요는 없습니다. Taleb의 말이 옳습니다. 하지만 또한 ["실제로 작동하는 것"에 대한 엄격하고 회의적인 지식]과 [세계의 점점 더 발전하는 이론 구조]를 결합하는 것은 모든 것 중에서 가장 좋은 조합일 수 있습니다. 

We don’t have to give up our intellectual pursuits in order to appreciate this nugget of wisdom; Taleb is right, but it’s also true that combining the rigorous, skeptical knowledge of “what actually works” with an ever-improving theory structure of the world might be the best combination of all 

징글쟁글 오류

Jingle-Jangle Fallacies

www.brookings.edu/blog/social-mobility-memos/2014/12/19/jingle-jangle-fallacies-for-non-cognitive-factors/

용어적으로 말해서, "비인지적 요인"에 대한 scholarship은 엉망이다. 이 분야 역시 단어가 중요한 분야입니다. 우리는 행동, 기술, 장점 또는 특성을 검토하고 있는가?  우리는 "성격", "사회 정서 학습" 또는 "부드러운 기술"을 장려하고 있는가? 특히 "징글"과 "장글"의 두 가지 오류들이 진전을 방해하고 있다.
Terminologically speaking, scholarship on “non-cognitive factors” is a mess. This is a field where words count, too. Are we examining behaviors, skills, strengths or traits?  Are we promoting “character,” “socio-emotional learning,” or “soft skills?” Two fallacies in particular are impeding progress: the “jingle” and the “jangle”.

징글 오류
 THE JINGLE FALLACY

징글 오류(jingle error)는 상당히 다른 여러 가지를 설명하기 위해 단일 용어를 사용하는 것을 말한다. 이 경우, "비인지적 기술"이라는 문구는 광범위한 기술, 특성, 장점 또는 속성, 즉 본질적으로, 이 용어가 암시하는 바와 같이 인지적으로 기초하지 않은 모든 것을 결합한다. 여기에는 사회적 예절이나 개인적 자신감이 포함될 수 있지만, 만족을 미루거나(때로는 신중함 또는 "신중함"이라고 칭함), 일에 집중하거나, 날씨가 어려운 시기(라벨, 때로는 "기분 회복력"이라고 함) 다른 사람의 문제에 공감할 수 있는 능력도 언급될 수 있다.
The “jingle fallacy” refers to the use of a single term to describe a multiplicity of quite different things. In this case, the phrase “non-cognitive skills” lumps together a vast range of skills, traits, strengths, or attributes: essentially, as the term implies, anything that is not cognitively based. This could include social manners or personal confidence; but it may also refer to the capacity to defer gratification (sometimes referred to as prudence or “grit”), focus on a task, weather difficult times (labeled, sometimes, “resilience”), or empathize with the troubles of another person.

어떤 용어가 그렇게 많은 부분을 포괄하는 데 사용될 때, 그것은 이해하는데 방해가 된다. 전혀 다른 차원을 연구하고 있는 연구원들은 그들이 같은 공간에서 일하고 있다고 거짓으로 믿을 수 있는데, 사실 그들은 천문학자들에게 천체물리학자들보다 더 가깝지 않다. "비인지적"이라는 말을 현역에서 은퇴해야 할 때이다.

When a term is being used to cover so much ground, it gets in the way of understanding. Researchers working on wildly different dimensions can falsely believe they are working in the same space, when in truth they are no closer than astrophysicists to astronomers. It is time to retire the phrase “non-cognitive” from active duty.

장글 오류
THE JANGLE FALLACY

하지만 또 다른 잠재적인 문제가 있습니다. 인지적 요인에 대한 초기 연구도 더럽혀졌습니다. "장글 오류"는 사람들이 같은 것을 설명하기 위해 다른 용어를 사용할 때 발생합니다. 이는 부문 간 협업과 공통 측정 채택에 방해가 될 수 있습니다. 그 문제는 종종 다양한 분야의 다른 어휘들에 의해 복잡해진다. 특정 속성은 경제학자에 의해 "기술"로, 심리학자에 의해 "성격 특성"으로, 교육주의자에 의한 특정한 종류의 "학습" 또는 도덕 철학자에 의한 "인격" 차원으로 분류될 수 있다. 각자 같은 개념을 염두에 두고 있을 수도 있지만 용어의 혼란 때문에 서로의 일이나 의미를 놓친다.
But there’s another potential problem, one that also bedeviled early research on cognitive factors: the “jangle fallacy,” which occurs when people use different terms to describe the same thing. This can get in the way of cross-disciplinary collaboration and the adoption of common measurements. The problem is often compounded by the different vocabularies of various disciplines. A particular attribute may be labeled a “skill” by an economist, a “personality trait” by a psychologist, a certain kind of “learning” by an educationalist, or a “character” dimensions by a moral philosopher. Each may have the same concept in mind, but miss each other’s work or meaning because of the confusion of terms.

심지어 헤크만도 고생한다
EVEN HECKMAN STRUGGLES

이 많은 단어와 의미를 헤쳐나가기 힘들다는 사람은 누구나 그 분야의 최고들조차도 어려움을 겪고 있다는 사실에서 약간의 위안을 얻을 수 있다. 노벨상 수상자 제임스 헤크먼이 NPR 인터뷰에서 "This American Life"에 대해 도전을 받는 것을 들어보십시오. 그가 이런 종종 덧없는 요소들을 묘사하는 데 사용했던 다른 용어들로 말입니다. Heckman은 확실히 경제학의 아버지이며 언어와 라벨링 문제에 많은 생각을 해 왔다. 그는 이제 "성격 기술"을 언급한다.

Anybody finding it difficult to make their way through this thicket of words and meanings can take some comfort from the fact that even the best in the field are struggling. Listen to Nobel prize-winner (and our adviser and friend) James Heckman being challenged in this NPR interview for “This American Life” for the different terms he has used to describe these often ephemeral factors. Heckman is the father of the field, certainly within economics, and has given a great deal of thought to the language and labeling issue. He now refers to “character skills.”

성격 특성, 성격 기술 및 성격 강점
CHARACTER TRAITS, CHARACTER SKILLS AND CHARACTER STRENGTHS

"속성trait"은 일반적으로 유전적으로 영향을 받는 대체로 고정된 속성을 가리킨다. 내향적인 사람들은 외향적인 행동을 보여주는 것을 배우더라도 외향적인 사람이 되지 않는다. 그러나 당면 과제에 집중하는 능력이나 만족을 지연시키는 능력을 포함한 기술은 일생에 걸쳐 달라질 수 있으며, 가르치고 배울 수 있다.
A “trait” typically refers to a largely fixed, often genetically-influenced, attribute. Introverts don’t become extroverts, even if they learn to demonstrate some extrovert behaviors. But skills – including the capacity to focus on a task at hand, or defer gratification – are changeable, may vary through a lifetime, and can be both taught and learned.

따라서 Heckman이 스킬이라는 용어를 사용하는 것은 그의 연구의 초점을 좁히고 가단성malleability을 시사하는 측면에서 도움이 된다. (또 다른 조언자인 Paul Tough도 비슷한 노선을 취한다.) 하지만 여기도 뭔가 없어졌다. 스킬은 몇 가지 중요한 요소를 포착하지 못합니다. 호기심은, 한 가지 예를 들면, 배워야 할 기술인가, 고정된 성격인가, 아니면 둘 사이의 어딘가인가? 우리는 "캐릭터 강점strength"이라는 용어를 기술과 특성 사이의 절충어로 사용하는 경향이 있었다. "강점"이란 단어는 운동 능력을 상기시킨다 – 사람은 일정 수준의 체력을 가질 수 있지만, 체육관에서 충분히 일하면 누구나 100개의 팔굽혀펴기를 할 수 있는 근육을 키울 수 있다.  마찬가지로, 어떤 일에 집중하는 사람의 선천적인 능력은 다를 수 있지만, 집중력도 가르쳐질 수 있다.
Heckman’s use of the term skills is therefore helpful in terms of narrowing the focus of his research and suggesting malleability. (Paul Tough, another advisor, takes a similar line). But something is lost here, too. Skill doesn’t capture some important factors. Is curiosity, to give one example, a skill to be learned, a fixed personality trait, or somewhere between the two? In our own work (including in our report “The Character Factor”) we tend to use the term “character strength” as a compromise between skills and traits. Strength calls to mind athletic abilities – a person may have a predisposition towards a certain level of physical strength, but with enough work at the gym anyone can build up the muscles to do 100 pushups.  Similarly, a person’s innate ability to focus on a task may vary, but focus can be taught as well.

물론 캐릭터라는 용어가 그 자체의 문제가 없는 것은 아니다. Heckman이 'This American Life' 인터뷰에서 말했듯이, "문제는 '성격'이 매우 도덕적으로 들린다는 것입니다. 일요학교를 운영하는 것 같습니다."
Of course the term character is not without its own problems. As Heckman put it in the ‘This American Life’ interview, “The trouble is ‘character’ sounds very moralistic. It sounds like we’re running a Sunday School.”

하지만 그의 해결책은 옳습니다. 캐릭터라는 용어를 사용하는 것에서 물러서지 마세요. 이것은 가장 명확한 전체 레이블입니다. 여러분이 그것에 대해 말할 때 무엇을 의미하는지 구체적으로 말하세요. 특히 이번 토론에서 '징글'(다른 개념에 같은 용어를 사용함)과 '장글'(같은 개념에 다른 용어를 사용함)을 동시에 경계할 필요가 있다.

But his solution is the right one: don’t back away from using the term character, which is the clearest overall label: just be specific what you mean when you talk about it. In particular, we need to be on our guard against both the “jingle” (using the same term for different concepts) and the “jangle” (using different terms for the same concept) in this debate.