Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

크리스마스 2022: 과학자: 크리스마스 12일째날, 통계학자가 보내주었죠(BMJ, 2022)
CHRISTMAS 2022: THE SCIENTIST
On the 12th Day of Christmas, a Statistician Sent to Me . . .
Richard D Riley, 1 Tim J Cole, 2 Jon Deeks, 1 Jamie J Kirkham, 3 Julie Morris, 4 Rafael Perera, 5 Angie Wade, 6 Gary S Collins7 

크리스마스까지 이어지는 몇 주는 의학 연구를 위한 마법의 시간이다. 임박한 휴가철은 연구원들이 시간을 내어 통계 분석을 끝내고 원고를 작성하고 검토자들의 의견에 응답하는 등 생산성에 극적인 상승을 일으킨다. 이러한 활동은 12월에 The BMJ와 같은 학술지에 대한 투고가 쇄도하여 연구자들이 학업 성취감을 가지고 한 해를 마무리하고 사랑하는 사람들과 함께 축제를 즐길 수 있도록 한다. 사실, 연구원들은 심지어 크리스마스의 12일이 끝나는 1월 초까지 그들의 논문이 받아들여질 것으로 예상할 수도 있다. 
The weeks leading up to Christmas are a magical time for medical research. The impending holiday season creates a dramatic upsurge in productivity, with researchers finding time to finish off statistical analyses, draft manuscripts, and respond to reviewers’ comments. This activity leads to a plethora of submissions to journals such as The BMJ in December, so that researchers can finish the year with a sense of academic achievement and enjoy the festivities with their loved ones. Indeed, with optimism fuelled by mulled wine and mince pies, researchers may even anticipate their article’s acceptance by early January, at the end of the 12 days of Christmas.

그러나 집단은 이 출판 호의와 환호의 계절에 반대한다. 즉, 세부적인 것에 대해 매우 빛나는 코를 가진 작지만 영향력 있는 통계학자 그룹은 "모든 것이 밝다" 보다는 "모든 것이 옳다"를 추구하고 호, 호, 호, 호보다는 "아니오"를 강조한다. 통계학자들의 핵심 신념은 연구 기사가 크리스마스뿐만 아니라 평생을 위한 것이며, 높은 기준의 방법론적 엄격성과 투명성을 촉진하는 통계적 리뷰를 제공한다는 것이다. 그래서 당신은 그들이 크리스마스 기간 동안 얼마나 바쁜지 상상할 수 있을 것이다 - 그들이 먹고 마시고 즐거워하기도 전에, 이 사람들은 공개된 불에서 구워져야 하는 잘못된 분석 방법, 노란 눈처럼 순수한 의심스러운 통계적 해석, 그리고 반b로 제출물을 감지하기 위해 지칠 줄 모르고 일하고 있다편안함과 즐거움을 전혀 가져다 주지 않는 연구 세부 사항에 대한 케잌 보고. 허튼소리! 
A collective, however, works against this season of publication goodwill and cheer—a small but influential group of statisticians with very shiny noses for detail, seeking “all is right” rather than “all is bright” and emphasising no, no, no rather than ho, ho, ho. The statisticians’ core belief is that a research article is for life, not just for Christmas, and they deliver statistical reviews that promote high standards of methodological rigour and transparency. So you can imagine how busy they are during the Christmas period with its influx of submissions—even before they can eat, drink, and be merry, these individuals are working tirelessly to detect submissions with erroneous analysis methods that should be roasting on an open fire, dubious statistical interpretations as pure as yellow snow, and half-baked reporting of study details that bring zero comfort and joy. Bah humbug!

매년 BMJ의 통계 편집자들은 500개 이상의 기사를 검토한다. 약 30년 동안, 통계팀은 마틴 가드너와 더그 알트먼이 이끌었는데, 둘 다 통계학자와 크리스마스 별 사이의 유사성을 보았고, 통계학자들은 연구 무결성의 길을 밝히고, 측정 기준에 대한 방법론을 홍보하며, "과학과 세계를 구하기 위한" 통계 원칙을 장려했다.5 
Each year The BMJ’s statistical editors review more than 500 articles. For about 30 years, the statistical team was led by Martin Gardner and Doug Altman,12 both of whom saw similarities between statisticians and the Christmas star, with the statisticians lighting a path of research integrity, promoting methodology over metrics,34 and encouraging statistical principles to “save science and the world.”5

통계 동료 검토 중에 발생하는 가장 일반적인 문제를 도출하기 위해 BMJ의 통계 편집자에게 내부 조사를 실시하였다. 12개 항목이 확인되었으며, 각 항목은 여기에 설명되어 있습니다. 12월 25일부터 1월 5일까지 통계학자들이 그린치의 사고방식으로 리뷰를 진행하는 기간인 크리스마스의 12일마다 하나의 항목이 있지만 34번가의 미라클 온의 친절한 마음을 가지고 있다. 
To elicit the most common issues encountered during statistical peer review, an internal survey was administered to The BMJ’s statistical editors. Twelve items were identified, and each are described here. There is one item for each of the 12 days of Christmas, the period between 25 December and 5 January when the statisticians conduct their reviews in the mindset of the Grinch,6 but with the kind heart of Miracle On 34th Street.

12일간의 통계 검토
The 12 days of statistical review

크리스마스에 그들을 집으로 데려다 주는 것을 돕기 위해, 12개의 식별된 물건들이 간략하게 설명되어 있다. BMJ 독자이자 미래의 작가인 당신을 위한 스타킹 필러로 생각하세요. 상당한 양의 크리스마스 식사를 허용하면서, 12월 25일과 1월 5일 사이에 매일 한 가지 항목을 소화하고 지침을 따르는 새해 결심을 하세요. 
To help drive them home for Christmas, the 12 identified items are briefly explained. Consider them as stocking fillers for you, The BMJ reader and potential future author. Allowing for sizeable Christmas meals, digest one item each day between 25 December and 5 January and make a New Year’s resolution to follow the guidance.

On the first day of Christmas, a statistician sent to me:

연구 질문을 명확히 합니다
Clarify the research question

크리스마스는 삶의 의미와 미래의 기대에 대한 성찰의 시간이다. 마찬가지로, 통계학자들은 종종 리뷰에서 저자들이 연구 질문을 반성하고 그들의 목표를 명확히 하도록 권장한다. 예를 들어,

• 관찰 연구에서 저자는 자신의 연구가 기술적이거나 인과적이거나, 예측 인자 식별 또는 예측 모델 개발 또는 탐색적이거나 확인적인 범위를 명확히 할 필요가 있을 수 있다.
• 인과관계 연구의 경우 저자들에게 기본 전제(원인 경로 또는 모델)를 예를 들어 지시된 비순환 그래프로 표현하도록 요청할 수 있다.
• 개입 연구의 체계적인 검토에서 저자는 PICO 구조인 모집단, 개입, 비교 및 결과 시스템을 사용하여 연구 질문을 진술해야 할 수 있다.

Christmas is a time for reflection on the meaning of life and future expectations. Similarly, in their reviews, statisticians will often encourage authors to reflect on their research question and clarify their objectives. As an example,

• in an observational study, the authors may need to clarify the extent to which their research is descriptive or causal, prognostic factor identification or prediction model development, or exploratory or confirmatory.
• For causal research, authors may be asked to express the underlying premise (causal pathway or model), for example, in terms of a directed acyclic graph.
• In systematic reviews of intervention studies, authors might need to state their research question using the Population, Intervention, Comparison, and Outcome system—the PICO structure.

관련된 요청은 추정을 위한 연구의 목표 측도인 추정량을 명확히 하는 것이다. 예를 들어 

• 무작위 시험에서 [추정치]는 [치료 효과]이지만 통계학자는 모집단, 비교 중인 치료, 결과, 요약 측정(예: 위험 비율 또는 위험 차이, 조건부 또는 한계 효과) 및 기타 특징에 대한 더 나은 정의를 요청할 수 있다. 
• 마찬가지로 무작위 시험의 메타 분석에서 [추정량]은 [연구 특성의 잠재적 이질성의 맥락]에서 정의되어야 한다. 예를 들어, 추적 관찰 기간이 다른 고혈압 임상시험의 메타 분석에서, 추정치가 혈압에 대한 치료 효과인 경우, 이것이 한 시점(예: 1년), 여러 시점(예: 1년과 5년), 또는 특정 시점 범위(예: 6개월에서 2년)에 걸친 평균과 관련이 있는지에 대한 명확성이 필요하다.

A related request would be to clarify the estimand—the study’s target measure for estimation.7 

• In a randomised trial, for example, the estimand is a treatment effect, but a statistician might request better definitions for the population, treatments being compared, outcomes, summary measure (eg, risk ratio or risk difference, conditional or marginal effect), and other features.78 
• Similarly, in a meta-analysis of randomised trials the estimand must be defined in the context of potential heterogeneity of study characteristics. In a meta-analysis of hypertension trials with different lengths of follow-up, for example, if the estimand is a treatment effect on blood pressure, clarity is needed about whether this relates to one time point (eg, one year), each of multiple time points (eg, one year and five years), or some average across a range of time points (eg, six months to two years).

 

On the second day of Christmas, a statistician sent to me:

추정치, 신뢰 구간 및 임상 관련성에 초점을 맞춥니다
Focus on estimates, confidence intervals, and clinical relevance

덜 익은 칠면조를 돌려보내는 것과 마찬가지로, 발견이 중요한지 여부를 결정하기 위해 P 값과 "통계적 중요성"에만 초점을 맞춘 기사도 마찬가지일 것이다. 추정치(예: 크리스마스 첫날부터 지정된 추정치에 해당하는 평균 차이, 위험 비율 또는 위험 비율), 해당 95% 신뢰 구간 및 발견의 잠재적 임상적 관련성을 고려하는 것이 중요하다. 통계적 유의성은 종종 임상적 유의성과 동일하지 않다

• 예를 들어 대규모 시행에서 위험 비율을 0.97로 추정하고 95% 신뢰 구간을 0.95-0.99로 추정하는 경우 P 값이 0.05보다 훨씬 작더라도 치료 효과는 잠재적으로 작습니다. 

반대로 [증거가 없음]이 [없음의 증거]는 아니다

• 예를 들어, 소규모 시행에서 위험 비율을 0.70으로 추정하고 95% 신뢰 구간을 0.40-1.10으로 추정하는 경우 P 값이 0.05보다 크더라도 효과의 크기는 여전히 잠재적으로 큽니다. 

따라서 통계 편집자는 저자에게 "유의한 발견"과 같은 문구를 명확히 하고, 신뢰 구간이 넓을 때 덜 명확하게 하며, 임상적 관련성이나 영향의 맥락에서 결과를 고려하도록 요청할 것이다. 베이지안 접근법은 확률론적 진술을 표현하는 데 유용할 수 있다(예: 위험 비율이 <0.9일 확률은 0.85이다).
Just as with under-cooked turkeys being sent back so will articles that focus solely on P values and “statistical significance” to determine whether a finding is crucial. It is important to consider the estimates (eg, mean differences, risk ratios, or hazard ratios corresponding to the specified estimands from the first day of Christmas), corresponding 95% confidence intervals, and potential clinical relevance of findings. Statistical significance often does not equate to clinical significance—

• if, as an example, a large trial estimates a risk ratio of 0.97 and a 95% confidence interval of 0.95 to 0.99, then the treatment effect is potentially small, even though the P value is much less than 0.05.

Conversely, absence of evidence does not mean evidence of absence9—

• here’s an example; if a small trial estimates a risk ratio of 0.70 and a 95% confidence interval of 0.40 to 1.10, then the magnitude of effect is still potentially large, even though the P value is greater than 0.05.

Hence, the statistical editors will ask authors to clarify phrases such as “significant finding,” be less definitive when confidence intervals are wide, and consider results in the context of clinical relevance or impact. A bayesian approach may be helpful,10 to express probabilistic statements (eg, there is a probability of 0.85 that the risk ratio is <0.9).

On the third day of Christmas, a statistician sent to me:

누락된 데이터를 주의 깊게 설명합니다
Carefully account for missing data

결측값은 공변량과 결과 모두에서 모든 유형의 의학 연구에서 발생한다. 저자들은 데이터의 완전성을 인정할 뿐만 아니라 누락된 데이터의 양을 정량화하고 보고해야 하며 이러한 데이터가 분석에서 어떻게 처리되었는지 설명해야 한다. 과거, 현재, 미래의 크리스마스 기사의 유령인 이 일을 하지 못하는 제출이 얼마나 많은지는 섬뜩하다. 
Missing values occur in all types of medical research,11 both for covariates and for outcomes. Authors need to not only acknowledge the completeness of their data but also to quantify and report the amount of missing data and explain how such data were handled in analyses. It is spooky how many submissions fail to do this—the ghost of Christmas articles past, present, and future.

누락된 데이터를 가진 참가자가 단순히 제외된 경우(즉, 전체 사례 분석이 수행된 경우), 저자는 누락된 값을 귀속시키기 위한 적절한 접근방식을 사용하여 참가자를 포함하여 분석을 수정하도록 요청받을 수 있다. [환자를 폐기하는 것]은 일반적으로 관계를 추정하기 위한 통계적 힘과 정밀도를 감소시키고 편향된 추정치를 초래할 수 있기 때문에 특히 관찰 연구에서 [완전한 사례만 분석하는 것]은 거의 권장되지 않는다. 귀속을 위한 최선의 접근법은 상황에 따라 다르며 여기서 상세한 심문을 하기에는 너무 미묘한 것이다. 예를 들어, 무작위 시험에서 누락된 기준선 값을 처리하기 위한 전략에는 다음이 가능하다.

• 평균 값으로 대체하는 것(연속 변수의 경우),
• 누락된 값의 존재를 나타내기 위해 범주형 예측 변수의 별도 범주를 만드는 것(즉, 누락된 지표 방법)
  
• 또는 무작위 그룹에 의해 개별적으로 수행된 다중 귀속. 

If it transpires participants with missing data were simply excluded (ie, a complete case analysis was carried out), then authors may be asked to revise their analyses by including those participants, using an appropriate approach for imputing the missing values. A complete case analysis is rarely recommended, especially in observational research, as discarding patients usually reduces statistical power and precision to estimate relationships and may also lead to biased estimates.12 The best approach for imputation is context specific and too nuanced for detailed interrogation here. For example, strategies for handling missing baseline values in randomised trials might include

• replacing with the mean value (for continuous variables),
• creating a separate category of a categorical predictor to indicate the presence of a missing value (ie, the missing indicator method), or
• multiple imputation performed separately by randomised group.1314 

연관성을 조사하는 관찰 연구의 경우 [평균 귀책] 및 [누락 지표 접근법]이 편향된 결과를 초래할 수 있으므로 [다중 귀책 접근법]이 항상은 아니지만 종종 선호된다. 임의의 결측 가정 하에서, 이것은 다른 연구 변수의 관측된 값에 조건부로 (결측의 불확실성을 반영하기 위해 여러 번에 걸쳐) 귀속되는 결측값을 포함한다. [다중 귀책]을 사용하는 경우, 이를 수행하는 데 사용되는 방법은 귀책 프로세스에 사용되는 변수 집합을 포함하여 설명되어야 한다. 다중 귀책에 대한 소개는 다른 곳에서 제공되며, 누락된 데이터에 대한 전용 교재가 있습니다.

For observational studies examining associations, mean imputation and missing indicator approaches can lead to biased results,15 and so a multiple imputation approach is often (though not always16) preferred. Under a missing at random assumption, this involves missing values being imputed (on multiple occasions to reflect the uncertainty in the imputation) conditional on the observed values of other study variables.17 When using multiple imputation, the methods used to do this need to be described, including the set of variables used in the imputation process. An introduction to multiple imputation is provided elsewhere,12 and there are textbooks dedicated to missing data.18

On the fourth day of Christmas, a statistician sent to me:

연속형 변수를 이분화하지 않음
Do not dichotomise continuous variables

산타는 이분법을 좋아하지만, 저자들이 나이와 혈압과 같은 연속 변수를 수축기 혈압 130 mm Hg와 같은 임의의 절단점 위와 아래에 있는 두 그룹으로 나누어 이분법을 선택한다면 통계학자들은 깜짝 놀랄 것이다. 이분법화는 정보를 낭비하고 연속적인 척도로 연속 변수를 분석하는 것과 비교할 때 정당화되는 경우가 거의 없기 때문에 피해야 한다(크리스마스 5일째의 스타킹 필러 참조). 절단점 바로 아래의 값(이 경우 129 mm Hg)을 가진 개인이 바로 위의 값(131 mm Hg)을 가진 개인과 완전히 다른 것으로 간주해야 하는 이유는 무엇입니까? 반대로, 동일한 그룹 내의 두 개체에 대한 값은 크게 다를 수 있으며(131 mm Hg와 220 mm Hg), 왜 동일하게 간주되어야 하는가? 이러한 맥락에서, 이분법화는 비윤리적인 것으로 간주될 수 있다. 연구 참가자들은 적절하게 사용되는 단서에 대한 연구를 위해 자신의 데이터를 제공하는 것에 동의한다. 공변량 값을 이분화하여 정보를 폐기하는 것은 이 동의를 위반한다. 
Santa likes dichotomisation (you are either naughty or nice), but statisticians would be appalled if authors chose to dichotomise continuous variables, such as age and blood pressure, by splitting them into two groups defined by being above and below some arbitrary cut point, such as a systolic blood pressure of 130 mm Hg. Dichotomisation should be avoided,1920 as it wastes information and is rarely justifiable compared with analysing continuous variables on their continuous scale (see the stocking filler for the fifth day of Christmas). Why should an individual with a value just below the cut point (in this instance 129 mm Hg) be considered completely different from an individual with a value just above it (131 mm Hg)? Conversely, the values for two individuals within the same group may differ greatly (let us say 131 mm Hg and 220 mm Hg) and so why should they be considered the same? In this context, dichotomisation might be considered unethical. Study participants agree to contribute their data for research on the proviso it is used appropriately; discarding information by dichotomising covariate values violates this agreement.

이분화는 또한 연속 공변량과 결과 사이의 연관성을 감지하는 통계적 힘을 감소시키고 예측 모델의 예측 성능을 약화시킨다. 한 예에서, 중위수 값에서 이분법화는 데이터의 3분의 1을 폐기하는 것과 유사한 전력 감소를 초래한 반면, 다른 예에서는 연속 척도를 유지하는 것이 중위수에서 이분법화하는 것보다 31% 더 많은 결과 변동성을 설명했다. 절단점은 또한 데이터 준설과 통계적 중요성을 극대화하기 위한 "최적" 절단점의 선택으로 이어진다. 이는 새로운 데이터에서 편향과 복제 부족으로 이어지고 연구마다 다른 컷 포인트를 채택하기 때문에 메타 분석을 방해한다. 연속적인 결과의 이분법화는 또한 power을 감소시키고 잘못된 결론을 초래할 수 있다. 좋은 예는 결과(Beck score)가 이분법 분석에서 연속 척도 분석으로 변경된 후 [필요한 표본 크기]가 800에서 88로 감소한 무작위 시험이다.  
Dichotomisation also reduces statistical power to detect associations between a continuous covariate and the outcome,192021 and it attenuates the predictive performance of prognostic models.22 In one example, dichotomising at the median value led to a reduction in power akin to discarding a third of the data,23 whereas in another example, retaining the continuous scale explained 31% more outcome variability than dichotomising at the median.20 Cut points also lead to data dredging and the selection of “optimal” cut points to maximise statistical significance.21 This leads to bias and lack of replication in new data and hinders meta-analysis because different studies adopt different cut points. Dichotomisation of continuous outcomes also reduces power and may result in misleading conclusions.2425 A good example is a randomised trial in which the required sample size was reduced from 800 to 88 after the outcome (Beck score) changed from being analysed as dichotomised to being analysed on its continuous scale.26

On the fifth day of Christmas, a statistician sent to me:

비선형 관계 고려
Consider non-linear relationships

크리스마스 저녁 식사에서, 어떤 가족 관계들은 다루기 쉬운 반면, 다른 가족 관계들은 더 복잡하고 더 많은 보살핌을 필요로 한다. 마찬가지로, 일부 연속 공변량은 결과(자연 로그 변환과 같은 데이터의 일부 변환 후)와 단순한 선형 관계를 갖는 반면, 다른 것들은 더 [복잡한 비선형 관계]를 갖는다. 선형 관계(연관)는 공변량의 단위 증가가 공변량 값의 전체 범위에서 결과에 동일한 영향을 미친다고 가정합니다. 예를 들어, 30세에서 31세까지의 연령 변화의 영향은 90세에서 91세까지의 연령 변화와 동일하다고 가정한다. 반대로, 비선형 연관성을 사용하면 연속 공변량의 1 단위 증가의 영향이 예측 변수 값의 스펙트럼에 따라 달라질 수 있습니다. 예를 들어, 30세에서 31세로의 연령 변화는 위험에 거의 영향을 미치지 않는 반면, 90세에서 91세로의 연령 변화는 중요할 수 있다. 비선형 모델링에 대한 가장 일반적인 두 가지 접근법은 입방체 스플라인과 분수 다항식이다.  
At Christmas dinner, some family relationships are simple to handle, whereas others are more complex and require greater care. Similarly, some continuous covariates have a simple linear relationship with an outcome (perhaps after some transformation of the data, such as a natural log transformation), whereas others have a more complex non-linear relationship. A linear relationship (association) assumes that a 1 unit increase in the covariate has the same effect on the outcome across the entire range of the covariate’s values. The assumption being, for example, that the impact of a change in age from 30 to 31 years is the same as a change in age from 90 to 91 years. In contrast, a non-linear association allows the impact of a 1 unit increase in the continuous covariate to vary across the spectrum of predictor values. For example, a change in age from 30 to 31 years may have little impact on risk, whereas a change in age from 90 to 91 years may be important. The two most common approaches to non-linear modelling are cubic splines and fractional polynomials.272829303132

분류를 제외하고, BMJ에 제출하는 대부분의 경우 선형 관계만 고려합니다. 따라서 통계 검토자는 중요한 연관성이 완전히 포착되지 않거나 누락되지 않도록 비선형 관계를 고려하도록 연구자에게 요청할 수 있다. 요하네스와 동료들의 연구는 비선형 관계를 조사하는 한 예이다. 저자들은 제한된 입방 스플라인을 사용하여 저밀도 지질단백질 콜레스테롤 수치와 모든 원인 사망 위험 사이의 연관성이 U자형이며, 덴마크의 일반 인구에서 모든 원인 사망 위험 증가와 관련된 낮고 높은 수준이라는 것을 보여주었다. 그림 1은 전체 모집단과 지질 저하 치료를 사용하여 정의된 하위 그룹에 대한 결과를 보여주고, 치료를 받지 않은 집단에서 가장 강한 관계를 보여준다.
Aside from categorisation, most submissions to The BMJ only consider linear relationships. The statistical reviewers therefore may ask the researchers to consider non-linear relationships, to avoid important associations not being fully captured or even missed.33 The study by Johannesen and colleagues is an example of non-linear relationships being examined.34 The authors used restricted cubic splines to show that the association between low density lipoprotein cholesterol levels and the risk of all cause mortality is U-shaped, with low and high levels associated with an increased risk of all cause mortality in the general population of Denmark. Figure 1 illustrates the findings for the overall population, and for subgroups defined by use of lipid lowering treatment, with the relationship strongest in those not receiving treatment.

그림 1. 코펜하겐 일반 인구 연구의 제한된 입방 스플라인을 사용하여 도출된 비선형 연관성은 요하네스 외 연구진으로부터 평균 9.4년 동안 이어졌다. 모든 원인 사망률에 대한 다변량 조정 위험 비율은 연속 척도의 저밀도 지질단백질 콜레스테롤(LDL-C) 수준에 따라 표시된다. 95% 신뢰 구간은 3노트의 제한된 입방 스플라인 회귀에서 도출된다. 연관성이 없는 기준선은 위험 비율 1.0으로 표시된다. 화살표는 모든 원인 사망률의 가장 낮은 위험과 관련된 LDL-C 농도를 나타낸다. 분석은 기준 연령, 성별, 현재 흡연, 담뱃갑 누적 연수, 수축기 혈압, 지질 저하 치료, 당뇨병, 심혈관 질환, 암 및 만성 폐쇄성 폐질환에 대해 조정되었다 
Fig 1. Non-linear association derived using restricted cubic splines of individuals from the Copenhagen General Population Study followed for a mean 9.4 years, from Johannesen et al.34 Multivariable adjusted hazard ratios for all cause mortality are shown according to levels of low density lipoprotein cholesterol (LDL-C) on a continuous scale. 95% confidence intervals are derived from restricted cubic spline regressions with three knots. Reference lines for no association are shown at a hazard ratio of 1.0. Arrows indicate concentration of LDL-C associated with the lowest risk of all cause mortality. Analyses were adjusted for baseline age, sex, current smoking, cumulative number of cigarette pack years, systolic blood pressure, lipid lowering treatment, diabetes, cardiovascular disease, cancer, and chronic obstructive pulmonary disease

On the sixth day of Christmas, a statistician sent to me:

부분군 결과의 차이를 정량화
Quantify differences in subgroup results

제출된 많은 기사에는 성별이나 성별로 정의된 하위 그룹에 대한 결과 또는 브뤼셀 새싹을 먹는 사람과 먹지 않는 사람에 대한 결과가 포함되어 있습니다. 일반적인 실수는 실제로 차이를 정량화하지 않고 한 부분군의 결과가 다른 부분군의 결과와 다르다는 결론을 내리는 것입니다. Altman과 Bland는 이를 웅변적으로 고려하여 두 개의 하위 그룹에 대한 치료 효과 결과를 보여주었는데, 첫 번째 그룹은 통계적으로 유의한(위험비 0.67, 95% 신뢰 구간 0.46~0.98, P=0.03) 반면 두 번째 그룹은 그렇지 않았다(0.88, 0.71~1.08, P=0.2). 순진한 해석은 처리가 첫 번째 부분군에는 유익하지만 두 번째 부분군에는 유익하지 않다는 결론을 내리는 것입니다. 그러나 실제로 두 부분군 사이의 결과를 비교하면 넓은 신뢰 구간(위험 비율 0.76, 95% 신뢰 구간 0.49~1.17; P=0.2)이 나타나므로 부분군 효과를 결론짓기 전에 추가 연구가 필요함을 시사한다. 이와 관련된 실수는 부분군이 서로 다른 95% 신뢰 구간이 겹치는지 여부만을 기준으로 서로 다른지에 대한 결론을 내리는 것이다.36 따라서 연구자가 연구에서 부분군을 조사하면, 통계 편집자는 부분군 결과의 차이에 대한 정량화를 확인하고, 그렇지 않은 경우에는 이를 해결하도록 요청할 것이다. 하위 그룹 간에 진정한 차이가 존재하더라도 각 하위 그룹에 대해 (처리) 효과가 여전히 중요할 수 있으므로 연구 결론에서 이를 인식해야 한다. 
Many submitted articles include results for subgroups, such as defined by sex or gender, or those who do and do not eat Brussels sprouts. A common mistake is to conclude that the results for one subgroup are different from the results of another subgroup, without actually quantifying the difference. Altman and Bland considered this eloquently,35 showing treatment effect results for two subgroups, the first of which was statistically significant (risk ratio 0.67, 95% confidence interval 0.46 to 0.98; P=0.03), whereas the second was not (0.88, 0.71 to 1.08; P=0.2). A naïve interpretation is to conclude that the treatment is beneficial for the first subgroup but not for the second subgroup. However, actually comparing the results between the two subgroups reveals a wide confidence interval (ratio of risk ratios 0.76, 95% confidence interval 0.49 to 1.17; P=0.2), which suggests further research is needed before concluding a subgroup effect. A related mistake is to make conclusions about whether subgroups differ based solely on if their separate 95% confidence intervals overlap or not.36 Hence, if researchers examine subgroups in their study, the statistical editors will check for quantification of differences in subgroup results, and, if not done, ask for this to be addressed. Even when genuine differences exist between subgroups, the (treatment) effect may still be important for each subgroup, and therefore this should be recognised in study conclusions.

부분군 간의 차이를 조사하는 것은 복잡하며, 더 넓은 주제는 [(치료) 효과와 공변량 사이의 교호작용의 모형화]입니다. 문제에는 효과 측정에 사용되는 척도(예: 위험 비율 또는 승산 비율), 연속 공변량을 이분법화하여 하위 그룹이 임의로 정의되지 않도록 보장, 잠재적으로 비선형 관계를 허용한다(크리스마스 4일째와 5일째의 스타킹 충전재 참조).  
Examining differences between subgroups is complex, and a broader topic is the modelling of interactions between (treatment) effects and covariates.37 Problems include the scale used to measure the effect (eg, risk ratio or odds ratio),38 ensuring subgroups are not arbitrarily defined by dichotomising a continuous covariate,39 and allowing for potentially non-linear relationships (see our stocking fillers for the fourth day and fifth day of Christmas).40

On the seventh day of Christmas, a statistician sent to me:

클러스터링에 대한 회계 고려
Consider accounting for clustering

BMJ의 크리스마스 파티에서, 통계 편집자들은 거절된 작업에 대한 사후 조사를 요청받을 것을 두려워하여 가능할 때마다 비통계학자들과의 상호 작용과 눈 접촉을 피하면서 구석에 모여드는 경향이 있다. 마찬가지로, 연구 연구에는 여러 병원 또는 진료소의 전자 건강 기록을 사용하는 관찰 연구, 클러스터 또는 다중 센터 무작위 시험 및 여러 연구의 개별 참가자 데이터의 메타 분석을 포함한 [여러 클러스터]의 데이터가 포함될 수 있다. 때로는 분석이 이 군집화를 설명하지 않아 결과가 편향되거나 신뢰 구간을 잘못 이끌 수 있습니다. 클러스터링을 무시하면 서로 다른 클러스터 내의 개인에 대한 결과가 서로 유사하다는 강력한 가정(예: 결과 위험 측면에서)을 만든다. 병원이나 연구와 같은 클러스터가 서로 다른 임상의, 절차 및 환자 사례 혼합을 가질 때 정당화하기 어려울 수 있다.
At The BMJ’s Christmas party, the statistical editors tend to cluster in a corner, avoiding interaction and eye contact with non-statisticians whenever possible for fear of being asked to conduct a postmortem examination of rejected work. Similarly, a research study may contain data from multiple clusters, including observational studies that use e-health records from multiple hospitals or practices, cluster or multicentre randomised trials,414243444546 and meta-analyses of individual participant data from multiple studies.47 Sometimes the analysis does not account for this clustering, which can lead to biased results or misleading confidence intervals.48495051 Ignoring clustering makes a strong assumption that outcomes for individuals within different clusters are similar to each other (eg, in terms of the outcome risk), which may be difficult to justify when clusters such as hospitals or studies have different clinicians, procedures, and patient case mix.

따라서 데이터 분석에서 제출된 논문이 캡처하거나 고려해야 하는 명백한 클러스터링을 무시하는 경우, 통계 편집자는 관심 추정에 적합한 접근법을 사용하여 클러스터링의 정당성 또는 재분석 회계처리를 요청할 것이다(크리스마스 첫날의 스타킹 필러 참조). 예를 들어, 다단계 또는 혼합 효과 모델이 권장될 수 있다. 이는 클러스터별 기준 위험을 설명하고 관심 효과에서 클러스터 이질성 사이를 조사할 수 있기 때문이다.
Thus, if, in the data analysis, a submitted article ignores obvious clustering that needs to be captured or considered, the statistical editors will ask for justification of this or for a reanalysis accounting for clustering using an approach suitable for the estimand of interest (see our stocking filler for the first day of Christmas).525354 A multilevel or mixed effects model might be recommended, for example, as this allows cluster specific baseline risks to be accounted for and enables between cluster heterogeneity in the effect of interest to be examined.

On the eighth day of Christmas, a statistician sent to me:

I2 및 메타 회귀 분석을 적절하게 해석합니다
Interpret I2 and meta-regression appropriately

체계적인 검토와 메타 분석은 BMJ에 대한 인기 있는 제출물이다. 대부분 I2 통계를 포함하지만 잘못 해석하여 통계학자들에게 크리스마스 전후로 반복되는 악몽을 준다. I2는 우연이 아닌 연구 이질성 간에 기인하는 (처리) 효과 추정치의 변동성 백분율을 설명합니다. 요약치료효과 추정치에 대한 연구간 이질성의 영향은 I2가 0%에 가까우면 작고, I2가 100%에 가까우면 크다. 일반적인 실수는 저자들이 I2를 [절대적인 이질성의 양의 척도]로 해석하고(즉, 실제 효과의 연구 분산 간의 추정치로 간주한다), 무작위 효과 메타 분석 모델을 사용할지 여부를 결정하기 위해 이를 잘못 사용하는 것이다. I2는 [상대적인 측도]이며, 실제 효과의 연구 간 분산(또는 σ2)의 크기뿐만 아니라, 효과 추정치의 연구 내 분산의 크기에 따라 달라지기 때문에 이는 현명하지 않습니다. 예를 들어, 포함된 모든 연구가 작기 때문에 연구 내 효과 추정치의 분산이 크면 연구 간 분산이 크고 중요한 경우에도 I2가 0%에 가까울 수 있습니다.  반대로, 연구 간 분산이 작고 중요하지 않은 경우에도 I2가 클 수 있습니다. 통계 검토는 저자에게 I2의 오용을 시정하고 연구 분산 간의 추정치를 직접 제시할 것을 요청할 것이다.
Systematic reviews and meta-analyses are popular submissions to The BMJ. Most of them include the I2 statistic55 but interpret it incorrectly, which gives the statisticians a recurring nightmare before (and after) Christmas. I2 describes the percentage of variability in (treatment) effect estimates that is due to between study heterogeneity rather than chance. The impact of between study heterogeneity on the summary treatment effect estimate is small if I2 is close to 0%, and it is large if I2 is close to 100%. A common mistake is for authors to interpret I2 as a measure of the absolute amount of heterogeneity (ie, to consider I2 as an estimate of the between study variance in true effects), and to erroneously use it to decide whether to use a random effects meta-analysis model. This is unwise, as I2 is a relative measure and depends on the size of the within study variances of effect estimates, not just the size of the between study variance of true effects (also known as τ2). For example, if all the included studies are small, and thus within study variances of effect estimates are large, I2 can be close to 0% even when the between study variance is large and important.56 Conversely, I2 may be large even when the between study variance is small and unimportant. Statistical reviews will ask authors to correct any misuse of I2, and to also present the estimate of between study variance directly.

메타 회귀 분석은 종종 연구 수준 공변량(예: 평균 연령, 치료 선량, 편향 위험 등급)이 연구 이질성 사이에서 설명하는 범위를 조사하는 데 사용되지만, 일반적으로 통계 편집자는 저자에게 메타 회귀 분석 결과를 조심스럽게 해석할 것을 요청한다.

• 첫째, 시행 횟수가 적은 경우가 많고, 그 다음 메타 회귀는 시행에서 전체 치료 효과의 변화와 진정으로 관련된 연구 수준 특성을 감지하기 위한 low power의 영향을 받는다.
• 둘째로, 시험 전반에 걸쳐 교란 요인이 발생할 가능성이 있으므로 시험 수준 공변량의 영향에 대한 인과 관계 진술을 하는 것이 가장 좋다. 예를 들어 편향 위험이 높은 시험은 최고 선량을 갖거나 특정 국가에서 수행될 수 있으므로 편향 위험의 영향을 dose과 country의 영향에서 분리하기 어렵다.
• 셋째, 전체 치료 효과와 함께 집계된 참가자 수준 공변량(예: 평균 연령, 비율 남성)의 시험 수준 연관성을 사용하여 참가자 수준 공변량의 값(예: 연령, 성별, 바이오마커 값)이 치료 효과와 어떻게 상호 작용하는지 추론해서는 안 된다. 집계 편향은 그림 2와 같이 실험 수준에서 관찰된 관계와 참가자 수준에서 관찰된 관계의 극적인 차이를 초래할 수 있다.

Meta-regression is often used to examine the extent to which study level covariates (eg, mean age, dose of treatment, risk of bias rating) explain between study heterogeneity, but generally the statistical editors will ask authors to interpret meta-regression results cautiously.57 

• Firstly, the number of trials are often small, and then meta-regression is affected by low power to detect study level characteristics that are genuinely associated with changes in the overall treatment effect in a trial.
• Secondly, confounding across trials is likely, and so making causal statements about the impact of trial level covariates is best avoided. For example, those trials with a higher risk of bias might also have the highest dose or be conducted in particular countries, thus making it hard to disentangle the effect of risk of bias from the effect of dose and country.
• Thirdly, the trial level association of aggregated participant level covariates (eg, mean age, proportion men) with the overall treatment effect should not be used to make inferences about how values of participant level covariates (eg, age, sex, biomarker values) interact with treatment effect. Aggregation bias may lead to dramatic differences in observed relationships at the trial level from those at the participant level,5859 as shown in figure 2.

그림 2. 치료-공변량 상호작용의 개별 참가자 데이터 메타분석이 아닌 연구 수준 결과의 메타회귀를 사용할 때의 [집계 편향]. 연구 질문은 [혈압을 낮추는 치료]가 [남성보다 여성들 사이에서 더 효과적인지]에 대한 것이었다. 10번의 고혈압 치료 실험의 메타 분석을 통해 증거를 보여주며, 치료 효과와 비율 남성(실선)의 임상적 연관성을 비교한다. 이는 가파르고 통계적으로 중요하다. 각 실험(점선)에서 성별과 치료 효과의 참가자 수준 상호작용을 비교한다. 통계적으로 중요하지 않습니다. 이 사례 연구는 이전 작업을 기반으로 합니다. 각 블럭은 시행 크기에 비례하는 블럭 크기를 사용하여 하나의 시행을 나타냅니다. 시험 간 연관성은 남성 비율에 대한 시험 치료 효과의 메타 회귀에서 파생된 실선의 기울기로 표시되며, 이는 남성에 비해 여성만을 대상으로 한 시험에서 15mm Hg(95% 신뢰 구간 8.8~21mm Hg) 더 큰 수축기 혈압 감소 효과를 시사한다. 그러나 참가자 수준 데이터에 기초한 치료-성 상호작용은 각 시험 내에서 파선의 기울기로 표시되며, 평균적으로 이는 임상적으로나 통계적으로 유의하지 않은 남성보다 여성의 치료 효과가 0.8mm Hg(-0.5~2.1mm Hg) 더 클 뿐이다 
Fig 2. Aggregation bias when using meta-regression of study level results rather than individual participant data meta-analysis of treatment-covariate interactions. The research question was whether blood pressure lowering treatment is more effective among women than men. Evidence is shown from a meta-analysis of 10 trials of antihypertensive treatment,

• comparing the across trial association of treatment effect and proportion men (solid line)—which is steep and statistically significant—
• with participant level interactions of sex and treatment effect in each trial (dashed lines) —which are flat and neither clinically nor statistically important.

This case study is based on previous work.475860 Each block represents one trial, with block size proportional to trial size. Across trial association is denoted by gradient of solid line, derived from a meta-regression of the trial treatment effects against proportion of men, which suggests a large effect of a 15 mm Hg (95% confidence interval 8.8 to 21 mm Hg) greater reduction in systolic blood pressure in trials with only women compared with only men. However, the treatment-sex interaction based on participant level data is denoted by gradient of dashed lines within each trial, and on average these suggest only a 0.8 mm Hg (−0.5 to 2.1 mm Hg) greater treatment effect for women than for men, which is neither clinically nor statistically significant

On the ninth day of Christmas, a statistician sent to me:

모형 예측의 보정calibration 평가
Assess calibration of model predictions

임상 예측 모델은 개인의 진단과 예후를 알리기 위해 (연속적인 결과에 대한) 결과 값 또는 (이진 또는 사건 발생까지의 시간 결과에 대한) 결과 위험을 추정한다. 예측 모델을 개발하거나 검증하는 기사는 모델 성능을 완전히 평가하지 못하는 경우가 많은데, 부정확한 예측은 잘못된 확신이나 희망을 주는 것과 같이 환자에게 잘못된 결정과 해로운 의사소통을 초래할 수 있기 때문에 중요한 결과를 초래할 수 있다. 결과 위험을 추정하는 모델의 경우 다른 곳에서 설명한 바와 같이 예측 성능을 식별, 교정 및 임상적 유용성 측면에서 평가해야 한다.  

Clinical prediction models estimate outcome values (for continuous outcomes) or outcome risks (for binary or time-to-event outcomes) to inform diagnosis and prognosis in individuals. Articles developing or validating prediction models often fail to fully evaluate model performance, which can have important consequences because inaccurate predictions can lead to incorrect decisions and harmful communication to patients, such as giving false reassurance or hope. For models that estimate outcome risk, predictive performance should be evaluated in terms of discrimination, calibration, and clinical utility, as described elsewhere.616263

그러나 대부분의 제출물은 (예를 들어 C 통계량 또는 곡선 아래 영역으로 정량화된) 모형 판별에만 초점을 맞추고 있다. 그림 3은 0.81의 유망한 C 통계량을 가진 예측 모델에 대한 게시된 교정 그림을 보여주고 있지만 0.05와 0.2.64 사이의 예측 위험 범위에서 예측 위험에 대한 명백한 (아마도 작은) 오교정이 있다. 이러한 오교정은 특히 치료제와 같은 결정이 있을 경우 모델의 임상적 유용성에 영향을 미칠 수 있다토르 모니터링 전략은 의사결정 곡선 분석에서 조사할 수 있는 예측 위험의 범위에서 위험 임계값에 의해 결정된다. 반대로 오보정은 오보정의 크기와 의사결정 임계값과 관련하여 발생하는 시기에 따라 다르므로 모델에 임상적 유용성이 없다고 반드시 표시하는 것은 아니다.
However, the majority of submissions focus only on model discrimination (as quantified by, for example, the C statistic or area under the curve28)—when this is done, an incomplete impression is created, just as with that unfinished 1000 piece jigsaw from last Christmas. Figure 3 shows a published calibration plot for a prediction model with a promising C statistic of 0.81, but there is clear (albeit perhaps small) miscalibration of predicted risks in the range of predicted risks between 0.05 and 0.2.64 This miscalibration may impact the clinical utility of the model, especially if decisions, such as about treatment or monitoring strategies, are dictated by risk thresholds in that range of predicted risks, which can be investigated in a decision curve analysis.65 Conversely, miscalibration does not necessarily indicate the model has no clinical utility, as it depends on the magnitude of miscalibration and when it occurs in relation to decision thresholds.

그림 3. 예측 모델에서 관찰된 위험과 추정된(예측된) 위험 사이의 일치를 조사하기 위한 교정 그림의 예. 이 연구는 파열된 두개내 동맥류로 인한 지주막하 출혈을 경험한 사람들의 사망 위험을 추정하기 위한 예측 모델을 개발했다. 원은 추정 위험의 10분의 1로 그룹화된 추정 및 관찰 위험이며, 노란색 점선은 추정 위험 범위에 걸친 일치를 포착하기 위해 황토색이 더 부드럽다. AUROC=수신 사업자 특성상 영역 
Fig 3. Example of a calibration plot to examine agreement between observed risks and estimated (predicted) risks from a prediction model.64 The study developed prediction models to estimate the risk of mortality in individuals who experienced subarachnoid haemorrhage from ruptured intracranial aneurysm. Circles are estimated and observed risks grouped by 10ths of estimated risks, and the yellow dashed line is a loess smoother to capture agreement across the range of estimated risks. AUROC=area under the receiving operator characteristic

통계 편집자들은 또한 모델 개발 연구의 연구자들이 과적합 가능성을 줄이고 새로운 데이터의 예측 교정을 개선하는 데 도움이 되는 페널티화 또는 수축 방법(예: 능선 회귀, 라소, 탄성 그물)을 사용하여 재분석을 수행할 것을 제안할 수 있다. 퍼스 보정과 같은 처벌 방법은 데이터가 희박한 비예측 상황(예: 치료 효과를 추정하는 무작위 시험)에서도 중요할 수 있는데, 이 상황에서 표준 방법(로지스틱 회귀 분석과 같은)이 편향된 효과 추정치를 제공할 수 있기 때문이다. 
Statistical editors may also suggest that researchers of model development studies undertake a reanalysis using penalisation or shrinkage methods (eg, ridge regression, lasso, elastic net), which reduce the potential for overfitting and help improve calibration of predictions in new data.6667 Penalisation methods, such as Firth’s correction,68 can also be important in non-prediction situations (eg, randomised trials estimating treatment effects) with sparse data, as standard methods (such as logistic regression) may give biased effect estimates in this situation.69

On the 10th day of Christmas, a statistician sent to me:

변수 선택 접근 방식을 신중하게 고려합니다
Carefully consider the variable selection approach

통계 검토에서 비판의 일반적인 영역은 변수 선택 방법(예: 효과의 통계적 유의성에 기초한 공변량 선택)의 사용이다. 이러한 방법을 사용하면 통계 편집자는 저자에게 정당성을 요청할 것이다. 연구에 따라, 통계 편집자들은 새해 첫날에 마지막으로 남은 칠면조 샌드위치처럼 저자들에게 이러한 접근법을 완전히 피하라고 제안할 수도 있다. 예를 들어, 일반적인 목표는 특정 요인이 [다른 (확립된) 예측 요인]에 비해 [예측 값을 추가하는 방법]에 대한 [편견 없는 추정치]를 제공하는 것이기 때문에 예측 요인 연구에서 변수 선택 방법을 가장 잘 피한다. 따라서 기존의 예측요인의 영향을 고려한 후 새로운 요인의 예측효과를 검토하기 위해서는 기존의 모든 요인에 강제적인 회귀모형이 필요하다. 마찬가지로, 관찰 데이터에 기초한 인과 연구에서 조정 요인으로 포함할 교란 요인의 선택은 인과 경로에 기초하여 선택되어야 한다  —예를 들어, 자동화된 선택 방법에 기초한 통계적 중요성이 아닌 (공변량과 결과 사이의 잠재적 매개자를 고려하여) 지시된 비순환 그래프를 사용하여 표현된다. 
A common area of criticism in statistical reviews is the use of variable selection methods (eg, selection of covariates based on the statistical significance of their effects).70 If these methods are used, statistical editors will ask authors for justification. Depending on the study, statistical editors might even suggest authors avoid these approaches entirely, just as you would that last remaining turkey sandwich on New Year’s Day. For example, variable selection methods are best avoided in prognostic factor studies, as the typical aim is to provide an unbiased estimate of how a particular factor adds prognostic value over and above other (established) prognostic factors.71 Therefore, a regression model forcing in all the existing factors is needed to examine the prognostic effect of the new factor after accounting for the effect of existing prognostic factors. Similarly, in causal research based on observational data, the choice of confounding factors to include as adjustment factors should be selected based on the causal pathway—for example, as expressed using directed acyclic graphs (with consideration of potential mediators between covariates and outcome72), not statistical significance based on automated selection methods.

임상 예측 모델의 개발에서 잠재적 포함을 위한 모든 후보 예측 변수를 포함하는 전체 모델로 시작하는 라소 또는 탄성 네트와 같은 방법을 사용하여 변수 선택(수축을 통한)을 통합할 수 있다. 일반적이지만 부적절한 접근법은 예측 변수 포함에 대한 결정이 관측된 비조정 효과 추정치에 대한 P 값에 기초할 때 일변량 선별을 사용하는 것이다. 이것은 다른 예측 변수에 대한 조정 후 예측 변수의 효과이기 때문에 합리적인 전략이 아니다. 왜냐하면 실제로 관련 예측 변수는 (의료 전문가와 환자에 의해) 조합으로 사용되기 때문이다. 예를 들어, 재발 정맥 혈전 색전증의 위험에 대한 예후 모델을 개발하고 있을 때, 연구자들은 연령의 조정되지 않은 예후 효과가 일변량 분석에서 통계적으로 유의하지 않고 조정된 효과가 유의하며 다변량 분석과 반대 방향이라는 것을 발견했다. 
In the development of clinical prediction models, variable selection (through shrinkage) may be incorporated using methods such as lasso or elastic net, which start with a full model including all candidate predictors for potential inclusion. A common, but inappropriate approach is to use univariable screening, when decisions for predictor inclusion are based on P values for observed unadjusted effect estimates. This is not a sensible strategy,73 as what matters is the effect of a predictor after adjustment for other predictors, because in practice the relevant predictors are used (by healthcare professionals and patients) in combination. When, for example, a prognostic model was being developed for risk of recurrent venous thromboembolism, the researchers found that the unadjusted prognostic effect of age was not statistically significant from univariable analysis but that the adjusted effect was significant and in the opposite direction from multivariable analysis.74

On the 11th day of Christmas, a statistician sent to me:

가정의 영향 평가
Assess the impact of any assumptions

모든 사람들은 그것이 크리스마스 영화라는 것에 동의하지만, 이것이 다이하드에 적용되는지는 논란의 여지가 있다. 마찬가지로 통계 편집자는 저자의 완고한 분석 가정에 대해 토론하고 가정이 변경될 경우 결과가 변경되는지 여부를 검토하도록 요청할 수 있다(감도 분석). 예를 들어, 재발까지의 시간이나 사망 시간과 같은 사건 발생 시간 데이터가 있는 제출된 시험에서는 위험 비율이 전체 추적 기간에 걸쳐 일정하다고 가정하여 보고하는 것이 일반적이다. 이 가정이 기사에서 정당화되지 않는 경우, 예를 들어 시간에 따라 위험 비율이 어떻게 변화하는지 그래픽으로 제시함으로써 저자들에게 이 문제를 해결하도록 요청할 수 있다. (아마도 관심 공변량과 (로그) 시간 사이의 상호작용을 포함하는 생존 모델에 기초한다.). 또 다른 예는 베이지안 분석을 사용한 제출물에서, 이전 분포는 "모호한" 또는 "비정보적"으로 분류되지만 여전히 영향력이 있을 수 있다. 이러한 상황에서 저자들은 다른 그럴듯한 사전 분포를 선택할 때 결과가 어떻게 변하는지 보여달라고 요청받을 수 있다.
Everyone agrees that It’s A Wonderful Life is a Christmas movie, but whether this applies to Die Hard is debatable. Similarly, statistical editors might debate authors’ die-hard analysis assumptions, and even ask them to examine whether results change if the assumptions change (a sensitivity analysis). For example, in submitted trials with time-to-event data, such as time to recurrence or death, it is common to report the hazard ratio, assuming it is a constant over the whole follow-up period. If this assumption is not justified in an article, authors may be asked to address this—for example, by graphically presenting how the hazard ratio changes over time (perhaps based on a survival model that includes an interaction between the covariate of interest and (log) time).75 Another example is in submissions with bayesian analyses, where prior distributions are labelled as “vague” or “non-informative” but may still be influential. In this situation, authors may be asked to demonstrate how results change when other plausible prior distributions are chosen.

On the 12th day of Christmas, a statistician sent to me:

보고 지침 사용 및 과도한 해석 방지
Use reporting guidelines and avoid overinterpretation

알트먼은 "독자들은 무엇이 행해졌는지 추론할 필요가 없어야 한다, 그것이 명확하게 말해져야 한다. 적절한 방법론이 사용되어야 하며 사용된 것으로 간주되어야 합니다." 불완전하게 보고된 연구는 변명의 여지가 없으며 크리스마스 트리 아래에 있는 라벨이 없는 선물과 마찬가지로 혼란을 일으킨다. 독자들은 보고된 연구의 근거와 목적, 연구 설계, 사용된 방법, 참가자 특성, 결과, 증거의 확실성, 연구 결과 등을 알아야 한다. 이러한 요소 중 하나라도 누락된 경우 저자는 이를 명확히 해야 합니다.
Altman once said, “Readers should not have to infer what was probably done, they should be told explicitly. Proper methodology should be used and be seen to have been used.”76 Incompletely reported research is indefensible and creates confusion, just as with those unlabelled presents under the Christmas tree. Readers need to know the rationale and objectives of a reported study, the study design, methods used, participant characteristics, results, certainty of evidence, research implications, and so forth. If any of these elements are missing, authors will be asked to clarify them.

보고 지침을 활용합니다. 그들은 보고할 항목의 체크리스트를 제공한다(산타는 이것을 두 번 확인할 것을 제안한다). 이 체크리스트는 독자(통계 편집자 포함)가 연구를 이해하고 그 결과를 비판적으로 평가할 수 있도록 하는데 필요한 최소한의 세부사항을 나타낸다. 보고 지침은 건강 연구 보고와 관련된 지침 및 기타 자료의 포괄적인 모음을 유지하는 EQUATOR 네트워크 웹 사이트에 나열되어 있습니다. 표 1은 무작위 시험을 위한 CONSTORT 문과 예측 모델 연구를 위한 TRIPOD 지침을 포함한 예를 보여준다. BMJ는 저자들에게 각 항목이 제출된 원고의 어느 페이지에 보고되었는지를 나타내는 관련 지침 내에 체크리스트를 작성하고 제출과 함께 포함할 것을 요구한다. 
Make use of reporting guidelines. They provide a checklist of items to be reported (Santa suggests checking this twice), which represent the minimum detail required to enable readers (including statistical editors) to understand the research and critically appraise its findings. Reporting guidelines are listed on The EQUATOR Network website, which maintains a comprehensive collection of guidelines and other materials related to health research reporting.77Table 1 shows examples, including the CONSORT statement for randomised trials79 and the TRIPOD guideline for prediction model studies.8081The BMJ requires authors to complete the checklist within the relevant guideline (and include it with a submission), indicating on which page of the submitted manuscript each item has been reported.

보고와 관련된 통계 편집자 검토 과정의 또 다른 공통적인 부분은 인과관계, 결과의 일반화 가능성 또는 임상 실무에 대한 즉각적인 영향과 같은 결과의 해석을 지나치게 질의하는 것이다. 특히 다중 공변량(변수)이 있는 회귀 모델을 참조하기 위해 다변량(다변수가 아닌)을 오용하고, 그룹을 생성하는 데 사용되는 절단점이 아닌 그룹을 참조하기 위해 분위수를 오용하는 것(예: 십진법은 10개의 동일한 크기의 그룹을 생성하는 데 사용되는 9개의 절단점)을 오용한다업(10번째라고 함). 
Another common part of the statistical editors review process, related to reporting, is to query overinterpretation of findings—and even spin,82 such as unjustified claims of causality, generalisability of results, or immediate implications for clinical practice. Incorrect terminology is another bugbear—in particular the misuse of multivariate (rather than multivariable) to refer to a regression model with multiple covariates (variables), and the misuse of quantiles to refer to groups rather than the cut points used to create the groups (eg, deciles are the nine cut points used to create 10 equal sized groups called 10ths).83

에피파니
Epiphany

BMJ에 제출된 기사의 동료 검토 중에 일상적으로 마주치는 12개의 통계 문제 목록은 향후 제출된 문서 작성자에게 도움이 될 것으로 기대된다. 지난 크리스마스 통계 편집자들은 이 목록을 트위터에 올렸지만, 어쨌든 그들은 다음날 제출이 저조했다. 올해, 그들을 눈물로부터 구하기 위해, 그들은 특별한 누군가를 위해 그것을 만들었습니다. 당신, BMJ 독자.

This list of 12 statistical issues routinely encountered during peer review of articles submitted to The BMJ will hopefully help authors of future submissions. Last Christmas statistical editors tweeted this list, but the very next day they got poor submissions anyway. This year, to save them from tears, they’ve tailored it for someone special—you, The BMJ reader.

저자들은 통계 검토 기간을 줄이고 통계 편집자들이 축제 기간 동안 중요한 (네, 말장난 의도로) 다른 사람들과 더 많은 시간을 보낼 수 있도록 함으로써 세상에 기쁨을 주기 위해 내년 크리스마스에 서둘러 논문을 제출하기 전에 이 목록을 다루어야 한다. 만약 저자들이 이 지침을 고수한다면, "크리스마스의 12번째 날에" 노래는 행복한 통계학자의 피드백을 반영한 가사와 함께 매우 긍정적인 "크리스마스 리뷰의 12번째 날에"로 바뀔 것이다(아마도 그림 4의 노래 시트 사용에 참여할 것이다).
Authors should address this list before rushing to submit papers to The BMJ next Christmas, in order to bring joy to the world by reducing the length of statistical reviews and allowing the statistical editors to spend more time with their significant (yes, pun intended) others over the festive period. If authors did adhere to this guidance, the “On the 12th Day of Christmas” song would change to the very positive “On the 12th Day of Christmas Review” with lyrics reflecting feedback from a happy statistician (perhaps join in using the song sheet in figure 4).

 

 

그림 4. "크리스마스 리뷰 12일째 되는 날, 행복한 통계학자가 나에게 보낸..."의 노래 시트
Fig 4. Song sheet for “On the 12th Day of Christmas Review, a Happy Statistician sent to me . . .”

궁극적으로, BMJ는 곰팡이가 아닌 금, 말도 안 되는 유향, 그리고 몰약을 출판하기를 원한다. 많은 다른 주제들이 언급될 수 있었고, 독자들은 더그 앨트먼과 마틴 블랜드가 작성한 BMJ Statistics Notes 시리즈, BMJ의 연구 방법 및 보고 섹션, 그리고 일반적인 통계 오류에 대한 다른 개요를 참조한다.
Ultimately, The BMJ wants to publish the gold not the mould, the frankincense not the makes-no-sense, and the myrrh not the urrgghh. Many other topics could have been mentioned, and for further guidance readers are directed to the BMJ Statistics Notes series (written mainly by Doug Altman and Martin Bland), the Research Methods and Reporting section of The BMJ,84 and other overviews of common statistical mistakes.8586

On the 12th Day of Christmas, a Statistician Sent to Me .

PMID: 36593578

DOI: 10.1136/bmj-2022-072883

설문에서 최대한을 얻어내기: 응답 동기부여 최적화하기(J Grad Med Educ. 2022)
Getting the Most Out of Surveys: Optimizing Respondent Motivation
Anthony R. Artino Jr , PhD
Quentin R. Youmans , MD, MSc
Matthew G. Tuck , MD, MEd, FACP

대학원 의학교육(GME)을 연구하는 사람들을 포함한 보건 전문 교육 연구자들은 설문 조사와 오랜 연애를 한다. 이러한 호감의 증거는 의학 교육 저널(Journal of Graduate Medical Education, JGME)에 게재된 최근 기사를 검토함으로써 찾을 수 있다. 우리가 집계한 바로는 2021년에 발간된 Original Research and Brief Report 기사 중 56%가 설문조사를 이용했다. 시간, 돈, 방법론적 전문지식의 한계를 포함하여 많은 GME 학자들이 직면한 제약을 고려할 때 이 큰 비율은 놀라운 일이 아니다. 결과적으로, 설문조사는 종종 GME 조사자들이 가장 접근하기 쉬운 연구 방법이다. 또한 설문조사는 일반적으로 GME 교육자들이 훈련생 평가와 프로그램 평가를 위해 사용한다. 이러한 이유로, 설문조사는 상당히 적응 가능하며, 신념, 가치, 태도, 인식 및 의견과 같이 측정하기 어려운 심리적 구조를 평가하는 효율적인 방법이 될 수 있다.  
Health professions education researchers, including those who study graduate medical education (GME), have a long-standing love affair with surveys. Evidence of this fondness can be found by reviewing recent articles published in the Journal of Graduate Medical Education (JGME). By our count, 56% of Original Research and Brief Report articles published in 2021 used a survey. This large proportion is not surprising, considering the constraints that many GME scholars face, including limitations of time, money, and methodological expertise. Consequently, surveys are often the most accessible research method for GME investigators. In addition, surveys are commonly used by GME educators for trainee assessment and program evaluation. For these reasons, surveys are quite adaptable and can be an efficient way to assess hard-to-measure psychological constructs like beliefs, values, attitudes, perceptions, and opinions.1 

설문조사 응답 프로세스
Survey Response Process

응답자의 동기를 이해하기 위해서는 먼저 [설문 응답의 심리]를 살펴보는 것이 도움이 된다. 설문 조사를 수행하는 인지 작업을 설명하는 데 사용되는 고전적인 프레임워크는 Tourangeau와 동료들의 응답 프로세스 모델이다(그림 참조).  그것은 응답자들이 설문조사를 할 때 4가지 인지 과정을 거치는 것을 제안한다.

• 첫째, 설문 항목을 이해하고 페이지에 있는 [단어의 의미를 해석]해야 한다(자체 조사에서).
• 다음으로, 그들은 장기 기억에서 항목에 대응하는 데 필요한 [관련 정보를 검색]해야 한다. 이 정보에는 과거 활동에 대한 구체적인 날짜나 주제에 대한 태도나 의견이 포함될 수 있습니다. 일반적으로 메모리에서 검색해야 합니다.
• 다음으로, 의견제출자들은 그 [정보를 판단에 통합하고, 경우에 따라서는 추정]할 필요가 있다. 예를 들어, 한 응답자는 작년에 얼마나 자주 헌혈을 했는지 보고할 것을 요청했고, 따라서 얼마나 자주 헌혈을 하는지에 따라 그 숫자를 추정할 필요가 있다. 만약 헌혈이 분기별로 실시된다면, 응답자는 작년에 헌혈한 횟수로 "4"를 추정할 수 있다.
• 마지막으로, 응답자들이 답변을 염두에 둔 후에는 [해당 답변을 설문조사에 보고하고 제공된 옵션에 따라 답변을 조정]해야 합니다. 위의 예에서 헌혈 빈도에 대한 응답 옵션이 "가끔" 또는 "자주"로 제시된 경우, 응답자는 자신의 대답 "4"를 가장 적절한 응답 범주로 변환해야 한다.

To understand respondent motivation, it is helpful to first examine the psychology of survey response. A classic framework used to describe the cognitive work of taking a survey is Tourangeau and colleagues' response process model (see Figure).3  It proposes that respondents move through 4 cognitive processes when taking a survey.

• First, they need to comprehend the survey item and interpret the meaning of the words on the page (in a self-administered survey).
• Next, they need to retrieve from their long-term memory the relevant information needed to respond to the item. That information could include specific dates for activities in the past, or an attitude or opinion about a topic. Generally, something must be retrieved from memory.
• Next, respondents need to integrate that information into a judgment and, in some cases, make an estimation. For example, a respondent asked to report how often they gave blood last year might not remember all instances and therefore would need to estimate the number based on how often blood drives are held. If blood drives are conducted quarterly, then the respondent might estimate “4” as the number of times they gave blood last year.
• Finally, once respondents have an answer in mind, they must report that answer on the survey and adapt their response based on the options provided. In the example above, if the response options for the frequency of blood donations are presented as “sometimes” or “often,” then a respondent would need to convert their answer “4” into what they believe is the most appropriate response category.

설문조사 응답 프로세스의 구성요소 

응답자들이 네 가지 인지 과정을 작업하는 동안, 이리저리 뛰어다니고, [심지어 단계를 건너뛸 수 있다]는 것을 주목하는 것이 중요하다. 예를 들어, 한 사람이 작년에 의사를 얼마나 자주 봤는지 보고해 달라고 요청했는데, 기억에서 그 정보를 찾기 시작할 수도 있지만 물리치료사에게 가는 것이 고려되어야 하는지에 대해 궁금해했다. 그리고 나서 그들은 이해 단계로 돌아가서 단서를 찾기 위해 질문을 다시 읽을 수도 있다. 그런 다음 응답자는 제공된 응답 옵션에 기초하여 의사 방문 횟수가 적정한지에 대한 다른 단서를 찾기 위해 응답 단계로 점프할 수 있다. 이러한 방식으로, 설문 응답 프로세스는 비선형적입니다. 응답자들은 개별 설문 조사 질문을 탐색하고 응답하는 데 도움이 되도록 설문 조사에서 제공하는 상황별 단서를 사용합니다.

It is important to note that respondents may jump around, and even skip steps, while working through the 4 cognitive processes. For instance, a person asked to report how often they saw a physician last year might begin retrieving that information from memory but wonder if going to the physical therapist should be counted. They might then jump back to the comprehension step and reread the question to look for clues. The respondent might then jump forward to the response step to look for other clues about what a reasonable number of physician visits might be, based on the response options provided. In this way, the survey response process is nonlinear; respondents hop around and use contextual clues provided by the survey to help navigate and respond to individual survey questions.

이 네 가지 인지 단계에 대한 또 다른 중요한 점은, 과정 중에 어떤 지점에서 [마주치는 어려움이 오류를 발생]시킬 수 있다는 것이다. 예를 들어, 응답자들은 혼란스러운 문구나 전형적인 시각적 배치 때문에 질문을 오해하거나, 관련 정보를 잊어버려서 검색할 수 없거나, 정보에 입각한 답변을 하는 데 필요한 정보가 없기 때문에 정확한 판단을 할 수 없을 수 있다. 각 예제에서 [응답 오류]가 발생할 수 있으며 제공된 답변은 [부정밀하고, 부정확하며 조사 연구자가 해석하기 어려울 가능성]이 더 높습니다. 게다가, 응답자들은 설문 조사를 통해 일하는 동안 [인지적 지름길]을 취할 수 있고 종종 그렇게 한다. 즉, 응답자는 응답 프로세스(이해, 검색, 판단 및 추정 또는 보고)의 모든 단계에서 설문 응답 프로세스를 최적화할 수 없습니다. 대신에, 응답자들은 [정신적 에너지와 만족감을 보존하는 것]을 선택할지도 모른다.
Another important point about these 4 cognitive steps is that difficulties encountered at any point along the process can produce errors. For example, respondents might misunderstand a question because of confusing wording or atypical visual layout, not be able to retrieve the relevant information because they have forgotten it, or not be able make an accurate judgment because they do not have the necessary information to give an informed answer. In each example, response errors may occur, and the answers provided are more likely to be imprecise, inaccurate, and difficult for survey researchers to interpret. Furthermore, respondents can and often do take cognitive shortcuts while working through a survey. That is, at any step in the response process—comprehension, retrieval, judgment and estimation, or reporting—respondents may not optimize the survey response process. Instead, they may choose to conserve their mental energy and satisfice.4 

동기 부여 및 Satisficing
Motivation and Satisficing

Satisficing 완화 및 사려 깊은 응답 장려
Mitigating Satisficing and Encouraging Thoughtful Responses

만족스러운 결과로 발생하는 문제에 비추어 볼 때, GME 교육자와 연구자는 현상을 이해하고 데이터 품질에 대한 해를 완화하는 솔루션을 구현하기 위해 노력하는 것이 중요하다. 크로스닉은 [Satisficing 을 촉진하는 세 가지 조건]을 설명했다: 

• (1) [과제]가 어려운 경우
  
• (2) [응답자의 능력] 또는 교육 수준이 낮은 경우
  
• (3) 응답에 대한 참가자의 [동기 부여]가 낮은 경우

대부분의 경우 [응답자의 능력과 교육 수준이 고정]되어 있습니다. 다행히도, GME 연구원들은 종종 고등학생들보다 [교육을 잘 받았기 때문]에 Satisficing할 가능성이 낮은 고능력 참가자들을 조사하고 있다. [과제의 난이도]와 [응답자의 동기 부여]에 관해서는, 조사 설계자는 사려 깊은 설계와 구현 관행을 통해 이러한 요인에 영향을 미칠 수 있으며 Satisficing을 상당히 완화시킬 수 있다.
In light of the problems that result from satisficing, it is important for GME educators and researchers to understand the phenomenon and work to implement solutions that mitigate harms to data quality. Krosnick4  described 3 conditions that promote satisficing:

• (1) greater task difficulty;
• (2) lower respondent ability or education level; and
• (3) lower participant motivation to respond.

In most cases, respondent ability and education level are fixed. Fortunately, GME researchers often are surveying high-ability participants who are well educated and thus less likely to satisfice than, for example, a high school student. As for task difficulty and respondent motivation, survey designers can influence these factors—and appreciably mitigate satisficing—through thoughtful design and implementation practices.6 

과제 난이도를 완화하는 것은 Satisficing을 완화하는 가장 중요한 방법이다. 설문조사의 경우, 설문조사를 완료하는 것이 과제입니다. 조사 설계자가 작업을 더 쉽게 하기 위한 최선의 접근법은 [근거에 입각한 모범 사례]를 따르는 것이다. 4가지 인지적 대응 과정을 통해 응답자가 자신의 길을 갈 수 있도록 지원하는 [양질의 설문지를 설계]하는 것이 목표다. 이러한 설계 관행이 다른 곳에서 자세히 설명되었지만, 우리는 표 1에서 GME 조사 설계자가 조사 완료 작업을 단순화하기 위해 사용할 수 있는 많은 [고수익high-yield 관행]을 강조한다.
Easing task difficulty is the most important way to mitigate satisficing. In the case of a survey, the task is completing the survey. The best approach for survey designers, to make the task easier, is to follow evidence-informed best practices. The goal is to design a high-quality survey that supports respondents as they work their way through the 4 cognitive response processes. Although these design practices have been articulated in detail elsewhere,1,7-9  we highlight in Table 1 a number of high-yield practices that GME survey designers can use to simplify the task of survey completion.

마지막으로, 설계자는 설문조사 요청을 [사회적 교환]으로 간주하여 응답자의 동기, 즉 [설문조사 초대를 수락하고, 설문조사를 시작하고, 응답 프로세스를 최적화하는 동기]를 직접 다룰 수 있습니다. 딜먼 등이 설명한 바와 같이,  "사람들이 다른 사람의 요청을 따르는 것에 대한 [보상]이 결국에는 그 요청을 따르는 [비용]을 초과할 것이라고 믿고 신뢰한다면, 그들은 다른 사람의 요청을 따를 가능성이 더 높습니다." 즉, 잠재적 응답자들은 종종 [세 가지 주요 요인]을 고려합니다: 

• 보상(이 설문 조사에 참여함으로써 얻을 수 있는 이점은 무엇입니까?), 
  
• 비용(시간이 얼마나 걸립니까?) 
  
• 신뢰(초대 소스 및 제안된 데이터 사용을 신뢰합니까?). 

표 2는 설계자가 보상을 확대하고 비용을 절감하며 신뢰를 강화하기 위해 사용할 수 있는 몇 가지 관행을 포함한다.

Finally, designers can directly address respondent motivation—the motivation to accept a survey invitation, start the survey, and optimize the response process—by viewing a survey request as a social exchange. As described by Dillman et al,8  “people are more likely to comply with a request from someone else if they believe and trust that the rewards for complying with that request will eventually exceed the costs of complying.” In other words, potential respondents often consider 3 primary factors: 

• rewards (What will I gain by taking this survey?), 
• costs (How much time will it take?), and 
• trust (Do I trust the invitation source and the proposed data use?).

Table 2 includes several practices that designers can employ to magnify rewards, decrease costs, and fortify trust.

 

요약
Summary

Getting the Most Out of Surveys: Optimizing Respondent Motivation

PMID: 36591428

PMCID: PMC9765912 (available on 2023-12-01)

DOI: 10.4300/JGME-D-22-00722.1

구색만 갖추기: 어거지로 하는 설문이 자료 퀄리티에 미치는 영향(EDUCATIONAL RESEARCHER, 2021)
Assessing Survey Satisficing: The Impact of Unmotivated Questionnaire Responding on Data Quality
Christine Calderon Vriesema1 and Hunter Gehlbach2

• 첫째, 일부는 참가자들이 양질의 답변을 제공하는 데 필요한 자기성찰 능력에 대해 의문을 제기한다. 예를 들어, Nisbett와 Wilson(1977a, 1977b)은 사람들이 자신의 선택을 이해하려는 잘못된 시도의 여러 예를 제공했다. 다른 것들은 응답자들이 존재하지 않는 정책에 대해 어떻게 쉽게 보고하는지, 따라서 사람들이 어떻게 그들이 가질 수 없는 의견을 보고하는지를 보여준다(Bishop et al., 1980).

• 두 번째 도전은 사람들이 자신의 태도를 알 수 있다는 것을 인정하면서도, 미묘한 힘이 응답자의 정확한 보고를 방해할 수 있다고 우려하는 비평가들로부터 발생한다. 이러한 힘에는 묵인 편향, 사회적 만족도, 바닥/천장 효과, 편향된 질문 표현, 대응 순서 효과 등과 같은 현상이 포함된다(예: Krosnick, 1999).

• 셋째, 잠재적으로 더 도전적인 것은 참가자들이 설문조사를 진지하게 받아들이려는 동기에 대한 우려이다. 가장 극단적인 형태로, 어떤 사람들은 아마도 지루하거나 웃기려는 시도로 거짓 대답을 하기 위해 적극적으로 노력하는 "장난꾸러기 응답자"가 될 수도 있다. Krosnick(1991)은 응답자들이 응답에 최선의 노력을 기울이지 못하는 더 온화하고 잠재적으로 더 보편적인 형태의 "구색만갖추기satisficing"을 설명한다. 이러한 동기 부여 문제는 충분히 일반적이어서 일부 연구자들은 성실성이라는 성격 특성을 측정하기 위한 수행 과제로 설문지에 대한 응답자의 노력(또는 그 부족)을 사용했다(Hitt et al., 2016; Zamarro et al., 2018).

구색만 갖추기
Satisficing

• 첫 번째 합리적인 응답 옵션 선택,
• 제시된 모든 진술에 동의하는 것,
• 여러 항목에 걸쳐 동일한 옵션을 직선으로 반복적으로 선택하는 것,
• "모름" 또는 "해당되지 않는" 응답을 일관되게 선택하는 것을 포함할 수 있다(Barge & Gehlbach, 2012; Krosnick, 1991).

• selecting the first reasonable response option,
• agreeing with all the statements presented,
• selecting the same option repeatedly in a straight line across multiple items, and
• consistently selecting the “don’t know” or “not applicable” responses (Barge & Gehlbach, 2012; Krosnick, 1991).

• 조기종결
• 미응답
• 한줄긋기

• early termination—when respondents fail to complete the full survey; 
• nonresponse, or omitted items; and 
• straight-line responding—when respondents select the same response option repeatedly (e.g., for at least 10 consecutive items).

연구 질문과 가설
Research Questions and Hypotheses

• (a) 학생들이 어느 정도까지 조사 satisficing에 참여했는지,
• (b) 어떤 형태의 satisficing이 조사 데이터에 가장 큰 위협이 되는지,
• (c) 이 전략이 조사 척도에서 학생들의 평균 점수에 어떻게 영향을 미칠 수 있는지 더 잘 식별하기 위해, 학생들이 한줄긋기를 할 때 가능성이 높은 응답 옵션이 무엇인지
• (d) 어떤 학생들이 가장 satisficing을 할 것 같은지

• (a) to what extent students engaged in survey satisficing,
• (b) which form of satisficing posed the largest threat to survey data,
• (c) which response option students were most likely to select when straight-lining in order to better discern how this strategy might affect students’ mean scores on the survey scales, and
• (d) which students were most likely to satisfice.

방법
Method

샘플
Sample

파일럿의 경우 2014-2015학년도 데이터에 대한 탐색적 분석을 수행했습니다. 이러한 분석은 2015-2016년 데이터에 대해 테스트한 사전 등록된 가설을 생성했다. 확인 연구를 위한 표본(N = 409,721)은 CORE 학군의 하위 집합에서 온 학생들을 포함했다. 2학년 2명을 제외한 학생들은 3학년부터 12학년까지 다양했다. 표본은 146,126명의 초등학생들, 125,747명의 중학생들, 그리고 137,838명의 고등학생들을 포함했다. 표 1은 학생 인구 통계의 완전한 설명을 제공한다. 

For our pilot, we conducted exploratory analyses on the 2014–2015 school year data. These analyses generated the preregistered hypotheses that we tested on the 2015–2016 data. The sample (N = 409,721) for our confirmatory study included students from a subset of the CORE school districts (see the full list here: https://edpolicyinca.org/initiatives/core-pace-research-partnership). Except for two second graders, students ranged from Grades 3 through 12. The sample included 146,126 elementary school students; 125,747 middle school students; and 137,838 high school students. Table 1 provides a complete description of student demographics.

방안
Measures

절차들
Procedures

사전 등록된 결과
Preregistered Results

가설 1: 전체 만족도
Hypothesis 1: Overall Rate of Satisficing

가설 2: 측량 영향
Hypothesis 2: Survey Impact

가설 3a 및 3b: 직선 반응
Hypotheses 3a and 3b: Straight-Line Responding

가설 4: 만족자 식별
Hypothesis 4: Identifying Satisficers

탐색 결과
Exploratory Results

• 먼저 성별 외에 다른 학생 특성이 전반적인 만족도를 예측하는지 살펴보았다.
• 둘째, 직선 응답이 학생 하위 그룹 비교와 설문 조사의 심리학적 속성(예: 크론바흐의 알파 계수)에 미치는 영향을 추가로 조사했다
• 마지막으로, 우리는 학생들이 이러한 형태의 만족에 가장 자주 참여한다는 점을 고려하여 무응답을 더 자세히 탐구했다.2

• we first explored whether other student characteristics in addition to gender predicted overall satisficing.
• Second, we further examined the effects of straight-line responding on student subgroup comparisons and the psychometric attributes of the survey (e.g., Cronbach’s alpha coefficients.)
• Last, we explored nonresponse in further detail, given that students engaged in this form of satisficing most frequently.2 

탐색적 분석: 전반적인 만족도
Exploratory Analyses: Overall Satisficing

탐색적 분석: 직선 응답
Exploratory Analyses: Straight-Line Responding

성별 차이
Gender differences

• Female students reported higher
  • self-regulation (Cohen’s d = 0.28 for complete, 0.27 for high fidelity),
  • growth mindset after reverse-scoring the items (Cohen’s d = 0.04 for complete, 0.03 for high fidelity), and
  • social awareness (Cohen’s d = 0.22 for complete, 0.22 for high fidelity) than male students.
• In contrast, male students reported higher
  • self-efficacy than female students (Cohen’s d = 0.08 for complete, 0.10 for high fidelity).

Cronbach의 알파 및 상관 계수
Cronbach’s alpha and correlation coefficients

직선 응답 패턴
Pattern of straight-line responding

• 첫 번째 간격 이후 학생 직선(a)이 감소했고,
• (b) 다음 13 간격 동안 상당히 일정하게 유지되었지만
• (c) 조사의 마지막 세 간격 동안 증가했다는 것을 발견했다(그림 1 참조).

• (a) decreased after the first interval,
• (b) remained fairly consistent for the next 13 intervals
• but (c) increased during the last three intervals of the survey (see Figure 1).

탐색적 분석: 무응답
Exploratory Analyses: Nonresponse

평균 차이
Mean differences

무응답 패턴
Pattern of nonresponse

논의
Discussion

전체 만족도
Total Satisficing

설문조사 데이터에 미치는 영향
Impact on Survey Data

응답자 특성
Respondent Characteristics

연구자, 실무자 및 정책 입안자를 위한 권장 사항
Recommendations for Researchers, Practitioners, and Policymakers

• 첫째, 연구자, 실무자 및 정책 입안자는 설문 조사의 맥락 내에서 의미 있는 satisficing 의 정의를 결정해야 한다. 만족스럽게 정의하고 운영하기 위해 비교적 포괄적인 접근 방식을 취했지만, 일부 구역에서는 더 보수적인 접근 방식(예: 무응답을 하나가 아닌 네 개의 누락된 항목으로 정의)이 필요할 수 있다. 다행히도 다양한 정의를 만족하고 영향을 검토하는 테스트는 비교적 저렴한 비용으로 추가 분석을 수행하는 데 걸리는 시간에 불과합니다. 데이터 분석가들이 만족의 영향을 더욱 탐구함에 따라, 우리는 주어진 맥락에서 가장 합리적인 것이 무엇인지 보기 위해 다양한 정의를 테스트하는 것을 추천한다.

• 둘째, satisficing 행동이 결과 해석에 얼마나 영향을 미치는지 평가하기 위해 연구자, 실무자 및 정책 입안자가 satisficing 유무에 관계없이 데이터를 검토할 것을 권장한다. CORE 맥락 내에서, 직선 응답과 무응답은 결과의 주요 해석을 바꾸지 않았다. 예를 들어, 직선 응답 표본과 높은 충실도 표본 간의 차이의 크기는 매우 작았습니다. 그러나, 교육의 맥락 의존적 특성을 고려할 때, 이러한 결과는 교육 환경에 따라 달라질 수 있다. 또한 다른 유형의 분석은 다른 방식으로 영향을 받을 수 있다. 특정 부분군 비교(예: 학년 수준, 학교, 성장률 등) 또는 항목 구조와 관련된 분석(예: 요인 분석 기법)은 만족자의 포함 또는 제외에 더 민감할 수 있다. 따라서, 우리는 설문 조사 데이터 사용자가 다양한 분석 및 설정에 걸쳐 자체 설문 조사에서 만족도가 척도에 얼마나 영향을 미칠 수 있는지 조사할 것을 권장한다. 만족으로 인한 결과적 차이가 언제, 어디서, 왜 더 많이 나타나는지를 배우는 것이 앞으로 나아가는 중요한 지식이 될 것이다.

• 셋째, satisficing하는 모든 학생으로부터 모든 데이터를 제외하지 않는 것이 좋습니다. 대신, 연구자, 실무자 및 정책 입안자는 결함이 있는 데이터만 제거함으로써 더 많은 이익을 얻을 수 있다(즉, 목록별 삭제보다는 사례별 삭제). 특히, 직선 응답과 무응답은 학생들의 평균 점수에 영향을 미칠 수 있으므로, 데이터 분석가들이 이러한 두 가지 반응 패턴에 초점을 맞출 것을 제안한다. 결함이 있는 데이터를 제거하면 분석가들이 데이터 중심의 의사 결정을 지원할 때 잠재적으로 손상된 데이터와 함께 양질의 데이터를 낭비하지 않도록 하는 데도 도움이 될 것입니다. 그러나 이 과정의 일부로, 우리는 또한 데이터 분석가들이 먼저 데이터를 제외하는 것이 표본 모집단의 성격을 크게 바꾸지 않는다는 것을 확인하도록 권장한다(예: 불균형한 수의 특정 인구 통계 그룹을 제거함으로써).

• 넷째, 설문조사에 [역스코어 항목을 포함하는 것]은 직선 응답자를 탐지하기 위한 효과적인 전략으로 보일 수 있다. 그러나 우리는 이 전술을 사용하지 않아야 한다고 경고한다. 역스코어 항목은 척도의 신뢰성을 떨어뜨리고 참가자들이 답변하기 어렵다(Benson & Hocevar, 1985; Gehlbach & Brinkworth, 2011; Swain et al., 2008). 대신에 조사 설계자는 [서로 다른 구인의 항목을 분산시켜 삽입]하고(Gehlbach & Barge, 2012) [응답 옵션이 구인 특이적이도록 보장]하여 직선 응답을 완화할 수 있다(Gehlbach & Brinkworth, 2011).
  • 항목을 [interspersing]하면 참가자가 동일하거나 유사한 구조의 항목을 서로 옆에 배치할 때 발생할 수 있는 고정 및 조정과 같은 인지 편향에 참여할 가능성이 줄어든다(Gehlbach & Barge, 2012).
  • 또한 각 항목에 대해 [완전한 레이블이 지정된 응답 옵션]을 포함하고 항목과 응답 옵션 모두에서 동일한 구인별 언어를 사용하면 응답자들이 유사한 질문을 반복적으로 하는 것이 아니라 별개의 현상에 대해 설문조사가 질문한다는 점을 강화할 수 있다(Gehlbach, 2015).
    
    

• Interspersing items reduces the chances that participants will engage in cognitive biases, like anchoring and adjusting, which can occur when items from the same or similar constructs are placed next to each other (Gehlbach & Barge, 2012).
• Furthermore, including fully labeled response options for each item and using the same construct-specific language in both the items and response options can help to reinforce to respondents that the survey is asking about distinct phenomena as opposed to asking similar questions over and over (Gehlbach, 2015).

결론
Conclusion

Abstract

코멘터리: 의학교육의 패러다임, 가치론, 인간행동학 (Acad Med, 2018)
Commentary: Paradigms, Axiology, and Praxeology in Medical Education Research
Zareen Zaidi, MD, PhD, and Douglas Larsen, MD, MEd

연구자들의 [연구 패러다임]과 [이론적 관점]은 [연구 과정]에 영향을 미친다. 승인된 RIME(Research in Medical Education) 기사를 예로 들어 다음 질문을 살펴봅니다. 연구자들의 철학적 기반은 무엇이며, 그것이 출판물에서 드러나나요? 어떤 연구 패러다임이 잠재적으로 그들의 방법 선택을 가이드하는가? 그런 다음 우리는 연구 결과가 다른 의학 교육자들의 행동에 어떻게 영향을 미칠 수 있는지 논의한다. 우리는 연구 설계가 패러다임, 이론, 방법론 및 방법을 어떻게 포괄하는지 강조한다. 더 진행하기 전에, 우리는 이 요약을 준비하는 동안 사용한 주요 개념에 대한 간단한 개요를 제공한다. 입문서와 관련된 더 자세한 자료는 관심 있는 사람들을 위한 참고 문헌에 제공된다. 우리는 독자들이 이러한 개념과 이론의 적용 가능성을 고려하여 자신의 실천과 연구를 안내할 것을 권장한다.
Research paradigms and theoretical perspectives of researchers influence the research process—even research questions posited by researchers are shaped by how they view the world. Using the accepted Research in Medical Education (RIME) articles as exemplars, we explore the following questions: What are the philosophical underpinnings of the researchers, and are they made visible in their publications? What research paradigms potentially guide their choice of methods? We then discuss how the results from research can influence actions of other medical educators. We highlight how research design encompasses paradigms, theory, methodology, and methods. Before proceeding further, we provide a brief primer on the key concepts that we used while preparing this summary. More detailed resources1–6 related to the primer are provided in the bibliography for those interested. We encourage readers to consider the applicability of these concepts and theories to guide their own practice and research.

프라이머: 연구자들은 그들의 연구 활동에 영향을 미치는 다양한 [철학적 프레임워크]나 [패러다임]을 따른다. [패러다임]은 신념이나 세계관의 집합으로 볼 수 있으며, 세계의 본질과 개인이나 사물에 대한 세계의 관계, 또는 단순히 인식론적 입장으로 볼 수 있다. 이러한 패러다임은 시간이 지남에 따라 진화해왔고 현재까지도 계속 그렇게 하고 있다. 연구자들은 일부 중첩이 있는 패러다임에 대해 다른 레이블을 사용할 수 있다. 따라서 패러다임은 경직된 프레임워크보다는 [관련이 있는 사상적 학파의 느슨한 결합]으로 간주되어야 한다. 가장 잘 알려진 패러다임으로는 실증주의/후기실증주의, 포스트모더니즘/포스트구조주의, 비판론/이데올로기 패러다임, 구성주의, 실용주의 등이 있다. 패러다임에 대한 포괄적인 검토를 제공하는 것은 저자들의 의도가 아니다. 오히려 우리는 독자들에게 이해하기 쉬운 설명을 우리의 후속 대화의 기초로서 제공하는 것을 목표로 한다.
Primer: Researchers follow various philosophical frameworks or paradigms that impact their research activities. Paradigms can be viewed as a set of beliefs or worldviews, the nature of the world and the relationship of the world to individuals or objects, or simply as epistemological stances.7 These paradigms have evolved over time and continue to do so to date. Researchers may use different labels for the paradigms with some overlap; therefore, the paradigms should be regarded as loosely bound, related schools of thought rather then rigid frameworks.3 The best-known paradigms include positivism/postpositivism, postmodernism/poststructuralism, critical theory/ideological paradigm, constructivism, and pragmatism.3,8 It is not the intent of the authors to provide an encompassing review of paradigms; rather, we aim to provide easy-to-understand descriptions for readers as a primer to our subsequent conversation.

[실증주의]는 역사적으로 가장 잘 알려진 패러다임이다. 이 패러다임을 따르는 연구자들은 [발견되어야 할 하나의 진실]이 있으며, [현실은 관찰 가능하고 측정 가능]하며, [인과관계 연구]를 통해 발견될 수 있다고 믿는다. 고정된 측정 가능한 현실에 대한 생각은 많은 비판을 받았고, 연구자들은 측정이 잘못될 수 있고, 편견이 있으며, 완전한 객관성은 불가능하다는 것을 인정했다. 이것은 객관성을 위해 노력하지만 완전한 중립성은 어떤 절대적인 의미에서도 얻을 수 없다는 것을 이해하는 연구자들과 함께 후기실증주의 패러다임을 이끌었다. [후기실증주의자]들은 "진실"은 근사치이며 "우리가 현실에 대해 알고 있는 것은 지금은 진실이다. 단, 더 많은 연구가 더 나은 설명, 더 정확한 척도를 찾을 때까지"라고 이해한다.
Positivism is historically the best-known paradigm.3 Researchers following this paradigm believe that there is a single truth to be discovered and that reality is observable, is measurable, and can be discovered in cause-and-effect studies.3,9 The idea of a fixed measurable reality received much criticism with researchers conceding that measurement is fallible, researchers have biases, and complete objectivity is not possible.3 This led to the postpositivist paradigm with researchers striving for objectivity but understanding that complete neutrality is not obtainable in any absolute sense.9 
Postpositivists understand that “truth” is an approximation or “what we know about reality is true for now—until more studies find a better explanation, a more accurate measure.”9,10 

[포스트모더니즘]은 어떤 현상의 현실이 그것을 경험하는 자와 주관적으로 상대적이라고 가정한다. 이 패러다임은 또한 탈구조적 또는 탈식민지적이라 불리며 [현대 사회에 대한 비판]을 제공한다. 포스트모던 연구자들은 [기존의 내러티브를 해체]하고 [현상에 대한 재개념화된 설명]을 만드는 것을 목표로 한다. 
Postmodernism posits that reality of a phenomenon is subjectively relative to those who experience it.11 This paradigm is also variably referred to as poststructural or postcolonial and offers critiques of modern society.3 Postmodern researchers aim to deconstruct existing narratives and produce reconceptualized descriptions of phenomena.12 

[비판적 이론/이데올로기 패러다임]은 연구를 통해 [인식된 사회적 부당성]을 [해결하는 것]을 목표로 한다. 이 패러다임에서는 [현실은 시간이 지남에 따라 결정되는 사회적, 정치적, 문화적, 경제적, 민족적, 성별적 가치에 의해 형성된다]는 것을 인정한다. 이 경우 연구자는 (포스트모더니즘과는 반대로) 연구과제, 목적, 방법의 중심이 되는 가치에 대해서 [proactive한 입장]을 가지고 있다. 
Critical theory/ideological paradigm aims to address perceived social injustices through research and advocating for policy changes, acknowledging that reality is shaped by social, political, cultural, economic, ethnic, and gender values crystallized over time.7 The researcher in this case (as opposed to postmodernism) has a proactive stance with values being central to the task, purpose, and methods of research.13 

[구성주의]는 현실이 그것을 경험하는 사람들에 의해 구성되고 상대적이라는 것을 인식한다. 지식은 [연구자와 참가자 사이의 경계]를 흐리게 하는 [우리의 상호 작용]을 통해 만들어진 구성으로 구성되므로 [객관성에 도전]한다. 지식은 연구자와 참여자에 의해 [공동으로 만들어지며 시간에 따라, 개인에 따라, 상황에 따라 달라진다]. 
Constructivism recognizes that reality is constructed by those who experience it and is relative.14 Knowledge consists of the constructions made through our interactions blurring the line between researchers and participants, therefore challenging objectivity. Knowledge is cocreated by researchers and participants and is time dependent, individual dependent, and context dependent.9 

[실용주의]는 종종 진실과 현실의 문제를 회피하는 "대안적 패러다임"으로 간주되며, 이는 연구자가 실증주의/후지향주의에서 구성주의에 이르는 패러다임의 범위 사이에서 선택을 강요받지 않도록 한다. 이 연구자들은 사회적, 역사적, 정치적 맥락을 인정하면서도, [연구의 목적에 초점]을 맞춘다. 즉, [진실]은 그 당시에 작동하는work 것으로 간주합니다. 
Pragmatism is often regarded as an “alternate paradigm” sidestepping issues of truth and reality, allowing the researcher to be free of being forced to make a choice between the ranges of paradigms from positivism/postpositivism to constructivism.15 These researchers focus on the purpose of research while appreciating social, historical, and political context—describing truth as what works at the time.16

[방법론]은 [방법의 설명과 정당화]이지 [방법 자체]가 아니다. [방법]은 연구의 실제 연구 활동 또는 실제 활동이다.1 빈틈없는 성찰적 연구자는 연구와 관련하여 자신의 패러다임을 설명하는 데 세심한 주의를 기울일 것이며, work에 inform하는 philosophy를 설명할 것이다. 
Methodology is the description and justification of methods, and not the methods themselves. Methods are the actual research actions or practical activities of research.1 An astute reflexive researcher will pay careful attention to describing their paradigm in relation to the research, describing the philosophy informing the work.

[가치론]은 연구 과정에서의 [가치의 역할과 위치], 특히 [패러다임, 방법론, 방법론 사이의 관계]에 대한 가치의 영향을 의미한다. 즉, 연구 패러다임이 가치론적인 이유는 [연구자의 가치]가 [방법의 선택]에 inform하기 때문이다.
The role and place of values in the research process, specifically the influence of values on the relationship between paradigm, methodology, and methods, is known as axiology—that is, the research paradigm is axiological in that the values of the researcher inform the choice of methods.

[프락세오로지]라는 단어는 프락시스, 즉 액션에서 유래했다. 프락세오로지(Praceology)는 [인간의 행동의 영향을 연구하거나 의미를 만들고 행동을 해석하는 과학의 한 분야]이다. [교육이 효과를 발휘하게 하고, 일상적인 교육 실천에서 더 잘 작동하게 만드는 데 있어서 연구의 의미는 무엇이냐]는 질문에 구체적으로 답한다.
The word praxeology stems from praxis—action. Praxeology is the branch of science which studies the effect of human actions or makes meaning and interprets actions.4,5 It specifically answers the question of what research means for making education work and making it work better in the everyday practice of teaching.4

RIME 출판물의 연구 패러다임은 어떻게 제정되는가?
How Are Research Paradigms Enacted in RIME Publications?

우리는 각 연구팀의 패러다임이 방법론에 어떤 영향을 미쳤는지 탐구함으로써 독자들에게 기사의 일반적인 요약을 제공하는 것을 넘어서는 것을 목표로 한다. "AM 마지막 페이지: 의학교육과 관련된 연구 패러다임에 대한 가이드"를 지침 프레임워크로 사용하여, 우리는 각 수용된 RIME 논문을 검토하여 작가의 연구 패러다임이 어떻게 가시화되고 사용되는 방법인 축성과 관련된 정보에 근거한 선택을 할 수 있는지 고려했다(표 1). 그런 다음 우리는 일상적인 교수 관행인 사전학에서 연구의 영향에 대해 논평한다. 우리는 저자들의 명시적인 진술이 없다면, 아래의 분류는 우리 자신의 해석을 나타내며, 저자나 다른 독자들이 동의하지 않을 수 있다는 것을 인식한다. 우리는 먼저 실증주의/후기실증주의 패러다임을 대표한다고 느끼는 연구 논문을 고려하고, 그 다음으로는 비판이론, 구성주의, 실용주의 패러다임을 가진 논문을 고려한다.
We aim to go beyond providing the readers with a general summary of the articles by exploring how paradigms of each research team influenced the methodology. Using “AM Last Page: A Guide to Research Paradigms Relevant to Medical Education”17 as our guiding framework, we reviewed each accepted RIME paper to consider how authors’ research paradigm might be made visible and informed choices related to methods used—axiology (Table 1). We then comment on the impact of the research in the everyday practice of teaching—praxeology. We recognize that without explicit statements from the authors, the categorizations below represent our own interpretations, and the authors or other readers may disagree. We first consider the research papers we felt represented a positivist/postpositivist paradigm, followed by papers with critical theory, constructivist, and pragmatist paradigms.

실증주의자/후기 실증주의자 패러다임 연구
Positivist/postpositivist paradigm research

이 패러다임에서 지식은 가설 검증에 의해 얻어진다. 쿨라세가람 등은 "발견의 순서와 그에 따른 직접 지도가 학생들의 기술 이전에는 도움이 되지만, 학생들의 유지나 시험 후 즉각적인 성과에는 도움이 되지 않는다"는 명확한 가설을 밝혔다. 연구 설계는 공식 지시(Do then see) 전에 시뮬레이션된 환경에서 학습자 봉합 기술 성능을 보다 일반적인 공식 지시 순서와 비교하고, 이어서 실습(Do then see)을 비교하기 위한 설득력 있는 무작위 제어 시험이다. 연구원들은 자기효능감과 학생들의 성취도에 관한 자료를 수집했는데, 이는 눈이 먼 평가자에 의해 5점 만점의 글로벌 평가 척도로 평가되었다.

Knowledge in this paradigm is gained by hypothesis testing. Kulasegaram et al18 articulate a clear hypothesis that “the sequence of discovery, followed by direct instruction would benefit students’ transfer of skills, but not their retention or immediate post-test performance.” The study design is an eloquent randomized controlled trial to compare learner suturing skills performance in a simulated setting before formal instruction (Do then See) versus the more typical sequence of formal instruction, followed by practice (See then Do). The researchers gathered data related to self-efficacy and student performance scored on a five-point global rating scale by a blinded rater.

연구자들의 [후기 실증주의 패러다임]은 기술 습득 측정에 초점을 맞춘 [실험 설계]에 반영된다. 후기실증주의에 충실하게, 저자들은 그들의 결과가 완전히 객관적일 수 없으며 봉합 작업에 할당된 단일 비율, 맥락 및 시간의 사용에 의해 영향을 받았다는 것을 인정한다. 또한, 그들은 다른 outcome를 연구하기로 선택할 수 있었다는 점에 주목한다. 특히, [행동 과정]은 [구성주의 패러다임]을 사용하여 가장 잘 연구되었을 수 있다.

The researchers’ postpositivist paradigm is reflected in the design of the experiment with its focus on the measurement of skill acquisition. True to postpositivism, the authors acknowledge that their outcomes cannot be completely objective and were impacted by the use of a single rater, the context, and time allocated for the suturing task. Additionally, they note that they could have chosen to study different outcomes—specifically, behavioral processes, which may then have been best studied using constructivist paradigms. 

[가치론]과 관련하여, 연구 목적을 보았을 때, 후기실증주의는 [연구 설계와 잘 일치]하고, [유용한 정보를 제공]한다. 저자들은 [먼저 스스로 과제를 탐색하고 고군분투한 다음 지시를 받은 학생]들이 [먼저 교육을 받은 다음 독립적인 연습을 통해 과제를 탐색하도록 허용된 학생]들에 비해 나중에 이전 과제를 더 잘 수행한다는 것을 보여준다. 이 연구의 결과는 직접 교육과 과제 완료를 수반하는 전통적인 교육에 도전하기 때문에 [시뮬레이션에 참여하는 의학 교육자들에게 영향]을 미칠 수 있다. [Guided SRL]과 [직접 교육]의 사려 깊은 조합은 그러한 학습 기회를 최적화할 수 있다.

Regarding axiology, for the purpose of their study the postpositivist paradigm is well aligned with the research design and provides useful information. The authors show that students who first are allowed to explore and struggle with the task on their own and then receive instruction perform better on a later transfer task compared with those who are instructed first and then allowed to explore the task through independent practice. The results of this study can and should impact medical educators involved in simulation as the results challenge traditional teaching involving direct instruction followed by completion of tasks. A thoughtful combination of guided self-regulated learning and direct instruction can optimize such learning opportunities.

[실증주의자/후기실증주의자 연구(양적 또는 질적)의 목적]은 [가설을 검정하고 변수 간의 인과관계를 설정하는 것]이다. 펠드만 외 연구진과 오니시 외 연구진은 모두 [테스트가 교육에 미치는 영향]을 조사한다. 펠드만과 동료의 연구에서, [후기실증주의 패러다임]은 국립 의학 컨퍼런스에서 사전 및 사후 테스트를 모두 통합한 정보를 가지고, [객관식 질문 기반 시험 강화 학습(TEL) 개입]의 사용과 관련된 연구 질문에 답하는 데 매우 적합했다. [무작위 대조 시험]을 실시한 결과, 그들은 사실을 반복적으로 검색하면 지속적인 의료 교육 환경(CME)에서 선언적 지식의 보존이 시간이 지남에 따라 향상된다는 것을 발견했다. 지속적인 전문성 개발(CPD)은 의료 전문가들이 자신의 업무 분야의 최신 변화를 최신으로 유지하도록 보장하는 데 필수적이다. 의료 전문가들은 CME 과정에 참여하며 지식과 숙련도를 입증하기 위해 면허 시험을 다시 치러야 한다. 본 연구가 기존 문헌에 덧붙이는 것은 검색실습을 촉진하는 인지시험이 학부 또는 대학원 교육에서 CPD에게도 마찬가지로 가치가 있다는 점이다. CME 인가 기관은 참석자들이 지식을 공고히 할 수 있도록 반복적인 TEL을 고려해야 한다.
The objective of positivist/postpositivist research (quantitative or qualitative) is to test hypotheses and to establish cause-and-effect relationships between variables.19 The studies by Feldman et al20 and Onishi et al21 both investigate the effect of testing on education. The postpositivist paradigm was well suited to answer Feldman and colleagues’ research question regarding the use of a multiple-choice-question-based test-enhanced learning (TEL) intervention on knowledge, which incorporated both pre- and posttesting at a national medical conference. Undertaking a randomized controlled trial, they found that repeated retrieval of facts improved retention of declarative knowledge in a continuing medical education setting (CME) over time. Continuing professional development (CPD) is essential in ensuring that health care professionals remain up-to-date with the latest changes in their fields of practice. Health care professionals attend CME courses and are often required to retake licensing exams to demonstrate knowledge and proficiency. What this study adds to the existing literature is that cognitive tests promoting retrieval practice are just as valuable for CPD as they are in undergraduate or postgraduate education. CME-granting agencies should consider repeated TEL to help attendees solidify their knowledge.

오오니시 등의 연구의 초점은 [이사회 인증 결정의 영향]을 결정하는 데 있으며, 이는 다음을 기반으로 합니다. 교육생이 전체 평가를 통과하기 위해 모든 하위 구성요소를 통과해야 하는지 여부(즉, 비보상적) 또는 한 하위 구성요소에 대한 성능이 평가의 다른 섹션에 대한 성능을 보상할 수 있는지 여부(보상적). 후기실증주의 패러다임에 기초하여, 저자들은 일본의 국가 데이터베이스를 사용하여, [종합점수]와 [보상성 및 비보상성 점수와 관련된 종합결정]의 [내부구조]와 [결과적 타당성] 증거를 검토했다. 그들은 인증 평가의 보상 및 비보상 채점에 대한 결정이 신뢰성에 극적인 영향을 미친다는 것을 입증한다. 특히, [역량과 안전이라는 이름으로 특정 요소를 반드시 통과시켜야 한다는 결정]에서 나오는 [비보상 채점]은 종종 평가의 신뢰성을 크게 떨어뜨릴 것이다. 비보상 채점은 학습자가 환자 안전에 영향을 미치는 특정 내용 영역에서 완전히 유능함을 보장하는 이점이 있지만, 전체적인 의사 결정 신뢰도 감소를 포함한 심리측정학적 결과를 고려할 필요가 있다. 연구의 [가치론(즉, 후기실증주의적 패러다임 렌즈)]과 [방법]은 잘 일치하지만, 저자들은 검사자의 설정, 맥락, 전문성, 학습자 샘플 및 가치가 모두 연구에 영향을 미칠 수 있다는 것을 인정한다. 본 연구의 결과는 자체 기관 또는 국가 차원에서 고평가 시험 계획에 참여하는 교육자들에게 특히 중요합니다. 예를 들어, 미국 의료 면허 시험(USMLE) 또는 면허 시험.


The focus of Onishi and colleagues’ research is to determine the impact of examining board certification decisions, which are based on whether trainees should pass all subcomponents to pass the entire assessment (i.e., noncompensatory)—or whether performance on one subcomponent can compensate for performance on other sections of the assessment (compensatory). Grounded in the postpositivist paradigm, using psychometric theory the authors used a national database in Japan to examine internal structure and consequential validity evidence of composite scores and composite decisions related to compensatory and noncompensatory scoring. They demonstrate that decisions about compensatory and noncompensatory scoring of certification assessments have dramatic effects on the reliability. Specifically, noncompensatory scoring, which emerges from a determination that a certain element absolutely must be passed in the name of competence and safety, often will significantly reduce the reliability of the assessment overall. Although noncompensatory scoring does have its benefits to ensure that learners are fully competent in specific content areas with implications for patient safety, there is a need to consider psychometric consequences including reducing the overall decision reliability. While the axiology of the study (i.e., the postpositivist paradigm lens) and its methods are well aligned, the authors do acknowledge that the setting, context, specialty, learner sample, and values of the examiners could all influence the study. The results of this study are particularly important for educators involved in the planning of high-stakes exams at their own institutions or at national levels—for instance, United States Medical Licensing Examination (USMLE) or licensing examinations.

펠드만 외 연구진과 오니시 외 연구진은 지식 측정에 대해 [후기실승주의적 관점]에서 접근하지만, 둘 다 [구성주의적 접근]이 가장 적합한 미래 연구에 대해 질문을 제기한다. 지식 보유도 중요하지만, CPD가 환자 치료나 의사가 침대 머리맡에서 "하는 것"을 개선하도록 하는 것이 중요하다. [구성주의적 방법]은 실제 수행, 테스트되고 평가되는 것에 대한 가치 판단, 특정 사실과 성과를 다른 것보다 더 중요하게 여기는 권력 구조, 신념 체계 및 문화적 편견에 대한 질문에 답하는 가장 좋은 접근법일 수 있다. 구성주의 연구는 후기실증주의 연구의 결과와 다른 관점을 제공하거나 추가할 수 있다.
Though the studies by Feldman et al and Onishi et al regarding the measurement of knowledge approach education from a postpositivist perspective, they both raise questions for future research that are best suited to a constructivist approach. Although knowledge retention is important, it is important to ensure that CPD improves patient care or what the physician “does” at the bedside. Constructivist methods may be the best approach to answering questions about real-life performance, about the value judgments made around what is tested and assessed, and about the power structures, belief systems, and cultural biases that value certain facts and performances over others. Constructivist studies may provide a different perspective than or could add to the results of the postpositivist research.

포스터 외 연구진과 박 연구진은 또한 실증주의 및 후기실증주의 패러다임을 사용하여 특정 작업장의 과제와 성과를 연구한다. 포스터 등은 [지식을 객관적인 것으로, 즉, 측정 가능한 고정된 현실]로 보았다. 그들은 [USMLE 테스트 상황]을 전자 건강 기록(EHR)의 사용과 관련하여 의대생들을 조사하는 기회로 사용했다. 데이터에 따르면 전국적으로 EHR을 사용하는 임상실습의 비율은 5년 동안 증가했지만, 이러한 기록에 메모를 입력하는 학생의 비율은 안정적으로 유지되었고, 오더를 실제로 입력하는 학생의 비율은 감소했다고 한다. 이 연구는 예측에 초점을 맞추고 일반화 가능한 데이터를 생성하는 것을 목표로 하기 때문에 주로 실증주의 패러다임에 속하지만, 저자들은 맥락(EHR의 가용성)이 결과에 영향을 줄 수 있다고 언급한다. 그들의 작업은 [두 가지 진행중인 대화에 영향]을 미칩니다. 하나는 환자 차트에 의대생에 의한 문서화를 허용하고 장려하는 [새로운 메디케어 가이드라인]에 관한 것이고, 다른 하나는 [레지던트 시작 전 환자 오더 작성 및 프로그레스 노트 작성의 숙련]을 권장하는 AAMC의 Core EPA 문서에 관한 것입니다. 커리큘럼 계획에 참여하는 의학 교육자들은 학생들이 이러한 과제를 연습하고 피드백을 받을 수 있는 적절한 기회를 갖도록 보장해야 한다.
Foster et al22 and Park et al23 also use positivist and postpositivist paradigms to study specific workplace tasks and performance. Foster et al view knowledge as objective—that is, a fixed reality, which is measurable. They used the USMLE test setting as an opportunity to survey medical students regarding the use of electronic health records (EHRs). Data revealed that while the percentage of clerkships nationwide using EHRs has increased over a five-year period, the percentage of students entering notes into those records has remained stable, and the percentage of students entering orders has actually decreased. This study falls mainly in the positivist paradigm as they focus on prediction and aim to produce generalizable data, though the authors mention that context (availability of EHRs) can impact the results. Their work has implications for two ongoing conversations, one regarding the new Medicare guideline that allows and encourages documentation by medical students in patient charts, and another regarding the Association of American Medical Colleges’ core entrustable professional activities document, which recommends proficiency in writing patient orders and progress notes prior to entering residency. Medical educators involved in curricular planning must ensure that students have adequate opportunity to practice these tasks and receive feedback.

Park 등은 [완전한 객관성이 달성될 수 없다는 것을 인정]하면서, 객관적인 지식을 얻기 위해 노력한다. 이들은 소아 인턴의 역량 등급 통계 분석에 업무량 측정치가 포함될 때 평가 점수의 신뢰성과 정밀도가 크게 증가한다는 것을 보여준다. 이 연구는 [후기실증주의적 패러다임과 일치]하여, 측정을 사용하여 복잡한 현상을 명확히 하고 통찰력을 제공한다. 이 연구는 직장 기반 평가(WBA)에서 교육생의 업무량 같은 [교란 요인을 식별]하는 것의 중요성을 강조한다. 대학원 의학 교육을 위한 인증 위원회는 이제 WBA가 필수적인 마일스톤 보고의 사용을 의무화하고 있다. 이 논문은 교육자 작업량을 포함한 작업장의 다른 복잡성을 고려하지 않고 WBA의 정확성에 대해 교육자들에게 생각할 거리를 제공한다.
Park et al strive to obtain objective knowledge, acknowledging that complete objectivity is not achievable. They demonstrate that when measures of workload are included in the statistical analysis of competency ratings for pediatric interns, the reliability and precision of assessment scores increase substantially. Consistent with a postpositivist paradigm, the study uses measurement to clarify and give insights into complex phenomena. The study highlights the importance of identifying confounders to workplace-based assessment (WBA), such as workload of trainees. The Accreditation Council for Graduate Medical Education now mandates the use of milestones reporting, for which WBA is essential. This paper provides food for thought for educators regarding the accuracy of WBA without taking into account other complexities of the workplace including trainee workload.

Burkhardt 등은 의대 입학전형에서 판단의 주관성을 제거하는 데 [예측적 입학모형(EM)]을 사용할 경우의 이점에 대한 가설을 생성하는데, 의대 입학사정관 등 교육 지도자들이 자신의 학교에 누가 다닐지 예측한다. 그들은 그들의 결과가 연역적이며 결과가 절대적으로 객관적이지 않을 수 있다는 것을 인정한다. 저자들은 [후기실증주의적 도구]를 사용하면 주관적인 판단을 제거함으로써 과정을 개선할 수 있음을 보여준다. EM 모델은 입학관리실에서 지원자의 가능한 행동에 대한 정보를 제공하기 위해 사용될 수 있으며, 특히 대표성이 낮은 소수자와 여성의 모집에서 유용하고, 주 내 지원자와 주 외 지원자의 균형을 맞추기 위해 사용될 수 있다. 저자들은 인간의 판단에 비해 열등하지 않고 일부 측면에서는 모델의 우월성을 보여준다. 이 연구는 다양성을 개선하기 위한 의도적인 실천/단계들이 얼마나 도움이 될 수 있는지를 보여주는 사례이다.
Burkhardt et al24 generate a hypothesis about the benefits of using a predictive enrollment model (EM) in eliminating subjectivity of judgments in the medical school admissions process, where educational leaders such as medical school admissions officers make predictions about who will attend their school. They acknowledge that their results are deductive and that outcomes may not be absolutely objective. The authors demonstrate that the use of a postpositivist tool can improve the process by eliminating subjective judgments. EM models can be used by admissions offices to provide information about likely behavior of applicants, which can be valuable in the admissions office particularly in the recruitment of underrepresented minorities and women, and to balance in-state versus out-of-state applicants. The authors show noninferiority and in some aspects superiority of their model compared with human judgment. This study is an example of how deliberate practice/steps to improve diversity can be helpful.

올해 RIME 선정에서 또 다른 [실증주의 연구]는 Aakre 등의 스코핑 리뷰이다. 연구자들은 전자 지식 및 관리 시점 교육 자원과 관련된 양적 및 질적 연구를 연구하기 위해 [중립적이고 객관적이며 독립적이며 가치 없는value-free 입장]을 유지한다. 가장 자주 인용되는 전자 자원은 UpToDate였다. 지식 자원의 교육적 또는 임상적 영향에 대한 연구는 부족했다. 의학 지식의 지속적인 성장과 그에 따른 효과적인 지식 합성과 실천으로의 번역의 필요성을 고려할 때, 이 분야의 추가 연구는 특히 자원이 지식과 치료 시점에 영향을 미치도록 보장하는 것이 중요하다.
Another positivist study in this year’s RIME selection is the scoping review by Aakre et al.25 The researchers maintain a neutral, objective, independent, and value-free stance to study quantitative and qualitative research related to electronic knowledge and point-of-care education resources. UpToDate was the most frequently cited electronic resource. A paucity of research was noted regarding the educational or clinical impact of knowledge resources. Given the ever-accelerating growth of medical knowledge, and the consequent need for effective knowledge synthesis and translation to practice, further research in this field is important, particularly ensuring that resources have impact on knowledge and at the point-of-care.

비판적 이론과 구성주의 패러다임 연구
Critical theory and constructivist paradigm research

곤잘레스 외 연구진과 수헤라 외 연구진은 [암묵적 편향 훈련]에 참여한 교육자와 학습자의 경험을 이해하고자 한다. 연구자들은 [구성주의 패러다임]을 가지고 있고 [근거 이론]을 사용한다. 구성주의에 충실하게, 저자들은 개인들 사이에 여러 진실이 구성된다고 믿으며, 연구 결과는 현실에 대한 인식이 사회적으로 어떻게 만들어지는지를 보여준다. 두 연구 모두 지속적인 성찰과 자기계발의 중요성을 강조한다. 수헤라 등은 [편견을 드러냄으로써 나타나는 긴장]과 [학습자와 교사가 이러한 긴장을 어떻게 조정하는지] 논의하는 반면, 곤잘레스 등의 연구는 [편향과 관련된 대화를 촉진하기 위한 교수진의 준비되지 않은 모습]을 보여준다. 그 결과는 편향 교육과 관련된 교수진 개발 및 참여자들이 자신의 편견을 발견했을 때 불안감을 해소하는 데 사용될 수 있다. 미국 의사회는 최근 의사를 고용하는 모든 조직에 의한 정기적이고 반복적인 암묵적인 편향 훈련의 제공을 옹호하는 입장문을 발표했다. 곤잘레스 외 연구진과 수헤라 외 연구진의 연구 결과는 교육과정 설계에 참여하는 교육자들에게 도움이 될 것이며, 과정을 알리는 중요한 팁을 제공할 것이다.
The studies by Gonzalez et al26 and Sukhera et al27 seek to understand the experiences of educators and learners engaged in implicit bias training. The researchers have a constructivist paradigm and use grounded theory. True to constructivism, the authors believe that multiple truths are constructed between individuals, and the results of the studies showcase how the perception of reality is socially created. Both studies highlight the importance of a constant process of reflection and self-improvement. Sukhera et al discuss the tensions emerging from revealing bias and how learners and teachers navigate these tensions, while the work by Gonzalez et al demonstrates the unpreparedness of faculty to facilitate conversations related to bias. The results can be used for faculty development related to bias instruction and to allay anxieties when participants discover their own biases. The American College of Physicians recently released a position statement advocating for the provision of regular and recurring implicit bias training by all organizations that employ physicians.28 The results of the research by Gonzalez et al and Sukhera et al will be helpful for educators involved in curriculum design, providing important tips to inform the process.

[비판적인 종합 검토]에서, 와이즈너와 에바는 [교육에 대한 인센티브]를 탐구하기 위해 문헌을 검토한다. [비판적 합성]은 [비판]과 [합성]의 두 가지 주요 방법론을 중심으로 진행된다. 저자들이 자신의 패러다임을 명시적으로 밝히지는 않지만, 기사를 검토한 결과, [여러 개의 진실이 존재한다는 것을 인정]하면서, [비판적인 입장]을 취하고 있음을 알 수 있다. 저자들은 문학의 종합(의학 교육뿐만 아니라 심리학, 행동학, 조직학 문헌도 포함)을 제공한다. 그러나 한 걸음 더 나아가 이용 가능한 문헌을 비평한다. 그들은 교수진별로 자체 보고된 인센티브를 나열하고, 비판을 제공하는 동안 교수진이 어떻게 교수와 관련된 재정적 의욕 저하에 대한 우려(즉, 진료소에 있지 않음으로써 포기하는 돈)를 제기하지 않는지에 대해 논의한다. 또한, 그들은 [인센티브의 영향]은 다른 개인의 동기 부여에 영향을 미치는 요인에 좌우되며 제공되는 인센티브의 유형은 신중하게 고려되어야 한다고 지적한다. 비판적 합성은 의료 교육자들이 일하는 많은 맥락에서 인센티브가 어떻게, 언제, 왜 작동하는지에 대한 더 큰 명확성이 필요하다는 것을 강조한다.
In a critical synthesis review, Wisener and Eva29 review the literature to explore incentives for teaching. Critical synthesis revolves around two main types of methodology: criticism and synthesis. Although the authors do not explicitly state their paradigm, a review of the article reveals that they take on a critical stance, acknowledging that multiple truths do exist. The authors provide a synthesis of literature—not just from medical education but also psychology, behavioral, and organizational literature—but then go a step further to critique the available literature. They list self-reported incentives by faculty and, while providing a critique, discuss how faculty neglect to bring up concerns of financial disincentives associated with teaching (i.e., money that is given up by not being in clinic). Additionally, they point out that the influence of an incentive is dependent on factors influencing different individuals’ motivation and that the type of incentive offered has to be carefully thought out. The critical synthesis highlights that the field needs greater clarity regarding how, when, and why incentives operate within the many contexts in which medical educators work.

실용주의 패러다임 연구
Pragmatism paradigm research

Gowda 등은 [예술에 대한 조사를 통해 관찰능력을 기르는 과목]의 효과를 [성찰 능력, 불확실성에 대한 관용, 개인적 편견에 대한 인식에 미치는 영향]으로 조사하였다. [과정이 관찰에 미치는 영향]을 탐구한다. 저자들은 그들의 패러다임을 명시적으로 언급하지는 않지만, 현실 세계의 입장을 채택하면서 엄격함을 만들어내기 위한 [다양한 방법의 필요성]을 인정한다. 즉, "질문에 대한 과정[연구] 접근법 및 혼합을 명확히 하는 것"입니다. 저자들은 수업의 효과를 질적으로 탐구하기 위해 포커스 그룹뿐만 아니라 반영 능력에 대해 이전에 확립된 평가 척도를 사용하는 혼합 방법 설계를 사용한다. 그들은 과정에 참여하는 학생들의 성찰 능력이 향상되고, 세상을 관찰하고 해석하는 데 있어 주관성의 역할에 대한 인식이 증가된 것을 발견했다. 이 연구는 모든 교육자, 특히 임상 기술을 가르치는 데 관련된 모든 교육자에게 중요하다. [주의 깊은 관찰]은 학생들에게 자동적으로 존재하는 것으로 추정되어서는 안 되며, 학습된 기술로 간주되어야 한다. 또한 관측한 것의 불확실성을 성찰하는 능력은 학생들에게 모호하게 될 수 있다. 그 연구는 또한 교과과정에서의 예술과 인간의 통합을 지원하기 위해 증거를 제공하는 증거이다.

Gowda et al30 explore the effects of a course on observation through examining art in influencing reflective ability, tolerance for uncertainty, and awareness of personal bias. The authors do not explicitly state their paradigm but do acknowledge the need for diversity of methods to produce rigor, adopting a real-world stance, i.e., a “horses for courses [whatever works] approach to the question, and clarifying the mix.”16 The authors use a mixed-methods design using previously established rating scales for reflection ability as well as focus groups to explore the effects of the course qualitatively. They found improvement in reflective ability of students participating in the course and an increased awareness of the role of subjectivity in observing and interpreting the world. This study is important for all educators but particularly those involved in teaching clinical skills. Careful observation should not be presumed to be automatically present in students and should be considered a learned skill. Additionally, the capacity to reflect on the uncertainty of observations can help students deal with ambiguity. The study is also valuable because it provides evidence to support the integration of arts and humanities in the curriculum.

결론들
Conclusions

올해의 RIME 기사에서, 저자들은 개념적 틀을 명확하게 표현했거나, 저자들이 누구의 작품을 만들고 있는지에 대해 진술했다. 그러나 연구 패러다임을 명확히 밝힌 논문은 두 편뿐이었다. 이 두 저자들은 구성주의 관점에서 연구 질문을 하고 있다고 언급했다. 질적 연구원들은 그들이 방법을 정당화하기 위해 그들의 패러다임을 분명히 할 수 있다는 것을 느낄 수 있다. 우리가 느끼기에 드러났다고 보는 논문은 실증주의, 후기실증주의, 실용주의 패러다임에 대한 것이었는데, 패러다임적 입장을 명시하지 않았다. 대부분의 서류들이 실증주의/후기실증주의 패러다임을 주목하는 것은 흥미롭다. 우리는 연구논문에 귀속되는 연구 패러다임이 논문에 제공된 정보를 바탕으로 한 우리 자신의 연구 해석임을 지적하고 싶다. 작가로부터 명확한 진술 없이, 우리는 이러한 해석에 동의하지 않았고, 작가들은 우리의 해석과 동의하지 않을 수 있다. 
In this year’s RIME articles, the authors have either clearly articulated conceptual frameworks (Burkhardt et al,24 Gonzalez et al,26 Kulasegaram et al18), or the authors state on whose work they are building (Aakre et al,25 Feldman et al,20 Foster et al,22 Gowda et al,30 Onishi et al,21 Park et al,23 Sukhera et al,27 Wisener and Eva29). However, only two papers had clearly articulated a research paradigm (i.e., Gonzalez et al and Sukhera et al). These authors state that they were approaching the research questions from a constructivist perspective. It is possible that qualitative researchers may feel they need to state their paradigm clearly to justify the methodology. The papers that we felt represented positivist, postpositivist, and pragmatism paradigms did not explicitly state their paradigmatic position. It is interesting to note that the majority of papers belonged to the positivist/postpositivist paradigms. We would like to point out that the research paradigms attributed to the research papers (other then Gonzalez et al and Sukhera et al) are our own interpretations of the research, based on information provided in the paper. Without clear statements from the authors, we had difficulty making these interpretations, and it is possible that authors may disagree with our interpretations.

연구 패러다임에 관한 연구는 거의 없다. 그러나 의학교육에 대한 실험적 연구를 검토한 결과, 사용된 개념적 틀에 대한 명시적 문구가 조사된 논문의 절반 미만이 포함되어 있어 의학교육 연구자들이 연구에 사용한 개념적 틀을 명확하게 기술해야 한다는 주장이 제기되었다. 패러다임 입장과 관련한 명시적 진술이 담긴 전체 의학교육 연구 논문의 수에 대해서는 언급할 수 없지만, 모든 의학교육 연구자들이 자신의 [개념적 프레임워크]뿐만 아니라 [연구 패러다임]도 명확하게 밝힐 것을 권장한다. 예를 들어 후기실증주의 저자들의 명시적 진술은 지식 및 지식 및 지식에 영향을 미칠 수 있다. 연구원들은 택시 기술을 유지하는 방법에 대한 설명을 추가하고 그들의 연구를 논의해야 한다. 검토자, 편집자, 편집자 및 독자들은 일반적이어야 한다. 우리는 "우리가 알고 있는 것을 의도적으로 아는 것"은 것이 어려울 수 있다는 것을 인정한다. 그리고 라벨을 붙이는 것은 때때로 불가능해 보일 수 있지만, 패러다임의 한계를 아는 것은 그것을 명확히 하는 것만큼 중요하다. 
There is little available in medical education literature about research papers articulating research paradigms. However, a review of experimental studies in medical education revealed that less half the articles examined contained an explicit statement of the conceptual framework used, leading to calls for medical education researchers to clearly state the conceptual framework they have used in their research.31,32 We are unable to comment on the number of overall medical education research papers containing explicit statements regarding paradigms stances, but we encourage all medical education researchers to clearly state not just their conceptual frameworks but also the research paradigm. Explicit statements of paradigm by postpositivist authors, for example, might influence the discourse around knowledge and the limitations of any one way of knowing. Researchers should also consider adding a statement of how they maintained axiology and discuss the praxeology of their research. Reviewers, editors, and readers need to evaluate the rigor of research, and clear statements by authors should be the norm. We acknowledge that it can be challenging to “intentionally know what we know,” and to articulate and label may at times seem impossible, but knowing the limits of our paradigm is as important as articulating it.33

좋은 품질의 연구는 패러다임, 방법론, 그리고 방법들을 다루고 그들 사이의 내부적인 일관성을 입증한다.1 이러한 가치론적 무결성은 연구 증거를 전달, 번역 또는 합성하는 데 가치를 유지할 수 있는 능력을 가지고 있다. 우리는 의학 교육 연구자들이 그들의 연구의 가치론적 무결성을 고려할 것을 권고한다. 연구자들은 시간이 지남에 따라 연구자의 기억, 성찰 및 관점을 위한 저장소 역할을 하기 위해 [성찰 저널]을 유지하는 것을 고려할 수 있다. 연구과정에 대한 메타인지적 성찰을 위한 저널 형태로 제공되는 공간은 성찰성 발달에 도움이 될 수 있다. 
Good-quality research attends to paradigm, methodology, and methods and demonstrates internal consistency between them.1 This axiological integrity then has the ability to retain values in transferring, translating, or synthesizing research evidence.34 We recommend that medical education researchers consider the axiological integrity of their research. Researchers can consider maintaining a reflexive journal to serve as a repository for their researcher’s memories, reflections, and perspective over time. The space provided in the form of a journal for metacognitive reflection on the research process can help in the development of reflexivity.35

결론적으로, 연구자들은 종종 특정한 연구 패러다임을 가지고 연구 질문들에 접근한다. [패러다임적 입장]은 질문의 유형과 선택 방법을 결정합니다. 비록 패러다임의 명확성이 중요하지만, 어떤 한 가지 입장도 인간 학습의 복잡한 현상의 모든 측면을 설명하는 것은 불가능하다는 것을 인식하는 것이 중요하다. 각 접근 방식에는 강점과 한계가 있습니다. 교육에서 가장 중요한 많은 이슈들은 다중 렌즈를 통해 탐구될 수 있다. 올해 RIME 프로그램의 연구는 연구자들이 다루는 질문의 다양한 패러다임을 보여준다. 렌즈의 다양성을 고려함으로써, 자신의 접근 방식의 한계와 향후 단계에 대한 가능성이 더 명확해진다. 이러한 깨달음은 우리의 연구에 겸손함을 가져다 주고 더 큰 가능성을 열어줍니다.
In conclusion, researchers often approach the questions that they investigate from a particular research paradigm. This stance determines the types of questions that can be asked and the methods that are chosen. Although paradigmatic clarity is important, it is important to recognize that no one view or approach is able to describe all aspects of the complex phenomena of human learning. Each approach will have its strengths and limitations. Many of the issues that are most important in education can be explored through multiple lenses. The studies from this year’s RIME program demonstrate a diversity of paradigms of the questions that researchers address—by considering the diversity of lenses, the limitations of one’s own approach and possibilities for future steps become more clear. This realization brings humility to our research and opens us up to greater possibilities.

혁신 - 의학교육원고의 핵심 특징 정의하기 (J Grad Med Educ. 2022)
Innovation—Defining Key Features for Medical Education Manuscripts
Arianne ‘‘Cuff’’ Baker, MD (@CuffBaker)
Halah Ibrahim, MD, MEHP (@HalahIbrahimMD)
Deborah Simpson, PhD (@debsimpson3)

이 개요의 출판에 앞서, 우리는 의학 교육에 관한 원고를 게재하는 50개 이상의 저널에 대한 저자 지침을 분석하였다.  범주 제목이나 저자 지침에서 새로운, 참신함, 혁신성, 혁신성 또는 첨단성과 같은 용어를 사용한 언어를 찾았습니다. 우리 결과요? 많은 저널이 저자 지침에서 혁신적이거나 참신한 용어를 사용했지만, 절반 미만이 혁신을 위한 특정 범주를 포함했으며 단어 한계, 구조 및 지침(표)에서 상당한 가변성을 보였다.
Prior to the publication of this overview, we analyzed the author instructions for more than 50 journals that publish manuscripts on medical education.4  We looked for any language in the category title or author instructions that used terms such as new, novel, innovation, innovative, or leading/cutting-edge. Our results? Although many journals used the terms innovative or novel in the author instructions, fewer than half included specific categories for innovation, with substantial variability in word limits, structure, and guidelines (Table).

의료 교육의 혁신 정의
Defining Innovation in Medical Education

모든 저널에서 일관되게 사용되는 혁신에 대한 공유된 이해를 갖는 것은 저자와 검토자가 원고를 평가할 때 지침을 줄 것이다. JGME(Journal of Graduate Medical Education)의 경우, [혁신]은 [실현 가능성] 및 [지속 가능성]을 포함하여 [성공 및 일반화 가능성]에 대한 데이터와 함께, 다른 [사람들이 관심]을 가질 수 있는, 대학원 의학 교육의 [기존 문제에 대한 새로운 해결책]을 제시한다. 새로운 아이디어는 화려함 그 이상이다. 그들은 다른 사람들이 현실적으로 채택할 수 있는 방법으로 실제 문제를 해결할 수 있는 잠재력을 가지고 있어야 한다.
Having a shared understanding of innovation, one that is consistently used across all journals, would guide authors and reviewers in their assessments of manuscripts. For the Journal of Graduate Medical Education (JGME), innovations present a new solution to an existing problem in graduate medical education, of interest to others, with data on success and generalizability, including feasibility and sustainability. New ideas are more than something flashy; they should have the potential to solve real problems in ways that others might realistically be able to adopt.

혁신은 새로운 인구 또는 환경에서 [기존 작업의 수정]만이 아니라, [문제 해결에 대한 새로운 아이디어 또는 접근 방식]을 입증해야 한다. 예를 들어, 새로운 의사소통 모델을 설명하는 피드백 기술은 참신할 수 있다. 동일한 기법에 대한 약간의 개선 또는 다른 훈련생 그룹(예: 레지던트 대 펠로우, 수술 대 내과 레지던트)과 함께 사용하는 것은 중요한 복제 연구일 수 있지만 더 이상 혁신이 아니다. 새로운 기술은 흥미로울 수 있지만, 프로젝트에서 그 역할이 단순히 이전의 논문 기반 작업을 복제하는 것이라면, 그것은 아마도 새로운 해결책을 나타내지 않을 것이다.

Innovations must demonstrate new ideas or approaches to solving a problem, not just modifications of previous work in a new population or environment. For example, a feedback technique that describes a new communication model may be novel. Slight improvements to the same technique, or using it with a different group of trainees (eg, residents vs fellows; surgery vs internal medicine residents), may be an important replication study, but it is no longer an innovation. A new technology may be exciting, but if its role in a project simply duplicates prior paper-based work, it probably does not represent a novel solution.

고품질 혁신 원고의 특징은 전형적인 연구 논문의 특징과 겹친다. 그들은 원래의 연구 논문들이 보통 큰 표본 크기, 엄격한 방법론, 표준 측정 기구, 그리고 통계 분석을 필요로 한다는 점에서 다르다. 교육 혁신은 더 작은 표본 크기, 단일 사이트 또는 특수 설정 또는 더 짧은 연구 시간으로 더 제한적인 결과를 가질 수 있다. 혁신 원고는 혁신이 어떻게 새로운 방식으로 문제를 해결하고, 이해관계자들에게 가치와 수용성을 보여주며, 실현 가능하고 지속 가능하며 다른 사람들과 관련이 있는지를 강조해야 한다.
The characteristics of high-quality innovation manuscripts overlap with those of typical research articles. They differ in that original research papers usually require large sample sizes, rigorous methodology, standard measurement instruments, and statistical analysis. Education innovations may have more limited outcomes with smaller sample sizes, single site or specialty settings, or shorter time of study. Innovation manuscripts should emphasize how the innovation solves a problem in a new way, shows value and acceptability to stakeholders, and is feasible, sustainable, and relevant to others.

우리의 분석에 기초하여, 우리는 의료 교육 관련 혁신 원고의 작성과 검토에서 고려해야 할 6가지 공통 특징을 제안한다(그림 참조).
Based on our analysis, we propose 6 common features to be considered in the writing and reviewing of any medical education–related innovation manuscript (see the Figure).

혁신원고 작성 및 검토에 관한 연구
An Approach to Writing and Reviewing Innovation Manuscripts

J Grad Med Educ. 2022 Apr;14(2):133-135. doi: 10.4300/JGME-D-22-00071.1. Epub 2022 Apr 14.

Innovation-Defining Key Features for Medical Education Manuscripts

PMID: 35463170

PMCID: PMC9017250 (available on 2023-04-01)

DOI: 10.4300/JGME-D-22-00071.1

의학교육연구자의 연구 패러다임 선택 가이드: 더 나은 연구를 위한 기반 만들기(Med Sci Educ. 2019)
A Medical Science Educator’s Guide to Selecting a Research Paradigm: Building a Basis for Better Research 
Megan E.L. Brown1 & Angelique N. Dueñas1

서론
Introduction

최근 의학 교육 내에서 방법론적 엄격성을 높이는 움직임이 있었다[1, 2]. 많은 학자들은 "학문적 정당성"을 달성하기 위해서는 [3] 강력한 이론적 틀[4,5]이 작품 내에서 지식의 본질에 관한 논의에 참여하는 것이 필요하다고 주장한다[6]. 간단히 말해서, 명확한 연구 원칙은 다른 사람들이 당신의 연구를 이해하는 데 도움이 됩니다.
There has been a recent movement within medical education towards greater methodological rigor [1, 2]. Many scholars argue that in order to achieve “academic legitimacy” [3] strong theoretical frameworks [4, 5] engaging in discussion concerning the nature of knowledge within a piece of work are required [6]. Put simply, clear research principles assist others in understanding your research.

연구 프로젝트의 패러다임 내에서 작품 내 지식의 본질을 상세히 설명하고 탐구한다. [연구 패러다임]은 "문제를 어떻게 이해하고 다루어야 하는지에 대해 과학자들 간에 공유되는 공통의 믿음과 합의의 집합"으로 정의될 수 있다[7]. 패러다임은 사물이 어떻게 작동하는지에 대한 가정이며, 때때로 "현실에 대한 공유된 이해"를 포함하는 "세계관"으로 설명된다[8, 9]. 패러다임은 "문제 해결 방법을 안내"하고, 작가의 방법 선택에 직접적인 영향을 미치기 때문에 자신의 연구 패러다임을 상세히 설명하는 것이 필수적이다[10]. 모든 연구자들은 연구를 시작하기 전에 [세계의 상태에 대한 가정]을 한다. 그 연구가 양적인지 질적인지에 관계없이, 이러한 가정은 연구 결과의 해석에 영향을 미치기 때문에 중요하다. 미트로프와 보노마는 이러한 입장을 요약하고 "실험의 힘은 그 기초가 되는 기본 가정의 명확성만큼만 강력하다. 이러한 가정은 실험실 실험뿐만 아니라 사회적 연구에도 기초를 두고 있습니다."라고 말했다 [11]. 패러다임은 또한 현상을 관찰할 때 이론의 적용을 위한 [기본 규칙ground rules을 설정]하는 데 도움이 된다. 이러한 기본 규칙은 연구를 위한 "상황을 설정set the scene"하여 새로운 개념을 가장 잘 평가하는 방법에 대한 정보를 제공한다[7].
The nature of knowledge within a piece of work is detailed and explored within a research project’s paradigm. A research paradigm may be defined as “the set of common beliefs and agreements shared between scientists about how problems should be understood and addressed” [7]. A paradigm is an assumption about how things work, sometimes illustrated as a “worldview” involving “shared understandings of reality” [8, 9]. Detailing one’s research paradigm is essential, as paradigms “guide how problems are solved” [10], and directly influence an author’s choice of methods. All researchers make assumptions about the state of the world before undertaking research. Regardless of whether that research is quantitative or qualitative, these assumptions are important as they impact upon the interpretation of a study’s results. Mitroff and Bonoma summarize this position and put forth “the power of an experiment is only as strong as the clarity of the basic assumptions which underlie it. Such assumptions not only underlie laboratory experimentation but social… research as well” [11]. Paradigms also assist in setting ground rules for the application of theory when observing phenomena. Such ground rules “set the scene” for research, providing information as to how best evaluate new concepts [7].

그 결과, 의학 및 보건 전문직 교육은 전통적으로 실증주의 또는 포스트 실증주의 패러다임에서 수행되어 왔으며, 이 두 패러다임 모두 [보편적인 진리가 존재함]을 유지하며, "의학에서는 신체 부위, 상태 및 치료에 대한 강조하는 것은, 보편적으로 일정하게 복제 가능한 팩트가 있음을 가정한다." [12] 이러한 신념이 지배적이라는 점을 감안할 때, 의학 교육 내에서는 패러다임적 가정을 명시적으로 상술하는 문학이 상대적으로 부족했다. 이것은 연구 및 강의실 모두에서 결과 해석과 기본 규칙 설정에 있어 가정이 수행하는 중요한 역할을 점점 더 널리 인식하면서 변화하고 있다[13, 14]. 이처럼 자신의 패러다임을 명시적으로 인정하는 것이 의료과학교육 연구의 기대 요소가 되고 있다.
Medicine and, as a consequence, health professions education, has traditionally been conducted from a positivist or post-positivist paradigm, detailed later in this paper, both of which maintain a universal truth exists, as, “in medicine, the emphasis on… body parts, conditions and treatments assumes that these are universally constant replicable facts” [12]. Given the dominance of this belief, there has been a relative dearth of literature within medical sciences education explicitly detailing paradigmatic assumptions. This is changing, with an increasingly widespread recognition of the important role assumptions play in result interpretation and in setting ground rules, both in research and in classrooms [13, 14]. As such, explicitly acknowledging one’s paradigm is becoming an expected element of medical science education research.

연구의 패러다임을 자세히 설명하기 위해서는 패러다임이 무엇으로 구성되어 있는지를 고려하는 것이 중요하다. 작품의 패러다임은 그림 1에 자세히 나와 있는 여러 개의 "구성 요소"로 구성되어 있다. 이러한 구성 요소들의 첫 번째 집합(축론, 존재론, 인식론, 방법론)은 자신의 방법을 선택하는 것과 같은 "직접적인 사고와 행동"이라는 철학적 가정으로 구성된다[16].
In order to detail your work’s paradigm, it is important to consider what a paradigm consists of. The paradigm of a piece of work is constructed of several “building blocks,” detailed in Fig. 1. The first set of these building blocks (axiology, ontology, epistemology, methodology) are composed of philosophical assumptions that “direct thinking and action” such as selecting one’s methods [16].

프로젝트 패러다임 구축의 첫 번째 "벽돌"인 가치론Axiology는 가치와 윤리에 대한 연구를 포함합니다 [17]. 연구할 가치가 있는 영역이 확인되고 연구 윤리가 고려되면 "현실의 본질"에 대한 질문인 존재론Ontology가 고려되어야 한다[3]. 일단 당신이 당신의 연구 영역의 현실에 대한 확고한 철학적 이해를 가지고 있다면, [그 현실 안에 있는 지식의 본질]은 결정할 필요가 있다. —이것은 인식론epistemology이라고 알려져 있다.
Axiology, the first “brick” in the construction of a project’s paradigm involves the study of value and ethics [17]. Once an area of value to study has been identified, and research ethics considered, ontology, which questions “the nature of reality” [3] must be contemplated. Once you possess a firm philosophical understanding of your study area’s reality, the nature of knowledge within that reality needs determining—this is known as the epistemology of a piece of work.

작품의 존재론와 인식론에 대한 솔직한 논의를 통해 적절한 방법론Methodology적 접근법을 선택할 수 있고 결과 해석을 둘러싼 모호성을 줄일 수 있다[18]. 그러한 규정regulation이 없으면 "가정의 기본 맥락"이 불분명하기 때문에 "세심하게 수집된 결과도 오해를 일으킬 수 있다" [19]. 이 모노그래프는 의학 교육 연구에 적합한 패러다임을 선택하기 위한 방법 가이드를 구성하는 일련의 고려 사항을 자세히 설명합니다.
Frank discussion of a work’s ontology and epistemology allows an appropriate methodological approach to be selected and reduces the ambiguity surrounding result interpretation [18]. Without such regulation “even carefully collected results can be misleading” as the “underlying context of assumptions” is unclear [19]. This monograph will detail a series of considerations, forming a how-to guide, for selecting an appropriate paradigm for your medical sciences education research.

연구를 수행하는 이유에 대해 생각해 보세요.
Think About your Reason for Carrying Out the Research

이는 너무나도 당연한 고려사항으로 보일 수 있지만, 의학교육 연구 내에서 의식적으로 반영되지 않는 경우가 많은 분야이다. 이 주제를 공부하게 된 동기가 무엇입니까? 당신은 실질적으로, 학문적으로, 또는 정치적으로 동기부여를 받은 적이 있습니까? 다시 말해,

• 여러분이 일상 업무에서 깨달은 것이 더 많은 공부가 필요한 것일까요? 
• 당신은 단순히 더 많은 것을 알고 싶은 걸까요?
• 당신이나 다른 사람들이 관심이 있는 정치적인 "핫 토픽"이 있는가?

This may seem like an obvious consideration, but it is an area that is often not consciously reflected upon within medical science education research. What is your motivation to study this topic? Have you been practically, academically, or politically motivated? In other words,

• is it something you have noticed in your day to day work that requires further study;
• are you simply passionate to know more; or
• is there a political “hot topic” you or others are interested in researching?

여러분의 동기에 대한 여러분의 초기 생각을 바탕으로, 여러분이 정말로 성취하려고 하는 것에 대해 더 깊이 반성하도록 노력하세요. Chilisa는 표 1 [23]에서 볼 수 있듯이 연구를 수행하는 다양한 패러다임적 이유를 비교합니다. 연구를 하는 당신 자신의 이유를 생각하고 이것을 칠리사의 이유와 비교하는 것은 어떤 패러다임이 당신의 연구에 적합한 선택일 수 있는지를 비추기 위한 시작이 되어야 한다.
Building upon your initial thoughts regarding your motivation, try to reflect more deeply regarding what you are really trying to achieve. Chilisa compares different paradigmatic reasons for doing research, as can be seen in Table 1 [23]. Thinking of your own reason for doing research and comparing this with Chilisa’s reasons should begin to cast light on which paradigm may be an appropriate choice for your research.

온톨로지적 가정 반영
Reflect upon your Ontological Assumptions

비록 우리가 그것들을 명시적으로 고려하거나 자세히 설명하지 않더라도, 우리는 모두 [존재론적 가정]을 가지고 있다. 그것들을 되돌아보면 [현실의 본질에 대한 자신의 신념]에 따라 패러다임을 선택할 수 있다[3]. 현실은 당신이 연구를 수행하기를 원하는 사회 세계를 의미합니다 [22].
We all hold ontological assumptions, even if we do not explicitly consider or detail them. Reflecting upon them allows you to choose a paradigm in keeping with your beliefs regarding the nature of reality [3]. Reality refers to the social world in which you wish to conduct your research [22].

다른 패러다임은 현실의 본질을 정의하기 위해 다른 접근 방식을 채택한다. 일부 학자들은 최근 몇 년 동안 사회과학 내에서 새로운 패러다임을 정의하려고 시도하기도 한다[30]. 이를 감안할 때, 사용 가능한 모든 패러다임의 온톨로지를 자세히 설명하는 것은 이 기사의 범위를 벗어난다. 그 대신 일반적으로 의학 교육[3]에서 가장 일반적으로 사용되는 네 가지 패러다임, 즉 실증주의, 후기 실증주의, 구성주의/해석주의, 비판론에 초점을 맞추겠다.
Different paradigms adopt different approaches to defining the nature of reality. There are many paradigms research may operate within, with some scholars even attempting to define new, albeit contested, paradigms within the social sciences in recent years [30]. Given this, detailing the ontology of every available paradigm is beyond the scope of this article. Instead, we will focus upon the four paradigms most commonly used within general medical education [3]: positivism, post-positivism, constructivism/interpretivism, and critical theory.

존재론적 가정을 평가하기 위해 스스로에게 질문하세요: 당신은 "확인할 수 있는 하나의 현실"이 있다고 믿습니까, 아니면 "여러 사회적으로 구성된 현실"이 존재한다고 믿습니까? [21, 31] 

• 전자의 입장은 "현실주의" 온톨로지적 입장으로 불리며, 
• 후자의 입장은 "반현실주의" 또는 "상대주의"로 알려져 있다[32]. 

넓게 보면, 의학 교육에서 가장 일반적으로 사용되는 네 가지 패러다임은 이 두 가지 범주 중 하나에 속하지만, 표 2에 자세히 설명된 바와 같이, 그들의 입장을 구성하는 방법에는 차이가 있다.
To assess your ontological assumptions, ask yourself this: do you believe there is “one verifiable reality,” or that “multiple socially constructed realities” exist? [21, 31]

• The former stance is sometimes referred to as a “realist” ontological position,
• with the latter stance known as “anti-realism” or “relativism” [32].

Broadly speaking, the four paradigms most commonly used within medical education fall into either of these two categories, but there are differences in how they frame their position, detailed in Table 2.

당신의 인식론적 가정을 반성하라.
Reflect upon your Epistemological Assumptions

일단 당신이 [현실의 본질에 대한 당신의 가정]을 인식한다면, [지식의 본질에 대한 당신의 인식론적 가정]을 성찰하는 것은 필요하다. 당신의 연구 인식론을 고려할 때, "세상 내에서 지식으로 간주되는 것"에 대해 숙고하는 것이 유용할 수 있다[40]. 인식론은 두 가지 질문에 답하고자 합니다.

• 첫째, 지식이란 무엇인가,
• 둘째, 지식은 어떻게 획득되는가? [41].

Once you are aware of your assumptions regarding the nature of reality, reflecting upon your epistemological assumptions regarding the nature of knowledge is necessary. When considering your research epistemology, it may be useful to reflect upon “what counts as knowledge within the world” [40]. Epistemology seeks to answer two questions—

• one, what is knowledge, and
• two, how is knowledge acquired? [41].

실증주의, 후기 실증주의, 구성주의, 비판론의 인식론적 접근은 다르다. 이러한 내용은 표 3에 요약되어 있습니다.
Again, the epistemological approaches of positivism, post-positivism, constructivism, and critical theory differ. These are outlined within Table 3.

적절한 데이터 수집 방법을 선택하려면 방법론을 검토하십시오.
Examine your Methodology in Order to Select an Appropriate Data Gathering Technique

[방법론]과 [방법]은 별개의 개념으로 간주되어야 할 때 초보 연구자에 의해 상호 교환적으로 사용되는 경우가 너무 많다[47].

• [방법론]은 지식을 습득하기 위한 전략 또는 전체 계획이며,
• [방법]은 데이터를 수집하고 분석하는 데 사용되는 실제 기법이다[33].

Too often, methodology and methods are used interchangeably by novice researchers, when they should be regarded as distinct concepts [47].

• Methodology is the strategy or overall plan to acquire knowledge, and
• methods are the actual techniques used to gather and analyze data [33].

예를 들어, 의료 환경에서 전문성 간 조사에 관심이 있는 연구팀은 [현실은 개인에 의해 주관적으로 구성된다]고 믿는 [구성주의 패러다임]과 가장 일치할 수 있다.

• 이 팀은 적절한 [방법론]은 [민족지학]이라고 생각할 수 있다.
• 그러나 실제 연구 [방법]은 [현장 기록, 오디오 또는 비디오 녹화 또는 정성적 인터뷰]를 통한 다양한 관찰일 수 있다[48].

이러한 방법은 방법론과 일치하지만, 방법의 최종 선택은 패러다임 고려 사항 외에도 그러한 [기술의 실용성]과도 크게 연관될 수 있다.
For example, a research team interested in examining interprofessionalism in a healthcare setting may identify most with a constructivist paradigm, believing reality is subjectively constructed by individuals.

• Such a team might consider ethnography to be an appropriate methodology.
• But the actual research methods they undertake might be a variety of observations with field notes, audio or video recordings, or qualitative interviews [48].

These methods align with the methodology, although eventual selection of methods may also be highly associated with the practicality of such techniques, in addition to paradigm considerations.

위의 섹션에서는 연구 프로젝트 패러다임의 "구성 요소"에 대한 개요를 제공했습니다. 참조의 용이성을 위해, 이러한 구성 요소는 의학 교육에서 사용되는 4가지 주요 패러다임에 대해 그림 2에 요약되어 있습니다 [30, 36, 49, 50].
The above sections have provided an overview of the “building blocks” of a research project’s paradigm. For ease of reference, these building blocks are summarized for the four main paradigms used within medical science education, in Fig. 2 [30, 36, 49, 50].

철학에서 실용으로 전환
Move from Philosophy to Practicality

의료 교육의 일상적인 측면에 관련된 사람들에게, 연구의 철학적 토대를 둘러싸고 생각나는 첫 번째 질문 중 하나는 [이것이 어떻게 제 일에 실질적으로 적용될 수 있는가]하는 것입니다. 철저하게 논의된 바와 같이 엄격성과 이해도를 향상시키는 것 외에도 [연구의 실용적인 측면에 접근하는 두 가지 핵심 방법]이 있다. : 전 그리고 후
For those involved in the day-to-day aspects of healthcare teaching, many times one of the first questions that comes to mind around the philosophical underpinnings of research is: how can this be practically applied to my work? Beyond improving rigor and understanding, as thoroughly discussed, there are two key ways to approach the practical side of research: from the before and the after.

의학 교육자로서 직면하는 실제적인 문제와 질문을 고려한다면, 다른 방식으로 문제에 접근하기 위해 어떻게 다른 패러다임이 사용될 수 있는지를 고려하는 것은 패러다임을 고려하는 실용적인 "전before" 방법이다. 실제 문제가 패러다임 정보에 입각한 관점에서 접근될 수 있는 방법을 설명하기 위해 그림 3에 몇 가지 예를 포함시켰다. 일부 다양한 실제 사례의 경우, 다른 교육 수준에서, 우리는 자연스럽게 다른 패러다임과 일치할 수 있는 연구 접근법의 몇 가지 다른 예를 제공했습니다.
Considering the practical problems and questions you face as a medical sciences educator, then considering how different paradigms could be used to approach problems in different ways, is a practical “before” way to consider paradigms. To elucidate the ways in which real-world problems can be approached from a paradigm-informed perspective, we’ve included some examples in Fig. 3. For somevarious real-world examples, at different educational levels, we have provided some different examples of research approaches, that would naturally align with different paradigms.

["After" 연구 관점]에서, 프락세오로지(praxoology)는 당신이 성찰해야 하는 마지막 '-론 (-ology)'이다. 연구로부터 종종 발생하는 보다 실용적인 권고사항과 관련하여, 프랙세오로지(praxoology)는 [인간의 행동을 이해하는 것]뿐만 아니라, [의미 있는 방식으로 해석하는 것]에 관심이 있다[45]. 만약 당신의 연구가 "지식"에 기여했다면, 이것은 [의학 교육자로서 당신의 일상적인 역할]에 무엇을 의미합니까? 이렇게 하면 연구 과정 이후에 실용성도 중요해질 수 있다. 그림 2의 중간 수준의 예를 이용하여, 구성주의 접근법에서 연구를 완료했다면, [가상 조직학 실험실]의 [셀프-가이드 방법]이 유익한 학습 환경으로 이어지지 않는다는 것을 발견했을 수 있다. 이로 인해 가상 조직학 리소스와 함께 사용할 [비디오 가이드]를 만들기로 결정하게 될 수 있습니다. 따라서 학생들은 처음에 학습을 안내하는 강사 주도 예제를 사용할 수 있습니다.
From the “after” research perspective, praxeology is the last -ology you may wish to reflect upon. Concerned with the more practical recommendations that often arise from research, praxeology is concerned with not just understanding human actions, but interpreting them in meaningful ways [45]. If your research has contributed to “knowledge,” what does this mean for your day-to-day role as a medical sciences educator? In this way, practicality can be also important after the research process. Using the mid-level example from Fig. 2, if you completed research from a constructivist approach, you may have discovered that self-guided methods in virtual histology labs was not leading to a conducive learning environment. This may lead to your decision to create video guides to accompany virtual histology resources, so students have instructor-led examples to initially guide their learning.

패러다임에 실질적으로 접근하는 위의 방법들 외에도, 연구자들은 [실용주의pragmatism]의 실용적인 패러다임을 고려하기를 원할 수 있다. [실용주의]는 연구 결과에 초점을 맞추고, 따라서 인식론이나 존재론을 고려하는 데 가치를 두지 않는다. 대신, 실용주의는 문제를 이해하고 해결하는 데 가장 효과적인 것에 초점을 맞추려고 노력한다[57]. 실용주의자들은 특정 연구 질문에 답하기 위해 [실제로 가장 잘 작동하는 방법]에 의존하며, 단순히 패러다임 정렬이 아닌 [선택된 접근 방식의 실용성]에 가장 중점을 둔다[58]. 그러나 실용주의는 ["진정한" 패러다임]이라기보다는 [접근법]에 가깝다는 견해가 있다. 결과적으로, 본 연구는 다른 공통 패러다임을 가지고 있기 때문에 실용주의를 자세히 탐구하지 않았다[30].
In addition to the above ways of practically approaching paradigms, researchers may also wish to contemplate the practical paradigm of pragmatism. Pragmatism focuses on research outcomes and, as such, does not place value on considering either epistemology or ontology. Instead, pragmatism strives to focus on what works best for understanding and solving problems [57]. Pragmatists rely on the methods that work best in practice to answer specific research questions, focusing most heavily on the practicalities of the chosen approach, not just paradigmatic alignment [58]. However, it is the view of some that pragmatism should be viewed as more of an approach, rather than a “true” paradigm. Consequently, the present work has not explored pragmatism in detail as it has other common paradigms [30].

A Medical Science Educator's Guide to Selecting a Research Paradigm: Building a Basis for Better Research

PMID: 34457699

PMCID: PMC8368685

DOI: 10.1007/s40670-019-00898-9

Free PMC article

© The Author(s) 2019.

의학교육연구실의 목적, 설계, 전망 (Acad Med, 2022)
The Purpose, Design, and Promise of Medical Education Research Labs
Michael A. Gisondi, MD, Sarah Michael, DO, MS, Simiao Li-Sauerwine, MD, MSCR, Victoria Brazil, MD, MBA, Holly A. Caretta-Weyer, MD, MHPE, Barry Issenberg, MD, Jonathan Giordano, DO, MEd, Matthew Lineberry, PhD, Adriana Segura Olson, MD, MAEd, John C. Burkhardt, MD, PhD, and Teresa M. Chan, MD, MHPE

의학 교육 연구원들과 임상의 교육자들은 장학금, 교육 기법의 개선, 그리고 직접 가르침을 통해 건강 관리의 미래를 이끈다. 그러나 역사적으로 학문적 승진academic promotion은 학습자를 교육하는 데 성공적이지 않고, 연구 생산성에만 국한되어 왔다. 의학 교육 연구자들이 새로운 지식을 발굴하고 의미 있는 학술적 결과를 만들어내지만, 학계에서는 자신의 연구를 연구로 인정하지 못하는 경우가 많은 것이 우리의 경험이었다. 이러한 편견은 의료교육 연구 경력을 추구하는 개인에 대한 제도적 지원과 승진 가능성에 부정적인 영향을 미친다. 
Medical education researchers and clinician educators steer the future of health care through scholarship, refinement of educational techniques, and direct teaching. 1,2 However, academic promotion has historically been tied to research productivity alone and not success in educating learners. Though medical education researchers discover new knowledge and create meaningful scholarship, it has been our experience that many in academia fail to recognize their work as research. This bias negatively affects institutional support and the likelihood of promotion for individuals pursuing medical education research careers.

실제로 교육 연구자는 작업 본체를 생산하는 뚜렷하고 잘 확립된 연구 방법을 사용하나, 이는 생물 과학자의 연구와는 다르다(예: 교육 연구자는 백신 흡수를 옹호하는 교육자의 능력을 연구할 수 있지만 생물 과학자는 환자에 의한 백신 채택률을 연구할 수 있다). 3 불행하게도, 기초 과학과 임상 연구자들이 종종 더 나은 자금, 자원 및 존경을 받는 학교에서, 교육 연구는 저평가되고 있다. 웹사이트와 보조금 개요를 검토하면서, 우리는 국립 보건원 상과 같은 교외 연구비의 격차가 생물 과학자들에게 크게 유리하고, 교육 연구 보조금은 간접 비용을 거의 보상하지 않는다는 것을 발견했다. 실제로, 우리는 의료 교육 연구원들이 종종 일관되지 않은 자금 조달 메커니즘과 그들의 기관에서 매우 소수의 명백한 멘토들을 남겨둔다는 것을 발견했다.

In reality, education researchers employ distinct, well-established study methods that produce bodies of work unlike those of bioscientists (e.g., an education researcher might study trainees’ abilities to advocate for vaccine uptake, while a bioscientist might study rates of vaccine adoption by patients) but that are no less rigorous. 3 Unfortunately, education research is undervalued at schools where basic science and clinical investigators are often better funded, resourced, and respected. 4,5 In reviewing websites and grant outlines, we have found that disparities in extramural funding, such as National Institutes of Health awards, greatly favor bioscientists, and education research grants rarely cover indirect costs. In effect, we have found find that medical education researchers are often left with inconsistent funding mechanisms and few obvious mentors at their institutions.

[연구실Research labs]은 개별 연구자의 커리어를 지원하기 위한 유용한 프레임워크를 제공하지만, 우리는 그것들이 의학 교육에서 상대적으로 드물다고 믿는다. 우리는 [연구실Research labs]을 [특정 조건이나 문제를 연구하는 단일 또는 복수의 PI(주요 조사자)가 이끄는 부서 또는 기관 내의 별개의 연구팀으로 정의]한다. 그들은 종종 부서나 학교를 넘나들며 많은 조사원으로 구성된 [연구 센터, 협력체 또는 네트워크]보다는 작다. [연구실]은 PI가 연구를 수행하고, 강력한 지원 팀을 이끌고, 학생들을 훈련시키는 것을 돕기 위해 구성될 수 있다. 의학 교육 연구자들은 [연구실 모델]을 폭넓게 채택하지 않아왔으며, 대신 의학 교육 부서, 보건 전문 장학 단체 또는 다른 연구 기업과 같은 다양한 종류의 협력적 구성에 배치한다. 우리의 의견으로는, 이러한 조직 스펙트럼은 특정 기관의 문화적 압력과 자금 부족, 협력자, 연구 주제 및 부서 지원과 같은 현장의 공통적인 도전에서 비롯된다.  우리는 [교육 연구실]이 이러한 장벽을 극복하고, 연구를 촉진하고, 교육 프로그램을 강화하고, 과외 자금 지원을 위해 경쟁하기 위해 부서 내에서 의도적으로 설계될 수 있다고 믿는다.
Research labs provide a useful framework to support the careers of individual investigators, yet we believe they are relatively rare in medical education. We define a lab as a distinct research team within a department or institution that is led by a single or multiple principal investigators (PIs) who study specific conditions or problems. They are smaller than research centers, collaboratives, or networks, which often cross departments or schools and are composed of many investigators. Labs can be constructed to help a PI conduct their research, lead a robust supporting team, and train students. Medical education researchers have not broadly adopted the lab model, instead arranging themselves in different kinds of collaborative configurations, such as departments of medical education, health professions scholarship units, or other research enterprises. 6–9 In our opinion, this organizational spectrum results from cultural pressures at certain institutions and common challenges in the field, such as a lack of funding, collaborators, study subjects, and departmental support. 10 We believe that education research labs can be deliberately designed within departments by established investigators to overcome these barriers, catalyze research, enhance training programs, and compete for extramural funding.

본 논문에서는 [의료 교육 연구실]의 조직과 임무를 [연구 센터, 협력체 및 네트워크]와 같은 다른 더 큰 구조와 비교하여 설명한다. 우리는 또한 교육 연구실의 몇 가지 핵심 요소에 대해 논의한다. 의학 교육에 있어 상대적으로 참신함을 감안할 때, 우리는 자체 실험실 창설을 고려하고 있는 다른 교육 연구자들에 의해 고려될 수 있도록 연구실 구조를 강조한다.
In this article, we describe the organization and missions of medical education research labs as compared with other larger structures, such as research centers, collaboratives, and networks. We also discuss several key elements of education research labs. Given its relative novelty in medical education, we highlight the research lab construct for consideration by other education researchers who may be contemplating starting up labs of their own.

사례 예제
Case Examples

우리 저자 그룹은 조직, 규모,  또는 목적이 다른 팀을 이끄는 의학 교육 연구원으로 구성되어 있습니다. 우리는 기존의 전문적인 관계를 통해 편리하고 비공식적으로 모였습니다. 그들 사이의 차이점을 비교하기 위해, 우리는 각각 우리 팀 구조의 상세한 사례 예시를 제공했다. 우리는 조직 구조, 1차 연구 강조, 자금 조달 메커니즘, 기관 지원, 교육자 영향 및 성공에 대한 장벽을 포함하여 우리 팀의 정의 특성을 설명했습니다. 우리 중 몇 명(M.A.G., S.M., J.C.B., T.M.C.)은 설명을 검토하고 공통 특성에 따라 팀을 그룹화하고 다음과 같은 5가지 공통 유형의 연구 팀 구조를 만들었습니다.

• 단일 PI 연구소(단일 PI 리드가 있는 연구소)
  
• 여러 PI 연구소(일반적으로 같은 부서 내에 있는 소규모 PI 그룹이 이끄는 연구소)
  
• 연구 센터(여러 부서를 넘나들면서 해당 기관에서 여러 명의 연구자를 통합하는 대규모 단일 조직 기관. 이를 연구기관이라고도 할 수 있다.
  
• 연구 협력체(많은 기관에서, 그리고 많은 부서에서 온 대규모의 비기관 조사자 그룹)
  
• 연구 네트워크(많은 기관에 걸쳐 있는 연구자들의 느슨한 연합)

Our author group is composed of medical education researchers who lead teams that differ in organization, size, and/or purpose. We were conveniently and informally assembled through existing professional relationships. To compare the differences among them, we each provided detailed case examples of our team structures. We described the defining characteristics of our teams including the organizational structure, primary research emphasis, funding mechanisms, institutional supports, trainee impacts, and/or barriers to success. A few of us (M.A.G., S.M., J.C.B., T.M.C.) then reviewed the descriptions, grouped the teams based on common characteristics, and created 5 common typologies of research team structures:

• single PI labs (labs with a single PI lead),
• multiple PI labs (labs led by small groups of PIs, who are generally within the same department),
• research centers (large, single-institution entities that cross departments but aggregate multiple investigators at the institution; these may also be called research institutes),
• research collaboratives (large, noninstitutional groups of investigators who come from many institutions and may also come from many departments), and
• research networks (loose associations of investigators across many institutions).

우리의 명명법은 [labs]라는 용어가 대규모 연구 센터, 협력체 및 네트워크와 구별되는 [단일 PI 또는 여러 PI 랩]을 지칭한다는 것이다. 도표 1과 그림 1은 이러한 의료 교육 연구 구조에 대한 개요를 제공한다. 우리는 아래의 다양한 구조를 간단한 예와 함께 설명하고 보충 디지털 부록 1의 각 연구 팀 구조에 대한 완벽한 사례 설명을 제공한다.
Our nomenclature is that the term labs refers to single PI or multiple PI labs, distinct from larger research centers, collaboratives, and networks. Chart 1 and Figure 1 provide an overview of these medical education research structures. We describe the different structures below with brief examples and provide complete case descriptions for each research team structure in Supplemental Digital Appendix 1 (at https://links.lww.com/ACADMED/B274).

단일 PI 연구소
Single PI labs

전통적인 기초과학 연구소와 유사하게, 이들 유닛은 [인프라를 유지하는 단일 PI]에 의존하여 연구 및 교육생을 지원한다. 성공적인 단일 PI 모델의 이점은 일반적으로 [명확한 연구 의제]와 [지속적인 연구비 지원]을 포함한다. 한계로는 개인 PI가 자체 자금을 계속 지원해야 한다는 압박과 연구소를 떠날 경우 연구소가 문을 닫을 가능성이 포함됩니다. 미시간 대학의 의학 교육의 Burkhardt 정책 분석, 연구 및 혁신(PRIME) 컬렉션은 단일 PI 연구소의 한 예이다. 이는 PI의 연구 활동을 그의 전반적인 목표와 일치시켜 의학교육의 정책분석, 연구, 혁신을 연구하고 잠재적인 멘티 및 협력자에 대한 그의 가시성을 높이려는 욕망에서 비롯되었다. 그것의 연구 의제는 "의학과 전문 교육의 힘을 더 큰 공공의 이익을 위해 활용하는 것"이다. 

Similar to traditional basic science labs, these units rely on a single PI who maintains the infrastructure to conduct research and support trainees. Benefits of a successful single PI model generally include a clear research agenda and sustained grant funding. Challenges include the pressure on that individual PI to continue self-funding and a likelihood that the lab would close if they left the institution. The Burkhardt Policy Analysis, Research, and Innovation in Medical Education (PRIME) Collective at the University of Michigan is an example of a single PI lab. It stemmed from a desire to align the PI’s research activities with his overall goals to study policy analysis, research, and innovation in medical education and to increase his visibility to potential mentees and collaborators. Its research agenda is “to leverage the power of medical and professional education for the greater public good.” 11

여러 PI 랩
Multiple PI labs

이러한 연구소는 동일한 기관 및 일반적으로 [동일한 부서 내에서 공통의 연구 의제를 가진 소규모 PI 그룹]에 의해 주도됩니다. 연구실 내의 각 PI가 보조금을 시작하고 보유할 수 있기 때문에 그들은 [책임을 공유]하고 [재정적 탄력성을 증가]시켰다. 잠재적 어려움으로는 [연구 이니셔티브와 프로젝트 선정을 둘러싼 집단 갈등의 가능성]이 포함된다. Stanford University의 Precision Education and Assessment Research Lab(Pearl)과 Houston의 Texas University Health Science Center의 Texas Emergency Medicine Research Center는 여러 PI Lab의 두 가지 예입니다. PEARL은 서로 보완하고 다양한 관심사를 가진 연습생들의 멘토링을 가능하게 하는 독특한 기술과 배경을 가진 3명의 연구자가 지휘한다. 그것의 임무는 "의사를 위한 훈련을 개인화하는 최선의 방법을 연구함으로써 의학 교육의 정밀도를 정의하는 것"이다.  텍사스 응급 의학 연구 센터는 학습자를 교육하기 위한 기술 적용에 대해 비슷한 열정을 공유하는 두 명의 PI에 의해 만들어졌습니다. 그것의 연구 목표는 혁신적인 의료 교육 도구의 개발, 구현 및 영향을 측정하는 것이다.  
These labs are led by a small group of PIs with a common research agenda at the same institution and generally within the same department. They have shared accountability and increased financial resilience, since each PI within the lab can initiate and hold grants. Challenges include the potential for group conflict surrounding research initiatives and selecting projects. The Precision Education and Assessment Research Lab (PEARL) at Stanford University and the Texas Emergency Medicine Research Center at the University of Texas Health Science Center at Houston are 2 examples of multiple PI labs. 12,13 PEARL is directed by 3 researchers with unique skills and backgrounds that complement one another and allow for the mentorship of trainees with diverse interests. Its mission is to “define precision in medical education by studying the best ways to individualize training for physicians [… to] optimize assessment methods to promote learning and [to] leverage technology to reimagine health professions education.” 12 The Texas Emergency Medicine Research Center was created by 2 PIs who share a similar passion for the application of technology to educate learners. Its research goals are to develop, implement, and measure the impact of innovative medical education tools. 13

연구소
Research centers

때때로 [연구 기관]이라고 불리는 이 그룹들은, [공통의 연구 의제를 공유하며, 여러 부서에 걸쳐 여러 명의 연구자를 지원하는, 기관 수준의 enterprises]이다. 연구소의 설립은 일반적으로 특정 조직 요건을 갖춘 [매우 형식적인 제도적 노력]이다. 그들은 보통 원활한 창업을 보장하기 위해 기부자 자금 또는 중앙 자금 지원을 받지만 장기적인 유지를 위해 상당한 지원이 필요하다. 몇몇은 학위를 수여할 수 있는 능력을 가지고 있거나 그들 자신의 내부 계층이나 승진 과정을 가지고 있다. 우리는 이 연구팀 설계의 3가지 예를 제시합니다.

• Gordon Center for Simulation and Innovation in Medical Education은 학습 및 평가를 위한 혁신 기술의 개발과 평가를 연구하기 위해 마이애미 대학교 우수 센터로 설립되었다. 고든 센터는 연방 보조금과 비연방 보조금을 조합하여 자체 자금을 지원하고 있으며, 최소 50%의 노력을 연구에 바치는 4명의 전임 PI를 보유하고 있다.
• 다음으로, 맥마스터 교육 연구, 혁신 및 이론(MERIT) 프로그램은 원래 맥마스터 대학이 문제 기반 학습 커리큘럼을 설계할 때 지원하는 다중 PI 연구실이었다. 최근 MERITE는 의학 교육 연구에서도 견습생을 지원하는 연구 센터로 발전했다.
• 마지막으로, 캔자스 대학 의료 센터의 Jamierowski 체험 학습 연구소 내의 CoLab은 개별 제공자와 팀 성과를 조사합니다. CoLab의 설립은 사회 및 행동과학 전문지식의 필요성을 인식한 기관 리더십과 수혜자들에 의해 시작되었습니다.

Sometimes called research institutes, these groups are usually institution-wide enterprises that support multiple investigators across multiple departments who share a common research agenda. The establishment of a research center is generally a very formal institutional endeavor with specific organizational requirements. They are usually either donor-funded or centrally funded to ensure a smooth start-up but require significant support to sustain long term. Some have the capacity to grant degrees or have their own internal hierarchy or promotion process. We offer 3 examples of this research team design.

• The Gordon Center for Simulation and Innovation in Medical Education was established as a University of Miami Center of Excellence to study the development and evaluation of innovative technologies for learning and assessment. 14 The Gordon Center is self-funded through a combination of federal and nonfederal grants and has 4 full-time PIs who dedicate a minimum of 50% of their efforts to research.
• Next, the McMaster Education Research, Innovation and Theory (MERIT) Program 15 was originally a multiple PI lab that supported McMaster University in designing problem-based learning curricula. 16,17 Recently, MERIT evolved into a research center that also supports apprenticeships in medical education research. 2,18–20 
• Finally, the CoLab within the Zamierowski Institute for Experiential Learning at the University of Kansas Medical Center examines individual provider and team performance. 21 The creation of CoLab was initiated by institutional leadership and benefactors who recognized the need for social and behavioral science expertise.

공동 연구
Research collaboratives

공식적인 [연구 센터]와 달리, 협력체은 [비공식적이고 더 비정형적이며, 대학 내의 부서나 학교에 걸쳐 같은 생각을 가진 연구자들 사이에서, 그리고 아마도 기관들 사이에서 더 유기적으로 발생]한다. [연구 센터]와 달리, 이것은 공식적인 제도적 구조가 아니다. 협업은 여러 PI를 보유하고 프로젝트별 팀을 구성하지만 새로운 벤처기업마다 구성원 자격을 변경할 수 있습니다. 이것은 다른 프로젝트를 후원하지만 같은 회원 그룹 내에 있는 연구 네트워크와는 대조적이다. 협력업체의 해결과제에는 [신뢰할 수 있는 자금 흐름]과 [의사소통을 위한 기술에 대한 의존도]가 포함됩니다. 

In contrast to formal research centers, collaboratives are informal and more amorphous, arising more organically between like-minded researchers across departments or schools within a university, and possibly also between institutions. In contrast to research centers, they are not formal institutional structures. Collaboratives have multiple PIs and form project-specific teams but may change their membership with each new venture. This contrasts them from research networks, which sponsor different projects but within the same member group. Challenges for collaboratives include reliable funding streams and dependence on technology for communications.

여기서는 협업의 4가지 예를 강조합니다.

• 첫째, 의료 교육 번역 자료: METRIQ(Impact and Quality) Study Collaborative는 교육 및 번역 온라인 리소스를 개발, 측정 및 평가할 수 있는 방법을 연구하는 여러 기관의 연구자 파트너십입니다. METRIQ는 물리적인 집이 없으며, 오히려 여러 대륙에 걸쳐 수십 개의 프로젝트를 함께 완료한 협력자로 구성되어 있습니다. 
• 둘째, 본드 대학의 TSC(Translational Simulation Collaborative)는 시뮬레이션을 통해 건강 관리를 개선하기 위해 노력하는 연구자들의 연결고리이다. 연구 협력의 초점은 번역 시뮬레이션 실습입니다. 따라서, 다양한 시뮬레이션 기법을 통해 의료 서비스 과제를 탐색하고, 잠재적 개선 사항을 테스트하며, 더 나은 의료 관행을 임상 운영에 포함시키는 것을 목표로 한다. TSC는 복잡한 재무 정리, 지적 재산권 문제 및 잠재적인 이해 상충을 가진 서로 다른 기관의 여러 연구 파트너들을 위한 포괄적인 조직 역할을 한다.
• 셋째, ERLI(Academic Life in Emergency Medicine Education Research Lab and Incubator)는 소셜 미디어 기술과 교육 연구자 멘토십에 중점을 둔 비영리 건강 전문 교육 기관 내 연구 협력체이다. ERLI는 대학과 제휴하지 않기 때문에 대부분의 전통적인 자금 조달 메커니즘에 적합하지 않다.
• 마지막으로, 의료 허브의 기술, 교육 및 협업은 기술, 교육 및 디지털 네트워크에 관심이 있는 6개 PI에 의해 조정된 국제 협업입니다. 허브의 핵심 원칙 중 하나가 수사관들 간의 경쟁보다는 투명성과 공유를 장려하는 것이기 때문에 공유된 학술 및 전문성 행동 강령이 있다.

We highlight 4 examples of collaboratives here.

• First, the Medical Education Translational Resources: Impact and Quality (METRIQ) Study Collaborative is a partnership of investigators at multiple institutions who study how educational and translational online resources can be developed, measured, and evaluated for quality. 22 METRIQ has no physical home, rather it consists of collaborators that span multiple continents and have completed dozens of projects together.
• Second, the Translational Simulation Collaborative (TSC) at Bond University is a nexus for researchers working to improve health care through simulation. 23 The focus of the research collaborative is translational simulation practice; thus, it aims to explore health services challenges, test potential improvements, and embed better health care practices into clinical operations through diverse simulation techniques. 24 TSC serves as an umbrella organization for multiple research partners from different institutions with complex financial arrangements, intellectual property issues, and potential conflicts of interest. 25 
• Third, the Academic Life in Emergency Medicine Education Research Lab and Incubator (ERLI) is a research collaborative within a nonprofit, health professions education organization that focuses on social media technologies and education researcher mentorship. 26 ERLI is not affiliated with a university and therefore does not qualify for most traditional funding mechanisms; its funding has been largely philanthropic.
• Finally, the Technology, Education, and Collaboration in Healthcare Hub is an international collaborative coordinated by 6 PIs interested in technology, education, and digital networks. There is a shared academic and professionalism code of conduct, as one of the core principles of the hub is to encourage transparency and sharing, rather than competition, among investigators.

연구 네트워크
Research networks

덜 형식적인 [연구 협력체]와는 대조적으로, [연구 네트워크]는 [고도로 구조화된 경향]이 있으며, [연구 주제와 연구 프로젝트에 참여하는 기관의 수를 증가시키는 것을 목표]로 한다. [멀티센터 임상시험]은 종종 연구 네트워크 내에서 수행된다. 회원들은 이러한 임상시험에 참여함으로써 느슨하게 서로 제휴하고 있으며, 의사소통을 자주 하지 않을 수 있다. 자금 조달은 복잡하며, 사이트 리드는 전체 네트워크 내에 대리점이 거의 없을 수 있다. 여기서는 두 가지 예를 프로파일링합니다.

• 응급의학교육연구동맹(EMERA)은 노스웨스턴 대학교 응급의학 레지던트 졸업생들이 의학교육 연구에 관심을 가지고 설립한 단체이다. 회원들은 광범위한 공식적인 연구 훈련과 다양한 행정적 역할을 가지고 있다. EMERA의 임무는 응급의학의 교육적 모범 사례를 개발하는 것을 목표로 하는 다중 기관 연구를 수행하는 것이다.
• 둘째, RCPSC이 전국적인 역량 기반 의료 교육 평가 프레임워크를 시행하기 1년 전에 캐나다 의학 평가 및 분석을 위한 캐나다 데이터 연구(CanDREAM) 팀이 설립되었다. 세 명의 교육 연구원이 이 구현을 연구하기 위해 CanDREAM을 시작했고 캐나다의 거의 모든 의사 교육 프로그램에서 광범위한 교육자 네트워크를 빠르게 모집했습니다. 네 명의 연구원이 이 대규모 팀을 이끌고 새로운 도구를 개발하고, 기계 학습 혁신을 개발하며, 평가 기준을 검증한다.

In contrast to less formal research collaboratives, research networks tend to be highly structured and aim to increase the number of study subjects and participating institutions in research projects. Multicenter clinical trials are often conducted within a research network. Members are loosely affiliated with one another through participation in these trials and may communicate infrequently. Funding is complex, and site leads may have little agency within the overall network. We profile 2 examples here.

• The Emergency Medicine Education Research Alliance (EMERA) was established by a group of Northwestern University emergency medicine residency graduates with an interest in medical education research. 27 Members have a breadth of formal research training and diverse administrative roles. The mission of EMERA is to conduct multi-institutional research aimed at developing educational best practices in emergency medicine.
• Second, the Canadian Data Research for Evaluation and Analytics in Medicine (CanDREAM) Team was established 1 year before the Royal College of Physicians and Surgeons of Canada implemented a nationwide competency-based medical education assessment framework. 28 Three education researchers started CanDREAM to study this implementation and quickly recruited a wide network of educators from nearly all physician training programs in Canada. Four investigators lead this large team to develop new tools, develop machine learning innovations, and validate assessment rubrics.

실험실의 주요 요소
Key Elements of Labs

우리의 경험에서, 우리는 연구실 설립이 의학 교육 연구자들이 경험하는 잘 알려진 제도적 난제를 극복하기 위한 전략적 시도라는 것을 발견했다. 연구실 출범 자체가 교수 라인, 순위, 연구 서사에 따라 교외 자금과 PI 적격성에 대한 엄격한 요건을 갖춘 기관에서는 장애물이 될 수 있다. 우리는 연구실의 성공이 종종 연구자의 비전, 열정 및 정치적 의지에 의해 결정되며, 후원 기관의 초기 노력에서 거의 결과를 얻지 못한다는 것을 발견했다. 위에서 제시한 사례를 검토하면서, [의학 교육 연구실]을 위한 몇 가지 핵심 요소를 확인했습니다. 

• 실험실 정체성의 중요성,
• 실험실 지정의 신호 효과,
• 필요한 인프라
• 실험실의 훈련 임무.

In our experience, we have found that the establishment of a lab is a strategic attempt at overcoming the well-recognized institutional challenges experienced by medical education researchers. Launching the lab can itself be a hurdle at institutions that have strict requirements for extramural funding and PI eligibility based on professoriate line, rank, and narrative of research. We have found that lab success is often predicated on the vision, passion, and political will of the investigators and rarely results from the nascent efforts of the sponsoring institution. In our review of the case examples presented above, we identified several key elements for medical education research labs:

• the importance of lab identity,
• the signaling effect of a lab designation,
• required infrastructure, and
• the training mission of a lab. 

이러한 요소는 연구실을 다른 팀 구성(즉, 연구 센터, 협업 및 네트워크)과 차별화하는 것으로 나타납니다. 
These elements appear to differentiate research labs from other team configurations (i.e., research centers, collaboratives, and networks).

실험실 아이덴티티의 중요성
Importance of lab identity

의학 교육 연구소는 표현형을 공유한다:

• 연구실은 단일 PI 또는 소규모의 선임 연구자 및 PI 그룹에 의해 운영되며, 
• 이들은 집중적인 연구 라인을 가지고 있으며, 
• 그들의 임무는 가르치는 것보다 연구이다.

우리는 마지막 특성이 연구소와 [교육센터] 또는 [교육협동조합]을 구분하는 결정적인 차이점이라고 본다. 예를 들어, 임상 교육을 주로 제공하는 [시뮬레이션 센터]는 연구에 학문적인 초점을 둔 [시뮬레이션 연구소]와 본질적으로 다르다. 의학 교육 연구소는 또한 PI의 진로를 검증하고 그들의 연구 초점을 명확히 할 수 있다. 우리의 경험에서, 연구자의 자기 개념은 교육 연구자에게 중요하다. 연구자의 본질적인 동기 및 발견에 대한 접근 방식을 생명과학 동료의 것과 일치시키기 때문이다. [PI, 교수 협력자 및 연구 교육생]과 같은 식별자identifier가 관계를 정의하고 멘토/멘티 역할을 명확히 합니다. 

Medical education research labs share a phenotype:

• the lab is directed by a single PI or small group of senior researchers and PIs,
  who have a focused line of research and
  whose mission is research rather than teaching.

We believe that the last characteristic is a critical difference that distinguishes research labs from educational centers or teaching collaboratives. For example, a simulation center that primarily provides clinical training is inherently different from a simulation research lab that has a scholarly focus to its work. 8 A medical education research lab can also validate the career path of the PI and clarify their research focus. In our experience, the self-concept of investigator is important to education researchers, as it aligns their intrinsic motivations and approach to discovery with that of their bioscience colleagues. Identifiers such as PI, faculty collaborator, and research trainee define relationships and clarify mentor/mentee roles. 29

실험실 명칭의 신호효과
Signaling effect of a lab designation

과학자들이 종종 실험실을 가지고 있기 때문에, 의학 교육 연구실을 만드는 것은 병원과 십일조 지도자들에게 개인이 과학자로 보여져야 한다는 신호로 작용할 수 있다. 연구소의 브랜드 이미지는 "소비자"(즉, 과학 발표회 및 부서 회의에 참석하는 사람들)와 기금 모금, 연구실 웹사이트를 갖는 경험을 통해 더욱 만들어진다. [웹사이트]는 특히 기관 외부에 있는 사람들에게 보내는 [합법성에 대한 중요한 신호]이다. 게다가, 우리는 우리의 경험으로 일반적으로 [실험실 구조]가 의료계hall of medicine 내에서 더 잘 이해되며, 그들을 지휘하거나 구성원인 연구자들의 작업에 신뢰성을 더한다는 것을 발견했다. 우리는 "나는 X 조건을 연구한다"(연구자 개인의 업무와 능력을 나타낸다)와 "나의 연구소는 X 조건을 연구한다"(연구팀의 업무와 확장성을 나타낸다)라는 문구 사이에 강력한 신호 차이를 보았다. 이러한 시그널링은 단일 조사자보다 확립된 연구실을 찾을 가능성이 높은 기관 내 다른 사람들과의 협업 또는 멘토링 관계를 초래할 수 있다.
Since scientists often have a lab, the creation of a medical education lab can act as a signal to hospital and decanal leaders that an individual should be seen as a scientist. The brand image of a lab is further crafted through the experiences of having “consumers” (i.e., those who attend scientific presentations and department meetings), fundraising, and having lab websites. Websites are particularly important signals of legitimacy to those external to an institution. Furthermore, we find that in our experience the lab structure is generally well understood within the halls of medicine, adding credibility to the work of the researchers who direct or are members of them. We have seen a powerful signaling difference between the phrases “I study X condition” (signaling the work and capacity of an individual researcher) and “My lab studies X condition” (signaling the work and scalability of a research team). Such signaling may lead to collaborations or mentoring relationships with others in the institution, who are more likely to find established labs than a single investigator.

필요한 인프라
Required infrastructure

실험실 활동과 인력은 [재정적 지원]이 필요하며, 실험실 모델은 개별 조사자가 이용할 수 없는 자원을 제공할 수 있다. 연구실 직원 및 기타 필요에 대한 [자금]은 특별 보조금, 자선 기부, 자문 업무 및 직접 수당, 종자 기금, 보조금 및 교수 급여의 형태로 제도적 지원을 결합하여 추구된다. [후원 기관]은 일반적으로 실험실 관리자 및 관리 직원에게 급여 지원을 제공하지만 통계학자 또는 데이터 과학자와 같은 다른 상근 직원에게는 급여 지원을 제공할 가능성이 낮다. [실험실 인력]은 PI의 연구팀을 구성하고 연구 프로그램을 촉진하는 것을 돕는다. [사무실 공간 및 장비 요구 사항]은 연구 유형 및 조직 접근 방식에 따라 달라집니다. 교육연구실의 [스마트 디자인 및 전략적 자금 지원]은 불충분하거나 산발적인 교외 자금 지원, 연구 대상자 모집의 어려움 등 공통의 장벽을 직접 극복할 수 있다. 이러한 [초기 투자]는 공식적인 부서 지원 없이 어려움을 겪을 수 있는 PI의 성공을 보장할 수 있습니다. 또한, 강력한 인프라는 프로그램 연구자의 신뢰도와 교외 자금을 위해 경쟁할 수 있는 능력을 향상시킨다.
Lab activities and personnel require financial support, and the lab model may provide resources that are not available to individual investigators. Funding for lab personnel and other needs are sought through combinations of extramural grants, philanthropic gifts, consultancy work, and institutional support in the forms of direct stipends, seed funding, grants, and faculty salaries. Sponsoring institutions commonly provide salary support for lab managers and administrative staff but are less likely to do so for other full-time personnel, such as statisticians or data scientists. Lab personnel comprise the research team of a PI and help to catalyze a research program. Office space and equipment needs vary based on the type of research and organizational approach. Smart design and strategic funding of an education research lab can directly overcome common barriers, such as inadequate or sporadic extramural funding and difficulty recruiting study subjects. These initial investments can ensure the success of a PI who might otherwise struggle without such formal departmental support. Moreover, a robust infrastructure improves the credibility of programmatic researchers and their ability to compete for extramural funding.

연구소의 훈련 임무
Training mission of a lab

우리는 [연구 교육생]들이 있는 연구실에는 많은 장점이 있다고 믿는다. 차세대 교육 연구 학자들이 이러한 연구실에서 개발되고 있으며, 우리는 확립된 연구소가 후배 학자들이 성공하기 위해 필요한 멘토링과 인프라에 더 쉽게 접근할 수 있도록 할 수 있다는 것을 발견했다. 비록 연구실에 교육teach이 의무는 아니지만, 많은 사람들이 그들의 PI에서 교육 연구를 수행하는 것을 배우는 교육자들을 후원한다. 이 교육생들은 학생, 거주자, 동료, 그리고 후배 교직원들을 포함할 수 있다. PI 멘토들의 긍정적인 참여와 영향력은 훈련생들의 훈련 프로그램을 향상시킬 수 있다. 중요한 것은, 의학교육연구실에서 교육생들의 초점은, 다른 졸업후 의학교육 훈련 프로그램에서 볼 수 있는 단순한 임상교습이나 학습이론이 아닌, [교육연구방법과 학술활동]이다. 이러한 연수생들은 후원부서 밖에 소속되어 있는 경우도 있어, 연구실을 상호 풍부하게 하는 추가적인 협업으로 이어질 수 있다. 또한 학습자는 더 많은 학습자를 유치한다. 즉, 성공적인 연구 멘토링에 대한 기록은 유사한 관심사를 가진 다른 교육생 및 교수 협력자의 모집 장치 역할을 한다.
We believe that there are many advantages for labs with research trainees. The next generation of education research scholars are developed in such labs, and we have found that established labs can make it easier for junior scholars to gain access to the mentorship and infrastructure that they need to become successful. Though labs are not mandated to teach, many sponsor trainees who learn to conduct education research from their PIs. These trainees can include students, residents, fellows, and junior faculty. The positive engagement and influence of PI mentors can enhance trainee’s training programs. Importantly, the focus for trainees in a medical education lab is education research methods and scholarship, not simply clinical teaching or learning theory as is seen with other postgraduate medical education training programs. In some cases, these trainees have affiliations outside the sponsoring department, which can lead to additional collaborations that reciprocally enrich the lab. Additionally, learners attract more learners; that is, a track record of successful research mentorship acts as a recruiting device for other trainees and faculty collaborators with similar interests.

창업 고려사항 및 지원 가능성
Start-Up Considerations and Likelihood of Support

우리는 최근 의학 교육 연구 경력을 지원하기 위해 혁신적인 조직 접근 방식을 개발하는 연구자들이 급증하는 것을 관찰했다. 왜 그럴까 하는 의문이 생긴다. 왜 실험실이나 더 큰 연구 구조가 그들의 성공을 위해 필요한가? 확실히 광범위한 교육 연구 주체와 투자 수익률을 계산하는 많은 방법(예: 지원금, 논문 발표, 프레젠테이션 전달)이 있다. 단일 PI 랩은 흔하지 않지만 고전적인 단위로 남아 있으며, (의료 교육 분야에서 종종 통합하기 어려운) 랩 인프라와 자금 지원에서 비롯되는 분명한 이점이 있다. 그러나, 우리는 이 최근의 확산에서 가치를 가져오는 다양한 규모와 범위의 다른 구조를 사용하는 것을 관찰했다. 자체 연구소를 설립할지 여부를 고민하고 있는 급성장하는 연구자에게 다음과 같은 의문이 제기된다. "어떤 전략이 최선입니까?" 의학 교육 연구자들이 그들의 생명과학 동료들이 사용하는 단일 PI 연구실을 거울로 삼아야 하는가? 아니면 의학 교육 연구자들이 그 분야에 대한 더 나은 접근법을 찾아내야 하는가? (실험실 시작 가이드는 그림 2를 참조하십시오.) 현재 우리는 연구실 모델이 부족한 것을 우려하는 바인데, 왜냐하면 [스스로 연구를 수행하는 단일 개인]은 훈련생도, 멘토링도, 미래 교육 과학자를 위한 파이프라인도 제공하지 않기 때문이다. 이러한 기회가 없다면, 훈련이 부족하기 때문에 미래에 의학 교육 실험실을 이끌 수 있는 사람이 없을 수도 있다.

We have observed a recent proliferation of investigators developing innovative organizational approaches to support their medical education research careers. The question arises: Why? Why are labs or larger research structures necessary for their success? There is certainly a wide array of education research entities and many ways to calculate return on investment (e.g., grant monies received, papers published, presentations delivered). The single PI lab is uncommon but remains a classic unit of analysis, with clear advantages that stem from lab infrastructure and funding that are often difficult to marshal in the medical education field. However, we observed in this recent proliferation the use of other constructs of various scales and scopes that bring value as well. 19 For the burgeoning researcher contemplating whether to establish a lab of their own, the question arises: “Which strategy is best?” Should medical education researchers mirror the single PI lab used by their bioscience colleagues? Or must medical education researchers identify a better approach for the field? (See Figure 2 for a lab start up guide.) The current scarcity of the lab model concerns us, as a single individual conducting research on their own yields no trainees, no mentoring, and no pipeline for future education scientists. Without these opportunities, there may be no one able to lead medical education labs in the future because of insufficient training.

교육 연구자를 조직 내에서 가장 잘 배치하기 위한 노력은 연구자와 그들의 소속 부서에 영향을 미친다. 우리의 경험에 따르면, [연구 협력체] 또는 [연구 네트워크]에 협력하는 연구원들은 [단일 PI 연구소]를 시작하는 데 필요한 지역 자원을 소진했기 때문에 그렇게 하는 경향이 있습니다. 그들은 처음부터 그러한 자원을 가지고 있었던 적이 없었거나 또는 그것들을 요청할 생각을 한 적이 없었습니다. 우리는 본 논문에서 검토한 다양한 연구소와 더 큰 연구 구조를 지역 연구 환경의 현실에 대한 측정된 반응으로 본다. 각 사례에서 선택한 경로는 특정 시간과 장소에서 사용할 수 있는 유일한 경로였을 수 있습니다. 우리의 사례에서 다양한 구성이 부서장들의 결정에 따라서 만들어진 것인지, 아니면 연구자들 스스로가 의사 결정자들을 중심으로 작업했기 때문에 발생했는지는 불분명하다. 
Efforts to best position an education researcher within an organization have implications for the investigator and their home department. In our experience, researchers who align themselves with research collaboratives and networks tend to do so because they have exhausted the local resources necessary to start a single PI lab, they never had such resources to begin with, or they never thought to ask for them. We view the various labs and larger research structures reviewed in this paper as measured responses to the realities of local research environments. The paths chosen for each case example may have been the only one available at that specific time and place. It is unclear from our case examples whether the various configurations occurred in response to decisions by department leaders or because the investigators themselves worked around the decision makers.

또 다른 이론은 이러한 준비는 종종 [필요성]보다는 [편의성]에 의해서 만들어진다는 것이다. 아마도 [저비용의 외부 협력]은 department로 하여금 [의료 교육 연구자]를 지원할 책임을 더 쉽게 포기하도록 만들지도 모른다. 왜 그들이 지원해야 하는지, 얼마나 지원해야 하는지, 어떤 방식으로 지원해야 하는지, 그리고 어떤 목적으로 지원해야 하는지. 아무도 이런 질문을 하지 않고, 그저 외부에서 의학교육 연구 지원을 찾고 있다면, department는 이러한 질문에 대한 답변을 회피하게 되기 쉽다. 우리의 경험으로 볼 때, 이러한 질문에 대한 정직한 답변은 의료 교육 연구, 지원을 요청하는 개별 조사자 또는 둘 다에 대한 가치 판단을 나타낸다.
Another theory is that these arrangements are often made of convenience rather than necessity. Perhaps low-cost, external collaborations more easily allow departments to abdicate their responsibilities to support medical education researchers. Why should they support, how much should they support, in what ways should they support, and to what end should they support? It is easy for a department to avoid answering these questions if no one is asking them but instead looking externally for medical education research support. In our experience, honest answers to these questions represent value judgments about medical education research, the individual investigator seeking support, or both.

지금까지 자원이 부족해왔던 분야에서 얼마나 많은 연구소가 존재할 수 있으며, 존재해야 하는가? 의학 분야의 다른 분야들에 비해 미국에서 이용할 수 있는 의학 교육 연구 보조금은 매우 적다. 연구자들이 재정적으로 자립할 가능성이 낮은 연구 분야의 성장을 옹호하는 것이 옳기는가? 이러한 평가 질문은 학문적 의학에서 제자리를 찾으려는 잘 훈련된 의료 교육 연구자의 수가 증가하고 있는 실존적 위기를 나타낸다. 우리의 사례 예는 연구 정체성을 확립하는 방법에 대한 로드맵을 제공할 수 있지만, [왜, 언제, 또는 연구 정체성을 확립해야 하는지] 또는 [연구 정체성 확립에 얼마나 오래 걸릴 수 있는지]에 대한 로드맵을 제공하지는 않는다. 우리의 경험에 따르면, 실험실 설계에 대한 물류 결정이 내려지기 전에 그러한 결정들은 개인화되고 현재의 고용 상황에 맞춰져야 한다. 당연히 [교육 연구소를 위한 최선의 계획]은 [부서 및 기관 문화의 영향]을 받습니다. 단일 PI 랩을 시작하는 선택은 다른 분야의 랩이 현지에서 일반적인지 또는 기관이 그러한 혁신에 대한 욕구를 가지고 있는지에 따라 달라질 것이다. 이러한 조건(예: 자원이 풍부한 부서 및/또는 지원 기관 문화)이 없다면 교육 연구소를 시작하고 유지하는 데 필요한 지원이 불충분하고 그러한 연구소가 달성할 수 있는 성공은 미미할 수 있다고 생각합니다.

How many research labs can or should exist in a field with historically scarce resources? There are very few medical education research grants available in the United States compared with other disciplines in medicine. Is it even right to advocate for the growth of a research field in which investigators are unlikely to financially sustain themselves? These questions of valuation represent an existential crisis for the growing number of well-trained medical education researchers trying to find their place in academic medicine. Our case examples can provide roadmaps as to how to establish a research identity but not why or when one should or how long one might need to establish a research identity. In our experience, those decisions must be individualized and aligned to one’s current employment situation before any logistical decisions about lab design can be made. Unsurprisingly, the best conceived plans for an education research lab are subject to departmental and/or institutional culture. The choice to start a single PI lab will depend on whether labs in other disciplines are common locally or if the institution has an appetite for such innovation. Without these conditions (e.g., a well-resourced department and/or a supportive institutional culture), we feel that the necessary support to start and maintain an education research lab will be inadequate and that any successes such a lab may achieve may be meager.

결론들
Conclusions

의학교육연구소의 성공적인 출범은 비전과 전략을 전제로 한다. 연구자는 후원 기관 어디에도 이미 존재할 것 같지 않은 것을 기꺼이 만들어내야 하며, 역할 모델링을 본 표준 프로세스와 방법을 넘어서야 합니다. 새로운 연구소장은 기관 외부의 동료들로부터 모델과 도식을 찾아야 할 것 같은데, 우리는 이것이 이 기사를 통해 다소 쉬워졌기를 바란다. 우리의 경험에 따르면, [성공적인 구현]은 [연구소의 출범과 장기적인 생존 가능성 모두를 위한 전략적 계획, 이해관계자 분석의 신중한 사용, 강력한 정치적 감각]을 필요로 한다. 의료 교육 연구소의 사례 사례는 자체 연구소를 설립할 준비를 하는 조사관에게 교훈을 제공한다. 부서 리더들이 교육 연구실을 왜 그리고 얼마나 중시하는지, 그리고 이 평가가 궁극적으로 실험실의 설계와 성공 가능성을 지시하는지에 대한 의문들이 남아 있다.
We believe that the successful launch of a medical education research lab is predicated on vision and strategy. Investigators must be willing to create something that is unlikely to already exist anywhere in their sponsoring institutions, and they must move beyond the standard processes and methods they have seen role modeled. New lab directors will likely need to seek out models and schemas from colleagues outside their institution, something that we hope has been made somewhat easier by this article. In our experience, successful implementation requires

• a strategic plan for both the launch of the lab and its long-term viability,
• deliberate use of stakeholder analyses, and
• a strong political acumen.

Our case examples of medical education research labs offer lessons for investigators preparing to establish their own labs. Questions remain as to why and how much department leaders value education research labs and whether this valuation ultimately dictates the design of a lab and its likelihood of success.

Copyright © 2022 by the Association of American Medical Colleges.

보건의료전문직 교육에서 리포팅 가이드라인의 사용과 가치(Acad Med, 2020)
On the Use and Value of Reporting Guidelines in Health Professions Education Research

연구 간행물에서의 보고 지침의 사용과 가치에 대한 대화는 종종 양극화된 견해를 이끌어낸다. 그러한 견해는 더 많은 정보와 사려 깊은 고려의 필요성을 나타낸다. 우리 자신의 건강 전문 교육 분야의 한 예로, 오스트리아 빈에서 열린 유럽 의학 교육 협회의 2019년 회의에서 편집자 패널 토론이 [건강 전문 교육 연구 출판에서의 논쟁과 도전]이라는 제목의 토론은 HPE 연구 출판물의 보고 지침의 사용법을 둘러싼 편집자와 작가들 간의 활발한 토론을 촉발했습니다. 일부 참가자들은 그러한 지침의 사용을 강력히 지지한 반면, 다른 참가자들은 단호하게 반대했다. 이 사설에서, 우리는 보고 지침에 대해 학술 의학 커뮤니티에 알리고, 저널의 편집자로서 이에 대한 우리의 관점을 공유하며, 이러한 지침에 대한 지속적인 대화를 촉진하는 것을 목표로 한다. 
Conversations about the use and value of reporting guidelines in research publications often elicit polarized views. Such views signal a need for more information and thoughtful consideration. As an example from our own field of health professions education, the editors’ panel discussion at the 2019 meeting of the Association for Medical Education in Europe in Vienna, Austria, entitled Controversies and Challenges in Publishing Health Professions Education Research, prompted a lively discussion among editors and authors around the use of reporting guidelines in health professions education research publications. Some participants strongly endorsed use of such guidelines, while others staunchly opposed them. In this editorial, we aim to inform the Academic Medicine community about reporting guidelines, share our perspective on them as editors of the journal, and promote ongoing dialogue on these guidelines.

보고 지침이란 무엇입니까?
What Are Reporting Guidelines?

보고 지침Reporting guidelines은 독자가 연구 또는 검토를 이해하고 평가 및/또는 복제할 수 있도록 하기 위해 연구 연구 또는 문헌 검토를 설명하는 원고에 저자가 포함해야 하는 주요 정보를 나열하고 설명합니다.1 Reporting guidelines은 저자를 위한 [저널의 지침]을 보완하는데, [저널의 지침]은 단어 수 및 구조와 같은 기술적 요구사항에 초점을 맞추는 경향이 있어서, 원고나 출판물에 제시된 증거의 신뢰성, 관련성 및 품질을 평가하는 데 사용되는 [비판적 평가 도구]와는 다르다.

• 일부에서는 불완전한 보고는 실제로 작성자가 단어 제한을 준수하기로 한 결정이거나 단순한 감독일 수 있는 경우 종종 방법론적 품질이 낮다는 신호로 해석되기 때문에, [철저한 정보 보고 평가]는 [비판적 평가 과정]과 구별되어야 한다고 주장한다.
• 다른 이들은 정보의 [철저한 보고]가 [비판적 평가]의 필수적 선행조건이며 높은 과학적 기준을 충족하는 과정의 일부라고 생각한다.

Reporting guidelines list and describe the key information that authors should include in a manuscript that describes a research study or literature review, to ensure that readers can understand, evaluate, and/or replicate the study or review.1 Reporting guidelines complement a journal’s instructions for authors, which tend to focus on technical requirements such as word count and structure,2 and differ from critical appraisal tools, which are used to assess the trustworthiness, relevance, and quality of evidence presented in a manuscript or publication.3–5 

• Some maintain that evaluation of thorough information reporting should be kept distinct from the critical appraisal process, since incomplete reporting is often interpreted as a sign of low methodologic quality when, in fact, it may be a decision made by authors to abide by word limits or a simple oversight.6 
• Others consider thorough reporting of information to be a necessary precursor to critical appraisal and part of a process that fulfills high scientific standards.7,8

보고 지침의 간략한 기록
A Brief History of Reporting Guidelines

보고 지침은 과학 저널에 게재된 증거의 품질과 실제 의사 결정에서 약한 증거로 판명될 수 있는 신뢰와 관련된 위험에 대한 우려에 대응하여 시간이 지남에 따라 발전되었다. 많은 의학 분야에서, [연구 결과를 복제하여 증거를 검증하려는 연구자들의 노력]은 [연구 방법과 결과에 대한 불충분한 정보]로 인해 혼란스러워졌다. 이 문제를 해결하기 위해 생물의학 연구에서 [무작위 통제 시험]에 대한 [두 가지 보고 지침]이 독립적으로 개발되었다. 이들은 최종적으로 CONSORT을 구성하기 위해 결합되었습니다.
Reporting guidelines evolved over time in response to concerns about the quality of evidence published in scientific journals and the risks associated with trusting what may turn out to be weak evidence in practical decision making. Across many fields of medicine, researchers’ efforts to verify evidence by replicating study findings have been confounded by insufficient information about study methods and results.9 Two reporting guidelines for randomized controlled trials in biomedical research were independently developed to address this problem; the 2 were ultimately combined to form CONSORT (Consolidated Standards of Reporting Trials).9,10

연구의 투명성을 높여야 한다는 오픈사이언스 운동과 최근 체계적인 검토, 메타분석, 기타 형태의 지식합성 붐 등 현재 학문의 흐름을 감안할 때 보고지침에 대한 인식가치가 높아졌다. CONSORT는 다양한 장르와 학문에 대한 접근 방식에 걸친 후속 보고 지침을 위한 기반을 마련했습니다.
The perceived value of reporting guidelines has increased, given current trends in scholarship such as the Open Science movement, which calls for greater transparency in research,11 and the recent boom in systematic reviews, meta-analyses, and other forms of knowledge synthesis.1,12 CONSORT laid the foundation for subsequent reporting guidelines spanning multiple genres and approaches to scholarship—for example,

• CARE (for case reports),13 
• PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses),14,15 
• SQUIRE (Standards for Quality Improvement Reporting Excellence) 2.0,16 
• COREQ (Consolidated Criteria for Reporting Qualitative Research),17 and
• STROBE (Strengthening the Reporting of Observational Studies in Epidemiology).18

초기 지침의 대부분은 생물의학과 건강 연구에서 비롯되었지만, 사회과학 및 교육 분야의 학자들은 보고 지침의 자체 버전을 채택하고, 채택하고, 만들었다. 보건 전문직 교육을 위해 개발된 지침으로는 SQUIRE-EDU(교육 품질 향상 보고 우수성 기준), GREET(증거 기반 실무 교육 개입 및 교육 보고 지침), SRQR(질적 연구 보고 기준) 등이 있다. 보건 전문 교육에서 자주 언급되는 다른 지침으로는 CHERRES(인터넷 전자 설문 조사 결과 보고용 체크리스트), PRISMA, RAMESES(실재주의자 및 메타 내러티브 증거 합성: 발전하는 표준) 및 STROBE. 표 1은 보건 전문 교육 연구에 적용할 수 있는 지침의 예를 보여줍니다.
While many of the early guidelines originated in biomedical and health research, scholars in the social sciences and education adopted, adapted, and created their own versions of reporting guidelines. Guidelines developed for health professions education include

• SQUIRE-EDU (Standards for Quality Improvement Reporting Excellence in Education),19 
• GREET (Guideline for Reporting Evidence-Based Practice Educational Interventions and Teaching),20 and
• SRQR (Standards for Reporting on Qualitative Research.21 

Other guidelines frequently referenced in health professions education include

• CHERRIES (Checklist for Reporting Results of Internet E-Surveys),22 
• PRISMA,14,15 
• RAMESES (Realist and Meta-Narrative Evidence Syntheses: Evolving Standards),23 and
• STROBE.18

Table 1 presents examples of guidelines that are applicable to research in health professions education.

보고 지침의 확산으로 인해 중복성을 줄이고 보급을 강화하기 위한 품질 관리 및 관리가 필요하게 되었습니다. 2008년에 설립된 EQUATOR (Enhancing the Quality and Transparency of Health Research) 네트워크는 [생물의학 및 사회과학] 커뮤니티 구성원들이 보고 지침을 개념화하는 방법을 형성하는 데 큰 역할을 해왔다. EQUATOR 네트워크는 보고 지침의 목적이 "연구자들에게 연구 방법을 알려주기 위해서가 아니라, 원고에 어떤 정보를 포함시켜야 하는지 상기시키기 위한 것"이라고 명시하고 있다. 

The proliferation of reporting guidelines created a need for quality control and management to reduce redundancy and enhance dissemination. The EQUATOR (Enhancing the Quality and Transparency of Health Research) Network, established in 2008, has played a large role in shaping how members of the biomedical and social science communities conceptualize reporting guidelines.1 The EQUATOR Network states that the purpose of reporting guidelines is “to remind researchers of what information to include in the manuscript, not to tell them how to do research.”9(p73)

보고 지침의 가치에 대한 상반된 주장
Conflicting Arguments on the Value of Reporting Guidelines

보고 지침의 용도는 다양하다.

• 어떤 저널은 저자가 기사를 제출할 때 보고 가이드라인 체크리스트를 작성하도록 요구하기도 하고, 
• 어떤 저널은 검토자가 검토를 완료할 때 보고 가이드라인을 참조하도록 권장하기도 하며,
• 어떤 저널은 보고 가이드라인을 전혀 언급하지 않는다. 

지지자들은 보고 지침을 투명성을 위한 환영받는 도구로 보는 경향이 있다. 가이드라인은 출판 경험에 관계없이 모든 사람이 기본 표준과 기대를 자유롭게 이용할 수 있도록 한다. 지침은 또한 주요 정보의 누락을 줄임으로써 학문의 질을 향상시킬 수 있는데, 이는 보고서 품질을 위해 출판된 기사를 평가한 여러 연구에서 지적된 문제이다. 연구에 대한 주요 정보를 일관된 방식으로 보고하면, 엄격한 방법론을 위해 노력하는 저자에게 보상할 수 있습니다.
Use of reporting guidelines varies.

• Some journals require authors to complete reporting guideline checklists when submitting articles,
• other journals encourage reviewers to refer to reporting guidelines when completing reviews, and
• still other journals do not mention reporting guidelines at all.24,25 

Proponents tend to view reporting guidelines as a welcome tool for transparency. Guidelines make basic standards and expectations freely available to all, regardless of publication experience. Guidelines may also improve the quality of scholarship by reducing the omission of key information, a problem noted in several studies that have evaluated published articles for reporting quality.7,26 Reporting key information about a study in a consistent way rewards authors who invest in rigorous methodology.27

[보고지침에 반대하는 사람들]은 작성자와 검토자의 [규범적이고 비판적이지 않은 사용]에 대한 우려를 제기한다.28

• 보고지침이 보고 "체크리스트"로 전환되면 [창의성이 저해]될 수 있으며, [지침을 준수하는 접근방식이나 기법]이 그렇지 않은 접근방식보다 더 가치가 있음을 암시한다.
• 보고 지침의 사용은 [가시적 한계(예: 설계 결함, 낮은 응답률)]가 있는 [소규모 연구를 보고하는 자원이 적은 연구자]에게 불리할 수 있다.29
• 또한 일부에서는 [작성자가 제공하는 정보의 충분성을 평가하고 필요에 따라 추가 설명을 요청하는 것]이 [전문가 검토자의 의무]이기 때문에, 강력한 피어 리뷰 체계에서 지침이 필요하지 않다고 주장한다. 

Those opposed to reporting guidelines raise concerns about their prescriptive and uncritical use by authors and reviewers.28 

• The conversion of reporting guidelines into reporting “checklists” can inhibit creativity and imply that the approaches or techniques that conform to guidelines are more valuable than those that do not.
• The use of reporting guidelines may disadvantage researchers with fewer resources who report smaller-scale studies with visible limitations (e.g., design flaws, lower response rates).29 
• Some also argue that guidelines are not necessary in a robust peer review system, as it is the duty of expert reviewers to evaluate the sufficiency of information provided by authors and request additional clarification as needed.29

편집자들과 평론가들은 [뉘앙스의 필요성]을 인정한다. 의학교육연구의 질적 기준은 생물의학연구의 질적 기준에 큰 영향을 받은 것은 사실이지만, 강력한 사회과학연구의 유입은 

• 검토자 풀을 다양화했고,
  
• 저널 편집팀의 전문성을 확장했으며,
  
• 과학의 다양한 철학을 반영하고, 다양한 분야의 방법론을 채택하면서도, 원고의 공정하고 정확한 평가를 보장하는 방법에 대한 많은 논의를 장려했다.

Editors and reviewers appreciate the need for nuance. While it is true that the quality standards for medical education research have been heavily influenced by those of biomedical research, the influx of robust social science research has

• diversified the reviewer pool,
• expanded the expertise of journals’ editorial teams, and
• encouraged many thoughtful discussions of how to ensure fair and accurate evaluation of manuscripts that reflect different philosophies of science and employ methodologies from various disciplines.30

우리의 견해
Our View

학술 의학 편집팀으로서, 우리는 [보고 지침의 현명한 사용]을 지지한다. 저자, 검토자 및 저널 편집자는 명확성과 일관성을 극대화하기 위해 주어진 연구에서 보고되어야 할 정보를 결정할 때 올바른 판단을 적용해야 한다. 어떤 상황에서는 특정 정보(예: 참가자의 익명성을 훼손할 수 있는 정보, 얻을 수 없거나 특정 연구 설계나 방법론 또는 사용 가능한 자원의 맥락에서 타당하지 않은 정보)를 포함하지 않는 것이 허용될 수 있다. 결국, [많은 중요한 교육적 연구 문제를 조사하려는 노력]은 [그에 대한 답을 목표로 하는 연구의 양과 질]에 의해 제한된다. 이러한 경우, 새로운 연구는 그 자체의 중요한 방법론적 한계를 가지고 있더라도 문헌에 실질적이고 의미 있게 추가될 수 있다. 이러한 인식은 우리 모두가 우리의 지식에 무엇을 더하는지에 비추어 연구를 판단하는 데 열려 있어야 하며, 이 분야의 현재 상태를 고려할 때, 지나치게 엄격할 수 있는 보고 기준만으로 연구를 판단해서는 안 된다는 것을 의미한다.

As the editorial team at Academic Medicine, we advocate judicious use of reporting guidelines. Authors, reviewers, and journal editors must apply good judgment when deciding what information must be reported in a given study to maximize clarity and coherence. In some circumstances, it may be acceptable not to include certain information (e.g., information that would compromise participant anonymity, that cannot be obtained, or that does not make sense in the context of the particular study design or methodology or available resources). After all, efforts to investigate many important educational research questions are limited by the amount and quality of the research that aims to answer them. In these cases, new studies, even with important methodological limitations of their own, can substantially and meaningfully add to the literature. This recognition means that we all have to be open to judging research in light of what it adds to our knowledge and not judging that research only by reporting standards that may be overly stringent given the state of a field.

교육 연구는 축적에 의해 성장하며, 작은 이득도 가치가 있을 수 있다. 또한, 보고 지침을 사용하지 않더라도 저자는 훌륭한 기사를 쓸 수 있고 검토자는 훌륭한 리뷰를 완성할 수 있다. 따라서 보고 지침의 사용을 의무화하지는 않지만 보고 지침은 가치가 있다고 생각합니다. 다음 섹션에서는 보고 지침을 사용하여 작성자, 검토자 및 편집자를 구상하는 방법에 대해 설명합니다.
Education research grows by accretion, and small gains can be valuable. Furthermore, authors may write excellent articles and reviewers may complete superb reviews without using reporting guidelines. We therefore do not mandate the use of reporting guidelines, yet we believe that reporting guidelines have value. In the sections that follow, we describe the ways that we envision authors, reviewers, and editors using reporting guidelines.

작가들
Authors

우리는 저자들이 교육 및 심리학 같은 사회과학에서 일반적으로 사용되는 지침뿐만 아니라, EQUATOR 네트워크에서 승인한 보고 지침에 익숙해지도록 권장한다. [분별적 활용]이란 저자가 보고 가이드라인을 꼼꼼히 검토하고, 작업에 가장 적합한 가이드라인을 선정하고, 특정 가이드라인 항목이 적용되지 않을 때를 자신 있게 결정하는 것을 의미한다. 저자는 자신의 연구에 적합하지 않다고 생각하는 정보를 제공하도록 요청받는 경우 항상 검토자와 편집자에게 자신의 근거를 설명할 수 있는 선택권이 있다.
We encourage authors to become familiar with reporting guidelines endorsed by the EQUATOR Network as well as those commonly used in social sciences such as education31–33 and psychology.34,35 Judicious use means that authors review reporting guidelines carefully, selecting the guidelines most appropriate for their work, and confidently deciding when certain guideline items do not apply. Authors always have the option to explain their rationale to reviewers and editors if they are asked to provide information that they think is not appropriate for their study.

간단히 말해서, 우리는 저자들이 연구의 설계, 수행 및 기록 전반에 걸쳐 지침을 리소스로 참조할 것을 권고한다. 우리는 학술 의학에 제출할 때 보고 지침의 사용을 의무화하지 않는다. 앞서 지적한 바와 같이, [새로운 학술적 질문] 또는 [lower-resources 환경에서만 다룰 수 있는 질문]은 보고 지침을 더 겸손하거나 덜 준수할 수 있으며, 그렇다 하더라도 여전히 문헌에 대한 진정으로 중요한 기여를 할 수 있다. 저자는 주장이나 해석을 할 때 신중해야 하며 작품의 한계를 분명히 밝혀야 한다. 모든 연구 보고서는 방법론에 대한 설명을 투명하게 해야 한다.

In short, we advise authors to refer to guidelines as a resource throughout the design, conduct, and write-up of a study.28 We do not mandate the use of reporting guidelines for any submission to Academic Medicine. As previously indicated, reports involving novel scholarly questions, or questions that can only be addressed in lower-resources settings, may be more modest or less adherent to reporting guidelines and still represent truly important contributions to the literature. Authors must be careful when making claims or interpretations and should clearly state the limitations of their work. All research reports should be transparent in their descriptions of their methodologies.

연구보고서를 지나치게 표준화하는 것이 아니라, [다양한 청중이 접근할 수 있도록 하는 것]이 목표다. 이 야심찬 목표는 작가, 검토자 및 편집자가 사이에서 [미묘한 균형]을 협상할 것을 요구한다.

• (1) 연구자의 가정, 접근 방식, 프로세스 및 결과에 대한 명확하고 포괄적인 설명과 
  
• (2) 연구자의 성실성, 독창성, 판단력에 대한 존중 

이 균형을 찾는 것은 연구자들이 보건 전문 교육 밖에서 잘 확립된 접근법과 방법론을 그릴 때 특히 중요하다.
The goal is to make research accessible to a diverse audience, not to overly standardize research reports. This ambitious goal requires authors, reviewers, and editors to negotiate a delicate balance between

• (1) a clear, comprehensive description of the researchers’ assumptions, approach, processes, and findings and
• (2) respect for researchers’ integrity, ingenuity, and judgment.

Finding this balance is particularly important when researchers draw on approaches and methodologies that are well established outside of health professions education.

리뷰어
Reviewers

우리는 학계 및 과정의 중요한 부분인 [피어 리뷰어의 전문성]에 크게 의존한다. 우리는 원고의 품질을 공정하고 비판적으로 판단하기 위해 필요한 전문 지식을 갖춘 리뷰어를 찾는 데 전념하고 있습니다. 동시에, 우리는 보건 직업 교육과 같은 [다학제적 분야의 철학적 지향과 방법론의 넓은 폭]이 모든 연구, 특히 보건 전문직 교육 연구에 대한 새로운 아이디어와 접근 방식을 소개하는 [연구에 대한 내용과 방법론적 전문 지식]을 모두 갖춘 검토자를 식별하는 것을 어렵게 만든다는 것을 인식한다.

• 우리는 [보고 지침]이, 콘텐츠 전문지식을 가질 수 있는 영역에서 [생소한 방법론을 접하는 검토자]에게 [잠재적으로 유용한 리소스]로 보고한다.
• 우리는 또한 [보고 지침]을, 방법론을 잘 알기 때문에 비전문가 독자에게는 더 많은 설명이 필요한 결정, 절차 또는 용어를 당연하게 여길 수 있는 전문가에게 [유용한 리마인더]라고 본다.

요약하면, 우리는 가이드라인을 검토 프로세스를 표준화, 훼손 또는 비숙련화하려는 시도가 아니라, 리뷰어가 각 원고에 가져오는 탁월한 통찰력을 향상시키기 위한 도구로 본다.
We rely heavily on the expertise of peer reviewers, who are a critical part of our scholarly community and process. We are committed to finding reviewers with the necessary expertise to fairly and critically judge the quality of manuscripts. At the same time, we recognize that the breadth of philosophical orientations and methodologies in a multidisciplinary field such as health professions education makes it challenging to identify reviewers with both content and methodological expertise for all studies, especially for studies introducing new ideas and approaches to health professions education research.

• We see reporting guidelines as a potentially helpful resource for reviewers who encounter unfamiliar methodology in an area where they may have content expertise.
• We also see reporting guidelines as useful reminders for experts who may know the methodology well and take for granted decisions, procedures, or terminology that warrant more explanation for nonexpert readers.

In sum, we view guidelines as a tool to enhance the excellent insights that reviewers bring to each manuscript, not as an attempt to standardize, undermine, or de-skill the review process.

특히 학술 의학은 연구 원고에 대한 검토 기준을 제공한다. 검토 기준은 검토자가 원고를 평가하고 저자와 편집자에게 유용한 피드백을 제공하는 데 도움을 주기 위한 것이다.
Of note, Academic Medicine provides review criteria for research manuscripts (available at https://store.aamc.org/review-criteria-for-research-manuscripts.html). Review criteria are meant to assist reviewers in evaluating manuscripts and providing helpful feedback to authors and editors.

편집자
Editors

이 저널의 편집팀으로서, 우리는 출판을 위해 받아들여진 원고가 독자들에게 연구의 신뢰성을 판단하고 연구 결과를 어떻게 사용할지에 대한 정보에 입각한 결정을 내리는 데 필요한 정보를 제공할 수 있도록 최선을 다하고 있습니다. 일부 원고들은 그들의 메시지를 명확하게 전달하기 위해 제안된 제한보다 더 많은 단어를 필요로 할 것이며, 우리는 이것을 사례별로 고려할 용의가 있다. 학술 의학에 제출된 모든 원고는 편집 및 직원 팀의 최소 2명의 구성원에 의해 평가됩니다. 우리는 스스로 새로운 방법론에 대해 배우고, 우리가 여러 관점을 가지고 있는지 확인하기 위해 원고에 대한 어려운 결정에 대해 논의한다. 우리는 저자가 보고 지침을 체크리스트로 사용하도록 요구하지는 않지만, 저자가 자신의 작업에 대한 보고를 최적화했는지 확인하기 위한 방법으로 특정 지침을 검토할 것을 권고할 수 있다. 
As the journal’s editorial team, we are committed to ensuring that manuscripts accepted for publication provide readers with the information they need to judge the credibility of studies and make informed decisions about how to use study findings. Some manuscripts will require more words than the suggested limits to convey their messages clearly, and we are willing to consider this on a case-by-case basis. Every manuscript submitted to Academic Medicine is also assessed by at least 2 members of the editorial and staff team. We learn about new methodologies ourselves and discuss challenging decisions about manuscripts to ensure that we bring multiple perspectives to bear. While we do not require authors to use reporting guidelines as a checklist, we may recommend that authors review a particular guideline as a way to ensure that they have optimized the reporting of their work.

요약
Summing Up

보고 지침의 현명한 사용에 대한 우리의 권고가 보건 전문 교육 출판물에서 그러한 지침의 역할에 대한 다른 관점을 통합하기를 바란다. 우리는 보고 지침의 존재에 대한 인식을 높이고, 이에 대한 지속적인 교육을 장려하며, 우리 커뮤니티에서 보고 지침 사용에 대한 사려 깊은 대화를 자극하는 것을 목표로 한다. 진행 중인 대화에는 보건 전문 교육 연구를 위한 보고 지침의 유용성과 관련성에 대한 고려가 포함되어야 하며, 이상적으로는 명확한 의사소통을 촉진하고 우리 분야의 엄격함을 증진시키는 보고 지침의 가치에 대한 새로운 연구 기회를 이끌 것이다.
Our recommendation of judicious use of reporting guidelines will, we hope, unify different perspectives on the role of such guidelines in health professions education publications. We aim to increase awareness of the existence of reporting guidelines, encourage ongoing education about them, and stimulate thoughtful dialogue about the use of reporting guidelines in our community. Ongoing dialogue must include consideration of the utility and relevance of reporting guidelines for research in health professions education and, ideally, will lead to new opportunities for research on the value of reporting guidelines in fostering clear communication and furthering rigor in our field.

이름에 무엇이 있는가? 질적 서술 다시 보기 (Res Nurs Health. 2010)
What’s in a Name? Qualitative Description Revisited
Margarete Sandelowski*

내가 10년 전 '질적 묘사에 무슨 일이 일어났는가'(샌델로프스키, 2000)를 구상하고 썼을 때, 나는 그것을 비판과 해명으로 읽힐 것을 의도했었다. 이 비판은 질적 건강 연구 보고서에서 오늘날에도 여전히 지속되는 상황에 대한 것으로, 이 방법들이 사용된 증거를 보여주는 발견을 만들기 위해 방법(예: 근거 이론, 현상학)을 사용했다고 주장하는 것이다. 이러한 연구들을 수행한 사람들이 합법적으로 주장할 수 있는 방법론적 접근법에 대한 해명이었지만, 방법론 텍스트에서 독특한 방법으로 식별되는 경우는 거의 없다. 그 2000년 기사에서, 나는 질적 기술을 다른 질적 방법과 구별될 수 있고 기초적인 것으로 제시했다. 나는 정성적 연구와 정량적 연구 모두에서 서술의 종류를 간략하게 비교함으로써 해석의 정도에 따라 다양한 종류의 서술들을 차별화했다. 또한 표본추출(최대변동), 자료수집(개인 또는 포커스 그룹 인터뷰), 자료분석(질적 내용분석의 변이)에 대한 전형적인 접근방법 등 질적 서술연구의 이론적 위치(자연주의)와 설계특징을 정리하였다.
When I conceived and wrote ‘‘Whatever Happened to Qualitative Description?’’ (Sandelowski, 2000) 10 years ago, I had intended it to be read as a critique and as a clarification. The critique was of the state of affairs that still persists today in reports of qualitative health research, that of claiming to have used methods (e.g., grounded theory, phenomenology) to produce findings that show no evidence these methods were used. The clarification was of a methodological approach that those who conducted such studies could—in many of these instances—legitimately claim, but that is rarely identified as a distinctive method in methods texts. In that 2000 article, I presented qualitative description as both distinguishable from, and foundational to some, other qualitative methods. I differentiated various kinds of description by degree of interpretation by briefly comparing varieties of description in both qualitative and quantitative research. I also summarized the theoretical location (naturalism) and design features of qualitative descriptive studies, including typical approaches to sampling (maximum variation), data collection (individual or focus group interviews), and data analysis (variants of qualitative content analysis).

이 기사는 처음 등장한 이후 10년 동안 간호 및 건강 연구소에서 가장 많이 다운로드되고 자주 인용되는 기사 중 하나가 되었다. 이것은 확실히 기쁘지만, 내가 소유하지 않은 방법과 내가 지지하지 않는 합법적인 주장과 관행에 대한 소유권을 나에게 할당하는 것이 잘못 사용되는 것을 일상적으로 보아왔기 때문에 실망스럽기도 하다. 후견의 20/20 비전을 습득한 나는 이러한 오해가 내가 의미하는 바를 충분히 전달하지 못한 것과 질적 연구 방법을 차별화하는 끈질긴 도전 모두에서 비롯된다는 것을 알게 되었다. 이 글에서, 나는 주요 오해를 바로잡고 그 근저에 있는 명명 문제를 더 분명히 한다.
In the decade since it first appeared, this article has become one of the most downloaded and frequently cited in Research in Nursing & Health (see the virtual compendium at http://www.wiley. com/bw/vi.asp?ref¼0160-6891&site¼1). Although this is certainly pleasing, it has also been disheartening as I have routinely seen it misused to assign ownership to me of a method I do not own and to legitimate claims and practices I do not support. Having acquired the 20/20 vision of hindsight, I see that these misuses derive both from my failure adequately to convey what I meant and from the persistent challenge of differentiating qualitative research methods. In this article, I correct key misconceptions and make more explicit the naming problems at their roots.

오해 수정
CORRECTING MISCONCEPTIONS

[질적 묘사Qualitative Description]는 나만의(또한 다른 사람만의) 방법이 아니다.
Qualitative Description Is Not My (Nor Anyone Else’s) Method

2000년 기사에서 나는 내가 개발한 방법을 발전시키기 위해서가 아니라, [이미 오래 전부터 존재해 온 방법론적 접근법]을 정의하려고 했다. 그것의 다양한 추측과 그것을 특징짓는 샘플링, 데이터 수집 및 데이터 분석 기법의 절충적인 조합을 고려할 때, 질적 기술은 결코 한 사람이 발명한 어떤 방법으로도 묘사될 수 없다. 실제로, 정성적 서술적 연구가 수행되는 방식은 매우 다양하고, 이러한 연구가 전혀 [한정된 실체bounded entity]로 보이지 않는 데 기여했을 가능성이 있다. 그러나 일반적으로 [방법]이라고 불리는 모든 엔티티는 다양성(즉, 방법 내 변동의 상당 부분)을 포함한다. 더욱이, 더 넓은 의미에서, 모든 방법은 사용자 손에 달려있다. 즉, 방법이 사용될 때마다 다시 발명된다. 부분적으로는 연구 보고서의 한계 부분에서 분명히 드러나는 연구를 수행하려는 노력에 존재하는 제약 때문에, 그것에 대한 교과서적인 묘사에 완벽하게 부합하는 방법의 실행은 있을 수 없다. 실제로, [순수한 방법]을 구성하는 [한정된 실체bounded entity]라는 것은 없다. 나는 이 기사의 후반부에서 이 주제로 돌아갈 것이다.
In the 2000 article, I sought to define a methodological approach already long in existence, not to advance a method I had developed. Given its various guises and the eclectic combinations of sampling, data collection, and data analysis techniques characterizing it, qualitative description could never be described as any one method that any one person invented. Indeed, the very diversity in the conduct of qualitative descriptive studies likely contributed to these studies not being seen as bounded entities at all. Yet, all of the entities commonly referred to as methods encompass diversity (i.e., a great deal of within-method variation). Moreover, in a larger sense, all methods become what they are in the hands of users; that is, methods are re-invented every time they are used. Partly owing to the constraints that exist in any effort to conduct research—evident in the limitations section in research reports—there can be no execution of any method that perfectly conforms to any textbook depiction of it. Indeed, there is no it; there is no bounded entity constituting a pure method. I will return to this subject later in this article.

따라서 연구자가 사용한 방법, 예를 들어 '산델로프스키(2000)'가 묘사한 질적 기술이라고 하는 것은 적절하지만, 질적 기술이라고 하는 것을 '산델로프스키의 방법'이라고 하는 것은 부적절하며, 단순히 [2000년 논문만을 참고한 질적 서술 디자인을 사용했다]고 말하는 것만으로는 충분하지 않을 것이다.연구자들은 여전히 샘플링, 데이터 수집 및 데이터 분석 기법의 특정 조합을 적절한 참조와 함께 설명해야 한다. 2000년 기사는 실제 콘텐츠 분석 기법에 대한 설명이 없기 때문에, [내용 분석]을 위한 유일한 참조로 사용될 수 없다. 마찬가지로, 2000년 논문은 이러한 전략에 대한 매우 간략한 개요만을 제공하기 때문에 사용되는 특정 샘플링 또는 데이터 수집 전략을 지원하는 데 사용될 수 없다.

Accordingly, although it is appropriate for researchers to refer to the method they used as, for example, ‘‘qualitative description as Sandelowski (2000) described it,’’ it is inappropriate to refer to qualitative description as ‘‘Sandelowski’s method.’’ Moreover, it would not be enough for researchers simply to state that they used a qualitative descriptive design with only a reference to the 2000 article. Researchers would still have to describe the particular combination of sampling, data collection, and data analysis techniques they used with appropriate references to support those techniques. The 2000 article cannot be used as the sole reference for content analysis as it contains no description of any actual content analysis technique. Similarly, the 2000 article cannot be used to support the particular sampling or data collection strategies used as it offers only a highly abbreviated overview of these strategies.

[질적 서술Qualitative Description]은 데이터 분석 및 해석의 실패를 정당화하지 않는다.
Qualitative Description Does Not Legitimate the Failure to Analyze and Interpret Data

나는 2000년 기사에서 [모든 서술은 필연적으로 해석적이지만 - 인간은 결코 "벌거벗은 순수한 눈으로 바라볼 수 없다" - 질적 서술 연구는 예를 들어 현상학적 또는 이론적 서술보다 덜 해석적]이라고 설명했다. 내가 소통하고자 했던 것은 질적 서술적 연구가 주어진 데이터에 더 가까운, 또는 [데이터-근접한 결과]를 산출한다는 것이었다. 나는 이어서 그러한 발견을 [주제 조사thematic survey]라고 칭하였다(Sandelowski & Barroso, 2007). 질적 건강 연구에서 지배적인 이러한 조사survey는, 예를 들어, [근거이론]이나 [푸코가 영감을 준 담론연구]보다, 훨씬 덜 변형된 데이터의 해석으로 구성된다. 주어진 데이터에 더 가깝지만, 이러한 주제 조사는 여전히 상세하고 미묘한 해석적 산물이다. 나는 이것을 "spin" (이 단어는 '거짓말'의 완곡어로서 더 자주 사용되어, 결과적으로 잘못된 단어 선택이 되었다)과 ["표면" 대 더 침투적인 데이터 읽기]또는 [행 안으로, 사이로, 너머로 읽기]와 반대되는 [행 그 자체로 읽기]에 대한 논의에서 전달하려고 노력했다. 임산부의 우려가 우려에 머무르고(Smeltzer, 1994) 의사의 인식이 지각에 머무른 데이터 근방 해석의 예를 들었다. 예를 들어, 이러한 우려와 인식은 체면치레, 만연한 문화적 담론에 대한 항의, 일탈 행위의 혐의를 물리치기 위한 도덕적 설명으로 해석적으로 변형되지 않았다.
I stated in the 2000 article that even though description of any kind was unavoidably interpretive— that human beings could never ‘‘look with a naked, innocent eye’’ (Pearce, 1971, p. 4)— qualitative descriptive studies were less interpretive than, for example, phenomenological or theoretical descriptions. What I had intended to communicate was that qualitative descriptive studies produced findings closer to the data as given, or data-near. I subsequently referred to such findings as thematic surveys (Sandelowski & Barroso, 2007). Dominant in qualitative health research, such surveys are composed of interpretations of data that are much less transformed than, for example, grounded theories or Foucault-inspired discourse studies. Although closer to the data as given, these thematic surveys are still detailed and nuanced interpretive products. I sought to convey this in my discussion of ‘‘spin’’ (admittedly an unfortunate word choice as it is used more often as a euphemism for lies), and of ‘‘surface’’ versus more penetrating readings of data, or readings of lines as opposed to into, between, over, or beyond lines (2000, pp. 335– 336). I cited examples of such data-near interpretations in which pregnant women’s concerns stayed concerns (Smeltzer, 1994) and physicians’ perceptions stayed perceptions (Geller & Holtzman, 1995). These concerns and perceptions were not, for example, interpretively transformed into instances of face-work, or protests against prevailing cultural discourses, or moral accounts to defeat charges of deviant behavior (e.g., Murphy, 1999).

그러한 서술적 연구의 최근 두 가지 예가 RNH 학술지에 발표되었습니다. 아버지 관여에 대한 줄리온, 그로스, 바클레이-맥러플린, 포그(2007) 연구(보고서에는 질적 서술에 대한 언급이 없다), 소아 간호사와 약물 투여에 대한 반 훌레 빈센트와 가디즈(2009)의 명시적 질적 서술적 연구이다. Julion et al. report에서, 비거주 아프리카계 미국인 아버지들의 포커스 그룹 생성 견해는 일반적으로 부권 개입과 특히 자녀에 대한 그들 자신의 개입에 대해 주제별로 분류되고 상세했다. Van Hulle Vincent and Gaddyz 보고서에서는 아동에게 모르핀을 투여하는 것에 대한 두 개의 비넷에 대응한 간호사들의 사고와 실천이 주제별로 그룹화, 계수, 상세 및 비교되었다. 이 두 연구 모두에서, 연구 결과에 대한 분석과 해석은 데이터에 가까운 상태로 유지되었다.
Two more recent examples of such descriptive studies published in Research in Nursing&Health are the Julion, Gross, Barclay-McLaughlin, and Fogg (2007) study of father involvement (the report of which contains no mention of the phrase qualitative description), and the Van Hulle Vincent and Gaddyz (2009) explicitly qualitative descriptive study of pediatric nurses’ and medication administration. In the Julion et al. report, non-resident African American fathers’ focus group-generated views of paternal involvement in general and of their own involvement with their children in particular were thematically grouped and detailed. In the Van Hulle Vincent and Gaddyz report, nurses’ thinking and practice in response to two vignettes about administering morphine to children were topically grouped, counted, detailed, and compared. In both of these studies, the analysis and interpretation of findings remained data-near.

해석의 정도에 따라 [다른 종류의 정성적 연구 및 정량적 조사]와 구별하기 위해 노력한 모든 공간에도 불구하고, 나는 정성적 서술적 연구가 [여전히 해석적]이라는 것을 충분히 전달하는 데 실패했다. 양적 연구의 해석적 요소가 양적 연구의 더 큰 투명성, 정밀성 및 객관성에 대한 논의에서 경시되거나 가려지는 경향이 있더라도, 모든 연구는 질적 또는 양적 측면에서 해석을 수반한다는 것이 혼란을 가중시킬 가능성이 있다. 또한 다른 종류의 정성적 연구와 마찬가지로 정성적 서술적 연구가 통계적 분석을 포함할 수 있다는 점도 혼란의 한 원인이 된다. 
Despite (or, perhaps, because of) all of the space I devoted to trying to differentiate—by degree of interpretation—qualitative descriptive from other kinds of qualitative studies and from quantitative surveys, I failed adequately to communicate that qualitative descriptive research is still interpretive. Likely adding to the confusion is that all research, whether qualitative or quantitative, entails interpretation even if the interpretive component of quantitative research tends to be downplayed or masked in discussions of the greater transparency, precision, and objectivity of quantitative research (Kritzer, 1996; Sandelowski, Voils, & Knafl, 2009). Also contributing to confusion is that qualitative descriptive studies (like other kinds of qualitative studies) may include statistical analyses.

내가 결코 소통하려고 의도하지 않았던 것은, [질적 서술]이 연구자의 [분석이나 해석을 할 의무를 완전히 없앤다]는 것이다. 2000년 기사의 일부 독자들은 '사건 사실의 일상언어 제시'라는 문구를 마치 연구의 finding을 [면담자료의 무분별하게 선별되고 해석되지 않은 부분(즉 인용)을 제시하는 것]을 의미한다고 받아들이고 있다. 그들은 다음을 전제한다.

• (a) 데이터는 데이터 스스로 무언가를 말해준다. 
  
• (b) 연구자들은 (목소리를 내지 않는 사람들을 위해) 이러한 데이터가 도출된 참가자를 대변해서는 안 된다. 

What I never intended to communicate was that qualitative description removes the researcher’s obligation to do any analyzing or interpreting at all. Some readers of the 2000 article have taken the phrase ‘‘the presentation of the facts of the case in everyday language’’ (p. 335) to mean the presentation of indiscriminately selected and uninterpreted segments (i.e., quotations) of interview data as if they were findings, on the premises

• that (a) such data speak for themselves or
• that (b) researchers should not (in the interests of voicing the voiceless) speak for the participants from whom these data were derived.

그러나 데이터는 결코 스스로를 대변하지 않으며, 연구자들이 데이터를 해석하려고 할 때 비윤리적으로 행동한다는 생각은 [해석의 엄격함, 책임 및 위험을 피하기 위한 핑계]가 될 수 있다. 유감스럽게도, 일부 독자들은 또한 "연구자들이 그들의 데이터에서 멀리 또는 그들의 데이터로 이동할 것을 요구하지 않는다"라는 문구를 [사실상 (연구자는) 전혀 움직이지 않는다]는 의미로 받아들였다. 데이터가 단순히 "재생산"되거나 "축하celebrated"될 것이라는 생각만큼 그 당시나 지금이나 내 의도와는 거리가 먼 것은 없다. 질적 서술적 연구를 포함해서, 질적 연구는 항상 어딘가로 이동해야 한다: 연구자들이 그들의 데이터로 무언가를 만드는 것이다.
But, data never speak for themselves, and the idea that researchers are behaving unethically when they seek to interpret those data is too often a pretext to avoid the rigors, responsibilities, and risk of interpretation (Sandelowski, 2004). Regrettably, some readers also have taken the phrase ‘‘do not require researchers to move as far from or into their data’’ (p. 335) to mean virtually no movement at all. Nothing could be further from my intentions then or now than the idea that data are simply to be ‘‘reproduced’’ or ‘‘celebrated’’ (Atkinson, 2005, paragraph 3). Qualitative research, including qualitative descriptive research, always requires moving somewhere: that researchers make something of their data.

질적 서술적 연구는 이론이 없지 않다.
Qualitative Descriptive Studies Are Not Atheoretical

질적 연구방법 카탈로그에서 질적 서술적 연구를 최소한의(그러나 여전히) 해석적 연구로 묘사하는 것 외에도, 나는 이러한 연구를 [''최소한의 '이론적']연구라고 묘사했다. 내가 전하고 싶었던 것은 방법의 이론적/철학적 기초(예를 들어, 근거이론의 기초로서의 상징적 상호작용주의)와 조사 중인 현상에 대한 이론적 지향(예를 들어, 낙인 이론을 통한 항레트로바이러스 약물 부착성 보기)에 관한 것이었다. 나는 자연주의naturalism를 질적 서술적 연구의 전형적인 이론적 토대로서 간략하게 논하고, 그것을 연구를 수행하는 것으로 알려진 인공적인 기업artifice-laden에서는 가능한 한 인공적으로 자유로운free of artifice 방식으로 현상을 연구하겠다는 의지를 담고 있다고 정의했다.
In addition to depicting qualitative descriptive studies as the least (but still) interpretive studies in the catalogue of qualitative research methods, I described these studies as the ‘‘least ‘theoretical’’’ (2000, p. 337). What I wanted to convey was something about both the theoretical/philosophical foundation of methods (e.g., symbolic interactionism as a foundation for grounded theory), and the theoretical orientation toward the phenomena under investigation (e.g., viewing antiretroviral medication adherence via stigma theory). I briefly discussed naturalism as the typical theoretical foundation for qualitative descriptive studies, and defined it as entailing a commitment to studying a phenomenon in a manner as free of artifice as possible in the artifice-laden enterprise known as conducting research.

나는 이제 내가 질적 서술적 연구에서 이론의 역할에 충분한 주의를 기울이지 않았거나, 질적 서술적 연구가 2000년 논문에서 정의된 것처럼 최소한 (배타적이지는 않지만) 자연주의적이라는 것을 충분히 강조하지 않았다는 것을 알 수 있다. [방법과 방법론(method and methodology)이라는 단어]는 [세계에 대한 이해와 그것을 아는 방법]을 포함하며, [이론, 철학 또는 패러다임]으로 다양하게 언급된다. 종종 상호 교환적으로 사용되지만,

• [방법/방법론]은 탐구를 위한 다소간의 이론적/철학적 방향을 내포하고 있는 반면,
• [테크닉]은 방법(샘플링 및 데이터 수집 및 분석 기술)을 운용하기 위한 방식을 내포하고 있다.

예를 들어, 하나의 방법으로 제시되는 경향이 있지만, [포커스 그룹]은 여러 다른 방법에서 데이터를 생성하는 데 사용될 수 있다. 포커스 그룹이 그 자체로 구상되고 실행되는 방법, 그리고 포커스 그룹에서 생성된 데이터가 처리되는 방법은 운영을 위해 선택된 방법을 반영해야 한다.
I can see now that I did not give enough attention to the role of theory in qualitative descriptive studies, or emphasize enough that qualitative descriptive studies were at the very least (albeit not exclusively) naturalistic as defined in the 2000 article. The words method and methodology entail some understanding of the world and how to know it, variously referred to as theory, philosophy, or paradigm. Although they are often used interchangeably,

• method/methodology connote some theoretical/philosophical orientation to inquiry, while
• technique connotes ways to operationalize method (e.g., techniques for sampling and for data collection and analysis).

For example, although it tends to be presented as a method, the focus group can be used to generate data to operationalize different methods; the way a focus group is itself conceived and executed, and the way the data generated from it will be treated, ought to reflect the method it was selected to operationalize.

내가 결코 전하고자 하지 않았던 것은. 질적 서술이 "이론적이거나 규율적인 토대를 완전히 벗긴" 방법이라는 것이다(Thorne, 2008, p. 35). 어떤 종류의 연구도 그렇게 개념적으로 드러날 수 없으며, 심지어 그 보고서에 명시적으로 명시된 "이론"을 제공하지 않는 연구도 있을 수 없다. [질적 서술적 연구]가 ['"표현상에 대한 어떤 단일한 이론적 관점에 대한 선험적 약속을 수반하지 않는다"]고 명시함으로써, 나는 무심코 연구자들이 그들의 질적 연구에 순진하게 접근해야 하고, 선입견 없이 접근할 수 있다는 잘못된, 그러나 끈질긴 개념에 기여했다. 그러나 이론에 대한 헌신이 없다고 해서, 이론의 영향을 전혀 받지 않는 것은 아니다. 모든 단어는 이론이다. [연구자들이 그들의 주제에 대해 말하는 바로 그 방법]은, 그들이 이러한 성향을 그렇게 제시하든 심지어 그들을 인식하든 말든 상관없이, 그들의 성향을 반영한다. 예를 들어, 상실에 대한 어떠한 명시적인 이론이 없는 경우에도 유산을 손실로 묘사하는 것은 유산을 정의하는 것이 아니라, 오히려 그것을 이론화하는 것이다.
What I never intended to convey was that qualitative description was a method ‘‘stripped entirely of its theoretical or disciplinary underpinnings’’ (Thorne, 2008, p. 35). No study of any kind could ever be so conceptually naked, even studies the reports of which offer no explicitly stated ‘‘theory.’’ By stating that qualitative descriptive studies entail ‘‘no a priori commitment to any one theoretical view of a target phenomenon’’ (2000, p. 337), I inadvertently contributed to the mistaken but persistent notion that investigators must and can approach their qualitative studies naively, meaning with no preconceptions. Yet, having no commitment to a theory does not mean not being influenced by theory at all. Every word is a theory; the very way researchers talk about their subject matter reflects their leanings, regardless of whether they present these inclinations as such or even recognize them. For example, even in the absence of any explicit theory of loss or bereavement, to portray miscarriage as a loss is not to define miscarriage, but rather to theorize it.

다음의 두 가지 사이에는 큰 차이가 있다

• 열린 마음이지만 연구 분야에 들어가는 선입견(이론적 기울기 포함)을 염두에 두는 것.
  
• 머리를 완전히 비워 두는 것. 

[후자]는, 완전히 기능하는 뇌를 가졌다면, 어떤 인간에게도, 그리고 그들이 이미 많이 알고 있거나 혹은 알고 있어야 할 것들을 연구하는 경향이 있는 연구자들에게도, [불가능한 일]이다. Nowhere에서 가지는 관점이라는 것은 없다. 관점을 가진다는 것은 어딘가에 서 있는 것을 의미한다. 질적 연구에 착수하는 연구자들의 의무는 (자신과 타인을 위하여) 연구를 시작할 때 그들이 어디에 있었는지 명시하는 것이다(일반적으로 이론과 경험적 문헌의 검토를 통해 달성된다). 그리고 그들의 추가 조사가 정당하다면 그곳에서 떠날 준비가 되어 있고 기꺼이 떠날 것이다. 질적 기술 연구는 대상 현상에 대한 이론이나 데이터를 수집하거나 분석하기 위한 틀에서 시작할 수 있지만, 그것이 이 이론이나 틀을 지키겠다는 약속을 의미하지는 않는다.

There is a vast difference between

• being openminded yet mindful of the preconceptions (including theoretical leanings) one has entering a field of study and
• being empty-headed, an impossibility for any human being with a fully functioning brain and for investigators who tend to study things about which they already (or should) know a great deal.

There is no such thing as a view from nowhere; having or taking a view means standing somewhere (Haraway, 1991). The mandate for researchers embarking on any qualitative study is to make explicit—for themselves and others—where they were when they began their studies (usually accomplished via a review of theoretical and empirical literature), and to be ready and willing to move away from there if their further investigations warrant it. Qualitative descriptive studies may begin with a theory of the target phenomenon or a framework for collecting or analyzing data, but that does not mean a commitment to stay with this theory or framework.

이론은 데이터를 보는 바로 그 방식에서도 나타난다. 알라수타리(1995)는 데이터에 대한 "사실주의"와 "표본주의" 관점을 구별했다.

• 예를 들어, 인터뷰 데이터의 [사실주의적 관점]은 이러한 데이터가 다소 정확하고 진실된 현실의 지표라고 가정한다. 이러한 데이터는 믿음, 행동 및 사건의 문서적 흔적이며, ["진짜" 진행 중인 것]을 전달하기 위해 사용된다. 질적 내용 또는 주제 분석, 즉 질적 서술적 연구에서 일반적으로 사용되는 분석 기법은 주로 이러한 사실주의적 관점에 기초한다. 사실주의적 관점은 그것의 "사실성"에 의문을 제기하지 않는 세계관으로서의 자연주의에 대한 이해와 양립가능하다(Harris, 2003, p. 203; Gubrium & Holstein, 1997 참조).
• 이와는 대조적으로 [표본]의 관점에서 [인터뷰 데이터는 현실의 지표가 아니라 연구된 현실의 일부], 즉 그 자체가 조사 대상으로 간주된다. 예를 들어, 특정 형태의 담화 분석에서 인터뷰 데이터는 실제 사건이나 경험의 지표가 아니라 자아가 만들어지는 언어 수행으로 취급된다(Hardin, 2001).

Theory appears too in the very way data are viewed. Alasuutari (1995) differentiated between ‘‘factist’’ and ‘‘specimen’’ views of data.

• For example, a factist perspective of interview data assumes these data to be more or less accurate and truthful indexes of reality ‘‘out there.’’ These data are taken to be documentary traces of beliefs, behaviors, and events, and to convey what is ‘‘really’’ going on. Qualitative content or thematic analyses, the analysis techniques typically used in qualitative descriptive studies, are largely based on this factist perspective. The factist perspective is compatible with another understanding of naturalism as a view of the world that does not question its ‘‘facticity’’ (Harris, 2003, p. 203; see also Gubrium & Holstein, 1997).
• In contrast, from a specimen perspective, interview data are seen not as indexes of reality but rather as part of the reality studied, that is, as themselves objects to be investigated. For example, in certain forms of discourse analysis, interview data are treated not as indices of actual events or experiences, but rather as language performances in which selves are created (Hardin, 2001).

정성적 설명은 기본적Default 또는 구원적Salvage 방법이 아닙니다.
Qualitative Description Is Not a Default or Salvage Method

나는 2000년 기사에서 질적 서술적 연구는 유용한 연구 목적에 도움이 되며, 따라서 그러한 목적을 달성하기 위해 정당하고 능동적으로 선택될 수 있다고 말했다. 나는 [잘못 개념화되거나 행해진 연구]에 질적 기술이라고 이름 붙일 의도는 없었다. 2000년 논문은 (논문위원회나 인간 주제와 소통하기 어렵거나, 질적 연구에 익숙하지 않거나, 심지어 연구비 검토 패널을 부여하는 것이 더 어렵다고 여겨지기 때문에) 더 해석적인 질적 연구를 수행하지 않는 것을 정당화하기 위해 사용되어서는 안 된다. 나는 질적 연구에 대한 지식이 한정되어 있거나, 질적 연구에 대한 반감을 가지고 있거나, 질적 서술을 '가벼운 연구'로 인식하는 청중에게 질적 연구를 더 소비할 수 있도록 하려는 의도는 결코 없었다. 나는 또한 다른 방법의 "co-option"으로서 질적 서술을 만들 의도도 없었다(Barbour, 2003). 또는 그러한 성가신 숫자가 모두 없더라도 정량적 연구와 비슷하게 만들어진 정성적 연구로 묘사할 의도도 없었다.

I stated in the 2000 article that qualitative descriptive studies serve useful research purposes and could, therefore, be justifiably and proactively chosen to fulfill those purposes. I had not intended that studies be named qualitative description after the fact to give a name to poorly conceived and conducted studies. The 2000 article should not be used to justify not conducting more interpretive qualitative work because that work is deemed harder to do, or harder to communicate to a dissertation committee or to human subjects or grant review panels unfamiliar with or even resistant to qualitative research. I never intended to make qualitative research more consumable by an audience with limited knowledge of and/or antipathy to qualitative research, or qualitative description to be seen as research-light: a drive-by, ‘‘quick fix, data to go, smash-and-grab’’ affair (Atkinson & Delamont, 2006, p. 749). I also did not intend to advance qualitative description as a ‘‘co-option’’ of other methods (Barbour, 2003), or as qualitative research made over to resemble quantitative research, albeit without all those pesky numbers.

이름이 없는 것에 이름 짓기의 문제
THE PROBLEM OF NAMING THAT HAS NO NAME

나는 2000년 기사에서 내 의도를 충분히 전달하지 못했다. 그러나, 또한 그 기사가 만들어낸 오해들의 근원에는 이름을 짓고 방법을 차별화하는 질적 연구의 지속적인 문제가 있다. 질적 기술, 근거 이론, 현상학과 같은 이름들은 서로 명확하게 구별되는 잘 정의된 실체들이 그 안에 상주해야 하는 [경계boundaries]를 시사signal한다. 이 이름들은 분류 체계에 대한 신호이며, 그러한 다른 모든 체계와 마찬가지로, [탐구 세계를 질서화하는 고정된 방법]인 것처럼 취급되는 경향이 있다. 실재적이고 정적인 것으로 인식되어 실제 효과를 발휘한다(Bowker & Star, 2000).
I failed adequately to convey my intentions in the 2000 article. Yet, also at the root of the misconceptions the article generated is the persistent problem in qualitative research of naming and thereby differentiating methods. Names, such as qualitative description, grounded theory, and phenomenology, signal boundaries within which well-defined entities clearly differentiated from each other are supposed to reside. These names signal a classification system that, like all such systems, tends to be treated as if it were a fixed way of ordering the world of inquiry. Perceived as real and static, they exert real effects (Bowker & Star, 2000).

나는 현재 "내 연구를 뭐라고 부르느냐"는 질문을 받고 있다. 또는 만약 연구 보고서의 저자가 그것을 "이 연구를 뭐라고 부르느냐?"라고 하지 않았다면, 나는 제임스 미치너의 소설 체서피크(1978)에서 20여 년 전에 베꼈던 몇 구절을 기억한다.
I am recurrently asked, ‘‘What do I call my study,’’ or, if the author of a research report did not name it, ‘‘What do you call this study?’’ I recall some lines I copied more than 20 years ago from James Michener’s novel Chesapeake (1978):

그러나 그는 항상 노동자가 진정한 숙달에 도달할 수 없는 필수적인 도구가 부족했다. 그는 그가 만들고 있는 부품의 이름을 알지 못했고, 이름이 없으면 예술적으로 불완전했다. 의사, 변호사, 정육점 주인이 그들이 한 일에 대해 구체적이지만 비밀스러운 이름을 발명한 것은 우연이 아니었다. 그 이름을 소유하는 것은 비밀을 아는 것이었다. 정확한 이름을 가진 사람은 새로운 숙련의 세계로 들어가 불가사의한 형제애의 일원이 되었고, 미스터리의 공유자가 되었고, 결국엔 [능력의 수행자performer of merit]가 되었다. 그 이름들이 없다면, 그 사람은 bumbler으로 남았거나, 배를 만드는 것이라면, 단순히 집목공으로 남았을 것이다.
But always he lacked the essential tool without which the workman can never attain true mastery; he did not know the names of any of the parts he was building, and, without the names, he was artistically incomplete. It was not by accident that doctors and lawyers and butchers invented specific but secret names for the things they did; to possess the names was to know the secret. With correct names, one entered into a new world of proficiency, became the member of an arcane brotherhood, a sharer of mysteries, and, in the end, a performer of merit. Without the names, one remained a bumbler or, in the case of boat building, a mere house carpenter (pp. 264–265).

보트 건조에서 조사로 바꾼다면, 연구는 신뢰할 수 있는 것으로 간주될 수 있는가, 아니면 이름이 없는데도 연구로 간주될 수 있는가?
Moving from boat building to inquiry, can a study be considered credible, or even a study at all, if it has no name?

질적 연구 방법에 대한 교육 텍스트는 이러한 방법들이 서로 [명확한 경계를 갖는 것]으로 묘사하는 경향이 있다. 그러나 이러한 경계는 경험적 차이와는 반대로 분석을 나타내기 때문에 [고도로 투과적]이다.

• 분석적 구별은 교육과 의사소통의 목적을 위해 만들어진다: 연구 방법과 같은 [복잡한 실체의 본질이나 속성을 정의]하는 것이다.
• 분석적 구별은 [현실에서는 서로를 구별하려는 노력에 저항하는 실체]를 구별하기 위해 만들어진다.

Instructional texts on qualitative research methods tend to depict these methods as having clear boundaries. Yet, these boundaries are highly permeable because they represent analytic as opposed to experiential distinctions.

• Analytic distinctions are made for the purposes of instruction and communication: to simplify the essence or defining attributes of complex entities, such as research methods.
• Analytic distinctions are made to distinguish entities that in real life resist efforts to distinguish them.

예를 들어, 민족학 연구는 종종 "근거 이론화"로 특징지어지며, 이는 다시 "방법론적 해석학"의 한 유형으로 생각할 수 있다. 그러한 연구는 민족학, 근거 이론, 해석학으로 중 무엇으로 명명되어야 하는가? 민족학 연구는 질병 서술의 유형론과 각 유형이 특정 담론을 수용하거나 항의하는 기능을 하는 과정을 산출할 수 있다. 그러한 연구는 근거 있는 이론, 민족학, 서술 또는 담론이라고 명명될 것인가? 고전 민족학은 종종 질적, 양적 데이터 수집과 분석을 수반하며, 일반적으로 하나 또는 몇 가지 환경에서 행동에 초점을 맞춘다. 그러한 민족지학은 혼합 방법 또는 사례 연구로 명명되어야 하는가? 
For example, ethnographic studies are often characterized by ‘‘grounded theorizing’’ (Hammersley & Atkinson, 2007, p. 166), which, in turn, may be conceived as a type of ‘‘methodical hermeneutics’’ (Rennie, 2000; Rennie & Fergus, 2006). Are such studies to be named ethnography, grounded theory, or hermeneutics? An ethnographic study may yield a typology of illness narratives and the process by which each type functions to accommodate or protest certain discourses. Is such a study to be named grounded theory, ethnography, narrative, or discourse? Classical ethnographies often entail both qualitative and quantitative data collection and analysis, and they are typically focused on actions in one or a few settings. Are such ethnographies to be named mixed-methods or case-study research?

실제로 이러한 이름 중 하나 이상이 허용되거나, 아예 그 어떤 이름도 허용되지 않을 수도 있습니다. 실제로 사회과학 저널에 게재된 민족지학 연구 보고서에서 이러한 연구들이 [이름 없는 상태]로 남아 있는 것을 보는 것이 일반적이다. 방법을 강조하는 간호학 저널에 게재된 그러한 연구의 보고서와는 달리, 사회과학 저널에 게재된 보고서는 종종 매우 축약된 방법 섹션을 포함하거나 엔드노트에 나타나는 간단한 설명만 포함한다. 이 보고서들은 대신 소견과 이론적 단계에 초점을 맞춘다. 이름은 [독자의 기대]를 불러일으키기 때문에, [어떤 이름을 선택할지, 또는 이름을 지을지 여부]는 저자가 연구 보고서가 ["어필"하기를 원하는 대상 독자]에게 어떤 신호를 보낼지에 달려 있다(Golden-Biddle & Locke, 1993)

In actual practice any one or more of these names, or even no name at all, might be acceptable. Indeed, in reports of ethnographic studies published in social science journals, it is common to see these studies remain un-named; some form of ethnography is understood to be the method. In contrast to reports of such studies published in nursing journals that emphasize method, reports published in social science journals often contain highly abbreviated methods sections or only brief descriptions appearing in an endnote; these reports are focused instead on findings and their theoretical staging. Because names create reader expectations, the choice of name(s), or whether to name at all, will depend on what authors believe will be signaled to the target audience to which they want their research reports to ‘‘appeal’’ (Golden-Biddle & Locke, 1993).

연구 실천의 실제 세계에서는 방법들이 서로 스며든다; 그것들은 교과서적인 묘사보다 훨씬 더 지저분하기 때문에, 그러한 묘사의 목적은 다음과 같이 지시하고 소통할 수 있도록 "지저분한 것"을 충분하게 청소하는 것이다. 이는 달리 말하면, 분류하고, 개별 방법 주위에 단단하고 천공되지 않은 선을 그으며, 방법 주위에 단단한 선을 그을 수 있는 것처럼 취급하는 것이다. 비록 이 기사의 범위를 벗어나지만, 심지어 연구를 질적 또는 양적으로 명명하는 것조차도 오해를 불러일으킬 수 있다. 가능한 경우 그러한 지정은 보다 명확한 지정에 유리하도록 피해야 한다. 예를 들어, 비기술적이고 전혀 정보가 없는 질적 데이터 대신, 표준화된 질문지조차도 "질적" 데이터 수집의 형태로 볼 수 있기 때문에, 독자는 연구자가 데이터(예: 인터뷰 데이터 필사본, 관찰 필드 노트)를 명명하는 것이 더 낫다(Sandelowski 등, 2009). 그러나, 정성적 또는 정량적이라는 용어의 사용은 크게 다음에 의해 특징지어지는 서술적 연구를 신호화하는 가장 좋은 방법일 수 있다.

• (a) 창발적 설계, 목적적 샘플링, 최소 구조화되고 개방된 데이터 수집 모드, 텍스트 분석 또는
  (b) 고정적 설계, 확률 표본 추출, 고도로 구조화된 데이터 수집 모드 및 폐쇄된 데이터 수집 모드 및 통계 분석에 의해 각각 결정된다.

In the actual world of research practice, methods bleed into each other; they are so much messier than textbook depictions as the purpose of such depictions is to clean up the ‘‘mess’’ (Law, 2004) sufficiently to instruct and communicate: to classify, to draw hard and not perforated lines around individual methods, to treat methods as if hard lines could be drawn around them. Although beyond the scope of this article, even naming research qualitative or quantitative can be misleading. Whenever possible, such designations should be avoided in favor of those that are more explicit. For example, instead of the nondescript and wholly uninformative qualitative data, readers are better served by researchers naming their data (e.g., transcripts of interview data, written field notes of observations) as even standardized questionnaires can be seen as a form of ‘‘qualitative’’ data collection (Sandelowski et al., 2009). Yet, the use of the terms qualitative and quantitative may simply be the best way to signal descriptive research largely characterized

• by (a) emergent design, purposeful sampling, minimally structured and open-ended modes of data collection, and textual analyses or
• by (b) fixed design, probability sampling, highly structured and closedended modes of data collection, and statistical analyses, respectively.

더욱이 질적 연구에서 방법의 분류는 매우 특이하다. 질적 연구에 대한 교훈적인 텍스트의 빠른 숙독이 보여주듯이, [단일한 분류 시스템이 작동하지 않는다]. 방법들이 서로 관련하여 어떻게 명명되고 정렬되는가, 그리고 어떤 방법들이 어떻게 묘사되는가(즉, 그것이 무엇에 사용되는가, 그것을 어떻게 하는가, 그리고 그것이 다른 방법들과 어떻게 대비되는가)는 [분야에 따라 특화]되어 있고, 또는 [기존의 이론적 또는 정치적 약속]에 의해 영향을 받는다. 분류 체계 자체도 이론적/철학적 계통, 방법 또는 기술에 따라 분류될 수 있다. 근거 이론이 제시되는 방식에 대한 수많은 변형variation과, 근거 이론을 하는 "올바른" 방법과 현상학을 하는 "잘못된" 방법에 대한 종종 격렬한 논쟁을 고려하라. 방법(및 방법론적 엄격성과 전문성을 너무 자주 지나치는 이러한 국경지의 치안 유지) 사이의 경계선을 더욱 복잡하게 만드는 것은, 정성적 연구에서는 방법론적 절차가 [(분석적 통찰력을)] [결정하거나 구성하기]보다는, [촉발]하는 기능이 더 많다는 것이다.
Moreover, in qualitative research the very classification of methods is highly idiosyncratic. As any quick perusal of didactic texts on qualitative research will show, there is no one classification system in play. How methods are named and ordered in relation to each other, and how any one method is depicted (i.e., what it is, what it is used for, howto do it, and howit contrasts with other methods), are discipline-specific and/or influenced by prior theoretical or political commitments. Classification systems can themselves be classified according to whether they are constructed around theoretical/philosophical lineage, methods, or techniques. Consider too the variations in how grounded theory is presented (Charmaz, 2006; Clarke, 2005; Strauss & Corbin, 1998) and the often strident debates about the ‘‘right’’ way to do grounded theory (Boychuk Duchscher, & Morgan, 2004; Walker & Myrick, 2006) and the ‘‘wrong’’ way to do phenomenology (Crotty, 1996; Darbyshire, 1999; Paley, 2005). Complicating the borderlands between methods (and the policing of these borderlands that too often passes for methodological rigor and expertise) is that in qualitative research, methodological procedures function more to trigger analytic insights than to determine or constitute them (Eakin & Mykhalovskiy, 2003).

이 모든 것이 방법론적 전통에 대한 정의적 속성도, 그것에 대해 만들어질 수 있는 일반화도, 학습되어야 할 서명 연산과 규칙도 없다는 것을 말하는 것은 아니다. 이 모든 것이 질적 연구의 수행에 어떤 것이든 진행된다는 것을 말하는 것은 아니다. 그러나 [정의와 일반화]를 위한 모든 노력(즉, 분류와 이름 지정)과 마찬가지로, 그들은 [방법의 실제 실천의 다양한 변형variation] 및 [방법이 살아있다는 사실]을 잘 포착하지 못한다. 방법은 전기와 역사를 가지고 있다. 근거 이론, 민족학, 임상시험의 역사와 진화를 고려하라. 방법의 수행performance은 항상 "상황에 놓여 있다situated". 방법은 항상 연구 실천의 실제 세계에 수용되고 바로 그 수용으로 인해 재창조되기 때문에, 어떤 방법도 완벽한 실행이란 없다. 민족지학을 "비선형 동적 시스템"으로 묘사하면서, Agar (2004, 페이지 19)는 다음과 같이 관찰했다. 방법론적으로 말하면, 연구는 항상 처음에 예측할 수 없는 방식으로 발전한다. [방법론의 스토리]는 [연구의 스토리]이다.'
All of this is not to say that there are no defining attributes of methodological traditions, nor generalizations that can be made about them, nor signature operations and rules associated with them that should be learned. All of this is not to say that anything goes in the conduct of qualitative research. But, like all efforts to define and generalize—that is, to classify and name—they do not capture well the variations in the actual practice of methods and the fact that methods are alive; methods have biographies and histories. Consider the histories and evolution of grounded theory, ethnography, and the clinical trial. The performance of method is always ‘‘situated’’ (Haraway, 1991). There is no perfect execution of any method as methods are always accommodated to the real world of research practice and, by virtue of that very accommodation, they are reinvented. Describing ethnography as a ‘‘nonlinear dynamic system,’’ Agar (2004, p. 19) observed that: ‘‘methodologically speaking . . . a study always develops in ways unforeseen at the beginning . . . The story of methodology is (emphasis in original) the story of the study.’’

방법은 실제 연구와 별개로 사용자가 없으면 독립적인 존재가 없다. 방법은, 다른 질적 연구 관행을 구별하는 특정 존재론적 및 인식론적 입장을 부정하지 않는 일반적인 "실천적 인식론"은, 사용자의 손에 있는 것이 된다. Becker는 다음과 같이 관찰했다
Methods have no independent existence without users and apart from actual studies. Methods become what they are in the hands of users, a generic ‘‘practical epistemology’’ (Becker, 1996, p. 57) that does not negate the particular ontological and epistemological positions that distinguish different qualitative research practices. Becker observed (p. 57):

많은 에너지가 철학적 세부 사항 때문에 낭비되고 있는데, 이것은 종종 연구자들이 실제로 하는 것과 거의 또는 전혀 관련이 없다. 연구자들은 사회생활의 현실에 적응하면서 이러한 입장을 실천한다. 따라서 그들의 활동은 철학적 입장을 참고하여 완전히 설명되거나 설명될 수 없다.
A lot of energy is wasted hashing over philosophical details, which often have little or nothing to do with what researchers actually do . . . Researchers work these positions out in practice . . . accommodat- (ing) to the realities of social life . . . Their activity thus cannot be accounted for or explained fully (italics added) by referring to philosophical positions.

내가 10년 전에 질적 서술적 연구와 다른 종류의 질적, 정량적 연구 사이에 선을 그은 것은 그저 [선을 긋기 위한 것]이었다. 이 선들은 단순하게 다루어서는 안 될 '단순화 장치simplifying device'였다. 그러나, "색조와 톤"에 관한 섹션에서, 나는 방법론적 국경 통과의 불가피성, 방법의 역동적 특성, 그리고 "지적 장인정신" (Mills, 1959/1978)과 우리의 의지에 굽히는 방법에 관련된 주의를 전달하는 데 있어서 너무 단순했다.
The lines I drew 10 years ago between qualitative descriptive and other kinds of qualitative and quantitative studies were for the sake of drawing lines; these lines were a ‘‘simplifying device’’ (Mol & Law, 2002, p. 4), not to be treated simplistically. Yet, in the section on ‘‘hues and tones’’ (Sandelowski, 2000, p. 337), I was much too simplistic in communicating the inevitability of methodological border crossings, the dynamic nature of methods, and the ‘‘intellectual craftsmanship’’ (Mills, 1959/1978) and care involved in bending methods to our will.

'광범위 잔여 범주'로서의 질적 서술
QUALITATIVE DESCRIPTION AS A ‘‘DISTRIBUTED RESIDUAL CATEGORY’’

이제 나는 질적 설명이 2000년 기사에서 내가 주장한 범주적 옵션도 아니고, 비 범주적 옵션인 Thorne(2008)이 '해석적 설명'을 설명하고 명명하는 것도 아니라는 것을 알게 되었다. 나는 질적 서술을 ‘‘distributed residual category’’ 라고 보게 되었다. Bowker와 Star(149–150)는 이렇게 설명했다.
I see now that qualitative description is neither the categorical option I claimed it to be in the 2000 article, nor the noncategorical option Thorne (2008) described and named ‘‘interpretive description.’’ I have come to see qualitative description instead as a ‘‘distributed residual category’’ (Bowker & Star, 2000, p. 149). As Bowker and Star (pp. 149–150) described them:

단순히 쓰레기 분류는 아니다. 어떻게 해야 할지 모르는 상황이 발생할 경우, [광범위 잔여 범주]는, [정확한 지정을 강요하는 것이 (확실성의) 잘못된 인상을 줄 수 있는 상황일 때], 불확실성을 시사한다. 
(far from being mere) garbage categories . . . where things get put that you do not know what to do with, (distributed residual categories) signal uncertainty . . . under conditions where forcing a more precise designation could give a false impression (of certainty).

• 정성적 방법의 분류에서 [광범위 잔여 범주]로서, 질적 설명은 방법의 분류를 구성하는 "작업 관행"을 가시화하고, 이러한 관행으로 인해 "암흑으로 방치된" 모든 것을 밝혀냄으로써, 방법과 탐구에 대한 보다 세밀한 이해를 가능하게 한다.
• As a distributed residual category in the classification of qualitative methods, qualitative description makes visible the ‘‘work practices’’ that constitute the classification of methods, brings to light all that is ‘‘left dark’’ (Bowker & Star, 2000, p. 321) by these practices, and thereby enables more finely grained understandings of methods and of inquiry.
• [광범위 잔여 범주]로서, 질적 서술은 질적 연구 "실천 공동체"로 구성된 "다양한 학자들의 연합"을 신호하여 한 종류의 질적 연구를 수행하는 것이 무엇을 의미하는지 재고하고 중요한 차이점에 초점을 맞춘다. (예: 샘플링된 사용자 또는 대상, 데이터 처리 방법, 데이터로부터 추론을 도출하는 방법과 관련이 있습니다.)
• As a distributed residual category, qualitative description signals the ‘‘confederacy of diverse groups of scholars’’ (Preissle, 2006, p. 687) comprising the qualitative research ‘‘community of practice’’ (p. 686) to take stock of what it means to conduct one kind of qualitative research versus another and to focus on the differences that matter (e.g., related to who or what is sampled, to the way data are treated, to the way inferences are drawn fromdata).
• [광범위 잔여 범주]로서, 정성적 설명은 정성적 설명과 정량적 설명 사이의 다공성 선을 가시화한다. 다양한 종류의 정성적 및 정량적 설명 중. 그리고 아마도, 가장 중요한 것은, 방법의 ''erosion''과 ''재발명'' 사이일 것이다.
• As a distributed residual category, qualitative description makes visible the porous lines between qualitative and quantitative description; among different kinds of qualitative and quantitative description; and perhaps, most importantly, between the ‘‘erosion’’ (Greckhamer & Koro-Ljungberg, 2005) and re-invention of method.
• [광범위 잔여 범주]로서, 질적 설명은 경험적 연구의 수행에서 방법보다 기술이 계속 우세해야 하는지 여부와 얼마나 우세해야 하는지에 대한 실천 분야에서의 논쟁을 중심에 놓기 위해 움직인다.
• As a distributed residual category, qualitative description moves to center stage the debate in the practice disciplines about whether and how much technique should continue to prevail over method in the conduct of empirical research (Chamberlain, 2000; Eakin & Mykhalovskiy, 2005; Hammersley, 2006; Rapport, Wainwright, & Elwyn, 2005).

결론
CONCLUSION

음, 나는 질적 묘사에 대한 2000년 기사에 대한 답방에서 내가 예상했던 것보다 훨씬 더 멀리(아마도, 너무 멀리 또는 충분히 멀리 있지 않은) 여행했다. [질적 기술의 모양qualitative description shape]을 주기 위한 나의 노력이 다소 잘못되었다는 것을 이제 알겠다. 방법론적 접근법을 명확히 하는 대신, 2000년의 논문은 질적 연구가 데이터의 해석과 반대로, [단순한 축하celebration만을 포괄할 수 있다는 잘못된 인식]을 강화하는 역할을 했다. 이번 논문은 자주 사용되는 방법론적 접근법에 이름을 붙이는 대신 '명명이 유발할 수 있는 긴장the tensions naming can engender'을 표면화하는 역할을 했다. Bowker와 Star가 결론 내렸듯이, "유일한 좋은 분류는 살아있는 분류"이며, 그 안에 우리의 변화하는 이해를 수용하기 위해 "세상을 재구성"할 수 있는 능력을 포함하도록 구축되는 것이다. [질적 서술qualitative description의 가치]는 그것의 사용이 만들어낼 수 있는 지식뿐만 아니라, [단순한 분류에 저항하는 살아있는 실체]로서 연구 방법을 제시하고 다루는 매개체vehicle로서도 존재한다.
Well, I have traveled much farther than I anticipated (perhaps, too far or not far enough) in my return visit to my 2000 article on qualitative description. I see now that my effort to give qualitative description shape—to remove it from the ranks of what Caelli, Ray, and Mill (2003) referred to as ‘‘generic qualitative research’’— was somewhat misdirected. Instead of clarifying a methodological approach, the article served to reinforce the misconception that qualitative research could encompass the mere celebration, as opposed to interpretation, of data. Instead of giving a name to a frequently used methodological approach, the article served to surface ‘‘the tensions naming can engender’’ (Jutel, 2009, p. 294). As Bowker and Star (2000, p. 326) concluded, ‘‘the only good classification is a living classification,’’ built to contain within it the capacity to ‘‘reconfigure the world’’ to accommodate our changing understandings of it. The value of qualitative description lies not only in the knowledge its use can produce, but also as a vehicle for presenting and treating research methods as living entities that resist simple classification.

질적 서술에 무슨 일이 있었는가? (Res Nurs Health. 2000)
Whatever Happened to Qualitative Description?
Margarete Sandelowski*

질적 연구자들은 이제 이론적으로나 기술적으로 정교한 방법들의 점점 더 많은 배열 중에서 선택할 수 있는 선택권을 가지고 있다. 따라서, 더 평범하고 상당히 "덜 섹시한"1 방법, 즉 [질적인 묘사]를 부활시키는 것은 이상하게 보일 수 있다. 그러나 정성적 기술의 재발견이 필요한 것은 바로 간호 연구에서 [정성적 방법의 복잡성]과 [방법의 횡포]이다.
Qualitative researchers now have the option to choose from an increasing array of theoretically and technically sophisticated methods. Accordingly, it may seem strange to resurrect a plainer and considerably ``less sexy''1 method: namely, qualitative description. Yet it is precisely the increasing complexity of qualitative methods and the tyranny of method in nursing research that makes the rediscovery of qualitative description necessary.

[기술 연구descriptive research]는 일반적으로 정량적 연구 설계 계층에서 가장 낮은 순위에 있는 것으로 연구 텍스트에서 묘사된다. 이 계층 구조에서 예측과 제어를 목표로 하는 "참" 실험은 금본위제이며 다른 모든 설계는 실험적이지 않고 약하다(예: 탤벗, 1995). 정량적 연구를 ''가장 조잡한 형태의 탐구'''로 묘사하는 견해(Thorne, Kirkham, & MacDonald-Emes, 1997, p. 170)는 질적 연구에 종사하는 연구자들에게 부정적인 영향을 미쳤을 가능성이 있으며, 그들 중 많은 사람들은 단순히 묘사 이상의 것으로 그들의 노력을 방어할 의무를 느꼈다. 즉, 그들은 현상학, 근거이론, 민족학, 또는 서사연구로 그들의 작품을 지정함으로써 ''인식론적 신뢰성''(p.170)을 추구했다. 그러나 너무 많은 경우에 이러한 노력은 현상학, 이론, 민족지학 또는 서술적 해석보다는 현상학, 근거이론, 민족지학 또는 서술적 연구에 대한 "가식posturing"를 초래했다(Wolcott, 1992). 아래와 같은 혼란스러운 상황이 존재한다.

• 최소한의 구조화된 개방형 인터뷰만 포함하면 '서사적' 라고 부른다.
  
• 참가자들의 "주관적" 경험에 대한 보고만을 포함하면, '현상학적'이라고 부른다.
  
• 서로 다른 민족 집단의 참가자들만을 포함하기만 하면, '민족지적'이라고 부른다.

Descriptive research is typically depicted in research texts as being on the lowest rung of the quantitative research design hierarchy. In this hierarchy, ``true'' experiments aimed at prediction and control are the gold standard and any other design is non-experimental and weak (e.g., Talbot, 1995). The view of description in quantitative research as the ``crudest form of inquiry'' (Thorne, Kirkham, & MacDonald-Emes, 1997, p. 170) likely has negatively influenced researchers engaging in qualitative research, many of whom have felt obliged to defend their efforts as something more than mere description. That is, they have sought ``epistemological credibility'' (p. 170) by designating their work as phenomenology, grounded theory, ethnography, or narrative study. In too many cases, however, this effort has resulted in ``posturing'' (Wolcott, 1992) about phenomenology, grounded theory, ethnography, or narrative study rather than in phenomenologies, theories, ethnographies, or narrative interpretations. A confusing state of affairs exists whereby studies are called

• narrative, even though they may include nothing more than minimally structured, open-ended interviews;
• phenomenologic, even though they may include nothing more than reports of the ``subjective'' experiences of participants; or,
• ethnographic, even though they may include nothing more than participants in different ethnic groups.

실제로, 그것들이 실습을 위한 귀중한 정보를 산출하는 가치 있는 연구일 수 있지만, 이러한 소위 서술적, 현상학적, 민족학적 연구는 종종 서술적, 현상학적, 민족학적 측면과 함께 [질적 서술적 연구]로 더 잘 설명할 수 있다. 나는 나중에 질적 연구의 과장된 주제로 돌아갈 것이다.
Indeed, although theymay undeniably be worthwhile studies that yield valuable information for practice, these so-called narrative, phenomenologic, and ethnographic studies are often better described as qualitative descriptive studies, albeit with narrative, phenomenologic, and ethnographic overtones. I will return to the subject of overtones in qualitative research later.

현재 방대한 질적 방법 문헌에서, 다른 질적 방법과 동등한 지위를 갖는 독특한 방법으로서 [질적 묘사qualitative description]에 대한 포괄적인 설명은 없지만, 실천 분야에서 가장 자주 사용되는 방법론적 접근법 중 하나이다. 따라서 본 논문에서는 [정성적 묘사qualitative description]를 방법론적 곡예에 의존하지 않고 연구자들이 부끄럽지 않게 주장할 수 있는 방법이라고 설명한다. 나의 질적 서술에 대한 발표는 부분적으로 Thorne, Kirkham 및 MacDonald-Emes의 "해석적 서술"(1997)에 대한 통찰력 있는 논의에서 영감을 받았지만, 그 논의와 "방법론적 정통성"에 대한 Thorne의 이전 관련 토론(1991)에서 세 가지 방식으로 출발한다.

• 첫째로, 나는 질적 설명qualitative description을 조사를 위한 "비범주적 대안"과는 달리 [범주적]으로 본다. 즉, 그 방법은 근거 이론, 현상학 및 민족지학의 새롭고 독특하게 간호된 적응인 것과는 달리 이미 존재하지만 상대적으로 인식되지 않는다.
• 둘째, 질적 서술적 연구는 연구자들이 자료에서 멀리 또는 자료로 이동할 것을 요구하지 않는다는 점에서 "해석적 서술"보다 [덜 해석적]이라고 본다.
• 셋째, 개념적이거나 매우 추상적으로 데이터를 렌더링할 필요가 없습니다. 질적 묘사에 대한 나의 묘사는 다른 질적 연구의 ''진입점'''이라기보다는 [그 자체로 완전하고 가치 있는 최종 산물]을 생산하는 것으로 본다는 점에서 아르티니안(1988)의 ''기술적 모드'''에 대한 유용한 논의에서 출발한다. (반면, 그녀는 qualitative description을 근거 이론 탐구의 필수 전주곡으로 제시했다.)
  
  

In the now vast qualitative methods literature, there is no comprehensive description of qualitative description as a distinctive method of equal standing with other qualitative methods, although it is one of the most frequently employed methodologic approaches in the practice disciplines. Accordingly, in this paper, I describe qualitative description as a method that researchers can claim unashamedly without resorting to methodological acrobatics. My presentation of qualitative description was inspired, in part, by Thorne, Kirkham, and MacDonald-Emes' insightful discussion of ``interpretive description'' (1997), but departs from that discussion and from Thorne's (1991) earlier related discussion of ``methodological orthodoxy'' in three ways.

• First, I see qualitative description as a categorical, as opposed to ``noncategorical alternative'' for inquiry; that is, the method already exists but is relatively unacknowleged, as opposed to being a new, distinctively nursing adaptation of grounded theory, phenomenology, and ethnography.
• Second, I see qualitative descriptive studies as less interpretive than ``interpretive description'' in that they do not require researchers to move as far from or into their data.
• Third, they do not require a conceptual or otherwise highly abstract rendering of data. My depiction of qualitative description departs from Artinian's useful discussion of the ``descriptive mode'' of qualitative inquiry (1988) in that I view it as producing a complete and valued end-product in itself, rather than as an ``entry point'' (p. 139) into other qualitative studies: as she presented it, as a necessary prelude to grounded theory inquiry.

나는 현상학, 근거이론, 민족학 등 다른 종류의 질적 설명과 구별하기 위해, 여기서 제시하는 방법을 [기본적 또는 근본적인 질적 설명qualitative description]으로 지칭한다. 현상학, 기초 이론 및 민족학 연구는 현상을 설명하는 데 사용될 수 있기 때문에 기술 영역에만 국한되지 않는다. 불행하게도, 기초, 기본, 표면이라는 단어(이 글의 뒷부분에서 내가 사용하는 단어)는 기초적이고, 피상적이고, 단순하거나, 또는 단지 예비적인 것을 암시한다. 나는 이 단어들을 사용함으로써 한 방법을 다른 방법보다 더 쉽고, 덜 가치 있고, 덜 바람직하거나, 덜 과학적이라고 제시하는 사악한 계층 구조를 결코 강화하고 싶지 않다. 어떤 방법도 절대적으로 약하거나 강하지 않고, 오히려 특정 목적과 관련하여 유용하거나 적절하지 않다. 따라서 나는 여기서 정성적 설명qualitative description을 그 자체로 가치 있는 방법으로서 제시한다. 다른 방법과의 비교는 순위나 폄훼가 아닌 조명의 목적을 위한 것이다.
I refer to the method I present here as basic or fundamental qualitative description to differentiate it from other kinds of qualitative description, such as phenomenology, grounded theory, and ethnography. Phenomenologic, grounded theory, and ethnographic studies are not exclusively in the descriptive domain, though, as they may also be used to explain phenomena. Unfortunately, the words basic, fundamental, and surface (a word I use later in this article) connote something elementary, superficial, simple, or merely preliminary. In no way do I wish to reinforce, by using these words, those invidious hierarchies that present one method as easier, less valuable, less desirable, or less scientific than another. No method is absolutely weak nor strong, but rather more or less useful or appropriate in relation to certain purposes. Accordingly, I present qualitative description here as a valuable method by itself. Comparisons to other methods are for the purposes ofillumination,not rankingordenigration.

정성적 기술 대 정량적 기술 및 기타 정성적 방법
QUALITATIVE DESCRIPTION VERSUS QUANTITATIVE DESCRIPTION AND OTHER QUALITATIVE METHODS

모든 탐구에는 묘사가 수반되고, 모든 묘사는 해석을 수반한다. 어떤 현상(또는 사건이나 경험)을 아는 것은 최소한 그 현상에 대한 "사실"을 알아야 한다. 그러나 그러한 사실들에 의미를 부여하는 특정한 맥락을 벗어난 "사실"은 없다. 설명은 항상 설명자의 인식, 성향, 민감성 및 감성에 따라 달라진다(예: Emerson, Fretz, & Shaw, 1995; Georgi, 1992; Wolcott, 1994). ''Naked, innocent 눈으로 바라보는 순수한 모습은 없다'(Pearce, 1971년, 페이지 4). 그리고 ''무구한 인식'''도 없다(Beer in Wolcott, 1994, 페이지 13). 경험이나 사건을 묘사하고자 하는 연구자들은 [그들이 묘사할 것을 선택하고 그것의 특정 측면을 특징짓는 과정]에서 그 경험이나 사건을 변화시키기 시작한다.
All inquiry entails description, and all description entails interpretation. Knowing any phenomenon (or event or experience) requires, at the very least, knowing the ``facts'' about that phenomenon. Yet there are no ``facts'' outside the particular context that gives those facts meaning. Descriptions always depend on the perceptions, inclinations, sensitivities, and sensibilities of the describer (e.g., Emerson, Fretz, & Shaw, 1995; Giorgi, 1992; Wolcott, 1994). ``There is no pure looking with a naked, innocent eye'' (Pearce, 1971, p. 4), and there is no ```immaculate perception''' (Beer cited in Wolcott, 1994, p. 13). Researchers seeking to describe an experience or event select what they will describe and, in the process of featuring certain aspects of it, begin to transform that experience or event.

어떠한 설명도 해석에서 자유롭지는 않지만, 예를 들어 현상학적 또는 근거 있는 이론 설명과 반대로, [기본적 또는 근본적인 질적 설명qualitative description]은 낮은 추론 또는 연구자들 사이의 더 쉬운 합의를 이끌어낼 수 있는 형태의 해석을 수반한다. 비록 한 연구원이 한 여성이 인터뷰에서 보고한 사건들을 두 번째 연구원이 특징지을 수 있지만, 두 연구자 모두, 예를 들어, 그 여성이 화가 났다고 여러 번 진술했고, 그녀 자신이 유방암에 걸렸다는 것을 알고 하루 후에 어머니가 죽었다고 진술했다는 것에 동의할 것이다. 표면적으로 동일한 장면을 묘사하는 두 연구자의 경우, 한 연구자는 방의 공간 배치를 특징지을 수 있고, 두 번째 연구자는 사회적 상호작용을 특징지을 수 있다. 그러나 두 연구자는 장면의 정확한 표현으로서 서로의 설명에 동의해야 한다. 즉, [추론력이 낮은 서술low-inference description]을 함으로써 연구자들은 설령 서술에 같은 사실을 포함시키지 않더라도 사건의 ``사실"에 더 쉽게 동의할 것이다. (인터뷰 또는 관찰 데이터의 설명 요약의 형태에 관계없이) 설명은 무엇을 설명해야 하는지에 대한 연구자의 선택을 수반한다. 그러나 이러한 설명은 항상 적절한 순서로 사건을 정확하게 전달하거나[서술적 타당성], 그리고 그러한 사건에 기인하는 [참여자의 의미]라는 [해석적 타당성]을 가져야 한다(Maxwell, 1992). 비록 인간은 결코 "거기"에 있는 모든 것을 묘사할 수 없으며 결코 원하지 않을 것이지만, 그들이 묘사하기로 선택한 것은 대부분의 관찰자들이 사실 "거기"에 동의하는 것이 될 것이다.''
Although no description is free of interpretation, basic or fundamental qualitative description, as opposed to, for example, phenomenological or grounded theory description, entails a kind of interpretation that is low-inference, or likely to result in easier consensus among researchers. Even though one researcher may feature the feelings and a second researcher the events a woman reported in an interview, both researchers will likely agree that, for example, the woman stated several times that she was angry and that she stated that her mother died one day after she herself learned she had breast cancer. In the case of two researchers describing ostensibly the same scene, one researcher might feature the spatial arrangement in a room, while the second researcher will feature the social interactions. But both researchers ought to agree with each other's descriptions as accurate renderings of the scene. That is, with low-inference descriptions, researchers will agree more readily on the ``facts'' of the case, even if they may not feature the same facts in their descriptions. Descriptions - whether in the form of descriptive summaries of interview or observation data - entail researchers' choices about what to describe. But these descriptions must always accurately convey events in their proper sequence, or have descriptive validity, and the meanings participants attributed to those events, or have interpretive validity (Maxwell, 1992). Although human beings can never, and will likely never want to, describe everything that is ``there,'' what they choose to describe will be something that most observers would agree is in fact ``there.''

따라서 '(인간의) 인식을 통해 필터링된다'는 점에서 필연적으로 해석적이기는 하지만, 연구자가 개념적, 철학적, 또는 그 밖의 고도로 추상적인 틀이나 체계적 측면에서 사건을 기술하는 것을 의도적으로 선택한다는 점에서 [기본적인 질적 묘사는 해석력이 높지 않다].

• [질적 서술적 연구]의 서술은 [일상적인 언어]로 사례의 사실들을 제시하는 것을 수반한다.
• 대조적으로, 현상학적, 이론적, 민족학적, 또는 서술적 서술은 다른 용어로 사건을 나타낸다. 이런 연구에서 연구자들은 그들이 보고 듣는 것에 그들 자신의 [해석적 스핀]을 더 많이 넣을 의무가 있다. 이 스핀은 부분적으로 이러한 방법론 자체에서 파생됩니다.
  • 근거 이론 연구는 연구자가 데이터를 "조건적/결과적 행렬"에서 요소를 찾고 해석하는 경향이 있다(Strauss & Corbin, 1998, p. 181).
  • 특정 유형의 현상학적 연구는 연구자가 "생활 세계의 실존성"이라는 관점에서 데이터를 찾고 해석하는 경향이 있다(Van Manen, 1990, 페이지 101).

Accordingly, although unavoidably interpretive, in that it is `’filtered through (human) perceptions'' (Wolcott, 1994, p. 13), basic qualitative description is not highly interpretive in the sense that a researcher deliberately chooses to describe an event in terms of a conceptual, philosophical, or other highly abstract framework or system.

• The description in qualitative descriptive studies entails the presentation of the facts of the case in everyday language.
• In contrast, phenomenological, theoretical, ethnographic, or narrative descriptions re-present events in other terms. Researchers are obliged to put much more of their own interpretive spin on what they see and hear. This spin derives, in part, from these methodologies themselves.
  • Grounded theory study inclines the researcher to look for, and interpret data as, elements in a ``conditional/ consequential matrix'' (Strauss & Corbin, 1998, p. 181).
  • Certain types of phenomenologic studies incline the researcher to look for, and interpret data in terms of, ``lifeworld existentials,'' such as corporeality and temporality (Van Manen, 1990, p. 101).

이러한 설명은 단순히 [단어와 장면만 읽는 것]이 아니라, [행간을 읽고, 단어와 장면을 초월한 읽기]를 요구하기 때문에 연구자가 데이터 안으로 더 깊이 들어가거나 그 너머로 이동할 것을 요구한다(예: McMahon, 1996; Poirier & Ayres, 1997). 현상학적 연구의 ''순간''에 대한 Wertz'(1983) 분석은 참가자의 사건에 대한 설명에서 연구자의 사건에 대한 현상학적 설명으로 이어지는 연속적인 변화를 잘 보여준다.
Such descriptions require researchers to move farther into or beyond their data as they demand not just reading words and scenes, but rather reading into, between, and over them (e.g., McMahon, 1996; Poirier & Ayres, 1997). Wertz' (1983) analysis of the ``moments'' of a phenomenological study is an excellent demonstration of the successive transformations from a participant's description of an event to a researcher's phenomenological description of that event.

현상학적 또는 근거 있는 이론 설명보다 해석력이 떨어지기는 하지만, [기본적인 질적 서술]은 [정량적 서술]보다 해석력이 더 강하며, 이는 일반적으로 사전 선택된 변수에 대한 공통 데이터 세트를 얻기 위한 조사 또는 기타 사전 구조화된 수단과 이를 요약하기 위한 서술적 통계를 수반한다. [정량적 서술적 연구]는 연구자들이 연구할 변수를 미리 선정하여 연구에 대한 기대의 지평을 설정하고, 일련의 가정을 바탕으로 스스로 통계적 시험 결과로부터 결론을 도출한다는 점에서 해석을 수반한다. 그러나 이는 개념의 운영적 정의와 조사 및 기타 조치의 항목으로서의 표현을 포함하여 이러한 사전 설정된 한계를 벗어나지 않는 일종의 해석이다. 정량적 설명은 참가자가 이벤트에 제공하는 의미에 대해 배울 수 있는 것을 제한한다. 더욱이, 정량적 설명에서, 연구자들은 예상치 못한 것을 위한 여지를 덜 남겨둔다(Becker, 1996, p. 61).
Although less interpretive than phenomenological or grounded theory description, fundamental qualitative description is more interpretive than quantitative description, which typically entails surveys or other pre-structured means to obtain a common dataset on pre-selected variables, and descriptive statistics to summarize them. Quantitative descriptive studies entail interpretation in that researchers set the horizon of expectations for the study by pre-selecting the variables that will be studied, and in that they draw conclusions from the results of statistical tests, which are themselves based on sets of assumptions. But it is a kind of interpretation that does not move beyond these pre-set confines, including the operational definitions of concepts and their representations as items in surveys and other measures. Quantitative description limits what can be learned about the meanings participants give to events. Moreover, in quantitative description, researchers leave less room for the unanticipated (Becker, 1996, p. 61).

질적 연구를 수행하는 연구자들은 사건 발생 시 발생하는 모든 요소를 포착할 수 있는 데이터를 최대한 많이 수집하려고 합니다. 그들이 "현장에 있는 한" 그들은 현장에서 무엇을 관찰하든 자료로 간주할 의무가 있다. 정성적 연구자들은 양적 연구자들만큼 쉽게 "데이터로부터 스스로를 절연"할 수 없다(Becker, 1996, p. 56). 비록 ''완전한 묘사는 이룰 수 없는 환상''이지만, 정성적 설명에 대한 [더 완전한fuller 설명]은 한정적이거나 정량적 조사에서 나온 (그들이 종종 인지하는) [엉성한 설명]보다 질적 연구자들에게 더 선호된다. 마지막으로, 정량적 연구에서는 정성적 서술적 연구보다 [탐구(있는 것을 찾아내는 것)]와 [서술(발견된 것을 기술하는 것)] 사이에 더 뚜렷한 선이 그어져 있다.
Researchers conducting qualitative studies want to collect as much data as they can that will allow them to capture all of the elements of an event that come together to make it the event that it is. As long as they are ``in the field,'' they are obliged to consider as data whatever they observe in the field. Qualitative researchers cannot, as readily as quantitative researchers, ``insulate themselves from data'' (Becker, 1996, p. 56). Although ``full description is a will-o'-the wisp,'' the ``fuller'' description of qualitative description is preferable to qualitative researchers than the confined, or (what they often perceive to be the) ``skimpy'' description resulting from quantitative surveys (p. 64). Finally, in quantitative research, there is a sharper line drawn between exploration (finding out what is there) and description (describing what has been found) than in qualitative descriptive studies.

요약하면, [정성적 기술 연구qualitative descriptive studies]는 그러한 사건의 일상적인 용어로 사건에 대한 포괄적인 요약을 제공한다. 그러한 연구를 수행하는 연구자들은 다음을 추구한다 

• 기술적 타당성: 동일한 사건을 관찰하는 대부분의 사람들(연구자와 참가자 포함)이 동의하는, 사건의 정확한 설명
  
• 해석적 타당성: 참가자들이 동의하는 이벤트에 귀속되는 의미에 대한 정확한 설명

In summary, qualitative descriptive studies offer a comprehensive summary of an event in the everyday terms of those events. Researchers conducting such studies seek

• descriptive validity, or an accurate accounting of events that most people (including researchers and participants) observing the same event would agree is accurate, and
• interpretive validity, or an accurate accounting of the meanings participants attributed to those events that those participants would agree is accurate (Maxwell, 1992).

[질적 서술적 연구qualitative descriptive studies]를 수행하는 연구자는 기초 이론, 현상학, 민족학 또는 서술적 연구를 수행하는 연구자보다 데이터와 단어 및 사건의 표면에 더 가까이 있다. [질적 기술 연구qualitative descriptive studies]에서 언어는 반드시 읽어야 하는 해석적 구조가 아니라 의사소통의 수단이다. 그러나 그러한 표면적 판독은 피상적이거나 사소하고 가치 없는 것으로 여겨져서는 안 된다. 나는 여기서 [보고되거나 관찰된 사건]에 대한 [투과의 깊이 또는 주변의 해석 활동의 정도]를 전달하기 위해 '표면'이라는 단어를 의도한다. 사실들을 얻는 것은 사소한 것이거나 쉬운 것이 아니며, 참가자들이 그 사실들에 부여하는 의미들은 그것들을 일관되고 유용한 방식으로 전달한다.

Researchers conducting qualitative descriptive studies stay closer to their data and to the surface of words and events than researchers conducting grounded theory, phenomenologic, ethnographic, or narrative studies. In qualitative descriptive studies, language is a vehicle of communication, not itself an interpretive structure that must be read. Yet such surface readings should not be considered superficial, or trivial and worthless. I intend the word surface here to convey the depth of penetration into, or the degree of interpretive activity around, reported or observed events. There is nothing trivial or easy about getting the facts, and the meanings participants give to those facts, right and then conveying them in a coherent and useful manner.

정성기술연구의 설계특성
DESIGN FEATURES OF QUALITATIVE DESCRIPTIVE STUDIES

[정성적 서술적 설계Qualitative descriptive designs]는 전형적으로 절충적이지만 합리적이고 잘 고려된 샘플링, 데이터 수집, 분석 및 재현 기법의 조합이다. 다음 섹션에서는 일반적인 설계 기능에 대해 설명합니다. [질적 설명]은 특히 실무자와 정책 입안자와 특별한 관련이 있는 질문에 대한 솔직하고 대체로 장식되지 않은(즉, 최소한 이론화되거나 변형되거나 회전된) 답변을 얻는 데 적합하다. 이러한 질문의 예는 다음과 같다.

• 사건에 대한 사람들의 우려는 무엇인가?
• 사건에 대한 사람들의 반응(예: 생각, 느낌, 태도)은 무엇인가?
• 사람들이 서비스나 절차를 이용하거나 이용하지 않는 이유는 무엇인가?
• 누가 언제 서비스를 이용합니까?
• 어떤 요소들이 사건으로부터의 회복을 촉진하고 방해합니까?

Qualitative descriptive designs are typically an eclectic but reasonable and well-considered combination of sampling, and data collection, analysis, and re-presentational techniques. In the following sections, I describe typical design features. Qualitative description is especially amenable to obtaining straight and largely unadorned (i.e., minimally theorized or otherwise transformed or spun) answers to questions of special relevance to practitioners and policy makers. Examples of such questions include:

• What are the concerns of people about an event?
• What are people's responses (e.g., thoughts, feelings, attitudes) toward an event?
• What reasons do people have for using or not using a service or procedure?
• Who uses a service and when do they use it?
• What factors facilitate and hinder recovery from an event?

이론적/철학적 지향성
Theoretical/Philosophical Orientation

질적 서술적 연구는 그러한 연구를 수행하는 연구자들이 기존의 이론적 및 철학적 약속에 의해 가장 방해가 되지 않는다는 점에서, 거의 틀림없이 질적 접근의 스펙트럼의 최소 "이론적"이다. 독특한 학문적 전통(예: Lowenberg, 1993)에서 나타나는 특정한 방법론적 틀을 기반으로 하는 현상학적, 근거 있는 이론, 민족학적 또는 서술적 연구와 대조적으로, 질적 서술적 연구는 자연주의 탐구Naturalistic inquiry의 일반적인 원칙에서 도출되는 경향이 있다. 자연주의 탐구는 질적 연구뿐만 아니라, [인간과 동물이 관련된 행동 연구의 형태, 예를 들어, 생태학적 관찰을 포함하는 탐구]의 generic orientation이다. [자연주의 탐구]는 연구에서 이것이 [가능한 범위 내에서 자연상태 또는 있는 그대로의 상태에서 무언가를 연구하겠다는 헌신]만을 의미한다(Linkoln & Guba, 1985; Willems, 1967). 즉, 어떤 자연주의 연구에서도 연구할 변수의 사전 선택, 변수의 조작, 대상 현상에 대해 [특정한 하나의 이론적 관점에 대한 선험적 확약이 없다]. 따라서 자연주의 조사자는 대상 현상이 연구 중이 아닌 경우처럼 스스로 나타날 수 있는 기법을 사용할 것이다.
Qualitative descriptive studies are arguably the least ``theoretical'' of the spectrum of qualitative approaches, in that researchers conducting such studies are the least encumbered by pre-existing theoretical and philosophical commitments. In contrast to phenomenological, grounded theory, ethnographic, or narrative studies, which are based on specific methodologic frameworks emerging from distinctive disciplinary traditions (e.g., Lowenberg, 1993), qualitative descriptive studies tend to draw from the general tenets of naturalistic inquiry. Naturalistic inquiry is a generic orientation to inquiry that includes not only qualitative research, but also forms of behavioral research involving humans and animals, such as ethological observation. Naturalistic inquiry implies only a commitment to studying something in its natural state, or as it is, to the extent that this is possible in a research enterprise (Lincoln & Guba, 1985; Willems, 1967). That is, in any naturalistic study, there is no pre-selection of variables to study, no manipulation of variables, and no a priori commitment to any one theoretical view of a target phenomenon. Accordingly, the naturalist inquirer will use techniques that allow the target phenomenon to present itself as it would if it were not under study.

색조, 톤, 텍스처. 질적 서술적 연구는 현상학, 기초 이론, 민족학, 서술적 연구와 다르지만, 그럼에도 불구하고 이러한 접근법에서 색조, 음색, 질감을 가질 수 있다. 어떤 하나의 질적 접근도 다른 접근의 모양, 소리 또는 느낌을 가질 수 있다. Charmaz(1990)는 그녀의 근거이론 연구를 현상학적 배역을 가지고 있다고 묘사했고, Sandelowski, Holditch-Davis, Harris(1992)는 그들의 근거이론 연구를 현상학적 배역과 서술적 배역을 획득하는 것으로 묘사했다. 실제로 질적 작업은 어떤 방법의 "순수한" 사용이 아니라 [다양한 질감, 톤 및 색조를 가진 방법]의 사용에서 생산된다. 근거이론의 오버톤을 가진 민족지학적 연구도 있고, 민족지학적 오버톤을 가진 근거연구(예: Kittell, Mansfield, & Voda, 1998)가 있다. 
Hues, tones, and textures. Although qualitative descriptive studies are different from phenomenologic, grounded theory, ethnographic, and narrative studies, they may, nevertheless, have hues, tones, and textures from these approaches. Any one qualitative approach can have the look, sound, or feel of other approaches. Charmaz (1990) described her grounded theory studies as having a phenomenological cast, and Sandelowski, Holditch-Davis, and Harris (1992) described their grounded theory study as acquiring phenomenological and narrative casts. Indeed, qualitative work is produced not from any ``pure'' use of a method, but from the use of methods that are variously textured, toned, and hued. There are ethnographic studies with grounded theory overtones (e.g. Timmermans, 1997) and grounded theory studies with ethnographic overtones (e.g., Kittell, Mansfield, & Voda, 1998).

따라서, 질적 서술적 연구는 연구자들이 [지속적 비교]와 같은 근거이론과 관련된 하나 이상의 기술을 사용했기에 근거이론의 오버톤을 가질 수 있지만, 그 연구가 [대상 현상의 이론적 렌더링]을 만들어내지는 않을 수 있다(예: Chow, 1998). 일부 정성적 서술적 연구는 연구자들이 특정 단어와 구절 또는 경험의 순간에 진지하게 주의를 기울였기 때문에 서술적 또는 현상학적 색채를 가질 수 있지만, 목표 현상에 대한 [서술적 또는 현상학적 렌더링]을 생성하지 않을 수 있다(예: Jablonski, 1994). Altheide의 민족지학적 내용분석(1987)은 민족지학적 및 근거 있는 이론이 위에 있는 기법으로서 질적 내용분석(아래에서 더 논의될 것)을 제시한다. 정성적 기술 연구는 또한 페미니즘과 같은 더 큰 패러다임의 음영을 가질 수 있다.
Accordingly, qualitative descriptive studies may have grounded theory overtones as researchers may employ one or more techniques associated with grounded theory, such as a form of constant comparison, but not produce any theoretical rendering of the target phenomenon (e.g., Chow, 1998). Some qualitative descriptive studies have narrative or phenomenological hues as researchers might seriously attend to certain words and phrases, or moments of experience, but not produce narrative or phenomenological renderings of the target phenomenon (e.g., Jablonski, 1994). Altheide's description of ethnographic content analysis (1987) presents qualitative content analysis (to be discussed further below) as a technique with ethnographic and grounded theory overtones. Qualitative descriptive studies may also have shadings from larger paradigms, such as feminism.

다양한 색조, 톤 및 질감의 연구는 방법이나 기술의 잘못된 참조 또는 오용과 혼동되어서는 안 된다. 연구자들은 그들의 프레젠테이션에 대해 어떠한 것도 이러한 기법을 적절하게 또는 전혀 사용했다는 것을 나타내지 않을 때 이론적 샘플링, 일정한 비교, 서술적 분석 및 현상학적 반성을 사용했다고 주장할 수 있다. 연구자들은 혼합 방법 연구에서와 같이 기술을 명시적으로 결합할 수도 있다(Tashakkori & Teddlie, 1998).
Variously hued, toned, and textured studies are not to be confused with erroneous references to or misuses of methods or techniques. Researchers may claim to have used theoretical sampling, constant comparison, narrative analysis, and phenomenological reflection when nothing about their presentation indicates they used these techniques appropriately or at all. Researchers may also explicitly combine techniques, as in mixed method studies (Tashakkori & Teddlie, 1998).

샘플링
Sampling

사실상 패튼(1990)이 설명한 [목적적 샘플링 기법]은 정성적 기술 연구에 사용될 수 있다. 그러나 특히 유용한 것은 [최대 변동 표본 추출]로, 연구자들은 광범위한 현상 및 인구 통계학적으로 다양한 사례에 걸쳐, [대상 현상의 공통적이고 고유한 징후]를 탐색할 수 있다(Sandelowski, 1995). 연구자들은 또한 나타나는 경향이 있거나 흔하지 않게 나타나는 현상을 설명하기 위해 미리 선택된 변수들의 조합을 나타내는 사례(Trost, 1986)를 표본으로 추출하는 것을 선택할 수 있다. 다른 정성적 연구와 마찬가지로 목적적 표본 추출의 궁극적인 목표는 연구의 목적을 위해 정보가 풍부하다고 간주되는 사례를 얻는 것이다. 연구자의 의무는 표본 추출 전략을 목적에 합당한 것으로 방어하는 것이다.
Virtually any of the purposeful sampling techniques Patton (1990) described may be used in qualitative descriptive studies. Especially useful, though, is maximum variation sampling, which allows researchers to explore the common and unique manifestations of a target phenomenon across a broad range of phenomenally and/or demographically varied cases (Sandelowski, 1995). Researchers may also choose to sample cases to represent a combination of pre-selected variables (Trost, 1986), or typical or unusual cases of a phenomenon, in order to describe it as it tends to appear or uncommonly appears. As in any qualitative study, the ultimate goal of purposeful sampling is to obtain cases deemed information-rich for the purposes of study. The obligation of researchers is to defend their sampling strategies as reasonable for their purposes.

데이터 수집
Data Collection

질적 서술적 연구의 데이터 수집은 일반적으로 [사건이나 경험의 누구, 무엇, 어디서, 또는 그 기본적 성격과 형태를 발견하는 데 초점]을 맞추고 있다. 데이터 수집 기법에는 일반적으로 최소에서 중간 정도 구조의 개방형 개인 및 포커스 그룹 인터뷰가 포함된다. 포커스 그룹은 사건에 대한 광범위한 정보를 얻기 위해 질적 연구에 일반적으로 사용된다는 점에서 정량적 조사의 질적 대응물로 유용하게 볼 수 있다. 데이터 수집 기술은 또한 대상 이벤트의 관찰 및 문서 및 아티팩트의 검사를 포함할 수 있다.
Data collection in qualitative descriptive studies is typically directed toward discovering the who, what, and where of events or experiences, or their basic nature and shape. Data collection techniques usually include minimally to moderately structured open-ended individual and/or focus group interviews. Focus groups can usefully be viewed as the qualitative counterpart to the quantitative survey, in that they are typically used in qualitative research to obtain a broad range of information about events. Data collection techniques may also include observations of targeted events and the examination of documents and artifacts.

데이터 분석
Data Analysis

[질적 내용 분석Qualitative content analysis]은 [질적 서술적 연구qualitative descriptive studies]에서 [우선되는 전략적 선택analysis strategy of choice]이다. 정성적 내용 분석은 해당 데이터의 정보 내용을 요약하는 것을 지향하는 언어 및 시각적 데이터의 역동적 분석 형태이다(Altheide, 1987; Morgan, 1993). [정량적 내용 분석]은 기존 코드 집합을 데이터에 체계적으로 적용하는 것과 달리, [정성적 내용 분석]은 데이터 파생, 즉 코드도 체계적으로 적용되지만 연구 과정에서 데이터 자체에서 생성된다. 질적 연구는 일반적으로 데이터를 동시에 수집하고 분석하는 것이 특징이며, 둘 다 서로를 형성한다. 유사하게, [질적 내용 분석]은 연구자들이 새로운 데이터와 데이터에 대한 새로운 통찰력을 수용하기 위해 지속적으로 데이터 처리를 수정하기 때문에 반사적이고 상호작용적이다. 연구자들은 [기존의 코딩 시스템]을 사용하여 정성적 내용 분석 프로세스를 시작할 수도 있지만, 이러한 시스템은 데이터에 가장 잘 적합하도록 분석 과정에서 항상 수정되거나 심지어 새로운 시스템을 위해 완전히 폐기될 수도 있다. Miller와 Crabtree(1992년, 페이지 18)는 분석에 대한 이 접근법을 \"템플릿 분석 스타일\"이라고 묘사했다.''
Qualitative content analysis is the analysis strategy of choice in qualitative descriptive studies. Qualitative content analysis is a dynamic form of analysis of verbal and visual data that is oriented toward summarizing the informational contents of that data (Altheide, 1987; Morgan, 1993).2 In contrast to quantitative content analysis, in which the researcher systematically applies a pre-existing set of codes to the data, qualitative content analysis is data-derived: that is, codes also are systematically applied, but they are generated from the data themselves in the course of the study. Qualitative research is generally characterized by the simultaneous collection and analysis of data whereby both mutually shape each other. Qualitative content analysis is similarly reflexive and interactive as researchers continuously modify their treatment of data to accommodate new data and new insights about those data. Although researchers might also begin the qualitative content analysis process with preexisting coding systems, these systems are always modified in the course of analysis, or may even be wholly discarded in favor of a new system, to ensure the best fit to the data. Miller and Crabtree (1992, p. 18) described this approach to analysis as the ``template analysis style.''

양적, 질적 내용 분석 모두 응답 범주별 응답과 참여자 수를 세는 것을 수반하지만, 질적 내용 분석에서 개수는 목적 그 자체가 아니라 목적을 위한 수단이다. 연구자들은 서술적 통계로 데이터를 수치적으로 요약함으로써 "준통계분석 스타일"(Miller & Crabtree, 1992, p. 18)을 사용할 수 있다. 그러나 카운트의 최종 결과는 데이터의 준통계적 렌더링이라기보다는 부분적으로 발견되고 카운트를 통해 확인된 데이터의 패턴이나 규칙성에 대한 설명입니다. 정성적 내용 분석은 매니페스트(예: 빈도 및 평균)뿐만 아니라, [데이터의 잠재 내용]도 이해하려는 노력이 있다는 점에서 정량적 내용 분석보다 [해석의 영역]으로 더 멀리 이동한다. 그러나 [정성적 내용 분석]은 자체적인 용어 외에 다른 용어로 데이터를 재표현할 권한이 없다는 점에서 [질적 분석 접근법 중 가장 해석성이 낮다]. 예를 들어, Smeltzer(1994)는 다발성 경화증을 앓고 있는 임산부의 우려를 질문하고 이러한 우려를 분류하기 위해 그녀의 연구 결과를 정리함으로써 설명하였다. Geller와 Hotzman(1995)은 포커스 그룹에서 이 정보를 도출한 후 그들의 인식을 요약함으로써 유전자 검사에 대한 의사의 인식을 기술했다. 이러한 연구에서 우려는 우려로, 인식은 인식으로 남았다. 예를 들어, 그것들은 이론의 차원에서 [어떤 사건의 조건이나 결과]가 되지 않았고, 서사적 렌더링이라는 차원에서 자아를 "전략적"으로 표현하지 않았다(Riessman, 1990). 
Both quantitative and qualitative content analyses entail counting responses and the numbers of participants in each response category, but in qualitative content analysis, counting is a means to an end, not the end itself. Researchers may use a ``quasi-statistical analysis style'' (Miller & Crabtree, 1992, p. 18) by summarizing their data numerically with descriptive statistics. But the end result of counting is not a quasistatistical rendering of the data, but rather a description of the patterns or regularities in the data that have, in part, been discovered and then confirmed by counting. Qualitative content analysis moves farther into the domain of interpretation than quantitative content analysis in that there is an effort to understand not only the manifest (e.g., frequencies and means), but also the latent content of data. Yet qualitative content analysis is the least interpretive of the qualitative analysis approaches in that there is no mandate to re-present the data in any other terms but their own. For example, Smeltzer (1994) described the concerns of pregnant women with multiple sclerosis by asking them about their concerns and then organizing her findings to catalog these concerns. Geller and Hotzman (1995) described physicians' perceptions concerning genetic testing by eliciting this information from them in focus groups and then summarizing their perceptions. In these studies, concerns remained concerns and perceptions remained perceptions. They did not become, for example, conditions for or consequences of some event in a theory, nor a ``strategic'' representation of self in a narrative rendering (Riessman, 1990).

데이터 재표시
Data Re-Presentation

질적 서술적 연구의 예상 결과는 [데이터에 가장 잘 맞는 방식으로 구성된 데이터의 정보 내용을 직접 서술적으로 요약]한 것이다. 예를 들어, Smeltzer(1994)는 임신 기간별로 요약을 정리했다. 즉, 그녀는 다발성 경화증을 가진 여성의 임신 관련 우려를 임신 전, 태반 전, 부분 내 및 출산 후 나타나는 것으로 묘사했다. Geller와 Holtzman(1995)은 정보를 도출한 주요 주제를 반영하는 두 가지 주요 범주로 요약을 구성했다. (a) 공개, 비지향성, 기밀성, 그리고 이러한 인식의 성별과 특수성 차이, 그리고 (b) 장벽과 통합 동기에 대한 인식.신뢰도, 자금 조달, 환자 수요, 그리고 이러한 인식의 성별과 전문성 차이를 포함한 1차 진료 관행에 대한 넷틱 테스트. 데이터를 배열하는 다른 방법으로는 (a) 사건의 실제 또는 역순, (b) 가장 널리 퍼진 주제, (c) 연구자가 사건의 광범위한 맥락을 설명하는 것에서 특정 사례로, 또는 특정 사례에서 광범위한 맥락을 설명하는 것으로 선택하는 점진적 집중, (d) 일, 주, 월 또는 연도-가 있다.실제 인(들)의 생활 내 접근, 그리고 (e) 동일한 사건이 둘 이상의 참가자의 관점에서 설명되는 라쇼몬 효과(Sandelowski, 1998; Wolcott, 1994, p. 17.
The expected outcome of qualitative descriptive studies is a straight descriptive summary of the informational contents of data organized in a way that best fits the data. For example, Smeltzer (1994) arranged her summary by time in pregnancy; that is, she described the pregnancyrelated concerns of women with multiple sclerosis as they appeared pre-conceptionally, antenatally, intrapartally, and post-delivery. Geller and Holtzman (1995) arranged their summary in two major categories reflecting the major topics about which they elicited information:

• (a) perceptions of obligations for disclosure, nondirectiveness, confidentiality, and the gender and specialty differences in these perceptions and
• (b) perceptions of barriers and incentives to incorporate genetic testing into primary care practice, including confidence, financing, patient demand, and, again, the gender and specialty differences in these perceptions.

Other ways to arrange data include:

• (a) actual or reverse chronological order of events;
• (b) most prevalent to least prevalent theme;
• (c) progressive focusing, whereby researchers choose to move either from describing the broad context of an event to particular cases, or from particular cases to the broad context;
• (d) a day-, week,month-, or year-in-the life approach of actual person(s); and,
• (e) the Rashomon effect, whereby the same event is described from the perspective of more than one participant (Sandelowski, 1998; Wolcott, 1994, pp. 17±23).

그러한 요약은 (표면과는 달리) 데이터의 더 침투적인 재표현에 쉽게 도움이 될 수 있지만, 정성적 서술적 연구가 방법론적으로 "좋다"거나 실질적으로 가치가 있다고 간주되기 위해서는 필요하지 않다. 예를 들어, 라쇼몬 효과 접근법은 동일한 사건에 대한 다른 참가자의 버전에 대한 추가 연구자 해석에 적합하지만, 정성적 기술 연구를 수행하는 연구자는 이러한 버전을 포괄적이고 정확하게 설명해야 한다. 따라서 이러한 요약은 주로 최종 제품으로서, 둘째, 추가 연구를 위한 진입점으로서 가치가 있다.
Although such summaries might easily lend themselves to more penetrating (as opposed to surface) re-presentations of data, these are not required for a qualitative descriptive study to be considered methodologically ``good'' or practically valuable. For example, the Rashomon effect approach lends itself to further researcher interpretations of different participants' versions of the same event, but the mandate for the researcher conducting a qualitative descriptive study is comprehensively and accurately to detail these versions. Accordingly, such summaries are valuable primarily as end-products and, secondarily, as entry points for further study.

[수집된 데이터를 가장 잘 포함하고, 목적한 청중과 가장 관련성이 높은 방식으로 구성된 사건에 대한 설명적 요약] 이외의 어떤 것도 생산해야 할 의무는 없다. 그러나 이러한 요약은 그 자체로 미래의 기초 이론이나 현상학 연구를 위한 작업 개념, 가설 및 주제적 순간을 산출하거나, 그 자체로 초기 버전을 포함할 수 있다.
There is no mandate to produce anything other than a descriptive summary of an event, organized in a way that best contains the data collected and that will be most relevant to the audience for whom it was written. But such summaries may themselves yield the working concepts, hypotheses, and thematic moments for future grounded theory or phenomenologic study, or themselves contain early versions of them.

결론
CONCLUSION

결론적으로 [질적 서술적 연구]는 [현상에 대한 직선적 묘사]를 원할 때 선택하는 방법이다. 이러한 연구는 특히 누가, 무엇을, 어디서 일어났는지 알고 싶어하는 연구자들에게 유용하다. 모든 질적 연구 접근법의 기초가 되지만, 질적 서술적 연구는 그 자체로 가치 있는 방법론적 접근을 구성한다. 연구자들은 그들의 방법을 [정성적 기술qualitative description]이라고 명명하는 것에 부끄러워하지 않아도 된다. 만약 그들의 연구가 다른 방법의 과장된 톤으로 디자인되었다면, 그들은 이러한 다른 방법들을 부적절하게 명명하거나 구현하는 대신, 이러한 과장된 톤들이 무엇이었는지를 설명할 수 있다. 그래서, 질적인 묘사는 어떻게 되었나요? 그 방법은 살아있지만, 질적 연구의 가치 있고 독특한 구성 요소로 재발견되고 건강 과학 연구를 위해 복구되면 된다.
In conclusion, the qualitative descriptive study is the method of choice when straight descriptions of phenomena are desired. Such study is especially useful for researchers wanting to know the who, what, and where of events. Although foundational to all qualitative research approaches, qualitative descriptive studies comprise a valuable methodologic approach in and of themselves. Researchers can unashamedly name their method as qualitative description. If their studies were designed with overtones from other methods, they can describe what these overtones were, instead of inappropriately naming or implementing these other methods. So, whatever happened to qualitative description? The method is alive and well, but needs only to be re-discovered as a valuable and distinctive component of qualitative research and recovered for health sciences research.

Copyright 2000 John Wiley & Sons,

질적연구를 할 때 성찰성적(reflexive)으로 하는 방법(Clin Teach. 2020)
How to ... be reflexive when conducting qualitative research
Aileen Barrett1 , Anu Kajamaa2 and Jenny Johnston3

서론
Introduction

위의 반사적 진술은 이 일련의 '어떻게…' 기사의 저자로서 우리의 위치를 설명합니다. 우리의 관점에서 반사적인 것은 무엇보다도 질적인 연구와 임상 실습의 질을 향상시키는 중요한 과정이다. 연구의 신뢰도를 높이고, 신뢰도, 신뢰성, 이전성, 확인성 등 출판의 5가지 품질 기준 중 하나로 꼽힌다. 이 기사에서는 반사 및 반사성의 개념을 살펴보고, 연구자 및 임상의로서 연구 과정을 살펴보고 반사성이 연구와 실천의 질에 미치는 영향을 고려할 수 있는 방법에 초점을 맞출 것이다.
The reflexive statement above describes where we are positioned as authors of this series of ‘How to …’ articles. Being reflexive is, from our perspective, first and foremost a critical process for enhancing the quality of qualitative research and clinical practice. It enhances the trustworthiness of the study and is considered one of five quality criteria for publishing, including credibility, dependability, transferability and confirmability.1 In this article, we will explore the concepts of reflection and reflexivity, and focus on how you as a researcher and a clinician can examine your research process and consider the impact of reflexivity on the quality of your research and practice.

성찰인가, 성찰성인가?
Reflection or reflexivity?

[성찰]은 교육 문헌, 조직적 학습과 변화, 그리고 건강 관리에서 흔히 언급되는 개념이다. 미국의 교육개혁가 존 듀이는 성찰을 '성찰을 뒷받침하는 근거와 그 근거가 되는 추가적인 결론에 비추어 어떤 신념이나 가정된 형태의 지식에 대한 적극적이고 지속적이며 신중한 고려'라고 정의했다. 반성을 통해, practitioner은 실천의 반복적인 경험에 대한 암묵적인 이해를 재고하도록 장려되고, 상황에 대한 새로운 감각을 만들 수 있으며, 이는 결국 그들이 새로운 경험을 얻을 수 있게 한다.
Reflection is a common concept in educational literature, organisational learning and change, and in health care. John Dewey, an American educational reformer, defined reflection as ‘active, persistent and careful consideration of any belief or supposed form of knowledge in the light of the grounds that support it, and the further conclusions to which it tends’.2 Through reflection practitioners are encouraged to rethink their tacit understanding of the repetitive experiences of a practice, and can make new sense of situations, which in turn may allow them to gain new experience.3

쇤의 행동과 성찰의 세 가지 수준은 의료 전문가들에게 친숙하다.
Schön's three levels of action and reflection are familiar to health care professionals:3, 4

의식적으로, 집단적 성찰은 직장에서 발전과 학습의 필수적인 부분이며, 임상 작업장과 연구 맥락 모두에서 업무의 공동 구축과 재구성의 일부로 볼 수 있다. 성찰은 언제나 [일이 일어나는 맥락]과 관련하여 고려된다는 것을 강조할 가치가 있다.
Conscious, collective reflection is a necessary part of development and learning at work5 and can be seen as part of the co-construction and re-construction of work,6 both in clinical workplaces and in research contexts. It is worth emphasising that reflection is always considered in relation to the context in which the work takes place.6, 7

그러나 [반사성]은 우리가 다른 사람들과 교류하고 경험에 대해 이야기할 때, [우리의 이해와 사회적 현실을 지속적으로 구성(그리고 전환)하기 위한 반성을 포함하는 지속적인 과정]이다. [반사성]은 우리의 [태도, 가정, 관점 및 역할]에 대해 [질문하고, 검토하고, 수용하고, 명확히 하는] 이 [연속적인 과정]을 통해 현상에 도전한다.
Reflexivity, however, is an ongoing process that involves reflection to continuously construct (and shift) our understanding and social realities as we interact with others and talk about experience.8 Reflexivity challenges the status quo through this continuous process of questioning, examining, accepting and articulating our attitudes, assumptions, perspectives and roles.9

반성의 개념은 종종 '반사성'의 개념과 동의어로 사용된다. 그러나 반사성은 실제로는 [성찰(그리고 그 결과, 즉 그 반사의 결과로 발생하는 정의된 행동)과 재귀성]의 조합이며, 여기서 우리는 맥락 속에서 그 결과를 고려한다. 예를 들어, 우리는 설정, 조치를 수행하는 사람들, 그리고 팀 역학이 연구 결과를 형성하는 방법을 고려한다. 

The notion of reflection is often used synonymously with the concept of ‘reflexivity’; however, reflexivity is actually a combination of reflection (and its outcome, i.e. a defined action that comes about as a result of that reflection) and recursivity, where we consider those outcomes in context. For example, we consider the setting, those performing the action and how team dynamics shape the outcomes of a research study.6, 10

무엇을 반사적으로 생각해야 할까요?
What should i be reflexive about?

연구는 항상 연구과정 전반에 관련된 요소들과 이러한 맥락에서 연구자의 입장과 영향력을 포함하여 많은 요소들에 의해 영향을 받는다. 이러한 [영향과 가정]의 [의도된 결과와 의도하지 않은 결과]와 함께, 이를 [명시적으로 설명하는 것]은 연구 과정에 대한 [숙고적이고 반사적인considered and reflexive 접근법]의 특징이다. 정량적 연구에서 그러한 영향은 때때로 [편향]이라고 불린다. 질적 연구에서, 우리는 biases가 [반사적으로 연구에 포함되는 한 그것을 환영]한다. 모든 연구자는 다음과 같은 의제agenda를 제시합니다. 즉, 답해야 할 연구 질문을 말한다. 당신이 이것을 어떻게 하기로 선택했는지와 당신이 사용하는 방법은 당신이 지식과 세상을 보는 방식과 크게 관련이 있다.

• 당신은 하나의 현실(실증주의)이 존재하는 상황의 '진실'을 찾기 위해 연구가 필요하다고 느끼는가,
• 아니면 현실과 사람들의 경험의 상대적인 회색 영역 안에서 살 수 있는가?

후자의 경우, [사회적 구성주의]는 지식이 다른 문화적, 역사적 맥락 안에서 다르게 '구성'된다는 것을 인정한다.
Research is always influenced by a number of factors, including those related to the research process as a whole and the researcher's position and influence in this context. Explicitly describing this, along with the intended and unintended consequences of these influences and assumptions, is the mark of a considered and reflexive approach to the research process. In quantitative research, such influences are sometimes labelled biases; in qualitative research, we welcome them so long as they are reflexively included in the research. Every researcher sets out with an agenda: that is, a research question that needs to be answered. How you choose to go about this and the methods you use are to a large extent related how you view knowledge and the world.

• Do you feel that research is needed to find the ‘truth’ of a situation, in which there is one reality (positivism),
• or can you live within a grey area in which reality is relative to the experiences of a group of people?

In the latter case, social constructivism acknowledges that knowledge is ‘constructed’ differently within different cultural and historical contexts.11

[위치Position]는 연구 참여자 또는 연구 맥락과 관련된 연구자의 위치position를 말한다. 예를 들어, 당신이 어떤 현상에 대한 GP 연수생의 관점을 탐구하는 일반의(GP) 연수생(등록관 또는 거주자)이고, 이것이 당신이 직접 경험한 것이라면, 당신은 '내부 연구자'로 간주될 것이다. 그러나 동일한 현상에 대한 자격을 갖춘 GP의 관점을 탐구하는 GP 훈련생으로서, 당신은 '외부자' 연구원이지만, 예를 들어, 비의료 연구자보다 그 현상이 경험하는 맥락을 더 깊이 이해한다. 특정 현상과 그 현상에 대한 심오한 이해가 연구의 이론적 부분과 경험적 부분을 연결하는데 장점이 될 수 있기 때문에 이러한 내부자 입장은 진정한 강점이 될 수 있다. 연구 그룹의 참가자들과 임상의들은 또한 다른 입장을 가질 수 있다. 질적 연구에서, 우리는 이러한 다양한 목소리를 인식하고 환영하며, 종종 우리의 연구에서 그들이 들을 수 있도록 돕기 위해 열심히 노력한다.
Position refers to the researcher's position relative to the research participants or the research context.12 For example, if you are a general practitioner (GP) trainee (registrar or resident) exploring GP trainees’ perspectives on a phenomenon, and this is something that you have experienced yourself, you would be considered an ‘insider researcher’. As a GP trainee exploring qualified GPs’ perspectives on the same phenomenon, however, you are an ‘outsider’ researcher, but with a deeper understanding of the context in which the phenomenon is experienced than, for example, a non-medical researcher. This insider position can be a real strength, as profound understanding of a particular phenomenon and the context in which it occurs can be an advantage in connecting the theoretical and the empirical parts of the study. The participants of a research group and clinicians may also have different positions. In qualitative research, we recognise and welcome this multiplicity of voices, and often work hard to help them to be heard in our research.

왜 특정 연구문제와 이론적 렌즈, 그리고 이와 관련된 방법들을 선택했는지 되돌아보는 것도 중요하다. 당신은 당신의 학문적 훈련을 바탕으로 이 주제에 대해 확실한 견해를 가지고 있습니까? 기본 원칙으로서, 우리의 [기본 가정]은 항상 우리의 [입장]을 명확히 하는 일부로서 [독자에게 설명]되어야 한다. 만약 우리가 특정한 이론을 사용하고 있다면(교육 연구에서 이론으로 시작하는 방법에 대한 우리의 이전 기사를 참조하라) 우리는 이것을 간단한 용어로 소개할 필요가 있다. 렌즈와 위치가 다르면 데이터 세트, 분석 절차, 결과에 대한 해석도 달라진다. 또한, 독자는 해석이라는 또 다른 레이어를 추가할 것이다. '최종 제품'을 출판하는 것은 실제로 또 다른 대화의 시작에 불과하다. 이것은 임상 연구에서와 마찬가지로 [환자와 대중의 참여]가 의학 교육에서 동등하게 중요한 한 가지 중요한 이유이다. 
It is also important to reflect on why you've chosen a particular research question, theoretical lens and its associated methods. Do you have a certain view on this topic based on your academic training? As a ground rule, our underlying assumptions should always be explicated to the reader, as part of making our position clear. If we are using a particular theory (see our previous article on how to get started with theory in education research) then we need to introduce this in simple terms.13 Different lenses and positions will give different sets of data, different analytical procedures and different interpretations of results. Additionally, the reader will add another layer of interpretation; publishing the ‘final product’ is really just the start of another conversation. This is one important reason why patient and public involvement is equally as important in medical education as it is in clinical research.

반사성은 우리의 입장이 항상 명확하지 않을 수 있고, 때때로 우리는 우리 자신의 편견과 문화적 맥락과 환경과의 관계에 대해 알지 못하기 때문에 필수적이다. 따라서 끊임없이 반사적인 자세를 갖고, 우리 자신의 근본적인 관점을 이해하고 명확히 하기 위해 도전하는 것은 질적 연구에서 엄격함의 중요한 부분이다. 라마니 등은 연구자가 연구를 수행할 때 선택하는 주요 요점과 연구자가 이러한 결정에 영향을 고려하도록 보장하는 방법을 보여주는 유용한 인포그래픽을 제작했다. 
Reflexivity is essential because our own position might not always be clear to us, and because we are sometimes unaware of our own prejudices and relationship with our cultural contexts and settings.9 Thus, being continually reflexive and challenging ourselves to understand and make clear our own underlying perspectives is an important part of rigour in qualitative research. Ramani et al. have produced a helpful infographic that illustrates the key points at which researchers make choices when conducting a study and how to ensure that researchers consider the influences in those decisions.14

우리는 반사적인 글쓰기를 보여주는 두 가지 참고 자료를 포함했다. 첫 번째 글에서 주요 저자는 의료 교육생의 직장 기반 평가(WBA) 경험을 탐구할 때 '내부 연구자'로서의 그녀의 위치를 자세히 설명한다. 이 경우, 그녀의 업무는 대학원 교육에서 새로운 WBA 도구를 구현하는 것을 포함했다. 그녀의 연구 관심은 훈련생의 학습 궤적에 대한 이러한 이니셔티브의 영향에 집중되었다. 
We have included two references demonstrating reflexive writing.15, 16 In the first article the lead author details her position as an ‘insider researcher’ when exploring the workplace-based assessment (WBA) experiences of medical trainees.15 In this case her job involved implementing new WBA tools in postgraduate training; her research interest centred around the effect of these initiatives on the learning trajectory of trainees.

[반사적reflexively]으로 글을 쓸 때는 반사적 연구 일지를 쓰고, 팀원들과 정기적으로 만나 반사적 토론을 하는 것이 중요하다. 최종 연구 보고서에서 독자에게 자신의 연구에 대한 '이야기'와, 연구팀의 positionality를 알려줄 수 있습니다. 또한 독자들에게 어떻게 해석이 형성되었는지, 예를 들어 필드 노트에 대한 성찰이 연구의 작성과 결론에 영향을 미쳤는지 말하는 것도 중요합니다. 두 번째 기사는 연구 과정 전반에 걸쳐 짜여진 반사성의 예를 제공한다. 방법론적 선택의 이유가 논의되고, 연구에 앞서, 주요 저자는 자신의 입장과 가정을 고려하고 기록하여, 그녀가 전체 연구와 작성 과정 동안 지속적으로 해당 문서를 참조할 수 있도록 했다.
In writing reflexively, it is important to keep a reflexive research diary, and to meet regularly with team members for reflexive discussion. In the final research report, you may choose to tell the reader the ‘story’ of your research and the positionality of the research team. It is also important to tell your reader how interpretations were formed and any reflections, for example, on your field notes, that influenced the write-up and conclusions of your study. The second article provides an example of reflexivity woven throughout the research process: reasons for the methodological choices are discussed and, prior to the study, the lead author considered and wrote down her own position and presumptions, allowing her to continually refer to that document throughout the entire research and writing process.16

결론들
Conclusions

우리는 질적 연구의 질을 높이기 위한 지속적인 과정으로서 반사성을 증진시키고자 한다. 반사적인 연구자가 되는 것은 여러분이 연구 과정의 각 단계에서 여러분의 [선택을 신중히 고려]하고, [독자들에게 분명히 말]하고, 또한 여러분 자신과 [상충될 수 있는 대안적인 관점을 고려]한다는 것을 보장한다. 어떤 패러다임에서든 좋은 연구의 특징은 [방법론적 엄격함]이다. 질적 연구의 경우, 우리는 [반사적으로 행동하는 것being reflexive]이 그 엄격함에서 강인하고 중요한 요소라고 제안한다. 
We wish to promote reflexivity as a continual process for enhancing quality in qualitative research. Being a reflexive researcher ensures that you carefully consider, and articulate to the reader, your choices at each stage of the research process, and that you also consider alternative perspectives that may be at odds with your own. The hallmark of good research – in any paradigm – is methodological rigour. In the case of qualitative research, we suggest that being reflexive is a strength and critical factor in that rigour.

© 2020 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

질적연구에서 성찰성(reflexivity)의 실용적 가이드: AMEE Guide No. 149 (Med Teach, 2022)
A practical guide to reflexivity in qualitative research: AMEE Guide No. 149
Francisco M. Olmos-Vegaa , Ren
ee E. Stalmeijerb , Lara Varpioc and Renate Kahlked

반사성이란 무엇인가?
What is reflexivity?

반사성에 대한 많은 다른 정의가 존재하며, 그 결과 연구원들은 반사성이 무엇인지, 어떻게 하는지는 말할 것도 없고, 종종 확신하지 못하게 된다. 사용 가능한 다양한 정의를 존중하고 그 사이의 차이를 인식하는 반사성에 대한 포괄적인 정의를 구성하기 위해 반사성에 명시적으로 초점을 맞춘 출판물에 대한 정성적 방법론 문헌을 검색했다. 그런 다음 일치성을 식별하기 위해 귀납적으로 분석했습니다. 표 1은 아래에 제공된 정의에 통합된 일부 설명의 예를 보여 줍니다. 그런 다음 이러한 결과를 종합하여 다음과 같은 포괄적인 정의를 개발했습니다.

Many different definitions of reflexivity exist, and, as a result, researchers are often left unsure of what reflexivity is, let alone how to do it. To construct a comprehensive definition of reflexivity that both respected the variety of definitions available and appreciated the differences between them, we searched the qualitative methodological literature for publications focused explicitly on reflexivity. We then inductively analyzed them to identify congruences. Table 1 provides examples of some of the descriptions we encountered, which are incorporated in the definition provided below. We then synthesized these findings to develop the following comprehensive definition:

반사율(Reflexivity)은 연구자들이 [자신의 주관성과 맥락]이 [연구 과정]에 어떤 영향을 미치는지 [스스로 의식적]으로 [비판하고, 감정하고, 평가]하는 [지속적이고 협력적이며 다면적]인 실천의 집합이다.
Reflexivity is a set of continuous, collaborative, and multifaceted practices through which researchers self-consciously critique, appraise, and evaluate how their subjectivity and context influence the research processes.

우리의 정의는 반사성이 [연구 노력의 전체 기간]에 걸쳐 확장되는 [지속적인 과정]이라는 것을 강조한다.

• 우리는 반사성의 [공유적이고, 협력적인 성격]을 강조한다. 반사성이 가장 효과적이려면 [연구팀 역학에 통합]되어야 한다.
• 우리는 또한 반사성의 [다면적인 본성]을 강조한다; 그것은 수행 중인 연구에 영향을 미치는 [개인적, 대인적, 방법론적 및 맥락적 요인]에 대한 비판적인 관심을 포함한다.

우리는 이러한 반사성의 복합 프레임이 HPE의 정성적 연구에 종종 존재하지 않는다는 것을 인식한다. 우리 분야에서는 각 협력자의 주관성을 설명하면서, [개인적인 측면]을 강조하는 경향이 있다. 우리는 반사성이 더 넓고 미묘하기 때문에 우리의 정의와 적용은 그 이질성과 복잡성을 반영하도록 수정되어야 한다고 주장한다.

Our definition highlights that reflexivity is an ongoing process that extends across the entire duration of a research endeavor.

• We emphasize its shared and cooperative nature; reflexivity must be integrated into the research team dynamic to be most effective.
• We also stress the multifaceted nature of reflexivity; it involves critical attention to personal, interpersonal, methodological, and contextual factors that influence the study being conducted.

We recognize that this composite framing of reflexivity is not often present in HPE’s qualitative research. In our field, we have tended to highlight the personal aspect, describing each collaborator’s subjectivity. We contend that reflexivity is broader and more nuanced, so our definition and application must be revised to reflect that heterogeneity and complexity.

우리가 제안하는 반사성 정의는 연구자 주관성(예: 주관주의, 사회구성주의)을 수용하는 연구 방향에 고정되어 있다. 우리는 반사성이 연구 프로젝트에서 [객관성이 결여된 것에 대한 사과]라고 생각하지 않는다. 구성주의의 관점에서, 목표는 정확하거나 공정한 표현을 달성하는 것이 아니다. 이는 불가능하며, 바람직하지도 않다(리스 외 2020). 대신, 우리는 반사성을 [주관성을 존중하고 가치있게 여기는 것]에 뿌리를 두고 있다고 생각한다. 그것은 연구를 존재하게 하는 서로 얽힌 개인적, 대인관계적, 방법론적, 맥락적 요소들의 중요성을 질적 연구자들이 어떻게 설명하느냐의 일부이다.

The reflexivity definition we propose is anchored in orientations to research that embrace researcher subjectivity (e.g. subjectivism, social constructionism). We do not conceive reflexivity as an apology for the lack of objectivity in a research project. From a constructionism perspective, the goal is not to achieve an accurate or impartial representation; this is neither possible nor desirable (Rees et al. 2020). Instead, we conceive of reflexivity as rooted in a respect for and a valuing of subjectivity. It is part of how qualitative researchers account for the significance of the intertwined personal, interpersonal, methodological, and contextual factors that bring research into being.

연구자들이 반사성에 참여하기 위해 사용할 수 있는 오리엔테이션은 무엇인가?
What Orientations can researchers use to engage in reflexivity?

이러한 다른 반사성 목적을 염두에 두고, 우리는 이제 연구원들이 이용할 수 있는 반사성의 유형을 구별할 수 있다. 질적 방법론자들은 다양한 반사율 유형을 제안했지만, HPE 내 또는 그 이상에서는 어느 것도 두드러지지 않았다. 이 AME 가이드에서는 월시(2003)의 접근법이 연구 프로젝트의 수명과 관련된 광범위하고 포괄적인 반사 관행 유형을 구성하기 때문에 제시한다. 우리는 각 반사율이 연구자의 목표에 따라 다른 형태를 취할 수 있기 때문에 각 반사율에 대한 설명을 위에서 설명한 목적과 통합한다. 
With these different reflexivity purposes in mind, we can now differentiate between the types of reflexivity available to researchers. Qualitative methodologists have proposed various reflexivity typologies (Finlay 2002a; Walsh 2003; D’Cruz et al. 2005), though none have gained prominence within HPE or beyond. In this AMEE Guide, we present Walsh’s (2003) approach since it constitutes a broad and comprehensive typology of reflexive practices relevant throughout the life of a research project. We integrate our description of each type of reflexivity with the purposes described above because each reflexivity can take a different shape depending on the researcher’s goals.

월시와 같은 유형론은 반사성에 대한 더 넓은 이해에 다음으로서 포함되어야 한다.

• 추상적 개념(위에서 제공한 정의와 목적 참조)으로서,
• 연구 프로젝트 및 원고의 한 부분(다음 섹션의 적용 원리 참조)으로서,

월시에 따르면, 반사 과정에는 4개의 겹치고 상호작용하는 차원이 있다: 개인적, 대인관계적, 방법론적, 맥락적. 이러한 과정을 가능한 한 유형적이고 쉽게 적용할 수 있도록 하기 위해, 우리는 우리의 연구 중 하나를 사용하여 각 유형의 반사성이 연구 프로젝트에서 어떻게 나타날 수 있는지와 연구자들이 각각에 대해 어떤 질문을 할 수 있는지 보여줄 것이다. 우리는 이 연구를 Box 1에 요약한 다음 Walsh의 각 치수를 설명한 후 반사성이 어떻게 적용될 수 있는지 설명한다.

Typologies such as Walsh’s need to be embedded within a broader understanding of reflexivity,

• as an abstract concept (see definition and purposes provided above) and
• as a part of a research project and manuscript (see application principles in the sections to follow).

According to Walsh, there are four overlapping and interacting dimensions of reflexive processes: personal, interpersonal, methodological and contextual. To make these processes as tangible and easily applicable as possible, we will use one of our studies (Olmos-Vega et al. 2018) to demonstrate how each type of reflexivity might manifest in a research project and what questions researchers might ask themselves concerning each. We summarize this study in Box 1 and then illustrate how reflexivity can be applied after describing each of Walsh's dimensions.

개인적 반사성
Personal reflexivity

개인 반사성(Box 2)은 연구자가 [상황, 참가자 및 데이터]에 대한 [기대, 가정, (의식적 및 무의식적) 반응]을 [성찰]하고 [명확히] 할 것]을 요구한다. 연구자의 참여는 연구과정의 중요한 측면으로서 분석되고 해석되어야 한다. 개인 반사성에 참여하는 것은 각 조사자의 [배경과 훈련]을 공개하는 것 이상의 것이어야 한다. 연구자의 [이전 경험과 동기]가 프로젝트 전반에 걸쳐 내린 [결정에 어떤 영향을 미칠 수 있는지]에 대한 설명을 포함해야 한다(Finlay 2002b), 그러한 영향이 긍정적이든 부정적이든 또는 둘 다에 대한 설명을 포함해야 한다. 개인적 반사성은 조사 기간 동안 지속적으로 발생해야 하며 프로젝트의 모든 측면(즉, 프로젝트의 개념부터 연구 결과까지)과 상호 연관되어야 한다. 
Personal reflexivity (Box 2) requires researchers to reflect on and clarify their expectations, assumptions, and conscious and unconscious reactions to contexts, participants, and data (Walsh 2003; Dowling 2006; Gentles et al. 2014). The researcher’s participation is a significant aspect of the research process that should be analyzed and interpreted. Engaging in personal reflexivity should go beyond disclosing each investigator’s background and training; it should include descriptions of how the researcher’s prior experiences and motivations might influence the decisions made throughout the project (Finlay 2002b), whether that influence is positive, negative, or neither. Personal reflexivity ought to occur continuously across the duration of the investigation and should be interwoven with all aspects of the project—i.e. from the project’s conception to research outputs.

또한, 개인적 반사성은 [연구가 연구원들에게 미치는 영향]을 다루어야 한다. 개인적 반사 운동에 참여하는 것은 강력한 학습 경험이 될 수 있다; 그것은 연구자의 관행을 재구성하고 다른 종류의 변화를 촉진할 수 있다. 그러나 잠재적으로 부정적인 영향을 고려하는 것도 필수적이다. 예를 들어, 참가자들과 상실과 슬픔에 대해 토론하는 것은 그러한 경험을 공유하는 연구자들에게 강렬한 감정을 촉발할 수 있다(Rowling 1999).
Additionally, personal reflexivity should address the impact of the research on the researchers (Mauthner and Doucet 2003; Finefter-Rosenbluh 2017). Engaging in a personal reflexive exercise can be a powerful learning experience (Mann et al. 2009); it can reshape a researcher’s practices and catalyze other kinds of change (Finlay 2002a; Koopman et al. 2020). However, it is also essential to consider potentially negative impacts; for example, discussing loss and grief with participants may trigger intense emotions for researchers who share those experiences (Rowling 1999).

 

대인 반사성
Interpersonal reflexivity

대인적 반사성(Box 3)은 [연구과정을 둘러싼 [관계]가 [맥락, 관련자 및 결과]에 어떤 영향을 미치는지] 나타낸다(Walsh 2003). 이들 중 가장 중요한 것은 [연구자와 참가자 사이의 관계]일 것이다. 대인 반사성에 대한 사려 깊은 접근은

• [참가자의 고유한 지식과 관점]을 [인식recognize]하고, [감사appreciate]하며,
• (이 지식과 관점이) 연구 과정에 미치는 영향에 [주의를 기울이는attending to] 것을 포함한다. —예: 질문을 해석하는 방법. 

반대로, [참가자들에 의해 공유된 정보와 통찰력]은 [연구자들의 결정과 결과]에 직접적인 영향을 미칠 것이다. 그러나 이러한 인식과 감상은 [중립적인 공간]에서 비롯된 것이 아니다. 대인 반사성은 반드시 작동 중인 [권력 역학]에 대한 분석을 포함해야 한다(Finlay 2002a). 이러한 역학관계는 결코 보편적이거나 고정된 것은 아니지만, 연구자들은 종종 참여자와의 관계 속에서 권력 위치를 차지한다.

• 참여자의 관점의 [해석자]로서,
• "타당한" 정보로 간주되는 것의 [결정권자]로서,
• 널리 인정받는 [자격의 보유자]로서 

Interpersonal reflexivity (Box 3) refers to how the relationships surrounding the research process influence the context, people involved, and results (Walsh 2003). Likely the most significant of these are the relationships between researchers and participants. A thoughtful approach to interpersonal reflexivity involves

• recognizing and appreciating participants' unique knowledge and perspectives and
• attending to their impacts on the research process—e.g. how they interpret our questions.

Conversely, the information and insights shared by participants will directly influence researchers’ decisions and results. However, this recognition and appreciation do not stem from a neutral space; interpersonal reflexivity must include an analysis of the power dynamics at play (Finlay 2002a). Though these dynamics are by no means universal or fixed, researchers often occupy power positions relative to participants, as the

• interpreters of their views,
• arbiters of what counts as “valid” information, and
• holders of widely recognized credentials.

따라서 [데이터]는 [연구자와 참여자 간의 고유한 권력 관계의 산물]로만 이해될 수 있다. 이와 관련하여 대인반사성은 [맥락적 반사성(아래에서 논의함)]과 중첩되며 연구 맥락에서 미묘한 힘의 감상이 필요하다. 이 역학을 인정하는 목적 중 하나는 참가자와 데이터에 미치는 영향을 완화하거나 관리하는 것일 수 있다.

Thus, data can only be understood as a product of the unique power relationship between researcher and participants (England 1994; Finlay 2002b; Pillow 2003; Burns et al. 2012). In this regard, interpersonal reflexivity overlaps with contextual reflexivity (discussed below) and requires a nuanced appreciation of power in the research context. One of the aims of acknowledging this dynamic might be to temper or manage its influence on participants and data.

대인적 반사성의 또 다른 차원은 [연구팀 구성원들 사이의 관계]가 어떻게 전개되고 연구에 영향을 미치는지를 포함한다. 반사적인 연구 협력이란 다음을 포함한다.

• 팀 구성원의 동기, 기대 및 가정 간의 상호 작용에 대한 능동적이고 지속적인 탐구
• 이러한 관점과 역학이 어떻게 활용되거나 관리될 수 있는지를 조사
• (연구자의 패러다임과 관점의 차이를 포함하여) 주요 연구 이슈에 대한 의견 차이를 반영하고 문서화

Another dimension of interpersonal reflexivity includes how the relationships among the research team members unfold and impact the research (Barry et al. 1999; Russell and Kelly 2002). Reflexive research collaboration involves

• active and ongoing exploration of the interplay between team members' motivations, expectations, and assumptions,
• while examining how these perspectives and dynamics can be leveraged or managed.
• It also includes reflecting on and documenting disagreements on main research issues, including differences in researchers’ paradigms and perspectives (Leggatt-Cook et al. 2011). 

이러한 유형의 대인 반사성에 참여하는 것은 연구팀의 [모든 구성원들이 참여하는 협력적인 노력]이다.
Engaging in this type of interpersonal reflexivity is a collaborative effort involving all members of the research team.

 

 

방법론적 반사성
Methodological reflexivity

세 번째 유형의 반사성은 방법론적 반사성(Box 4)으로, 연구자들은 방법론적 결정의 뉘앙스와 영향을 비판적으로 고려한다. 그것은 종종 연구자들의 [패러다임 지향]에 대한 사려 깊은 고려로 시작된다(Walsh 2003). 패러다임은 연구 노력에 inform하고, 연구 과정 전반에 울려 퍼지며reverberates, 결과에 영향을 미치는 세계관이다. [패러다임을 선택하거나 인정하는 것]은 [특정한 가능성을 열고 배제하는 것]을 의미하므로, [방법론적 반사성을 사용하는 것]은 [선택된 패러다임이 연구에 부과하는 경계를 이해하는 것]을 의미한다(Raven 2006). 

The third type of reflexivity is methodological reflexivity (Box 4), where researchers critically consider the nuances and impacts of their methodological decisions. It often begins with thoughtful consideration of researchers’ paradigmatic orientation(s) (Walsh 2003). A paradigm is a worldview that informs research efforts and, as such, reverberates throughout the research processes and impacts results (Varpio and MacLeod 2020). Choosing or acknowledging a paradigm entails opening and foreclosing particular possibilities, so using methodological reflexivity implies understanding the boundaries that a chosen paradigm imposes upon the research (Raven 2006).

연구 초기부터, 연구자들은 [방법론적 선택]을 [패러다임과 이론적 또는 개념적 틀에 맞추는 것]에 대해 반사적일 필요가 있다. 연구자들은 또한 질적 조사가 풍부한 맥락에 내재되어 있고 반응적이라는 것을 기억해야 하며, 이것이 [방법론적 의사 결정이 연구 과정의 초기에 설정되어서는 안 되는 이유]이다. 대신, 반사적 연구자들은 지속적으로 결정을 내리고, 데이터나 예기치 못한 상황에 대응한다(Varpio et al. 2020). 따라서 방법론적 반사성은 이러한 [결정의 의미]에 초점을 맞추고, [윤리적이고, 엄격하며, 패러다임적으로 정렬되도록 하는 것]을 의미한다.

At the outset, researchers need to be reflexive about aligning their methodological choices with their paradigm and theoretical or conceptual framework (Varpio et al. 2020). Researchers must also remember that qualitative inquiry is embedded in and reactive to rich contexts, that is why methodological decision making should not be set at the beginning of the research process. Instead, reflexive researchers are constantly making decisions and reacting to their data or unforeseen circumstances (Varpio et al. 2020). Thus, methodological reflexivity means focusing on the meaning of these decisions and ensuring that they are ethical, rigorous, and paradigmatically aligned.

 

문맥 반사율
Contextual reflexivity

반사성의 마지막 유형은 맥락적 반사성(Box 5)이며, 이는 [문화적, 역사적 맥락에서 특정 프로젝트를 위치시키는 것locating]을 의미한다(Walsh 2003). 그것은 [연구 질문과 연구자의 대답]이 [가정과 실천이라는 사회적 분야]에 [어떻게 포함되어embed 있고, 어떻게 영향을 받는지] 강조한다. 맥락적 반사성은 또한 연구가 의도하였거나 의도하지 않은 방식으로 수행되어지면서 [사회 분야를 어떻게 변화시키는지] 이해하는 것을 수반한다. 윤리적 연구는 [그 연구가 일어나는 맥락에 긍정적으로 영향을 미치기를 추구]한다; 새로운 통찰력은 참여자들의 연구에 대한 성찰이나 참여가 그들의 실천과 맥락에 어떻게 영향을 미치는지로부터 생성될 수 있다.

The last type of reflexivity is contextual reflexivity (Box 5); it refers to locating a particular project in its cultural and historical context (Walsh 2003). It highlights how the research questions and their answers are embedded in and influenced by a social field of assumptions and practices (Naidu and Sliep 2011). Contextual reflexivity also entails understanding how research transforms the social field in which it is conducted in ways that are both intended and unintended (Smith 1994; Reid et al. 2018). Ethical research seeks to positively impact the contexts in which it takes place; new insights can be generated from how participants’ reflections or engagement in the study affects their practices and context (Bishop et al. 2002).