임상 술기를 직접 관찰하는 것은 역량 기반 의학교육의 핵심 평가 전략이지만, 모든 졸업생이 필수 영역에서 역량을 갖출 수 있도록 하는 것은 항상 의료 전문직 교육에 필수적이었습니다[1, 2]. 이 가이드라인에서는 다음과 같은 역량에 대한 정의를 사용합니다: '의학교육 또는 실습의 정의된 단계에서 특정 맥락에서 모든 영역에서 요구되는 능력을 보유하는 것[1]'. 이제 교육 프로그램과 전문과목은 관찰 및 평가할 수 있는 필수 역량, 역량 구성 요소, 발달 이정표, 성과 수준 및 위탁 가능한 전문 활동(EPA)을 정의했습니다. 그 결과, 학습자(의대생, 대학원 또는 대학원 수련의)가 의미 있고 진정성 있고 현실적인 환자 치료 및 임상 활동에 참여하는 동안 감독자가 관찰하는 직접 관찰이 점점 더 강조되는 평가 방법[3, 4]이 되고 있습니다[4, 5]. [직접 참관]은 의학교육 연락 위원회, 의학전문대학원 교육 인증위원회, 영국 파운데이션 프로그램과 같은 의학교육 인증 기관에서 요구합니다[6,7,8]. 그러나 그 중요성에도 불구하고 임상 술기에 대한 직접 관찰은 드물고 관찰의 질이 떨어질 수 있습니다[9,10,11]. 양질의 직접 관찰이 부족하면 학습에 중대한 영향을 미칩니다. 형성적 관점에서 학습자는 임상 술기 개발을 지원하기 위한 피드백을 받지 못합니다. 또한 학습자의 역량과 궁극적으로 환자에게 제공되는 치료의 질에 대한 종합적인 평가도 위태롭습니다.  
While direct observation of clinical skills is a key assessment strategy in competency-based medical education, it has always been essential to health professions education to ensure that all graduates are competent in essential domains [1, 2]. For the purposes of these guidelines, we use the following definition of competent: ‘Possessing the required abilities in all domains in a certain context at a defined stage of medical education or practice [1].’ Training programs and specialties have now defined required competencies, competency components, developmental milestones, performance levels and entrustable professional activities (EPAs) that can be observed and assessed. As a result, direct observation is an increasingly emphasized assessment method [3, 4] in which learners (medical students, graduate or postgraduate trainees) are observed by a supervisor while engaging in meaningful, authentic, realistic patient care and clinical activities [4, 5]. Direct observation is required by medical education accrediting bodies such as the Liaison Committee on Medical Education, the Accreditation Council of Graduate Medical Education and the UK Foundation Program [6,7,8]. However, despite its importance, direct observation of clinical skills is infrequent and the quality of observation may be poor [9,10,11]. Lack of high quality direct observation has significant implications for learning. From a formative perspective, learners do not receive feedback to support the development of their clinical skills. Also at stake is the summative assessment of learners’ competence and ultimately the quality of care provided to patients.

이 백서에서 제안하는 가이드라인은 임상 술기 직접 관찰에 관한 문헌의 종합을 기반으로 하며, 학습자 감독자와 의학교육 임상 교육 프로그램을 담당하는 교육 리더 모두에게 실질적인 권장 사항을 제공합니다. 이 백서의 목적은

• 1) 일선 교사, 학습자 및 교육 리더가 직접 관찰의 질과 빈도를 개선하도록 돕고,
• 2) 직접 관찰에 대한 현재의 관점을 공유하며,
• 3) 이 분야를 발전시키기 위한 향후 연구 의제에 정보를 제공할 수 있는 이해의 격차를 파악하는 것입니다.

The guidelines proposed in this paper are based on a synthesis of the literature on direct observation of clinical skills and provide practical recommendations for both supervisors of learners and the educational leaders responsible for medical education clinical training programs. The objectives of this paper are to

• 1) help frontline teachers, learners and educational leaders improve the quality and frequency of direct observation;
• 2) share current perspectives about direct observation; and
• 3) identify gaps in understanding that could inform future research agendas to move the field forward.

이 지침은 직접 관찰에 대한 연구 경험이 있고 임상 환경에서 학부(의대생) 및 대학원/대학원(레지던트/펠로우) 학습자를 가르치고, 관찰하고, 피드백을 제공한 실무 경험이 있는 2개국 4명의 의학교육자의 전문가 의견과 함께 기존 증거에 대한 서술적 검토[12]로 이루어졌습니다. 반복적인 프로세스를 통해 가이드라인을 개발했습니다. 특히 병력 청취, 신체 검사, 상담 및 시술 기술 관찰과 같이 학습자가 환자 및 그 가족과 상호작용하는 모습을 직접 관찰하는 것으로 범위를 제한했습니다. 고품질의 직접 관찰을 촉진하고 보장하는 권장 사항을 만들기 위해 일선 교사/감독자, 학습자, 교육 리더 및 상황을 구성하는 기관에 초점을 맞추었습니다.

This is a narrative review [12] of the existing evidence coupled with the expert opinion of four medical educators from two countries who have research experience in direct observation and who have practical experience teaching, observing, and providing feedback to undergraduate (medical student) and graduate/postgraduate (resident/fellow) learners in the clinical setting. We developed the guidelines using an iterative process. We limited the paper’s scope to direct observation of learners interacting with patients and their families, particularly observation of history taking, physical exam, counselling and procedural skills. To create recommendations that promote and assure high quality direct observation, we focused on the frontline teachers/supervisors, learners, educational leaders, and the institutions that constitute the context. 

형성 평가와 총괄 평가 모두에 사용되는 직접 관찰을 다루었습니다. 평가의 단계는 연속적이지만,

• [형성 평가]는 학습자 성취도에 대한 증거를 도출하고 해석하여 교사와 학습자가 수업의 다음 단계에 대한 결정을 내리는 데 사용하는 저부담의 평가로 정의하고,
• [총괄 평가]는 행정적 결정의 주요 목적(예: 진도 진행 여부, 졸업 여부 등)을 위해 학습자를 평가하도록 고안된 고부담의 평가로 정의합니다[13].

다음은 제외했습니다

• 1) 모의 진료, 비디오 녹화 진료 및 기타 기술(예: 프레젠테이션 기술, 전문가 간 팀 기술 등)에 대한 관찰,
• 2) 실무 의사에 초점을 맞춘 직접 관찰,
• 3) 다른 형태의 작업장 기반 평가(예: 차트 감사)

직접 관찰의 중요한 측면은 관찰 후 학습자에게 피드백을 제공하는 것이지만, 피드백 가이드라인이 이미 발표되었기 때문에 피드백에 초점을 맞춘 가이드라인의 수를 제한하기로 합의했습니다[14].
We addressed direct observation used for both formative and summative assessment. Although the stakes of assessment are a continuum, we define

• formative assessment as lower-stakes assessment where evidence about learner achievement is elicited, interpreted and used by teachers and learners to make decisions about next steps in instruction, while
• summative assessment is a higher-stakes assessment designed to evaluate the learner for the primary purpose of an administrative decision (i. e. progress or not, graduate or not, etc.) [13].

We excluded

• 1) observation of simulated encounters, video recorded encounters, and other skills (e. g. presentation skills, inter-professional team skills, etc.);
• 2) direct observation focused on practising physicians; and
• 3) other forms of workplace-based assessment (e. g. chart audit).

Although an important aspect of direct observation is feedback to learners after observation, we agreed to limit the number of guidelines focused on feedback because a feedback guideline has already been published [14].

이러한 매개변수를 정의한 후 각 저자는 아래에 정의된 대로 해야 할 일, 하지 말아야 할 일 및 모르는 일 목록을 독립적으로 생성했습니다. 특히 '모르겠다'는 답변이 있을 경우 교육 관행을 바꿀 수 있는 항목에 초점을 맞추었습니다. 일련의 반복적인 토론을 통해 [해야 할 일, 하지 말아야 할 일, 모르는 일] 목록에 합의할 때까지 목록을 검토하고 토론하고 다듬었습니다. 그런 다음 항목은 4명의 저자가 나누어 담당했으며, 각 저자는 할당된 항목에 대한 찬성과 반대의 증거를 식별할 책임이 있었습니다. 주로 임상 술기의 직접 관찰에 초점을 맞춘 근거를 찾았지만, 근거가 부족한 경우 다른 평가 양식과 관련된 근거도 고려했습니다. 그런 다음 모든 저자가 증거 요약을 공유했습니다. 필요한 경우 근거에 따라 항목을 재분류하고 상충되는 근거가 있는 항목은 '잘 모름' 범주로 이동했습니다. 그룹 합의를 통해 이전 지침의 강도 지표를 사용하여 각 지침을 뒷받침하는 근거의 강도를 결정했습니다([14], 표 1). 직접 관찰이 아닌 평가 방식을 추정하여 얻은 증거는 보통 이상의 지지를 받지 못했습니다. 
With these parameters defined, each author then independently generated a list of Do’s, Don’ts and Don’t Knows as defined below. We focused on Don’t Knows which, if answered, might change educational practice. Through a series of iterative discussions, the lists were reviewed, discussed and refined until we had agreed upon the list of Do’s, Don’ts and Don’t Knows. The items were then divided amongst the four authors; each author was responsible for identifying the evidence for and against assigned items. We primarily sought evidence explicitly focused on direct observation of clinical skills; however, where evidence was lacking, we also considered evidence associated with other assessment modalities. Summaries of evidence were then shared amongst all authors. We re-categorized items when needed based on evidence and moved any item for which there was conflicting evidence to the Don’t Know category. We used group consensus to determine the strength of evidence supporting each guideline using the indicators of strength from prior guidelines ([14]; Table 1). We did not give a guideline higher than moderate support when evidence came from extrapolation of assessment modalities other than direct observation.

원래 목록에는 개별 감독자, 학습자, 교육 프로그램을 담당하는 교육 리더의 세 그룹에 초점을 맞춘 지침이 있었습니다. 이 초기 목록에는 67개(해야 할 일 35개, 하지 말아야 할 일 16개, 잘 모르겠다 16개)의 항목이 있었습니다. 그룹 토론을 통해 유사하거나 중복되는 항목을 합쳐 33개로 줄였고, 중요하지 않다고 판단된 항목은 2개만 삭제했습니다. 교육 프로그램을 담당하는 교육 리더를 위한 지침에 학습자 중심의 항목을 포함시켜 중복 항목을 줄이고, 교육 리더가 학습자가 직접 관찰하고 피드백을 학습 전략의 일부로 통합하도록 활성화하는 학습 문화를 조성하는 것이 얼마나 중요한지 강조하기로 했습니다.
Our original lists had guidelines focused on three groups: individual supervisors, learners, and educational leaders responsible for training programs. This initial list of Do’s, Don’ts and Don’t Knows numbered 67 (35 Do’s, 16 Don’ts, 16 Don’t Knows). We reduced this to the 33 presented by combining similar and redundant items, with only two being dropped as unimportant based on group discussion. We decided to embed items focused on learners within the guidelines for educational leaders responsible for training programs to reduce redundancy and to emphasize how important it is for educational leaders to create a learning culture that activates learners to seek direct observation and incorporate feedback as part of their learning strategies.

증거를 검토한 결과, 원래 '해야 할 일'로 정의된 4개 항목이 '모름'으로 이동되었습니다. 해야 할 일, 하지 말아야 할 일 및 잘 모름의 최종 목록은 개별 감독자에 초점을 맞춘 지침(표 2)과 교육 프로그램을 담당하는 교육 리더에 초점을 맞춘 지침(표 3)의 두 섹션으로 나뉩니다. 이 원고의 나머지 부분에서는 각 지침을 뒷받침하는 주요 근거와 이용 가능한 문헌에 근거한 지침의 강점을 제공합니다.
After review of the evidence, four items originally defined as a Do were moved to a Don’t Know. The final list of Do’s, Don’ts and Don’t Knows is divided into two sections: guidelines that focus on individual supervisors (Table 2) and guidelines that focus on educational leaders responsible for training programs (Table 3). The remainder of this manuscript provides the key evidence to support each guideline and the strength of the guideline based on available literature.

직접 관찰을 수행하는 개별 임상 감독자를 위한 근거가 포함된 가이드라인
Guidelines with supporting evidence for individual clinical supervisors doing direct observation

개별 슈퍼바이저가 해야 할 일
Do’s for individual supervisors

지침 1. 실제 임상 현장에서 실제 임상 업무를 관찰합니다.
Guideline 1. Do observe authentic clinical work in actual clinical encounters.

직접 관찰은 임상 현장에서 이루어지는 평가로서 임상 역량 평가를 위한 밀러 피라미드의 최상단에 있는 '해야 한다'의 평가를 지원합니다[15, 16]. 교육과 평가의 목표는 임상 환경에서 감독 없이 실습할 수 있는 의사를 배출하는 것이므로, 학습자는 임상 역량을 입증해야 하는 환경에서 관찰되어야 합니다. 실제 임상 상황은 시뮬레이션이나 역할극보다 더 복잡하고 미묘하며 다양한 맥락을 수반하는 경우가 많으므로 실제 임상 진료를 직접 관찰하면 이러한 복잡성을 탐색하는 데 필요한 임상 기술을 관찰할 수 있습니다[17].
Direct observation, as an assessment that occurs in the workplace, supports the assessment of ‘does’ at the top of Miller’s pyramid for assessing clinical competence [15, 16]. Because the goal of training and assessment is to produce physicians who can practise in the clinical setting unsupervised, learners should be observed in the setting in which they need to demonstrate clinical competence. Actual clinical encounters are often more complex and nuanced than simulations or role plays and involve variable context; direct observation of actual clinical care enables observation of the clinical skills required to navigate this complexity [17].

학습자와 교사는 임상 활동 참여를 통한 실습이 학습의 핵심임을 인식하고 있습니다[18,19,20]. [진정성]은 상황별 학습의 핵심 요소이며, 학습이 실제와 가까울수록 기술을 더 빠르고 효과적으로 학습할 수 있습니다[21, 22]. 또한 학습자는 실제 환자와의 만남과 그 환경이 시뮬레이션된 만남보다 더 자연스럽고 유익하며 흥미진진하다고 느끼며, 시뮬레이션된 만남보다 실제 만남에 대해 더 많은 준비를 하고 자율 학습에 대한 더 강한 동기를 표현할 수 있습니다[23]. 학습자는 시간이 지남에 따라 의미 있는 임상 진료에 참여하는 것을 관찰한 후 발생하는 평가와 피드백을 중요하게 생각합니다[24,25,26]. [진정한 만남의 예]로는 임상팀이 이미 병력을 확보한 환자에 대해 학습자가 병력을 작성하는 것을 지켜보는 것보다, 학습자가 초기 병력을 작성하는 것을 지켜보는 것을 들 수 있습니다. 
Learners and teachers recognize that hands-on-learning via participation in clinical activities is central to learning [18,19,20]. Authenticity is a key aspect in contextual learning; the closer the learning is to real life, the more quickly and effectively skills can be learned [21, 22]. Learners also find real patient encounters and the setting in which they occur more natural, instructive and exciting than simulated encounters; they may prepare themselves more for real versus simulated encounters and express a stronger motivation for self-study [23]. Learners value the assessment and feedback that occurs after being observed participating in meaningful clinical care over time [24,25,26]. An example of an authentic encounter would be watching a learner take an initial history rather than watching the learner take a history on a patient from whom the clinical team had already obtained a history.

감독자는 학습자를 실제 상황에서 관찰하려고 노력할 수 있지만, 저자의 경험에 따르면 학습자는 관찰을 받을 때 비실제적인 실습(예: 환자 병력을 기록할 때 전자 건강 기록에 입력하지 않거나 더 집중적인 검사가 적절한데도 종합적인 신체 검사를 하는 등)을 기본값으로 설정할 수 있습니다. 관찰자 효과가 성과에 미치는 영향에 대해서는 논란의 여지가 있지만(호손 효과라고도 함)[11, 27], 관찰자는 학습자가 실제 업무 행동에 대한 피드백을 받을 수 있도록 학습자가 '평소에 하던 대로' 하도록 격려해야 합니다. 관찰자는 [호손 효과]에 대한 두려움을 임상 환경에서 학습자를 관찰하지 않는 이유로 사용해서는 안 됩니다[지침 18 참조].
Although supervisors may try to observe learners in authentic situations, it is the authors’ experience that learners may default to inauthentic practice when being observed (for example, not typing in the electronic health record when taking a patient history or doing a comprehensive physical exam when a more focused exam is appropriate). While the impact of observer effects on performance is controversial (known as the Hawthorne effect) [11, 27], observers should encourage learners to ‘do what they would normally do’ so that learners can receive feedback on their actual work behaviours. Observers should not use fear of the Hawthorne effect as a reason not to observe learners in the clinical setting [see Guideline 18].

지침 2. 관찰하기 전에 평가의 후과 및 성과를 포함하여 목표를 논의하고 기대치를 설정하여 학습자를 준비시킵니다.
Guideline 2. Do prepare the learner prior to observation by discussing goals and setting expectations, including the consequences and outcomes of the assessment.

목표 설정에는 학습자와 감독자 간의 협상이 포함되어야 하며, 가능한 경우 직접 관찰에서는 학습자가 가장 필요하다고 느끼는 것에 초점을 맞추어야 합니다. 학습자의 목표는 어떤 활동에 참여할지, 그리고 그러한 활동에 대한 접근 방식에 대해 학습자가 선택할 수 있도록 동기를 부여합니다. 잘 수행하고 '잘 보이는 것'보다는 [학습과 개선을 지향하는 목표]는 학습자가 직접 관찰에 수반될 수 있는 피드백과 교육을 더 잘 수용할 수 있도록 합니다[28, 29]. 학습자가 직접 관찰을 언제, 무엇을 위해 수행할지 자율적으로 결정하면 관찰에 대한 동기가 강화되고 수행 목표에서 학습 목표로 초점을 전환할 수 있습니다[30, 31]. 교사는 학습자의 목표를 묻고 이를 해결하기 위해 교육 및 관찰의 초점을 조정함으로써 이러한 자율성을 촉진할 수 있습니다. 예를 들어, 동일한 임상 상황 내에서 감독자는 학습자가 관찰 및 피드백의 초점(병력 기록, 의사소통 또는 환자 관리)을 선택할 수 있도록 함으로써 학습자를 위한 직접 관찰의 관련성을 높일 수 있습니다. 학습자의 목표는 프로그램 목표, 역량(예: 마일스톤) 및 특정 개인의 필요와 일치해야 합니다[지침 17 참조]. 모든 수준의 학습자에게 목표를 설정하도록 요청하면 어려움을 겪는 학습자에게 초점을 맞추기보다는 모든 학습자에게 개선의 중요성을 정상화하는 데 도움이 됩니다. 관찰자와 학습자 간의 협력적 접근 방식은 아래에 설명된 자기조절 학습 주기의 첫 번째 단계인 학습 계획을 촉진합니다[32]. 학습자는 특정 개인화된 목표를 식별하고 이를 위해 노력하라는 요청을 받아들이고, 그렇게 함으로써 학습에 대한 책임감을 심어줍니다[31]. 
Setting goals should involve a negotiation between the learner and supervisor and, where possible, direct observation should include a focus on what learners feel they most need. Learners’ goals motivate their choices about what activities to engage in and their approach to those activities. Goals oriented toward learning and improvement rather than performing well and ‘looking good’ better enable learners to embrace the feedback and teaching that can accompany direct observation [28, 29]. Learners’ autonomy to determine when and for what direct observation will be performed can enhance their motivation to be observed and shifts their focus from performance goals to learning goals [30, 31]. Teachers can foster this autonomy by soliciting learners’ goals and adapting the focus of their teaching and observation to address them. For example, within the same clinical encounter, a supervisor can increase the relevance of direct observation for the learner by allowing the learner to select the focus of observation and feedback-history taking, communication, or patient management. A learner’s goals should align with program objectives, competencies (e. g. milestones) and specific individual needs [see Guideline 17]. Asking learners at all levels to set goals helps normalize the importance of improvement for all learners rather than focusing on struggling learners. A collaborative approach between the observer and learner fosters the planning of learning, the first step in the self-regulated learning cycle described below [32]. Learners are receptive to being asked to identify and work towards specific personalized goals, and doing so instills accountability for their learning [31].

관찰하기 전에 관찰자는 평가의 후과에 대해서도 학습자와 논의해야 합니다. 관찰이 높은 수준의 평가가 아닌 피드백을 위해 사용되는 경우 이를 명확히 하는 것이 중요합니다. 학습자는 직접 관찰을 통해 얻을 수 있는 형성적 학습 기회의 이점을 인식하지 못하는 경우가 많으므로 이점을 설명하는 것이 도움이 될 수 있습니다[33]. 
Prior to observation, observers should also discuss with the learner the consequences of the assessment. It is important to clarify when the observation is being used for feedback as opposed to high-stakes assessment. Learners often do not recognize the benefits of the formative learning opportunities afforded by direct observation, and hence explaining the benefits may be helpful [33].

가이드라인 3. 학습자의 자기조절 학습 능력을 배양합니다.
Guideline 3. Do cultivate learners’ skills in self-regulated learning.

학습을 향상시키기 위한 직접 관찰을 위해 학습자는 개별 목표를 달성하기 위해 받은 피드백의 유용성을 극대화하는 전략을 사용할 준비가 되어 있어야 합니다. 자신의 학습 요구와 지식 및 성과 향상에 필요한 행동에 대한 인식은 직접 관찰의 가치를 최적화합니다. 자기조절 학습은 다음의 지속적인 주기를 설명합니다[32].  

• 1) 학습을 위한 계획 수립,
• 2) 활동 중 자기 모니터링 및 학습과 성과를 최적화하기 위해 필요한 조정,
• 3) 활동 후 목표 달성 여부 또는 어려움의 위치와 이유에 대한 성찰

직접 관찰의 맥락에서의 예는 그림 1에 나와 있습니다. 직접 관찰의 맥락에서 발생하는 것처럼 활동 중에 소량의 특정 피드백을 제공하면 자기조절 학습이 극대화됩니다[34]. 훈련생은 피드백을 구함으로써 스스로 평가한 성과를 보강하는 정도가 다양합니다[35]. [직접 관찰과 피드백을 결합]하면 학습자가 받는 피드백의 양을 늘림으로써 이러한 문제를 극복하는 데 도움이 될 수 있습니다[프로그램 지침 18 참조]. 

For direct observation to enhance learning, the learner should be prepared to use strategies that maximize the usefulness of feedback received to achieve individual goals. Awareness of one’s learning needs and actions needed to improve one’s knowledge and performance optimize the value of being directly observed. Self-regulated learning describes an ongoing cycle of

• 1) planning for one’s learning;
• 2) self-monitoring during an activity and making needed adjustments to optimize learning and performance; and
• 3) reflecting after an activity about whether a goal was achieved or where and why difficulties were encountered [32].

An example in the context of direct observation is shown in Fig. 1. Self-regulated learning is maximized with provision of small, specific amounts of feedback during an activity [34] as occurs in the context of direct observation. Trainees vary in the degree to which they augment their self-assessed performance by seeking feedback [35]. Direct observation combined with feedback can help overcome this challenge by increasing the amount of feedback learners receive [see Program Guideline 18].

가이드라인 4. 중요한 임상 술기는 대리 정보를 사용하지 말고 직접 관찰을 통해 평가합니다.
Guideline 4. Do assess important clinical skills via direct observation rather than using proxy information.

감독자는 평가할 술기를 직접 관찰해야 합니다. 실제로 감독자는 학습자의 임상 술기를 평가할 때 대리 정보를 기반으로 하는 경우가 많습니다. 예를 들어, 감독자는 학습자가 환자를 진찰하는 것을 듣고 병력 및 신체 검사 기술을 추론하거나 학습자와 팀과의 상호 작용을 기반으로 환자와의 대인관계 기술을 추론하는 경우가 많습니다[36]. 직접 관찰은 임상 수행 평가의 질, 의미, 신뢰성 및 타당성을 향상시킵니다[37]. 감독자와 학습자는 직접 관찰에 기반한 평가를 효과적인 평가자의 가장 중요한 특성 중 하나로 간주합니다[38]. 또한 학습자는 직접 관찰에 기반한 교육생에 대한 직접적인 정보에 근거할 때 교육 중 평가가 가치 있고 정확하며 신뢰할 수 있다고 생각할 가능성이 더 높습니다[39]. 예를 들어, 로테이션이 끝날 때 평가할 술기인 경우, 감독자는 로테이션이 진행되는 동안 학습자가 병력을 작성하는 것을 여러 번 직접 관찰해야 합니다. 
Supervisors should directly observe skills they will be asked to assess. In reality, supervisors often base their assessment of a learner’s clinical skills on proxy information. For example, supervisors often infer history and physical exam skills after listening to a learner present a patient or infer interpersonal skills with patients based on learner interactions with the team [36]. Direct observation improves the quality, meaningfulness, reliability and validity of clinical performance ratings [37]. Supervisors and learners consider assessment based on direct observation to be one of the most important characteristics of effective assessors [38]. Learners are also more likely to find in-training assessments valuable, accurate and credible when they are grounded in first-hand information of the trainee based on direct observation [39]. For example, if history taking is a skill that will be assessed at the end of a rotation, supervisors should directly observe a learner taking a history multiple times over the rotation.

가이드라인 5. 실습을 방해하지 않고 관찰합니다.
Guideline 5. Do observe without interrupting the encounter.

관찰자는 가능한 한 학습자가 방해받지 않고 면담을 진행할 수 있도록 해야 합니다. 학습자는 자율성과 점진적인 독립성을 중요하게 생각합니다[40, 41]. 많은 학습자는 이미 직접 관찰이 학습, 자율성 및 환자와의 관계에 방해가 된다고 느끼고 있으며, 방해는 이러한 우려를 더욱 악화시킵니다[42, 43]. 학습자가 환자 치료에 참여하는 동안 방해하면 학습자의 구두 사례 발표(임상 추론에 대한 직접 관찰의 예)를 중단한 감독자에 대한 연구에서 볼 수 있듯이 중요한 정보가 누락될 수 있습니다[44]. 또한 평가자는 종종 자신의 존재가 학습자와 환자의 관계를 손상시킬 수 있다고 걱정합니다. 관찰자는 환자가 학습자를 우선적으로 바라볼 수 있도록 환자의 주변 시야에 위치하여 직접 관찰하는 동안 방해 요소를 최소화할 수 있습니다. 이러한 위치에서도 관찰자는 [학습자와 환자의 얼굴을 모두 볼 수 있어야 비언어적 단서를 식별]할 수 있습니다. 또한 관찰자는 학습자가 심각한 오류를 범하지 않는 한 학습자와 환자의 상호 작용을 방해하지 않음으로써 관찰자의 존재감을 최소화할 수 있습니다. 관찰자는 과도한 움직임이나 소음(예: 펜 두드리기)과 같이 주의를 산만하게 하는 방해 요소를 피해야 합니다. 
Observers should enable learners to conduct encounters uninterrupted whenever possible. Learners value autonomy and progressive independence [40, 41]. Many learners already feel that direct observation interferes with learning, their autonomy and their relationships with patients, and interruptions exacerbate these concerns [42, 43]. Interrupting learners as they are involved in patient care can lead to the omission of important information as shown in a study of supervisors who interrupted learners’ oral case presentations (an example of direct observation of clinical reasoning) [44]. Additionally, assessors often worry that their presence in the room might undermine the learner-patient relationship. Observers can minimize intrusion during direct observation by situating themselves in the patient’s peripheral vision so that the patient preferentially looks at the learner. This positioning should still allow the observer to see both the learner’s and patient’s faces to identify non-verbal cues. Observers can also minimize their presence by not interrupting the learner-patient interaction unless the learner makes egregious errors. Observers should avoid distracting interruptions such as excessive movement or noises (e. g. pen tapping).

가이드라인 6. 인지적 편견, 인상 형성 및 암묵적 편견이 관찰 중에 도출된 추론에 영향을 미칠 수 있음을 인식합니다.
Guideline 6. Do recognize that cognitive bias, impression formation and implicit bias can influence inferences drawn during observation.

직접 관찰을 통해 도출된 평가의 타당성에는 여러 가지 위협이 있습니다. 평가자는 학습자를 관찰하기 시작하는 순간부터 즉각적인 인상을 형성하며(종종 적은 정보에 근거하여), 종종 빠르게(몇 분 내에) 수행 능력을 판단할 수 있다고 생각합니다[45, 46]. 이러한 빠른 판단, 즉 인상은 개인이 사람의 성격이나 행동에 대한 정보를 인지하고, 조직화하고, 통합하는 데 도움이 됩니다[47]. 인상 형성 문헌에 따르면 이러한 초기 판단이나 추론은 무의식적으로 빠르게 이루어지며 향후 상호 작용, 사람에 대해 기억하는 것, 미래 행동에 대해 예측하는 것에 영향을 미칠 수 있습니다[48]. 또한 학습자의 역량에 대한 판단은 다른 학습자와의 상대적 비교(대조 효과)에 의해 영향을 받을 수 있습니다[49]. 예를 들어, 실력이 부족한 학습자를 관찰한 후 한계 실력의 학습자를 관찰한 감독자는 이전에 실력이 뛰어난 학습자를 관찰했을 때보다 한계 실력의 학습자에 대해 더 호의적인 인상을 가질 수 있습니다. 관찰자는 이러한 편견을 인식하고 관찰된 행동에 근거하여 판단할 수 있도록 충분히 오래 관찰해야 합니다. 감독자는 [추론이 높은 인상]보다는 [추론이 낮고 관찰 가능한 행동]에 초점을 맞춰야 합니다. 예를 들어 학습자가 팔짱을 끼고 서서 나쁜 소식을 전하는 경우, 관찰 가능한 행동은 학습자가 팔짱을 끼고 서 있다는 것입니다. 이러한 행동은 상황에 대한 공감 부족 또는 불편함을 나타낸다는 추론 인상이 높습니다. 관찰자는 자신의 높은 수준의 추론이 정확하다고 가정해서는 안 됩니다. 오히려 비언어적 의사소통의 일부로서 팔짱을 끼는 것이 무엇을 의미하는지 학습자와 함께 탐구해야 합니다[가이드라인 16 참조]. 
There are multiple threats to the validity of assessments derived from direct observation. Assessors develop immediate impressions from the moment they begin observing learners (often based on little information) and often feel they can make a performance judgment quickly (within a few minutes) [45, 46]. These quick judgments, or impressions, help individuals perceive, organize and integrate information about a person’s personality or behaviour [47]. Impression formation literature suggests that these initial judgments or inferences occur rapidly and unconsciously and can influence future interactions, what is remembered about a person and what is predicted about their future behaviours [48]. Furthermore, judgments about a learner’s competence may be influenced by relative comparisons to other learners (contrast effects) [49]. For example, a supervisor who observes a learner with poor skills and then observes a learner with marginal skills may have a more favourable impression of the learner with marginal skills than if they had previously observed a learner with excellent skills. Observers should be aware of these biases and observe long enough so that judgments are based on observed behaviours. Supervisors should focus on low inference, observable behaviours rather than high inference impressions. For example, if a learner is delivering bad news while standing up with crossed arms, the observable behaviour is that the learner is standing with crossed arms. The high inference impression is that this behaviour represents a lack of empathy or discomfort with the situation. Observers should not assume their high-level inference is accurate. Rather they should explore with the learner what crossed arms can mean as part of non-verbal communication [see Guideline 16].

가이드라인 7. 관찰 후 피드백은 관찰 가능한 행동에 초점을 맞춰 제공하세요.
Guideline 7. Do provide feedback after observation focusing on observable behaviours.

직접 관찰 후 피드백은 이전에 발표된 모범 사례를 따라야 합니다[14]. 직접 관찰은 행동 계획과 관련된 시기적절한 행동 기반 피드백을 동반할 때 학습자가 더 잘 받아들일 수 있습니다[50]. 직접 관찰 후 피드백은 학습자의 즉각적인 우려 사항을 해결하고, 구체적이고 가시적이며, 학습자가 개선을 위해 앞으로 다르게 수행해야 할 사항을 이해하는 데 도움이 되는 정보를 제공할 때 가장 의미가 있습니다[31, 51]. 긍정적인 피드백은 학습자의 자신감을 향상시켜 학습자가 더 많은 관찰과 피드백을 구하도록 유도하기 때문에 학습자가 잘한 것을 설명하는 것은 중요합니다[31]. 피드백은 직접 대면하여 제공할 때 가장 효과적이므로 감독자는 대면 토론 없이 단순히 평가 양식에 피드백을 문서화하는 것을 피해야 합니다. 
Feedback after direct observation should follow previously published best practices [14]. Direct observation is more acceptable to learners when it is accompanied by timely, behaviourally based feedback associated with an action plan [50]. Feedback after direct observation is most meaningful when it addresses a learner’s immediate concerns, is specific and tangible, and offers information that helps the learner understand what needs to be done differently going forward to improve [31, 51]. Describing what the learner did well is important because positive feedback seems to improve learner confidence which, in turn, prompts the learner to seek more observation and feedback [31]. Feedback is most effective when it is given in person; supervisors should avoid simply documenting feedback on an assessment form without an in-person discussion.

지침 8. 학습자가 피드백을 통합할 수 있도록 종단적으로 관찰합니다.
Guideline 8. Do observe longitudinally to facilitate learners’ integration of feedback.

교수자가 학습자를 시간이 지남에 따라 반복적으로 관찰하면 학습이 촉진되며, 이를 통해 전문성 개발에 대한 더 나은 그림을 그릴 수 있습니다. 학습자는 자신의 성과를 되돌아보고 [종적 관계]에서 학습 목표 및 목표 달성에 대해 감독자와 논의할 수 있을 때 매우 만족합니다[25, 31]. 종적 관계는 학습자가 자신의 학습 진행 상황을 목격하고 학습자로서의 더 넓은 관점에서 피드백을 제공할 수 있는 기회를 제공합니다[25]. 지속적인 관찰은 감독자가 학습자의 역량과 한계를 평가하는 데 도움이 될 수 있으며, 이를 통해 학습자에게 앞으로 얼마나 많은 감독이 필요한지 알 수 있습니다[52]. 유능하게 임상 활동을 수행하는 것이 관찰된 학습자에게 다음 임상 활동에서 더 큰 독립성을 가지고 이러한 활동을 수행할 수 있는 권리가 부여되면 자율성이 강화됩니다[53]. 숙련된 임상 교사는 개별 학습자의 목표와 필요에 맞게 교육을 조정하는 기술을 습득하며, 직접 관찰은 학습자 중심의 교육 및 감독 접근 방식에서 중요한 구성 요소입니다[54]. 동일한 감독자가 학습자를 종적으로 관찰할 수 없는 경우, 여러 교수진이 프로그램 수준에서 이러한 관찰 순서를 수행하는 것이 중요합니다.
Learning is facilitated by faculty observing a learner repeatedly over time, which also enables a better picture of professional development to emerge. Learners appreciate when they can reflect on their performance and, working in a longitudinal relationship, discuss learning goals and the achievement of those goals with a supervisor [25, 31]. Longitudinal relationships afford learners the opportunity to have someone witness their learning progression and provide feedback in the context of a broader view of them as a learner [25]. Ongoing observation can help supervisors assess a learner’s capabilities and limitations, thereby informing how much supervision the learner needs going forward [52]. Autonomy is reinforced when learners who are observed performing clinical activities with competence are granted the right to perform these activities with greater independence in subsequent encounters [53]. Experienced clinical teachers gain skill in tailoring their teaching to an individual learner’s goals and needs; direct observation is a critical component of this learner-centred approach to teaching and supervision [54]. If the same supervisor cannot observe a learner longitudinally, it is important that this sequence of observations occurs at the programmatic level by multiple faculty.

가이드라인 9. 많은 학습자가 직접 관찰을 거부한다는 점을 인식하고 이러한 주저함을 극복할 수 있는 전략을 준비합니다.
Guideline 9. Do recognize that many learners resist direct observation and be prepared with strategies to try to overcome their hesitation.

일부 학습자는 직접 관찰이 유용하다고 생각하지만[24, 55], 많은 학습자는 직접 관찰을 (주로 사용되는 평가 도구와 무관하게) '체크 박스 연습' 또는 커리큘럼상의 의무로 간주합니다[33, 56]. 학습자는 여러 가지 이유로 직접 관찰을 거부할 수 있습니다. 학습자는 직접 관찰이 [불안을 유발하고 불편하며 스트레스가 많고 인위적이라고 생각]할 수 있습니다[31, 43, 50, 57, 58]. 학습자의 저항은 교수자가 자신을 관찰하기에는 너무 바쁘고[43], 관찰할 시간이 있는 교수자를 찾는 데 어려움을 겪을 것이라는 믿음에서 비롯될 수도 있습니다[59]. 많은 학습자는 [직접 관찰이 피드백이 아닌 높은 수준의 평가에만 사용될 때] 교육적 가치가 거의 없다고 생각하며[60], 교육 및 개선 계획이 포함된 피드백 없이는 직접 관찰이 유용하지 않다고 생각합니다[59]. 한 연구에서는 미니 CEX의 일환으로 100회 이상의 피드백 세션을 오디오 녹음한 결과 교수진이 학습자와 함께 실행 계획을 세우는 데 거의 도움이 되지 않는 것으로 나타났습니다[61]. 학습자는 [교육 도구로서의 직접 관찰]과 [평가 방법으로서의 직접 관찰] 사이에 충돌이 있다고 인식합니다[57, 60]. 많은 학습자는 직접 관찰이 학습, 자율성, 효율성 및 환자와의 관계에 방해가 된다고 생각합니다[42, 43]. 또한 학습자는 자신의 학습을 촉진하기 위해 어려운 상황을 독립적으로 처리하는 것을 중요하게 생각합니다[62, 63]. 

Although some learners find direct observation useful [24, 55], many view it (largely independent of the assessment tool used) as a ‘tick-box exercise’ or a curricular obligation [33, 56]. Learners may resist direct observation for multiple reasons. They can find direct observation anxiety-provoking, uncomfortable, stressful and artificial [31, 43, 50, 57, 58]. Learners’ resistance may also stem from their belief that faculty are too busy to observe them [43] and that they will struggle to find faculty who have time to observe [59]. Many learners (correctly) believe direct observation has little educational value when it is only used for high-stakes assessments rather than feedback [60]; they do not find direct observation useful without feedback that includes teaching and planning for improvement [59]. One study audiotaped over a hundred feedback sessions as part of the mini-CEX and found faculty rarely helped to create an action plan with learners [61]. Learners perceive a conflict between direct observation as an educational tool and as an assessment method [57, 60]. Many learners feel that direct observation interferes with learning, autonomy, efficiency, and relationships with their patients [42, 43]. Furthermore, learners value handling difficult situations independently to promote their own learning [62, 63].

감독자는 직접 관찰에 대한 학습자의 [저항을 줄이기 위한 전략]을 사용할 수 있습니다. 학습자는 관찰을 수행하는 개인과 종적인 관계를 맺을 때 직접 관찰 과정에 참여할 가능성이 더 높습니다. 학습자는 감독자가 자신에게 투자하고, 자신을 존중하며, 자신의 성장과 발달에 관심을 갖고 있다고 느낄 때 더 잘 받아들입니다[31, 64]. 학습자는 일반적으로 관찰이 정기적으로 이루어질 때 직접 관찰에 더 익숙해지기 때문에 관찰은 자주 이루어져야 합니다[58]. [로테이션을 시작할 때 학습 및 기술 개발을 위한 직접 관찰의 역할에 대해 논의]하면 직접 관찰의 양이 늘어납니다[43]. 감독자는 학습자에게 직접 관찰할 수 있음을 알려야 합니다. 감독자는 직접 관찰이 피드백 및 개발을 위해 사용되는 경우와 더 높은 수준의 평가를 위해 사용되는 경우를 명시하여 학습자에게 관찰의 위험도를 명확히 알려야 합니다. 감독자는 학습자가 총괄 평가를 위한 직접 관찰보다 [형성 목적의 직접 관찰]을 더 긍정적으로 여긴다는 점을 기억해야 합니다[65]. 또한 학습자는 개인화된 학습 목표에 초점을 맞추고[31] 효과적이고 질 높은 피드백이 뒤따를 때 직접 관찰을 더 중요하게 여기고 참여할 가능성이 높습니다.
Supervisors can employ strategies to decrease learners’ resistance to direct observation. Learners are more likely to engage in the process of direct observation when they have a longitudinal relationship with the individual doing the observations. Learners are more receptive when they feel a supervisor is invested in them, respects them, and cares about their growth and development [31, 64]. Observation should occur frequently because learners generally become more comfortable with direct observation when it occurs regularly [58]. Discussing the role of direct observation for learning and skill development at the beginning of a rotation increases the amount of direct observation [43]. Supervisors should let learners know they are available for direct observation. Supervisors should make the stakes of the observation clear to learners, indicating when direct observation is being used for feedback and development versus for higher-stakes assessments. Supervisors should remember learners regard direct observation for formative purposes more positively than direct observation for summative assessment [65]. Additionally, learners are more likely to value and engage in direct observation when it focuses on their personalized learning goals [31] and when effective, high quality feedback follows.

개별 감독자가 하지 말아야 할 사항
Don’ts for individual supervisors

가이드라인 10. 피드백을 정량적 평가로 제한하지 마세요.
Guideline 10. Don’t limit feedback to quantitative ratings.

직접 관찰한 내러티브 코멘트는 학습자에게 풍부한 피드백을 제공합니다. 수치 평가가 포함된 평가 양식을 사용하는 경우 학습자에게 서술형 피드백도 제공하는 것이 중요합니다. 많은 직접 관찰 평가 도구는 평가자가 학습자의 수행을 설명하기 위해 숫자 등급을 선택하도록 유도합니다[66]. 그러나 수행 점수를 의미 있게 해석하려면 평가자의 추론에 대한 통찰력을 제공하는 서술적 코멘트가 필요합니다. 내러티브 코멘트는 역량 성취도에 대한 신뢰할 수 있고 방어 가능한 의사 결정을 지원할 수 있습니다[67]. 또한 내러티브 피드백은 건설적인 방식으로 제공될 경우 교육생이 수행 능력의 강점과 약점을 정확하게 파악하고 역량 개발을 안내하는 데 도움이 될 수 있습니다[46]. 직접 관찰 자체에 대한 증거가 부족하고 정량적 평가가 성적과 동일하지 않지만, 다른 평가 문헌에 따르면 학습자가 성적이나 코멘트와 함께 성적만 받았을 때 학습 이득을 보이지 않는다고 합니다. 학습자는 성적에 집중하고 코멘트를 무시하기 때문에 코멘트가 포함된 성적을 받을 때 학습 이득이 발생하지 않는다는 가설이 있습니다[68,69,70]. 반면, 성적 없이 코멘트만 받은 학습자는 큰 학습 이득을 보입니다[68,69,70]. [서술적 피드백이 없는 성적]은 학습자에게 개선을 자극할 수 있는 충분한 정보와 동기를 제공하지 못합니다[26]. 합격/불합격 등급이 특정 수치 등급보다 학생에게 더 잘 받아들여질 수 있지만[51], 전체 등급을 사용하면 피드백에 대한 수용도가 떨어질 수도 있습니다[71]. 직접 관찰 후 학습자와 평점을 공유하는 것의 장단점은 알려져 있지 않지만, 형성적 평가에 직접 관찰을 사용하는 경우 학습자가 강점 영역(잘 수행한 기술)과 개선이 필요한 기술을 설명하는 서술형 피드백을 받는 것이 중요합니다.
Narrative comments from direct observations provide rich feedback to learners. When using an assessment form with numerical ratings, it is important to also provide learners with narrative feedback. Many direct observation assessment tools prompt evaluators to select numerical ratings to describe a learner’s performance [66]. However, meaningful interpretation of performance scores requires narrative comments that provide insight into raters’ reasoning. Narrative comments can support credible and defensible decision making about competence achievement [67]. Moreover, narrative feedback, if given in a constructive way, can help trainees accurately identify strengths and weaknesses in their performance and guide their competence development [46]. Though evidence is lacking in direct observation per se and quantitative ratings are not the same as grades, other assessment literature suggests that learners do not show learning gains when they receive just grades or grades with comments. It is hypothesized that learning gains do not occur when students receive grades with comments because learners focus on the grade and ignore the comments [68,69,70]. In contrast, learners who receive only comments (without grades) show large learning gains [68,69,70]. Grades without narrative feedback fail to provide learners with sufficient information and motivation to stimulate improvement [26]. The use of an overall rating may also reduce acceptance of feedback [51] although a Pass/Fail rating may be better received by students than a specific numerical rating [71]. Although the pros and cons of sharing a rating with a learner after direct observation are not known, it is important that learners receive narrative feedback that describes areas of strength (skills performed well) and skills requiring improvement when direct observation is being used for formative assessment.

가이드라인 11. 학습자와 환자 모두의 허락을 구하고 준비하지 않은 상태에서 환자 앞에서 피드백을 제공하지 마십시오.
Guideline 11. Don’t give feedback in front of the patient without seeking permission from and preparing both the learner and the patient.

감독자가 환자 앞에서 직접 관찰한 후 학습자에게 피드백을 제공하려는 경우, 사전에 학습자와 환자의 허락을 구하는 것이 중요합니다. 피드백은 일반적으로 조용하고 사적인 장소에서 제공되며, 환자 앞에서 피드백을 제공하면 학습자와 환자의 관계가 손상될 수 있으므로 이러한 허락은 특히 중요합니다. 허가를 구하지 않았거나 허가를 받지 않은 경우 학습자는 환자 앞에서 피드백을 받아서는 안 됩니다. 그러나 예외적으로 환자가 안전하고 효과적이며 환자 중심의 치료를 받지 못하는 경우에는 즉시 중단해야 하며, 이러한 상황에서는 이러한 중단이 피드백의 한 형태임을 인식하고 학습자를 지지하고 비하하지 않는 방식으로 즉각 중단해야 합니다.  
If a supervisor plans to provide feedback to a learner after direct observation in front of a patient, it is important to seek the learner’s and patient’s permission in advance. This permission is particularly important since feedback is typically given in a quiet, private place, and feedback given in front of the patient may undermine the learner-patient relationship. If permission has not been sought or granted, the learner should not receive feedback in front of the patient. The exception, however, is when a patient is not getting safe, effective, patient-centred care; in this situation, immediate interruption is warranted (in a manner that supports and does not belittle the learner), recognizing that this interruption is a form of feedback.

병상 교육은 학습자에게 효과적이고 흥미를 유발할 수 있지만[72, 73] 일부 학습자는 환자 앞에서 교육하는 것이 환자와의 치료 동맹을 약화시키고 긴장된 분위기를 조성하며 질문할 수 있는 능력을 제한한다고 느낍니다[73, 74]. 그러나 환자 중심주의 시대에는 피드백에서 환자 목소리의 역할과 중요성이 증가할 수 있습니다. 실제로 이전 연구에 따르면 많은 환자가 자신의 치료에 대해 논의할 때 의료진이 병상에 있기를 원한다고 합니다[75]. 직접 관찰의 맥락에서 환자와 치료 및 교육적 제휴를 가장 잘 구축하는 방법은 추가적인 주의가 필요합니다. 
Although bedside teaching can be effective and engaging for learners, [72, 73] some learners feel that teaching in front of the patient undermines the patient’s therapeutic alliance with them, creates a tense atmosphere, and limits the ability to ask questions [73, 74]. However, in the era of patient-centredness, the role and importance of the patient voice in feedback may increase. In fact, older studies suggest many patients want the team at the bedside when discussing their care [75]. How to best create a therapeutic and educational alliance with patients in the context of direct observation requires additional attention.

개별 감독자의 경우 모름
Don’t Knows for individual supervisors

지침 12. 직접 관찰하는 동안 인지 부하가 미치는 영향은 무엇이며 이를 완화하기 위한 접근 방식은 무엇입니까?
Guideline 12. What is the impact of cognitive load during direct observation and what are approaches to mitigate it?

평가자는 학습자를 관찰하고 평가하는 동시에 환자를 진단하고 돌보려고 노력하면서 상당한 인지 부하를 경험할 수 있습니다[76]. [지각 부하]가 관찰자의 주의력을 압도하거나 초과할 수 있습니다. 이러한 과부하는 한 자극에 집중하면 다른 자극에 대한 지각이 손상되는 '부주의성 실명'을 유발할 수 있습니다[76]. 예를 들어, 학습자의 임상적 추론에 집중하는 동시에 환자를 진단하려고 하면 감독자가 학습자의 의사소통 기술에 주의를 기울이는 데 방해가 될 수 있습니다. 평가자가 평가해야 하는 차원 수가 증가하면 평가의 질이 떨어집니다[77]. 경험이 많은 관찰자는 학습자와 환자에 대한 휴리스틱, 스키마 또는 수행 스크립트를 개발하여 정보를 처리함으로써 관찰 능력을 향상시킵니다[45, 76]. 또한 고도로 숙련된 교수진은 더 강력한 스키마 및 스크립트와 관련된 노력이 감소하기 때문에 인지 부하를 줄이면서 강점과 약점을 감지할 수 있습니다[78]. [평가 도구 설계]도 인지 부하에 영향을 미칠 수 있습니다. 예를 들어, Byrne과 동료들은 인지 부하를 측정하기 위해 검증된 도구를 사용하여 마취를 유도하는 수련의에 대한 객관적인 구조화된 임상 시험을 위해 주관적인 평가 척도보다 20개 이상의 항목 체크리스트를 작성하도록 요청받았을 때 교수진이 더 큰 인지 부하를 경험하는 것으로 나타났습니다[79]. 시뮬레이션이 아닌 상황에서 직접 관찰하는 동안 인지적 부하가 미치는 영향과 관찰자가 중요한 요소만 평가하도록 평가 양식을 구성하여 평가할 항목 수를 제한하는 방법을 결정하기 위해서는 더 많은 연구가 필요합니다. 
An assessor can experience substantial cognitive load observing and assessing a learner while simultaneously trying to diagnose and care for the patient [76]. Perceptual load may overwhelm or exceed the observer’s attentional capacities. This overload can cause ‘inattentional blindness,’ where focusing on one stimulus impairs perception of other stimuli [76]. For example, focusing on a learner’s clinical reasoning while simultaneously trying to diagnose the patient may interfere with the supervisor’s ability to attend to the learner’s communication skills. As the number of dimensions raters are asked to assess increases, the quality of ratings decreases [77]. More experienced observers develop heuristics, schemas or performance scripts about learners and patients to process information and thereby increase observational capacity [45, 76]. More highly skilled faculty may also be able to detect strengths and weaknesses with reduced cognitive load because of the reduced effort associated with more robust schemes and scripts [78]. Assessment instrument design may also influence cognitive load. For example, Byrne and colleagues, using a validated instrument to measure cognitive load, showed that faculty experienced greater cognitive load when they were asked to complete a 20 plus item checklist versus a subjective rating scale for an objective structured clinical examination of a trainee inducing anaesthesia [79]. More research is needed to determine the impact of cognitive load during direct observation in non-simulated encounters and how to structure assessment forms so that observers are only asked to assess critical elements, thereby limiting the number of items to be rated.

지침 13. 다양한 기술을 직접 관찰하기 위한 최적의 시간길이는 얼마입니까?
Guideline 13. What is the optimal duration for direct observation of different skills?

최근 직접 관찰 및 피드백 관련 문헌의 대부분은 바쁜 업무 환경에서 효율성을 높이기 위해 직접 관찰 시간을 짧고 집중적으로 유지하는 데 초점을 맞추고 있습니다[80]. 짧은 관찰은 환자를 만나는 시간이 짧은 임상 전문과목에 적합하지만, 다른 전문과목의 경우 긴 관찰을 통해서만 알 수 있는 진료의 관련 측면을 짧은 관찰로 놓칠 수 있습니다. 직접 관찰 및 피드백을 위한 시급한 질문 중 하나는 다양한 전문과목, 학습자 및 술기에 대한 최적의 면담 시간을 결정하는 것입니다. 최적의 면담 시간은 환자의 요구, 관찰 대상 과제, 학습자의 역량, 교수자의 과제에 대한 친숙도 등 여러 변수를 반영해야 할 것입니다[78, 81].
Much of the recent direct observation and feedback literature has focused on keeping direct observation short and focused to promote efficiency in a busy workplace [80]. While short observations make sense for clinical specialties that have short patient encounters, for other specialties relevant aspects of practice that are only apparent with a longer observation may be missed with brief observations. One of the pressing questions for direct observation and feedback is to determine the optimal duration of encounters for various specialties, learners and skills. The optimal duration of an encounter will likely need to reflect multiple variables including the patient’s needs, the task being observed, the learner’s competence and the faculty’s familiarity with the task [78, 81].

교육자/교육 지도자를 위한 근거가 있는 가이드라인
Guidelines with supporting evidence for educators/educational leaders

교육 지도자를 위한 지침
Do’s for educational leaders

지침 14. 관련 임상 기술과 전문성을 기준으로 참관자를 선정합니다.
Guideline 14. Do select observers based on their relevant clinical skills and expertise.

프로그램 디렉터와 같은 교육 리더는 관련 임상 기술과 교육 전문성을 기준으로 참관자를 선정해야 합니다. 공정하고 신뢰할 수 있는 평가를 위해서는 콘텐츠 전문성(모범 술기가 어떤 것인지에 대한 지식과 이를 평가할 수 있는 능력)이 전제 조건입니다[82]. 그러나 평가자는 종종 내용 전문성이 부족하다고 느끼는 술기를 직접 관찰하도록 요청받으며, 평가자는 체크리스트를 사용하여 자신의 임상 기술 부족을 보완할 수 있다고 생각하지 않습니다[83]. 또한 감독자 자신의 임상 기술이 학습자를 평가하는 방식에 영향을 미칠 수 있습니다[78]. 평가자의 특성이 평가자 자신의 역량 결핍의 결과인 경우[84], 평가자가 관찰 및 피드백 시 자신을 표준으로 삼는 경우 학습자도 동일한 결핍 또는 역량 장애를 습득할 수 있습니다[78,85,86,87,88,89,90]. 교수진은 종종 자신을 학습자 수행을 평가하는 기준(즉, 참조 프레임)으로 사용하기 때문에[82], 임상 술기 전문성을 기반으로 평가자를 선정하거나 평가자가 자신을 참조 프레임으로 사용하지 않고 유능하고 전문적인 수행을 인정할 수 있도록 평가자 교육을 제공하는 것이 중요합니다.  
Educational leaders, such as program directors, should select observers based on their relevant clinical skills and educational expertise. Content expertise (knowledge of what exemplar skill looks like and having the ability to assess it) is a prerequisite for fair, credible assessment [82]. However, assessors are often asked to directly observe skills for which they feel they lack content expertise, and assessors do not believe using a checklist can make up for a lack of their own clinical skill [83]. Additionally, a supervisor’s own clinical skills may influence how they assess a learner [78]. When assessors’ idiosyncrasy is the result of deficiencies in their own competencies [84] and when assessors use themselves as the gold standard during observation and feedback, learners may acquire the same deficiencies or dyscompetencies [78, 85,86,87,88,89,90]. Because faculty often use themselves as the standard by which they assess learner performance (i. e. frame of reference), [82] it is important to select assessors based on their clinical skills expertise or provide assessor training so assessors can recognize competent and expert performance without using themselves as a frame of reference.

프로그램 수준에서는 특정 술기를 평가할 수 있는 [전문성을 갖춘 개인]에게 필요한 관찰 유형을 조정하는 것이 현명합니다. 예를 들어, 프로그램 디렉터는 심장 전문의에게 학습자의 심장 검사를 관찰하도록 요청하고 완화 치료 의사에게 학습자의 치료 목표에 대한 논의를 관찰하도록 요청할 수 있습니다. 학습자가 평가할 특정 술기에 대한 콘텐츠 전문 지식과 임상적 통찰력을 갖춘 평가자를 사용하는 것도 중요한데, 학습자는 이러한 개인의 피드백을 신뢰할 수 있고 신뢰할 수 있다고 생각할 가능성이 높기 때문입니다[20, 64]. 전문성이 부족한 경우 교수진의 역량 부족을 교정하도록 돕는 것이 중요합니다[91]. 평가와 관련된 교수진 개발은 이론적으로 교수진 자신의 임상 기술을 향상시키는 동시에 관찰 기술을 향상시키는 '일거양득'이 될 수 있습니다[91]. 
At a programmatic level, it is prudent to align the types of observations needed to individuals who have the expertise to assess that particular skill. For example, a program director might ask cardiologists to observe learners’ cardiac exams and ask palliative care physicians to observe learners’ goals of care discussions. Using assessors with content expertise and clinical acumen in the specific skill(s) being assessed is also important because learners are more likely to find feedback from these individuals credible and trustworthy [20, 64]. When expertise is lacking, it is important to help faculty correct their dyscompetency [91]. Faculty development around assessment can theoretically become a ‘two-for-one’—improving the faculty’s own clinical skills while concomitantly improving their observation skills [91].

평가자는 임상 술기 전문성 외에도 [다양한 교육 수준에서 학습자에게 기대할 수 있는 사항에 대한 지식]이 있어야 합니다[83]. 평가자는 교수 및 교육에 전념하고, 학습자의 성장을 촉진하는 데 투자하며, 학습자의 폭넓은 정체성과 경험에 관심을 갖고, 학습자를 신뢰하고 존중하며 돌볼 의향이 있어야 합니다[64][지침 28 참조].
In addition to clinical skills expertise, assessors also must have knowledge of what to expect of learners at different training levels [83]. Assessors must be committed to teaching and education, invested in promoting learner growth, interested in learners’ broader identity and experience, and willing to trust, respect and care for learners [64] [see Guideline 28].

가이드라인 15. 가능하면 직접 관찰을 위해 새로운 도구를 만들기보다는 기존의 타당성 근거가 있는 평가 도구를 사용합니다.
Guideline 15. Do use an assessment tool with existing validity evidence, when possible, rather than creating a new tool for direct observation.

직접 관찰을 기반으로 학습자의 수행을 평가하는 데 도움이 되는 많은 도구가 존재합니다[66, 92]. 교육자는 새로운 도구를 만들기보다는 가능하면 타당성 근거가 있는 기존 도구를 사용해야 합니다[93]. 교육자의 목적에 맞는 도구가 존재하지 않는 경우, 기존 도구를 수정하거나 새로운 도구를 만드는 방법이 있습니다. 직접 관찰을 위해 새로운 도구를 만들거나 기존 도구를 수정하려면 타당도 근거 축적을 포함하여 도구 설계 및 평가 지침을 따라야 합니다[94]. 필요한 타당도 증거의 양은 낮은 수준의 형성 평가보다 높은 수준의 총합 평가에 사용되는 도구의 경우 더 많을 것입니다. 
Many tools exist to guide the assessment of learners’ performance based on direct observation [66, 92]. Rather than creating new tools, educators should, when possible, use existing tools for which validity evidence exists [93]. When a tool does not exist for an educator’s purpose, options are to adapt an existing tool or create a new one. Creating a new tool or modifying an existing tool for direct observation should entail following guidelines for instrument design and evaluation, including accumulating validity evidence [94]. The amount of validity evidence needed will be greater for tools used for high-stakes summative assessments than for lower-stakes formative assessments.

도구 설계는 평가자 응답의 신뢰도를 최적화하는 데 도움이 될 수 있습니다. 도구의 앵커 또는 응답 옵션은 수행을 평가하는 방법에 대한 지침을 제공할 수 있습니다. 예를 들어, 행동 앵커 또는 발달 수행의 스펙트럼을 따라 행동을 설명하는 이정표로 정의된 앵커는 평가자의 일관성을 향상시킬 수 있습니다[95]. 학습자에게 필요한 감독 정도 또는 감독자가 느끼는 신뢰도에 대한 감독자의 인상을 묻는 척도는 감독자가 생각하는 방식과 더 잘 일치할 수 있습니다[96]. 전체적인 인상은 긴 체크리스트보다 평가자 간에 성과를 더 안정적으로 포착할 수 있습니다[97]. 특정 [체크리스트]와 [글로벌 인상] 중 어떤 것을 선택할지, 그리고 그 사이의 모든 것을 선택할지는 주로 평가의 목적에 따라 달라집니다. 예를 들어, [피드백]이 주요 목표인 경우 (학습자가 세분화되고 구체적인 피드백을 받지 못한다면) [총체적 평가]는 거의 유용하지 않습니다. 어떤 도구를 선택하든, 도구가 서술적 코멘트를 위한 충분한 공간을 제공하는 것이 중요합니다[71][가이드라인 16 및 30 참조]. 
Tool design can help optimize the reliability of raters’ responses. The anchors or response options on a tool can provide some guidance about how to rate a performance; for example, behavioural anchors or anchors defined as milestones that describe the behaviour along a spectrum of developmental performance can improve rater consistency [95]. Scales that query the supervisor’s impressions about the degree of supervision the learner needs or the degree of trust the supervisor feels may align better with how supervisors think [96]. A global impression may better capture performance reliably across raters than a longer checklist [97]. The choice between the spectrum of specific checklists to global impressions, and everything in between, depends primarily on the purpose of the assessment. For example, if feedback is a primary goal, holistic ratings possess little utility if learners do not receive granular, specific feedback. Regardless of the tool selected, it is important for tools to provide ample space for narrative comments [71] [see Guideline 16 and 30].

중요한 것은 도구의 타당도는 궁극적으로 도구의 사용자와 도구가 사용되는 맥락에 달려 있다는 것입니다. 평가자(예: 교수진)가 직접 관찰하는 것이 바로 도구라고 주장할 수 있습니다. 따라서 프로그램 책임자는 도구를 사용할 관찰자를 교육하는 것보다 도구를 설계하는 데 너무 많은 시간을 할애하는 경우가 많다는 점을 인식해야 합니다[지침 20 참조].
Importantly, validity ultimately resides in the user of the instrument and the context in which the instrument is used. One could argue that the assessors (e. g. faculty), in direct observation, are the instrument. Therefore, program directors should recognize that too much time is often spent designing tools rather than training the observers who will use them [see Guideline 20].

지침 16. 관찰자에게 직접 관찰하는 방법, 공유된 정신 모델과 공통 평가 기준을 채택하고 피드백을 제공하는 방법을 교육합니다.
Guideline 16. Do train observers how to conduct direct observation, adopt a shared mental model and common standards for assessment, and provide feedback.

감독자가 학습자를 관찰한 후 내리는 평가는 매우 다양하며, 같은 상황을 관찰하는 감독자라도 사용하는 도구에 따라 평가와 평가가 달라질 수 있습니다. 관찰자가 수행의 다양한 측면에 초점을 맞추고 우선순위를 정하고 수행을 판단하는 데 다른 기준을 적용하기 때문에 변동성이 발생합니다[46, 82, 98, 99]. 평가자는 또한 역량에 대한 서로 다른 정의를 사용합니다[82, 98]. 관찰자가 성과를 판단하는 데 사용하는 기준은 종종 경험적이고 특이한 방식으로 도출되며, 일반적으로 최근 경험의 영향을 받고[49, 82, 100], 첫인상에 크게 의존할 수 있습니다[48]. 평가자는 자신의 훈련과 수년간의 임상 및 교육 관행의 결과로 특이성을 개발합니다. 이러한 특성이 강력한 임상적 증거와 모범 사례에 근거한 경우 반드시 도움이 되지 않는 것은 아닙니다. 예를 들어, 평가자는 환자 중심 면담의 전문가로서 면담의 다른 측면을 배제하고 관찰하는 동안 그러한 행동과 기술을 크게 강조할 수 있습니다[47]. 뛰어난 성과 또는 매우 취약한 성과를 식별하는 것은 간단한 것으로 간주되지만, '회색 영역'의 성과에 대한 결정은 더 어렵습니다 [83].  

The assessments supervisors make after observing learners with patients are highly variable, and supervisors observing the same encounter assess and rate the encounter differently regardless of the tool used. Variability results from observers focusing on and prioritizing different aspects of performance and applying different criteria to judge performance [46, 82, 98, 99]. Assessors also use different definitions of competence [82, 98]. The criteria observers use to judge performance are often experientially and idiosyncratically derived, are commonly influenced by recent experiences, [49, 82, 100] and can be heavily based on first impressions [48]. Assessors develop idiosyncrasies as a result of their own training and years of their own clinical and teaching practices. Such idiosyncrasies are not necessarily unhelpful if based on strong clinical evidence and best practices. For example, an assessor may be an expert in patient-centred interviewing and heavily emphasize such behaviours and skills during observation to the exclusion of other aspects of the encounter [47]. While identifying outstanding or very weak performance is considered straightforward, decisions about performance in ‘the grey area’ are more challenging [83].

[평가자 교육]은 이러한 직접 관찰의 한계를 극복하는 데 도움이 될 수 있지만 완전히 없애지는 못합니다.
Rater training can help overcome but not eliminate these limitations of direct observation.

[수행 차원 교육]은 참가자들이 관찰되는 [수행의 측면]과 [수행 평가 준거]에 대한 이해를 공유하는 평가자 교육 접근 방식입니다[9]. 예를 들어, 슈퍼바이저는 환자에게 약물 복용 시작에 대해 상담할 때 중요한 기술이 무엇인지 논의할 수 있습니다. 대부분의 평가자는 판단의 [스캐폴드 또는 중추 역할을 하는 프레임워크]를 환영합니다[83]. [성과 차원 교육]을 받은 수퍼바이저는 이 과정을 통해 평가 기준에 대한 [공유된 정신 모델]을 제공받음으로써 보다 표준화되고 체계적이며 포괄적이고 구체적인 관찰을 할 수 있고, 이전에는 주의를 기울이지 않았던 기술에 주의를 기울이며, 구체적인 피드백을 제공하는 자기 효능감을 향상시킬 수 있었다고 설명합니다[91]. 
Performance dimension training is a rater training approach in which participants come to a shared understanding of the aspects of performance being observed and criteria for rating performance [9]. For example, supervisors might discuss what are the important skills when counselling a patient about starting a medication. Most assessors welcome a framework to serve as a scaffold or backbone for their judgments [83]. Supervisors who have done performance dimension training describe how the process provides them with a shared mental model about assessment criteria that enables them to make more standardized, systematic, comprehensive, specific observations, pay attention to skills they previously did not attend to, and improve their self-efficacy giving specific feedback [91].

[기준 프레임 교육]은 평가자에게 [평가 차원과 관련된 적절한 기준을 제공]함으로써 관찰 및 평가 중에 성과에 대한 공통 개념화(즉, 기준 프레임)를 사용하도록 평가자를 교육함으로써 [성과 차원 교육]을 기반으로 합니다[101]. 비의료 성과 평가 문헌의 체계적 검토 및 메타 분석에 따르면 [기준 프레임 교육]은 중간 정도의 효과 크기로 평가 정확도를 크게 향상시키는 것으로 나타났습니다[101, 102]. 의학 분야에서 Holmboe 등은 표준화된 레지던트 및 환자와 함께 실제 실습을 포함한 8시간의 [기준 프레임 훈련 세션]이 개입 8개월 후 직접 관찰에서 관용을 약간 줄이고 정확도를 향상시킨다는 것을 보여주었습니다[9]. 그러나 짧은 평가자 교육(예: 반나절 워크숍)은 평가자 간 신뢰도를 개선하는 것으로 나타나지 않았습니다[103].
Frame of reference training builds upon performance dimension training by teaching raters to use a common conceptualization (i. e., frame of reference) of performance during observation and assessment by providing raters with appropriate standards pertaining to the rated dimensions [101]. A systematic review and meta-analysis from the non-medical performance appraisal literature demonstrated that frame of reference training significantly improved rating accuracy with a moderate effect size [101, 102]. In medicine, Holmboe et al. showed that an 8‑hour frame of reference training session that included live practice with standardized residents and patients modestly reduced leniency and improved accuracy in direct observation 8 months after the intervention [9]. However, brief rater training (e. g. half day workshop) has not been shown to improve inter-rater reliability [103].

교수진 개발 프로그램 책임자는 참가자가 교육 및 임상 업무에 평가자 교육을 적용할 수 있도록 하는 방법을 계획해야 합니다. 전략에는 참가자가 인지한 필요와 관련된 자료와 업무 맥락에서 적용 가능한 형식을 만드는 것이 포함됩니다[82, 104]. 교육 효과를 위한 [효과적인 교수진 개발]의 주요 특징에는 체험 학습, 피드백 제공, 효과적인 동료 및 동료 관계, 의도적인 커뮤니티 구축, 종단적 프로그램 설계 등이 포함됩니다[105, 106]. 동료 평가와 협업을 위해 서로 의지하는 교육자 간부 집단인 실무 커뮤니티를 개발하는 데 초점을 맞춘 교수진 개발은 평가자 교육에서 특히 중요하며 참가자들로부터 긍정적인 반응을 얻고 있습니다[91]. 그룹 교육은 교수진 개발의 중점을 개인에서 직접적인 관찰과 피드백에 투자하는 교육자 커뮤니티로 옮기는 것이 중요하다는 점을 강조합니다. 평가자는 직접 관찰 후 피드백을 제공할 때, 특히 건설적인 피드백을 제공할 때 긴장을 경험하기 때문에[107], 평가자 교육에는 [직접 관찰 후 효과적인 피드백 제공에 대한 교육]도 포함되어야 합니다[지침 32 참조]. 평가자 교육이 중요하지만, 평가자 교육에 대한 해답이 없는 질문이 여전히 많이 남아 있습니다[가이드라인 31 참조].

Directors of faculty development programs should plan how to ensure that participants apply the rater training in their educational and clinical work. Strategies include making the material relevant to participants’ perceived needs and the format applicable within their work context [82, 104]. Key features of effective faculty development for teaching effectiveness also include the use of experiential learning, provision of feedback, effective peer and colleague relationships, intentional community building and longitudinal program design [105, 106]. Faculty development that focuses on developing communities of practice, a cadre of educators who look to each other for peer review and collaboration, is particularly important in rater training and is received positively by participants [91]. Group training highlights the importance of moving the emphasis of faculty development away from the individual to a community of educators invested in direct observation and feedback. Because assessors experience tension giving feedback after direct observation, particularly when it comes to giving constructive feedback [107], assessor training should also incorporate teaching on giving effective feedback after direct observation [see Guideline 32]. While rater training is important, a number of unanswered questions about rater training still remain [see Guideline 31].

지침 17. 직접 관찰이 프로그램 목표 및 역량(예: 마일스톤)과 일치하는지 확인합니다.
Guideline 17. Do ensure direct observation aligns with program objectives and competencies (e. g. milestones).

명확하게 표현된 프로그램 목표와 목적은 [직접 관찰의 목적을 정의하기 위한 단계]를 설정합니다[93]. 정의된 평가 프레임워크는 학습자와 감독자의 교육 목표에 대한 이해를 조정하고 평가에 사용할 도구의 선택을 안내합니다.

• 프로그램 디렉터는 관찰할 실습의 구성 요소를 정의하는 분석적 접근법('분해하기')을 사용하여 목표와 목적을 정의할 수 있으며, 이를 통해 세부 체크리스트를 작성할 수 있습니다[108].
• 또한 [종합적 접근법]을 사용하여 유능하고 신뢰할 수 있는 실습에 필요한 업무 활동을 정의할 수 있으며, 이를 통해 위탁 등급과 같은 보다 총체적인 척도를 적용할 수 있습니다[109].

프로그램 디렉터는 감독자와 학습자가 직접 관찰을 위해 학습자 목표를 논의할 때 프로그램에서 사용되는 프로그램 목표, 역량, 마일스톤 및 EPA를 참조하도록 권장할 수 있습니다.
Clearly articulated program goals and objectives set the stage for defining the purposes of direct observation [93]. A defined framework for assessment aligns learners’ and supervisors’ understandings of educational goals and guides selection of tools to use for assessment.

• Program directors may define goals and objectives using an analytic approach (‘to break apart’) defining the components of practice to be observed, from which detailed checklists can be created [108].
• A synthetic approach can also be used to define the work activities required for competent, trustworthy practice, from which more holistic scales such as ratings of entrustment can be applied [109].

Program directors can encourage supervisors and learners to refer to program objectives, competencies, milestones and EPAs used in the program when discussing learner goals for direct observation.

지침 18. 학습자가 진정성 있게 연습하도록 유도하고 피드백을 환영하는 문화를 조성합니다.
Guideline 18. Do establish a culture that invites learners to practice authentically and welcome feedback.

대부분의 학습자는 성적과 고난도 시험에 중점을 두는 예비 대학 또는 학부 문화에서 의과대학에 입학합니다. 의과대학에서는 여전히 성적과 시험이 학습자의 행동을 크게 좌우할 수 있으며, 학습자는 여전히 낮은 비중의 평가를 학습 기회라기보다는 극복해야 할 총체적인 장애물로 인식할 수 있습니다. 학습자는 종종 학습 또는 성과에 대한 기대치에 대해 여러 가지 상충되는 메시지를 감지합니다[60, 110]. 그렇다면 현재 상황을 어떻게 [학습자 중심]으로 바꿀 수 있을까요? 
Most learners enter medical school from either pre-university or undergraduate cultures heavily steeped in grades and high-stakes tests. In medical school, grades and tests can still drive substantial learner behaviour, and learners may still perceive low-stakes assessments as summative obstacles to be surmounted rather than as learning opportunities. Learners often detect multiple conflicting messages about expectations for learning or performance [60, 110]. How then can the current situation be changed to be more learner centred?

프로그램은 학습자에게 언제, 어디서 학습 문화가 낮은 위험도의 실습 기회를 제공하는지 명시적으로 파악하고, 학습자가 직접 관찰을 학습 활동으로 받아들일 수 있는 문화를 조성해야 합니다. 임상 교육 환경에서 학습자는 유능해 보이고 높은 점수를 받아야 한다는 압박감을 최소화하는 감독자가 학습 목표에서 다루는 술기를 수행하는 것을 관찰할 기회가 필요합니다[111]. 학습 방향(학습자 또는 숙달 목표 대 수행 목표)은 학습 결과에 영향을 미칩니다[112].

• [숙달 지향적 학습자]는 학습을 위해 노력하고, 피드백을 요청하며, 도전을 수용하고, 개선을 축하합니다. 반대로
• [성과 지향적 학습자]는 유능해 보이고 실패를 피할 수 있는 기회를 찾습니다.
• 같은 기술이나 과제를 연습하고 재시도할 수 있고 노력과 개선에 대해 보상하는 문화는 숙달 지향성을 촉진합니다.

Programs should explicitly identify for learners when and where the learning culture offers low-stakes opportunities for practice, and programs should foster a culture that enables learners to embrace direct observation as a learning activity. In the clinical training environment, learners need opportunities to be observed performing the skills addressed in their learning goals by supervisors who minimize perceived pressures to appear competent and earn high marks [111]. Orientations to learning (learner or mastery goals versus performance goals) influence learning outcomes [112].

• A mastery-oriented learner strives to learn, invites feedback, embraces challenges, and celebrates improvement.
• Conversely, a performance-oriented learner seeks opportunities to appear competent and avoid failure.
• A culture that enables practice and re-attempting the same skill or task, and rewards effort and improvement, promotes a mastery orientation. 

[학습을 희생하면서 성적, 완벽함 또는 정답을 강조하는 문화]는 학습자가 직접 관찰을 피하는 것처럼 실패를 피하기 위해 적극적으로 노력하는 부적응적인 '성과 회피' 목표를 조장할 수 있습니다[28]. 프로그램은 직접 관찰자가 정확성보다는 연습과 노력에 가치를 두는 커뮤니케이션 관행을 사용하도록 장려해야 합니다. 낮은 수준의 환경에서 직접 관찰 및 피드백을 수행하는 교사의 역할과 평가자의 역할을 분리하면 학습자가 이러한 구분을 명확히 알 수 있습니다. 또한 프로그램은 학습자에게 학습에 대한 개인적 선택권을 부여하고 학습자와 감독자 간의 종적 관계를 보장함으로써 학습자가 피드백을 잘 받아들이는 문화가 조성되도록 해야 합니다[14, 26]. 
A culture that emphasizes grades, perfection or being correct at the expense of learning can promote maladaptive ‘performance-avoid’ goals in which learners actively work to avoid failure, as in avoiding being directly observed [28]. Programs should encourage direct observers to use communication practices that signal the value placed on practice and effort rather than just on correctness. Separating the role of teacher who conducts direct observation and feedback in low-stakes settings from the role of assessor makes these distinctions explicit for learners. Programs should also ensure their culture promotes learner receptivity to feedback by giving learners personal agency over their learning and ensuring longitudinal relationships between learners and their supervisors [14, 26].

가이드라인 19. 직접 관찰을 가능하게 하거나 방해하는 시스템 요인에 주의를 기울이십시오.
Guideline 19. Do pay attention to systems factors that enable or inhibit direct observation.

[의료 실습 환경의 구조와 문화]는 직접 관찰에 대한 가치를 뒷받침할 수 있습니다. 수련생은 지도의가 언제, 어떤 활동을 관찰하는지에 주의를 기울이고 이를 바탕으로 어떤 교육 및 임상 활동을 중요하게 여기는지 유추합니다[42]. 
The structure and culture of the medical training environment can support the value placed on direct observation. Trainees pay attention to when and for what activities their supervisors observe them and infer, based on this, which educational and clinical activities are valued [42].

교육 환경 내에서 환자 중심 치료에 초점을 맞추면 [마이크로 시스템] 내에서 학습자와 감독자가 공유하는 임상 실습 과제를 통해 일상적인 임상 치료에 교육을 포함할 수 있습니다 [113]. 직접 관찰 과정에 대한 교수진의 동의는 학습을 위한 직접 관찰의 중요성에 대한 교육과 교수진이 병상에서 학습자와 함께 시간을 보낼 수 있는 일정 구조를 통해 얻을 수 있습니다[93]. 환자 간호를 수행할 때 직접 관찰을 수행하도록 교수진을 교육하면 이 작업이 효율적이고 질 높은 간호 및 교육에 필수적인 것으로 간주됩니다[114]. 이 교육 전략에 대한 환자와 가족의 선호도는 이 전략이 치료에 도움이 된다고 인식하고 있으며, 그 결과 임상의의 환자 만족도가 더 높아질 수 있음을 시사합니다[115, 116]. 
A focus on patient-centred care within a training environment embeds teaching in routine clinical care through clinical practice tasks shared between learners and supervisors within microsystems [113]. Faculty buy-in to the process of direct observation can be earned through education about the importance of direct observation for learning and through schedule structures that enable faculty time with learners at the bedside [93]. Training faculty to conduct direct observation as they conduct patient care frames this task as integral to efficient, high quality care and education [114]. Patient and family preferences for this educational strategy suggest that they perceive it as beneficial to their care, and clinicians can enjoy greater patient satisfaction as a result [115, 116].

교육 리더는 직접 관찰을 제한하는 [시스템 장벽]을 해결해야 합니다.

• 직접 관찰과 피드백을 위한 시간 부족은 직접 관찰을 가로막는 가장 흔한 장벽 중 하나입니다. 프로그램은 교육 및 환자 치료 시스템(예: 감독자:학습자 비율, 환자 센서스)이 직접 관찰 및 피드백을 위한 시간을 허용하도록 보장해야 합니다.
• 교육 병원의 더 큰 임상 진료 환경에 주의를 기울이면 직접 관찰을 촉진하기 위해 해결해야 할 추가적인 장벽을 발견할 수 있습니다.
• 현재의 수련 환경은 전자 건강 기록을 사용하여 컴퓨터로 빠르게 작업을 완료하는 데 집중하는 경우가 너무 많으며, 환자와 상호 작용하거나 교육 활동에 소요되는 수련의의 시간은 소수에 불과합니다[117, 118].
• 드물지 않게, 감독자-학습자 쌍이 자주 바뀌면 학습자가 피드백을 통합하고 개선 사항을 입증하기 위해 동일한 감독자가 오랜 시간 동안 관찰하기 어렵습니다[119].
• 프로그램 디렉터는 학습 환경에 대한 감독자와 학습자의 인식, 건설적인 피드백을 주고받는 능력, 학습자에 대한 판단의 공정성을 신뢰하는 능력을 향상시키는 종적 관계를 제공하는 커리큘럼 구조를 고려해야 합니다[26, 120, 121].
• 대학원 의학 교육에서 외래 연속성 경험을 재설계하면 이러한 직접 관찰 및 피드백을 위한 종단적 기회를 촉진할 수 있습니다[122]. 

Educational leaders must address the systems barriers that limit direct observation.

• Lack of time for direct observation and feedback is one of the most common barriers to direct observation. Programs need to ensure that educational and patient care systems (e. g. supervisor:learner ratios, patient census) allow time for direct observation and feedback.
• Attention to the larger environment of clinical care at teaching hospitals can uncover additional barriers that should be addressed to facilitate direct observation.
• The current training environment is too often characterized by a fast-paced focus on completing work at computers using the electronic health record, with a minority of trainee time spent interacting with patients or in educational activities [117, 118].
• Not uncommonly, frequent shifts in supervisor-learner pairings make it difficult for learners to be observed by the same supervisor over time in order to incorporate feedback and demonstrate improvement [119].
• Program directors should consider curricular structures that afford longitudinal relationships that enhance supervisors’ and learners’ perceptions of the learning environment, the ability to give and receive constructive feedback and trust the fairness of judgments about learners [26, 120, 121].
• Redesign of the ambulatory continuity experience in graduate medical education shows promise to foster these longitudinal opportunities for direct observation and feedback [122].

프로그램에 집중하지 않기
Don’ts focused on program

지침 20. 직접 관찰에 적합한 도구를 선택한다고 해서 평가자 교육이 필요 없다고 가정하지 마십시오.
Guideline 20. Don’t assume that selecting the right tool for direct observation obviates the need for rater training.

직접 관찰용 도구 사용자는 잘 설계된 도구는 평가자가 사용법을 모두 이해할 수 있을 정도로 명확할 것이라고 잘못 생각할 수 있습니다. 그러나 앞서 설명한 바와 같이, 어떤 도구를 선택하든 평가자는 도구를 사용하여 직접 관찰하고 관찰 내용을 기록하도록 교육받아야 합니다. 실제 측정 도구는 도구가 아니라 교수 감독자입니다. 
Users of tools for direct observation may erroneously assume that a well-designed tool will be clear enough to raters that they will all understand how to use it. However, as described previously, regardless of the tool selected, observers should be trained to conduct direct observations and record their observations using the tool. The actual measurement instrument is the faculty supervisor, not the tool.

지침 21. 학습자에게 직접 관찰을 요청하는 책임을 전적으로 학습자에게만 지우지 마세요.
Guideline 21. Don’t put the responsibility solely on the learner to ask for direct observation.

학습자와 감독자는 직접 관찰 및 피드백이 이루어질 수 있도록 함께 책임을 져야 합니다. 학습자는 실제 임상 수행에 초점을 맞춘 의미 있는 피드백을 원하지만, [31, 39] 일반적으로 직접 관찰을 학습에 유용한 것으로 평가하는 것과 자율적이고 효율적으로 수행하기를 원하는 것 사이에서 긴장을 경험합니다[42]. 직접 관찰, [자율성, 효율성]이라는 두 가지 목표를 동시에 인정하면서 직접 관찰이 일상적인 활동의 일부가 되는 교육 문화로 바꾸면 학습자의 부담을 완화할 수 있습니다. 직접 관찰을 요청하는 학습자의 책임을 제거하거나 줄이고, 부분적으로 교수진과 프로그램의 책임으로 만드는 것은 이 학습 활동에 대한 [공동 책임]을 촉진할 것입니다. 
Learners and their supervisors should together take responsibility for ensuring that direct observation and feedback occur. While learners desire meaningful feedback focused on authentic clinical performance, [31, 39] they commonly experience tension between valuing direct observation as useful to learning and wanting to be autonomous and efficient [42]. Changing the educational culture to one where direct observation is a customary part of daily activities, with acknowledgement of the simultaneous goals of direct observation, autonomy and efficiency, may ease the burden on learners. Removing or reducing responsibility from the learner to ask for direct observation and making it, in part, the responsibility of faculty and the program will promote shared accountability for this learning activity.

지침 22. 교수자가 교사와 평가자 사이에서 느끼는 긴장을 과소평가하지 마십시오.
Guideline 22. Don’t underestimate faculty tension between being both a teacher and assessor.

20년 전 마이클 J. 고든은 교수자가 교사(학습자에게 지도 제공)와 평가자(학습자가 성과 기준을 충족하는지 교육 프로그램에 보고)로서 겪는 갈등에 대해 설명했습니다[123]. 현재 역량 기반 의학교육의 시대에는 교수진이 [직접 관찰한 상황을 보고해야 하는 요구 사항이 증가함]에 따라 이러한 긴장이 지속되고 있습니다. Gordon의 해결책은 역량 기반 의학교육의 많은 발전 사항을 반영합니다. 학습자 중심의 두 가지 시스템을 개발하여 일선 교수진이 학습자에게 피드백과 지도를 제공하는 시스템과 교수자 중심의 시스템으로 최소한의 역량을 유지하지 못하는 학습자를 모니터링하거나 선별하여 추가 의사 결정 및 평가를 전문 표준위원회에 넘기는 것입니다[124, 125]. 프로그램은 역량 기반 의학교육에서 직접 관찰을 사용할 때 교수진의 이중적 입장에 민감해야 하며, 이러한 역할 갈등을 최소화하는 패러다임을 고려해야 합니다[126, 127].

Two decades ago Michael J. Gordon described the conflict faculty experience being both teacher (providing guidance to the learner) and high-stakes assessor (reporting to the training program if the learner is meeting performance standards) [123]. In the current era of competency-based medical education, with increased requirements on faculty to report direct observation encounters, this tension persists. Gordon’s solution mirrors many of the developments of competency-based medical education: develop two systems, one that is learner-oriented to provide learners with feedback and guidance by the frontline faculty, and one that is faculty-oriented, to monitor or screen for learners not maintaining minimal competence, and for whom further decision making and assessment would be passed to a professional standards committee [124, 125]. Programs will need to be sensitive to the duality of faculty’s position when using direct observation in competency-based medical education and consider paradigms that minimize this role conflict [126, 127].

가이드라인 23. 직접 관찰에 대한 학습 문화를 방해할 수 있으므로 모든 직접 관찰을 높은 위험도로 만들지 마십시오.
Guideline 23. Don’t make all direct observations high stakes; this will interfere with the learning culture around direct observation.

대부분의 직접 관찰은 높은 위험도가 아니라 교수자가 학습자의 일상 업무에 대한 지침을 제공할 수 있도록 진정한 환자 중심 진료에 대한 낮은 위험도의 평가로 수행해야 합니다. 직접 관찰의 장점 중 하나는 학습자가 실제 임상 업무에 어떻게 접근하는지 볼 수 있는 기회이지만, 관찰 행위로 인해 성과가 변경되면 이점이 상쇄될 수 있습니다[128]. 학습자는 자신의 성과가 변경될 정도로 관찰과 관련된 '이해관계'에 매우 민감합니다[11, 31]. 직접 관찰에 대한 레지던트의 인식에 대한 질적 연구에서 레지던트들은 관찰자를 기쁘게 하기 위해, 그리고 성과가 채점된다고 생각하기 때문에 임상 스타일을 바꾼다고 보고했습니다. 직접 관찰은 학습자의 목표를 환자 중심 진료에서 성과 중심 진료로 전환했습니다[11]. 또 다른 연구에서 레지던트들은 직접 관찰에 대한 '이해관계'가 없기 때문에(관찰과 관련된 대화는 관찰자와 학습자 사이에만 이루어짐) 임상 수행의 진정성을 높이는 데 도움이 된다고 인식했습니다[31].
Most direct observations should not be high stakes, but rather serve as low-stakes assessments of authentic patient-centred care that enable faculty to provide guidance on the learner’s daily work. One of the benefits of direct observation is the opportunity to see how learners approach their authentic clinical work, but the benefits may be offset if the act of observation alters performance [128]. Learners are acutely sensitive to the ‘stakes’ involved in observation to the point that their performance is altered [11, 31]. In a qualitative study of residents’ perceptions of direct observation, residents reported changing their clinical style to please the observer and because they assumed the performance was being graded. The direct observation shifted the learner’s goals from patient-centred care to performance-centred care [11]. In another study, residents perceived that the absence of any ‘stakes’ of the direct observation (the conversations around the observations remained solely between observer and learner) facilitated the authenticity of their clinical performance [31].

지침 24. 직접 관찰을 사용하여 중요한 종합 결정을 내릴 때는 너무 짧은 시간 동안 너무 적은 수의 평가자에 의한 너무 적은 수의 직접 관찰에 근거하여 결정하지 말고 직접 관찰 데이터에만 의존하지 마십시오.
Guideline 24. When using direct observation for high-stakes summative decisions, don’t base decisions on too few direct observations by too few raters over too short a time and don’t rely on direct observation data alone.

단일 임상 성과에 대한 단일 평가에는 잘 설명된 한계가 있습니다:

• 1) 평가는 단 한 명의 평가자의 인상을 포착하고
• 2) 임상 수행은 단일 콘텐츠 영역으로 제한되는 반면 학습자는 평가의 내용, 환자 및 맥락에 따라 다르게 수행합니다[129, 130].

평가의 일반화 가능성을 높이려면 다양한 콘텐츠(예: 진단 및 술기) 및 맥락에서 학습자의 수행을 관찰하는 평가자의 수를 늘리는 것이 중요합니다[131, 132]. 또한 특정 시점의 학습자의 임상 수행은 감정 상태, 동기 부여 또는 피로와 같은 외부 요인에 의해 영향을 받을 수 있습니다. 따라서 일정 기간 동안 관찰한 내용을 캡처하면 보다 안정적으로 성과를 측정할 수 있습니다.
A single assessment of a single clinical performance has well-described limitations: 1) the assessment captures the impression of only a single rater and 2) clinical performance is limited to a single content area whereas learners will perform differentially depending on the content, patient, and context of the assessment [129, 130]. To improve the generalizability of assessments, it is important to increase the number of raters observing the learner’s performance across a spectrum of content (i. e. diagnoses and skills) and contexts [131, 132]. Furthermore, a learner’s clinical performance at any given moment may be influenced by external factors such as their emotional state, motivation, or fatigue. Thus, capturing observations over a period of time allows a more stable measure of performance.

평가 프로그램에서 여러 평가 도구(예: 의학 지식 테스트, 모의 상황, 직접 관찰)에서 수집한 정보를 결합하면 단일 평가 도구보다 학습자의 역량을 더 균형 있게 평가할 수 있습니다[133, 134]. 역량은 다차원적이며, 단일 평가 도구로는 모든 차원을 하나의 형식으로 평가할 수 없습니다[130, 135]. 이는 평가 도구를 뒷받침하는 타당성 논거를 검토할 때 분명하게 드러나는데, 단일 평가 도구의 경우 항상 논거의 강점과 약점이 존재합니다[136, 137]. 역량에 관한 의사결정에 도움이 되는 최상의 증거를 제공하는 도구를 신중하게 선택하는 것이 중요합니다[136, 137]. 예를 들어, 기술 숙련도를 평가하는 것이 목표인 경우, 프로그램은 시술의 적응증, 금기 사항 및 합병증에 대한 지식 테스트와 시뮬레이션 실험실의 파트별 트레이너를 사용한 직접 관찰 및 실제 임상 환경에서의 직접 관찰(환자와의 의사소통과 더불어 학습자의 기술 숙련도를 평가할 수 있는 곳)을 결합할 수 있습니다.
Combining information gathered from multiple assessment tools (e. g. tests of medical knowledge, simulated encounters, direct observations) in a program of assessment will provide a more well-rounded evaluation of the learner’s competence than any single assessment tool [133, 134]. Competence is multidimensional, and no single assessment tool can assess all dimensions in one format [130, 135]. This is apparent when examining the validity arguments supporting assessment tools; for any single assessment tool, there are always strengths and weaknesses in the argument [136, 137]. It is important to carefully choose the tools that provide the best evidence to aid decisions regarding competence [136, 137]. For example, if the goal is to assess a technical skill, a program may combine a knowledge test of the indications, contraindications and complications of the procedure with direct observation using part-task trainers in the simulation laboratory with direct observation in the real clinical setting (where the learner’s technical skills can be assessed in addition to their communication with the patient).

모름
Don’t Knows

가이드라인 25. 학습자의 독립성과 효율성이라는 가치를 훼손하지 않으면서 학습자가 관찰을 요청하도록 동기를 부여하는 프로그램은 무엇입니까?
Guideline 25. How do programs motivate learners to ask to be observed without undermining learners’ values of independence and efficiency?

직접적인 관찰/피드백과 자율성/효율성을 동시에 중시하는 학습 문화를 조성하는 데 따르는 어려움에 대해 논의되었지만, 이 문제에 대한 해결책은 명확하지 않습니다. 잠재적인 접근 방식으로는 교수진을 대상으로 짧은 만남에 대한 직접 관찰을 장려하고(따라서 효율성에 미치는 영향을 최소화), 교수진의 일상 업무에 직접 관찰의 근거를 두는 것이 있습니다[66, 129]. 그러나 이러한 전략은 직접 관찰에 더 많은 시간이 필요한 역량(예: 전문적 행동, 협업 기술 등)과는 반대로 짧은 관찰이 가능한 특정 업무에 직접 관찰을 집중하는 의도하지 않은 효과를 가져올 수 있습니다[60]. 또 다른 해결책은 환자 회진, 인수인계, 병원 또는 외래 환자 퇴원, 클리닉 프리셉팅 등과 같은 일상 업무에 직접 관찰을 포함시키는 것입니다. 기존 활동을 활용하면 일부 전문 분야 및 프로그램에서 발생하는 것처럼 학습자가 직접 관찰을 요청해야 하는 부담을 줄일 수 있습니다. 예를 들어, 맥마스터의 응급의학과 레지던트 프로그램에서는 관찰 영역을 공식화하여 각 응급실 교대 근무 시 감독자가 직접 관찰하는 시스템을 활용하고 있습니다[138]. 학습자가 관찰을 요청하도록 동기를 부여하는 추가 접근 방식을 식별하는 것이 중요합니다. 

While the difficulties in having a learning culture that simultaneously values direct observation/feedback and autonomy/efficiency have been discussed, solutions to this problem are less clear. Potential approaches might be to target faculty to encourage direct observation of short encounters (thus minimizing the impact on efficiency) and to ground the direct observation in the faculty’s daily work [66, 129]. However, these strategies can have the unintended effect of focusing direct observation on specific tasks which are amenable to short observations as opposed to competencies that require more time for direct observation (e. g. professional behaviour, collaboration skills etc.) [60]. Another solution may be to make direct observation part of daily work, such as patient rounds, hand-offs, discharge from a hospital or outpatient facility, clinic precepting and so forth. Leveraging existing activities reduces the burden of learners having to ask for direct observation, as occurs in some specialties and programs. For example, McMaster’s emergency medicine residency program has a system that capitalizes on supervisors’ direct observation during each emergency department shift by formalizing the domains for observation [138]. It will be important to identify additional approaches that motivate learners to ask for observation.

가이드라인 26. 전문과목은 어떻게 직접 관찰의 초점을 환자가 중요하게 여기는 임상 진료의 중요한 측면으로 확대할 수 있습니까?
Guideline 26. How can specialties expand the focus of direct observation to important aspects of clinical practice valued by patients?

환자와 의사는 임상 진료의 측면의 상대적 중요도에 대해 의견이 다릅니다. 예를 들어, 환자는 건강 관련 정보의 효과적인 전달의 중요성을 더 높게 평가합니다[139]. 평가자가 가장 중요하게 생각하거나 가장 편한 것만 관찰하는 경우, 직접 관찰의 초점을 임상 진료의 모든 중요한 측면으로 어떻게 확장할 수 있을까요[42]? 역량 기반 의료 교육에서 프로그램은 특정 술기를 강조하는 로테이션을 활용하여 관찰 빈도가 낮은 영역으로 직접 관찰의 초점을 확대할 수 있습니다(예: 일반 내과 입원 환자에서 관절 검사를 관찰하는 대신 류마티스내과 로테이션을 사용하여 학습자의 근골격 검사 술기를 직접 관찰하는 것). 분명한 것은 모든 사람이 모든 것을 관찰하기를 기대하는 것은 실패한 접근 방식이라는 것입니다. 각 전문과목별로 직접 관찰의 초점을 확대하여 환자가 중요하게 여기는 임상 치료의 측면을 포괄하는 방법을 배우기 위한 연구가 필요합니다. 많은 교수진 개발 프로그램은 교수진 개인만을 대상으로 하며, 조직 내 프로세스나 문화적 변화를 목표로 하는 프로그램은 상대적으로 적습니다[106]. 따라서 이러한 유형의 프로세스 변화를 목표로 하는 교육 리더를 위한 교수진 개발이 필요할 것으로 보입니다.
Patients and physicians disagree about the relative importance of aspects of clinical care; for example, patients more strongly rate the importance of effective communication of health-related information [139]. If assessors only observe what they most value or are most comfortable with, how can the focus of direct observation be expanded to all important aspects of clinical practice [42]? In competency-based medical education, programs may take advantage of rotations that emphasize specific skills to expand the focus of direct observation to less frequently observed domains (e. g. using a rheumatology rotation to directly observe learners’ musculoskeletal exam skills as opposed to trying to observe joint exams on a general medicine inpatient service). What seems apparent is that expecting everyone to observe everything is an approach that has failed. Research is needed to learn how to expand the focus of direct observation for each specialty to encompass aspects of clinical care valued by patients. Many faculty development programs target only the individual faculty member, and relatively few target processes within organizations or cultural change [106]. As such, faculty development for educational leaders that target these types of process change is likely needed.

지침 27. 프로그램은 어떻게 위험 부담이 크고 빈번하지 않은 직접 관찰 평가 문화를 위험 부담이 적고 형성적이며 학습자 중심적인 문화로 바꿀 수 있는가?
Guideline 27. How can programs change a high-stakes, infrequent direct observation assessment culture to a low-stakes, formative, learner-centred culture?

형성적 평가에 직접 관찰을 집중하는 것의 중요성은 이미 설명했습니다. 그러나 높은 수준의 빈번한 직접 관찰 평가 문화를 낮은 부담의, 형성적이고, 학습자 중심의 직접 관찰 문화로 바꾸는 데 도움이 되는 추가적인 접근 방식이 여전히 필요합니다[140]. 평가 빈도를 높이고, 학습자가 평가를 요청할 수 있도록 권한을 부여하고[141, 142], 학습자에게 피드백 및 코칭을 위한 평가가 중요하다는 점을 강조하는 전략과 그 영향을 탐구하는 연구가 필요합니다[143,144,145]. 평가 프로그램의 설계, 모니터링 및 지속적인 개선에 학습자를 효과적으로 참여시키는 방법도 추가 연구가 필요합니다[146].
The importance of focusing direct observation on formative assessment has been described. However, additional approaches are still needed that help change a high-stakes, infrequent direct observation assessment culture to a low-stakes, formative, learner-centred direct observation culture [140]. Studies should explore strategies for and impacts of increasing assessment frequency, empowering learners to seek assessment, [141, 142] and emphasizing to learners that assessment for feedback and coaching are important [143,144,145]. How a program effectively involves its learners in designing, monitoring and providing ongoing improvement of the assessment program also merits additional study [146].

직접 관찰은 형성 평가에 중점을 두어야 하지만, 궁극적으로 모든 교육 프로그램은 승진 및 전환과 관련하여 중대한 결정을 내려야 합니다. 연구에 따르면 프로그램에 더 정확한 평가 정보가 있을수록 더 정확하고 더 나은 정보를 바탕으로 고위험 결정을 내릴 수 있는 것으로 나타났습니다[134, 135]. 고위험 결정을 내리기 위해 여러 관찰을 사용하는 것 외에[140], 프로그램이 고위험 결정을 내리기 위해 여러 개의 낮은 위험도 직접 관찰 평가를 가장 잘 사용할 수 있는 방법은 정확히 밝혀지지 않았습니다. 또한, 평가가 궁극적으로 고위험 의사결정을 위해 집계될 때 프로그램이 평가가 낮은 위험도로 인식되도록(즉, 하나의 낮은 위험도 관찰이 고위험 의사결정을 유도하지 않도록) 어떻게 보장할 수 있을까요? 
Although direct observation should be focused on formative assessment, ultimately all training programs must make a high-stakes decision regarding promotion and transition. Research has shown that the more accurate assessment information a program has, the more accurate and better informed the high-stakes decisions are [134, 135]. Other than using multiple observations to make a high-stakes decision [140], it is not clear exactly how programs can best use multiple low-stakes direct observation assessments to make high-stakes decisions. Additionally, how do programs ensure that assessments are perceived as low stakes (i. e. that no one low-stakes observation will drive a high-stakes decision) when assessments ultimately will be aggregated for higher-stakes decisions?

그룹 프로세스는 프로그램 평가의 새로운 필수 구성 요소로 떠오르고 있습니다. 일부 국가에서는 임상 역량 위원회라고 불리는 이러한 그룹이 이제 의학 대학원 교육의 필수 구성 요소로 자리 잡았습니다[147]. 질적 및 양적 직접 관찰을 통해 얻은 강력한 데이터는 그룹 판단 프로세스에 매우 유용하여 진도에 대한 의사 결정을 개선할 수 있습니다[148, 149]. 직접 관찰은 역량 및 위탁에 관한 의사 결정을 개선하기 위해 그룹 프로세스를 사용할 수 있는 평가 프로그램에 중요한 입력으로 작용해야 하지만, 데이터를 가장 잘 집계하는 방법은 아직 명확하지 않습니다.
Group process is an emerging essential component of programmatic assessment. In some countries these groups, called clinical competency committees, are now a required component of graduate medical education [147]. Robust data from direct observations, both qualitative and quantitative, can be highly useful for the group judgmental process to improve decisions about progression [148, 149]. While direct observation should serve as a critical input into a program of assessment that may use group process to enhance decision making regarding competence and entrustment, how to best aggregate data is still unclear.

지침 28. 소수의 핵심 교수진을 직접 관찰을 수행하는 '마스터 교육자'로 육성하면 어떤 이점이 있나요?
Guideline 28. What, if any, benefits are there to developing a small number of core faculty as ‘master educators’ who conduct direct observations?

많은 프로그램에서 직접 관찰이 부족한 문제에 대한 한 가지 잠재적 해결책은 환자 치료에 대한 책임을 동시에 맡지 않고 [직접 관찰을 수행하는 것이 주된 역할인 핵심 평가자 그룹]과 병행하는 시스템을 개발하는 것입니다. 교수진이 직접 관찰에 대한 교육과 보수를 지원받은 새로운 피드백 프로그램에서 레지던트들은 임상 기술, 학습자로서의 발전, 정서적 웰빙 측면에서 혜택을 받았습니다[31]. 이러한 접근 방식은 교수진 개발 노력을 직접 관찰하고 피드백하는 기술을 개발할 소수의 교육자에게 집중할 수 있게 해줍니다. 이러한 교육자 간부는 보다 구체적이고 맞춤화된 피드백을 제공할 가능성이 높으며, 이들의 관찰은 일일 임상 감독자의 통찰력을 보완하여 학습자의 교육 경험을 잠재적으로 향상시킬 수 있습니다[150]. 이러한 접근 방식은 또한 일일 임상 감독자의 시간 제약과 바쁜 업무에 대한 해결책을 제공할 수도 있습니다. 이 접근 방식의 구조, 이점 및 비용에 대해서는 연구가 필요합니다.

One potential solution to the lack of direct observation in many programs may be to develop a parallel system with a core group of assessors whose primary role is to conduct direct observations without simultaneous responsibility for patient care. In a novel feedback program where faculty were supported with training and remuneration for their direct observations, residents benefited in terms of their clinical skills, development as learners and emotional well-being [31]. Such an approach would allow faculty development efforts to focus on a smaller cadre of educators who would develop skills in direct observation and feedback. A cadre of such educators would likely provide more specific and tailored feedback and their observations would complement the insights of the daily clinical supervisors, thus potentially enhancing learners’ educational experience [150]. Such an approach might also provide a work-around to the time constraints and busyness of the daily clinical supervisors. The structure, benefits and costs of this approach requires study.

지침 29. 위임 기반 척도가 특히 절차에 기반하지 않은 전문 분야의 경우 구성적 척도를 달성하는 데 가장 적합한 접근 방식입니까?
Guideline 29. Are entrustment-based scales the best available approach to achieve construct aligned scales, particularly for non-procedurally-based specialties?

아직 결론은 나지 않았지만, 위임 척도가 불만족에서 우수 또는 미흡에서 우수와 같은 형용사적 앵커를 사용하는 오래된 척도보다 더 우수할 수 있다는 연구가 증가하고 있습니다[151, 152]. 이러한 구형 척도는 교수자에게 척도에 따른 의미 있는 정의와 학습자의 성과를 다른 학습자 또는 다른 표준과 비교해야 하는지 여부를 제공하지 않는 '잘못 정렬된 척도 구성'의 예입니다. 정렬된 척도 구성은 교수진의 교육적 정신 구성에 '정렬'되는 서술적 설명어가 있거나없는 앵커를 사용합니다. (종종 감독 수준을 기반으로 하는) 위임은 교수자가 학습자에 대해 내려야 하는 결정 유형(예: 반응적 감독에 대한 신뢰 또는 신뢰하지 않음)과 더 잘 일치합니다.

• Crossley와 동료들은 영국 수련생을 대상으로 파운데이션 기간에 실시한 미니 임상 평가 연습에서 발달 기술 척도를 사용하여 기존의 미니-CEX보다 조정된 척도를 사용하여 더 나은 신뢰도와 수용 가능성을 발견했습니다[96].
• Regehr와 동료들은 교수진에게 일반적인 척도 대신 표준화된 설명적 내러티브를 사용하도록 요청하면 레지던트 그룹 간의 성과를 더 잘 변별할 수 있다는 사실을 발견했습니다[153].
• 다른 연구자들도 수퍼비전 수준을 척도 앵커로 사용하는 관찰 도구의 신뢰도와 수용성이 더 우수하다는 사실을 발견했습니다[152, 154].

While the verdict is still out, there is growing research that entrustment scales may be better than older scales that use adjectival anchors such as unsatisfactory to superior or poor to excellent [151, 152]. These older scales are examples of ‘construct misaligned scales’ that do not provide faculty with meaningful definitions along the scale and whether learner performance is to be compared with other learners or another standard. Construct aligned scales use anchors with or without narrative descriptors that ‘align’ with the educational mental construct of the faculty. Entrustment, often based on level of supervision, is better aligned with the type of decisions a faculty member has to make about a learner (e. g. to trust or not trust for reactive supervision).

• Crossley and colleagues, using a developmental descriptive scale on the mini-clinical evaluation exercise grounded in the Foundation years for UK trainees, found better reliability and acceptability using the aligned scale than the traditional mini-CEX [96].
• Regehr and colleagues found asking faculty to use standardized, descriptive narratives versus typical scales led to better discrimination of performance among a group of residents [153].
• Other investigators have also found better reliability and acceptability for observation instruments that use supervision levels as scale anchors [152, 154].

따라서 위탁 척도는 여전히 주의가 필요하지만 유망한 발전으로 보입니다. 신뢰도는 타당도의 한 측면일 뿐이며, 다른 도구에 적용되는 것과 동일한 문제가 위탁 척도에서도 여전히 문제가 될 수 있습니다. 예를 들어, 평가자는 수퍼비전에 대해 매우 다른 견해를 가지고 있을 수 있습니다(즉, 공유된 정신 모델이 부족할 수 있습니다). Teman과 동료들은 교수진이 수술실에서 레지던트를 감독하는 방식이 다양하다는 사실을 발견했으며, 레지던트에게 필요한 감독 유형을 가장 잘 결정하기 위해서는 교수진 개발이 필요하다고 주장했습니다[155, 156]. 절차적 즈위쉬 척도는 다양한 수준의 수퍼비전과 상관관계가 있는 수퍼바이저 행동에 대한 강력한 설명자를 제공합니다[108, 154, 158]. 위임 척도를 사용한 연구는 주로 절차적 전문 분야에 초점을 맞추었으며, 절차적 기반이 아닌 전문 분야에서의 유용성을 이해하려면 더 많은 연구가 필요합니다. 또한, 위탁 척도와 행동 고정 척도(학습자의 행동에 초점을 맞춘 척도)의 상대적 장점을 파악하기 위한 연구가 필요합니다. 
Thus entrustment scales appear to be a promising development though caution is still needed. Reliability is only one aspect of validity, and the same problems that apply to other tools can still be a problem with entrustment scales. For example, assessors can possess very different views of supervision (i. e. lack a shared mental model). Teman and colleagues found that faculty vary in how they supervise residents in the operating room; they argued that faculty development is needed to best determine what type of supervision a resident needs [155, 156]. The procedural Zwisch scale provides robust descriptors of supervisor behaviours that correlate with different levels of supervision [108, 154, 158]. Studies using entrustment scales have largely focused on procedural specialties; more research is needed to understand their utility in more non-procedural based specialties. Research is also needed to determine the relative merits of behaviourally anchored scales (focused on what a learner does) versus entrustment scales.

가이드라인 30. 관찰 데이터를 '즉시' 기록할 수 있도록 테크놀로지을 사용하는 가장 좋은 접근 방식은 무엇인가요?
Guideline 30. What are the best approaches to use technology to enable ‘on the fly’ recording of observational data?

기술은 평가 또는 정성적 의견과 같은 관찰 데이터를 즉시 기록하는 데 도움이 될 수 있습니다. 직접 관찰에 대한 경험적 의학 교육 연구의 대부분은 평가 도구가 제공되는 형식보다 평가 도구에 더 중점을 두었습니다[66]. 그러나 임상 진료가 종이 기반에서 전자 플랫폼으로 진화하고 있다는 점을 고려할 때, 직접 관찰의 기록, 작성 및 제출이 휴대용 장치 또는 기타 전자 플랫폼을 사용하여 촉진될 수 있다는 것은 직관적으로 이해가 됩니다. 이 영역에서 수행된 몇 가지 연구에서 전자적 접근 방식의 타당성과 사용자 만족도를 문서화했지만, 공유 목표 개발을 촉진하고 관찰 품질을 지원하며 관찰을 수집 및 종합하기 위해 전자 플랫폼을 최적화하는 방법을 이해하려면 더 많은 연구가 필요합니다[159,160,161,162]. 
Technology can facilitate the immediate recording of observational data such as ratings or qualitative comments. Much of the empirical medical education research on direct observation has focused on the assessment tool more than the format in which the tool is delivered [66]. However, given the evolution of clinical care from paper-based to electronic platforms, it makes intuitive sense that the recording, completion and submission of direct observations may be facilitated by using handheld devices or other electronic platforms. The few studies done in this realm have documented the feasibility of and user satisfaction with an electronic approach, but more research is necessary to understand how to optimize electronic platforms both to promote the development of shared goals, support observation quality and collect and synthesize observations [159,160,161,162].

가이드라인 31. 관찰의 질과 학습자 피드백을 개선하기 위한 최상의 교수자 개발 접근법 및 실행 전략은 무엇인가요?
Guideline 31. What are the best faculty development approaches and implementation strategies to improve observation quality and learner feedback?

이미 설명한 바와 같이, 평가자 인지에 대한 최근 연구는 평가자 특이성, 다양한 기준 프레임, 인지적 편향, 암묵적 편향 및 인상 형성 등 직접 관찰에 영향을 미치는 주요 요인에 대한 몇 가지 통찰력을 제공합니다[46, 47, 82, 98, 99]. 그러나 이것이 교수진 개발에 대한 접근 방식에 어떤 정보를 제공할 수 있는지는 잘 알려져 있지 않습니다. 예를 들어, 교육 리더가 평가자가 자신의 특이한 성향을 인식하도록 돕고 학습자가 다양한 평가자로부터 충분한 종단 샘플링을 받아 핵심 역량의 모든 측면을 관찰할 수 있도록 보장하는 것의 가치 또는 영향은 무엇일까요? 평가자가 강력한 공유 기준 기반 멘탈 모델을 개발하거나 위탁 기반 척도[96, 151, 152, 157]를 사용하도록 하면 평가자의 특이성 및 인지적 편향(예: 대조 효과)이 감소할 수 있습니까? [지침 16 참조].  
As already described, recent research in rater cognition provides some insights on key factors that affect direct observation: assessor idiosyncrasy, variable frames of reference, cognitive bias, implicit bias and impression formation [46, 47, 82, 98, 99]. However, how this can inform approaches to faculty development is not well understood. For example, what would be the value or impact of educational leaders helping assessors recognize their idiosyncratic tendency and ensuring learners receive sufficient longitudinal sampling from a variety of assessors to ensure all aspects of key competencies are observed? Would assessor idiosyncrasy and cognitive bias (e. g. contrast effect) be reduced by having assessors develop robust shared criterion-based mental models or use entrustment-based scales [96, 151, 152, 157]? [See Guideline 16].

성과 차원 훈련 및 기준 프레임 훈련의 원칙에 기반한 보다 집중적인 평가자 훈련은 평가자의 관용을 줄이고, 평가 정확도를 개선하며, 직접 관찰 및 피드백을 통해 자기 평가의 편안함을 개선하지만[9, 91], 평가자 훈련이 학습자에 대한 관찰, 평가 또는 피드백의 질을 향상시키는지에 대한 연구는 구체적으로 조사되지 않았습니다.
While more intensive rater training based on the principles of performance dimension training and frame of reference training decreases rater leniency, improves rating accuracy, and improves self-assessed comfort with direct observation and feedback [9, 91], studies have not specifically explored whether rater training improves the quality of observation, assessment or feedback to learners.

평가자 훈련의 최적 구조와 기간도 불분명합니다[9, 103, 157]. 직접 관찰은 복잡한 기술이며 일회성이 아닌 지속적인 교육과 연습이 필요할 가능성이 높습니다. 그러나 직접 관찰, 평가 및 피드백의 질을 향상시키는 데 가장 효과적인 평가자 교육 구조를 결정하기 위해서는 연구가 필요합니다. 초기 교육은 어느 정도의 시간이 필요할까요? 어떤 유형의 종단적 교육 또는 스킬 리프레시가 필요한가요? 얼마나 자주 실시해야 하나요? 평가자에게 평가의 질이나 서술에 대한 피드백을 제공하면 어떤 이점이 있나요? 기존 연구에 따르면 종일 교육은 효과가 미미하다는 점을 고려할 때, 집중 교육의 타당성을 판단하는 것이 중요합니다.
The optimal structure and duration of assessor training is also unclear [9, 103, 157]. Direct observation is a complex skill and likely requires ongoing, not just one-time, training and practice. However, studies are needed to determine what rater training structures are most effective to improve the quality of direct observation, assessment and feedback. Just how long does initial training need to be? What type of longitudinal training or skill refreshing is needed? How often should it occur? What is the benefit of providing assessors feedback on the quality of their ratings or their narratives? Given that existing studies show full day training has only modest effects, it will be important to determine the feasibility of intensive training.

가이드라인 32. 환자 또는 다른 의료진 구성원의 직접 관찰과 피드백을 직접 관찰 접근법에 어떻게 통합해야 합니까?
Guideline 32. How should direct observation and feedback by patients or other members of the health care team be incorporated into direct observation approaches?

환자 및 기타 의료 전문가는 학습자 수행의 다양한 측면을 일상적으로 관찰하며 감독자의 피드백을 보완하는 피드백을 제공할 수 있습니다. 환자의 관점과 경험을 포함하지 않고 환자 중심 치료를 가르치고 평가하는 것은 매우 어렵습니다. 전문가 간 팀워크의 중요성을 고려할 때, 다른 팀원의 평가에 대해서도 마찬가지입니다. 환자 경험 설문조사와 다중 출처 피드백 도구(환자 설문조사 포함)는 이제 환자와 의료 전문가의 관찰과 경험을 포착하는 데 일반적으로 사용됩니다[163, 164]. 다중 소스 피드백은 적절하게 구현될 경우 유용한 정보를 제공하고 행동을 변화시키는 데 효과적일 수 있습니다[165, 166]. 환자로부터 적시에 피드백을 받는 것이 도움이 될지는 아직 알려지지 않았습니다. Concato와 Feinstein은 방문이 끝날 때 환자에게 세 가지 질문을 하면 병원과 개별 의사에게 풍부한 피드백이 제공된다는 것을 보여주었습니다[167]. 방문이 끝날 때 환자에게 '오늘 필요한 모든 것을 얻었습니까?"라고 간단히 묻는 환자 중심 기법은 의미 있는 피드백으로 이어질 수 있으며, 직접 관찰 시 '환자가 안전하고 효과적이며 환자 중심적인 치료를 받았습니까'를 주요 참조 프레임으로 사용하는 개념과 잘 부합할 수 있습니다[52]. 이 두 가지 기법이 유용할 수 있지만, 환자와 전문가 간 팀을 더 높은 수준의 평가에 활용하기 위해서는 더 많은 연구가 필요합니다. 연구에 따르면 다중 출처 피드백(전문가 간 그룹의 관찰을 나타내는)을 고위험 평가에 일상적으로 사용해서는 안 된다고 강력히 제안합니다[163]. 
Patients and other health professionals routinely observe various aspects of learner performance and can provide feedback that complements supervisors’ feedback. It is very hard to teach and assess patient-centred care without involving the perspective and experiences of the patient. Given the importance of inter-professional teamwork, the same can be said regarding assessments from other team members. Patient experience surveys and multi-source feedback instruments (which may include a patient survey) are now commonly used to capture the observations and experiences of patients and health professionals [163, 164]. Multisource feedback, when implemented properly, can be effective in providing useful information and changing behaviour [165, 166]. What is not known is whether just-in-time feedback from patients would be helpful. Concato and Feinstein showed that asking the patient three questions at the end of the visit yielded rich feedback for the clinic and the individual physicians [167]. A patient-centred technique that simply asks the patient at the end of the visit ‘did you get everything you needed today?’ may lead to meaningful feedback and aligns well with the concept of using ‘did the patient get safe, effective, patient-centred’ as the primary frame of reference during direct observation [52]. While these two techniques might be of benefit, more research is needed before using patients and the inter-professional team for higher-stakes assessment. Research strongly suggests that multi-source feedback (representing the observations of an inter-professional group) should not be routinely used for higher-stakes assessment [163].

가이드라인 33. 직접 관찰이 학습자 및 환자 결과에 영향을 줍니까?
Guideline 33. Does direct observation influence learner and patient outcomes?

의학교육에서 직접 관찰의 핵심적인 역할에도 불구하고, 직접 관찰이 학습자 및 환자 결과를 개선한다는 것을 입증하는 결과 데이터는 거의 존재하지 않습니다. 임상 및 절차 역량은 안전하고 효과적인 환자 중심 진료의 기본입니다. 직접 관찰 평가가 학습자 결과를 개선하고 따라서 환자 결과를 개선한다는 증거는 부족하지만, 논리와 간접적인 증거는 존재합니다. 의도적인 실습과 코칭은 기술 향상과 전문성 개발을 지원합니다[168]. 의료 전문가들 사이에서 더 나은 의사소통 기술이 더 나은 환자 결과와 관련이 있다는 증거는 높은 수준의 역량을 보장하기 위해 그러한 기술을 관찰하고 피드백을 제공하는 것의 중요성을 강력하게 뒷받침합니다[169]. 반대로 앞서 지적한 바와 같이, 전 과정에서 직접 관찰은 드물고 의사의 역량에는 격차가 존재합니다[170,171,172]. 따라서 직접 관찰이 중요하지 않다고 결론을 내리는 것은 비논리적이지만, 학습자와 환자 결과에 미치는 영향을 극대화하는 최선의 방법을 결정하기 위해서는 훨씬 더 많은 연구가 필요합니다. 
Despite the central role of direct observation in medical education, few outcome data exist to demonstrate that direct observation improves learner and patient outcomes. Clinical and procedural competencies are foundational to safe, effective, patient-centred care. While evidence is lacking to show that direct observation assessments improve learner outcomes, and therefore patient outcomes, logic and indirect evidence do exist. Deliberate practice and coaching support skill improvement and the development of expertise [168]. The evidence that better communication skills among health professionals is associated with better patient outcomes strongly supports the importance of observing and providing feedback about such skills to ensure high levels of competence [169]. Conversely, as pointed out earlier, direct observation is infrequent across the continuum and there are gaps in practising physicians’ competencies [170,171,172]. Thus, it would be illogical to conclude direct observation is not important, but much more work is needed to determine the best methods that maximize the impact on learner and patient outcomes.

요약
Summary

역량 기반 의학교육의 시대에 그 중요성이 더욱 강조되고 있는 오랜 평가 전략인 임상 술기 직접 관찰에 초점을 맞춘 가이드라인 목록을 작성했습니다. 이 작업은 다양한 관점을 대표하는 광범위한 문헌을 종합하고, 반복적인 작업을 거쳤으며, 현재 문헌에 대한 우리의 합의를 나타냅니다. 체계적인 검토가 아니었기 때문에 가이드라인에 정보를 제공할 수 있는 연구를 놓쳤을 수 있습니다. 저자들이 북미 출신이어서 관점과 권장사항의 일반화 가능성이 제한될 수 있습니다. 각 가이드라인의 강점을 결정하기 위해 그룹 합의를 사용했지만, 근거 강도에 대한 해석은 주관적이었습니다.
We have compiled a list of guidelines focused on direct observation of clinical skills, a longstanding assessment strategy whose importance has heightened in the era of competency-based medical education. This work synthesizes a wide body of literature representing multiple viewpoints, was iterative, and represents our consensus of the current literature. Because this was not a systematic review, we may have missed studies that could inform the guidelines. Authors were from North America, potentially limiting generalizability of viewpoints and recommendations. Although we used group consensus to determine the strengths of each guideline, our interpretation of evidence strength was subjective.

이 가이드라인은 보건의료 전문직 교육에서 직접 관찰의 양과 질을 높이는 데 도움이 되도록 고안되었습니다. 직접 관찰을 개선하려면 감독자 개인과 학습자뿐만 아니라 그들이 일하고 훈련하는 조직과 문화에도 초점을 맞춰야 합니다. 수퍼바이저와 학습자 모두에게 직접 관찰에 참여하도록 동기를 부여하고 직접 관찰(및 그에 따른 피드백)이 실현 가능하고 가치 있으며 효과적인 지원 교육 시스템과 문화를 조성하는 전략과 개입을 식별하기 위해 해야 할 일이 많이 남아 있습니다. 이러한 접근 방식의 설계는 자기조절 학습과 평가자의 인지에 대한 이해의 증가와 같은 개념에 기반해야 합니다. 이러한 전략을 설계, 보급 및 평가하려면 문화 변화라는 매우 어려운 작업에 참여할 준비가 된 교육 리더에 대한 투자가 필요합니다. 우리가 아는 한, 맥락, 문화 및 시스템을 고려하면서 동시에 교육 리더, 감독자 및 학습자에게 초점을 맞추어 임상 술기에 대한 직접 관찰을 개선하기 위한 이러한 다각적이고 포괄적인 접근 방식은 설명된 바가 없습니다. 학습자와 감독자가 직접 관찰을 사용하여 진행 상황을 평가하고 더 높은 수준의 평가에 정보를 제공할 수 있도록 권한을 부여하면 교육 시스템 전체가 학습자의 역량을 향상하고 환자 치료를 개선할 수 있습니다.

These guidelines are designed to help increase the amount and quality of direct observation in health professions education. Improving direct observation will require focus not just on the individual supervisors and their learners but also on the organizations and cultures in which they work and train. Much work remains to be done to identify strategies and interventions that motivate both supervisors and learners to engage in direct observation and that create a supportive educational system and culture in which direct observation (and the feedback that follows) is feasible, valued and effective. The design of these approaches should be informed by concepts such as self-regulated learning and the growing understanding of rater cognition. Designing, disseminating and evaluating such strategies will require an investment in educational leaders prepared to engage in the very difficult work of culture change. To our knowledge, such a multifaceted, comprehensive approach to improving direct observation of clinical skills by simultaneously focusing on educational leaders, supervisors, and learners, while considering the context, culture and system has not been described. Empowering learners and their supervisors to use direct observation to assess progress and inform higher-stakes assessments enables the educational system as a whole to improve learners’ capabilities and enhance the care of patients.

Introduction: Direct observation of clinical skills is a key assessment strategy in competency-based medical education. The guidelines presented in this paper synthesize the literature on direct observation of clinical skills. The goal is to provide a practical list of Do's, Don'ts and Don't Knows about direct observation for supervisors who teach learners in the clinical setting and for educational leaders who are responsible for clinical training programs.

Methods: We built consensus through an iterative approach in which each author, based on their medical education and research knowledge and expertise, independently developed a list of Do's, Don'ts, and Don't Knows about direct observation of clinical skills. Lists were compiled, discussed and revised. We then sought and compiled evidence to support each guideline and determine the strength of each guideline.

Results: A final set of 33 Do's, Don'ts and Don't Knows is presented along with a summary of evidence for each guideline. Guidelines focus on two groups: individual supervisors and the educational leaders responsible for clinical training programs. Guidelines address recommendations for how to focus direct observation, select an assessment tool, promote high quality assessments, conduct rater training, and create a learning culture conducive to direct observation.

Conclusions: High frequency, high quality direct observation of clinical skills can be challenging. These guidelines offer important evidence-based Do's and Don'ts that can help improve the frequency and quality of direct observation. Improving direct observation requires focus not just on individual supervisors and their learners, but also on the organizations and cultures in which they work and train. Additional research to address the Don't Knows can help educators realize the full potential of direct observation in competency-based education.

비디오 선택 및 코딩
Video selection and coding

각 비디오(45초~7분 길이)는 [레지던트 의사와 환자 간의 모의 외래 환자 추적 관찰]을 묘사했습니다. 평가자 교육 연구에 사용된 비디오 라이브러리에서 5가지 의학적 문제(고혈압, 고지혈증, 섬유근육통, 당뇨병, 유두상 갑상선암)에 대해 각각 2개의 비디오를 선택했습니다(Cook et al. 2009, Cook and Beckman, 2009). 이러한 경험을 통해 학습을 극대화하기 위해 52명의 내과 의사('극단적인 그룹'의 의도적 표본 추출)의 미니 CEX '상담' 평점을 기준으로 각 문제별로 가장 낮은 점수와 가장 높은 점수를 받은 동영상을 선정했습니다.

• 3개 문제(6개 동영상)의 경우 레지던트-배우가 열악한 연기와 우수한 연기를 번갈아 연기하도록 코칭을 받았고, 환자-배우에게는 대본 없이 진정성 있는 답변을 하도록 지시했습니다.
• 나머지 4개의 비디오는 대본이 작성되었습니다.

Each video (45 s to 7 min long) portrayed a simulated outpatient follow-up encounter between a resident physician and a patient. From a library of videos used in a study of rater training (Cook et al. 2009; Cook and Beckman, 2009) we selected 2 videos for each of 5 medical problems (hypertension, hyperlipidemia, fibromyalgia, diabetes mellitus, and papillary thyroid cancer). To maximize our learning from these encounters, we selected the lowest-scoring and highest-scoring videos for each problem, based on mini-CEX ‘counseling’ ratings from 52 internal medicine physicians (‘extreme groups’ purposive sampling).

• For 3 problems (6 videos) the resident-actor was coached to alternately portray poor or superior performance, and the patient-actor was instructed to respond authentically; there was no written script.
• The other 4 videos were scripted.

비디오는 2단계에 걸쳐 검토되었습니다. 1단계(2020년 11월)에서는 4명의 연구자(DAC, CRS, SJD, LDG)가 개방형 프롬프트가 포함된 코딩 양식(부록 1, 보충 자료)을 사용하여 각 비디오를 최소 2회 독립적으로 검토했습니다: 

• '이 만남에서 관리 추론의 어떤 특징이 분명하게 드러나는가? [환자, 제공자, 시스템 선호도, 제약, 가치의 우선순위, 의사소통 및 공유된 의사결정(환자 선호도 확인, 통합) 등 5가지 특징 목록]'을 포함한 5가지 특징 목록으로 구성했습니다. 

논의는 2021년 10월부터 2022년 1월까지 계속되었습니다.
We reviewed videos in 2 phases. In phase 1 (November 2020), 4 investigators (DAC, CRS, SJD, LDG) independently reviewed each video at least twice using a coding form with open-ended prompts (Appendix 1, Supplementary material), including:

• ‘What features of management reasoning are evident in this encounter? [list of 5 features including Prioritization of patient, provider, and system preferences, constraints, and values; and Communication and shared decision-making (ascertainment of, integration with patient preferences)].’

Discussions continued October 2021 to January 2022.

데이터 분석 중에 커뮤니케이션과 SDM은 추가 조사가 필요한 것으로 나타났으며, 2단계(2022년 2월)에서 이를 추진했습니다. 먼저 Purposeful SDM 모델의 주요 개발자를 포함하여 SDM에 대한 폭넓은 경험을 가진 조사자(IGH)를 팀에 추가했습니다(Hargraves 외. 2019). 그는 처음에는 1단계 조사 결과에 대한 지식 없이 독립적으로 동일한 동영상을 검토한 다음, 조사자 DAC 및 SJD와 함께 동일한 동영상을 검토했습니다. 이 조사자들은 처음에는 독립적으로, 그다음에는 그룹으로 각 비디오를 검토하면서 참여 중심 모델과 문제 중심 모델을 차례로 명시적으로 고려했습니다. 각 영상에 대해 각 모델의 주요 특징이 반영되었는지 여부를 코딩했습니다(부록 2, 보충 자료). 참여 중심 모델의 주요 특징은 쓰리 토크 모델(OPTION-5(Barr 외. 2015))에 기반한 도구와 최근 검토(Bomhof-Roordink 외. 2019)를 통해 확인했습니다. 문제 중심 모델의 경우, 목적 중심 SDM(Hargraves et al. 2019)의 개념을 사용했습니다(표 1). 개방형 프롬프트를 사용하여 추가 관찰 사항을 문서화했습니다.
During data analysis, communication and SDM stood out as warranting further investigation, which we pursued in phase 2 (February 2022). We first added to our team an investigator (IGH) with extensive experience in SDM including being a principal developer of the Purposeful SDM model (Hargraves et al. 2019). He reviewed the same videos, first independently and without knowledge of the phase 1 findings, and then in conjunction with investigators DAC and SJD. These investigators reviewed each video, first independently and then as a group, explicitly considering in turn the involvement-focused and problem-focused models of SDM. For each video we coded whether key features of each model were reflected in the encounter (Appendix 2, Supplementary material). We identified key features of the involvement-focused model from an instrument grounded in the Three Talk model (the OPTION-5 (Barr et al. 2015)) and from a recent review (Bomhof-Roordink et al. 2019). For the problem-focused model we used concepts from Purposeful SDM (Hargraves et al. 2019) (Table 1). We documented additional observations using open-ended prompts.

데이터 분석 및 모델 구축
Data analysis and model building

우리는 4단계로 진행되는 지속적인 비교 질적 분석 접근법(Glaser, 1965)을 사용했습니다.

• 1단계에서는 모든 원시 관찰을 요약하고 검토하여 1단계의 초기 관찰을 분석했습니다(특정 SDM 모델 없음). 그런 다음 여러 차례의 음성 및 전자 매개 대화를 통해 중복을 해결하고 이러한 관찰을 반복적으로 재구성, 재개념화, 정교화 및 구체화했습니다. 
  We used a constant comparative qualitative analysis approach (Glaser, 1965), proceeding in 4 stages. In stage 1, we analyzed the initial observations from phase 1 (no specific SDM model) by summarizing and reviewing all raw observations. We then engaged in multiple voice and electronic-mediated conversations to resolve redundancies and iteratively reorganize, reconceptualize, elaborate, and refine these observations.
• 환자-임상의 상호작용에 대한 추가 인사이트를 얻을 수 있는 기회를 인식하고 풍부한 새로운 데이터를 수집했습니다(위의 2단계, IGH의 독립 검토 및 그룹의 공동 검토 포함). 이러한 데이터를 분석하는 동안(2단계) 우리는 각 비디오에 대해 차례로 논의하면서 개별 코딩을 공유하고 각 모델의 렌즈를 통해 이러한 결과를 해석하면서 추가 인사이트를 공동으로 정교화했습니다.
  Recognizing the opportunity to glean further insights regarding patient-clinician interactions, we collected abundant new data (phase 2 above, including IGH's independent review and the group’s conjoint review). During analysis of these data (stage 2) we discussed each video in turn, sharing our individual codings and jointly elaborating further insights as we interpreted these findings through the lens of each respective model.
• 다음 단계(3단계)에서는 관리 추론과 환자-임상의 상호작용 간의 연관성을 명시적으로 탐색했습니다. 1단계와 2단계에서 얻은 결과를 사용하여 이전에 보고된 12가지 관리 추론 기능(Cook 외. 2022b) 각각과 참여 중심 및 문제 중심 SDM 모델 간의 상호 영향을 체계적으로 고려했습니다.
  Next (stage 3) we explicitly explored the connections between management reasoning and patient-clinician interactions. Using our findings from stages 1 and 2, we systematically considered the reciprocal implications between each of 12 previously-reported management reasoning features (Cook et al. 2022b) and the involvement-focused and problem-focused SDM models.
• 마지막으로 4단계에서는 축 분석을 통해 다양한 기능과 모델을 비교하여 몇 가지 잠정적인 모범 사례를 식별했습니다.
  Finally, in stage 4 we used axial analysis to cut across the various features and models, to identify several tentative best practices.

모든 검토자가 주요 결과에 대해 완전한 합의를 도출했습니다. 부록 1~3에는 모든 관찰 및 분석에 대한 자세한 문서 추적이 포함되어 있습니다(보충 자료).
All reviewers came to full consensus on key findings. Appendices 1–3 contain a detailed paper trail of all observations and analyses (Supplementary material).

반사성
Reflexivity

우리의 배경은 관찰과 분석에 분명 영향을 미쳤습니다. 세 명의 조사자(DAC, SJD, CRS)는 현직 의사(일반 내과 전문의)이며, 두 명의 조사자는 교육/인지(SJD) 및 디자인, 커뮤니케이션, SDM(IGH) 분야의 박사 학위를 보유하고 있습니다. 세 명의 연구자(DAC, SJD, CRS)가 12가지 기능의 경영 추론 모델을 설명하는 데 협력했으며, 한 명(IGH)은 목적 지향적 SDM 모델을 개발했습니다(Hargraves et al. 2019).
Our background surely influenced our observations and analyses. Three investigators (DAC, SJD, CRS) are practicing physicians (general internists) and 2 have PhDs with backgrounds in education/cognition (SJD) and design, communication, and SDM (IGH). Three investigators (DAC, SJD, CRS) collaborated in describing the 12-feature model of management reasoning and one (IGH) developed the purposeful SDM model (Hargraves et al. 2019).

개념적 모델 없이 관찰(1단계)
Observations without conceptual model (stage 1)

먼저 특정 개념적 모델 없이 관찰한 내용을 보고하고, 환자-임상의 상호작용의 질이 특히 낮거나 추론 과정 또는 치료 계획에 해로운 것으로 보이는 사례(및 그에 따른 시사점, 결과 또는 문제)를 강조했습니다. 또한, 아무리 우수한 동영상이라도 평범한 수준에 불과하다고 판단되는 경우라도 우수한 성과를 보인 사례도 찾았습니다. 표 2에는 각 비디오와 눈에 띄는 인상이 설명되어 있으며, 부록 1에는 관찰 및 분석에 대한 자세한 내용이 나와 있습니다(보충 자료).
We first report observations made without a specific conceptual model, highlighting instances (and corresponding implications, consequences, or problems) in which the patient-clinician interaction was of particularly poor quality or seemed detrimental to the reasoning process or care plan. We also sought instances of superior performance, although in our judgment even the best videos were only mediocre. Table 2 describes each video and salient impressions; Appendix 1 details our observations and analyses (Supplementary Material).

의사는 환자의 자율성이나 선택을 허용하거나 장려하지 않는 경우가 많았습니다. 이는 대놓고 드러나는 경우는 거의 없었습니다(예: 단 하나의 옵션만 제시된 동영상은 단 한 편뿐이었음). 그러나 [미묘한 표현]으로 자율성을 침해하는 경우가 종종 있었습니다. 한 조사자는 의사들이 '환자의 의사를 뭉겠다'고 썼습니다. 예를 들어, 새로 갑상선 유두암 진단을 받은 환자에게 의사는 환자에게 수술 상담을 최우선 순위로 삼으라고 주장했습니다('이 암은 가장 중요한 암입니다. 이 암은 당신에게 가장 중요한 것이어야 합니다'), 환자가 업무 마감일과 충돌할 수 있다는 우려를 표명했음에도 불구하고. 고혈압, 고지혈증, 당뇨병에 대한 약물 치료 시작을 보여주는 동영상에서는 일반적으로 한 가지 치료 옵션이 권장되는 것으로 제시되고 환자는 이에 동의할 것으로 예상(설득)되었습니다. 이러한 문제는 치료 옵션을 식별할 때뿐만 아니라 치료 목표를 정의할 때도 나타났습니다. 예를 들어, 당뇨병 환자의 경우 의사는 국가 가이드라인에 정의된 치료 목표를 선언했지만 환자에게 이러한 목표에 동의하는지 묻지 않았습니다. 
Physicians often failed to allow or encourage patient autonomy or choice. This was rarely overt (i.e. there was only one video in which only a single option was presented). However, subtle statements frequently subverted autonomy. As one investigator wrote, physicians ‘steamrolled over the patient’s wishes.’ For example, with a patient with newly-diagnosed papillary thyroid cancer, the physician insisted that the patient make surgical consultation a top priority (‘This cancer is the most important thing. It has to be the most important thing for you’), even after the patient expressed concerns that this would conflict with work deadlines. In videos showing initiation of drugs for hypertension, hyperlipidemia, or diabetes, a single treatment option was typically presented as recommended, and the patient was expected (convinced) to acquiesce. This problem appeared not only in identifying treatment options; it also showed up in defining goals of care. For example, in a patient with diabetes, the physician declared treatment targets as defined by national guidelines, but never asked the patient if she agreed with these targets.

의사는 일반적으로 환자에게 관리 옵션 목록을 제공했지만, 환자에게 이러한 옵션 중 하나를 선택하도록 명시적으로 권유하는 경우는 드물었습니다. 상담의 여러 단계에서 어려움이 드러났습니다.

• 상담의 목표(해결해야 할 문제)를 정의할 때 새로 섬유근육통을 진단받은 환자는 진단의 정확성을 다시 확인하고자 했지만, 의사는 곧바로 치료 옵션으로 대화를 이끌었습니다.
• 고혈압에 대한 초기 약물 치료를 논의할 때 환자에게 세 가지 옵션이 주어졌지만 의사는 환자의 의견을 묻지 않고 환자의 의학적 문제에 맞춰 가장 적합한 옵션을 선택했습니다.
• 치료 목표를 고려할 때 의사는 가이드라인에 따른 당화혈색소(A1c) 목표치를 제시하고 그보다 조금 더 높은 목표를 제시하는 환자의 제안을 무시했습니다.

이와 대조적으로 한 동영상에서는 의사가 고지혈증 환자에게 "어떤 약이 가장 좋을지 결정할 수 있도록 도와달라"고 요청했습니다. 
Although physicians usually offered patients a list of management options, only infrequently did they explicitly invite patients to participate in choosing among these options. Difficulties surfaced at various stages in the encounter.

• When defining the goal of the encounter (problem to be addressed), a patient with newly-diagnosed fibromyalgia wanted to revisit the accuracy of the diagnosis, yet the physician steered the conversation immediately to treatment options.
• When discussing initial drug treatment for hypertension, a patient was given three options but the physician selected her top choice (tailored to the patient’s medical problems) without soliciting the patient’s input.
• When considering goals of therapy, a physician invoked a guideline-aligned A1c target and subsequently brushed aside the patient’s suggestion of a slightly higher target.

By contrast, in one video the physician invited a patient with hyperlipidemia, ‘I’d like you to help me decide what would be the best medication for you.’

의사는 종종 그 만남에서 [해결해야 할 핵심 문제를 정의하는 데 실패]했습니다. 위의 갑상선암과 섬유근육통의 예는 이 점을 잘 보여줍니다. 환자를 참여시키지 않음으로써 환자에게 가장 중요한 문제(상충되는 개인적 우선순위 또는 진단의 정확성에 대한 우려)를 고려하지 않고 궁극적으로 의사에게 가장 중요한 문제(치료)에 집중하게 됩니다. 이 문제는 치료 옵션을 논의할 때 다른 만남에서도 나타났습니다. 예를 들어, 의사는 일반적으로 치료 효과에 초점을 맞추는 반면 환자는 부작용과 비용에 대해 인내심을 발휘했습니다.
Physicians often fell short in defining the core problem to be addressed in the encounter. The examples above of thyroid cancer and fibromyalgia illustrate this point: By failing to involve the patient, they ultimately focused on the problem most salient to the physician (treatment) without considering the problem most salient to the patient (juggling conflicting personal priorities or concerns about the accuracy of diagnosis). This issue surfaced in other encounters when discussing treatment options. For example, physicians commonly focused on treatment efficacy while patients perseverated on side effects and cost.

의사들은 때때로 [근본적인 우려, 두려움, 질문]을 탐색하고 해결하지 못했습니다.

• 한 고혈압 환자는 '약을 먹어본 적이 없어요. 아스피린도 거의 먹지 않아요. 그런데 이제 두 가지 약을 먹으라고 하네요'라고 말했습니다. 의사는 약이 저렴하고 매우 안전하다고 짧게 대답한 후 '그러니 걱정하지 않으셔도 됩니다'라고 말하며 대화를 끝냈습니다.
• 고지혈증 환자에게 의사는 다른 옵션은 제시하지 않고 스타틴 계열의 약을 추천하면서 '부작용이 거의 없다'고 언급했습니다. 환자가 '괜찮지만 얼마나 심각한가요?"라고 묻자 의사는 "콜레스테롤을 효과적으로 낮추는 한 심각하지 않습니다."라고 대답했습니다. 장기적으로는 정말 큰 차이를 만들 수 있습니다."라고 대답했습니다. 그 후 의사는 이 문제에 대해 더 자세히 알아보지 않고 처방전을 작성했습니다.

Physicians occasionally failed to explore and address underlying concerns, fears, and questions.

• A patient with hypertension expressed, ‘I’ve never had to take anything. I barely ever take an aspirin. Now you’re talking about putting me on two drugs.’ The physician responded with a brief assurance that the medication was inexpensive and quite safe, and then terminated the conversation with, ‘So that shouldn’t concern you.’
• For a patient with hyperlipidemia the physician recommended a statin drug (without offering other options) and noted ‘few side effects.’ When the patient asked, ‘I guess that’s okay, but how serious is this?’ the physician responded, ‘Well, it’s not serious as long as we effectively lower your cholesterol. It can really make a big difference in the long run.’ The physician then moved forward with writing a prescription without further exploring this concern.

의사 결정의 [맥락을 적절히 탐색하지 않는 것]은 어디에나 있었습니다. 의사들은 환자에게 선호도, 가치관, 자원, 제약 조건에 대해 직접 질문하는 경우가 거의 없었으며, 설령 질문을 하더라도 짧고 피상적인 수준에 그쳤습니다. 의사들은 상황을 완전히 파악하기 위해 추가 질문을 하는 경우는 거의 없었습니다. 의료팀이나 시스템의 자원과 제약을 탐색하는 의사의 사례는 훨씬 더 적었습니다.
Failure to adequately explore the context of decision-making was ubiquitous. Physicians rarely asked the patients directly about their preferences, values, resources, and constraints, and when they did the inquiry was brief and superficial. Physicians never followed with additional probing questions to fully explore the situation. We saw even fewer examples of physicians exploring the resources and constraints of the health care team or system.

좀 더 넓게 보면, 이러한 실패와 다른 실패는 환자가 있는 곳에서 환자를 만나지 못하는 것, 즉 의사의 의제와 환자의 의제 사이의 단절로 통합됩니다. 위의 예 외에도 당뇨병 환자의 다른 동영상에서 의사는 약물 치료를 강화하라는 권고를 완화할 수 있는 생활 습관 조치에 관한 과거의 논의를 기억하지 못했습니다.
Viewed more broadly, these and other failures coalesce into a failure to meet the patient where they are—a disconnect between the physician’s agenda and the patient’s. In addition to the examples above, in a different video of a patient with diabetes, the physician failed to remember past discussions regarding lifestyle measures that might have mitigated recommendations to intensify drug treatment.

거의 모든 동영상에서 의사는 [환자와 함께 환자의 욕구, 우선순위, 동반 질환, 자원 등을 통합하는 데 실패]했습니다. 많은 동영상에서 의사는 매우 제한된 범위의 옵션을 제시했습니다. 다른 영상에서는 의사가 여러 가지 옵션을 제시했지만 환자의 고유한 요구 사항을 고려하여 명시적으로 우선순위를 정하지 않았습니다. 이러한 행동은 비개인적인(맞춤화되지 않은 일반적인) 계획으로 이어졌습니다.
In nearly every video, the physician failed to work jointly with the patient to integrate their desires, priorities, comorbidities, resources, etc. In many videos the physician presented a very limited range of options. In others, the physician offered several options but did not explicitly prioritize these considering the patient’s unique needs. Such actions resulted in an impersonal (untailored, generic) plan.

마지막으로, 임상의와 환자 간의 [관계를 구축하는 데 전반적으로 실패]한 것으로 나타났습니다. 어떤 경우에는 '증기 압연' 욕구와 잊혀진 대화의 경우처럼 의도하지는 않았지만 적극적으로 (비록 의도하지는 않았지만) 이러한 관계가 훼손되었습니다. 다른 영상에서는 서두르는 대화, 고민을 털어놓지 않거나 무시하는 말투 등 좀 더 미묘했습니다. 이는 관계에 상처를 입혔다기보다는 소홀히 한 것을 반영합니다.
Finally, we noted a general failure to build the clinician-patient relationship. In some instances, this relationship was actively (albeit unintentionally) undermined—as in the cases of ‘steamrolled’ desires and forgotten conversations. In other videos it was more subtle—a hurried conversation, failure to explore concerns, or dismissive tone of voice. These reflect a neglect of rather than injury to the relationship.

SDM의 렌즈를 통한 조사(2단계)
Examination through lens of SDM (stage 2)

위의 결과를 바탕으로 상호 보완적인 인사이트를 발견하기 위해 두 가지 SDM 렌즈(모델)를 사용하여 이러한 동영상을 체계적으로 재검토했습니다(표 2). 부록 2에는 방법, 관찰 및 분석에 대한 자세한 내용이 나와 있습니다(보충 자료).
Building on the above results, we systematically re-examined these videos (Table 2) using 2 lenses (models) of SDM in hope of discovering complementary insights; Appendix 2 details our methods, observations, and analyses (Supplementary Material).

환자-임상의 상호 작용 및 관리 추론 통합(3단계)
Integrating patient-clinician interactions and management reasoning (stage 3)

마지막으로, 관리 추론에서 커뮤니케이션과 환자-임상의 상호작용의 역할을 이해하고자 하는 본 연구의 목표를 달성하기 위해, 이전에 확인된 관리 추론의 12가지 특징(Cook 외. 2022b)과 두 SDM 모델 간의 상호 영향을 체계적으로 고려함으로써 2단계 결과와 관리 추론의 틀을 통합했습니다(부록 3에서는 관찰 및 분석에 대한 자세한 내용(보충 자료)을 확인할 수 있습니다). 이 분석에서 얻은 수많은 인사이트(표 3) 중 주목할 만한 결과는 다음과 같습니다:
Finally, to achieve our study’s goal of understanding the role of communication and patient-clinician interaction in management reasoning, we integrated stage 2 findings and the framework of management reasoning by systematically contemplating the reciprocal implications between 12 previously-identified features of management reasoning (Cook et al. 2022b) and the two SDM models; Appendix 3 details our observations and analyses (Supplementary Material). Among the numerous insights from this analysis (Table 3), notable findings include:

• [문제 중심 모델]에서 선호도는 환자가 아닌 [상황의 특징]입니다. 문제가 있는 상황은 바람직하지 않으며, 가능한 해결책은 다양한 제약 조건 내에서 인간의 범위 내에서 상황에 대응하는 성공 여부에 따라 바람직(선호) 또는 그렇지 않은 것으로 결정됩니다. [관리 추론]은 문제 상황에 대한 바람직한 해결책을 모색합니다.
• In the problem-focused model, preferences are a feature of the situation not the patient. Problematic situations are undesirable, and possible solutions are desirable (preferred) or otherwise according to their success in responding to the human scope of the situation within various constraints. Management reasoning seeks a preferred solution to a problematic situation.
• [환자, 의사, 상황적 제약 사이의 역동적인 상호 작용]은 거의 모든 대면 진료에서 보통 또는 높은 수준입니다. 문제가 쉽게 파악되거나 쉽게 해결될 수 있었다면 환자는 집에 머물렀을 것입니다. 임상의는 [일이 예상대로 진행되지 않을 때 개입]합니다.
• The dynamic interplay among patient, physician, and situational constraints is moderate or high for virtually all face-to-face encounters. If the problem were readily characterized or easily resolved, the patient would have stayed home. Clinicians get involved when things do not go as expected.
• 의사들은 [충분한 정보를 바탕으로 상호 합의]하여 선택하기보다는 [잠정적이거나 임시적인 용어('일단 약을 시작하고 마음에 들지 않으면 바꾸면 된다')로 '결정']을 내리는 경우가 많습니다. 물론 '관리 계획의 지속적인 모니터링과 조정'은 관리 추론의 핵심 기능이지만(Cook et al., 2019), 의사들은 종종 [질문을 미루고, 우려를 제쳐두고, 대립을 피하기] 위해 이러한 [전제에 지나치게 의존]하는 것처럼 보였습니다('캔을 걷어차 버리자').
• Physicians often couched “decisions” in tentative or temporary terms (‘Let’s start the medication and if you don’t like it then we can change’) rather than mutually agreeing upon a well-informed choice. Of course, ‘ongoing monitoring and adjustment of the management plan’ is a key feature of management reasoning (Cook et al., 2019); but physicians often seemed to rely excessively on this premise to defer questions, brush aside concerns, and avoid confrontation (‘kick the can down the road’).
• [언어]는 [미묘하지만 중요한 방식으로 문제를 형성하고 변화]시킬 수 있습니다. 예를 들어, 고지혈증을 'LDL을 낮춰야 한다' 또는 '심장마비 위험을 줄여야 한다'는 식으로 표현하면 문제의 성격과 해결책을 협상하는 방식이 크게 달라질 수 있습니다.
• Language can shape and change the problem in subtle but important ways. For example, framing hyperlipidemia as needing to ‘lower your LDL’ or ‘reduce your risk of a heart attack’ could lead to dramatically different problem characterizations and solution negotiations.
• 우리는 이전에 정의한 관리 스크립트('합리적인 관리 계획의 개발을 용이하게 하기 위해 관리 옵션과 임상의 업무를 시간적 또는 논리적 순서로 표현하고 연결하는 사전 편집된 개념적 지식 구조'(Cook et al., 2022b))와 관련된 [두 가지 새로운 인사이트]에 주목하고 나중에 자세히 설명했습니다(Cook et al., 2022a).
• We noted 2 novel insights related to management scripts, which we previously defined (‘precompiled conceptual knowledge structures that represent and connect management options and clinician tasks in a temporal or logical sequence to facilitate development of a rational management plan’ (Cook et al., 2022b)) and later elaborated in detail (Cook et al., 2022a).
  • 첫째, 의사의 [관리 스크립트]는 [의사의 요구](예: 효율적인 만남 또는 신속한 결정 촉진)와 [환자의 요구](문제 이해, 질문에 대한 답변, 개별화된 결정 지원)의 [우선순위]에 따라 연속체를 따라 달라집니다.
  • First, physicians’ management scripts vary along a continuum in prioritizing physician needs (e.g. promoting an efficient encounter or expedited decision) vs patient needs (understanding problems, answering questions, supporting individualized decisions).
  • 둘째, [환자]는 의사와의 상호작용을 안내하는 [자신만의 인지적 스크립트]를 가지고 있습니다. 환자와 의사의 스크립트는 모두 유사한 범주(문제, 옵션, 선호도, 교육 요구, 대인관계, 진료 흐름(Cook et al., 2022a))로 구성될 가능성이 높지만, 각 범주에 대해 인스턴스화된 세부 사항은 상당히 다를 수 있습니다.
  • Second, patients have their own cognitive script that guides their interactions with the physician. Both patient and physician scripts likely comprise similar categories (problems, options, preferences, education needs, interpersonal interactions, and encounter flow (Cook et al., 2022a)); but the details instantiated for each category could differ substantially.
• 문제를 해결할 때 의사는 [일반적으로 이미 알고 있는 지식에 의존]하게 되는데, 이 지식이 당면한 문제를 해결하는 데 항상 적절하거나 충분하지 않을 수 있습니다. 부주의적이든(모르는 것을 알기 어렵기 때문) 의도적이든(지식 격차를 인정하거나 추가 정보를 찾는 것을 피하기 위해서) 이러한 지식 격차는 문제 중심 SDM을 방해합니다.
• When grappling with a problem, physicians will typically rely on what they already know—which may not always be relevant or sufficient to resolve the problem at hand. Whether inadvertent (it is difficult to know what one does not know) or conscious (to avoid admitting a knowledge gap or seeking additional information), such knowledge gaps will interfere with problem-focused SDM.
• 환자-의사 관계의 특성은 모델에 따라 다릅니다.
  • [참여 중심 모델]에서는 공감과 신뢰의 효과적인 관계가 효과적인 SDM의 매개체(전구체)입니다. 이와 대조적으로
  • [문제 중심 모델]에서는 효과적인 관계가 SDM의 산물입니다(즉, 의사와 환자가 문제를 해결하기 위해 함께 노력하면서 관계가 발전합니다).
• The nature of patient-physician relationships differs by model.
  • In the involvement-focused model an effective relationship of empathy and trust is a mediator of (precursor to) effective SDM. By contrast,
  • in the problem-focused model an effective relationship is the product of SDM (i.e. the relationship develops as the physician and patient work together to solve problems).
• [설득]도 모델에 따라 다르게 볼 수 있습니다. 
  • [참여 중심 모델]에서는 설득은 [나쁜 것으로 간주]된다. 권위, 권력 차이, 바람직하지 않은 행동을 하도록 영향력을 행사하는 것이고, 이러한 위험 때문에 환자를 의사 결정에 참여시켜 자율성을 보존해야 한다고 생각합니다. 
  • [문제 중심 모델]에서 설득은 좋은 것이고, 사실상 목표이다. 모든 이해관계자가 이 상황에서 최선의 행동 방침을 상호 설득할 때까지 함께 노력하는 것이지만, 과도한 권력 기반 설득은 이 방법을 왜곡하는 것입니다.
• Persuasion can also be viewed differently, depending on the model.
  • In the involvement-focused model, persuasion is bad, connoting authority, power differential, and influence to do (undesirable) actions; this risk drives the need to preserve autonomy by involving patients in decision-making.
  • In the problem-focused model, persuasion is good—indeed, the goal: stakeholders work together until all are mutually persuaded that a course of action is best in this circumstance; undue power-based persuasion is a corruption of this method.

제안된 모범 사례(4단계)
Proposed best practices (stage 4)

이러한 결과를 바탕으로 우리는 관리 추론에서 환자-임상의 상호작용에 대한 몇 가지 잠정적인 모범 사례를 확인했으며, 이는 상자 1에 나열되어 있습니다.
Drawing on these findings we identified several tentative best practices for patient-clinician interactions in management reasoning, listed in Box 1.

제한 사항
Limitations

이 연구에는 한계가 있습니다.

• 첫째, 우리가 관찰한 동영상은 실제와 같이 보이도록 의도되었지만 실제 임상의와 환자 간의 상호작용은 하나도 없었고 4편은 대본으로 제작되었습니다. 이는 동영상의 맥락(성인 외래 환자 일차 진료만), 수행 수준(절반은 의도적으로 열악한 것으로 선택되었고 모범적인 것은 없음), 원래 목적(평가자 교육 연구(Cook 외. 2009; Cook 및 Beckman, 2009)) 및 총 수와 함께 임상적 다양성을 종합적으로 제한했습니다. 현재의 결론이 적절히 뒷받침된다고 생각하지만, 다른 관점(예: 대본에 없는, 다른 임상 상황, 다른 수준의 임상의 수행 또는 교육)을 제공하는 다른 사례에 대한 분석을 통해 추가적인 인사이트가 나올 수 있을 것으로 예상합니다. 일부 독자는 다른 목적으로 제작된 동영상의 용도 변경을 무시할 수도 있지만, 이미 언급한 맥락적 제약에 비추어 볼 때 이는 사소한 문제라고 생각합니다.
• 둘째, 많은 추론은 실패한 사례나 바람직한 행동을 취하지 않은 채 방치된 사례에 대한 관찰을 바탕으로 이루어졌으며, 이러한 추론은 당연히 관찰자의 관점에 따라 달라질 수 있습니다.
• 셋째, 본 연구의 저자들은 기본 개념 프레임워크의 개발자(Cook 외. 2018; Hargraves 외. 2019)이자 관찰자 및 분석가로서 본 연구의 관찰자 및 분석가로서 참여했으며, 이는 강점이지만 확증 편향의 위험도 있습니다. 또 다른 강점으로는 이러한 동영상을 사용하여 이전에 발표한 연구를 확장하면서
  • (a) SDM 및 정성적 데이터 분석에 상당한 전문성을 갖춘 새로운 연구자(IGH)를 팀에 추가하고,
  • (b) 모든 동영상을 개별적으로 또는 그룹으로 재검토하여 풍부하고 새로운 데이터를 수집하고,
  • (c) 상호 보완적인 개념적 렌즈를 사용하여 이러한 데이터를 분석하고,
  • (d) 이러한 분석을 지속하여 SDM과 경영 추론을 통찰력 있게 통합하고 여러 모범 사례를 식별했다는 점을 들 수 있습니다.
• 요컨대, 이러한 강점은 제안된 결론을 충분히 뒷받침하지만, 이러한 한계는 추가적인 인사이트를 발견해야 함을 시사합니다.

This study has limitations.

• First, the videos we observed were intended to be realistic, but none were actual clinician-patient interactions and 4 were scripted. This, together with the videos’ context (only adult outpatient primary care), performance levels (half were intentionally selected as poor, and none were exemplary), original purpose (a study of rater training (Cook et al. 2009; Cook and Beckman, 2009)), and total number, collectively constrained the clinical variation. While we believe the present conclusions are appropriately supported, we surmise that additional insights could emerge from analysis of other encounters offering alternative perspectives (e.g. unscripted, different clinical contexts, or different levels of clinician performance or training). Some readers might also discount the repurposing of videos created for another purpose, however we believe this constitutes a minor concern relative to the contextual constraints already noted.
• Second, many inferences were based on observations of failures or presumably desirable actions left undone; such inferences naturally depend on the perspectives of those observing.
• Third, we authors were both the developers of the guiding conceptual frameworks (Cook et al. 2018; Hargraves et al. 2019) and the observers and analyzers in this study; while this is a strength, there is some risk of confirmation bias. Additional strengths include that as we extended our previously-published work using these videos, we
  • (a) added to our team a new investigator (IGH) with substantial expertise in SDM and qualitative data analysis;
  • (b) collected abundant, rich new data by re-reviewing all videos both independently and as a group;
  • (c) analyzed these data using complementary conceptual lenses; and
  • (d) continued this analysis to a achieve an insightful integration of SDM with management reasoning and identify several best practices.
• In short, these strengths provide ample support for the conclusions proposed, but these limitations suggest that additional insights remain to be discovered.

시사점
Implications

이번 연구 결과는 교육, 임상 실무 및 향후 연구에 중요한 [시사점]을 제공합니다. 가장 중요한 것은 관리 추론이 임상의의 머릿속이 아닌 [개인 간의 공간에서 일어나는 의도적인 상호 작용]을 포함한다는 점입니다. [환자와 임상의]는 [서로 다른 관점, 지식 기반, 경험, 우선순위에서 '추론'을 하지만, 한 팀으로서 '추론']을 해야 합니다. 이는 관리 추론을 가르치고 평가하는 방식에 중요한 시사점을 줍니다. 관리 추론의

• [일부 요소]는 [임상의 내부]에서 발생하는 것처럼 가르치고 평가할 수 있지만,
• [환자와 임상의의 상호 작용]도 가르치고 평가해야 하며,
• [어느 시점에는 전체 전체를 종합]해야 합니다.

Our findings have important implications for education, clinical practice, and future research. Most importantly, we affirm that management reasoning involves a deliberative interaction occurring in the space between individuals and not within a clinician’s mind. Both the patient and clinician are ‘reasoning’—from different perspectives, knowledge bases, experiences, and priorities, but hopefully as a team. This has notable implications for how we teach and assess management reasoning.

• While some elements of management reasoning can be taught and assessed as though occurring within the clinician,
• the patient-clinician interaction must also be taught and assessed;
• and at some point the entire whole must be assembled.

관리 추론과 SDM은 모두 [상호 합의된 공유 문제], 예를 들어 진단 라벨이나 목표치를 벗어난 검사실 수치보다는 [생명이나 건강에 대한 상호 위협에 초점]을 맞출 때 가장 효과적입니다. [공유된 문제]는

• 공동의 문제 해결('함께 노력하기')을 유도하고,
• 사회적 조정과 협력(의사소통적 행동)을 촉진하며,
• 갈등과 과도한 설득의 필요성을 피할 수 있습니다.

이러한 관점에서 볼 때 관리 추론은 문제 해결을 위해 고심하는 것입니다.
Management reasoning and SDM both work best when focused on a shared, mutually-agreed problem—a mutual threat to life or health rather than, for example, a diagnostic label or off-target lab value. A shared problem

• engenders joint problem-solving (‘endeavoring together’),
• promotes social coordination and cooperation (communicative action (Bohman and Rehg 2017)), and
• avoids conflict and the need for undue persuasion.

Viewed this way, management reasoning is deliberating to resolve the problem.

우리는 임상의와 환자라는 [두 가지 관리 스크립트]가 작용한다는 새로운 통찰력을 강조합니다. 우리는 이전에 [임상의의 관리 스크립트]에 대해 자세히 설명했습니다. (Cook 외. 2022a) [관리 추론의 환자 측면]은 지금까지 무시되어 왔습니다. 또한 일부 스크립트는 주로 임상의에게 도움이 되는 반면(즉, 진료 효율 개선), 다른 스크립트는 환자의 대응 결정을 돕는 데 더 중점을 둡니다(연속선상에 있음). 대부분의 스크립트는 의식적인 생각 없이 자발적으로 개발되며(Custers 2015), [환자 중심 스크립트를 촉진하는 방법]은 아직 불분명합니다. SDM과 관련된 관리 스크립트에 대한 추가 연구가 필요합니다.
We underscore the novel insight that there are two management scripts in play—the clinician’s and the patient’s. We previously elaborated on the clinician’s management script; (Cook et al. 2022a) the patient’s side of management reasoning has thus-far been neglected. We also note that some scripts primarily help the clinician (i.e. to improve encounter efficiency), while others (along a continuum) are more directed at helping the patient make a responsive decision. Most scripts develop spontaneously (Custers 2015)—without conscious thought—and it remains unclear how to promote patient-centered scripts. Further research on management scripts as they relate to SDM is needed.

특히 SDM과 관련된 관리 추론에 대한 연구가 초기 단계에 있다는 점을 강조합니다. 위에서 언급한 것 외에도 이 연구에서 제기된 중요한 질문은 다음과 같습니다: 공유된 숙고 과정으로서 관리 추론을 어떻게 평가할 수 있는가? (임상 진단 추론을 평가하기 위한 수많은 도구가 존재하지만, 관리 추론에 초점을 맞춘 도구는 없습니다(Daniel 외. 2019). 마찬가지로, [참여 중심의 SDM]을 평가하기 위한 수많은 도구가 존재하지만, [대응적 문제 해결]에 초점을 맞춘 도구는 없습니다(Hartasanchez 외. 2021)). '좋은' 의학적 결정이란 무엇인가요? (보편적인 정의는 없으며, 환자 대 임상의, 임상 지침 대 실제 경험, 전문의 대 일차 진료, 참여 중심 SDM 대 문제 중심 SDM 등 다양한 관점에 따라 답이 달라지며, 이는 교육 및 평가에 중요한 영향을 미칩니다).
We emphasize the nascent state of research in management reasoning, especially in relation to SDM. Important questions emerging from this study, beyond those noted above, include: How can we assess management reasoning as a shared deliberative process? (Numerous tools exist to assess clinical diagnostic reasoning; none focus on management reasoning (Daniel et al. 2019). Similarly, numerous tools exist to assess involvement-focused SDM; none focus on responsive problem-solving (Hartasanchez et al. 2021)). What is a ‘good’ medical decision? (There is no universal definition; the answer varies for different perspectives—patient vs clinician, clinical guideline vs practical experience, specialist vs primary care, involvement-focused SDM vs problem-focused SDM, etc.—with important implications for training and assessment).

마지막으로, 연구 결과에 따르면 [좋은 의사소통]은 [단순히 좋은 매너]가 아니며, [명목상 환자를 '참여'시키는 암기식 행동]이 최선의 결정에 도달하는 데 적합하지도 않습니다. 의사소통에는 목적이 있으며, 대화가 의사소통의 목적과 동떨어져 있거나 관련된 사람들이 서로 다른 목표를 추구한다면 추론과 의사 결정에 상당한 장애가 발생할 것입니다(Hargraves 외. 2019; Bohman and Rehg 2017). 임상의는 [환자와 임상의가 함께 할 수 있는 의사소통]이 무엇인지 인식하고, 진료 목적에 따른 잠재력을 깨닫고, 환자별 및 상황별 요구에 민첩하게 부응할 수 있도록 의사소통의 내용과 방법을 조정해야 합니다.
Finally, our findings suggest that good communication is not simply good manners, nor that rote behaviors to nominally ‘involve’ patients are adequate for reaching the best decision. Communication serves a purpose, and if talking is detached from the purpose of communication, or if those involved seek disparate goals, then reasoning and decision-making will be significantly impaired (Hargraves et al. 2019; Bohman and Rehg 2017). Clinicians must (learn to) recognize what communication enables patients and clinicians to do together, realize that potential in achieving an encounter-specific purpose, and adjust what and how they communicate to nimbly meet patient-specific and situation-specific demands.

Purpose: To expand understanding of patient-clinician interactions in management reasoning.

Methods: We reviewed 10 videos of simulated patient-clinician encounters to identify instances of problematic and successful communication, then reviewed the videos again through the lens of two models of shared decision-making (SDM): an 'involvement-focused' model and a 'problem-focused' model. Using constant comparative qualitative analysis we explored the connections between these patient-clinician interactions and management reasoning.

Results: Problems in patient-clinician interactions included failures to: encourage patient autonomy; invite the patient's involvement in decision-making; convey the health impact of the problem; explore and address concerns and questions; explore the context of decision-making (including patient preferences); meet the patient where they are; integrate situational preferences and priorities; offer >1 viable option; work with the patient to solve a problem of mutual concern; explicitly agree to a final care plan; and build the patient-clinician relationship. Clinicians' 'management scripts' varied along a continuum of prioritizing clinician vs patient needs. Patients also have their own cognitive scripts that guide their interactions with clinicians. The involvement-focused and problem-focused SDM models illuminated distinct, complementary issues.

Conclusions: Management reasoning is a deliberative interaction occurring in the space between individuals. Juxtaposing management reasoning alongside SDM generated numerous insights.

Purpose: Management reasoning is a critical yet understudied phenomenon in clinical practice and medical education. The authors sought to empirically identify key features of management reasoning and construct a model describing the management reasoning process.

Method: In November 2020, 4 investigators each reviewed 10 video clips of simulated outpatient physician-patient encounters and used a coding form to document key features and insights related to management reasoning. The team used a constant comparative approach to distill 120 pages of raw observations into an 18-page list of management tasks, processes, and insights. The team then had a series of discussions to iteratively refine these findings into a parsimonious model of management reasoning.

Results: The investigators empirically identified 12 distinct features of management reasoning: contrasting and selection among multiple solutions; prioritization of patient, clinician, and system preferences and constraints; communication and shared decision making; ongoing monitoring and adjustment of the management plan; dynamic interplay among people, systems, and competing priorities; illness-specific knowledge; process knowledge; management scripts; clinician roles as patient teacher and salesperson; clinician-patient relationship; prognostication; and organization of the clinical encounter (sequencing and time management). Management scripts seemed to play a prominent and critical role. The model of management reasoning comprised 4 steps: instantiation of a management script, identifying (multiple) options and beginning to teach the patient, shared decision making, and ongoing monitoring and adjustment. This model also conceives 2 overarching features: that management reasoning is personalized to the patient and that it occurs between individuals rather than exclusively within the clinician's mind.

Conclusions: Management scripts constitute a key feature of management reasoning, along with teaching patients about viable options, shared decision making, ongoing monitoring and adjustment, and personalization. Management reasoning seems to be constructed and negotiated between individuals rather than exclusively within the clinician.

포화 및 질적 표본 크기 추정의 간략한 역사
A brief history of saturation and qualitative sample size estimation

질적 인터뷰는 몇 번이면 충분할까요? 지난 50여 년 동안 학계 전반에서 이 질문에 대한 답은 대개 포화 상태에 도달하는 것을 중심으로 이루어졌습니다[1, 5-9]. 포화라는 개념은 1967년 글레이저와 스트라우스가 저서 '근거 이론의 발견'에서 '이론적 포화'라는 이름으로 질적 연구 분야에 처음 도입했습니다[10]. 그들은 이 용어를 ["[연구자가] 범주의 속성을 개발할 수 있는 추가 데이터가 발견되지 않는 시점"]으로 정의했습니다(61페이지). 이 정의는 질적 데이터를 사용하여 이론적 모델을 구축하고 테스트하는 관행을 위해 특별히 고안되었으며, [개발 중인 이론적 모델이 안정화되는 시점]을 의미합니다. 그러나 많은 질적 데이터 분석은 특정 근거 이론 방법을 사용하지 않고 보다 [일반적인 귀납적 주제 분석]을 사용합니다. 시간이 지남에 따라 '데이터 포화'라는 용어와 개념의 광범위한 적용을 반영하기 위해 더 넓은 의미의 '데이터 포화'라는 용어가 점점 더 많이 채택되고 있습니다. 이러한 넓은 의미에서 포화 상태는 종종 [데이터 수집 및 분석]에서 [새로 들어오는 데이터가 연구 질문에 대한 새로운 정보를 거의 또는 전혀 생성하지 못하는 시점]으로 설명됩니다[4, 9, 11-13].
How many qualitative interviews are enough? Across academic disciplines, and for about the past five decades, the answer to this question has usually revolved around reaching saturation [1, 5–9]. The concept of saturation was first introduced into the field of qualitative research as “theoretical saturation” by Glaser and Strauss in their 1967 book The Discovery of Grounded Theory [10]. They defined the term as the point at which “no additional data are being found whereby the [researcher] can develop properties of the category” (pg. 61). Their definition was specifically intended for the practice of building and testing theoretical models using qualitative data and refers to the point at which the theoretical model being developed stabilizes. Many qualitative data analyses, however, do not use the specific grounded theory method, but rather a more general inductive thematic analysis. Over time, the broader term “data saturation” has become increasingly adopted, to reflect a wider application of the term and concept. In this broader sense, saturation is often described as the point in data collection and analysis when new incoming data produces little or no new information to address the research question [4, 9, 11–13].

흥미롭게도 포화 상태에 대한 경험적 연구는 포화 상태에 도달할 것으로 예상되는 시점을 결정하기 위한 노력에서 시작되었습니다. "포화 상태가 될 때까지 인터뷰"가 모범 사례로 인식되었지만, 표본 크기에 대한 충분한 설명은 아니었습니다. 대부분의 연구 맥락에서, 연구 수행 전에 자금 지원자, 윤리 위원회 및 기타 검토자가 표본 규모를 명시하고 정당성을 입증해야 합니다[14, 15]. 응용 질적 연구자들은 다음과 같은 질문에 직면했습니다: 현장에 들어가기 전에 얼마나 많은 인터뷰가 필요할지 어떻게 예측할 수 있을까요?
Interestingly, empirical research on saturation began with efforts to determine when one might expect it to be reached. Though “interviewing until saturation” was recognized as a best practice, it was not a sufficient description of sample size. In most research contexts, sample size specification and justification is required by funders, ethics committees, and other reviewers before a study is implemented [14, 15]. Applied qualitative researchers faced the question: How do I estimate how many interviews I’ll need before I head into the field?

이 문제를 해결하기 위한 경험적 연구는 2000년대 초부터 문헌에 등장하기 시작했습니다.

• Morgan 등[16]은 환경 위험에 대해 수집된 데이터를 사용하여 선구적인 방법론 연구를 수행했습니다. 그들은 처음 5~6개의 인터뷰가 데이터 세트에서 대부분의 새로운 정보를 생성했으며, 표본 크기가 20개에 가까워질수록 새로운 정보를 거의 얻지 못한다는 사실을 발견했습니다. 4개의 데이터 세트에서 데이터 세트 내에서 확인된 모든 개념의 약 80%~92%가 처음 10번의 인터뷰에서 발견되었습니다.
• 마찬가지로 Guest 등[9]은 서아프리카의 여성 성 노동자들을 대상으로 60건의 심층 인터뷰에 대한 단계적 귀납적 주제 분석을 수행한 결과, 114개의 식별된 주제 중 70%가 처음 6건의 인터뷰에서 나타났으며 92%가 처음 12건의 인터뷰에서 확인되었다는 사실을 발견했습니다.
• 프란시스(Francis) 연구팀과 네이미(Namey) 연구팀[17, 18]의 후속 연구에서도 비슷한 결과가 보고되었습니다.
• 이러한 초기 연구를 바탕으로 Hagaman과 Wutich[19]는 교차 문화 연구 내에서 포화를 계산한 결과, 4개 사이트 각각에서 데이터 포화에 도달하기 위해서는 16개 미만의 인터뷰만으로도 충분하지만, 사이트 간 교차 문화 메타 주제를 식별하려면 20~40개의 인터뷰가 필요하다는 사실을 발견했습니다.

Empirical research to address this issue began appearing in the literature in the early 2000s.

• Morgan et al. [16] conducted a pioneer methodological study using data collected on environmental risks. They found that the first five to six interviews produced the majority of new information in the dataset, and that little new information was gained as the sample size approached 20 interviews. Across four datasets, approximately 80% to 92% of all concepts identified within the dataset were noted within the first 10 interviews.
• Similarly, Guest et al. [9] conducted a stepwise inductive thematic analysis of 60 in-depth interviews among female sex workers in West Africa and discovered that 70% of all 114 identified themes turned up in the first six interviews, and 92% were identified within the first 12 interviews.
• Subsequent studies by Francis et al. and Namey et al. [17, 18] reported similar findings.
• Building on these earlier studies, Hagaman and Wutich [19] calculated saturation within a cross-cultural study and found that fewer than 16 interviews were enough to reach data saturation at each of the four sites but that 20–40 interviews were necessary to identify cross-cultural meta-themes across sites.

Galvin[20]은 메타 분석적 접근 방식을 사용하여 이항 논리를 사용하여 54개의 질적 연구를 검토하고 통계적으로 분석했습니다. 그는 6명의 개인 표본에서 특정 개념(주제)을 식별할 확률이 더 큰 연구 집단의 55%에서 해당 개념을 공유할 경우 99%보다 높다는 것을 발견했습니다.

• 이와 동일한 논리를 사용하여 Fugard와 Potts[21]는 정성적 데이터의 주제별 분석에 필요한 표본 크기를 추정하는 [정량적 도구]를 개발했습니다. 이 계산에는 (1) 모집단 내에서 주제의 예상 유병률, (2) 해당 주제의 원하는 인스턴스 수, (3) 연구에 필요한 검정력 등이 포함됩니다. 예를 들어, 이 도구는 모집단에서 유병률이 10%인 테마의 인스턴스 2개를 감지할 수 있는 80%의 힘을 가지려면 29명의 참가자가 필요하다고 추정합니다. 이 모델은 무작위 표본을 가정한다는 점에 유의하세요.

Using a meta-analytic approach, Galvin [20] reviewed and statistically analyzed—using binomial logic—54 qualitative studies. He found the probability of identifying a concept (theme) among a sample of six individuals is greater than 99% if that concept is shared among 55% of the larger study population.

• Employing this same logic, Fugard and Potts [21] developed a quantitative tool to estimate sample sizes needed for thematic analyses of qualitative data. Their calculation incorporates: (1) the estimated prevalence of a theme within the population, (2) the number of desired instances of that theme, and (3) the desired power for a study. Their tool estimates, for example, that to have 80% power to detect two instances of a theme with a 10% prevalence in a population, 29 participants would be required. Note that their model assumes a random sample.

위의 연구는 정성적 표본 크기 추정 분야의 기초가 되는 연구입니다. 이 연구들은 특정 연구에 필요한 정성적 인터뷰의 수를 추정하기 위한 경험적 기반 지침을 제공하며, 정량적 연구 설계의 검정력 계산과 유사한 역할을 합니다(물론 수학이나 정밀도가 떨어지는 경우도 있지만). 그리고 파워 계산과 마찬가지로, 데이터 수집이 시작되면 이 추정치도 논란의 여지가 있습니다. 추정치는 특정 연구의 다양한 요소에 관한 (지정된) 가정과 기대치를 기반으로 합니다. 모든 연구자가 알다시피, 현실은 종종 놀라움을 선사합니다. 연구에 특정 매개변수(정량적)가 적용되거나 경험적 지침에 따라 표본 크기가 정해져 있을 수 있지만(정성적), 데이터 수집이 완료된 후에는 결과 데이터가 어느 쪽에도 부합하지 않을 수 있습니다.
The above studies are foundational in the field of qualitative sample size estimation. They provide empirically-based guidance for approximating how many qualitative interviews might be needed for a given study and serve a role analogous to power calculations in quantitative research design (albeit in some case without the math and degree of precision). And, like power calculations, they are moot once data collection begins. Estimates are based on (specified) assumptions, and expectations regarding various elements in a particular study. As all researchers know, reality often presents surprises. Though a study may be powered to certain parameters (quantitative) or have a sample size based on empirical guidance (qualitative), after data collection is completed the resulting data may not conform to either.

당연히 연구자들은 최근 데이터 포화에 대해 추정을 넘어서는 두 가지 후속 질문을 하기 시작했습니다:

• 포화 개념을 더 잘 조작화하려면 어떻게 해야 할까요? 그리고
• 포화에 도달했는지 어떻게 알 수 있을까요?

Not surprisingly, researchers have recently begun asking two follow up questions about data saturation that go beyond estimation: 

• How can we better operationalize the concept of saturation? and 
• How do we know if we have reached saturation?

포화 조작화 및 평가
Operationalizing and assessing saturation

정성적 연구에서 포화에 대한 경험적 연구의 범위와 포화를 다루는 데이터 기반 연구에서 사용되는 운영 및 평가 메트릭에 대한 자세한 내용은 표 1에 요약되어 있습니다. 포화 평가에 대한 접근 방식의 개발을 위해 이러한 연구들을 검토하면서, 포화 평가 프로세스의 광범위한 적용에 대한 세 가지 한계를 확인했으며, 이를 극복하고자 했습니다.

• 메트릭의 비교 가능성 부족,
• 확률 이론 또는 무작위 샘플링에 대한 의존,
• 완전히 코딩/분석된 데이터 세트에 의존하는 후향적 평가의 한계

대안적인 접근 방식을 소개하기 전에 각 한계에 대해 간략히 설명합니다.
The range of empirical work on saturation in qualitative research and detail on the operationalization and assessment metrics used in data-driven studies that address saturation are summarized in Table 1. In reviewing these studies to inform the development of our approach to assessing saturation, we identified three limitations to the broad application of saturation assessment processes which we sought to overcome:

• lack of comparability of metrics,
• reliance on probability theory or random sampling, and
• retrospective assessment dependent on having a fully coded/analyzed dataset.

We discuss each limitation briefly before introducing our alternative approach.

포화 계산 및 보고에 대한 대안적 접근 방식 및 방법
An alternative approach and method to calculating and reporting saturation

평가의 목적상, [포화]는 데이터 분석 중 들어오는 데이터 포인트(인터뷰)가 연구 목표와 관련하여 새롭고 유용한 정보를 거의 또는 전혀 생성하지 않는 시점을 의미합니다. 이러한 포화의 정의를 운영하기 위한 우리의 접근 방식은 [기본 크기, 실행 길이, 들어오는 새로운 정보의 상대적 양 또는 새로운 정보 임계값]이라는 [세 가지 요소]로 구성됩니다.
For the purposes of our assessment, saturation refers to the point during data analysis at which incoming data points (interviews) produce little or no new useful information relative to the study objectives. Our approach to operationalizing this definition of saturation consists of three distinct elements–

• the base size,
• the run length, and
• the relative amount of incoming new information, or the new information threshold.

실행 길이.
Run length.

[실행run]은 [연속적인 이벤트 또는 관찰(이 경우 인터뷰)의 집합]으로 정의할 수 있습니다. [실행 길이]는 [새로운 정보를 찾고 계산하는 인터뷰 횟수]입니다. 실행에서 발견된 [새로운 테마의 수]는 [포화 비율]의 [분자]를 정의합니다. 예를 들어, Hagaman과 Wutich(2017)와 Francis 등(2010)은 분자에 대한 새로운 테마의 수를 (재)평가할 때마다 3개의 데이터 수집 이벤트의 실행을 고려하는 반면, Coenen 등(2012)은 데이터 실행에 2개의 이벤트만 포함시킵니다. 저희 분석에서는 연구자에게 더 많은 유연성을 제공하기 위해 두 개의 이벤트와 세 개의 이벤트 등 두 가지 실행 길이 옵션을 계산에 제공합니다. 분석에서 연속적인 실행은 겹치는데, 각 인터뷰 세트는 하나의 이벤트에 의해 시간이 오른쪽으로 또는 "앞으로" 이동합니다. 그림 1은 이 프로세스와 기본 크기 및 실행 길이가 서로 어떻게 연관되는지 보여줍니다. 여기서도 분석 단위는 데이터 수집 이벤트이며, 분석 항목은 고유 코드입니다.
A run can be defined as a set of consecutive events or observations, in this case interviews. The run length is the number of interviews within which we look for, and calculate, new information. The number of new themes found in the run defines the numerator in the saturation ratio. Hagaman and Wutich (2017) and Francis et al. (2010), for example, consider runs of three data collection events each time they (re)assess the number of new themes for the numerator, whereas Coenen et al. (2012) include only two events in their data runs. For our analyses we provide both options for run lengths in our calculations–two events and three events–to afford researchers more flexibility. Note that in our analyses, successive runs overlap: each set of interviews shifts to the right or “forward” in time by one event. Fig 1 shows the process, and how base size and run length relate to one another. Here again the unit of analysis is the data collection event; the items of analysis are unique codes.

새로운 정보 임계값.
New information threshold.

[분자]와 [분모]에 대한 분석 단위가 결정되면 [비례 계산]은 간단합니다. 하지만 다음 질문은 순전히 주관적인 질문입니다: 어느 정도의 새로운 정보 부족을 포화 상태의 지표로 받아들여야 할까요? 규범적인 기준이 아니라 연구자에게 선택권을 제공하는 것이 더 현실적이고 투명하며 정확한 방법이라고 생각합니다. 따라서 데이터 수집의 특정 시점에 포화 상태에 도달했다는 증거로 받아들일 수 있는 새로운 정보의 비율을 나타내는 두 가지 수준의 새로운 정보, 즉 ≤5% 새로운 정보 및 새로운 정보 없음(0%)을 우선 제안합니다.
Once units of analysis for the numerator and denominator are determined the proportional calculation is simple. But the next question is a purely subjective one: What level of paucity of new information should we accept as indicative of saturation? We propose that furnishing researchers with options—rather than a prescriptive threshold—is a more realistic, transparent and accurate practice. We therefore propose initially two levels of new information that represent the proportion of new information we would accept as evidence that saturation has been reached at a given point in data collection:

• ≤5% new information and
• no (0%) new information.

이러한 새로운 정보 임계값은 통계 분석에서 귀무가설을 거부하기에 충분한 증거가 존재하는지 여부를 판단하기 위해 0.05 또는 0.01 미만의 p값을 사용하는 것과 유사한 벤치마크로 사용할 수 있습니다. 통계 분석에서와 마찬가지로, 확률 이론이 없으므로 이러한 임계값을 충족할 때 실제로 포화 상태에 도달한다는 보장은 없습니다. 그러나 이 임계값은 다른 연구자들이 나중에 해석할 수 있는 [데이터 포화 평가를 투명하게 제시하는 방법]을 제공합니다. 새로운 정보 임계값이 낮을수록 임계값에 도달했을 때 데이터 수집이 중단될 경우 이후 인터뷰에서 중요한 주제가 발견되지 않을 가능성이 줄어듭니다. 기본 크기, 실행 길이, 새로운 정보 임계값의 개념을 종합하면 연구자는 포화 개념을 [얼마나 엄격하게 적용할지], 그리고 주어진 샘플에 대해 [데이터 포화에 도달했다고 확신할 수 있는 수준]을 선택할 수 있습니다(그림 2).
These new information thresholds can be used as benchmarks similar to how a p-value of <0.05 or <0.01 is used to determine whether enough evidence exists to reject a null hypothesis in statistical analysis. As in statistical analysis—but absent the probability theory—there is no guarantee that saturation is in fact reached when meeting these thresholds. But they do provide a transparent way of presenting data saturation assessments that can be subsequently interpreted by other researchers. The lower the new information threshold, the less likely an important number of themes may remain undiscovered in later interviews if data collection stops when the threshold is reached. Taken together, the concepts of base size, run length, and new information threshold allow researchers to choose how stringently they wish to apply the saturation concept–and the level of confidence they might have that data saturation was attained for a given sample (Fig 2).

우리가 제안하는 방법의 장점은 여러 가지가 있습니다:
The advantages of the method we propose are several:

• 무작위 샘플을 가정하거나 필요하지 않으며, 주제의 빈도에 대한 사전 지식이 필요하지 않습니다.
  
• 계산이 간단합니다. 통계적 전문 지식이 없어도 빠르게 계산할 수 있습니다.
  
• 메트릭은 데이터 수집 및 분석 프로세스 중에 전향적으로 사용하여 포화 상태에 도달하는 시점을 확인할 수 있습니다(계획보다 적은 수의 데이터 수집 이벤트를 수행할 가능성도 제공).
  
• 메트릭은 데이터 수집 및 분석이 완료된 후 소급하여 주제별 포화에 도달하기 위한 샘플의 적절성에 대해 보고하는 데 사용할 수 있습니다.
  
• 각 메트릭에 대한 옵션은 분석 전에 지정하거나 데이터 분석 후에 보고할 수 있습니다.
  
• 메트릭은 유연합니다. 연구자는 채도를 설명하는 방법에 대한 옵션을 선택할 수 있으며, 보다 투명하고 정확하게 용어를 사용할 수도 있습니다.
  
• 포화는 상대적인 측정값으로 개념화됩니다. 이 방법은 분자와 분모 모두에 영향을 미치기 때문에 연구자 간의 코딩 세부 수준 차이를 중화합니다.
• It does not assume or require a random sample, nor prior knowledge of theme prevalence.
• Calculation is simple. It can be done quickly and with no statistical expertise.
• Metrics can be used prospectively during the data collection and analysis process to ascertain when saturation is reached (and providing the possibility of conducting fewer data collection events than planned).
• Metrics can be used retrospectively, after data collection and analysis are complete, to report on the adequacy of the sample to reach thematic saturation.
• Options for each metric can be specified prior to analysis or reported after data analysis.
• The metrics are flexible. Researchers have options for how they describe saturation and can also use the term with more transparency and precision.
• Saturation is conceptualized as a relative measure. This neutralizes differences in the level of coding granularity among researchers, as the method affects both numerator and denominator.

접근 방식의 적용
Application of the approach

예상 데이터 포화 계산의 예입니다.
An example of prospective data saturation calculation.

접근 방식을 설명하기 위해 가상의 데이터 세트를 사용하여 이 프로세스가 어떻게 작동하는지에 대한 단계별 예를 살펴봅시다. 기본 인터뷰 크기 4개, 실행 길이 2개를 사용하여 포화를 전향적으로 계산해 보겠습니다. 이 예에서는 적절한 포화에 도달했음을 나타내기 위해 ≤5%의 새로운 정보 임계값을 선택했습니다. 각 단계에 사용된 데이터는 [그림 3]에 기본, 실행 및 포화 지점 표시와 함께 포함되어 있습니다.
Let’s consider a step-by-step example of how this process works, using a hypothetical dataset to illustrate the approach. We will prospectively calculate saturation using a base size of 4 interviews and run length of 2 interviews. For this example, we have selected a new information threshold of ≤5% to indicate that we have reached adequate saturation. [The data used for each step are included in Fig 3, along with indication of the base, runs, and saturation points.]

 

1단계 - 베이스가 될 고유 테마의 수를 찾습니다.
STEP 1 –Find the number of unique themes for base.

먼저 처음 4개의 인터뷰를 살펴보고 [이 그룹 내에서 식별된 고유 테마의 수]를 합산합니다. 결과 합계인 37이 방정식의 분모가 됩니다.
We start by looking at the first four interviews conducted and summing the number of unique themes identified within this group. The resulting sum, 37, is the denominator in our equation.

2단계-첫 번째 실행에 대한 고유 테마의 수를 찾습니다.
STEP 2—Find the number of unique themes for the first run.

이 예에서는 [실행 길이]를 2로 사용하므로 기본 세트 이후의 [다음 두 인터뷰(즉, 인터뷰 5와 6)에 대한 데이터]를 포함합니다. 이러한 인터뷰를 검토한 후 인터뷰 5에서 4개의 새로운 테마를, 인터뷰 6에서 3개의 새로운 테마를 확인했다고 가정합니다. 이 첫 번째 실행에서 새로운 테마의 수는 7개입니다.
In this example, we’re using a run length of two, so include data for the next two interviews after the base set–i.e., interviews 5 and 6. After reviewing those interviews, let’s say we identified four new themes in interview 5 and three new themes in interview 6. The number of new themes in this first run is seven.

3단계 - 포화 비율을 계산합니다.
STEP 3 –Calculate the saturation ratio.

이 실행의 새 테마 수(7개)를 기본 세트의 고유 테마 수(37개)로 나눕니다. 이 비율은 19%의 새로운 정보를 나타냅니다. 이는 ≤5% 임계값에 미치지 않으므로 계속 진행합니다.
Divide the number of new themes in this run (seven) by the number of unique themes in the base set (37). The quotient reveals 19% new information. This is not below our ≤5% threshold, so we continue.

4단계 - 시리즈의 다음 실행을 위한 새로운 고유 테마의 수를 찾습니다.
STEP 4 –Find the number of new unique themes for the next run in the series.

다음 실행에서는 다음 두 인터뷰인 6번과 7번의 새 테마를 추가하여(인터뷰 6번과 겹침에 유의) 총 4개의 테마를 만듭니다.
For the next run we add the new themes for the next two interviews, 6 and 7 (note the overlap of interview 6), resulting in a sum of four.

5단계-채도 비율 업데이트.
STEP 5—Update saturation ratio.

최신 실행의 새 테마 수(4개)를 기본 세트의 테마 수(37개)로 나눕니다. 이렇게 하면 11%의 지수가 렌더링되지만 여전히 ≤5% 임계값에 미치지 못합니다. 다음 실행을 계속합니다.
Take the number of new themes in the latest run (four) and divide by the number of themes in the base set (37). This renders a quotient of 11%, still not below our ≤5% threshold. We continue to the next run.

7단계 - 채도 비율을 업데이트합니다.
STEP 7—Update saturation ratio.

최신 실행의 새 테마 수(1개)를 기본 세트의 테마 수(37개)로 나눕니다.
Take the number of new themes in the latest run (one) divided by the number of themes in the base set (37).

이 시점에서 마지막 실행으로 [추가된 새로운 정보의 비율]이 우리가 설정한 [≤5% 임계값]보다 낮으므로 8번째 인터뷰 후 여기서 멈추고 주관적인 지표인 ≤5%에 따라 포화 상태에 도달했다고 말할 수 있는 수준으로 새로운 정보의 양이 감소하고 있다는 것을 알 수 있습니다. 마지막 두 번의 인터뷰는 수집된 정보에 크게 추가되지 않았으므로 [6번째 인터뷰]에 포화 상태에 도달했다고 말할 수 있습니다(다음 두 번의 인터뷰는 각각 얼마나 많은 새로운 정보가 생성되는지, 그리고 이것이 설정된 임계값 아래로 떨어질지 확인하기 위해 완료되었습니다). 인터뷰 번호에 위첨자 "+2"를 추가하여 총 8개의 인터뷰가 완료되었음을 표시함으로써 이 두 개의 추가 인터뷰(실행 길이를 나타냄)에 주석을 달 것입니다. 포화 평가를 작성할 때 기본 크기 4를 사용하면 6+2번의 인터뷰를 통해 ≤5%의 새로운 정보 임계값에 도달했다고 말할 수 있습니다. 
At this point the proportion of new information added by the last run is below the ≤5% threshold we established, so we stop here after the 8th interview and have a good sense that the amount of new information is diminishing to a level where we could say saturation has been reached based on our subjective metric of ≤5%. Since the last two interviews did not add substantially to the body of information collected, we would say that saturation was reached at interview 6 (each of the next two interviews were completed to see how much new information would be generated and whether this would fall below the set threshold). We would annotate these two extra interviews (indicative of run length) by appending a superscript “+2” to the interview number, to indicate a total of eight interviews were completed. In writing up our saturation assessment then, we would say that using a base size 4 we reached the ≤5% new information threshold at 6+2 interviews.

이 예에서 포화 상태에 도달했다는 결론에 좀 더 보수적이고 확신을 갖고 싶다면 평가의 두 가지 매개 변수를 조정할 수 있습니다. 실행 기간을 3회(또는 그보다 더 많은 횟수)로 늘리거나, 새로운 정보 임계값을 '새로운 정보 없음'으로 더 엄격하게 설정할 수 있습니다. 여기서 사용된 가상의 데이터 세트(그림 3 참조)를 고려하고 실행 길이를 2로 유지했다면 인터뷰 10+2에서 0%의 새로운 정보 임계값에 도달했을 것입니다. 
If we wanted to be more conservative, and confident in our conclusion of reaching saturation in this example, we could adjust two parameters of our assessment. We could increase the run length to 3 (or an even larger number), and/or we could set a more stringent new information threshold of no new information. If we consider the hypothetical data set used here (see Fig 3) and kept the run length of 2, the 0% new information threshold would have been reached at interview 10+2.

위의 예제 프로세스를 검토한 후에도 여전히 두 가지 논리적 질문을 제기할 수 있습니다. 첫 번째는 "포화 상태가 표시될 때 샘플을 n으로 제한함으로써 중요한 정보를 놓치고 있지 않다는 것을 어떻게 알 수 있는가?"입니다. 다시 말해, 예를 들어 인터뷰를 5번 더 진행했다면 더 중요한 데이터를 추가로 얻을 수 있었을까요? 이에 대한 정직한 대답은 5번의 추가 인터뷰와 그 이후에도 5번의 추가 인터뷰를 실시하지 않는 한 알 수 없다는 것입니다. 그렇기 때문에 인터뷰 질문, 표본 특성 및 기타 연구 매개변수를 비교적 일관되게 유지한다고 가정할 때 시간이 지남에 따라 새로운 정보가 등장하는 속도가 감소하고 가장 일반적이고 두드러진 주제가 조기에 생성된다는 경험적 연구에 의존하고 있습니다. 추가 인터뷰 실시가 포화에 어떤 영향을 미쳤는지 더 자세히 설명하기 위해 그림 3에 20개의 인터뷰를 포함시켰습니다. 인터뷰 12에 이어 진행된 인터뷰에서는 4개의 주제가 추가되었지만 새로운 정보 임계치 ≤5% 이하에 머물렀습니다. 
One may still raise two logical questions after reviewing the example process above. The first is “How do we know that we’re not missing important information by capping our sample at n when saturation is indicated?” Put another way, if we had conducted, say, five more interviews would we have gotten additional and important data? The honest answer to this is that we don’t know, and we can never know unless we conduct those five extra interviews, and then five more after that and so on. That is where we rely on the empirical research that shows the rate at which new information emerges decreases over time and that the most common and salient themes are generated early, assuming that we keep the interview questions, sample characteristics, and other study parameters relatively consistent. To further illustrate how saturation may have been affected by doing additional interviews, we include 20 interviews in Fig 3. The interviews following Interview 12, though yielding four additional themes, remained at or below the ≤5% new information threshold.

두 번째 질문은 첫 번째 질문과 어느 정도 관련이 있으며 가능한 [순서 효과]와 관련이 있습니다. 20개의 인터뷰로 구성된 데이터 집합에서 10번부터 20번까지의 인터뷰가 먼저 수행된 경우 테마 식별 패턴이 동일하게 보일까요? 데이터 수집 과정의 후반부에 새로운 주제가 나타날 수 있을까요? 프로세스/데이터셋의 후반부에 중요한 테마가 나타날 수도 있지만, 위에서 언급한 경험적 연구에 따르면 가장 널리 퍼진 상위 테마는 데이터 수집 초기에 약 6번의 인터뷰 내에서 식별되는 것으로 나타났습니다. 하지만 이를 더욱 확인하기 위해 세 가지 실제 데이터 세트에 [부트스트랩 기법]을 사용하여 이러한 초기 연구의 결과를 확증하고 제안된 메트릭의 분포 특성을 평가했습니다. 이러한 부트스트랩 결과는 새로운 인터뷰에서 새로운 주제가 발견될 때, 그리고 인터뷰 샘플의 다른 복제본에서 무작위로 인터뷰 순서를 정할 때 다양한 중단 지점에서 어떻게 포화에 도달할 수 있는지에 대한 정보를 제공합니다.
The second question is to a degree related to the first question and pertains to possible order effects. Would the theme identification pattern in a dataset of 20 interviews look the same if interviews #10 through #20 were conducted first? Could new themes start emerging later in the data collection process? Though it is possible an important theme will emerge later in the process/dataset, the empirical studies referenced above demonstrate that the most prevalent, high-level, themes are identified very early on in data collection, within about six interviews. But, to further check this, we use a bootstrapping technique on three actual datasets to corroborate findings from these earlier studies and to assess the distributional properties of our proposed metrics. These bootstrap findings give us information on how saturation may be reached at different stopping points as new themes are discovered in new interviews and when the interviews are ordered randomly in different replications of the sample of interviews.

Data saturation is the most commonly employed concept for estimating sample sizes in qualitative research. Over the past 20 years, scholars using both empirical research and mathematical/statistical models have made significant contributions to the question: How many qualitative interviews are enough? This body of work has advanced the evidence base for sample size estimation in qualitative inquiry during the design phase of a study, prior to data collection, but it does not provide qualitative researchers with a simple and reliable way to determine the adequacy of sample sizes during and/or after data collection. Using the principle of saturation as a foundation, we describe and validate a simple-to-apply method for assessing and reporting on saturation in the context of inductive thematic analyses. Following a review of the empirical research on data saturation and sample size estimation in qualitative research, we propose an alternative way to evaluate saturation that overcomes the shortcomings and challenges associated with existing methods identified in our review. Our approach includes three primary elements in its calculation and assessment: Base Size, Run Length, and New Information Threshold. We additionally propose a more flexible approach to reporting saturation. To validate our method, we use a bootstrapping technique on three existing thematically coded qualitative datasets generated from in-depth interviews. Results from this analysis indicate the method we propose to assess and report on saturation is feasible and congruent with findings from earlier studies.

질적 조사에서 [표본의 적절성]은 [표본 구성 및 크기의 적절성]과 관련이 있습니다. 이는 많은 질적 연구의 품질과 신뢰성을 평가할 때 중요한 고려 사항이며[1], 특히 [후기 실증주의 전통]에 속하고 [실재론적 존재론적 전제]를 어느 정도 고수하는 연구의 경우 타당성과 일반화 가능성을 평가할 때 중요한 의미를 갖습니다[2,3,4,5]. 
Sample adequacy in qualitative inquiry pertains to the appropriateness of the sample composition and size. It is an important consideration in evaluations of the quality and trustworthiness of much qualitative research [1] and is implicated – particularly for research that is situated within a post-positivist tradition and retains a degree of commitment to realist ontological premises – in appraisals of validity and generalizability [2,3,4,5].

[질적 연구의 표본]은 이 탐구 방식의 기본인 사례 중심 분석의 깊이를 뒷받침하기 위해 작은 경향이 있습니다[5]. 또한 질적 표본은 목적적 표본, 즉 조사 대상 현상과 관련된 풍부한 질감의 정보를 제공할 수 있는 능력에 따라 선택됩니다. 결과적으로 정량적 연구에 사용되는 [확률적 표본 추출]과 달리 [의도적 표본 추출][6, 7]은 '정보가 풍부한' 사례를 선택합니다[8]. 실제로 최근 연구에 따르면 질적 연구에서 무작위 샘플링에 비해 [의도적 샘플링의 효율성이 더 높다]는 사실이 입증되어[9], 질적 방법론가들이 오랫동안 주장해온 관련 주장을 뒷받침하고 있습니다.
Samples in qualitative research tend to be small in order to support the depth of case-oriented analysis that is fundamental to this mode of inquiry [5]. Additionally, qualitative samples are purposive, that is, selected by virtue of their capacity to provide richly-textured information, relevant to the phenomenon under investigation. As a result, purposive sampling [6, 7] – as opposed to probability sampling employed in quantitative research – selects ‘information-rich’ cases [8]. Indeed, recent research demonstrates the greater efficiency of purposive sampling compared to random sampling in qualitative studies [9], supporting related assertions long put forward by qualitative methodologists.

질적 연구에서의 표본 크기는 지속적인 논의의 주제였습니다[4, 10, 11]. 정량적 연구 커뮤니티는 표본 크기를 정확하게 설정하기 위해 비교적 간단한 [통계 기반 규칙]을 확립한 반면, 질적 연구의 표본 크기 결정 및 평가의 복잡성은 질적 연구의 특징인 [방법론적, 이론적, 인식론적, 이념적 다원주의]에서 비롯됩니다(심리학 분야에 초점을 맞춘 논의는 [12]를 참조하세요). 이는 항상 적용되는 명확한 지침에 반하는 것입니다. 이러한 어려움에도 불구하고 다양한 개념적 발전이 이 문제를 해결하기 위해 지침과 원칙을 제시하고 있으며[4, 10, 11, 13,14,15,16,17,18,19,20], 최근에는 표본 크기 결정에 대한 증거 기반 접근 방식이 경험적으로 논의를 뒷받침하려고 합니다[21,22,23,24,25,26,27,28,29,30,31,32,33,34,35].
Sample size in qualitative research has been the subject of enduring discussions [4, 10, 11]. Whilst the quantitative research community has established relatively straightforward statistics-based rules to set sample sizes precisely, the intricacies of qualitative sample size determination and assessment arise from the methodological, theoretical, epistemological, and ideological pluralism that characterises qualitative inquiry (for a discussion focused on the discipline of psychology see [12]). This mitigates against clear-cut guidelines, invariably applied. Despite these challenges, various conceptual developments have sought to address this issue, with guidance and principles [4, 10, 11, 13,14,15,16,17,18,19,20], and more recently, an evidence-based approach to sample size determination seeks to ground the discussion empirically [21,22,23,24,25,26,27,28,29,30,31,32,33,34,35].

본 연구는 참여자별 단일 인터뷰 질적 설계에 초점을 맞추어, 표본 크기와 관련된 정당화 관행에 대한 실증적 증거를 제공함으로써 질적 연구에서 표본 크기의 논의에 더욱 기여하고자 합니다. 다음으로 표본 크기 결정에 관한 기존의 개념적 및 실증적 문헌을 검토합니다. 
Focusing on single-interview-per-participant qualitative designs, the present study aims to further contribute to the dialogue of sample size in qualitative research by offering empirical evidence around justification practices associated with sample size. We next review the existing conceptual and empirical literature on sample size determination.

질적 연구에서의 표본 크기: 개념적 발전과 실증적 조사
Sample size in qualitative research: Conceptual developments and empirical investigations

질적 연구 전문가들은 '몇 명'이라는 질문에 대한 정답은 없으며, 표본 크기는 인식론적, 방법론적, 실제적 문제와 관련된 여러 요인에 따라 달라진다고 주장합니다[36]. 

• 샌델로우스키[4]는 질적 표본의 크기는 연구 대상 현상에 대한 '새롭고 풍부한 질감의 이해'를 펼칠 수 있을 만큼 [충분히 크되], 질적 데이터의 '심층적인 사례 중심 분석'(183쪽)이 배제되지 않도록 [충분히 작을 것]을 권장합니다. 
• 모스[11]는 각 사람으로부터 더 많은 사용 가능한 데이터를 수집할수록 더 적은 수의 참가자가 필요하다고 가정합니다. 그녀는 연구자가 연구 범위, 주제의 특성(예: 복잡성, 접근성), 데이터의 품질, 연구 설계와 같은 [매개변수를 고려]할 것을 권유합니다. 

실제로 질적 면접에서 [질문의 구조 수준]은 생성되는 [데이터의 풍부함에 영향]을 미치는 것으로 밝혀졌기 때문에[37] 주의가 필요하며, 경험적 연구에 따르면 [인터뷰 후반부에 질문하는 개방형 질문]이 [더 풍부한 데이터를 생성하는 경향]이 있다고 합니다[37].
Qualitative research experts argue that there is no straightforward answer to the question of ‘how many’ and that sample size is contingent on a number of factors relating to epistemological, methodological and practical issues [36].

• Sandelowski [4] recommends that qualitative sample sizes are large enough to allow the unfolding of a ‘new and richly textured understanding’ of the phenomenon under study, but small enough so that the ‘deep, case-oriented analysis’ (p. 183) of qualitative data is not precluded.
• Morse [11] posits that the more useable data are collected from each person, the fewer participants are needed. She invites researchers to take into account parameters, such as the scope of study, the nature of topic (i.e. complexity, accessibility), the quality of data, and the study design.

Indeed, the level of structure of questions in qualitative interviewing has been found to influence the richness of data generated [37], and so, requires attention; empirical research shows that open questions, which are asked later on in the interview, tend to produce richer data [37].

이러한 지침 외에도 전문가들의 질적 연구 경험을 바탕으로 구체적인 수치적 권장 사항도 제시되고 있습니다.

• 예를 들어, Green과 Thorogood[38]은 상당히 구체적인 연구 질문으로 인터뷰 기반 연구를 수행하는 대부분의 질적 연구자의 경험에 따르면 분석적으로 관련된 하나의 참가자 '범주'에 속하는 20명 내외를 인터뷰한 후에는 새로운 정보가 거의 생성되지 않는다고 주장합니다(102-104페이지).
• Ritchie 등[39]은 개별 인터뷰를 사용하는 연구에서는 연구자가 분석 작업의 복잡성을 관리할 수 있도록 50명 이하의 인터뷰를 실시할 것을 제안합니다.
• 마찬가지로 Britten[40]은 대규모 인터뷰 연구의 경우 50~60명으로 구성되는 경우가 많다고 언급합니다. 전문가들은 또한 다양한 이론적, 방법론적 전통과 특정 연구 접근법(예: 근거 이론, 현상학)에 맞춘 수치적 지침을 제시했습니다[11, 41].
• 최근에는 모집단 내 테마의 빈도 추정치를 기반으로 선험적 표본 크기 결정을 지원하는 정량적 도구가 제안되었습니다[42]. 그럼에도 불구하고 이러한 보다 [수치 공식적인 접근 방식]은 '테마'의 개념적[43], 존재론적 지위[44]에 대한 가정과 샘플링, 데이터 수집 및 데이터 분석 프로세스에 따른 선형성[45]과 관련된 비판을 불러일으켰습니다.

Beyond such guidance, specific numerical recommendations have also been proffered, often based on experts’ experience of qualitative research.

• For example, Green and Thorogood [38] maintain that the experience of most qualitative researchers conducting an interview-based study with a fairly specific research question is that little new information is generated after interviewing 20 people or so belonging to one analytically relevant participant ‘category’ (pp. 102–104).
• Ritchie et al. [39] suggest that studies employing individual interviews conduct no more than 50 interviews so that researchers are able to manage the complexity of the analytic task.
• Similarly, Britten [40] notes that large interview studies will often comprise of 50 to 60 people. Experts have also offered numerical guidelines tailored to different theoretical and methodological traditions and specific research approaches, e.g. grounded theory, phenomenology [11, 41].
• More recently, a quantitative tool was proposed [42] to support a priori sample size determination based on estimates of the prevalence of themes in the population. Nevertheless, this more formulaic approach raised criticisms relating to assumptions about the conceptual [43] and ontological status of ‘themes’ [44] and the linearity ascribed to the processes of sampling, data collection and data analysis [45].

원칙적인 측면에서 링컨과 구바[17]는 [정보 중복성]의 기준에 따라 표본 크기를 결정할 것을 제안했는데, 즉 [더 많은 단위를 샘플링해도 새로운 정보가 도출되지 않을 경우 샘플링을 중단할 수 있다]는 것입니다. 정보 포괄성의 논리에 따라 Malterud 등[18]은 실용적인 지침 원칙으로 [정보력 개념]을 도입하여 표본이 제공하는 [정보력이 많을수록 표본 크기가 작아야 하고 그 반대의 경우도 마찬가지]라고 제안했습니다.
In terms of principles, Lincoln and Guba [17] proposed that sample size determination be guided by the criterion of informational redundancy, that is, sampling can be terminated when no new information is elicited by sampling more units. Following the logic of informational comprehensiveness Malterud et al. [18] introduced the concept of information power as a pragmatic guiding principle, suggesting that the more information power the sample provides, the smaller the sample size needs to be, and vice versa.

의심할 여지 없이, 표본 크기를 결정하고 그 충분성을 평가하는 데 가장 널리 사용되는 원칙은 [포화]입니다. 포화 개념은 경험적으로 도출된 이론 개발과 명시적으로 관련된 질적 방법론적 접근 방식인 근거 이론[15]에서 비롯되었으며 이론적 샘플링과 불가분의 관계에 있습니다. [이론적 표본 추출]은 [데이터 수집, 데이터 분석 및 이론 개발의 반복적인 프로세스]를 설명하며, 데이터 수집은 모집단의 사전 정의된 특성이 아닌 새로운 이론에 의해 관리됩니다. [근거 이론 포화(종종 이론적 포화라고도 함)]는 개발 중인 이론 범주(데이터가 아닌)와 관련이 있으며, '새로운 데이터를 수집해도 더 이상 [새로운 이론적 통찰력]을 얻지 못하거나 [핵심 이론 범주의 새로운 속성]이 드러나지 않을 때'[46페이지 113] 분명해집니다. 따라서 근거 이론에서 포화 상태는 [일반적인 데이터 반복에 대한 초점과 동일하지 않으며], 표본 추출의 적절성을 정당화하는 표본 크기에 대한 단일 초점을 넘어서는 것입니다[46, 47]. 근거 이론에서 표본 크기는 진화하는 이론적 범주에 따라 달라지기 때문에 [선험적으로 결정할 수 없습니다].
Undoubtedly, the most widely used principle for determining sample size and evaluating its sufficiency is that of saturation. The notion of saturation originates in grounded theory [15] – a qualitative methodological approach explicitly concerned with empirically-derived theory development – and is inextricably linked to theoretical sampling. Theoretical sampling describes an iterative process of data collection, data analysis and theory development whereby data collection is governed by emerging theory rather than predefined characteristics of the population. Grounded theory saturation (often called theoretical saturation) concerns the theoretical categories – as opposed to data – that are being developed and becomes evident when ‘gathering fresh data no longer sparks new theoretical insights, nor reveals new properties of your core theoretical categories’ [46 p. 113]. Saturation in grounded theory, therefore, does not equate to the more common focus on data repetition and moves beyond a singular focus on sample size as the justification of sampling adequacy [46, 47]. Sample size in grounded theory cannot be determined a priori as it is contingent on the evolving theoretical categories.

포화(종종 '데이터' 또는 '주제별' 포화도라는 용어로 사용됨)는 근거 이론의 기원을 넘어 여러 질적 커뮤니티로 확산되었습니다. '새로운 데이터 없음', '새로운 주제 없음', '새로운 코드 없음'과 다양하게 동일시되는 의미의 확장과 함께, 포화도는 질적 탐구에서 '황금 표준'으로 부상했습니다[2, 26]. 그럼에도 불구하고 모스[48]가 주장했듯이, 포화는 '질적 엄격성의 보증'으로 가장 자주 호출되지만, '우리가 가장 잘 모르는 것'(587쪽)입니다. 물론 연구자들은 포화도가 특정 유형의 질적 연구(예: 대화 분석, [49]; 현상학적 연구, [50])에 적용하기 어렵거나 적절하지 않다고 경고하는 반면, 다른 연구자들은 이 개념을 완전히 거부합니다[19, 51]. 
Saturation – often under the terms of ‘data’ or ‘thematic’ saturation – has diffused into several qualitative communities beyond its origins in grounded theory. Alongside the expansion of its meaning, being variously equated with ‘no new data’, ‘no new themes’, and ‘no new codes’, saturation has emerged as the ‘gold standard’ in qualitative inquiry [2, 26]. Nevertheless, and as Morse [48] asserts, whilst saturation is the most frequently invoked ‘guarantee of qualitative rigor’, ‘it is the one we know least about’ (p. 587). Certainly researchers caution that saturation is less applicable to, or appropriate for, particular types of qualitative research (e.g. conversation analysis, [49]; phenomenological research, [50]) whilst others reject the concept altogether [19, 51].

이 분야의 방법론적 연구는 포화도에 대한 지침을 제공하고 포화를 '조작화'하고 증거하는 프로세스의 실제 적용을 개발하는 것을 목표로 합니다.

• 게스트, 번스, 존슨[26]은 60개의 인터뷰를 분석한 결과 12번째 인터뷰에 이르러 주제의 포화 상태에 도달했다는 사실을 발견했습니다. 이들은 표본이 비교적 동질적이고 연구 목표가 집중되어 있기 때문에 더 이질적인 표본과 더 넓은 범위를 대상으로 한 연구는 포화 상태에 도달하기 위해 더 큰 규모가 필요할 것이라고 지적했습니다.
• 이 질문을 다중 사이트, 다문화 연구로 확장한 Hagaman과 Wutich[28]는 연구 사이트를 가로지르는 메타 주제의 데이터 포화도를 달성하려면 20~40개의 인터뷰 샘플 크기가 필요하다는 것을 보여주었습니다.
• 이론 중심 내용 분석에서 Francis 등[25]은 사전 결정된 모든 이론적 구성에 대해 17번째 인터뷰에 데이터 포화 상태에 도달했습니다. 저자들은 포화도 지정의 근거가 되는 두 가지 주요 원칙을 추가로 제안했습니다.
  • (a) 연구자는 1차 분석에 사용될 초기 분석 샘플(예: 10개의 인터뷰)을 선험적으로 지정하고,
  • (b) 분석에서 새로운 주제나 아이디어를 얻지 못할 경우 추가로 수행해야 하는 인터뷰 수(예: 3개)를 중단 기준으로 정해야 한다는 것입니다.
• 투명성을 높이기 위해 프란시스 외[25]는 연구자가 포화 상태에 도달했다는 판단을 뒷받침하는 누적 빈도 그래프를 제시할 것을 권장합니다.
• 주제 포화도 비교 방법(CoMeTS)도 제안되었는데[23], 각각의 새로운 인터뷰 결과를 이미 나온 인터뷰 결과와 비교하여 새로운 주제가 나오지 않으면 '포화된 지형'이 확립된 것으로 간주합니다.
• 인터뷰 분석 순서는 데이터의 풍부도에 따라 포화 임계값에 영향을 미칠 수 있으므로, 콘스탄티노우 등[23]은 포화 상태를 확인하기 위해 인터뷰 순서를 바꾸고 다시 분석할 것을 권장합니다.
• 헤닝크, 카이저, 마르코니의 [29] 방법론 연구는 포화도를 지정하고 입증하는 문제에 대해 더 자세히 조명합니다.
  • 인터뷰 데이터를 분석한 결과 코드 포화(즉, 추가 이슈가 식별되지 않는 지점)는 9번의 인터뷰로 달성할 수 있었지만 의미 포화(즉, 이슈의 차원, 뉘앙스 또는 통찰력이 더 이상 식별되지 않는 지점)는 16~24번의 인터뷰가 필요했습니다.
  • 폭은 특히 유병률이 높고 구체적인 코드의 경우 비교적 빨리 달성할 수 있지만, 깊이는 특히 개념적인 성격의 코드의 경우 추가 데이터가 필요합니다.

Methodological studies in this area aim to provide guidance about saturation and develop a practical application of processes that ‘operationalise’ and evidence saturation.

• Guest, Bunce, and Johnson [26] analysed 60 interviews and found that saturation of themes was reached by the twelfth interview. They noted that their sample was relatively homogeneous, their research aims focused, so studies of more heterogeneous samples and with a broader scope would be likely to need a larger size to achieve saturation.
• Extending the enquiry to multi-site, cross-cultural research, Hagaman and Wutich [28] showed that sample sizes of 20 to 40 interviews were required to achieve data saturation of meta-themes that cut across research sites.
• In a theory-driven content analysis, Francis et al. [25] reached data saturation at the 17th interview for all their pre-determined theoretical constructs. The authors further proposed two main principles upon which specification of saturation be based:
  • (a) researchers should a priori specify an initial analysis sample (e.g. 10 interviews) which will be used for the first round of analysis and
  • (b) a stopping criterion, that is, a number of interviews (e.g. 3) that needs to be further conducted, the analysis of which will not yield any new themes or ideas.
• For greater transparency, Francis et al. [25] recommend that researchers present cumulative frequency graphs supporting their judgment that saturation was achieved.
• A comparative method for themes saturation (CoMeTS) has also been suggested [23] whereby the findings of each new interview are compared with those that have already emerged and if it does not yield any new theme, the ‘saturated terrain’ is assumed to have been established.
• Because the order in which interviews are analysed can influence saturation thresholds depending on the richness of the data, Constantinou et al. [23] recommend reordering and re-analysing interviews to confirm saturation.
• Hennink, Kaiser and Marconi’s [29] methodological study sheds further light on the problem of specifying and demonstrating saturation.
  • Their analysis of interview data showed that code saturation (i.e. the point at which no additional issues are identified) was achieved at 9 interviews, but meaning saturation (i.e. the point at which no further dimensions, nuances, or insights of issues are identified) required 16–24 interviews.
  • Although breadth can be achieved relatively soon, especially for high-prevalence and concrete codes, depth requires additional data, especially for codes of a more conceptual nature.

넬슨[19]은 포화도 개념을 비판하면서 개발 중인 이론의 견고성을 평가하기 위해 근거 이론 프로젝트에서 다섯 가지 개념적 깊이 기준을 제안합니다:

• (a) 이론적 개념은 데이터에서 도출된 광범위한 증거에 의해 뒷받침되어야 하며,
• (b) 상호 연결된 개념 네트워크의 일부임을 입증할 수 있고,
• (c) 미묘함을 입증하고,
• (d) 기존 문헌과 공명하고,
• (e) 외부 타당성 테스트에 성공적으로 제출할 수 있어야 합니다.

Critiquing the concept of saturation, Nelson [19] proposes five conceptual depth criteria in grounded theory projects to assess the robustness of the developing theory:

• (a) theoretical concepts should be supported by a wide range of evidence drawn from the data;
• (b) be demonstrably part of a network of inter-connected concepts;
• (c) demonstrate subtlety;
• (d) resonate with existing literature; and
• (e) can be successfully submitted to tests of external validity.

영양학[34], 보건 교육[32], 교육 및 보건 과학[22, 27], 정보 시스템[30], 조직 및 직장 연구[33], 인간 컴퓨터 상호작용[21], 회계 연구[24]에 이르기까지 다양한 학문 분야와 연구 영역에서 표본 크기 보고 및 충분성 평가의 관행을 조사하고자 한 다른 연구도 있습니다. 다른 연구에서는 박사 학위 질적 연구[31]와 근거 이론 연구[35]를 조사했습니다. 이러한 조사에서 불완전하고 부정확한 표본 크기 보고가 흔히 발견되는 반면, 표본 크기의 충분성에 대한 평가와 정당화는 훨씬 더 산발적으로 이루어지고 있습니다.  
Other work has sought to examine practices of sample size reporting and sufficiency assessment across a range of disciplinary fields and research domains, from nutrition [34] and health education [32], to education and the health sciences [22, 27], information systems [30], organisation and workplace studies [33], human computer interaction [21], and accounting studies [24]. Others investigated PhD qualitative studies [31] and grounded theory studies [35]. Incomplete and imprecise sample size reporting is commonly pinpointed by these investigations whilst assessment and justifications of sample size sufficiency are even more sporadic.

Sobal[34]은 30년 동안 영양 교육 저널에 발표된 질적 연구의 표본 규모를 조사했습니다. 개별 인터뷰를 사용한 연구(n = 30)의 평균 표본 크기는 45명이었으며, 이들 중 표본 크기가 포화 상태에 도달했는지 여부를 명시적으로 보고한 연구는 없었습니다. 소수의 논문에서는 표본 관련 제한 사항(대부분 표본의 크기보다는 표본의 유형에 관한 것)이 일반화 가능성을 어떻게 제한하는지 논의했습니다. 20년간의 보건 교육 연구에 대한 체계적인 분석[32]에 따르면 인터뷰 기반 연구의 평균 참여자 수는 104명(인터뷰 대상자 범위는 2~720명)이었습니다. 그러나 40%는 참가자 수를 보고하지 않았습니다. 주요 정보 시스템 저널[30]에 실린 83건의 질적 인터뷰 연구를 조사한 결과, 질적 방법론자의 권고, 선행 관련 연구 또는 포화도 기준에 근거하여 표본 규모에 대한 방어가 거의 없는 것으로 나타났습니다. 오히려 표본 크기는 출판 저널이나 연구 지역(미국 대 유럽 대 아시아)과 같은 요인과 상관관계가 있는 것으로 나타났습니다. 이러한 결과를 바탕으로 저자들은 질적 정보 시스템 연구에서 표본 규모를 결정하고 보고할 때 보다 엄격해야 하며, 근거 이론(예: 20~30개 인터뷰) 및 단일 사례(예: 15~30개 인터뷰) 프로젝트에 대한 최적의 표본 규모 범위를 권장했습니다. 
Sobal [34] examined the sample size of qualitative studies published in the Journal of Nutrition Education over a period of 30 years. Studies that employed individual interviews (n = 30) had an average sample size of 45 individuals and none of these explicitly reported whether their sample size sought and/or attained saturation. A minority of articles discussed how sample-related limitations (with the latter most often concerning the type of sample, rather than the size) limited generalizability. A further systematic analysis [32] of health education research over 20 years demonstrated that interview-based studies averaged 104 participants (range 2 to 720 interviewees). However, 40% did not report the number of participants. An examination of 83 qualitative interview studies in leading information systems journals [30] indicated little defence of sample sizes on the basis of recommendations by qualitative methodologists, prior relevant work, or the criterion of saturation. Rather, sample size seemed to correlate with factors such as the journal of publication or the region of study (US vs Europe vs Asia). These results led the authors to call for more rigor in determining and reporting sample size in qualitative information systems research and to recommend optimal sample size ranges for grounded theory (i.e. 20–30 interviews) and single case (i.e. 15–30 interviews) projects.

마찬가지로 조직 및 직장 연구 논문의 10% 미만이 방법론가, 선행 관련 연구 또는 포화도와 관련된 표본 크기 정당성을 제공했으며[33], 건강 관련 저널의 포커스 그룹 연구 중 17%만이 표본 크기(즉, 포커스 그룹 수)에 대한 설명을 제공했으며, [포화]가 가장 자주 인용된 논거였고 그 다음으로 [출판된 표본 크기 권장 사항]과 [실용적인 이유][22] 순으로 나타났습니다. 포화 개념은 교육 및 보건 과학 분야에서 가장 많이 인용된 51개의 연구 중 11개에서 사용되었는데, 이 중 6개는 근거 이론 연구, 4개는 현상학적 연구, 1개는 내러티브 탐구였습니다[27]. 마지막으로, 회계학 분야의 인터뷰 기반 논문 641편을 분석한 Dai 등[24]은 상당수의 연구가 정확한 표본 크기를 보고하지 않았기 때문에 더 엄격할 것을 요구했습니다. 
Similarly, fewer than 10% of articles in organisation and workplace studies provided a sample size justification relating to existing recommendations by methodologists, prior relevant work, or saturation [33], whilst only 17% of focus groups studies in health-related journals provided an explanation of sample size (i.e. number of focus groups), with saturation being the most frequently invoked argument, followed by published sample size recommendations and practical reasons [22]. The notion of saturation was also invoked by 11 out of the 51 most highly cited studies that Guetterman [27] reviewed in the fields of education and health sciences, of which six were grounded theory studies, four phenomenological and one a narrative inquiry. Finally, analysing 641 interview-based articles in accounting, Dai et al. [24] called for more rigor since a significant minority of studies did not report precise sample size.

질적 연구의 엄격성에 대한 관심 증가(예: [52])와 질적 연구의 검증을 위한 보다 광범위한 방법론 및 분석 공개에도 불구하고[24], 표본 크기 보고 및 충분성 평가는 다양한 연구 영역에서 일관되지 않고 부분적으로만 이루어지고 있습니다. 
Despite increasing attention to rigor in qualitative research (e.g. [52]) and more extensive methodological and analytical disclosures that seek to validate qualitative work [24], sample size reporting and sufficiency assessment remain inconsistent and partial, if not absent, across a range of research domains.

본 연구의 목적
Objectives of the present study

본 연구는 건강과 관련된 질적 연구에 초점을 맞추어 표본 크기 보고 및 정당성에 대한 관습과 관행에 대한 기존의 체계적 분석을 강화하고자 했습니다. 또한, 본 연구는 질적 표본 크기가 학문적 서술에서 어떻게 특징지어지고 논의되는지를 조사함으로써 이전의 경험적 조사를 확장하고자 했습니다. 질적 건강 연구는 의학과의 연관성으로 인해 종종 양적 정신을 반영하는 견해와 입장에 직면하는 학제 간 분야입니다. 따라서 질적 건강 연구는 표본 규모를 고려할 때 구체화되는 과학계의 근본적인 철학적, 방법론적 차이를 드러내는 데 도움이 될 수 있는 상징적인 사례입니다. 따라서 본 연구에서는 질적 건강 연구와 관련된 세 가지 다른 학문 분야인 의학, 심리학, 사회학을 기반으로 비교 요소를 통합했습니다. 질적 건강 연구에서 대중적이고 널리 사용되는 방법론적 선택일 뿐만 아니라 인터뷰 대상자 수로 정의되는 표본 크기에 대한 고려가 특히 두드러지는 방법이기 때문에 [단일 참가자당 인터뷰 설계]에 분석의 초점을 맞추기로 결정했습니다. 
The present study sought to enrich existing systematic analyses of the customs and practices of sample size reporting and justification by focusing on qualitative research relating to health. Additionally, this study attempted to expand previous empirical investigations by examining how qualitative sample sizes are characterised and discussed in academic narratives. Qualitative health research is an inter-disciplinary field that due to its affiliation with medical sciences, often faces views and positions reflective of a quantitative ethos. Thus qualitative health research constitutes an emblematic case that may help to unfold underlying philosophical and methodological differences across the scientific community that are crystallised in considerations of sample size. The present research, therefore, incorporates a comparative element on the basis of three different disciplines engaging with qualitative health research: medicine, psychology, and sociology. We chose to focus our analysis on single-per-participant-interview designs as this not only presents a popular and widespread methodological choice in qualitative health research, but also as the method where consideration of sample size – defined as the number of interviewees – is particularly salient.

연구 설계
Study design

횡단면 인터뷰 기반의 질적 연구를 보고하는 논문을 구조적으로 검색하고 양적 및 질적 분석 기법을 모두 사용하여 적격 보고서를 체계적으로 검토 및 분석했습니다. 
A structured search for articles reporting cross-sectional, interview-based qualitative studies was carried out and eligible reports were systematically reviewed and analysed employing both quantitative and qualitative analytic techniques.

(a) 동료 검토 프로세스를 따르고, (b) 저널 지표에 반영된 바와 같이 해당 분야에서 높은 수준과 영향력을 지닌 것으로 간주되며, (c) 질적 연구를 수용하고 출판하는 저널을 선정했습니다(추가 파일 1에는 질적 연구와 관련된 저널의 편집 입장과 가능한 경우 샘플 고려 사항이 제시되어 있습니다). 의학을 대표하는 영국의학저널(BMJ), 심리학을 대표하는 영국건강심리학저널(BJHP), 사회학을 대표하는 건강과 질병의 사회학(SHI) 등 각기 다른 학문 분야를 대표하는 세 개의 건강 관련 저널이 선정되었습니다. 
We selected journals which (a) follow a peer review process, (b) are considered high quality and influential in their field as reflected in journal metrics, and (c) are receptive to, and publish, qualitative research (Additional File 1 presents the journals’ editorial positions in relation to qualitative research and sample considerations where available). Three health-related journals were chosen, each representing a different disciplinary field; the British Medical Journal (BMJ) representing medicine, the British Journal of Health Psychology (BJHP) representing psychology, and the Sociology of Health & Illness (SHI) representing sociology.

연구 식별을 위한 검색 전략
Search strategy to identify studies

각 개별 저널의 검색 기능을 사용하여 '인터뷰*' 및 '질적'이라는 용어를 사용했으며, 2003년 1월 1일부터 2017년 9월 22일(즉, 15년 검토 기간) 사이에 출판된 논문으로 결과를 제한했습니다.
Employing the search function of each individual journal, we used the terms ‘interview*’ AND ‘qualitative’ and limited the results to articles published between 1 January 2003 and 22 September 2017 (i.e. a 15-year review period).

자격 기준
Eligibility criteria

검토 대상에 포함되려면 논문이 단면 연구 설계를 보고해야 했습니다. 따라서 종단 연구는 제외되었지만, 광범위한 연구 프로그램 내에서 수행된 연구(예: 광범위한 민족지학의 일부로 임상시험에 중첩된 인터뷰 연구, 종단 연구의 일부)는 단 한 번의 질적 인터뷰만 보고한 경우 포함되었습니다. 데이터 수집 방법은 개별적이고 동시적인 질적 인터뷰여야 하며(즉, 그룹 인터뷰, 구조화된 인터뷰, 일정 기간에 걸친 이메일 인터뷰는 제외), 데이터를 질적으로 분석해야 합니다(즉, 질적 데이터를 정량화한 연구는 제외). 혼합 방법 연구와 두 가지 이상의 질적 데이터 수집 방법(예: 개별 인터뷰 및 포커스 그룹)을 보고하는 논문은 제외되었습니다. 그림 1은 PRISMA 흐름도[53]로, 검색 및 선별된 논문, 적격성 평가 논문, 리뷰에 포함된 논문의 수를 보여줍니다(추가 파일 2는 리뷰에 포함된 논문의 전체 목록과 고유 식별 코드(예: BMJ01, BJHP02, SHI03)를 제공합니다). 한 명의 리뷰 저자(KV)가 검색에서 확인된 모든 논문의 적격성을 평가했습니다. 의심스러운 경우, KV와 JB는 정기적인 회의를 통해 논문을 유지하거나 제외하는 것에 대해 논의하고 공동으로 결정을 내렸습니다. 

To be eligible for inclusion in the review, the article had to report a cross-sectional study design. Longitudinal studies were thus excluded whilst studies conducted within a broader research programme (e.g. interview studies nested in a trial, as part of a broader ethnography, as part of a longitudinal research) were included if they reported only single-time qualitative interviews. The method of data collection had to be individual, synchronous qualitative interviews (i.e. group interviews, structured interviews and e-mail interviews over a period of time were excluded), and the data had to be analysed qualitatively (i.e. studies that quantified their qualitative data were excluded). Mixed method studies and articles reporting more than one qualitative method of data collection (e.g. individual interviews and focus groups) were excluded. Figure 1, a PRISMA flow diagram [53], shows the number of: articles obtained from the searches and screened; papers assessed for eligibility; and articles included in the review (Additional File 2 provides the full list of articles included in the review and their unique identifying code – e.g. BMJ01, BJHP02, SHI03). One review author (KV) assessed the eligibility of all papers identified from the searches. When in doubt, discussions about retaining or excluding articles were held between KV and JB in regular meetings, and decisions were jointly made.

데이터 추출 및 분석
Data extraction and analysis

데이터 추출 양식(추가 파일 3 참조)을 개발하여 (a) 논문에 대한 정보(예: 저자, 제목, 학술지, 출판 연도 등), (b) 연구의 목적, 표본 크기 및 이에 대한 정당성, 참여자 특성, 표본 추출 기법 및 저자의 표본 관련 관찰 또는 의견, (c) 데이터 분석 방법 또는 기술, 분석에 참여한 연구자 수, 소프트웨어 사용 가능성, 인식론적 고려 사항에 대한 논의 등 세 가지 영역의 정보를 기록했습니다. 각 논문의 초록, 방법 및 토론(및/또는 결론) 섹션은 모든 관련 정보를 추출한 한 명의 저자(KV)가 검토했습니다. 이는 논문에서 직접 복사했으며, 필요한 경우 의견, 메모 및 초기 생각을 기록했습니다. 
A data extraction form was developed (see Additional File 3) recording three areas of information: (a) information about the article (e.g. authors, title, journal, year of publication etc.); (b) information about the aims of the study, the sample size and any justification for this, the participant characteristics, the sampling technique and any sample-related observations or comments made by the authors; and (c) information about the method or technique(s) of data analysis, the number of researchers involved in the analysis, the potential use of software, and any discussion around epistemological considerations. The Abstract, Methods and Discussion (and/or Conclusion) sections of each article were examined by one author (KV) who extracted all the relevant information. This was directly copied from the articles and, when appropriate, comments, notes and initial thoughts were written down.

기사에서 제공하는 표본 크기의 정당성을 조사하기 위해 귀납적 내용 분석[54]이 처음에 수행되었습니다. 이 분석을 바탕으로 질적으로 다른 표본 크기 정당화를 표현하는 범주를 개발했습니다. 
To examine the kinds of sample size justifications provided by articles, an inductive content analysis [54] was initially conducted. On the basis of this analysis, the categories that expressed qualitatively different sample size justifications were developed.

또한 다음과 같은 측면에 대한 정량적 데이터를 추출하거나 코딩했습니다: 
We also extracted or coded quantitative data regarding the following aspects:

• 학술지 및 출판 연도
  
• 인터뷰 횟수
  
• 참가자 수
  
• 표본 크기 정당성 유무(예/아니오)
  
• 특정 표본 크기 정당화 범주의 존재 여부(예/아니요) 및
  
• 제공된 표본 크기 정당화 항목의 수
• Journal and year of publication
• Number of interviews
• Number of participants
• Presence of sample size justification(s) (Yes/No)
• Presence of a particular sample size justification category (Yes/No), and
• Number of sample size justifications provided

이러한 데이터를 탐색하기 위해 설명적 통계 분석과 추론적 통계 분석이 사용되었습니다. 
Descriptive and inferential statistical analyses were used to explore these data.

그런 다음 연구의 표본 크기에 대해 논의하거나 언급하는 모든 과학적 서술에 대해 주제별 분석[55]을 수행했습니다. 이러한 내러티브는 표본 크기를 정당화하는 논문과 그렇지 않은 논문 모두에서 분명하게 나타났습니다. 이러한 내러티브를 식별하기 위해 방법 섹션 외에도 검토된 논문의 토론 섹션을 조사하고 관련 데이터를 추출하여 분석했습니다. 
A thematic analysis [55] was then performed on all scientific narratives that discussed or commented on the sample size of the study. These narratives were evident both in papers that justified their sample size and those that did not. To identify these narratives, in addition to the methods sections, the discussion sections of the reviewed articles were also examined and relevant data were extracted and analysed.

총 214개 논문(BMJ 21개, BJHP 53개, SHI 140개)이 검토 대상에 포함되었습니다. 표 1은 세 저널에서 검토한 연구의 표본 크기(인터뷰 수로 측정)에 대한 기본 정보를 제공합니다. 그림 2는 학술지별로 매년 출판되는 대상 논문 수를 보여줍니다.
In total, 214 articles – 21 in the BMJ, 53 in the BJHP and 140 in the SHI – were eligible for inclusion in the review. Table 1 provides basic information about the sample sizes – measured in number of interviews – of the studies reviewed across the three journals. Figure 2 depicts the number of eligible articles published each year per journal.

유의한 Kruskal-WallisFootnote2 테스트에 따라 쌍으로 비교한 결과, BJHP에 게재된 연구의 표본 크기가 BMJ 또는 SHI에 게재된 연구보다 유의하게(p < .001) 작은 것으로 나타났습니다. BMJ와 SHI 논문의 표본 크기는 서로 크게 다르지 않았습니다. 
Pairwise comparisons following a significant Kruskal-WallisFootnote2 test indicated that the studies published in the BJHP had significantly (p < .001) smaller samples sizes than those published either in the BMJ or the SHI. Sample sizes of BMJ and SHI articles did not differ significantly from each other.

표본 크기 정당화: 양적 및 질적 콘텐츠 분석 결과
Sample size justifications: Results from the quantitative and qualitative content analysis

BMJ 논문 21편 중 10편(47.6%), BJHP 논문 53편 중 26편(49.1%), SHI 논문 140편 중 24편(17.1%)이 일종의 표본 크기 정당화를 제공했습니다. 표 2에서 볼 수 있듯이, 표본 크기를 정당화한 논문의 대부분은 한 가지 정당화를 제공했습니다(70%).

• 두 가지 정당화를 제공한 연구는 14건(25%),
• 세 가지 정당화를 제공한 연구는 1건(1.7%),
• 네 가지 정당화를 제공한 연구는 2건(3.3%)이었습니다.

Ten (47.6%) of the 21 BMJ studies, 26 (49.1%) of the 53 BJHP papers and 24 (17.1%) of the 140 SHI articles provided some sort of sample size justification. As shown in Table 2, the majority of articles which justified their sample size provided one justification (70% of articles);

• fourteen studies (25%) provided two distinct justifications;
• one study (1.7%) gave three justifications and
• two studies (3.3%) expressed four distinct justifications.

수행된 인터뷰 횟수(즉, 표본 크기)와 정당화 제공 사이에는 연관성이 없었습니다(rpb = .054, p = .433). 학술지 내에서는 맨-위트니 테스트 결과 BMJ와 SHI에서 '정당화' 및 '비정당화' 논문의 표본 크기가 서로 크게 다르지 않은 것으로 나타났습니다. BJHP에서는 '정당화' 논문(평균 순위 = 31.3)의 표본 크기가 '비정당화' 연구(평균 순위 = 22.7; U = 237.000, p < .05)보다 훨씬 더 컸습니다. 
There was no association between the number of interviews (i.e. sample size) conducted and the provision of a justification (rpb = .054, p = .433). Within journals, Mann-Whitney tests indicated that sample sizes of ‘justifying’ and ‘non-justifying’ articles in the BMJ and SHI did not differ significantly from each other. In the BJHP, ‘justifying’ articles (Mean rank = 31.3) had significantly larger sample sizes than ‘non-justifying’ studies (Mean rank = 22.7; U = 237.000, p < .05).

논문이 게재된 저널과 정당화 제공 사이에는 유의미한 연관성이 있었습니다(χ2 (2) = 23.83, p < .001). BJHP 연구는 예상보다 훨씬 더 자주 표본 크기 정당성을 제공했으며(z = 2.9), SHI 연구는 훨씬 덜 자주 제공했습니다(z = - 2.4). 논문이 BJHP에 게재된 경우, 근거를 제공할 확률은 SHI에 게재된 경우보다 4.8배 더 높았습니다. 마찬가지로 BMJ에 게재된 경우, 표본 크기를 정당화하는 연구 확률은 SHI에 게재된 경우보다 4.5배 높았습니다.
There was a significant association between the journal a paper was published in and the provision of a justification (χ2 (2) = 23.83, p < .001). BJHP studies provided a sample size justification significantly more often than would be expected (z = 2.9); SHI studies significantly less often (z = − 2.4). If an article was published in the BJHP, the odds of providing a justification were 4.8 times higher than if published in the SHI. Similarly if published in the BMJ, the odds of a study justifying its sample size were 4.5 times higher than in the SHI.

과학적 내러티브의 질적 내용 분석을 통해 11개의 서로 다른 표본 크기 정당성을 확인했습니다. 이에 대해서는 아래에 설명되어 있으며 관련 논문에서 발췌하여 설명합니다. 요약하자면, 세 저널에서 이러한 근거가 사용된 빈도는 표 3에 나와 있습니다.
The qualitative content analysis of the scientific narratives identified eleven different sample size justifications. These are described below and illustrated with excerpts from relevant articles. By way of a summary, the frequency with which these were deployed across the three journals is indicated in Table 3.

포화
Saturation

포화는 세 학술지 모두에서 표본 크기의 충분성을 정당화하기 위해 연구에서 가장 많이 사용된 원칙(전체 정당화의 55.4%)이었습니다. BMJ에서 데이터 포화도를 달성했다고 주장한 연구는 2건(BMJ17, BMJ18)이었으며, 포화도라는 용어를 명시적으로 사용하지 않고 설명적으로 언급한 논문은 1건(BMJ13)이었습니다. 흥미롭게도 BMJ13은 '비정상적/일탈적 관찰'을 찾고 연구 결과의 일관성을 확립하기 위해 포화 시점을 넘어선 데이터를 분석에 포함했습니다.
Saturation was the most commonly invoked principle (55.4% of all justifications) deployed by studies across all three journals to justify the sufficiency of their sample size. In the BMJ, two studies claimed that they achieved data saturation (BMJ17; BMJ18) and one article referred descriptively to achieving saturation without explicitly using the term (BMJ13). Interestingly, BMJ13 included data in the analysis beyond the point of saturation in search of ‘unusual/deviant observations’ and with a view to establishing findings consistency.

인터뷰 연구에 참여하기 위해 33명의 여성에게 연락을 취했습니다. 27명이 동의했고 21명(21-64세, 중앙값 40세)이 데이터 포화점에 도달하기 전에 인터뷰를 진행했습니다(한 번의 테이프 실패로 분석에 사용할 수 있는 인터뷰는 20건). (BMJ17).
Thirty three women were approached to take part in the interview study. Twenty seven agreed and 21 (aged 21–64, median 40) were interviewed before data saturation was reached (one tape failure meant that 20 interviews were available for analysis). (BMJ17).

인터뷰의 약 3분의 2를 분석한 결과 새로운 주제는 발견되지 않았지만, 모든 인터뷰는 견해와 보고된 행동이 얼마나 특징적인지 더 잘 이해하고 비정상적이거나 일탈적인 관찰 사례를 더 수집하기 위해 코딩되었습니다. (BMJ13).
No new topics were identified following analysis of approximately two thirds of the interviews; however, all interviews were coded in order to develop a better understanding of how characteristic the views and reported behaviours were, and also to collect further examples of unusual/deviant observations. (BMJ13).

두 개의 논문은 데이터 포화도를 달성하기 위해 표본 크기를 미리 결정했다고 보고했습니다(BMJ08 - [기존 연구와 일치]하는 섹션의 발췌문 참조, BMJ15 - [실용적 고려 사항] 섹션의 발췌문 참조).

• 한 논문에서는 "분석에서 더 이상 반복되는 주제가 나타나지 않을 때"를 이론적 포화 상태(BMJ06)라고 주장한 반면,
• 다른 연구에서는 분석 범주가 매우 포화 상태이지만 이론적 포화 상태를 달성했는지 여부를 판단할 수 없다고 주장했습니다(BMJ04).
• 한 논문(BMJ18)은 포화도에 대한 입장을 뒷받침하기 위해 참고 문헌을 인용했습니다.

Two articles reported pre-determining their sample size with a view to achieving data saturation (BMJ08 – see extract in section In line with existing research; BMJ15 – see extract in section Pragmatic considerations) without further specifying if this was achieved.

• One paper claimed theoretical saturation (BMJ06) conceived as being when “no further recurring themes emerging from the analysis”
• whilst another study argued that although the analytic categories were highly saturated, it was not possible to determine whether theoretical saturation had been achieved (BMJ04).
• One article (BMJ18) cited a reference to support its position on saturation.

BJHP에서 6개의 논문이 데이터 포화 상태에 도달했다고 주장했고(BJHP21, BJHP32, BJHP39, BJHP48, BJHP49, BJHP52), 1개의 논문은 표본 크기와 데이터 포화 상태에 도달하기 위한 가이드라인을 고려할 때 포화 상태에 도달할 것으로 예상한다고 명시했습니다(BJHP50).  
In the BJHP, six articles claimed that they achieved data saturation (BJHP21; BJHP32; BJHP39; BJHP48; BJHP49; BJHP52) and one article stated that, given their sample size and the guidelines for achieving data saturation, it anticipated that saturation would be attained (BJHP50).

새로운 주제가 나타나지 않는 시점으로 정의되는 데이터 포화 상태에 도달할 때까지 모집을 계속했습니다. (BJHP48).
Recruitment continued until data saturation was reached, defined as the point at which no new themes emerged. (BJHP48).

이전에는 질적 연구에서 데이터 포화 상태에 도달하기 위해 최소 12개 이상의 표본 크기가 필요하다고 권장되어 왔습니다(Clarke & Braun, 2013; Fugard & Potts, 2014; Guest, Bunce, & Johnson, 2006). 따라서 이 연구의 질적 분석과 규모를 위해 13개의 표본이 충분한 것으로 간주되었습니다. (BJHP50).
It has previously been recommended that qualitative studies require a minimum sample size of at least 12 to reach data saturation (Clarke & Braun, 2013; Fugard & Potts, 2014; Guest, Bunce, & Johnson, 2006) Therefore, a sample of 13 was deemed sufficient for the qualitative analysis and scale of this study. (BJHP50).

두 개의 연구는 [주제 포화]를 달성했다고 주장했고(BJHP28 - 표본 크기 가이드라인 섹션의 발췌문 참조, BJHP31), 이론 개발과 이론적 표본 추출을 명시적으로 다룬 한 개의 논문(BJHP30)은 [이론적 포화]와 [데이터 포화]를 모두 주장했습니다.
Two studies argued that they achieved thematic saturation (BJHP28 – see extract in section Sample size guidelines; BJHP31) and one (BJHP30) article, explicitly concerned with theory development and deploying theoretical sampling, claimed both theoretical and data saturation.

최종 표본 크기는 주제 포화(주제와 참여자의 의견이 반복되어 새로운 데이터가 더 이상 연구 결과에 기여하지 않는 것으로 보이는 지점)에 따라 결정되었습니다(Morse, 1995). 이 시점에서 데이터 생성이 종료되었습니다. (BJHP31).
The final sample size was determined by thematic saturation, the point at which new data appears to no longer contribute to the findings due to repetition of themes and comments by participants (Morse, 1995). At this point, data generation was terminated. (BJHP31).

5개의 연구는 포화라는 용어를 더 이상 명시하지 않고 포화도를 달성(BJHP05, BJHP33, BJHP40, BJHP13 - 실용적 고려 사항 섹션의 발췌문 참조)했거나 예상(BJHP46)했다고 주장했습니다. BJHP17은 포화라는 용어를 구체적으로 사용하지 않고 포화 상태에 도달한 상태를 설명적으로 언급했습니다. 테마의 포화 상태가 아닌 [코딩의 포화 상태]에 도달했다고 주장한 논문은 한 편(BJHP18)이었습니다. 포화 상태에 도달하지 않았다고 명시적으로 언급한 논문은 2건이었으며, 그 대신 [테마의 완성도](BJHP27)를 주장하거나 테마가 복제되고 있다는 주장(BJHP53)을 통해 표본 크기의 충분성을 논증했습니다.
Five studies argued that they achieved (BJHP05; BJHP33; BJHP40; BJHP13 – see extract in section Pragmatic considerations) or anticipated (BJHP46) saturation without any further specification of the term. BJHP17 referred descriptively to a state of achieved saturation without specifically using the term. Saturation of coding, but not saturation of themes, was claimed to have been reached by one article (BJHP18). Two articles explicitly stated that they did not achieve saturation; instead claiming a level of theme completeness (BJHP27) or that themes being replicated (BJHP53) were arguments for sufficiency of their sample size.

또한 포화점에 도달한 시점이 아니라 실용적인 이유로 데이터 수집이 중단되었습니다. 그럼에도 불구하고 데이터 분석이 끝날 무렵에도 하위 테마 내 뉘앙스가 여전히 나타나고 있었지만, 테마 자체는 복제되고 있어 완성도가 높다는 것을 알 수 있었습니다. (BJHP27).
Furthermore, data collection ceased on pragmatic grounds rather than at the point when saturation point was reached. Despite this, although nuances within sub-themes were still emerging towards the end of data analysis, the themes themselves were being replicated indicating a level of completeness. (BJHP27).

마지막으로, 한 논문에서는 [이론적 충분성]의 기준이 표본 크기를 결정한다고 주장하며 데이터 포화도 개념을 비판하고 명시적으로 포기했습니다(BJHP16).
Finally, one article criticised and explicitly renounced the notion of data saturation claiming that, on the contrary, the criterion of theoretical sufficiency determined its sample size (BJHP16).

원래 근거 이론 텍스트에 따르면, 데이터 수집은 새로운 발견이 없을 때까지(즉, '데이터 포화'; Glaser & Strauss, 1967) 계속되어야 합니다. 그러나 최근 이 과정에 대한 개정 논의에서는 데이터 수집이 완전한 과정인 경우는 드물며, 연구자는 데이터가 충분한 이론적 설명을 만들 수 있는 정도, 즉 '이론적 충분성'에 의존해야 한다고 주장하고 있습니다(Dey, 1999). 이 연구에서는 데이터 포화도를 찾기보다는 이론적 충분성을 기준으로 모집을 진행하기로 결정했습니다. (BJHP16).
According to the original Grounded Theory texts, data collection should continue until there are no new discoveries (i.e., ‘data saturation’; Glaser & Strauss, 1967). However, recent revisions of this process have discussed how it is rare that data collection is an exhaustive process and researchers should rely on how well their data are able to create a sufficient theoretical account or ‘theoretical sufficiency’ (Dey, 1999). For this study, it was decided that theoretical sufficiency would guide recruitment, rather than looking for data saturation. (BJHP16).

포화도 논증을 사용한 20개의 BJHP 논문 중 10개가 이 원칙과 관련된 인용을 하나 이상 사용했습니다.
Ten out of the 20 BJHP articles that employed the argument of saturation used one or more citations relating to this principle.

SHI에서는 한 논문(SHI01)이 저자의 판단에 따라 카테고리 포화를 달성했다고 주장했습니다.
In the SHI, one article (SHI01) claimed that it achieved category saturation based on authors’ judgment.

이 수치는 사전에 정해진 것이 아니라 샘플링 전략과 데이터 분석을 기반으로 '카테고리 포화'가 달성되는 시점에 대한 판단에 따라 결정되었습니다. (SHI01).
This number was not fixed in advance, but was guided by the sampling strategy and the judgement, based on the analysis of the data, of the point at which ‘category saturation’ was achieved. (SHI01).

3편의 논문은 포화도라는 용어를 사용하지 않거나 어떤 종류의 포화도(예: 데이터, 이론적, 주제적 포화도)를 달성했는지 명시하지 않고 포화도 달성 상태를 설명했으며(SHI04, SHI13, SHI30), 나머지 4편의 논문은 포화도를 달성했다고 명시적으로 언급했습니다(SHI100, SHI125, SHI136, SHI137). 2편의 논문은 데이터 포화를 달성했다고 명시했고(SHI73 - 표본 크기 가이드라인 섹션의 발췌문 참조, SHI113), 2편은 이론적 포화를 주장했으며(SHI78; SHI115), 2편은 주제별 포화를 달성했거나(SHI87; SHI139) 포화된 주제를 언급했습니다(SHI29; SHI50). 
Three articles described a state of achieved saturation without using the term or specifying what sort of saturation they had achieved (i.e. data, theoretical, thematic saturation) (SHI04; SHI13; SHI30) whilst another four articles explicitly stated that they achieved saturation (SHI100; SHI125; SHI136; SHI137). Two papers stated that they achieved data saturation (SHI73 – see extract in section Sample size guidelines; SHI113), two claimed theoretical saturation (SHI78; SHI115) and two referred to achieving thematic saturation (SHI87; SHI139) or to saturated themes (SHI29; SHI50).

아래 설명된 범주에서 이론적 포화 상태에 도달하면 모집 및 분석이 중단되었습니다(링컨과 구바 1985). (SHI115).
Recruitment and analysis ceased once theoretical saturation was reached in the categories described below (Lincoln and Guba 1985). (SHI115).

아래에 표시된 응답자의 인용문은 대표적인 것으로 선택되었으며 포화 된 주제를 보여줍니다. (SHI50).
The respondents’ quotes drawn on below were chosen as representative, and illustrate saturated themes. (SHI50).

한 기사에서는 표본 크기로 인해 주제별 포화도가 예상되었다고 언급했습니다(SHI94). [이론적 포화도를 정확히 파악하기 어렵다는 점]을 간략하게 언급하면서 SHI32(데이터의 풍부성 및 양 섹션의 발췌문 참조)는 "인터뷰 대상자들 사이에서 나타나기 시작한 높은 수준의 합의"를 근거로 표본 크기의 충분성을 옹호하며 인터뷰의 정보가 복제되고 있음을 시사했습니다. 마지막으로 SHI112(조사 결과의 일관성을 확인하기 위한 추가 샘플링 섹션의 발췌문 참조)는 [담론 패턴의 포화 상태]를 달성했다고 주장했습니다. 19개의 SHI 논문 중 7개가 [포화에 대한 입장을 뒷받침하는 참고 문헌을 인용]했습니다(세 저널에서 포화도에 대한 입장을 뒷받침하기 위해 논문에서 사용한 인용 문헌의 전체 목록은 추가 파일 4 참조).
One article stated that thematic saturation was anticipated with its sample size (SHI94). Briefly referring to the difficulty in pinpointing achievement of theoretical saturation, SHI32 (see extract in section Richness and volume of data) defended the sufficiency of its sample size on the basis of “the high degree of consensus [that] had begun to emerge among those interviewed”, suggesting that information from interviews was being replicated. Finally, SHI112 (see extract in section Further sampling to check findings consistency) argued that it achieved saturation of discursive patterns. Seven of the 19 SHI articles cited references to support their position on saturation (see Additional File 4 for the full list of citations used by articles to support their position on saturation across the three journals).

전반적으로 포화도 개념은 포화, 데이터 포화, 주제 포화, 이론적 포화, 카테고리 포화, 코딩의 포화, 담론적 주제의 포화, 주제 완성도 등의 용어로 표현되는 다양한 변형을 포괄하는 것이 분명합니다. 그러나 이러한 다양한 주장이 때때로 문헌을 참조하여 뒷받침되기는 하지만, 당면한 연구와 관련하여 입증되지는 않았다는 점에 주목할 필요가 있습니다.
Overall, it is clear that the concept of saturation encompassed a wide range of variants expressed in terms such as saturation, data saturation, thematic saturation, theoretical saturation, category saturation, saturation of coding, saturation of discursive themes, theme completeness. It is noteworthy, however, that although these various claims were sometimes supported with reference to the literature, they were not evidenced in relation to the study at hand.

실용적인 고려 사항
Pragmatic considerations

실용적 고려사항에 근거한 표본 크기 결정은 세 학술지 모두에서 두 번째로 자주 인용된 주장(전체 정당화 중 9.6%)이었습니다. BMJ에서는 한 논문(BMJ15)에서 시간 제약과 특정 연구 모집단에 접근하기 어렵다는 실용적인 이유를 들어 표본 크기 결정을 정당화했습니다.
The determination of sample size on the basis of pragmatic considerations was the second most frequently invoked argument (9.6% of all justifications) appearing in all three journals. In the BMJ, one article (BMJ15) appealed to pragmatic reasons, relating to time constraints and the difficulty to access certain study populations, to justify the determination of its sample size.

연구자들의 이전 경험과 문헌에 근거하여[30, 31] 각 사이트에서 15~20명의 환자를 모집하면 각 사이트의 데이터를 개별적으로 분석할 때 데이터 포화 상태에 도달할 것으로 예상했습니다. 시간 제약과 일부 재택 간호 서비스에서 간병인을 구하기 어려울 것으로 예상되어 사이트당 7~10명의 간병인을 목표로 설정했습니다. 이를 통해 전체적으로 75-100명의 환자와 35-50명의 간병인을 대상으로 표본을 추출했습니다. (BMJ15).
On the basis of the researchers’ previous experience and the literature, [30, 31] we estimated that recruitment of 15–20 patients at each site would achieve data saturation when data from each site were analysed separately. We set a target of seven to 10 caregivers per site because of time constraints and the anticipated difficulty of accessing caregivers at some home based care services. This gave a target sample of 75–100 patients and 35–50 caregivers overall. (BMJ15).

BJHP에서는 시간 또는 재정적 제약(BJHP27 - 포화 섹션의 발췌문 참조, BJHP53), 참여자 응답률(BJHP13), 인터뷰 대상자를 샘플링하는 고정된참여자 풀의 (따라서 제한된) 규모(BJHP18)와 관련된 실용적인 고려 사항을 언급한 논문이 4편 있었습니다.
In the BJHP, four articles mentioned pragmatic considerations relating to time or financial constraints (BJHP27 – see extract in section Saturation; BJHP53), the participant response rate (BJHP13), and the fixed (and thus limited) size of the participant pool from which interviewees were sampled (BJHP18).

우리는 더 이상 데이터를 수집해도 더 이상 주제가 나오지 않는 포화 상태에 도달할 때까지 인터뷰를 계속하는 것을 목표로 삼았습니다. 실제로 연구에 참여하겠다고 자원한 사람의 수에 따라 연구 모집이 중단되는 시점이 결정되었습니다(청소년 15명, 부모 15명). 그럼에도 불구하고 마지막 몇 번의 인터뷰를 통해 개념의 상당한 반복이 발생하여 충분한 샘플링이 이루어졌음을 알 수 있었습니다. (BJHP13).
We had aimed to continue interviewing until we had reached saturation, a point whereby further data collection would yield no further themes. In practice, the number of individuals volunteering to participate dictated when recruitment into the study ceased (15 young people, 15 parents). Nonetheless, by the last few interviews, significant repetition of concepts was occurring, suggesting ample sampling. (BJHP13).

마지막으로 세 개의 SHI 논문은 시간 제약 및 프로젝트 관리 가능성(SHI56), 제한된 응답자 및 프로젝트 리소스(SHI131), 시간 제약(SHI113)과 같은 실용적인 측면과 관련하여 표본 규모를 설명했습니다.
Finally, three SHI articles explained their sample size with reference to practical aspects:

• time constraints and project manageability (SHI56),
• limited availability of respondents and project resources (SHI131), and
• time constraints (SHI113).

표본의 크기는 주로 연구를 완료할 수 있는 응답자와 리소스의 가용성에 따라 결정되었습니다. 표본 구성은 가능한 한 맥락적 요인(예: 성별 관계 및 인종)이 질병 경험을 매개하는 방식에 대한 우리의 관심을 반영했습니다. (SHI131).
The size of the sample was largely determined by the availability of respondents and resources to complete the study. Its composition reflected, as far as practicable, our interest in how contextual factors (for example, gender relations and ethnicity) mediated the illness experience. (SHI131).

분석의 질
Qualities of the analysis

이 표본 크기 정당화(전체 정당화 중 8.4%)는 주로 BJHP 기사에서 사용되었으며, 집중적이고 관용적이거나 잠재적으로 초점을 맞춘 분석, 즉 [설명description을 넘어선 분석]에 대해 언급했습니다. 보다 구체적으로, 6개의 논문은 녹취록에 대한 집중적인 분석 및/또는 연구/분석의 관용적 초점을 근거로 표본 크기를 옹호했습니다. 이 중 4개 논문(BJHP02, BJHP19, BJHP24, BJHP47)은 해석적 현상학적 분석(IPA) 접근법을 채택했습니다. 
This sample size justification (8.4% of all justifications) was mainly employed by BJHP articles and referred to an intensive, idiographic and/or latently focused analysis, i.e. that moved beyond description. More specifically, six articles defended their sample size on the basis of an intensive analysis of transcripts and/or the idiographic focus of the study/analysis. Four of these papers (BJHP02; BJHP19; BJHP24; BJHP47) adopted an Interpretative Phenomenological Analysis (IPA) approach.

본 연구에서는 각 참가자의 account을 탐색하기 위한 목적으로 10명의 표본을 사용했습니다(Smith et al., 1999). (BJHP19).
The current study employed a sample of 10 in keeping with the aim of exploring each participant’s account (Smith et al., 1999). (BJHP19).

BJHP47은 IPA 접근법 내에서 포화 개념을 명시적으로 포기했습니다. 다른 두 BJHP 논문은 주제 분석을 수행했습니다(BJHP34; BJHP38). 분석 수준 (즉, 피상적 인 설명 분석과 반대되는 잠재적 분석)은 개별 녹취록에 대한 집중적 인 분석이라는 주장과 함께 BJHP38에 의해 정당화로도 호출되었습니다.
BJHP47 explicitly renounced the notion of saturation within an IPA approach. The other two BJHP articles conducted thematic analysis (BJHP34; BJHP38). The level of analysis – i.e. latent as opposed to a more superficial descriptive analysis – was also invoked as a justification by BJHP38 alongside the argument of an intensive analysis of individual transcripts

그 결과 표본 크기는 주제별 분석에 사용되는 표본 크기 범위의 하위에 속했습니다(Braun & Clarke, 2013). 이는 각 녹취록에 대한 [상당한 성찰, 대화 및 시간을 확보하기 위한 것]으로, 피상적인 서술적 분석이 아닌 근본적인 아이디어를 파악하기 위해 사용된 [보다 잠재적인 수준의 분석]에 부합하는 것이었습니다(Braun & Clarke, 2006). (BJHP38).
The resulting sample size was at the lower end of the range of sample sizes employed in thematic analysis (Braun & Clarke, 2013). This was in order to enable significant reflection, dialogue, and time on each transcript and was in line with the more latent level of analysis employed, to identify underlying ideas, rather than a more superficial descriptive analysis (Braun & Clarke, 2006). (BJHP38).

마지막으로, 한 BMJ 논문(BMJ21)은 [분석 작업의 복잡성]을 언급하며 표본 규모를 옹호했습니다.
Finally, one BMJ paper (BMJ21) defended its sample size with reference to the complexity of the analytic task.

인터뷰의 깊이와 기간, 데이터의 풍부함, 분석 작업의 복잡성 때문에 30~35명의 인터뷰에 도달했을 때 모집을 중단했습니다. (BMJ21).
We stopped recruitment when we reached 30–35 interviews, owing to the depth and duration of interviews, richness of data, and complexity of the analytical task. (BMJ21).

샘플링 요건 충족
Meet sampling requirements

표본 추출 요건 충족(전체 정당화 이유 중 7.2%)은 두 개의 BMJ 논문과 네 개의 SHI 논문에서 표본 크기를 설명하기 위해 사용한 또 다른 논거였습니다. 특정 인터뷰 대상자 특성 측면에서 [최대 변동 샘플링을 달성]하는 것이 두 개의 BMJ 연구(BMJ02, BMJ16 - 연구 설계 요건 충족 섹션의 발췌문 참조)의 표본 규모를 결정하고 설명했습니다.
Meeting sampling requirements (7.2% of all justifications) was another argument employed by two BMJ and four SHI articles to explain their sample size. Achieving maximum variation sampling in terms of specific interviewee characteristics determined and explained the sample size of two BMJ studies (BMJ02; BMJ16 – see extract in section Meet research design requirements).

연령, 성별, 인종, 출석 빈도, 건강 상태의 다양성에 대한 샘플링 프레임 요건이 충족될 때까지 모집을 계속했습니다. (BMJ02).
Recruitment continued until sampling frame requirements were met for diversity in age, sex, ethnicity, frequency of attendance, and health status. (BMJ02).

SHI 논문과 관련하여 두 논문에서 표본 추출 전략에 근거하여 표본 수를 설명한 반면(SHI01-포화도 섹션의 발췌문 참조, SHI23), 한 논문에서는 [특정 관심 특성 측면에서 표본 이질성을 확보]하는 데 도움이 되는 표본 추출 요건이 인용되었습니다(SHI127).
Regarding the SHI articles, two papers explained their numbers on the basis of their sampling strategy (SHI01- see extract in section Saturation; SHI23) whilst sampling requirements that would help attain sample heterogeneity in terms of a particular characteristic of interest was cited by one paper (SHI127).

정량적 연구를 위한 모집 장소와 추가 목적 기준의 조합으로 104건의 2단계 인터뷰가 이루어졌습니다(인터넷(OLC): 21건, 인터넷(FTF): 20건, 체육관(FTF): 23건, HIV 검사(FTF): 20건, HIV 치료(FTF): 20건.). (SHI23).
The combination of matching the recruitment sites for the quantitative research and the additional purposive criteria led to 104 phase 2 interviews (Internet (OLC): 21; Internet (FTF): 20); Gyms (FTF): 23; HIV testing (FTF): 20; HIV treatment (FTF): 20.) (SHI23).

실시된 50건의 인터뷰 중 30건은 스페인어에서 영어로 번역되었습니다. 연구 결과를 도출한 이 30명은 우울증 증상과 교육 수준의 이질성을 고려하여 번역 대상으로 선정되었습니다. (SHI127).
Of the fifty interviews conducted, thirty were translated from Spanish into English. These thirty, from which we draw our findings, were chosen for translation based on heterogeneity in depressive symptomology and educational attainment. (SHI127).

마지막으로, 인터뷰 횟수를 정당화하는 데 사용되지는 않았지만 [표본 추출 요건에 따라 표본 크기를 미리 결정한 논문]이 한 편 있었습니다(SHI10).
Finally, the pre-determination of sample size on the basis of sampling requirements was stated by one article though this was not used to justify the number of interviews (SHI10).

표본 크기 가이드라인
Sample size guidelines

5개의 BJHP 논문(BJHP28, BJHP38 - 분석의 질 섹션의 발췌문 참조, BJHP46, BJHP47, BJHP50 - 포화도 섹션의 발췌문 참조)과 1개의 SHI 논문(SHI73)은 [기존의 표본 크기 가이드라인 또는 연구 전통 내 규범]을 인용하여 표본 크기를 결정하고 이를 정당화하는 데 의존했습니다(전체 정당화 사례의 7.2%).
Five BJHP articles (BJHP28; BJHP38 – see extract in section Qualities of the analysis; BJHP46; BJHP47; BJHP50 – see extract in section Saturation) and one SHI paper (SHI73) relied on citing existing sample size guidelines or norms within research traditions to determine and subsequently defend their sample size (7.2% of all justifications).

표본 크기 가이드라인에서는 20~30건의 인터뷰가 적절하다고 제시했습니다(Creswell, 1998). 면접관과 메모 작성자는 20번의 면접을 완료한 후 주제 포화 상태, 즉 후속 면접에서 새로운 개념이 나오지 않는 지점(Patton, 2002)에 도달했다는 데 동의했습니다. (BJHP28).
Sample size guidelines suggested a range between 20 and 30 interviews to be adequate (Creswell, 1998). Interviewer and note taker agreed that thematic saturation, the point at which no new concepts emerge from subsequent interviews (Patton, 2002), was achieved following completion of 20 interviews. (BJHP28).

데이터 포화(새로운 주제가 나오지 않는 지점)에 도달했다고 판단될 때까지 인터뷰를 계속했습니다. 연구자들은 반구조적 인터뷰 접근법을 사용할 때 이론적 포화 상태에 도달할 것으로 예상되는 대략적인 인터뷰 횟수 또는 실제 인터뷰 횟수로 30회를 제안했지만(Morse 2000), 이는 인터뷰 응답자의 이질성 및 탐구하는 문제의 복잡성에 따라 달라질 수 있습니다. (SHI73).
Interviewing continued until we deemed data saturation to have been reached (the point at which no new themes were emerging). Researchers have proposed 30 as an approximate or working number of interviews at which one could expect to be reaching theoretical saturation when using a semi-structured interview approach (Morse 2000), although this can vary depending on the heterogeneity of respondents interviewed and complexity of the issues explored. (SHI73).

기존 연구와 일치
In line with existing research

조사 대상 주제 분야의 출판 문헌의 표본 크기(전체 근거의 3.5%)는 2편의 BMJ 논문에서 자체 표본 크기를 결정하고 방어하기 위한 지침 및 선례로 사용되었습니다(BMJ08; BMJ15 - 실용적 고려 사항 섹션의 발췌문 참조).
Sample sizes of published literature in the area of the subject matter under investigation (3.5% of all justifications) were used by 2 BMJ articles as guidance and a precedent for determining and defending their own sample size (BMJ08; BMJ15 – see extract in section Pragmatic considerations).

연구 범위 내에서 데이터 포화도를 달성하고 충분한 후속 인터뷰를 진행하기 위해 매주 출소 예정인 수감자 목록에서 참가자를 추출하여 목표인 35건에 도달할 때까지 샘플링했으며, 이는 최근 연구[8-10]와 일치합니다. (BMJ08).
We drew participants from a list of prisoners who were scheduled for release each week, sampling them until we reached the target of 35 cases, with a view to achieving data saturation within the scope of the study and sufficient follow-up interviews and in line with recent studies [8–10]. (BMJ08).

마찬가지로 BJHP38(분석의 질 섹션의 발췌문 참조)은 표본 크기가 해당 분석 접근법을 사용하는 발표된 연구들의 표본 크기 범위 내에 있다고 주장했습니다.
Similarly, BJHP38 (see extract in section Qualities of the analysis) claimed that its sample size was within the range of sample sizes of published studies that use its analytic approach.

데이터의 풍부함 및 양
Richness and volume of data

BMJ21(분석의 질 섹션의 발췌문 참조)과 SHI32는 표본 크기의 충분성을 정당화하기 위해 수집된 데이터의 풍부함, 상세성, 양(전체 정당화 근거의 2.3%)을 언급했습니다.
BMJ21 (see extract in section Qualities of the analysis) and SHI32 referred to the richness, detailed nature, and volume of data collected (2.3% of all justifications) to justify the sufficiency of their sample size.

우편번호 추출을 통해 연락을 받은 잠재적 인터뷰 대상자가 더 많았음에도 불구하고 10차 인터뷰 이후에는 모집을 중단하고 이 표본 분석에 집중하기로 결정했습니다. 수집된 자료는 상당히 많았고, 연구의 집중적인 특성을 고려할 때 매우 상세했습니다. 또한 인터뷰 대상자들 사이에서 높은 수준의 합의가 이루어지기 시작했고, 어느 시점에서 '이론적 포화'에 도달했는지 또는 예외를 발견하기 위해 얼마나 많은 인터뷰가 필요한지 판단하기는 항상 어렵지만이 소규모 심층 조사의 목표를 충족시키기에 충분하다고 느꼈습니다 (Strauss and Corbin 1990). (SHI32).
Although there were more potential interviewees from those contacted by postcode selection, it was decided to stop recruitment after the 10th interview and focus on analysis of this sample. The material collected was considerable and, given the focused nature of the study, extremely detailed. Moreover, a high degree of consensus had begun to emerge among those interviewed, and while it is always difficult to judge at what point ‘theoretical saturation’ has been reached, or how many interviews would be required to uncover exception(s), it was felt the number was sufficient to satisfy the aims of this small in-depth investigation (Strauss and Corbin 1990). (SHI32).

연구 설계 요건 충족
Meet research design requirements

본 연구에서 채택한 연구 설계의 요건에 부합하는 표본 크기 결정(전체 정당화의 2.3%)은 2편의 BMJ 논문(BMJ16, BMJ08 - 기존 연구와 일치하는 섹션의 발췌문 참조)에서 사용된 또 다른 정당화였습니다.
Determination of sample size so that it is in line with, and serves the requirements of, the research design (2.3% of all justifications) that the study adopted was another justification used by 2 BMJ papers (BMJ16; BMJ08 – see extract in section In line with existing research).

우리는 다양한 사회적 배경과 인종, 다양한 유형의 자살 및 외상성 사망으로 인한 유가족으로 구성된 총 80명의 응답자[20]를 대상으로 다양하고 최대한의 표본을 확보하고자 했습니다. 다른 시점에 더 작은 표본을 인터뷰할 수도 있었지만(질적 종단 연구), 대신 수년 전에 유족이 된 사람과 최근에 유족이 된 사람, 다른 환경에 처한 유족과 고인과의 관계가 다른 유족, 영국의 다른 지역에 거주하는 사람, 다른 지원 시스템과 검시관 절차를 가진 사람들을 인터뷰하여 광범위한 경험을 추구하기로 결정했습니다(자세한 내용은 표 1과 2 참조). (BMJ16).
We aimed for diverse, maximum variation samples [20] totalling 80 respondents from different social backgrounds and ethnic groups and those bereaved due to different types of suicide and traumatic death. We could have interviewed a smaller sample at different points in time (a qualitative longitudinal study) but chose instead to seek a broad range of experiences by interviewing those bereaved many years ago and others bereaved more recently; those bereaved in different circumstances and with different relations to the deceased; and people who lived in different parts of the UK; with different support systems and coroners’ procedures (see Tables 1 and 2 for more details). (BMJ16).

연구자의 이전 경험
Researchers’ previous experience

연구자의 이전 경험(질적 연구 경험일 수 있음)은 BMJ15(실용적 고려 사항 섹션의 발췌문 참조)에서 표본 크기 결정의 근거로 사용되었습니다.
The researchers’ previous experience (possibly referring to experience with qualitative research) was invoked by BMJ15 (see extract in section Pragmatic considerations) as a justification for the determination of sample size.

연구의 성격
Nature of study

한 BJHP 논문에서는 표본 크기가 연구의 탐색적 성격에 적합하다고 주장했습니다(BJHP38).
One BJHP paper argued that the sample size was appropriate for the exploratory nature of the study (BJHP38).

이 연구의 탐구적 성격과 주제에 대한 근본적인 아이디어를 파악하는 데 중점을 두었기 때문에 8명의 참가자 표본이 적절한 것으로 간주되었습니다. (BJHP38).
A sample of eight participants was deemed appropriate because of the exploratory nature of this research and the focus on identifying underlying ideas about the topic. (BJHP38).

조사 결과의 일관성을 확인하기 위한 추가 샘플링
Further sampling to check findings consistency

마지막으로, SHI112는 담론 패턴의 포화 상태에 도달한 후, 연구 결과의 일관성을 확인하기 위해 추가 샘플링을 결정하고 수행했다고 주장했습니다.
Finally, SHI112 argued that once it had achieved saturation of discursive patterns, further sampling was decided and conducted to check for consistency of the findings.

연령별로 계층화된 각 그룹 내에서 담화 패턴의 포화 상태에 도달할 때까지 무작위로 인터뷰를 샘플링했습니다. 그 결과 67개의 인터뷰 샘플이 도출되었습니다. 이 샘플을 분석한 후, 연령별로 세분화된 각 그룹에서 무작위로 한 개의 인터뷰를 추가로 선정하여 조사 결과의 일관성을 확인했습니다. 이러한 접근 방식을 통해 주제 영역에서 '나', 주체성, 관계성, 권력에 대한 아동의 담론을 보다 주의 깊게 살펴볼 수 있었으며, 이 글에서 설명한 미묘한 담론적 변이를 발견할 수 있었습니다. (SHI112).
Within each of the age-stratified groups, interviews were randomly sampled until saturation of discursive patterns was achieved. This resulted in a sample of 67 interviews. Once this sample had been analysed, one further interview from each age-stratified group was randomly chosen to check for consistency of the findings. Using this approach it was possible to more carefully explore children’s discourse about the ‘I’, agency, relationality and power in the thematic areas, revealing the subtle discursive variations described in this article. (SHI112).

표본 크기를 논의하는 구절의 주제별 분석
Thematic analysis of passages discussing sample size

이 분석 결과 두 가지 중요한 주제 영역이 발견되었는데, 첫 번째는 표본 크기 충분성의 특징에 대한 변화, 두 번째는 표본 크기 부족으로 인한 인식된 위협과 관련된 것입니다.
This analysis resulted in two overarching thematic areas; the first concerned the variation in the characterisation of sample size sufficiency, and the second related to the perceived threats deriving from sample size insufficiency.

표본 크기 충분성의 특성
Characterisations of sample size sufficiency

분석 결과, 관련 의견과 논의를 제공한 논문에서 표본 크기에 대한 세 가지 주요 특징이 나타났습니다. 

• (a) 대다수의 질적 연구(n = 42)는 표본 크기가 '작다'고 간주하고 이를 한계로 보고 논의했으며, 두 논문만이 작은 표본 크기를 바람직하고 적절한 것으로 간주했습니다. 
• (b) 소수의 논문(n = 4)은 달성한 표본 크기가 '충분하다'고 선언했으며, 
• (c) 마지막으로 소수의 연구 그룹(n = 5)은 표본 크기가 '크다'고 특징짓고 있었습니다. 

'큰' 표본 크기를 달성하는 것이 보다 풍부한 결과를 도출할 수 있다는 점에서 긍정적으로 여겨지기도 했지만, 표본 크기가 큰 것이 바람직하기보다는 문제가 되는 경우도 있었습니다.
The analysis showed that there were three main characterisations of the sample size in the articles that provided relevant comments and discussion:

• (a) the vast majority of these qualitative studies (n = 42) considered their sample size as ‘small’ and this was seen and discussed as a limitation; only two articles viewed their small sample size as desirable and appropriate
• (b) a minority of articles (n = 4) proclaimed that their achieved sample size was ‘sufficient’; and
• (c) finally, a small group of studies (n = 5) characterised their sample size as ‘large’.

Whilst achieving a ‘large’ sample size was sometimes viewed positively because it led to richer results, there were also occasions when a large sample size was problematic rather than desirable.

'작다'고 하지만 왜 그리고 누구를 위한 것인가?
‘Small’ but why and for whom?

표본 크기가 '작다'고 명시한 다수의 논문은 암시적이거나 명시적인 정량적 기준 프레임워크에 반하는 결과를 초래했습니다. 흥미로운 점은 표본 크기로 데이터 포화도 또는 '이론적 충분성'을 달성했다고 주장한 3건의 연구에서 '작은' 표본 크기에 대해 논의하거나 한계로 지적했는데, 포화도의 질적 기준이 충족된 상황에서 [왜, 또는 누구를 위해 표본 크기가 작은 것으로 간주했는지에 대한 의문]을 가지게 한다.
A number of articles which characterised their sample size as ‘small’ did so against an implicit or explicit quantitative framework of reference. Interestingly, three studies that claimed to have achieved data saturation or ‘theoretical sufficiency’ with their sample size, discussed or noted as a limitation in their discussion their ‘small’ sample size, raising the question of why, or for whom, the sample size was considered small given that the qualitative criterion of saturation had been satisfied.

이번 연구에는 여러 가지 한계가 있습니다. 표본 크기가 작았고(n = 11), 새로운 주제가 나타나지 않을 만큼 충분히 컸습니다. (BJHP39).
The current study has a number of limitations. The sample size was small (n = 11) and, however, large enough for no new themes to emerge. (BJHP39).

이 연구에는 두 가지 주요 한계가 있습니다. 첫 번째는 연구에 참여한 응답자 수가 적다는 점입니다. (SHI73).
The study has two principal limitations. The first of these relates to the small number of respondents who took part in the study. (SHI73).

다른 기사들은 표본의 크기가 작기 때문에 (비대표성, 편향성, 자기 선택 등 다른 구성적 '결함'과 함께) 표본에 결함이 있음을 인정하고 받아들이거나, 표본 크기가 작다는 이유로 비판을 받을 수 있음을 예상하는 것처럼 보였습니다. [상상 속의 청중(아마도 리뷰어 또는 독자)]은 정량적 연구의 원칙을 고수하는 경향이 있는 사람으로, 작은 표본이 문제가 될 수 있다는 인식을 나타내는 것이 중요한 사람인 것 같았습니다. 표본이 작다는 것은 종종 후회나 사과의 담론으로 포장된 한계로 해석되기도 했습니다.
Other articles appeared to accept and acknowledge that their sample was flawed because of its small size (as well as other compositional ‘deficits’ e.g. non-representativeness, biases, self-selection) or anticipated that they might be criticized for their small sample size. It seemed that the imagined audience – perhaps reviewer or reader – was one inclined to hold the tenets of quantitative research, and certainly one to whom it was important to indicate the recognition that small samples were likely to be problematic. That one’s sample might be thought small was often construed as a limitation couched in a discourse of regret or apology.

간혹 작은 규모를 한계로 표현하는 것은 [실증주의 프레임워크와 정량적 연구를 지지하는 입장]에 명시적으로 부합하는 경우가 있었습니다.
Very occasionally, the articulation of the small size as a limitation was explicitly aligned against an espoused positivist framework and quantitative research.

이 연구에는 몇 가지 한계가 있습니다. 첫째, 100건의 사건 샘플은 매년 발생하는 전체 심각한 사건 중 극히 일부에 불과합니다.26 우리는 전국적으로 초대장을 보냈지만 더 많은 사람들이 연구에 자원하지 않은 이유를 알 수 없습니다. 그러나 의료 사고에 대한 역학적 지식이 부족하기 때문에 적절한 표본 규모를 결정하는 것은 여전히 어려운 일입니다. (BMJ20).
This study has some limitations. Firstly, the 100 incidents sample represents a small number of the total number of serious incidents that occurs every year.26 We sent out a nationwide invitation and do not know why more people did not volunteer for the study. Our lack of epidemiological knowledge about healthcare incidents, however, means that determining an appropriate sample size continues to be difficult. (BMJ20).

양적 세계와 질적 세계를 구분하는 다양한 요건과 프로토콜 사이에서 [질적 연구자들이 명백하게 오락가락하고 있음]을 나타내는 몇 가지 사례에서, '작은' 표본 크기를 한계로 잠시 인정한 후, 경험의 복잡성을 포착하고 관용적으로 탐구하는 능력과 성공, 특히 풍부한 데이터를 생성하는 등 보다 질적인 근거로 연구를 옹호하는 논문이 있었습니다.
Indicative of an apparent oscillation of qualitative researchers between the different requirements and protocols demarcating the quantitative and qualitative worlds, there were a few instances of articles which briefly recognised their ‘small’ sample size as a limitation, but then defended their study on more qualitative grounds, such as their ability and success at capturing the complexity of experience and delving into the idiographic, and at generating particularly rich data.

이 연구는 규모는 제한적이지만 소득과 물질적 상황에 관한 남성의 태도와 경험에 내재된 복잡성을 포착하려고 노력했습니다. (SHI35).
This research, while limited in size, has sought to capture some of the complexity attached to men’s attitudes and experiences concerning incomes and material circumstances. (SHI35).

소셜 네트워크에 대한 접근을 협상하는 것이 느리고 노동 집약적이기 때문에 우리의 숫자는 적지만, 우리의 방법은 매우 풍부한 데이터를 생성했습니다. (BMJ21).
Our numbers are small because negotiating access to social networks was slow and labour intensive, but our methods generated exceptionally rich data. (BMJ21).

이 연구는 대표성이 없는 소규모 표본을 사용했다는 비판을 받을 수 있습니다. 선탠에 관한 연구에서 노년층이 무시되어 왔고, 피부가 고운 노년층이 피부암을 경험할 가능성이 가장 높으며, 여성은 일광욕을 할 때 건강보다 외모를 우선시한다는 점을 고려할 때, 이번 연구는 연구적 관심이 매우 필요한 인구통계학적 그룹에 대한 깊이 있고 풍부한 데이터를 제공합니다. (SHI57).
This study could be criticised for using a small and unrepresentative sample. Given that older adults have been ignored in the research concerning suntanning, fair-skinned older adults are the most likely to experience skin cancer, and women privilege appearance over health when it comes to sunbathing practices, our study offers depth and richness of data in a demographic group much in need of research attention. (SHI57).

'충분히 좋은' 표본 크기
‘Good enough’ sample sizes

달성한 표본 크기가 충분하다고 어느 정도 [자신감을 표명한 논문]은 4개에 불과했습니다. 예를 들어, SHI139는 주제 포화도에 대한 정당성을 제시하면서 낮은 응답률에도 불구하고 표본 크기의 충분성에 대한 신뢰를 표명했습니다. 마찬가지로 표본 크기의 정당성을 제시하지 않은 BJHP04는 낮은 응답률이 예상되었기 때문에 결국 충분한 수의 인터뷰 대상자를 모집하기 위해 더 큰 표본 크기를 목표로 삼았다고 주장했습니다.
Only four articles expressed some degree of confidence that their achieved sample size was sufficient. For example, SHI139, in line with the justification of thematic saturation that it offered, expressed trust in its sample size sufficiency despite the poor response rate. Similarly, BJHP04, which did not provide a sample size justification, argued that it targeted a larger sample size in order to eventually recruit a sufficient number of interviewees, due to anticipated low response rate.

대상 모집단 133명 중 23명(즉, 17.3%)의 제1형 당뇨병 환자가 참여에 동의했지만 4명은 이후 추가 연락에 응답하지 않았습니다(총 N = 19). 해당 연령대의 젊은이들의 바쁜 라이프스타일, 지리적 제약, 반구조화된 인터뷰 참여에 필요한 시간으로 인해 상대적으로 낮은 응답률이 예상되었기 때문에 더 많은 대상 표본을 통해 충분한 수의 참가자를 모집할 수 있었습니다. (BJHP04).
Twenty-three people with type I diabetes from the target population of 133 (i.e. 17.3%) consented to participate but four did not then respond to further contacts (total N = 19). The relatively low response rate was anticipated, due to the busy life-styles of young people in the age range, the geographical constraints, and the time required to participate in a semi-structured interview, so a larger target sample allowed a sufficient number of participants to be recruited. (BJHP04).

다른 두 논문(BJHP35, SHI32)은 연구의 범위(즉, '소규모 심층 조사'), 목적 및 성격(즉, '탐색적')에 따라 충분하다고 주장한 표본 수를 연구의 특정 맥락과 연결시켰습니다. 그럼에도 불구하고 표본 크기가 충분하다는 주장은 표본 크기가 클수록 과학적으로 더 생산적이라는 인정과 병치될 때 때때로 약화되었습니다.
Two other articles (BJHP35; SHI32) linked the claimed sufficiency to the scope (i.e. ‘small, in-depth investigation’), aims and nature (i.e. ‘exploratory’) of their studies, thus anchoring their numbers to the particular context of their research. Nevertheless, claims of sample size sufficiency were sometimes undermined when they were juxtaposed with an acknowledgement that a larger sample size would be more scientifically productive.

이 탐색적 연구에는 표본 규모가 충분했지만, 사회경제적 지위가 낮고 인종적 다양성이 더 많은 참가자를 포함하여 더 다양한 표본을 확보하면 더 많은 정보를 얻을 수 있을 것입니다. 또한 표본이 더 크면 더 다양한 플랫폼에서 운영되는 더 많은 대표 앱을 포함할 수 있습니다. (BJHP35).
Although our sample size was sufficient for this exploratory study, a more diverse sample including participants with lower socioeconomic status and more ethnic variation would be informative. A larger sample could also ensure inclusion of a more representative range of apps operating on a wider range of platforms. (BJHP35).

'대규모' 표본 크기 - 약속인가 위험인가?
‘Large’ sample sizes - Promise or peril?

포화도에 대한 정당성을 제공한 세 논문(BMJ13, BJHP05, BJHP48)은 모두 표본 크기가 '크다'고 특징짓고, 이러한 불충분성이 더 풍부한 데이터와 연구 결과를 제공하고 일반화 가능성을 높인다는 긍정적인 측면을 설명했습니다. 그러나 일반화 유형(BJHP48)은 더 이상 명시되지 않았습니다. 
Three articles (BMJ13; BJHP05; BJHP48) which all provided the justification of saturation, characterised their sample size as ‘large’ and narrated this oversufficiency in positive terms as it allowed richer data and findings and enhanced the potential for generalisation. The type of generalisation aspired to (BJHP48) was not further specified however.

이 연구는 중요하지만 연구가 부족한 주제에 대해 비교적 많은 전문가 정보 제공자 표본이 제공한 풍부한 데이터를 사용했습니다. (BMJ13).
This study used rich data provided by a relatively large sample of expert informants on an important but under-researched topic. (BMJ13).

질적 연구는 환자의 관점에서 임상 문제를 이해할 수 있는 독특한 기회를 제공합니다. 이 연구는 다양한 지역에서 모집된 대규모의 다양한 표본을 사용했으며 심층 인터뷰를 통해 결과의 풍부함과 일반화 가능성을 높였습니다. (BJHP48).
Qualitative research provides a unique opportunity to understand a clinical problem from the patient’s perspective. This study had a large diverse sample, recruited through a range of locations and used in-depth interviews which enhance the richness and generalizability of the results. (BJHP48).

일부 질적 연구자들은 '큰' 표본 규모를 지지하고 중요하게 생각하지만, IPA의 심리학 전통에서는 '큰' 표본 규모는 규범에 반하는 것이므로 정당화될 필요가 있었습니다. IPA를 채택한 4건의 BJHP 연구는 모두 ['작은' 표본 크기의 적절성 또는 바람직성]을 표명하거나(BJHP41; BJHP45), 일반적인 표본 크기보다 더 큰 표본 크기를 포함하는 이유를 서둘러 설명했습니다(BJHP32; BJHP47). 예를 들어, 아래의 BJHP32는 IPA 연구에서 어떻게 큰 표본 크기를 수용할 수 있는지, 그리고 이것이 실제로 특정 연구 목적에 어떻게 적합한지에 대한 근거를 제공합니다. 비규범적 표본 크기 선택에 대한 설명을 강화하기 위해 유사한 표본 크기 접근법을 인용한 이전 IPA 연구를 선례로 사용합니다.
And whilst a ‘large’ sample size was endorsed and valued by some qualitative researchers, within the psychological tradition of IPA, a ‘large’ sample size was counter-normative and therefore needed to be justified. Four BJHP studies, all adopting IPA, expressed the appropriateness or desirability of ‘small’ sample sizes (BJHP41; BJHP45) or hastened to explain why they included a larger than typical sample size (BJHP32; BJHP47). For example, BJHP32 below provides a rationale for how an IPA study can accommodate a large sample size and how this was indeed suitable for the purposes of the particular research. To strengthen the explanation for choosing a non-normative sample size, previous IPA research citing a similar sample size approach is used as a precedent.

소규모 IPA 연구는 대규모 표본으로는 불가능한 심층 분석을 가능하게 합니다(Smith et al., 2009). (BJHP41).
Small scale IPA studies allow in-depth analysis which would not be possible with larger samples (Smith et al., 2009). (BJHP41).

IPA는 일반적으로 소수의 트랜스크립트를 집중적으로 조사하지만, 이번 연구는 (우리가 아는 한) 영국에서 이 집단에 대한 최초의 질적 연구이고 개요를 얻고자 했기 때문에 더 다양한 표본을 모집하기로 결정했습니다. 실제로 스미스, 플라워스, 라킨(2009)은 IPA가 대규모 집단에 적합하다는 데 동의합니다. 그러나 심층적인 개인주의적 분석에서 한 그룹의 사람들이 공유한 경험에서 공통된 주제를 도출하고 이를 통해 인터뷰에서 드러나는 주제 간의 관계망을 이해하는 데 사용할 수 있는 분석으로 강조점이 바뀝니다. 이 대규모 IPA 형식은 오탐 연구 분야의 다른 연구자들에 의해 사용되었습니다. 베일리, 스미스, 휴이슨, 메이슨(2000)은 24명의 참가자를 대상으로 염색체 이상에 대한 초음파 검사에 대한 IPA 연구를 수행했으며, 참가자의 수가 많을수록 더 정교하고 일관된 설명을 도출할 수 있다는 사실을 발견했습니다. (BJHP32).
Although IPA generally involves intense scrutiny of a small number of transcripts, it was decided to recruit a larger diverse sample as this is the first qualitative study of this population in the United Kingdom (as far as we know) and we wanted to gain an overview. Indeed, Smith, Flowers, and Larkin (2009) agree that IPA is suitable for larger groups. However, the emphasis changes from an in-depth individualistic analysis to one in which common themes from shared experiences of a group of people can be elicited and used to understand the network of relationships between themes that emerge from the interviews. This large-scale format of IPA has been used by other researchers in the field of false-positive research. Baillie, Smith, Hewison, and Mason (2000) conducted an IPA study, with 24 participants, of ultrasound screening for chromosomal abnormality; they found that this larger number of participants enabled them to produce a more refined and cohesive account. (BJHP32).

BJHP에서 발견된 IPA 논문은 '작은' 표본 규모를 옹호하고 '큰' 표본 규모를 문제 삼고 옹호한 유일한 사례입니다. 이러한 IPA 연구는 표본 크기 충분성의 특성화가 '객관적인' 표본 크기 평가의 결과라기보다는 연구자의 이론적, 인식론적 약속의 함수일 수 있음을 보여줍니다. 
The IPA articles found in the BJHP were the only instances where a ‘small’ sample size was advocated and a ‘large’ sample size problematized and defended. These IPA studies illustrate that the characterisation of sample size sufficiency can be a function of researchers’ theoretical and epistemological commitments rather than the result of an ‘objective’ sample size assessment.

표본 크기 불충분으로 인한 위협
Threats from sample size insufficiency

위에서 살펴본 바와 같이, 표본 크기에 대해 언급하는 대부분의 논문은 동시에 [표본 크기가 작고 문제가 있다]고 지적했습니다. 저자가 단순히 '작은' 표본 규모를 연구의 한계로 언급하는 것이 아니라 작은 표본 규모가 어떻게 그리고 왜 문제가 되는지에 대한 설명을 이어가는 경우, 연구의 두 가지 중요한 과학적 특성인 결과의 일반화 가능성과 타당성이 위협을 받는 것으로 보였습니다.
As shown above, the majority of articles that commented on their sample size, simultaneously characterized it as small and problematic. On those occasions that authors did not simply cite their ‘small’ sample size as a study limitation but rather continued and provided an account of how and why a small sample size was problematic, two important scientific qualities of the research seemed to be threatened: the generalizability and validity of results.

일반화 가능성
Generalizability

표본이 '작다'고 응답한 사람들은 이를 [결과의 일반화 가능성이 제한적이라는 점]과 연결지었습니다. 표본과 관련된 다른 특징들(종종 일종의 구성적 특수성)도 [일반화 가능성의 제한]과 관련이 있었습니다. 논문에서 어떤 형태의 일반화를 언급했는지 항상 명시적으로 표현된 것은 아니지만(BJHP09 참조), 일반화는 대부분 명목상의 개념, 즉 표본에서 더 넓은 연구 집단('대표성 일반화' - BJHP31 참조)으로 추론할 수 있는 가능성과 관련된 것이었고 다른 집단이나 문화에 대한 일반화는 덜 자주 언급되었습니다. 
Those who characterised their sample as ‘small’ connected this to the limited potential for generalization of the results. Other features related to the sample – often some kind of compositional particularity – were also linked to limited potential for generalisation. Though not always explicitly articulated to what form of generalisation the articles referred to (see BJHP09), generalisation was mostly conceived in nomothetic terms, that is, it concerned the potential to draw inferences from the sample to the broader study population (‘representational generalisation’ – see BJHP31) and less often to other populations or cultures.

표본이 적고 두 그룹 모두 대상 여성의 대다수가 참여했지만 일반화 가능성을 가정할 수 없다는 점에 유의해야 합니다. (BJHP09).
It must be noted that samples are small and whilst in both groups the majority of those women eligible participated, generalizability cannot be assumed. (BJHP09).

이 연구의 한계를 인정해야 합니다: 상대적으로 소수의 참가자와의 인터뷰를 통해 얻은 데이터이므로 모든 환자와 임상의에게 일반화할 수 있는 것은 아닙니다. 특히 환자는 일반적으로 COFP 진단이 확인되는 2차 진료 서비스에서만 모집되었습니다. 따라서 이 표본은 전체 환자, 특히 치과 서비스에 의뢰되지 않았거나 퇴원한 환자를 대표하지 않을 가능성이 높습니다. (BJHP31).
The study’s limitations should be acknowledged: Data are presented from interviews with a relatively small group of participants, and thus, the views are not necessarily generalizable to all patients and clinicians. In particular, patients were only recruited from secondary care services where COFP diagnoses are typically confirmed. The sample therefore is unlikely to represent the full spectrum of patients, particularly those who are not referred to, or who have been discharged from dental services. (BJHP31).

일반화라는 용어를 명시적으로 사용하지 않았지만, 두 개의 SHI 논문은 '작은' 표본 크기가 '참여자의 설명으로부터 추정할 수 있는 범위'(SHI114) 또는 '결과로부터 광범위한 결론을 도출할 수 있는 가능성'(SHI124)에 제한을 가한다고 언급했습니다.
Without explicitly using the term generalisation, two SHI articles noted how their ‘small’ sample size imposed limits on ‘the extent that we can extrapolate from these participants’ accounts’ (SHI114) or to the possibility ‘to draw far-reaching conclusions from the results’ (SHI124).

흥미롭게도 소수의 논문만이 [질적 연구와 일치하는 일반화 유형], 즉 [관용적 일반화](즉, 사례로부터 그리고 사례에 대해 만들 수 있는 일반화[5])를 암시하거나 언급했습니다. 모두 사회학 분야에 발표된 이 논문들은 '작은' 규모에도 불구하고 다른 맥락에 대한 논리적, 개념적 추론을 이끌어내고 지식을 발전시킬 수 있는 잠재력을 가진 이해를 생성할 수 있다는 측면에서 연구 결과를 옹호했습니다. 한 논문(SHI139)은 [명목적(통계적) 일반화]와 [관용적 일반화]를 명확하게 대조하면서, 통계적 일반화 가능성이 부족하다고 해서 질적 연구의 연구 표본을 넘어서는 관련성이 무효화되지는 않는다고 주장했습니다.
Interestingly, only a minority of articles alluded to, or invoked, a type of generalisation that is aligned with qualitative research, that is, idiographic generalisation (i.e. generalisation that can be made from and about cases [5]). These articles, all published in the discipline of sociology, defended their findings in terms of the possibility of drawing logical and conceptual inferences to other contexts and of generating understanding that has the potential to advance knowledge, despite their ‘small’ size. One article (SHI139) clearly contrasted nomothetic (statistical) generalisation to idiographic generalisation, arguing that the lack of statistical generalizability does not nullify the ability of qualitative research to still be relevant beyond the sample studied.

또한 이러한 데이터는 의료화 분석을 발전시킬 수 있는 추론을 도출하기 위해 통계적으로 일반화할 수 있는 데이터일 필요는 없습니다(Charmaz 2014). 이러한 데이터는 추가적인 가설을 생성할 수 있는 기회로 볼 수 있으며 의료화 프레임워크의 고유한 적용입니다. (SHI139).
Further, these data do not need to be statistically generalisable for us to draw inferences that may advance medicalisation analyses (Charmaz 2014). These data may be seen as an opportunity to generate further hypotheses and are a unique application of the medicalisation framework. (SHI139).

이 분석은 학교 상담과 관련된 소규모 질적 연구이지만 청소년의 정신 건강 관련 자원의 성공적인 활용에 대한 사례 연구로 유용하게 간주 될 수 있습니다. 탐구된 많은 문제가 보다 일반적으로 정신건강 낙인과 관련이 있기 때문에 성인의 서비스 참여에 대한 통찰력도 제공할 수 있습니다. 포지셔닝 이론을 사용하여 사람들이 정신 건강 문제와 관련하여 낙인을 협상하고 부분적으로 받아들이고 동시에 저항하는 방법을 조사하는 사회학적 분석이 정신 건강 서비스 격차를 유지하고 해소할 수 있는 사회적 과정과 내러티브 구성을 설명하는 데 어떻게 기여할 수 있는지를 보여줍니다. (SHI103).
Although a small-scale qualitative study related to school counselling, this analysis can be usefully regarded as a case study of the successful utilisation of mental health-related resources by adolescents. As many of the issues explored are of relevance to mental health stigma more generally, it may also provide insights into adult engagement in services. It shows how a sociological analysis, which uses positioning theory to examine how people negotiate, partially accept and simultaneously resist stigmatisation in relation to mental health concerns, can contribute to an elucidation of the social processes and narrative constructions which may maintain as well as bridge the mental health service gap. (SHI103).

단 한 편의 논문(SHI30)에서만 [전이성]이라는 용어를 사용하여 결과의 더 넓은 관련성 가능성을 주장했는데, 이는 표본의 크기보다는 표본 구성(즉, 다양한 표본)의 산물이라고 생각됩니다.
Only one article (SHI30) used the term transferability to argue for the potential of wider relevance of the results which was thought to be more the product of the composition of the sample (i.e. diverse sample), rather than the sample size.

타당성
Validity

'작은' 표본 크기로 인해 발생한 두 번째 주요 우려는 연구 결과의 [내적 타당성(여기서 이 용어는 연구 결과의 '진실성' 또는 신뢰성을 나타내는 데 사용됨)]과 관련이 있습니다. 저자들은 연구 결과의 특정 측면이나 패턴에 대한 신뢰도에 대해 불확실성을 표명했는데, 주로 관련 참가자 특성에 따른 어떤 형태의 차별화와 관련된 것이었습니다.
The second major concern that arose from a ‘small’ sample size pertained to the internal validity of findings (i.e. here the term is used to denote the ‘truth’ or credibility of research findings). Authors expressed uncertainty about the degree of confidence in particular aspects or patterns of their results, primarily those that concerned some form of differentiation on the basis of relevant participant characteristics.

선호하는 정보 출처는 부모의 교육 수준에 따라 달라지는 것으로 보였으나, 표본 크기가 너무 작아 이러한 패턴에 대한 결론을 도출하기는 어려웠습니다. (SHI80).
The information source preferred seemed to vary according to parents’ education; however, the sample size is too small to draw conclusions about such patterns. (SHI80).

표본 수가 너무 적어 성별 차이를 확실하게 입증하기는 어려웠지만, 남성의 계정에서는 생의학 및 에로틱한 스크립트가, 여성의 계정에서는 관계적인 스크립트가 더 흔한 것으로 보입니다. (SHI81).
Although our numbers were too small to demonstrate gender differences with any certainty, it does seem that the biomedical and erotic scripts may be more common in the accounts of men and the relational script more common in the accounts of women. (SHI81).

다른 사례에서는 연구 결과가 조사 대상 현상의 전체 스펙트럼과 변이를 설명하는지 여부에 대해 불확실성을 표명하는 기사도 있었습니다. 즉, '작은' 표본 크기(통계적으로 대표적이지 않은 표본과 같은 구성적 '결함'과 함께)가 결과의 '내용 타당성'을 위협하는 것으로 간주되어 연구 결론을 잠정적인 것으로 구성하게 된 것입니다.
In other instances, articles expressed uncertainty about whether their results accounted for the full spectrum and variation of the phenomenon under investigation. In other words, a ‘small’ sample size (alongside compositional ‘deficits’ such as a not statistically representative sample) was seen to threaten the ‘content validity’ of the results which in turn led to constructions of the study conclusions as tentative.

데이터 수집은 새로운 정보를 얻지 못했을 때(즉, 포화 지점)가 아니라 실용적인 이유로 중단되었습니다. 따라서 연구 결과를 과장하지 않도록 주의해야 합니다. 초기 인터뷰의 주제가 이후 인터뷰에서도 반복되는 것처럼 보였지만, 추가 인터뷰를 통해 추가 주제가 확인되거나 더 미묘한 설명이 제공되었을 수 있습니다. (BJHP53).
Data collection ceased on pragmatic grounds rather than when no new information appeared to be obtained (i.e., saturation point). As such, care should be taken not to overstate the findings. Whilst the themes from the initial interviews seemed to be replicated in the later interviews, further interviews may have identified additional themes or provided more nuanced explanations. (BJHP53).

...이 연구는 결혼 생활을 지속하고 있는 부부 중 자체적으로 선택한 소수의 표본을 기반으로 한 것으로, 전체 인구를 대표하지 않는다는 점을 인정해야 합니다. 따라서 참가자들이 산후 외상 후 스트레스 장애를 경험하는 부부를 대표하지 않을 수 있습니다. 따라서 모든 주요 주제가 확인되고 탐구되지 않았을 가능성이 있습니다. 예를 들어, 남성 파트너가 참여를 거부하여 연구에서 제외 된 부부는 대인 관계에 더 큰 어려움을 겪고 있었을 수 있습니다. (BJHP03).
…it should be acknowledged that this study was based on a small sample of self-selected couples in enduring marriages who were not broadly representative of the population. Thus, participants may not be representative of couples that experience postnatal PTSD. It is therefore unlikely that all the key themes have been identified and explored. For example, couples who were excluded from the study because the male partner declined to participate may have been experiencing greater interpersonal difficulties. (BJHP03).

표본 규모가 '작다'는 사실을 인지했음에도 불구하고 연구 결과의 신뢰성을 어느 정도 유지하려고 시도한 논문도 있었습니다. 새로운 주제의 명확성과 선명성, 이전의 관련 연구와의 일치성 등이 결과의 타당성을 보증하기 위해 사용된 논거였습니다.
In other instances, articles attempted to preserve a degree of credibility of their results, despite the recognition that the sample size was ‘small’. Clarity and sharpness of emerging themes and alignment with previous relevant work were the arguments employed to warrant the validity of the results.

이 연구는 정서 장애 환자의 영국계 중국인 간병인을 대상으로 질적 방법론을 사용하여 이 커뮤니티 내에서 질병에 대한 사회문화적 표현을 종합하는 데 중점을 두었습니다. 작은 표본 규모에도 불구하고 이 탐색적 조사에 충분한 내러티브에서 명확한 주제가 나타났습니다. (SHI98).
This study focused on British Chinese carers of patients with affective disorders, using a qualitative methodology to synthesise the sociocultural representations of illness within this community. Despite the small sample size, clear themes emerged from the narratives that were sufficient for this exploratory investigation. (SHI98).

본 연구는 건강 관련 연구에서 질적 표본 크기가 어떻게 특징화되고 정당화되는지 살펴보고자 했습니다. 이전 연구[22, 30, 33, 34]와 마찬가지로 본 연구 결과는 표본 크기의 충분성에 대한 보고가 제한적이라는 것을 보여줍니다. BMJ와 BJHP의 논문 중 50% 이상, SHI의 82%는 [표본 크기의 정당성을 제공하지 않았습니다]. 표본 크기의 정당성을 제공하는 것은 수행된 인터뷰의 수와는 관련이 없었지만, 논문이 게재된 저널과 관련이 있었으며, 이는 선행 연구[30]에서도 보고된 바 있는 징계 또는 출판 규범의 영향을 나타냅니다. 대부분의 질적 연구자들이 표본 크기의 충분성이 연구의 질을 나타내는 중요한 지표라는 데 동의한다는 점을 고려할 때, [표본 크기의 충분성에 대한 투명성 부족]은 문제가 됩니다[56, 57]. 또한 사회과학 분야에서 질적 연구가 증가함에 따라 기존 증거를 종합하고 그 품질을 평가하려는 노력이 부실한 보고로 인해 방해를 받고 있습니다[58, 59]. 
The present study sought to examine how qualitative sample sizes in health-related research are characterised and justified. In line with previous studies [22, 30, 33, 34] the findings demonstrate that reporting of sample size sufficiency is limited; just over 50% of articles in the BMJ and BJHP and 82% in the SHI did not provide any sample size justification. Providing a sample size justification was not related to the number of interviews conducted, but it was associated with the journal that the article was published in, indicating the influence of disciplinary or publishing norms, also reported in prior research [30]. This lack of transparency about sample size sufficiency is problematic given that most qualitative researchers would agree that it is an important marker of quality [56, 57]. Moreover, and with the rise of qualitative research in social sciences, efforts to synthesise existing evidence and assess its quality are obstructed by poor reporting [58, 59].

저자들이 표본 크기를 정당화할 때, 연구 결과에 따르면 [표본 크기 결정에 대한 일반적인 조언]과 일치하여 [연구에 내재된 특징을 기준]으로 [충분성을 평가]하는 경우가 대부분이었습니다[4, 11, 36].

• 포화의 원칙은 전체 정당화의 55%를 차지하며 가장 일반적으로 호출된 논거였습니다[22]. 포화라는 용어의 의미가 확산되고[49] 포화에 대한 다양한 기본 개념 또는 모델이 반영되는 것을 입증하는 다양한 변형이 분명히 존재했습니다[20]. 그럼에도 불구하고, [포화 상태에 대한 주장]은 [연구 자체에서 수행된 절차]와 관련하여 입증되지 않았으며, 이는 문헌에서 유사한 관찰을 뒷받침합니다 [25, 30, 47]. 포화 상태에 대한 주장은 때때로 다른 문헌의 인용으로 뒷받침되었는데, 이는 당면한 연구의 특성에서 벗어나 개념을 제거했음을 시사합니다.
• 자원 제약이나 참여자 응답률 및 가용성과 같은 [실용적 고려사항]은 두 번째로 많이 사용된 주장으로 정당화의 약 10%를 차지했으며, 정당화의 23%는 연구의 본질적 특성(예: 분석의 질, 샘플링 또는 연구 설계 요건 충족, 얻은 데이터의 풍부함과 양, 연구의 성격, 결과 일관성을 확인하기 위한 추가 샘플링)을 나타냈습니다.

When authors justified their sample size, our findings indicate that sufficiency was mostly appraised with reference to features that were intrinsic to the study, in agreement with general advice on sample size determination [4, 11, 36]. 

• The principle of saturation was the most commonly invoked argument [22] accounting for 55% of all justifications. A wide range of variants of saturation was evident corroborating the proliferation of the meaning of the term [49] and reflecting different underlying conceptualisations or models of saturation [20]. Nevertheless, claims of saturation were never substantiated in relation to procedures conducted in the study itself, endorsing similar observations in the literature [25, 30, 47]. Claims of saturation were sometimes supported with citations of other literature, suggesting a removal of the concept away from the characteristics of the study at hand.
• Pragmatic considerations, such as resource constraints or participant response rate and availability, was the second most frequently used argument accounting for approximately 10% of justifications and another 23% of justifications also represented intrinsic-to-the-study characteristics (i.e. qualities of the analysis, meeting sampling or research design requirements, richness and volume of the data obtained, nature of study, further sampling to check findings consistency).

표본 크기의 정당성에 대한 언급 중 12%만이 기존 표본 크기 가이드라인과 선례를 제시하는 선행 연구 등 [현재 진행 중인 연구와 무관한 외부 논거와 관련된 것]이었습니다.

• [커뮤니티 규범]과 [선행 연구]는 표본 크기 추정에 유용한 경험 법칙을 수립할 수 있고[60], 연구 커뮤니티 내에서 어떤 크기가 수용될 가능성이 높은지 알려주지만, 연구자는 특히 그러한 가이드라인[예: 30, 35]이 표본 크기의 충분성에 대한 적절한 증거를 제공하지 않는 연구에 근거할 수 있는 경우 이러한 [규범을 무비판적으로 채택하는 것]을 피해야 합니다.
• 마찬가지로, [포화 달성을 입증하려는 방법론적 연구]는 포화도가 결정되는 매개변수를 설명하고 연구 프로젝트에 더 작은 또는 더 큰 표본이 필요한 시기를 알려주기 때문에 매우 중요하지만[예: 29], 이러한 프로젝트에서 포화가 달성된 구체적인 수치가 다른 프로젝트에 대해 루틴으로 추정될 수 없습니다.

Only, 12% of mentions of sample size justification pertained to arguments that were external to the study at hand, in the form of existing sample size guidelines and prior research that sets precedents.

• Whilst community norms and prior research can establish useful rules of thumb for estimating sample sizes [60] – and reveal what sizes are more likely to be acceptable within research communities – researchers should avoid adopting these norms uncritically, especially when such guidelines [e.g. 30, 35], might be based on research that does not provide adequate evidence of sample size sufficiency.
• Similarly, whilst methodological research that seeks to demonstrate the achievement of saturation is invaluable since it explicates the parameters upon which saturation is contingent and indicates when a research project is likely to require a smaller or a larger sample [e.g. 29], specific numbers at which saturation was achieved within these projects cannot be routinely extrapolated for other projects.

우리는 [당면한 연구의 특성을 고려하는 것]이 표본 크기를 결정하고 그 충분성을 평가하는 주요 지침이 되어야 한다는 기존 견해에 동의합니다[11, 36].

• 인식론적 및 이론적 접근 방식,
• 조사 대상 현상의 특성,
• 연구의 목적과 범위,
• 데이터의 질과 풍부성,
• 연구자의 질적 연구 수행 경험과 기술 등 

We concur with existing views [11, 36] that the consideration of the characteristics of the study at hand, such as

• the epistemological and theoretical approach,
• the nature of the phenomenon under investigation,
• the aims and scope of the study,
• the quality and richness of data, or
• the researcher’s experience and skills of conducting qualitative research,

...should be the primary guide in determining sample size and assessing its sufficiency.

또한 질적 연구에서 숫자가 중요하지 않은 것은 아니지만[61], [표본 크기는 단독으로 고려되어서는 안 되며], [데이터 적절성]에 대한 보다 포괄적인 검토에 포함되어야 합니다[56, 57]. 에릭슨[62]의 '증거적 적절성' 차원이 여기에 유용합니다. 그는 아래 측면에서 이 개념을 설명합니다. 

• 증거의 적절한 양, 
• 증거의 적절한 다양성, 
• 증거의 적절한 해석 상태,
• 적절한 불일치하는 증거, 
• 불일치하는 사례 분석의 적절성 

모든 질적 연구 설계에서 모든 차원이 관련성이 있는 것은 아니지만, 이는 표본 규모를 넘어 데이터 적절성 개념의 두께를 보여줍니다.
Moreover, although numbers in qualitative research are not unimportant [61], sample size should not be considered alone but be embedded in the more encompassing examination of data adequacy [56, 57]. Erickson’s [62] dimensions of ‘evidentiary adequacy’ are useful here. He explains the concept in terms of

• adequate amounts of evidence,
• adequate variety in kinds of evidence,
• adequate interpretive status of evidence,
• adequate disconfirming evidence, and
• adequate discrepant case analysis.

All dimensions might not be relevant across all qualitative research designs, but this illustrates the thickness of the concept of data adequacy, taking it beyond sample size.

본 연구는 또한 표본 크기가 일반적으로 '작고' 불충분한 것으로 간주되어 한계로 논의되는 것을 보여주었습니다. 종종 정당화되지 않는(그리고 두 사례에서는 포화 상태라는 자체 주장과 모순되는) 이러한 결과는 질적 건강 연구에서 표본 크기가 [암묵적이지만 만연한 준정량적 관점]에 따라 부정적으로 판단(또는 판단될 것으로 예상)되는 경우가 많다는 것을 시사합니다. 실제로 우리 데이터에서 저자가 검토자의 요청에 따라 자신의 [연구 결과를 정량화하는 데 거부감을 드러낸 사례]가 몇 차례 있었습니다. 이러한 암묵적인 기준점은 저자들이 불충분한 표본 크기로 인한 위협에 대해 논의할 때 더욱 분명해졌습니다. 실재주의와 밀접한 관련이 있는 질적 연구 프로젝트가 충분한 폭과 깊이로 현상을 조사하도록 설정되어 있다는 점에서 [내적 타당성에 대한 우려]는 타당할 수 있지만, [일반화 가능성에 대한 우려]는 의도적인 표본 추출과 양립할 수 없는 개념화를 드러냈습니다. 표본 크기가 작기 때문에 일반화 가능성이 제한적이라는 점은 종종 명목상의 통계적 용어로 논의되었습니다. 연구 결과의 가치를 보증하기 위해 분석적 또는 관용적 일반화가 사용된 경우는 드물었습니다[5, 17].
The present research also demonstrated that sample sizes were commonly seen as ‘small’ and insufficient and discussed as limitation. Often unjustified (and in two cases incongruent with their own claims of saturation) these findings imply that sample size in qualitative health research is often adversely judged (or expected to be judged) against an implicit, yet omnipresent, quasi-quantitative standpoint. Indeed there were a few instances in our data where authors appeared, possibly in response to reviewers, to resist to some sort of quantification of their results. This implicit reference point became more apparent when authors discussed the threats deriving from an insufficient sample size.

• Whilst the concerns about internal validity might be legitimate to the extent that qualitative research projects, which are broadly related to realism, are set to examine phenomena in sufficient breadth and depth, the concerns around generalizability revealed a conceptualisation that is not compatible with purposive sampling.

The limited potential for generalisation, as a result of a small sample size, was often discussed in nomothetic, statistical terms. Only occasionally was analytic or idiographic generalisation invoked to warrant the value of the study’s findings [5, 17].

본 연구의 강점과 한계
Strengths and limitations of the present study

첫째, 검토한 건강 관련 저널의 수가 제한되어 있어 질적 건강 연구의 '스냅샷'만을 포착했다는 점에 유의해야 합니다. 다른 학문 분야(예: 간호학)와 학제 간 저널을 검토하면 본 분석 결과에 더 많은 내용이 추가될 수 있습니다. 그럼에도 불구하고 본 연구는 실증주의의 유산에 대한 애착이 다른 학문 분야를 기반으로 비교 통찰력을 제공하고, 15년이라는 긴 기간에 걸쳐 출판된 문헌을 분석한 최초의 연구입니다. 게터만[27]도 건강 관련 문헌을 조사했지만 이 분석은 5년 동안 가장 많이 인용된 26개의 논문으로 제한되었고, 칼슨과 글렌튼[22]의 연구는 포커스 그룹 건강 연구에 집중했습니다. 또한, 논문의 인식론적 및 이론적 입장과 관련하여 표본 크기의 정당성을 검토하고자 했으나, 관련 정보가 없거나 논문의 입장을 명확히 파악하고[63] 특정 접근 방식(예: 서로 다른 이론적 및 인식론적 전통의 요소를 결합한 연구)에 따라 분류하는 데 어려움이 있었기 때문에 이 작업이 어려웠습니다. 이러한 분석은 표본 크기라는 방법론적 문제를 연구의 광범위한 철학적 입장과 연결시켜 유용한 통찰력을 얻을 수 있다고 생각합니다. 이러한 한계에도 불구하고, 표본 크기의 특징과 불충분한 표본 크기로 인해 발생할 수 있는 위협에 대한 분석은 표본 크기의 (내)충분성 논증에 대한 우리의 이해를 연구의 다른 특징과 연결함으로써 풍부하게 해줍니다. 동료 심사 과정이 점점 더 공개됨에 따라, 향후 연구에서는 표본 크기의 충분성과 데이터의 적절성에 관한 보고가 저자와 심사자 간의 상호작용에 어떤 영향을 받을 수 있는지에 대해 유용하게 검토할 수 있을 것입니다. 
We note, first, the limited number of health-related journals reviewed, so that only a ‘snapshot’ of qualitative health research has been captured. Examining additional disciplines (e.g. nursing sciences) as well as inter-disciplinary journals would add to the findings of this analysis. Nevertheless, our study is the first to provide some comparative insights on the basis of disciplines that are differently attached to the legacy of positivism and analysed literature published over a lengthy period of time (15 years). Guetterman [27] also examined health-related literature but this analysis was restricted to 26 most highly cited articles published over a period of five years whilst Carlsen and Glenton’s [22] study concentrated on focus groups health research. Moreover, although it was our intention to examine sample size justification in relation to the epistemological and theoretical positions of articles, this proved to be challenging largely due to absence of relevant information, or the difficulty into discerning clearly articles’ positions [63] and classifying them under specific approaches (e.g. studies often combined elements from different theoretical and epistemological traditions). We believe that such an analysis would yield useful insights as it links the methodological issue of sample size to the broader philosophical stance of the research. Despite these limitations, the analysis of the characterisation of sample size and of the threats seen to accrue from insufficient sample size, enriches our understanding of sample size (in)sufficiency argumentation by linking it to other features of the research. As the peer-review process becomes increasingly public, future research could usefully examine how reporting around sample size sufficiency and data adequacy might be influenced by the interactions between authors and reviewers.

지난 10년 동안 질적 연구 분야에서 표본 크기 결정과 표본 크기의 충분성 평가에 대한 증거 기반 접근 방식에 대한 욕구가 커졌습니다. 이 분야의 개념적, 방법론적 발전에도 불구하고, 본 연구의 결과는 표본 크기의 충분성에 대한 평가가 부재하거나 제대로 입증되지 않았다는 결론을 내린 이전 연구를 확인시켜 줍니다. 보건 관련 과학에서 질적 연구에 대한 더 많은 인식을 장려하는 고품질 연구를 보장하고 유지하기 위해[64], 우리는 질적 연구자들이 데이터 적절성 평가의 일부로 표본 규모를 더욱 투명하고 철저하게 평가해야 한다고 주장합니다. [당면한 연구를 면밀히 참조]하여 [표본 크기의 충분성을 평가]하는 관행을 권장하며, 따라서 이 분야에서 증가하는 방법론적 연구에 [표본 크기의 수치적 지침, 규범 및 원칙]을 [탈맥락적으로 적용하여 대응하는 것]을 경계합니다. 

• [표본 크기 커뮤니티 규범]이 유용한 경험 법칙으로 작용할 수 있지만, 방법론적 지식을 활용하여 표본 크기의 충분성에 영향을 미치는 포화 및 기타 매개변수가 [특정 프로젝트의 세부 사항]과 어떻게 관련되는지 비판적으로 고려할 것을 권장합니다. 
• [논문을 검토하는 사람들]은 투명한 연구별 보고를 장려하는 데 중요한 역할을 합니다. 
• [검토 프로세스]는 저자가 표본 크기 충분성에 영향을 미치는 다양한 요인과 특정 연구의 특성을 고려하여 표본 크기 결정에 대한 결정을 내릴 때 미묘한 판단을 내릴 수 있도록 지원해야 합니다. 

이 분야의 방법론적 근거가 점점 더 많아지고 있는 상황에서 이러한 근거에 기반한 판단을 투명하게 제시하는 것은 매우 중요하며, 시간이 지나면 질적 표본의 '작은' 크기를 연구의 한계로 인용하는 일상적인 관행이 사라지게 될 것입니다.

The past decade has seen a growing appetite in qualitative research for an evidence-based approach to sample size determination and to evaluations of the sufficiency of sample size. Despite the conceptual and methodological developments in the area, the findings of the present study confirm previous studies in concluding that appraisals of sample size sufficiency are either absent or poorly substantiated. To ensure and maintain high quality research that will encourage greater appreciation of qualitative work in health-related sciences [64], we argue that qualitative researchers should be more transparent and thorough in their evaluation of sample size as part of their appraisal of data adequacy. We would encourage the practice of appraising sample size sufficiency with close reference to the study at hand and would thus caution against responding to the growing methodological research in this area with a decontextualised application of sample size numerical guidelines, norms and principles.

• Although researchers might find sample size community norms serve as useful rules of thumb, we recommend methodological knowledge is used to critically consider how saturation and other parameters that affect sample size sufficiency pertain to the specifics of the particular project.
• Those reviewing papers have a vital role in encouraging transparent study-specific reporting.
• The review process should support authors to exercise nuanced judgments in decisions about sample size determination in the context of the range of factors that influence sample size sufficiency and the specifics of a particular study.

In light of the growing methodological evidence in the area, transparent presentation of such evidence-based judgement is crucial and in time should surely obviate the seemingly routine practice of citing the ‘small’ size of qualitative samples among the study limitations.

Background: Choosing a suitable sample size in qualitative research is an area of conceptual debate and practical uncertainty. That sample size principles, guidelines and tools have been developed to enable researchers to set, and justify the acceptability of, their sample size is an indication that the issue constitutes an important marker of the quality of qualitative research. Nevertheless, research shows that sample size sufficiency reporting is often poor, if not absent, across a range of disciplinary fields.

Methods: A systematic analysis of single-interview-per-participant designs within three health-related journals from the disciplines of psychology, sociology and medicine, over a 15-year period, was conducted to examine whether and how sample sizes were justified and how sample size was characterised and discussed by authors. Data pertinent to sample size were extracted and analysed using qualitative and quantitative analytic techniques.

Results: Our findings demonstrate that provision of sample size justifications in qualitative health research is limited; is not contingent on the number of interviews; and relates to the journal of publication. Defence of sample size was most frequently supported across all three journals with reference to the principle of saturation and to pragmatic considerations. Qualitative sample sizes were predominantly - and often without justification - characterised as insufficient (i.e., 'small') and discussed in the context of study limitations. Sample size insufficiency was seen to threaten the validity and generalizability of studies' results, with the latter being frequently conceived in nomothetic terms.

Conclusions: We recommend, firstly, that qualitative health researchers be more transparent about evaluations of their sample size sufficiency, situating these within broader and more encompassing assessments of data adequacy. Secondly, we invite researchers critically to consider how saturation parameters found in prior methodological studies and sample size community norms might best inform, and apply to, their own project and encourage that data adequacy is best appraised with reference to features that are intrinsic to the study at hand. Finally, those reviewing papers have a vital role in supporting and encouraging transparent study-specific reporting.

Saturation is a core guiding principle to determine sample sizes in qualitative research, yet little methodological research exists on parameters that influence saturation. Our study compared two approaches to assessing saturation: code saturation and meaning saturation. We examined sample sizes needed to reach saturation in each approach, what saturation meant, and how to assess saturation. Examining 25 in-depth interviews, we found that code saturation was reached at nine interviews, whereby the range of thematic issues was identified. However, 16 to 24 interviews were needed to reach meaning saturation where we developed a richly textured understanding of issues. Thus, code saturation may indicate when researchers have "heard it all," but meaning saturation is needed to "understand it all." We used our results to develop parameters that influence saturation, which may be used to estimate sample sizes for qualitative research proposals or to document in publications the grounds on which saturation was achieved.