Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

간접 환자돌봄의 교육적 가치 최적화하기 (Med Educ, 2022)
Optimising the educational value of indirect patient care
Danielle O'Toole1 | Marina Sadik1 | Gabrielle Inglis1 | Justin Weresch1 | Meredith Vanstone1,2

1 소개
1 INTRODUCTION

환자 치료의 활동은 환자와 직접 상호작용하는 시간에 국한되지 않는다. 일반적인 의사는 50% 이상의 시간을 간접 환자 치료 활동(IPCA) 또는 대면상호작용이 필요하지 않은 치료 작업에 소비합니다. IPCA는 비동기 업무, 사무실 외부 방문 및 데스크톱 의료라고도 할 수 있다. 표 1은 전자건강기록(EHR)의 '수신함' 관리 등 IPCA의 여러 가지 범주의 예를 제공한다. 여기에는 영상 및 실험실 결과 검토 및 관리, 상담 노트, 양식 작성 및 처방된 의약품의 보충이 포함된다.
The activities of patient care are not confined to time spent directly interacting with a patient. A typical physician spends more than 50% of their time on indirect patient care activities (IPCA), or care tasks that do not require a face-to-face interaction.1-3 IPCA may also be called asynchronous tasks, activities outside of office visits and desktop medicine.4-7 Table 1 provides examples of several different categories of IPCAs, such as managing the ‘inbox’ of the electronic health record (EHR), which includes reviewing and managing imaging and laboratory results, consult notes, completing forms and refilling prescribed medications.

EHR의 채택과 관련하여 IPCA에 들어가는 시간도 증가했다. EHR은 의료 전, 치료 중 및 치료 후 의료 정보에 대한 신속한 액세스를 제공하기 때문에 2008년과 2012년 사이에 임상 실습에 널리 채택되었다. EHR의 잠재적 이점에도 불구하고, 기술의 통합은 과제를 가져왔다. 

• 환자-의사 상호 작용의 변화,
• 치료의 의미 있는 측면에서의 주의 산만,
• 의료진에게 사무 업무를 재배포하고 새로운 업무를 창출(예: 의약품 조정, 데이터 입력 및 전자 처방).

일부 활동 유형의 작업량을 줄였습니다. (예: 처방 및 일부 실험실 관련 작업) 
어떤 활동의 작업량은 늘어났다. (예: 예방 관리 작업 및 다른 받은 편지함 항목 검토)

이에 따라, EHR은 의료 행위를 재구성하여 IPCA에 소요되는 시간을 전반적으로 증가시켰다.
The time requirements of IPCAs have increased in relation to the adoption of EHRs.1, 8-11 The EHR was widely adopted into clinical practice between 2008 and 2012,7 because it provides rapid access to medical information before, during and after care with aims of improving quality care and safety.12-14 Despite the potential benefits of the EHR, the integration of technology has brought about challenges, including

• altering patient–physician interaction,
• distracting from meaningful aspects of care,
• redistributing clerical tasks to the clinician and creating new tasks (e.g. medication reconciliation, data entry and electronic prescribing).4, 12, 15-18 

It has reduced the workload of some types of activities (e.g. prescribing and some lab-related tasks), while increasing others (e.g. preventative care tasks and reviewing other inbox items).3, 7, 19, 20 Accordingly, this technology has re-shaped medical practice, resulting in an overall increase in the time spent on IPCAs.1, 8-11

IPCA는 많은 전문분야와 관련이 있다. 예를 들어, 심장내과, 내과, 정형외과 전문의들도 마찬가지로 시간의 50%를 간접적인 환자 활동에 사용한다. 정신과, 집중치료, 응급의학에서도 같은 경향이 보고되고 있다. 이러한 결과는 호주, 독일 및 영국을 포함하여 EHR 사용이 일반적인 고소득 국가에서 일관된다. IPCA는 특히 가정의에게 부담이 될 수 있다. 가정의학과 의사는 환자의 '메디컬 홈'인 만큼 다른 의사가 지시한 조사와 치료를 검토하고 관리하는 경우가 많아 자주 호출된다. 일반 가정의의의 경우, EHR의 출현은 환자와 함께 보내는 매 시간마다 컴퓨터에서 1~2시간씩, 진료 시간 외(오전 8시~오후 6시)에 소요되는 평균 1.5시간의 추가 EHR 시간을 의미했다.
IPCAs are relevant to many specialties. For example, cardiology, internal medicine and orthopaedic specialists similarly spend 50% of their time on indirect patient activities.3 The same trend has been reported in psychiatry,21 intensive care22 and emergency medicine.23, 24 These findings are consistent across high income countries where EHR use is common, including Australia,25 Germany26 and the United Kingdom.23 IPCAs may be especially taxing for family physicians. As the patient's ‘medical home’, family physicians who are often called to review and sometimes manage the investigations and treatments ordered by other physicians. For the average family physician, the advent of EHRs has meant 1–2 hours on the computer for every hour spent with patients, and an average of 1.5 hours of additional EHR time spent outside of clinic hours (8 AM–6 PM).4, 27

IPCA의 증가하는 부담은 의사의 일과 삶의 균형이라는 지속적인 도전을 악화시켜 직무 만족에 영향을 미치고 번아웃을 증가시킨다. 의학 교육자들은 학습자들이 그들의 경력 전반에 걸쳐 지속 가능한 방식으로 IPCA를 처리할 수 있도록 준비해야 하는 해당 과제에 직면해 있다. 학습자가 이러한 작업을 관리하는 방법을 배우는 것의 중요성을 인식하지 못할 수 있다는 증거가 있으며, 한 연구에서 전공의는 임상 문서 요구 사항이 과도하며, 그로 인해 환자 치료에 직접 참여할 수 있는 시간을 단축하고 더 가치 있다고 인식되는 교육 활동에 참여할 수 있는 기회가 줄었다고 보고했다. [직무 만족도와 일과 삶의 균형을 모두 유지하면서, 고품질의 환자 치료의 균형을 유지하는 방식으로 IPCA를 관리하는 방법]을 배우는 것이 중요함에도 불구하고, 이 분야의 교육자들을 지도하기 위한 교육 연구는 거의 수행되지 않았다. 훈련에서 이러한 IPCA의 영향과 이 중요한 교육을 가장 잘 제공하는 방법을 이해하는 것은 주민들이 이 중요한 역량을 획득하도록 돕는 중요한 부분이다.
The growing burden of IPCAs exacerbates the perennial challenge of work-life balance for physicians, affecting job satisfaction, and increasing burnout.28-35 Medical educators face the corresponding task of preparing learners to handle IPCAs in a sustainable way throughout their career. There is evidence that learners may not appreciate the importance of learning how to manage these tasks, with residents in one study reporting that clinical documentation requirements are excessive, compromising time to participate in direct patient care and decreasing opportunities to participate in educational activities perceived as more valuable.36 Despite the importance of learning how to manage IPCAs in a manner that balances high quality patient care while maintaining both job satisfaction and a work–life balance, little educational research has been conducted to guide educators in this area. Understanding the impact of these IPCAs in training and how best to deliver this vital education is an important part of helping residents obtain this critical competency.

교육 프로그램이 IPCA의 교수와 위임을 어떻게 최적화할 수 있는지 더 잘 이해하기 위해, 우리는 가정의학과에 위치한 질적 연구를 수행하여 미래의 실습을 위해 가족 의사를 적절하게 준비시켰다. '가족의학 거주자, 최근 졸업생 및 임상 감독관은 [간접 환자 치료 활동의 교육적 영향과 중요성]을 [어떻게 인식]하고 있는가?'
To better understand how education programmes may optimise the teaching and entrustment of IPCAs, we conducted a qualitative study located in the discipline of Family Medicine to adequately prepare family physicians for future practice, asking ‘How do family medicine residents, recent graduates and clinical supervisors perceive the educational impact and importance of indirect patient care activities’?

2 방법
2 METHODS

2.1 설계 연구
2.1 Study design

이것은 임상 교육 요구 사항 탐색과 같은 사회적 과정 연구에 적합한 방법론인 [구성주의 근거이론 연구]입니다. 이 방법론의 구성주의적 기반은 [학습자가 자신의 일의 맥락을 이해할 수 있는 다양한 방법을 강조]하며, 다음과 같은 힘에 의해 형성된다

• 교육 정책(예: 인증 요건 및 시험),
• 직업 및 작업 환경의 암묵적이고 명시적인 규범,
• 가정의가 된다는 것은 무엇을 의미하며, 가정의가 어떤 유형의 일을 해야하는지에 대한 사회적 기대

근거 이론이 요구하는 데이터 수집과 분석 사이의 반복을 통해 우리는 한 그룹의 예비 통찰력을 바탕으로 다음 라운드에서 데이터 수집을 구축하고 형성하여 우리의 조사에 응답하고 심화시킬 수 있었다.

This is a constructivist grounded theory study,37 a methodology appropriate for the study of a social process such as navigating a clinical education requirement. The constructivist underpinnings of this methodology highlighted the different ways that learners may understand the context of their work, shaped by forces such as

• education policy (e.g. accreditation requirements and exams);
• implicit and explicit norms of the profession and work environment;
• social expectations about what it means to be a family physician and what kind of work family physicians should do.

The iteration between data collection and analysis required by grounded theory allowed us to build on preliminary insights from one group, building and shaping data collection in the next round to respond to and deepen our inquiry.

2.2 연구 상황
2.2 Study context

이 연구는 캐나다 도시에 위치한 단일 가정의학 레지던트 프로그램의 맥락에서 수행되었다. 의료 거주자는 가정의학과 의사가 되기 위해 2년간의 일반 전문의 교육 프로그램을 이수하며, 일부에서는 3년차 고급 기술 교육을 선택적으로 받을 수 있습니다. 이 대규모 레지던트 프로그램은 의학-박사 대학과 연계되어 있으며, 매년 3개의 훈련장에서 200명의 레지던트들을 수용한다. 2개의 교육장은 학계 가정의학 실습과 연계되어 있으며, 1곳은 지역사회에 기반을 둔 여러 가정의학 실습이 있다.

• Academic practices는 의료 전문가의 교육과 가르침이 교수진의 역할의 큰 부분을 차지하는 의과대학과 관련된 것이다. 이러한 practice에서, 교수진 의사는 일반적으로 매일 2~3명의 학습자를 감독한다.
• 지역 사회 practice는 지역 사회 내의 일반적인 가정의학 관행이며 의사는 일반적으로 한 번에 한 명의 학습자를 감독한다.

This study was conducted in the context of a single Family Medicine residency programme located in urban Canada. Medical residents complete a 2-year generalist training programme to become Family Physicians, with an optional third year of enhanced skill training available to some. This large residency programme is affiliated with a medical-doctoral university, admitting 200 residents each year across three training sites. Two training sites are affiliated with academic family medicine practices, and one with multiple community-based family medicine practices.

• Academic practices are those associated with a medical school, where education and teaching of health care professionals are a large part of the role of faculty physicians. In these practices, faculty physicians typically supervise two to three learners each day.
• Community practices are general family medicine practices within the community and physicians typically supervise one learner at a time.

2.3 이론 렌즈
2.3 Theoretical lens

본 연구에서는 [Billett의 직장 학습 이론]을 민감 개념으로 사용하였다. [민감 개념]은 연구 중인 현상에 대한 연구자들의 생각에 INFORM하는 배경 아이디어입니다. 직장 학습 이론은 연구를 시작할 때 선임 연구원(MV)에게 알려졌고, 이는 작업의 개념화와 설계 방식에 영향을 미쳤다. 이 이론은 [작업장이 교육 기회를 제공]하는데, 이 [교육기회는 학습자가 효과적으로 학습하기 위해 확인하고 참여하도록 선택해야 하는 것]이라는 우리의 가정을 형성했다. [학습 기회의 식별]은 교육 및 조직 구조의 지도와 직장에 존재하는 다른 사람들의 입력에 의해 형성된다.

• 이 이론적 렌즈는 IPCA를 학습자와 그들의 임상 교사들에게 [인식될 수도 있고 그렇지 않을 수도 있는 교육적 어포던스]로 생각하는 우리의 생각에 영향을 미쳤다.
• [인터뷰 가이드의 구축과 개선 과정]에서, 이 이론은 학습자가 학습 기회에 대해 인식하고 결정하는 방법, 그리고 직장에서 어떤 선호도가 식별을 장려하거나 바람직한 특정 학습 기회를 만드는지에 대해 조사하기로 한 우리의 결정에 영향을 미쳤다.
• 우리는 분석 중에 이 이론이 직장 학습에 대해 제공한 배경 문맥을 넘어 이 이론에 명시적으로 관여하지 않았다.

We used Billett's workplace learning theory as a sensitising concept in this work.38 Sensitising concepts are background ideas, which inform the researchers' thinking about the phenomenon under study.39 Workplace learning theory was known to the senior researcher (MV) at the onset of the study, influencing the way the work was conceptualised and designed. This theory shaped our assumptions that workplaces offer educational opportunities that learners must both identify and choose to engage with to learn effectively.38 The identification of learning opportunities is formed by the guidance of educational and organisational structures and the input of others present in the workplace.38 

• This theoretical lens influenced our thinking of IPCA as an educational affordance that may or may not be recognised by learners and their clinical teachers.
• During the construction and refinement of the interview guide, this theory influenced our decision to probe about the way that learners recognise and make decisions about learning opportunities, and what affordances in the workplace encourage the identification or make desirable particular learning opportunities.
• We did not engage explicitly with this theory during analysis, beyond the background context it provided about workplace learning.

2.4 참가자
2.4 Participants

직장 학습의 맥락적 특성으로 인해 본 연구는 단일 가정의학 레지던트 프로그램을 중심으로 진행되었으며, 현재 학습자, 현 교육자 및 지난 5년 이내에 졸업한 동문들을 모집합니다. 대상자는 현재 가정의학과 전공의('거주자')와 이 프로그램에서 지도자 역할을 하는 임상의-교육자('교육자') 및 지난 5년 이내에 이 프로그램을 졸업한 가정의사('초기 직업의사')이다.
Due to the contextual nature of workplace learning, we conducted this study around a single family medicine residency programme, recruiting current learners, current educators and alumni who have graduated within the past 5 years. Eligible participants were

• current family medicine residents (‘residents’),
• clinician-educators who have a preceptor role within this programme (‘educators’), and
• family physicians who graduated from this programme within the past 5 years (‘early career physicians’).

2.5 샘플링 및 모집
2.5 Sampling and recruitment

우리는 세 참가자 그룹 각각에 대해 서로 다른 샘플링 전략을 사용했다. 프로그램 사무소에서 발송된 이메일, 프로그램 리드 전공의, 임상 공간의 포스터, 공동 저자 팀의 그룹 학습 세션 시작 시 이루어진 연구에 대한 발표를 통해 전공의를 모집했다. 잠재적 거주 참가자는 연구 보조자나 선임 저자(MV)에게 연락하도록 요청하여 그들의 신원이 의사 공동 저자에게 알려지지 않도록 했다. 처음 5년간 의사는 프로그램 동문들을 위한 온라인 페이스북 그룹들과 연구팀의 전문 네트워크를 통해 이메일을 통해 모집되었다. 교육자들은 연구팀이 보낸 이메일을 통해 모집되었다. 
We used different sampling strategies for each of the three participant groups. Residents were recruited through e-mails sent from the programme office and lead residents of the programme, posters in clinical spaces and announcements about the study made at the beginning of group learning sessions by the co-author team. Potential resident participants were asked to contact the study research assistant or senior author (MV) so their identities were not known to physician co-authors, who may have held a position of authority over them. Physicians in the first 5 years were recruited through online Facebook groups for programme alumni and by e-mail through the professional networks of the research team. Educators were recruited through e-mails sent by the research team.

우리는 [편의 샘플]로 시작했고, 예비 데이터 수집을 이론적으로 관련된 초기 데이터 분석에서 식별되어감에 따라서 참여자 임상 경험(위치, 임상 실습 및 기간)의 다양성을 보장하기 위해 [목적적이고 이론적으로 정보에 입각한 접근 방식]으로 이동했다. 
We started with a convenience sample and after preliminary data collection moved to a purposeful, theoretically informed approach to ensure diversity in participant clinical experience (location, clinical practice and duration), as these aspects were identified in initial data analysis as theoretically relevant.

이것은 [근거 이론 연구]였기 때문에, 우리는 데이터 충분성에 대한 판단을 안내하기 위해 [이론적 포화] 개념을 사용했다. 우리는 [이론에 기여하는 범주의 완전성]과 [이론적으로 지시된 유형의 샘플링 완료]와 관련해서 [이론적 포화]를 이해한다. 포화 식별은 데이터 분석 전반에 걸쳐 발생하는 프로세스로, 여러 분석가와의 논의를 통해 운영됩니다. 각 범주가 잘 개념화되어 있고, 식별된 이론이 모든 관련 데이터를 설명할 수 있다는 것을 확인한 후, 분석 그룹은 [전반적으로 보면, 이론에 아무것도 추가되지 않을 것]이기 때문에 [새로운 데이터 수집의 return이 감소한다]는 데 동의했다. 이 시점에서 우리는 코호트 및 수련 장소와 관련해서 [이론적으로 관련된 일부 관점]이 샘플에 강하게 존재하지 않는다는 점에 주목했다. 이러한 관점을 포함하기 위해 추가 자료를 찾았지만, 참여자의 다양성을 확대하기 위해 완료된 새로운 인터뷰는 새로운 분석 방향을 제시하지 못했다. 
As this was a grounded theory study, we used the concept of theoretical saturation to guide our judgements of data sufficiency.37, 40 We understand theoretical saturation to relate to the completeness of categories that contribute to a theory, and the completion of theoretically-indicated types of sampling. The identification of saturation is a process occurring throughout data analysis, operationalised through discussion with multiple analysts. After identifying that each category was well conceptualised, and the identified theory could account for all relevant data, the analytic group agreed that new data collection had diminishing returns, as it would not necessarily add anything to the overall theory.40 At this point we noted that some theoretically-relevant perspectives, related to cohort and training site, were not strongly present in the sample. We sought additional data to include these perspectives, but new interviews completed to expand the diversity of participants did not suggest new analytic directions.

2.6 데이터 수집
2.6 Data collection

데이터는 포커스 그룹과 개별 인터뷰를 통해 수집되었다. 포커스 그룹은 경력 단계별로 동질적이었다. 인터뷰와 포커스 그룹은 MV, MS, 그리고 연구 조수에 의해 촉진되었다. 이 개인들은 모두 질적 연구에 대해 훈련된 비-의사이며, 참가자들에게 알려지지 않은 여성들이다. 개별 인터뷰는 스케줄링이 참가자의 포커스 그룹 가입을 허용하지 않거나 참가자가 인터뷰에 대한 선호도를 표시한 경우에 수행되었다. 각 참가자 그룹에 대해 별도의 인터뷰 가이드(보충자료로 포함)를 개발하고 데이터 수집이 진행됨에 따라 다듬었다. 인터뷰 가이드는 문헌, 가정의학과 교사 및 학습자로서의 실제 경험, 연구 중인 문제에 대해 레지던시 프로그램에 제출한 피드백을 바탕으로 다학제 팀에 의해 개발되었습니다. 예비 포커스 그룹의 통찰력을 사용하여 미래 참가자의 모집 및 데이터 수집을 구체화하면서 한 번에 한 참가자 그룹에 초점을 맞추기 위해 데이터 수집을 단계화했다. 인터뷰 가이드는 초기 분석 통찰력을 반영하고, 이론적으로 관련된 문제에 대해 프로빙하고, 조사 범위를 세분화하기 위해 수정되었다. 전공의들은 우리의 처음이자 마지막 그룹이었기 때문에 우리는 프로젝트 진행 중에 발전한 새로운 분석 통찰력을 확인할 수 있었다.
Data were collected via focus groups and individual interviews. Focus groups were homogeneous by career stage. The interviews and focus groups were facilitated by MV, MS and a research assistant. These individuals are all women trained in qualitative research, non-physicians and unknown to the participants. Interviews were conducted when scheduling did not permit participants to join a focus group, or where the participant indicated a preference for an interview. Separate interview guides (included as supplementary material) were developed for each participant group and refined as data collection progressed. Interview guides were developed by our multi-disciplinary team based on literature, practical experience as family medicine teachers and learners, and feedback submitted to the residency programme about the issue under study. We staged our data collection to focus on one participant group at a time, using insight from preliminary focus groups to shape recruitment and data collection of future participants. Interview guides were amended to reflect initial analytic insights, to probe about theoretically relevant issues, and to refine the scope of inquiry. Residents were our first and our last group, so we could affirm emerging analytic insights that developed over the course of the project.

2.7 데이터 분석
2.7 Data analysis

데이터 분석은 구성주의 근거 이론을 상징하는 단계적 프로세스로 진행되었습니다. 이는 초기 데이터가 수집되는 즉시 시작하여 예비 통찰력을 향후 데이터 수집에 inform하는 것이다. 여러 분석가가 개방형 귀납적 코딩에 참여하여 팀 전체와 만나 잠재적인 집중 코딩에 대한 아이디어를 논의했습니다. 이 미팅을 통해 식별된 범주는 추가 코딩 라운드에서 운영되었으며, 이를 통해 우리는 집중적인 코딩 스키마를 생성하도록 조정, 확장 및 정교해졌다. 이 코딩 스키마의 적용은 연역적(귀납적 코딩을 통해 개발된 스키마를 적용)과 귀납적(확장, 정제, 정교화) 사이에서 다양한 코딩 과정을 통해 이루어졌다. [귀납적]에서 [연역 – 귀납적]으로의 이러한 움직임은, 우리의 분석이 데이터에 기반을 두도록 보장했다. 이러한 과정을 통해 테마를 귀납적으로 파악하였다. 우리는 연구 질문에 직접적으로 반응하는 주제를 개발하여 [교사 및 학습자의 경험을 설명]하는 것과 관련된 주제와 [가정의학의 교수 및 학습 개선을 위한 제안] 사이의 균형을 이루기 위해 노력했다. 
Data analysis proceeded in a staged process emblematic of constructivist grounded theory, beginning as soon as initial data were collected so preliminary insights informed future data collection. Multiple analysts engaged in open inductive coding, meeting with the whole team to discuss ideas for potential focused coding. The categories identified through this meeting were operationalised in an additional round of coding, through which we refined, expanded and elaborated to produce a focused coding schema. Application of this coding schema was accomplished through multiple rounds of coding that varied between deductive (applying the schema developed through inductive coding) to inductive (expanding, refining and elaborating schema). This movement from inductive to deductive–inductive ensured that our analysis remained grounded in the data. Through this process, themes were inductively identified. We developed themes, which were directly responsive to the research question, striving to achieve a balance between those relevant to describing the experiences of teachers and learners and those relevant to suggestions for improving teaching and learning in family medicine.

2.8 윤리
2.8 Ethics

이 연구는 해밀턴 통합연구윤리위원회(11547)의 승인을 받았으며, 모든 참여자는 각 데이터 수집 세션 시작 시 전자적으로 그리고 구두로 사전 동의를 제공하였다. 우리는 연구팀의 의사 교육자와 거주자 참여자 사이의 권력 불균형을 잠재적 윤리적 문제로 식별했다. 상주 참가자를 보호하기 위해, 우리는 의사 연구 팀원들이 원본 오디오 파일이나 확인된 녹취록을 포함하여 상주 참가자를 식별할 수 있는 정보에 접근하지 못하도록 보장했다.
This study was approved by the Hamilton Integrated Research Ethics Board (11547), and all participants provided informed consent electronically and again verbally at the beginning of each data collection session. We identified the power imbalance between the physician educators on the research team and the resident participants as a potential ethical issue. To protect resident participants, we ensured that physician research team members did not have access to any information which would identify resident participants, including original audio files or identified transcripts.

3 결과
3 RESULTS

우리는 19명의 거주자(R), 16명의 의사(P), 7명의 경험 있는 의사 교육자(E)로부터 인터뷰 및 포커스 그룹 데이터를 수집했다. 각 포커스 그룹에 3~6명의 참가자가 참여한 가운데 6개의 개별 인터뷰와 11개의 포커스 그룹을 실시하였다. 가정의학 실천 유형의 광범위한 다양성으로 인해, 우리는 표 2-4에 practice 유형을 학문적, 공동체적, 비전통적인 것으로 요약했다. '비전통적 행위'은 예를 들어 병원 의사, 입원 환자 정신 건강 기관, 사망 의료 지원, 완화 치료 및 교도소 보건/교정 시설과 같은 집중적인(제너럴리스트가 아닌) 행위을 의미한다. 참여자 인구통계 정보는 표 2-4에서 확인할 수 있다.
We collected interview and focus group data from 19 residents (R), 16 physicians in the first 5 years of practice (P) and 7 experienced physician educators (E). We conducted 6 individual interviews and 11 focus groups with three to six participants in each focus group. Due to the broad variability of family medicine practice types, we have summarised practice types in Tables 2–4 as academic, community and non-traditional. ‘Non-traditional practices’ refer to focused (rather than generalist) practices, for, for example, hospitalist, in-patient mental health unit, Medical Assistance in Dying, Palliative care and prison health/correctional facilities. Participant demographic information can be found in Tables 2–4.

우리는 먼저 모든 그룹의 참가자들이 [IPCA가 가정의사로서의 경력 기간 동안 반드시 지녀야 하는 무게로 작용한다]는 분석 결과에 대해 논의한다. 다음으로, 우리는 그들의 경력 초기에 그 무게를 부담으로 보았고, 더 많은 경험 있는 그룹들이 그 무게는 가정의학에서 지속 가능한 경력을 쌓는 데 필요한 힘을 기를 수 있는 기회라고 어떻게 이해했는지 설명한다. IPCA 작업을 부담 또는 강도 훈련으로 느끼게 하는 이유에 대한 이러한 논의에서 참가자들은 몇 가지 악화 및 완화 요인(모호한 기대, 작업량 불평등에 대한 인식, 환자 및 작업에 대한 교수 및 친숙함)을 식별했으며, 이는 차례로 논의된다. 우리는 표준화, 점진적 도입, 작업량에 대한 투명성, 명시적 교육 및 피드백과 경계 설정 등 IPCA의 교육 가치를 최적화하는 방법에 대한 거주 프로그램에 대한 참가자 권고를 설명함으로써 이 섹션을 마무리한다.

We first discuss the analytic finding that participants in all groups identified IPCA work as a weight they must carry for the duration of their career as family physicians. Next, we describe how those earlier in their career viewed that weight as a burden, and more experienced groups understood that weight to be a chance to develop the strength needed for a sustainable career in family medicine. In these discussions of what made IPCA work feel more like a burden or strength training, participants identified several exacerbating and alleviating factors (ambiguous expectations, perceptions of workload inequity, teaching and familiarity with patients and tasks), which are discussed in turn. We conclude this section by describing participant recommendations to residency programmes about how to optimise the educational value of IPCAs: standardisation, gradual introduction, transparency about workload, explicit teaching and feedback and boundary setting.

3.1 IPCA의 무게: 부담 또는 근력 훈련?
3.1 The weight of IPCAs: Burden or strength training?

모든 참가자들은 그들의 실천 단계에 관계없이 IPCA가 가정의학의 필요하지만 불쾌한 부분이라는 인식을 공유했다. 그들은 IPCA가 환자 치료를 위해 필요하다는 것을 인식했지만, 끝이 없어 보이는 서류작업의 '과중한 책임'(P6)도 설명했다. 참가자 그룹이 분화된 곳은 이 무게를 짊어지는 것의 성격과 영향을 [부담]으로 보았는지, 그들의 경력 동안 [이 무게를 짊어지는 데 필요한 힘이나 힘을 기를 수 있는 기회]로 보았는지에 대한 것이다.
All participants, no matter their stage of practice, shared the perception that IPCAs are a necessary but unpleasant part of family medicine. They recognised that IPCAs are required for patient care, but also described the ‘crushing responsibility’ (P6) of the seemingly never-ending stream of paperwork. Where participant groups diverged was how they framed the nature and impact of carrying this weight, as either a burden or an opportunity to develop the strength needed to carry this weight throughout their career.

[전공의들과 초기 직업 의사들]은 IPCA의 중요성을 교육 기회보다는 부담으로 강조했다. '그것은 나에게 어떤 교육적 가치보다 훨씬 더 많은 스트레스를 주었다.' (R12) 그들은 이러한 활동에 소비하는 시간이 학습, 일과 삶의 균형, 웰빙, 그리고 다른 교육 목표를 달성하는 능력을 저해하는 방법을 기술했다. '나는 확실히 그것이 압도적이라고 느낀다. 나는 그것이 지속가능하다고 느끼지 않는다'(P7). 그들이 이 무게를 견디기 위해 개발한 전략에는 늦게까지 머무르거나 휴가 기간을 사용하여 이러한 작업을 수행하는 것이 포함되어 있었다. '휴가시간을 이용해 매주 하루씩 전일제 가정의학과를 쉬었습니다'(R9)
Residents and early career physicians emphasised the weight of IPCAs as a burden rather than an educational opportunity: ‘it provided me way more stress than any educational value’ (R12) They described the ways that time spent on these activities impeded their learning, work–life balance and wellness, and ability to achieve other educational goals: ‘I definitely feel like it's overwhelming. I don't feel like it's sustainable’ (P7). The strategies they developed to carry this weight included staying late or using vacation time to accomplish these work tasks: ‘I've used my vacation time to take one day off every week of full-time family medicine’ (R9).

[독립의료를 하는 참가자]들은 IPCA의 무게에 대해 전공의들과 다르게 말했다. 그들은 이러한 업무가 환자 치료와 가족 의사의 업무 일부를 위해 필요하다는 것을 더 잘 인식했다. '당신이 이 양식을 완성할 때 당신은 당신의 환자에게 자금이나 자원 같은 것에 대한 접근권을 주는 것이고, 당신은 당신이 그들과 마주 앉아 있을 때보다 모든 면에서 혹은 그 이상으로 당신의 환자를 돕고 있는 것이다.'(E4)
Participants who were in independent practice spoke differently about the weight of IPCAs than residents. They were more apt to recognise that these tasks are necessary for patient care and part of the work of a family physician: ‘when you complete this form you are giving your patient access to funding or resources or whatever, you're helping your patient every bit as much or maybe more than when you're sitting face-to-face with them’ (E4).

[의사 경력 첫 5년 동안 의사]들은 레지던트 시절 IPCA 작업의 이점을 현재 진료에 반영했습니다. 'ODSP [Ontario Disability Support Program] 양식에는 분명히 재간finesse이 있습니다. 바보같이 들리지만, 그것들을 작성하면서 전공의로서 배우는 art가 있습니다. … 레지던트로서 그런 걸 알아내서 엉덩이를 박살내면서 시간을 보내서 다행이다, 그래, 스태프가 되면서 부담이 줄었다(P5).' 이 학습의 일부는 IPCA의 업무 스타일 변경을 포함하여, IPCA의 부담을 다루기 위한 전략을 개발하는 것이었다. 
Physicians in the first 5 years of their career recognised the benefits of the IPCA work they did in residency to their current practice: ‘There's obviously a finesse to ODSP [Ontario Disability Support Program] forms, it sounds silly to say but there is an art to filling them out and learning those things as a resident is helpful. … I'm glad that I spent time as a resident figuring that stuff out and busting my butt, then yeah, it reduced the burden when I became staff’ (P5). Part of this learning was developing strategies to deal with the burden of IPCAs, including changing their practice style:

대부분 이러한 전략과 교훈은 실용적인 방법으로 학습되었으며, 많은 의사들은 [IPCA를 지속 가능한 방식으로 관리하는 방법을 배우는 것]이 전공의의 중심 학습 목표라고 설명했다. '나는 그들을 설득하려고 노력하며, 지금 일을 잘 하면, 앞으로 보상이 있을 것이다.(P7)' 여기서, 우리는 모든 직업 단계의 교육자들이 [전공의 수련에서 IPCA의 무게]를 [부담으로 인식할 뿐만 아니라, 오랜 경력을 위해 자신을 훈련할 수 있는 기회로 인식]하고 있음을 확인했다. '그것보다 더 중요한 것은 우리 모두가 마라톤을 할 수 있는지 확인하고 그 과정에서 우리의 건강과 건강을 해치지 않도록 하는 것이다.'(E1)
Mostly, these strategies and lessons were learned in a practical way, and many physicians described that learning how to manage IPCAs in a sustainable way is a central learning objective for residents: ‘I do try to convince them, put the work in now and it will pay dividends moving forward’ (P7). Here, we identified that educators of all career stages perceive the weight of IPCAs in residency not solely as a burden, but also as an opportunity to train oneself for a long career: ‘more important than that is making sure we can all do the marathon and that we don't burn out and compromise our health and wellness in the process’ (E1).

3.2 악화 및 완화 요인 
3.2 Exacerbating and alleviating factors

참가자들은 IPCA가 부담스럽다는 데 일관되게 동의했지만, 그러한 부담을 악화시키거나 완화하는 조건도 설명했다.
While participants consistently agreed that IPCAs are burdensome, they also described conditions that exacerbate or alleviate that burden.

3.2.1 모호한 기대치
3.2.1 Ambiguous expectations

전공의와 최근 졸업한 직원들은 [모호한 기대]를 요인으로 식별하여 IPCA의 부담을 가중시켰다. 실천에서 독립하기 전에, 전공의들은 그들의 지도자들의 목표, 우선순위, 과정을 따라야 한다. 이 영역에 대한 명확하고 일관된 지침이 없으면 IPCA 부담이 증가합니다. '당신은 또한 특정 시간대에 그것을 끝내야 한다는 압박감을 느끼지만, 만약 그것이 당신의 물건이라면 당신은 "나는 이것을 내일 볼 것이다"와 같을 수 있다.(P5)
Residents and recently graduated staff identified ambiguous expectations as a factor, which exacerbated the burden of their IPCAs. Before becoming independent in their practice, residents must follow the goals, priorities and processes of their preceptors. Without clear and consistent instructions in this area, IPCA burdens are increased: ‘You also feel the pressure to get it done on a certain timeline, whereas if it was your own stuff you could be like “I'll look at this tomorrow”’ (P5).

3.2.2 작업량 형평성에 대한 거주자의 인식
3.2.2 Resident perceptions of workload equity

전공의 집단 특유의 또 다른 악화 요인은 할당된 작업의 양이나 강도에서 [전공의 간의 불평등한 차이]에 대한 인식이었다. 예를 들어, 농촌 실무에서 일하는 거주자들은 그들의 IPCA 부하가 학계 가족 보건 팀 내에서 일하는 거주자들보다 훨씬 적다고 보고했다. 일부 참가자들은 이를 [지도교사preceptor]의 선택 때문이라고 보았다. '운이 좋게도 어떤 지도교사를 얻었는지에 따라 얼마나 많은 사람들이 받은 편지함을 관리해야 하는지에는 큰 차이가 있었습니다. 우리는 같은 사이트에 있었고 같은 수의 환자를 보았지만 일부 사람들은 다른 사람들보다 받은 편지함과 바쁜 업무에 훨씬 더 많은 시간을 보냈다.'(P1)
Another exacerbating factor unique to the resident group was perceptions of inequitable differences between residents in the volume or intensity of assigned work. For example, residents working in rural practices reported that their IPCA load was much less than those working within academic family health teams. Some participants attributed this to preceptor choice: ‘there were huge discrepancies in how much people had to manage the inbox based on what preceptor they got lucky enough to get. We were at the same site and seeing the same population of patients yet some people spent significantly more time on their inbox and busy work than others did’ (P1).

[작업을 관리하는 데 사용할 수 있는 리소스]에서도 비슷한 불평등이 발견되었습니다. 일부 관행은 전공의가 IPCA 업무를 다른 사람에게 위임할 수 있도록 허용한 반면, 다른 관행에서는 전공의가 직접 이 작업을 하도록 했다. 전공의들은 지도교사가 할 수 있는 방식으로 업무를 위임하는 것이 허용되지 않아 업무량이 증가하고 만족도가 감소했다고 보고했다. 
'라벨을 인쇄하기 위해 프린터를 찾고 환자의 소변을 적신 다음 그것을 보내고 포장하기 위해 뛰어다니는 것은 거주 시간을 잘 사용하지 않습니다. 실제로 그럴 사람이 있어야 하고, 대부분의 클리닉에는 있지만, 우리에게는 없습니다.'

A similar inequity was seen in the resources available to manage this work. Some practices permitted residents to delegate IPCA tasks to others, while in other practices residents were required to do this work themselves. Residents reported that not being allowed to delegate work in the way their preceptors were able to do increased their workload and decreased their satisfaction: ‘It's not a good use of resident time to be running around trying to find a printer to print off labels, to then dip that patient's urine, to then send it off and package it up. There actually should be someone to do that, and in most clinics, there is, but for us, there's not’ (R9).

3.2.3 교육
3.2.3 Teaching

[모든 경력 단계의 교육자]들은 [전공의를 가르치는 데 필요한 시간, 인내심, 코칭]이 그들 자신의 IPCA 부담을 악화시킨다는 것을 확인했다. 전공의들은 그 일을 맡음으로써 IPCA 직원들의 요구를 완화하고 있다는 것을 인식했지만, 교육자들은 전공의들에게 위임하는 것은 시간, 인내, 유연성이 필요하다고 설명했다. '내가 원하는 방식으로 교육하는 것은 매우 시간이 많이 걸리기 때문에, 내가 해야 할 약간의 투자와 균형을 이루게 된다.' (E2)
Educators of all career stages identified that the time, patience, and coaching required to teach residents exacerbated their own IPCA burden. While residents perceived that they were alleviating the IPCA demands of staff by taking on that work, educators described that delegating to residents required time, patience and flexibility. ‘Teaching, if done in the way that I like to do it, it's very time consuming and so it balances out a bit of the investment that I do to have some tasks taken off my plate.’ (E2).

3.2.4 친숙함(환자, 진료소 및 전문 지식)
3.2.4 Familiarity (patients, clinic and expertise)

[환자와 친숙하지 않은 것]은 [전공의] 뿐만 아니라 [대리의사 직무locum work(다른 사람의 업무를 인계받거나 명단을 구축)로 인해 환자와 친숙하지 않을 수 있는 경력 첫 5년 동안 의사]의 IPCA 업무량을 악화시켰다. 의료진의 의사는 자신이 잘 알고 있는 환자의 경우 스스로 주문한 결과를 검토하는 데 있어 효율성을 설명했습니다. '또한 일단 실습을 하고 나면 환자를 잘 알게 되는 이점이 있기 때문에, 그러한 요소들은 환자를 좀 더 낫게 만드는 데 도움이 됩니다.'(P1)
Not being familiar with a patient exacerbated the workload of IPCAs for residents as well as for physicians in the first 5 years of their career who may not be familiar with patients due to locum work, taking over someone else's practice or building their roster. Staff physicians described the efficiency in reviewing results they ordered themselves, for a patient they were well-familiar with ‘You also have the benefit of knowing your patients well once you're out in practice, so those factors help make it a bit better.’ (P1).

3.3 권장 사항
3.3 Recommendations

참가자들은 IPCA에 대한 전공의 교육 경험을 개선하기 위한 전공의 프로그램에 대한 권고 사항을 제공했습니다. 참가자들은 프로그램이 [IPCA에 대한 전공의 참여를 표준화하고 학습자와 교사 모두에게 지침과 기대를 명확하게 전달할 것]을 권고했다. '교육 목표와 기대는 무엇인가에 대한 유닛의 집단적 메시지가 있다는 것이 중요하다.' (E5) 이는 교육 현장 전반의 IPCA 워크로드에 대한 인식된 불평등을 개선하기 위한 방법으로 간주되었습니다. 전공의들은 또한 프로그램이 학습자에게 IPCA를 완료하기 위한 [전용 시간]을 제공할 것을 권고했다. [전용Dedicate 시간]은 전공의가 직무의 다양한 구성 요소를 학습할 때 담당 의사와 동일한 업무량을 수행하는 데 필요한 추가 시간을 설명하는 데 도움이 될 것이다.
Participants provided recommendations to residency programmes for improving the resident educational experience with IPCAs. Participants recommended that programmes standardise resident involvement in IPCAs and clearly communicate instructions and expectations to both learners and preceptors: ‘It is important that there is a collective message that comes from the unit about … what are the educational goals, [and] what are the expectations.’ (E5) This was seen as a way to ameliorate the perceived inequity in IPCA workload across training sites. Residents also recommended that programmes provide learners with dedicated time to complete IPCAs. Dedicated time would help account for the additional time residents require to do the same workload of a staff physician as they learn the various components of the task.

또한, 참가자들은 IPCA를 처리할 수 있는 능력을 개발하기 위해서는 [점진적인 도입]이 중요하다고 제안했다. 참가자들은 이것이 업무량을 줄이고 IPCA 관련 스트레스를 완화하는데 도움이 될 수 있다고 믿고 있으며, 특히 임상 치료의 다른 측면을 배우면서 레지던트 초기에 더욱 그렇다. '그것은 아무도 모르는 내 동료 레지던트들의 첫 6개월 동안 정말 많은 사람들을 태워버렸다. 그들은 시스템을 몰랐고, 프로그램을 몰랐고, 어떻게 거주자가 되는지도 몰랐으며, 동시에 1,000명의 수신함을 어떻게 하는지도 몰랐다.' (P4) 
Further, participants suggested that a gradual introduction was important to develop capacity to handle IPCAs. Participants believe this may reduce the workload and help relieve IPCA-related stress, especially early in residency as they learn the other aspects of clinical care. ‘It really burnt out a lot of my co-residents in their first six months of residency when they didn't know anybody. They didn't know the system, they didn't know the program, they didn't know how to be a resident, and also how to do an inbox of 1,000 people at the same time.’ (P4). 
또한, 이 접근 방식은 IPCA 자체의 보다 효과적이고 효율적인 학습을 가능하게 할 것으로 여겨졌다. 개업 의사들은 독립적인 개업에서 IPCA의 [예상 업무량 및 필연적 업무량]에 대한 투명성을 높였고, 이는 가정의학 경력의 일부로서 전공의들이 [IPCA의 현실을 이해하고 예측]하는 데 도움이 될 것이라고 추론했다. 가정의학의 중요한 구성 요소로서 IPCA의 현실을 논의하는 것은 이러한 [작업량에 대한 전공의들의 인식]에 도움이 될 수 있으며, IPCA를 완료하는 지속 가능한 방법을 개발하도록 장려한다. "실제로 당신이 그것을 어떻게 제시하느냐에 달려 있다고 생각합니다. 예를 들어, 이것은 당신이 내 일을 하는 것에 대한 것이 아니라, 내가 당신에게 다른 종류의 교육을 제공하는 것에 관한 것입니다. 결국 당신을 좋은 가정의사로 만들 것입니다." (E5)
In addition, it was felt this approach would allow for more effective and efficient learning of IPCAs themselves. Practicing physicians encouraged more transparency about the expected and inevitable workload of IPCAs in independent practice, reasoning that this would help residents understand and anticipate the reality of IPCAs as part of a career in family medicine. Discussing the reality of IPCAs as a significant component in family medicine may help residents' perception of this workload, encouraging them to develop sustainable ways to complete IPCAs: ‘I think it depends on how you actually present it, like, this is not about you doing my work, but this is about me providing you with a different kind of education, that in the end will make you a good family doctor’ (E5).

마지막으로, 모든 그룹의 참가자들은 IPCA에 대한 보다 명확한 교육, 피드백 및 커뮤니케이션, 특히 청구서, 차트 유지보수, 양식 및 사례 보고/검토를 권고했다. 이러한 교육은 전공의들이 보다 많은 지원을 통해 보다 점진적인 방식으로 지식을 쌓을 수 있도록 도울 뿐만 아니라 교육적으로 중요한 내용을 강조하고 열린 소통의 기회를 제공할 것이다. '학습 욕구, 학습 목표, 이러한 학습 기회의 가치, 전공의가 학습에 대해 어떻게 느끼고 관리하는지, 나아가면서 상황을 조정하고 모두가 함께 작업하도록 하는 것이 중요하다고 생각합니다.' (E1)
Finally, participants in all groups recommended more explicit teaching, feedback and communication on IPCAs, especially billing, chart maintenance, forms and case debriefing/reviewing. This teaching would not only help residents build on their knowledge in a more gradual way with more support, but it would also provide an opportunity to highlight educationally important content and provide opportunities for open communication. ‘I think it's important to have ongoing conversation about learning needs, learning goals, the value of these learning opportunities, how the resident is feeling about it and managing it and be tweaking things as you go and really have everybody working together on it.’ (E1).

마지막으로 IPCA는 끝이 없습니다. 그러므로, 개인의 삶, 정신 건강, 건강을 보호하고 탈진을 피하기 위해 [제한을 두는 것]이 중요하다. 참가자들은 환자와의 경계 설정(예: 필요할 때 환자가 추가 예약을 하도록 권장), 자신에 대한 경계 설정(예: 긴급하지 않은 받은 편지함 항목을 다음날로 남겨두는 것) 및 [IPCA 작업을 완료까지의 시간을 제한하는 것]의 중요성을 반복적으로 표현했다. [솔선수범]하는 것은 전공의들이 독립 실무자와 동일한 전략을 구현할 수 있도록 지원했습니다. '나는 매우 효율적인 지도교사가 있었고, 우리는 결코 늦지 않았다. 그리고 그녀는 나에게 받은 편지함의 균형을 맞추는 법을 가르쳐 주었다. 환자를 보고, 가는 동안 차트를 작성하고, 당신과 함께 집에 가는 최소한의 일을 가져갔다. 그리고 오늘날까지 나는 여전히 그렇게 실천하고 있다. 그리고 그것은 임상적 부분과 IPCA 부분의 균형을 맞추는 방법을 배우는 것만으로도 큰 도움이 되었다고 생각합니다.' (P1)
Finally, IPCAs are never-ending; thus, it is important to set limits to protect one's personal life, mental health, wellness and avoid burnout. Participants repeatedly expressed the importance of

• setting boundaries with patients (e.g. encouraging patients to schedule an additional appointment when necessary),
• boundaries for oneself, (e.g. leaving non-urgent inbox items for the next day) and
• blocking off time to complete IPCA tasks.

Leading by example helped residents implement the same strategies as independent practitioners: ‘I had a very efficient preceptor, we never ran late … and she really taught me how to balance inbox, seeing patients, charting as you go, taking minimal work home with you, and to this day I still practice that way. And I think that was very helpful, just learning how to balance the clinical and the IPCA part.’ (P1).

4 토론
4 DISCUSSION

McMaster Family Medicine Residention 프로그램에서 전공의를 위한 간접 환자 치료 활동의 교육적 영향을 조사했습니다. 모든 참가자는 이 작업량이 필요하지만 종종 충족되지 않는다는 것을 인식했습니다. 그러나 이 작업에 대한 임상의의 관점은 이 작업에 대한 인식과 참여에 영향을 미쳤다. 불평등에 대한 모호한 기대와 인식은 학습자가 이러한 과제에 대한 혐오를 악화시켰다. 참가자들은 이 작업의 교육적 가치를 향상시키기 위해 명시적인 교육 및 피드백과 함께 IPCA에 대한 표준화된 단계적 도입에 초점을 맞출 것을 권고했다. 
We explored the educational impact of indirect patient care activities for residents in the McMaster Family Medicine Residency programme. All participants recognised this workload as necessary, though often unfulfilling. However, the clinician's perspective on this work as either a burdensome additional weight or an opportunity to strengthen their management skills impacted their perception and engagement in the work. Ambiguous expectations and perceptions of inequity exacerbated learner dislike for these tasks. The participants recommended a focus on a standardised graduated introduction to IPCAs, with explicit teaching and feedback to improve the educational value of this work.

[빌렛의 직장 학습 이론]은 학습이 효과적이기 위해서는 학습자가 [교육 기회를 식별하고 참여하도록 선택해야 한다]고 설명한다. 이 연구는 IPCA를 [비교육적 초과근무로 인식하는 것]이 학습자의 이러한 과제에서 학습하는 능력을 저해한다는 점을 강조했다. 이것은 임상 작업장에서 배우는 것이 목적인 '학습자'으로서의 직업적 정체성을 가진 전공의들 사이에서 특히 심각할 수 있다. 스스로를 의료 사업에서 실천을 준비하는 '견습생'으로 보는 전공의들은 IPCA 업무를 효과적으로 관리하기 위한 전략을 배울 기회를 더 많이 볼 수 있다. 우리는 [숨겨진 커리큘럼]이 IPCA의 가치를 떨어뜨리는 방식에 주의를 기울여야 한다. 예를 들어, IPCA 과제가 임상의 시간 중 상당한 부분을 차지하지만 지도, 평가 또는 교육적 가중치를 거의 받지 않는 경우, 전공의는 IPCA 과제가 중요하지 않고 가치가 없다고 생각하는 법을 배울 수 있다. 이 작업을 ['행정적' 작업]이 아닌 '간접적 환자 치료'로 지칭하는 것은 이러한 작업의 가치와 중요성을 강조하는 데 도움이 될 수 있어 환자에게 의료 서비스를 제공하는 전공의의 역할에 관심이 쏠린다. 또한 IPCA 작업을 지속 가능하고 효과적으로 관리하기 위한 시스템에 대한 공식적인 교육 및 피드백 제공을 통합하면(예: 신뢰할 수 있는 전문 활동 또는 핵심 역량) 학습자가 이러한 작업의 교육적 가치를 인식하는 데 도움이 될 수 있다. 뉴질랜드, 호주, 영국의 왕립 일반 실무자 대학과 같은 일부 교육 기관들은 [간접 환자 치료 기술]이 독립 실무에 필요한 역량이라고 명시적으로 밝혔습니다.
Billett's workplace learning theory describes that for learning to be effective, learners must both identify and choose to engage with educational opportunities. This study highlighted that the perception of IPCAs as non-educational extra work impedes learners' ability to learn from these tasks. This may be particularly acute amongst residents whose professional identity is as a ‘student’ whose purpose in the clinical workplace is to learn.41, 42 Residents who see themselves as an ‘apprentice’ preparing to practice in the business of medicine may be more likely to see opportunities for learning strategies to effectively manage IPCA work. We must be attentive to the ways in which the hidden curriculum de-values IPCA work.43 For example, when IPCA tasks take up a significant portion of clinician time but are seldom coached, assessed or given much educational weight, residents may learn to think of them as unimportant and not valuable.42 Referring to this work as Indirect Patient Care rather than ‘administrative’ work may help emphasise the value and importance of these tasks, drawing attention to the resident's role in providing health care to the patient. In addition, incorporating formal ways to teach and provide feedback on systems for sustainably and effectively managing IPCA work (e.g. as an entrustable professional activity or core competency) may also be helpful in helping learners recognise the educational value of these tasks. The groundwork has been laid here by some educational bodies, including the Royal College of General Practitioners in New Zealand,44 Australia45 and the United Kingdom,46 each of which have explicitly stated that indirect patient care skills are a required competence for independent practice.

IPCA 작업을 적절하게 수행할 수 있는 것 외에도, 이러한 작업은 추가 교육 가치를 제공합니다. 의료 전문가로서의 기술 외에도, [목적적 IPCA 교육]은 효율성, 우선순위 부여, 적절한 전문적 의사소통 및 협업을 포함한 전문성, 옹호 및 리더십의 이전 가능한 기술을 강조한다. 이러한 기술은 캐나다 면허 대학인 College of Family Physicians of Canada가 제공하는 레지던트 훈련 프로필의 핵심 전문 활동의 최근 출판에서 강조된다. 이 문서에는 [IPCA 관리(EHR 관리, 받은 편지함 관리, 양식 작성 및 처방 관리 포함)]뿐만 아니라 [자가 및 지속 가능한 의료 행위 관리]를 의료의 유능한 관행에 중요한 핵심 전문 활동으로 나열합니다. 적절한 훈련과 적응적 전문지식의 렌즈를 통해 이 프로그램은 학습자가 다양한 리소스로 다양한 임상 맥락에서 IPCA의 가중치를 해결할 수 있도록 준비할 수 있을 것이다.  
Beyond being able to adequately perform IPCA work, these tasks offer additional education value. In addition to skills as a medical expert, purposeful IPCA education highlights transferable skills in professionalism, advocacy and leadership including efficiency, prioritisation, appropriate professional communication and collaboration. These skills are underscored in the recent publication of core professional activities in the residency training profile provided by the College of Family Physicians of Canada, the Canadian licensing college.47 This document lists managing IPCAs (including maintaining the EHR, managing the inbox, completing forms and managing prescriptions) as well as managing self-care and a sustainable practice both as core professional activities critical to the competent practice of medicine. With appropriate training and a lens of adaptive expertise, the programme would be able to prepare learners to tackle the weight of IPCAs in varied clinical contexts with varied resources.48

IPCA는 종종 전공의 수련의 예기치 않은 구성 요소이다. 직원들은 종종 진료 시간 4시간 이내에 IPCA의 상당 부분을 완료하기 때문에 이 업무량은 일반적으로 의대생에게는 보이지 않는다. 이것은 전공의들이 IPCA 관리에 필요한 긴 시간, 특히 더 유연한 시간을 예상하여 가정의학을 선택한 경우에 특히 낙담하는 이유에 대한 잠재적인 설명을 제공한다. 참가자들의 목소리처럼, [IPCA의 예상치 못한, 충족되지 못한, 그리고 때로는 지속 불가능한 업무량]은 가정의학과 졸업생들이 포괄적인 가정의학을 실천하기로 선택하는 감소와 활동 수준과 환자 패널 크기의 감소에 영향을 미치는 많은 요소 중 하나일 수 있다. 졸업생들은 [이러한 예상치 못한 부담스러운 업무량을 보상]하기 위해 [(환자 패널이 크고 포괄적인) 가정의학 진료에서 벗어남]으로써 [지속 가능한 실천을 유지하기 위한 경계]를 설정하고 있을 수 있다.
IPCAs are often an unexpected component of residency. As staff often complete a significant portion of IPCAs outside of clinic hours4 this workload is typically unseen by medical students. This offers a potential explanation for why residents are particularly disheartened by the longer hours needed to manage IPCAs, especially if they selected family medicine in anticipation of more flexible hours.49 As voiced by our participants, the unexpected, unfulfilling, and sometimes unsustainable workload of IPCAs may be one of the many elements impacting a decline in family medicine graduates choosing to practice comprehensive family medicine and the decline of activity level and patient panel size.50, 51 Graduates may be setting boundaries to maintain a sustainable practice by moving away from comprehensive family medicine practice52 with a large patient panel to compensate for this unexpected and onerous workload.

4.1 교육자에게 미치는 영향
4.1 Implications for educators

이 연구는 가정의학 전공의들이 그들의 의료행위를 관리할 수 있도록 준비하기 위한 [새로운 커리큘럼의 필요성]을 강조했고, [전공의들의 교육적 헌신과 시간]에 대한 상충하는 요구를 염두에 두면서 이 중요한 환자 치료 부분을 통합했다. 53 여기에는 IPCA의 존재에 대한 투명성, 예상 작업량, 그리고 지속 가능한 경영을 위한 기대치와 전략이 포함된다. 예를 들어, 스텝이 학습자가 볼 수 있는 방식으로 자체 IPCA 작업을 완료한다면, 이 작업의 효율성을 높이기 위해 이러한 작업 및 역할 모델링 전략을 표준화한다.
This study has highlighted the need for new curricula to prepare Family Medicine residents to manage their practices, integrating this vital piece of patient care while being mindful of competing demands on residents' educational commitments and time.53 This includes transparency around the existence of IPCAs, the anticipated workload, expectations and strategies for sustainable management. For example, when staff complete their own IPCA work in a way that is visible to the learner, they are normalising these tasks and role modelling different strategies to increase efficiency of this work.

연구 참가자들은 IPCA를 단계적이고 점진적인 방식으로 도입할 것을 권고했다. 예를 들어, EHR 수신함에 대한 소개는 관심 있는 문서 또는 특정 문서를 보낸 후 전공의가 수신함의 모든 구성 요소를 관리할 때까지 전공의가 직접 주문한 항목을 보낸 후 특정 범주의 조사(즉, 참조 노트, 처방, 혈액 검사 및 진단 영상)를 수행할 수 있다. 이 접근법은 특정 학습 목표를 허용하기 위해 [양은 줄이면서 더 집중된 교육]을 촉진할 수 있다. Inbox을 언제 어떻게 도입해야 하는지에 대한 지침을 가지고 있으면 전공의들 사이의 투명성과 형평성이 향상될 것이고, 프로그램이 의도된 역량을 명확히 하고 정기적인 피드백을 촉진하도록 장려할 것이다. 이러한 전략은 전공의들에게 명확성과 구조를 만들어 줄 뿐만 아니라 학습자들이 적응적이고 자기 조절적인 학습 전략을 개발할 수 있도록 돕는 학습 환경을 촉진할 것이다. 전공의들이 스스로의 학습을 조절하고 적응할 수 있을 때, 그들은 의학 분야에서 평생의 경력을 지속할 수 있는 능력을 강화하고 있다. 전공의 프로그램은 이러한 적응적이고 자기 통제적인 행동을 촉진하기 위해 의도적으로 그리고 의도적으로 그러한 학습 환경을 계획해야 한다. 
Study participants recommended that IPCAs be introduced in a stepwise, gradual way. For example, introduction to the EHR inbox can begin by sending interesting or specific documents, then items the resident themselves ordered, followed by a particular category of investigations (i.e. consult notes, prescriptions, blood work and diagnostic imaging) until the resident is managing all components of the inbox. This approach may facilitate focused education with reduced quantity to allow for specific learning goals. Having a guideline as to when and how inbox should be introduced will improve the transparency and equity amongst residents, encourage the programme to articulate the intended competency and to promote regular feedback. These strategies will not only create clarity and structure for residents, they also promote a learning environment that helps learners develop adaptive, self-regulated learning strategies.54 When residents are able to regulate and adapt their own learning, they are bolstering their ability to sustain a life-long career in medicine. Residency programmes should intentionally and purposefully plan such learning environments to promote these adaptive, self-regulated behaviours.54

4.2 강점과 한계
4.2 Strengths and limitations

수집된 데이터는 단일 레지던트 프로그램에서 수집되었으며 다른 가정의학 프로그램이나 다른 전문 분야로 이전할 수 없습니다. 상당한 모집 노력에도 불구하고, 참여에 자원한 전공의들은 우리 레지던트 프로그램의 대규모 학술 교육 현장에서 불균형적으로 뽑혔다. 지역사회 기반 현장에서 주민을 모집하는 것이 과제였는데, 이는 다양한 현장에서 IPCA의 교육 경험의 불일치를 시사하는 것일 수 있다. 참가자들이 자신의 경력 단계와 관련된 IPCA에 대해 말하는 방식에 차이가 있었기 때문에 다양한 수준의 전문 경험과 초점을 가진 참가자들의 통합이 강점이다.
The data collected was from a single residency programme and may not be transferable to other family medicine programmes or other specialties. Despite significant recruitment efforts, the residents who volunteered to participate were disproportionately drawn from the large academic teaching sites in our residency programme. It was a challenge to recruit residents from the community-based sites, which may be an indication of a discrepancy in the educational experience of IPCAs in the various sites. The incorporation of participants with varying levels of professional experience and focus is a strength, as there were differences in the way that participants spoke about IPCAs, related to their career stage.

5 결론
5 CONCLUSION

결론적으로, IPCA는 우리 의료 시스템의 필수적이고 증가하는 구성요소이다. 우리 가정의학 전공의들이 이러한 업무를 효과적이고 [지속 가능한 방식]으로 관리하도록 훈련받는 것이 필수적이다. 지속 가능성에 초점을 맞추지 않으면 IPCA는 인구 수요를 충족시키기 위해 충분한 수의 일반 가정의사를 모집하고 유지하는 데 장애가 될 위험이 있다. 이를 달성하기 위해서는 IPCA에 대한 점진적인 도입, 교육 및 피드백, 동료 간의 형평성을 포함할 수 있는 교육 혁신이 필요합니다. 이 교육을 제공하지 못하면, 수련을 마친 전공의가 독립적인 임상 실습으로의 이행하는 것에 대한 위험, 그리고 일부 사람들에게는 포괄적인 진료를 떠나서 더 세부전문과목으로 진입할 위험이 따른다. 그러나 교육 혁신은 충분하지 않다. 상응하는 보수 없이 업무량이 증가했을 때 나타나는 시스템적 영향을 인식하고, family practice의 지속 가능성을 높이는 의료 시스템 변화를 옹호해야 한다.
In conclusion, IPCAs are a necessary and increasing component of our health care system. It is essential to ensure our family residents are trained to manage these tasks in an effective and sustainable manner. Without a focus on sustainability, IPCAs risk becoming a barrier to recruiting and retaining sufficient numbers of generalist family physicians to serve population needs. Achieving this will require educational innovation, which may include a gradual introduction to IPCAs, with teaching and feedback, and equity amongst peers. Failing to provide this education carries the risk of more challenging transitions to independent clinical practice for graduating residents, and for some, attrition out of comprehensive practice and into sub-specialisation. However, educational innovation is not sufficient. We need to recognise the systemic implications of an increased workload without corresponding remuneration and advocate for health system change, which increases the sustainability of family practice.

© 2022 Association for the Study of Medical Education and John Wiley & Sons Ltd.

임상실습에서 과락-실패를 유발하는 교수역할특성 (Med Educ, 2022)
Role of faculty characteristics in failing to fail in clinical clerkships
Jennifer L. Swails1 | Meghana A. Gadgil2,3 | Heath Goodrum4 | Resmi Gupta5 |
Mohammad H. Rahbar5,6 | Elmer V. Bernstam1,4

1 소개
1 INTRODUCTION

CBME(역량 기반 의료 교육)는 학생들이 진급을 하기 전에 숙련도를 입증하도록 요구함으로써 환자의 안전을 증진시킨다. 이와 같이 중요한 사건 보고는 의과대학에서 시작되어, 성과가 저조한 미래의 의사를 식별하고 임상 치료에 영향을 미치기 전에 개선할 수 있는 기회를 제공함으로써 환자를 보호한다. 또한 의과대학 평가는 전공의 성공의 중요한 예측요인으로 간주되어 전공의 선정과정에서 가중치를 부여하고 있다. 
Competency-based medical education (CBME) promotes patient safety by requiring students to demonstrate proficiency before they can progress. In this way, critical event reporting begins in medical school, protecting patients by identifying underperforming future physicians and allowing them the opportunity to improve before impacting clinical care.1 Furthermore, medical school evaluations are considered an important predictor of residency success and are thus weighted heavily in the residency selection process.2-4

의학 교육과 경력 개발에서 중요한 역할에도 불구하고, 의대생 임상실습 등급 보고는 사용된 등급 척도에 따라 기관마다 크게 다르다. 평가는 학생의 성별과 인종에 따라 영향력에 취약할 수 있다. 게다가, 임상실습 책임교수 조사 데이터는 등급 인플레이션의 지속적인 국가 패턴을 시사하지만, 이에 대한 명확한 설명은 존재하지 않는다.
Despite their key role in medical education and career development, medical student clerkship grade reporting varies greatly between institutions,5-8 depending on the grading scale used7 and even across rotations within a clerkship.7 Evaluations can be vulnerable to influence based on the gender and race of students.9 Moreover, clerkship director survey data suggest a persistent national pattern of grade inflation,10-12 though no clear explanation for this exists.

교수진들은 또한 표준 이하의 임상실습 수행능력을 문서화하는 것을 꺼릴 수 있다. 특히, 최근의 메타 분석에서 교수진의 전문직업적 우려를 "과락 실패"의 주요 원인으로 확인했습니다. 최근 몇 년간 교수진에 대한 의대생 평가는 교수진 승진에 중요한 요소가 되고 있다. 의대생 사무원 자격 평가에 대한 우리의 현재 이해에서 중요한 차이는 교수직, 성별 및 인종과 같은 평가자 특성의 영향이다. 학계의 여성과 소수자는 전반적으로 승진 기준이 다르고 더 높은 수준을 유지하고 있으며, 의대생들의 평가는 교직원의 성별과 인종에 따라 영향을 받는다는 것이 데이터에 의해 입증되었다. 교육생과의 선행연구를 통해 교직원과 전공의 평가 사이의 호혜성(긍정적, 부정적 모두)을 입증했지만 의대생에 대한 자료는 거의 없다.
Faculty may also be reluctant to document substandard clerkship performance.12 Notably, a recent meta-analysis identified faculty professional concerns as a major reason for “failure to fail.”13 In recent years, medical student evaluations of faculty have become an important factor in faculty promotion. An important gap in our current understanding of medical student clerkship evaluations is the impact of evaluator characteristics like faculty rank, gender, and race. Data have demonstrated that women and minorities in academia overall are held to different and higher standards for promotion14-16 and that evaluations by medical students are impacted by the gender and race of the faculty member.17, 18 Prior research with trainees has demonstrated reciprocity (both positive and negative) in faculty and resident evaluations,19, 20 but there is little data for medical students.

이전 연구들은 학생을 낙제시키는 장벽을 조사했지만, 교수 인구 통계와 직위rank는 제외되었다. 우리는 [승진 전에 부정적인 영향에 대한 취약성]을 인지했기 때문에, 주니어 교수진이 낮은 성과 평가(LPE)를 제출할 가능성이 낮다고 가정했다. 또한 주니어 교수진은 일반적으로 경험이 부족하고, 평가 기술에 대한 자신감이 떨어질 수 있다. 우리는 교수진에 대한 학생 평가의 변동성뿐만 아니라 학문적 순위에서 알려진 차이를 고려할 때 교수진의 성별, 인종, 민족성이 중요한 수식어가 될 것이라고 생각했다. 이러한 가설을 테스트하기 위해, 우리는 미국 남부의 한 대형 학술 의료 센터에서 10년 이상의 의대 학생 임상실습생 평가와 함께 대규모 데이터 세트를 분석했다. 재교육 교정조치가 필요한 학생을 정확하게 평가하려면 두 가지 작업을 모두 수행해야 합니다.

• (1) 표준 이하의 행동을 식별할 수 있다. 
  
• (2) 그것을 기꺼이 구두로 말하거나 기록한다. 

본 연구에서는 [평가의 정확성]을 평가할 수 없었고, 대신 두 번째 요소인 [문서 작성 의지]에 초점을 맞췄다. 두 구성 요소를 별도로 평가하는 것은 정확도를 향상시키기 위한 고유한 개입을 제안할 수 있다.
Previous studies have investigated the barriers to failing a student, but faculty demographics and rank were excluded.13 We hypothesized that junior faculty were less likely to submit low performance evaluations (LPEs), perhaps due to perceived vulnerability to negative repercussions prior to promotion. Junior faculty could also be generally less experienced and less confident in their evaluation skills. We thought faculty gender, race, and ethnicity would be important modifiers given the known disparities in academic rank, as well as variability in student evaluations of faculty. To test these hypotheses, we analysed a large dataset with more than a decade of medical student clerkship evaluations from a large academic medical centre in the Southern United States. Accurately assessing a student who needs remediation requires faculty to both

• (1) be able to identify the substandard behaviour and
• (2) be willing to verbalise or document it.

In this study, we could not assess the accuracy of assessment and, instead, focused on the second component, willingness to document. Evaluating the two components separately may suggest unique interventions to improve accuracy.

2 방법
2 METHOD

단일 기관에서 15년 동안 완료한 3학년 임상실습 재직 중 의대생에 대한 교수진 평가를 분석하였다. 이 연구는 프로토콜 HSC-SBMI-19-0385에 따라 인간 대상 보호를 위한 위원회의 승인을 받았다.
Faculty evaluations of medical students during third-year clerkships completed over a 15-year period from a single institution were analysed. This study has been approved by the Committee for the Protection of Human Subjects under protocol HSC-SBMI-19-0385.

핵심 3년차 임상실습 7개 중 5개(가정의학과와 지역사회의학, 내과, 소아과, 정신과학, 신경학)에 대한 중간점 및 최종 교수진 평가가 모두 포함되었습니다. 외과, 산부인과, 산부인과가 제외되었는데, 이는 교수진이 사무직에 대한 총체적인 평가를 완료하기 때문이다(즉, 평가는 여러 교수진의 의견을 반영한다). 임상강사들이 완료한 평가는 한 부서에만 소수 인원이 있어 제외됐다.
All midpoint and final faculty evaluations for five of seven core third-year clerkships (Family Medicine and Community Medicine, Internal Medicine, Paediatrics, Psychiatry, and Neurology) were included. Surgery and Obstetrics and Gynaecology were excluded because the faculty complete evaluations in aggregate for those clerkships (i.e., the evaluation reflected input from multiple faculty members). Evaluations completed by clinical instructors were excluded because there were a small number in only one department.

[불충분한 학생 성과를 문서화할 의사가 있는 교직원]을 식별하기 위해, 우리는 LPE를 교직원이 중간 지점이나 사무직 최종 평가에서 학생이 기대에 미치지 못한다고 판단한 평가로 정의했다. 최종 평가 형태는 연구 기간 15년 동안 다양했으며, 형태별로 질문 항목 수가 달랐다.

• 질문은 binary하거나 (예: "이 학생들의 윤리적 또는 직업적 행동에 대해 심각한 우려가 있습니까?" [예/아니오]) 
  
• 또는 임상실습 역량 평가를 위한 5점 리커트 척도를 가지고 있었다. 

중간점 평가도 15년의 연구 기간에 걸쳐 다양했지만, 이진 척도 질문(예/아니오)으로 구성되었으며, 이를 통해 교수진은 학생이 여러 역량 영역에서 "기대 충족" 또는 "실패"를 나타낼 수 있었다. 우리는 매년 완료되는 평가 양식을 수동으로 검토하여 해당 양식에 대해 어떤 답변이 LPE를 정의했는지 확인했습니다. 
To identify faculty willing to document inadequate student performance, we defined LPEs as evaluations where the faculty instructor determined that the student did not meet expectations either at the midpoint or at the final evaluation of the clerkship. Final evaluation forms varied over the 15-year period of the study, with differing numbers of question items per form. Questions

• were either binary (e.g., “Do you have any serious concerns about this students ethical or professional behavior?” [Yes/No])
• or had 5-point Likert scales for assessment of clerkship competencies.

Midpoint evaluations also varied across the 15-year study period but consisted of binary scale questions (Yes/No) through which faculty could indicate if the student was “meeting” or “failing to meet” expectations in a number of competency areas. We manually reviewed the evaluation forms completed each year to determine what answers defined LPE for that form.

다음 중 하나 이상을 통해 학생의 [LPE를 정의]했습니다.

• 중간 평가에서 학생은 하나 이상의 역량 영역에서 "기대 충족에 실패"했습니다.
  
• 중간 평가 또는 최종 평가에서 비윤리적인 행동으로 플래그 지정됨
  
• 전반적 최종 평가에서 낙제 점수—평가 양식에 '전반적 평가'항목이 존재했을 때(5점 Likert 척도에서 1 또는 2의 값으로 정의됨)
  
• 최종 평가에서 성과에 대한 리커트 척도의 중앙 점수 아래에 있는 하나 이상의 점수(5점 리커트 척도의 경우 1 또는 2의 값) 모든 형태는 연구자들에 의해 독립적으로 검토되었으며(J. L. S., M. A. G. 또는 E. V. B.) 형태 간 변동성에도 불구하고 이러한 값에 대한 앵커들은 일관되게 부적절한 성능을 나타냈다(보조 자료에 이용 가능한 평가 양식에 사용되는 앵커). 예를 들어, 여러 형태의 레벨 2 성과는 다음과 같이 표현되었습니다. 
  
  • "최소한의 기본 기술 수준입니다. 면담과 신체진찰에 대한 공부가 필요하다. 임상실습 동안 진전이 거의 없습니다."
  • "환자의 불만과 관련된 정신 상태 검사를 수행하지 않으며 일부 비정상적인 소견을 간과합니다."
    
  • "환자기록 노트가 약간 불완전합니다."

We defined an LPE for a student through one or more of the following:

각 로테이션마다, 교수진들은 그들이 감독한 학생들에 대한 평가를 완료하도록 요청받았다. 각 학생은 3학년 임상실습 과정 동안 여러 평가 세션을 거쳤으며, 대부분의 교수진은 15년 동안 여러 학생을 평가했습니다. 학생들은 특정한 교수진을 요청할 수 있었지만, 그러한 요구들이 항상 허락된 것은 아니었다. 대부분의 과제는 무작위로 이루어졌다. 
For each rotation, faculty were asked to complete evaluations for students they had supervised. Each student moved through multiple evaluation sessions over the course of their third-year clerkships, and most faculty evaluated multiple students over the 15 years of the study. Students could request specific faculty, but such requests were not always granted. Most assignments were random.

위에서 정의한 바와 같이 LPE 제출 가능성과 함께 교수 평가자 등급(조교, 준교수 또는 정교수)의 연관성을 평가했습니다. 교수진 특성에는 학력, 성별, 인종, 민족성, 나이, 그리고 평가를 내린 경험이 포함된다. 학생 인구 통계 데이터를 사용할 수 없습니다. 
We assessed the association of a faculty evaluator's rank (assistant, associate, or full professor) with the likelihood of submitting an LPE as defined above. Faculty characteristics included academic rank, gender, race, ethnicity, age, and experience giving evaluations. Student demographic data were not available.

우리는 [경험 점수]를 사용하여 [직위]와 [경험]을 구분했다. 이 값은 해당 교수진이 제출한 각 평가 시 해당 교수진이 데이터 세트 내에서 완료한 평가 수의 카운트로서 각 교수진에 대해 계산되었다. 예를 들어, 학생에 대한 19번째 평가를 마친 교직원은 해당 평가에 대해 19의 경험치, 25번째 평가에 대해 25의 경험치가 할당됩니다. 평가 당시 경험치가 낮은 경험은 경험점수 ≤ 50, 중간 경험은 > 50이지만 ≤ 100으로, 높은 경험은 > 100으로 범주형 변수로 그룹화했다. 이 전략은 연구 기간 전에 상당한 수의 평가를 완료한 고위 교수진의 경험을 과소평가할 수 있지만, 모든 교수진은 시작부터 시작하여 연구 과정에 걸쳐 각 수준에서 동일한 수의 평가를 입력할 수 있는 기회를 갖게 된다. 연구 기간 15년에 걸쳐 시간이 경과되고 새로운 교수진이 추가됨에 따라, 그들의 새로운 평가 수치(평균 2134.9/년)는 더 많은 상급 교수진이 학습 시작 전에 제출한 평가의 잘못된 "startup" 효과를 훨씬 초과한다. 우리 표본에서 낮은 빈도의 LPE와 각 순위의 교수진을 고려할 때 통계적 힘을 보존하기 위해 범주형 변수가 필요했다. 
We distinguished faculty rank from experience using an experience score. This was calculated for each faculty member at the time of each evaluation submitted by that faculty member, as a count of the number of evaluations completed by that faculty member, within our dataset. For example, faculty completing their 19th evaluation of a student would be assigned an experience value of 19 for that evaluation and a value of 25 for the 25th evaluation. We grouped experience as a categorical variable, with low experience defined as an experience score of ≤50, middle experience as >50 but ≤100, and high experience as >100, at the time of evaluation. Although this strategy may underestimate the experience of senior faculty with a significant number of evaluations completed prior to the study period, all faculty will begin at the start and have an opportunity to enter the same number of evaluations at each level over the course of the study. As time progressed over the 15 years of the study and new faculty are added, their new evaluation numbers (mean 2134.9/year) far exceed the false “startup” effect of evaluations submitted by more senior faculty prior to study start. A categorical variable was necessary to conserve statistical power given the low frequency of LPE and faculty of each rank in our sample.

연속형 변수에 대한 기술 통계량을 중위수 및 표준 편차(SD)로 계산하고 범주형 변수는 빈도와 백분율로 계산했습니다. 반복 측정 계층적 데이터 구조를 고려할 때, 우리는 구조화되지 않은 공분산을 가진 이항 분포와 로지스틱 링크 함수를 갖는 일반화된 혼합 회귀 모델을 사용했다. 학생들의 평가는 교직원 평가자 내에 nested되었고, 평가자는 로테이션 내에 nested되었다. 모든 모형에 대한 결과 변수는 LPE 대 그렇지 않음을 나타내는 각 평가에 대한 이진 변수였습니다. 교직원의 성별, 교직원의 연령, 교직원의 인종, 교직원의 민족성, 교직원의 인종, 민족성, 연령 및 교직원의 평가년도의 역할과 교직원의 성별, 인종, 연령 및 교직원의 상호 작용 효과를 교직원의 등급 간 연관성과 최종 평가에 대한 LPE 부여의 잠재적 교란자로 평가하였다.
We calculated descriptive statistics for continuous variables as medians and standard deviations (SD). Categorical variables were calculated as frequencies and percentages. Given the repeated-measures hierarchical data structure, we utilised a generalised mixed regression model having binary distribution and logistic link function with unstructured covariance. Students' evaluations were nested within faculty evaluators, and evaluators were nested within a rotation. The outcome variable for all models was a binary variable for each evaluation indicating LPE versus not. We evaluated the role of faculty gender, faculty age, faculty race, faculty ethnicity, experience giving evaluations, and calendar year of evaluation, as well as interactive effects between faculty gender, race, ethnicity, age, and faculty rank, as potential confounders of association between faculty rank and giving LPE on final evaluations.

[최종 평가]와 비교하여 [중간점 평가]에서 LPE를 받을 가능성 사이에 상당한 차이를 발견했지만, 중간점평가에서 LPE의 사용에는 큰 차이가 있었다. 예를 들어, 한 교직원은 중간 지점에서 학습자의 50% 이상의 LPE를 제공했지만 최종(요약) LPE는 훨씬 적게 제공했습니다. 따라서 중간점 평가를 모델에 포함하지 않았다.

Although we found a significant difference between the likelihood of receiving an LPE on a midpoint evaluation compared with a final evaluation, there was wide variation in the use of midpoint LPEs. For example, one faculty member gave more than 50% of learners LPEs at midpoint but gave far fewer final (summative) LPEs. Thus, we did not include midpoint evaluations in our model.

통계적 비유의성으로 인해 교수 연령과 교수 인종, 민족성, 상호작용 효과의 잠재적 modifier effect는 최종 모형에서 삭제되었다. 우리의 1차 가설은 교수진과 관련이 있기 때문에 통계적 유의성이 부족함에도 불구하고 추진되었다. 결과는 95% 신뢰 구간(CI)과 함께 승산비(OR)로 표시된다. 통계적 유의 수준은 α = 0.05로 설정되었다. 모델에 적합한 GLIMMIX 절차를 포함하여 모든 분석은 SAS 통계 소프트웨어 버전 9.4.4로 수행되었다(SAS Institute Inc., Cary, NC).
Because of nonstatistical significance, the potential modifier effects of faculty age and faculty race, ethnicity, and interactive effects were dropped from the final model. Our primary hypothesis is related to faculty rank, so it was carried forward despite lack of statistical significance. Results are presented as odds ratio (OR) along with 95% confidence intervals (CIs). Statistical significance level was set at α = 0.05. All analyses were conducted with SAS statistical software version 9.4.4, including the GLIMMIX procedure to fit the model (SAS Institute Inc., Cary, NC).

3 결과
3 RESULTS

데이터 세트에는 2007년 1월부터 2021년 4월까지 총 3447명의 학생(표 1)을 대상으로 585명의 교수 평가자가 완료한 50120개의 평가(32024 최종 평가[64%] 및 18096 중간 평가[36%])가 포함되었으며, 총 1418(2.8%)의 LPE가 주어졌다. 조교수가 가장 많은 평가(70%)를 제출했고, 준교수와 정교수(각각 15%)가 그 뒤를 이었다. 여성 교직원이 51.3%의 평가를 제출했으며, 평가 완료 당시 교직원의 중위연령은 43세(28~87세)였다. 텍사스 대학교 시스템이 채용한 인종 및 민족 범주별로 보면, 비히스패닉으로 자처한 교수진이 89%의 평가를 마쳤으며, 백인 46%, 아시아인 30%, 기타 24%가 평가되었다. "낮은" 경험 교수진은 방법에 정의된 대로 38%의 평가를 완료했습니다. "중간" 경험은 21%의 평가를 마쳤고, "높은" 경험 교직원은 42%를 마쳤습니다. 교수진은 최종 평가(1.6%)보다 중간 지점(4.9%)에서 LPE를 줄 가능성이 더 높았다(OR = 4.004, 95% CI [3.59, 4.53]; p < 0.001). 
The dataset included 50 120 evaluations (32 024 final evaluations [64%] and 18 096 middle evaluations [36%]) completed by 585 faculty evaluators on 3447 students (Table 1) between January 2007 and April 2021, with a total of 1418 (2.8%) LPEs given. Assistant professors submitted the most evaluations (70%), followed by associate and full professors (15% each). Female faculty submitted 51.3% of evaluations, and the median age of faculty was 43 (range 28–87 years) at the time the evaluation was completed. Per the race and ethnicity categories employed by the University of Texas system, 89% of evaluations were completed by faculty that self-identified as non-Hispanic, with 46% White, 30% Asian, and 24% Other. “Low” experience faculty completed 38% of evaluations, as defined in the methods. “Middle” experience completed 21% of evaluations, and “high” experience faculty completed 42%. Faculty were more likely to give LPEs at the midpoint (4.9%), compared with the final (1.6%), evaluation (OR = 4.004, 95% CI [3.59, 4.53]; p < 0.001).

표 1은 최종 평가를 위한 단일 변수 연관성과 기술 통계량을 보여줍니다. 최종 평가의 2%는 LPE였다. 조교수가 LPE의 67%, 부교수가 15%, 정교수가 18%로 가장 많았다. 여성 교수진은 LPE의 63%를 주었다. LPE의 90%는 비히스패닉 교수진에 의해 주어졌다. 백인 교수진이 LPE의 47%, 아시아 교수진이 27%, 기타 교수진이 26%를 받았다. 낮은 경험의 교수진은 LPE의 54%, 중간 경험의 교수진은 22%, 그리고 높은 경험의 교수진은 24%를 주었다. 해당 연도에 주어진 총 평가의 백분율로서 연간 LPE의 백분율은 그림 1에 나와 있다. 
Table 1 shows the results of univariable associations and descriptive statistics for final evaluations. Two per cent of final evaluations were LPEs. Assistant professors gave the most LPEs (67%), associate professors gave 15%, and full professors gave 18%. Female faculty gave 63% of LPEs. Ninety per cent of LPEs were given by non-Hispanic faculty. White faculty gave 47% of LPEs, Asian faculty gave 27%, and “Other” faculty gave 26%. Low experience faculty gave 54% of LPEs, 22% by middle experience faculty, and 24% by high experience faculty. The percentages of LPE per year as a percentage of total evaluations given in that year are shown in Figure 1.

표 2는 최종 모델의 결과를 보여줍니다. 귀무 모델은 AIC(Akaike Information Criteria) 적합 통계가 5359.73인 반면, 우리의 최종 모델은 Akaike Information Criteria가 5006.32로 더 적합하다는 것을 보여주었다. 연구 기간 동안 LPE의 가능성은 각 달력 연도에 따라 유의하게 감소했습니다(표 2, OR = 0.94 [0.90, 0.97]; p < 0.01). 정교수는 조교수보다 LPE를 줄 가능성이 유의미하게 높았다(OR = 1.62 [1.08, 2.43]; p = 0.02). 여성이 남성보다 LPE를 투여할 가능성이 더 높았다(OR = 1.88 [1.37, 2.58]; p 0.01). 경험은 LPE와 연관되지 않았습니다.
Table 2 shows the results of our final model. The null model had an Akaike Information Criteria (AIC) fit statistic of 5359.73, whereas our final model had an Akaike Information Criteria of 5006.32, indicating a better fit. The likelihood of LPE decreased significantly with each calendar year during the study period (Table 2; OR = 0.94 [0.90, 0.97]; p < 0.01). Full professors were significantly more likely to give an LPE than assistant professors (OR = 1.62 [1.08, 2.43]; p = 0.02). Women were more likely to give LPEs than men (OR = 1.88 [1.37, 2.58]; p 0.01). Experience was not associated with LPE.

4 토론
4 DISCUSSION

15년에 걸쳐 제출된 이 대규모 임상실습 평가 코호트에서, 우리는 LPE가 상대적으로 드물다는 것을 발견했는데, 이는 모든 최종 평가의 2.8%에 해당한다. 다행히도, [큰 표본 크기]는 우리가 의학 교육에서 드물지만 중요한 사건에 대한 결론을 도출할 수 있게 해주었다.

• 대부분의 이전 작업은 정성적이었고 더 작은 샘플도 포함했습니다.
• 다른 연구는 "명예" 등급의 예측 변수에 초점을 맞췄다.
• 한 대규모 연구는 진급 실패를 예측하기 위해 전공의 평가에서 키워드를 확인했지만, 교수 요인의 역할을 조사하지 않았다.

In this large cohort of clerkship evaluations submitted over 15 years, we found that LPEs were relatively rare, representing 2.8% of all final evaluations. Fortunately, the large sample size allowed us to draw conclusions about this rare but important event in medical education.

• Most previous work was qualitative and included smaller samples.21 
• Other research focused on predictors of an “honours” grade.22 
• One large study identified keywords in resident evaluations to predict failure to progress but did not investigate the role of faculty factors.23 

우리는 또한 주니어 교수진에 비해 시니어 교수진의 낮은 유병률, 특정 임상실습(예: 입원 병동 대 일반 진료소) 및 연도를 포함하여 여러 잠재적 교란자를 제어할 수 있는 정교한 계층적 모델을 구현했다. 이 모델을 기반으로 최종(요약) 평가에 비해 중간점(형식) 평가에서 LPE가 일반적으로 3배 이상 제출되었다. (연구 기간 동안 완료된 평가 횟수로 측정되는) 교수 경험과 무관하게 정교수가 조교수보다 종합 LPE를 제출할 가능성이 더 높았다.  여성은 남성보다 LPE를 투여할 가능성이 더 높았다. 전반적으로 LPE 빈도는 우리 기관의 역량 기반 교육의 직접 관찰 및 구현에 대한 강조가 증가했음에도 불구하고 시간이 지남에 따라 감소하였다. 
We also implemented a sophisticated hierarchical model that allowed us to control for multiple potential confounders including the lower prevalence of senior faculty compared with junior faculty, specific clerkship (e.g., inpatient wards vs. general medicine clinic), and year. Based on this model, LPEs were over three times more commonly submitted at the midpoint (formative) evaluation compared with final (summative) evaluations. Full professors were more likely to submit summative LPEs than assistant professors, independent of faculty experience (as measured by number of evaluations completed during the study period). Women were more likely to give LPEs compared with men. Overall, LPE frequency decreased over time despite increased emphasis on direct observation and implementation of competency-based education at our institution.

비록 이 관찰 연구가 원인을 결정할 수는 없지만, 우리는 주니어 교수진이 부정적인 결과, 특히 학생으로부터의 부정적 평가에 대한 우려 때문에 수준 이하의 학생 성과를 문서화하는 것을 주저할 수 있다고 가정한다. 교직평가는 승진을 위한 평가, 교직상 선정, 기타 승진 및 리더십 기회의 중요한 구성 요소이다. 우리의 가설은 [특정 세부전공 로테이션, 평가 형태 변화, 교수 경험, 시간 경과에 따른 등급 인플레이션 등의 잠재적 교란 요인을 통제]한 후에도 지속된 주니어 교수진과 시니어 교수진 간 등급 차이로 뒷받침된다. 이는 또한 교수진이 개인적인 스트레스, 낙제생으로 인한 행정적 부담, 교수진 개발 부족 또는 연수생 성과에 대한 죄책감을 피하기 위해 LPE를 주는 것을 꺼릴 수 있다는 것을 발견한 이전 연구에서도 입증되었다. 그러나 이러한 원인은 특히 [제출된 평가 수에 따른 경험]을 통제한 후 서로 다른 직급의 교수들 사이에서 일정할 수 있다. [학생으로부터의 우수한 평가를 유지하기 위해 주니어 교수들이 부정적인 피드백을 제공하는 것을 피한다]는 학부 기관의 자료를 볼 때, 의학 교육에서도 비슷한 양상이 나타난다면 놀랄 일은 아닐 것이다. 하지만, 기관들은 승진에서 학생 평가를 탈-강조하는 것을 꺼릴 수 있다. 
Although this observational study cannot determine causes, we hypothesise that junior faculty may be hesitant to document substandard student performance due to fear of negative consequences, particularly poor teaching evaluations. Teaching evaluations are an important component of assessment for promotion, selection for teaching awards, and other advancement and leadership opportunities. Our hypothesis is supported by the difference in grading between junior and senior faculty that persisted even after controlling for specific subspecialty rotations, changes in evaluation forms, faculty experience, and grade inflation over time as potential confounders. This has been documented in previous research, which also found that faculty may also be reluctant to give LPEs to avoid personal stress, the administrative burden caused by failing a student, lack of faculty development, or guilt about trainee outcomes.13 However, these causes would likely be constant among faculty at different academic ranks, especially after controlling for experience based on number of evaluations submitted. Given data from undergraduate institutions that junior faculty avoid providing negative feedback in order to maintain good student evaluations, it would not be surprising if similar patterns were seen in medical education. However, institutions may be reluctant to de-emphasise student evaluations in promotion.24

교수 평가가 진급에 덜 중요할 수 있는 [임상의-연구자]는 승진할 가능성이 더 높고, 더 낮은 평가를 내릴 수 있다. 우리의 데이터 세트는 학생 평가 당시 각 교수진의 특정 트랙(예: 임상의-교육자 및 테뉴어 트랙 연구원)에 대한 정보를 포함하지 않았으며, 연구 기간 동안 승진 지침이 다양했다. 종신 재직권은 조교수나 부교수에 비해 정교수 계급의 교수들 사이에서 더 흔하다. 우리 기관에는 종신 재직 중인 부교수들이 있지만, 종신 재직 중인 정교수의 비율은 훨씬 더 높다. 이는 코호트에서 조교수와 부교수 간에 LPE의 차이를 발견하지 못한 이유를 설명하는 데 도움이 될 수 있지만, 조교수와 정교수 사이에는 차이가 있었다. 향후 연구는 성적 인플레이션, 교수진 및 재직 기간 간의 관계를 조사해야 한다.
Clinician-researchers, for whom teaching evaluations may be less critical for advancement, may be both more likely to be promoted and give lower evaluations. Our dataset did not include information on the specific track (e.g., clinician-educator and tenure-track researcher) of each faculty member at the time of student evaluation, and promotion guidelines varied during the study period. Tenure is more common among faculty at the rank of full professor compared with either associate professors or assistant professors. Although there are tenured associate professors at our institution, the proportion of tenured full professors is much higher. This may help explain why we found no difference in LPEs between assistant and associate professors in our cohort, but there was a difference between assistant professors and full professors. Future studies should investigate the relationship between grade inflation, faculty tracks, and tenure.

교수진이 개별 학생들과 보내는 시간을 제한하는 근무 패턴을 바꾸는 것은 성적 인플레이션에 기여할 수 있다. 과거에는 팀들이 매달 돌아가면서, 교수진들은 시간이 지남에 따라 학생들의 성과를 관찰할 수 있었다. 최근, 2주 또는 심지어 1주 블록이 더 흔해졌다. 이전 연구에서는 학습자와의 시간이 줄어들면 교수진이 낙제 평가를 기꺼이 제출할 가능성도 감소한다고 관찰했습니다. 따라서 "의문의 이점"은 LPE의 빈도를 감소시킬 수 있다.
Changing work patterns that limit the time that faculty spend with individual students may contribute to grade inflation. In the past, teams rotated monthly; thus, faculty were able to observe student performance over time. Recently, 2-week or even 1-week blocks have become more common. Previous studies observed that decreased time with a learner also reduced the likelihood that a faculty would be willing to submit a failing evaluation.13 Thus, the “benefit of the doubt” may decrease the frequency of LPEs.

우리는 교직원의 성별과 인종이 학생 평가에 미치는 영향을 조사했습니다. 인종과 민족은 LPE를 예측하지 못했지만, 비슷한 직위에 있는 남성보다 여성이 LPE를 제출할 가능성이 더 높았다. 남녀 후배 교수진이 부여한 LPE가 승진, 학술상, 리더십 직급에 어떤 영향을 미치는지, 어떻게 영향을 미치는지 판단할 자료가 부족하지만, 이는 향후 조사에 중요한 영역이 될 수 있다.
We investigated the effect of faculty gender and race on student evaluations. Race and ethnicity did not predict LPE, but women were more likely to submit LPEs compared with men at a similar academic rank. We lack the data to determine whether and how LPEs given by male and female junior faculty affect promotion, academic awards, and leadership positions, but these may be important areas for future investigation.

어려움을 겪고 있는 학생들을 정확하게 식별하는 것은 그 학생이 발전하도록 돕는 동시에 공공의 이익을 위해서도 중요하다. 이전의 교육 질 개선 작업은 학생 실패에 대한 근본 원인 분석을 수행했지만 실패가 환자 치료에 미칠 수 있는 영향을 고려할 때 더 심각한 중대 사건이 될 수 있다. 학습자의 성장 마인드를 강조하는 것은 낮은 점수를 교육 성장을 이끄는 도구로 해석하는 데 도움이 될 것이다. 성별, 인종 및 민족성이 평가에 미치는 영향에 대한 교수진과 학생들의 더 나은 교육과 훈련은 또한 그들이 서로에 대해 더 집중적이고 유용한 평가를 제공하는 데 도움이 될 수 있다. 시간이 지남에 따라, 그러한 환경은 더 포괄적인 학습과 전문적 개발을 지원할 것이다. 
Accurately identifying struggling students is important to help the student improve but also for the public good. Previous educational quality improvement work has performed root cause analysis on student failure, but failure to fail may be a more serious critical event given its potential impact on patient care.25, 26 Emphasis on a growth mindset in learners would help them interpret low scores as tools to guide their educational growth.27, 28 Better education and training of faculty and students on the impacts of gender, race, and ethnicity on evaluations may also help them provide more focused, useful assessments of each other.29, 30 Over time, such an environment would support more inclusive learning and professional development.

우리의 데이터는 비록 크지만, 단일 기관에서 가져온 것이다. 따라서, 우리의 연구 결과는 교직원이나 학생의 모집단이 다르거나 다른 채점 시스템(예: Likert-scale 형식이 아닌 서술적 평가)을 가진 다른 기관으로 일반화되지 않을 수 있다. 또한 일반외과 및 산부인과 임상실습은 그룹 평가를 제출하기 때문에 제외했으며, 이는 절차 하위 전문 분야에서 교수진에 대한 일반화 가능성을 제한할 수 있다. 추가 연구는 다양한 채점 메커니즘(합격/실패, 질적 또는 서술적, 조형적 또는 요약적)이 교수진이 표준 이하의 성적을 가진 학생을 식별하는 데 어떻게 도움이 될 수 있는지 조사해야 한다. 최종과 비교하여 중간 지점에서 LPE가 더 자주 주어졌다는 것을 발견한 것은, 평가에서 [중간 지점 LPE]가 우리 코호트에서 희귀했기 때문에 더 많은 조사가 필요하겠지만, 솔직한 피드백이 형성 평가에서 제공될 가능성이 더 높을 수 있음을 시사한다. 낙관적으로, 아마도 CBME 주도 교수 개발은 연구 기간 동안 다양한 상황(예: 구두 또는 EPA 양식의 맥락에서)에서 의미 있는 형성 피드백을 유발했고, 따라서 더 많은 학생들이 역량을 달성하고 LPE를 요구하지 않았다. 기관이 역량 기반 교육을 시행함에 따라 교수진이 기준 미달 성과를 정확하고 신뢰성 있게 식별할 수 없도록 할 수 있는 요인을 이해하고 해결하는 것이 매우 중요하다.

Though large, our data are from a single institution. Thus, our findings may not generalise to other institutions with different populations of faculty or students or different grading systems (e.g., narrative evaluations rather than Likert-scale forms). We also excluded surgery and OB/GYN clerkships because they submit group evaluations, which may limit generalizability to faculty from procedural subspecialties. Further studies should investigate how various grading mechanisms (pass/fail, qualitative or narrative, formative vs. summative) can help faculty identify students with substandard performance. Our finding that LPEs were more frequently given at the midpoint, compared with the final, evaluation suggests that honest feedback may be more likely to be provided at the formative evaluation, although more investigation will be needed, as midpoint LPEs remained rare in our cohort. Optimistically, perhaps CBME-driven faculty development prompted meaningful formative feedback in multiple contexts (e.g., verbally or in the context of our EPA forms) over the study period, and thus, more students achieved competence and did not require an LPE. As institutions implement competency-based education, it is critically important to understand and address factors that may prevent faculty from accurately and reliably identifying substandard performance.

우리의 데이터 세트는 다른 지표로 평가된 학생 인구 통계 및 학생 성과를 포함하여 평가에 영향을 미칠 수 있는 학생 정보를 포함하지 않았다. (예: 시험, 거주 마일스톤 및 환자 결과) 따라서 LPE가 향후 환자 치료와 관련이 있는지 여부를 알 수 없다. 학습자의 종단적 추적은 LPE가 역량 결손 학생을 얼마나 신뢰성 있게 식별하는지, 문제가 있는 의사가 의과대학에서 LPE를 받았는지 여부를 결정하는 데 도움이 될 수 있다. 우리의 연구 결과는 의대생들의 정확한 평가에 대한 장벽을 조사하는 향후 연구를 안내할 수 있으며, CBME가 전문적 성장과 환자 안전에 대한 잠재력에 도달할 수 있도록 한다. 
Our dataset did not contain student information that may have influenced evaluations, including student demographics and student performance as assessed with other indicators (e.g., exams, residency milestones, and patient outcomes). Thus, we do not know whether LPEs are related to future patient care. Longitudinal follow-up of learners can help determine how reliably LPEs identify students with competency deficits and whether problematic physicians received LPEs during medical school. Our findings can guide future research investigating the barriers to accurate evaluation of medical students, allowing CBME to reach its potential for professional growth and patient safety.

© 2022 Association for the Study of Medical Education and John Wiley & Sons Ltd.

내과와 외과에서 교수자와 학습자 정체성의 사회적 구성(Med Educ, 2022)
The social construction of teacher and learner identities in medicine and surgery
Peter Cantillon1,2 | Willem De Grave2 | Tim Dornan3

1 소개
1 INTRODUCTION

대학원 의학 교육(PGME)에 역량 기반 교육과정이 널리 채택되면서 임상 교사의 기대와 책임감이 크게 높아졌다. 이에 대응하여, 교수진 개발(FD)의 '지수적' 증가가 있었다.2 임상 교육을 전문화하려는 FD의 노력에도 불구하고, 임상 감독 품질과 학습자의 판단에 우려스러운 불일치가 남아 있다. 더욱이 교육생들에게 의미 있는 실습 참여 기회가 충분히 주어지지 않고 있다는 우려도 커지고 있다. [교사 자격]을 부여하고, [독립적인 교수 기술 워크샵]을 제공하는 것의 교육 효과는 실제로 잘 전달되지 않았고, 지속 가능한 것으로 입증되지 않았음이 분명하다. 이러한 실망스러운 영향은 교사 발전을 저해하는 임상 작업장의 문화적, 조직적 요인 특성으로 인한 것이다. 이러한 문제는 사회적, 문화적 맥락이 교수와 학습의 관행을 어떻게 형성하는지에 대한 경험적 연구의 부족으로 인해 복잡해진다.
The widespread adoption of competency-based curriculums in postgraduate medical education (PGME) has greatly increased the expectations and responsibilities of clinical teachers.1 In response, there has been an ‘exponential’ increase in faculty development (FD).2 Despite FD efforts to professionalise clinical education, there remain worrying inconsistencies in the quality of clinical supervision and the adjudication of learners. Moreover, there are growing concerns that trainees are not being given sufficient opportunities to participate meaningfully in practice.2-4 It is clear that the educational effects of credentialing teachers and providing standalone teaching skills workshops have neither transferred well into practice, nor proved sustainable.5-9 This disappointing impact has been attributed to cultural and organisational factors features of clinical workplaces that undermine teacher development.6, 7 These problems are compounded by a lack of empirical research into how social and cultural contexts shape the practices of teaching and learning.10, 11

[교수, 학습 및 문화적 맥락 사이의 관계]는 FD 학문을 뒷받침하는 인지 모델보다 [사회 문화 이론]과 더 잘 일치한다. 사회문화적 관점에서 임상교육은 병원, 임상팀 등 [기관의 공유된 활동]에 참여하고, 특정한 문화적 맥락 속에서 정체성이 형성된 사람이 되는 과정이다. [정체성 형성, 임상 감독 및 문화적 맥락]의 영향이 서로 어떻게 관련되는지에 대한 연구는 거의 없었다.

• 자기보고 연구는 졸업후 수련생들이 공유 관행, 경험칙, 내재된 이해를 어떻게 숙달하는지 보여주었지만, 그러한 방법론은 문화적 맥락의 암묵적 영향에 크게 둔감해 왔다.
• 관찰 연구는 졸업후 학습자들이 사회적으로 승인된 토큰 행동을 재현함으로써 임상 팀에서 정당성을 추구하는 방법을 보여주었지만, 사회적 문화적 맥락이 교사와 학습자의 역할을 어떻게 형성하는지 보여주지 않았다.

The relationship between teaching, learning and cultural context aligns better with sociocultural theory than the cognitive models that underpin much FD scholarship.12 From a sociocultural perspective, clinical education is a process of participating in the shared activities of institutions such as hospitals and clinical teams, and ‘becoming’13 a person whose identity is forged in particular cultural contexts.14-18 There has been little research into how identity formation, clinical supervision and the influence of cultural context relate to one another.19 

• Self-report studies have shown how postgraduate trainees master shared practices, rules of thumb and embodied understandings,20-24 but such methodologies have been largely insensitive to the implicit effects of cultural context.25, 26 
• Observational studies have shown how graduate learners seek legitimacy in clinical teams by reproducing socially sanctioned token behaviours, but not how social and cultural contexts shape the roles of teachers and learners.27-35

이에 대응하여, 우리는 [임상 교육, 학습 및 사회적 맥락 사이의 관계에 대한 위치적 이해situated understanding]를 개발하기 위한 연구 프로그램을 시작했다. 우리의 목적은 미래의 상황에 민감한 FD 이니셔티브에 정보를 제공하는 이론적 프레임워크를 개발하는 것이었다. 1년(2016~2017년) 동안 두 개의 개별 교육 병원에서 네 개의 병원 팀(내과 2개 및 외과 2개)에 대한 민족지학은 풍부한 데이터 세트를 산출했다. 우리는 [고프만의 연극적 접근 이론]을 사용하여 [선생님과 학습자 정체성, 교육 실습, 그리고 임상 팀에서의 참여를 전형적으로 보여주는 대화와 행동 방식]을 탐구했습니다. 이를 통해 [임상교사]는 팀의 암묵적 커리큘럼인 규범과 기대치를 [명확히 표현하기articulate]보다는 [체화embodied]했음을 알 수 있었다. 교육생들은 능력 있는 팀 참여자로써의 인상을 심어주기 위해 교사들의 구체화된 기준을 재현하는 것으로 응답했다. 그러나 이 방법론은 [교수와 학습에 대한 전공-특이적 문화의 shaping effect에 둔감]하다는 것이 입증되었다. 이 논문의 목적은 [외과와 내과(IM)라는 두 주요 전공의 대조적인 문화]가 [교사와 학습자의 정체성 형성]에 어떤 영향을 미치는지 확인하기 위해 Figured Worlds라는 이론적 틀을 사용하여 관찰 데이터를 재분석하는 것이었다. 연구 질문은 다음과 같았다. 작업, 학습 및 교수와 관련된 실습이 있는 전문 임상 팀의 문화적 세계에서 교사와 학습자의 정체성은 어떻게 상호 작용합니까?
In response, we launched a programme of research to develop a situated understanding of the relationship between clinical teaching, learning and social context. Our purpose was to develop a theoretical framework that would inform future contextually sensitive FD initiatives. An ethnography of four hospital teams (two internal medicine and two surgical) in two separate teaching hospitals over a period of 1 year (2016–2017) yielded a rich dataset.19 We used Goffman's dramaturgical theory, to explore the relationship between teacher and learner identity, educational practice and ways of talking and acting that typify participation in clinical teams. This showed that clinical teachers embodied rather than articulated their teams' implicit curriculum of norms and expectations. Trainees responded by reproducing teachers' embodied standards to create impressions of themselves as capable team participants.19 This methodology proved insensitive, however, to the shaping effect of specialty-specific culture on teaching and learning. The aim of this paper was to reanalyse the observational data using a theoretical framework, Figured Worlds, to identify how the contrasting cultures of two major specialties, surgery and internal medicine (IM), influenced teachers' and learners' identity formation. The research question was as follows: How do the identities of teachers and learners interplay with one another in the cultural worlds of specialty clinical teams where the linked practices of working, learning and teaching are situated?

1.1 이론적 틀
1.1 Theoretical framework

[형상화된 세계]는 [정체성 형성과 문화 사이의 관계]를 조사하기 위한, 개념적이고 분석적인 도구를 제공하는 비판적인 이론이다. 형상화된(또는 문화적) 세계는 특정한 경험, 대화 및 행동 방식, 사회적 가능성을 제공하는 사회 역사적 맥락(예: 임상 팀의 구성원)이다. 형상화된 세계 내에서 정체성은 (개인에게) 소유되지 않는다; 그것은 역동적이고 진화하고, 말과 다른 상징적 행위에 의해 구성되며, 개인과 그들이 살고 일하는 문화 세계 사이의 상호 작용에서 형태를 찾는다. Bakhtin의 [대화주의 이론]을 바탕으로 유도된 이 이론에서, [형상화된 세계]는 [말speech 및 다른 상징적 행위들]이 개인들에게 [문화적 세계]에서 [자기 저자의 정체성]에 대한 [행위자성agency]을 준다고 가정한다. 형상화된 세계에서

• ['형상figure']이라는 용어는, 예를 들어 (전공의들이 배우는) 교수자에 의해 실체화되는 [정체성 가능성]을 가리킨다.
• ['형상화figuring']이라는 용어는 겉으로는 [역할 모델링]을 닮았지만, 역할을 동화시키기보다는, [자신의 정체성을 형성하는데 있어 학습자의 행위자성agency을 더 강조]한다는 점에서 차이가 있다.
• 이러한 차원에서 ['모델링']이라는 용어를 사용할 때, 우리는 [학습자를 위해 기술을 보여주거나 명확한 사고를 하는 상황에서의 교사의 행동]을 구체적으로 언급하고 있다.
• 또한 모델링과 코칭도 구별하는데, ['코칭']이란 [교사가 학습자의 성과를 관찰하고 성장과 발전을 지원하기 위해 피드백을 제공하는 것]을 설명한다.

Figured worlds is a critical theory that provides conceptual and analytical tools to examine relationships between identity formation and culture.36 A figured (or cultural) world is a socio-historical context (e.g. membership of a clinical team) that affords particular experiences, ways of talking and acting and social possibilities.16 Identity, within Figured Worlds, is not possessed; it is dynamic and evolving, constructed by speech and other symbolic acts, finding form in the interactions between individuals and the cultural worlds that they live and work in.37 Drawing on Bakhtin's theory of Dialogism, Figured Worlds assumes that speech and other symbolic acts give individuals agency to self-author identities in cultural worlds.15, 16, 38 In Figured Worlds,

• the term ‘figure’ refers to the identity possibilities that are embodied by, for example, teachers from whom residents learn.36 
• The term ‘figuring’ superficially resembles role modelling but differs in how it places greater emphasis on learners' agency in forging their own identities, rather than assimilating roles.36-38 
• In this account, when we use the term ‘modelling’, we are referring specifically to the actions of teachers in demonstrating skills or articulating thinking for learners.39
• We also differentiate between modelling and coaching where ‘coaching’ describes when teachers' observe learners' performances and provide feedback to support growth and development.40

• [형상화된 세계]는 높은 수준의 제도적, 사회역사적 담론(Gee가 대문자 D 담론Discourse이라고 부르는)이 문화 세계를 구성하고, 사회적 지위를 창출하며, 다른 정체성을 가진 사람들이 이러한 입장을 이용할 수 있게 만든다는 것을 인정한다.
• 중요한 것은, [형상화된 세계]는 또한 학자들이 [일상적 이야기(소문자 D 담론discourse)]의 내용이 사람들에게 [대문자 D (big-D) 담론]의 구조화 효과에 저항할 수 있는 에이전시를 제공한다는 것을 밝힐 수 있게 해준다.

이러한 방식으로 (작은-D) 담론의 일상적인 사용은 (큰-D) 담론을 구성하고 재구성한다. 이 연구에서, 우리는 피규어 세계 이론의 언어 개념을 사용하여 개인이 문화 세계를 탐색할 수 있는 기관을 제공하는 활동 중인 문화 세계(예: 외과와 내과의 문화에 특화된 교육 의식)와 일상 언어(담화)에 대한 우리의 민족학적 관찰을 이해했다.

• Figured worlds acknowledges that high-level institutional and sociohistorical discourses (which Gee terms big-D Discourses) structure cultural worlds, create social positions, and make those positions more or less available to people with different identities.41 
• Importantly, Figured Worlds also allows scholars to reveal how the contents of everyday speech (little-d discourse) give people agency to resist the structuring effect of big-D Discourses.36, 41 

In this way, the everyday use of (small-d) discourse constructs and reconstructs (big-D) Discourses.41 In this study, we used Figured Worlds theory's linguistic concepts to make sense of our ethnographic observations of cultural worlds in action (e.g. the educational rituals particular to the cultures of surgery and IM) and everyday speech (discourse), which give individuals agency to navigate cultural worlds.

2 방법
2 METHODS

2.1 설정 및 시료
2.1 Setting and sample

이 기사는 아일랜드에 있는 두 개의 개별 교육 병원에서 외과 및 내과 임상 팀의 일상적인 작업 및 학습 환경에서 임상 교육이 어떻게 실현되는지 탐구하기 위해 수행된 민족지학에 대한 2차 분석을 보고한다. 병원은 아일랜드에 인접한 두 도시의 도시 인구를 포괄하는 비슷한 규모의 병원이었다. 우리는 외과와 내과가 사회-역사적 기원이 매우 다른 같은 직업 내에서의 관행을 나타내기 때문에 선택했다. 표본추출전략은 연극적 접근 연구를 위해 선택되었으나, 의학교육에서 정체성 형성에 대한 문화적 요인의 영향을 탐구하는 데도 적합하였다.
This article reports a secondary analysis of an ethnography, carried out to explore how clinical education is actualised in the day-to-day working and learning environments of a surgical and an IM clinical team, in each of two separate teaching hospitals in Ireland. The hospitals were of similar size covering largely urban populations in two adjacent Irish cities. We selected surgery and IM because they represent practices within the same profession whose socio-historical origins are very different. Although the sampling strategy was chosen for dramaturgical research, it was well suited also to exploring the influence of cultural factors on identity formation in medical education.

각 병원의 '문지기'가 모든 임상 팀에 연구에 대한 정보를 제공하는 전단지를 배포했다. 그리고 나서 수석 저자(PC)는 대부분의 팀이 참가한 의료 및 외과 그랜드 라운드에서 이 연구에 대해 말했습니다. 그는 참가 제의를 초청했고 그들이 자원한 순서대로 팀들을 포함시켰다. 포함된 이들은 1명 이상의 수석 컨설턴트 전문가, 1~2명의 선임 전문의 등록자(시니어 레지던트) 및 2~4명의 주니어 훈련생(시니어 레지던트)으로 구성되어 있다는 점에서 아일랜드의 전형적인 임상 팀 단위였다.
A ‘gatekeeper’ in each hospital distributed a leaflet giving information about the study amongst all clinical teams. The lead author (PC) then spoke about the study at medical and surgical grand rounds where most teams were represented. He invited offers to participate and included teams in the order they volunteered. Those included were typical of clinical team units in Ireland in that they were composed of one or more lead consultant specialists, one or two senior specialist registrars (senior residents) and two to four junior trainees (junior residents).

2.2 연구윤리 승인 및 참여자 정체성 보호
2.2 Research ethics approval and protection of participant identity

민족지학적 설계 및 관련 데이터 수집 방법은 두 개의 참여 교육 병원의 연구 윤리 위원회에서 승인되었다(참고 자료: C.A. 1150 및 062/16). 모든 참여 팀원들은 결과를 발표하려는 의도를 포함한 연구에 대한 정보 시트를 받았다. 모두 연구에 참여하겠다는 서면 동의를 제공했다. 비디오 또는 이미지 데이터에 우연히 포함된 환자 또는 의료진은 연구자의 연락처 정보가 포함된 정보 시트를 받았고, 데이터 세트에 포함되도록 구두 동의를 하기 전에 이를 읽어보도록 요청받았다. 그러한 동의가 나오지 않으면 관련 데이터 세그먼트를 삭제했습니다.

The ethnographic design and its associated data collection methods were approved by the research ethics committees of the two participating teaching hospitals (references: C.A. 1150 and 062/16). All participating team members received an information sheet about the research including the intention to publish the results. All provided written consent to participate in the research. Any patients or health care staff who were incidentally included in video or image data received an information sheet with researchers' contact details, which they were asked to read before giving verbal consent to be included in the dataset. If such consent was not forthcoming, we deleted the relevant data segments.

2.3 데이터 수집
2.3 Data collection

주요 저자(PC)는 2016-2017년 12주에서 16주 동안 각 팀에 [한계 참가자 관찰자marginal participant observer(즉, 관찰하고 때로는 활동에 참여하기도 함)]로 자신을 포함시켰다. 그는 병동 라운드, 다학제 팀 회의, 수술 극장, 커피 휴식, 그리고 그랜드 라운드와 같은 공식적인 교육 행사를 포함하여 매주 약 2일 동안 각 팀의 활동에 참석했다. 그는 동시 현장 기록, 디지털 이미지, 외래 환자 접견 비디오 녹화, 모든 참가자와의 종료 인터뷰 등 다양한 형식으로 데이터를 수집했다. 매일 관찰이 끝날 때, PC는 그의 동시 필드 노트를 그가 관찰한 것에 대한 풍부한 설명으로 발전시켰다. 비디오에 캡처된 출구(반구조 인터뷰)와 교사-학습자 상호 작용은 전문적으로 기록되고 가명이 붙었다. Akvis Sketch 23.5 소프트웨어를 사용하여 디지털 이미지와 비디오 스틸에 캡처된 개인들의 모습을 위장하고 식별할 수 없게 만들었다. 

The lead author (PC) embedded himself as a marginal participant observer42 (i.e. he observed, and at times partook in activity) in each team for between 12 and 16 weeks in 2016–2017. He attended each team's activities for approximately 2 days each week including ward rounds, multidisciplinary team meetings, surgical theatre, coffee breaks and formal educational events such as grand rounds. He collected data in multiple formats including contemporaneous field notes, digital images, video-recordings of out-patient encounters and exit interviews with all participants. At the end of each day of observation, PC developed his contemporaneous field notes into rich descriptions of what he had observed. Exit (semi-structured interviews) and teacher–learner interactions captured on video were transcribed verbatim and pseudonymised. Likenesses of individuals captured in digital images and video stills were disguised and rendered unidentifiable using Akvis Sketch 23.5 software.43

2.4 데이터 분석
2.4 Data analysis

우리의 지향이 형상화된 세계였기 때문에, [언어 분석]은 [문화적 세계가 어떻게 특정한 말하기와 행동 방식을 특권화하고, 개인이 어떻게 그 세계 내에서 정체성을 형성하는지]에 영향을 미칠 것이라고 가정할 수 있었다. 형상화된 세계에 관한 [두 가지 중요한 개념]은 분석 도구와 설명 능력을 제공했습니다.36

• '포지셔닝'은 [타인의 발언]이 정체성 가능성을 부여하거나 보류하는 방법을 말한다.
• '자기저작'은 어떤 방식으로 개인이 다른 사람의 말을 [자신의 연설 행위에 통합]하여, 입장을 협상하고, 만들거나, 경쟁하는지를 말한다.

Our orientation toward Figured Worlds empowered us to assume that analysing language would show how cultural worlds privileged particular ways of talking and behaving and would influence how individuals could form identities within those worlds. Two important Figured Worlds concepts provided analytical tools with explanatory power.36 

• ‘Positioning’ refers to how other people's speech grants or withholds identity possibilities.16, 18 
• 'Self-authoring’ refers to how individuals incorporate other people's speech into their own speech acts to negotiate, create or contest positions.36

데이터 세트에는 640시간의 관찰에서 얻은 필드 노트, 참여 팀원에 대한 34건의 출구 인터뷰 기록(외과적 16건, IM 18건), 30시간의 외래 환자 비디오 녹화 및 현장 사진 촬영이 제공하는 디지털 이미지가 포함되어 있었다. NVivo 12 소프트웨어(QSR International 2018)는 새로운 해석을 포착하기 위해 메모 기술을 사용하여 원본 데이터와 데이터 표현 사이를 반복적으로 이동했던 분석을 촉진했다. PC가 분석을 주도하고 메모를 작성했다. TD와 WdG는 정기적으로 PC와 만나 해석을 검토했다.

The dataset included field notes from 640 hours of observation, transcripts of 34 exit interviews with participating team members (16 surgical and 18 IM), 30 hours of out-patient video-recordings and digital images provided by in-the-field photography. NVivo 12 software (QSR international 2018) facilitated analysis, which moved iteratively between original data and representations of the data, using memoing techniques to capture emerging interpretations. PC led the analysis and wrote the memos. TD and WdG met regularly with PC to review the interpretation.

외과 데이터 세트와 내과 데이터 세트를 구별되는 두 개의 형상화된 세상으로 취급한 [첫 번째 분석 단계]는 표 1에 열거된 형상화된 세계의 [핵심 구성 요소]를 체계적으로 모색했다. 실제로 이것은 의미 있는 행위, 형상화된 유형(예: 특정 전문 분야의 교사), 문화적으로 중요한 유물 및 기타 장르를 식별하기 위해 현장 노트, 인터뷰 및 비디오 녹취록을 읽고 다시 읽는 것을 의미했다. 우리는 비디오 또는 디지털 이미지에 존재하는 [언어적 증거, 기호 또는 행동]이 [실증적 지원empirical support]을 제공할 때 [해석적 추론이 유효하다]고 간주했다. 우리는 이 증거를 사용하여 참가자들의 [의사소통적 행동]이 어떻게 그들의 [정체성 위치]를 '조정orchestrated'하는지 조사했다.
The first phase of analysis, which treated the surgical and IM datasets as two distinct figured worlds, systematically sought key components of Figured Worlds,36, 41 which we list in Table 1. In practice, this meant reading and rereading field notes, interviews and video transcripts to identify meaningful acts, figured types (e.g. teachers in a particular specialty), culturally significant artefacts and other genres listed in Table 1. We regarded interpretive inferences as valid when linguistic evidence, symbols or behaviours present in video or digital images provided empirical support.41 We used this evidence to examine how participants' communicative actions ‘orchestrated’36 their identity positions.

두 번째 분석 단계에서는 수술과 IM의 다른 세계를 특징짓는 '정체성 작업'(즉, 사회적 맥락에서 신분적 위치의 협상)의 패턴을 확인했다. 우리는 수술과 IM의 문화적 세계에 대한 서술적 요약을 합성하기 위해 필드 노트 관찰, 음성 언어의 발췌 및 비디오 녹취록을 사용했다.
The second phase of analysis identified patterns of ‘identity work’ (i.e. the negotiation of identity positions in social contexts) that characterised the different worlds of surgery and IM. We used field note observations, excerpts of spoken language and video transcripts to synthesise a narrative summary of the cultural worlds of surgery and IM.

2.5 엄격함과 반사성
2.5 Rigour and reflexivity

Figured Worlds에 의해 민감해진 우리는 [원시 데이터]에서 [해석]으로 이동하기 위해 [풍부한 설명, 결정화 및 다중 음성성]을 사용했다. 우리는 독립적으로 자료를 읽은 두 사람 사이의 해석에 동의했다. 우리는 둘 이상의 출처로부터 증거를 구함으로써 해석의 신뢰성을 강화했다. 예를 들어, 필드 노트와 인터뷰 데이터는 시간이 지남에 따라 반복됩니다. 우리는 동일한 분야의 다른 개별 참가자와 다른 팀 간의 유사성과 차이를 추구함으로써, [다중 음성성]의 피규어 월드 개념을 적용했다.36 우리는 다음의 두 가지 방법으로 해석의 타당성에 대한 참가자들의 의견을 구하였다. 첫째, 전문분야별 참가자 그룹과 해석에 동의하고, 둘째, 개별 참가자에게 원본 데이터의 샘플과 그들에 대한 우리의 해석을 보여줌으로써 해석한다. 이러한 타당성 협상은 우리의 해석과 결론을 다듬었다.
Sensitised by Figured Worlds, we used rich description, crystallisation and multi-vocality44, 45 to move from raw data to interpretation. We agreed interpretations between two people who had independently read the data.44 We strengthened the trustworthiness of our interpretation by seeking evidence from more than one source: for example, field note and interview data repeated over time.45 We applied the Figured Worlds concept of multi-vocality by seeking similarities and differences between different individual participants and different teams in the same discipline.36 We sought participants' opinions about the validity of our interpretation in two ways: first by agreeing interpretations with specialty-specific groups of participants and second by showing individual participants samples of original data and our interpretations of them. These validity negotiations refined our interpretations and conclusions.

최선의 민족지학적 연구 관행에 따라, 우리는 언어와 실천의 다른 당연시되는 측면을 면밀히 조사하기 위해 내부자(PC: 일반의사; TD: 병원 전문가)와 외부자(WdG: 교육심리학자)의 관점을 사용했다. PC는 개인적인 관점, 관찰 및 해석 사이의 관계를 면밀히 조사하기 위해 반사적인 일지를 작성했습니다.
In keeping with best ethnographic research practice,42 we used our insider (PC: general practitioner; TD: hospital specialist) and outsider (WdG: educational psychologist) perspectives to scrutinise otherwise taken-for-granted aspects of language and practice. PC kept a reflexive diary to ensure that the relationship between personal perspectives, observations and interpretations was available for scrutiny.

3 결과
3 RESULTS

외과 의사나 의사가 되는 것은 수술과 IM의 문화적 세계에 특유한 지식과 행동의 문화적인 가치 있는 방법에 의해 형성되었으며 그들의 전문적 관행과 불가분의 관계에 있었다.
Becoming a surgeon or a physician was shaped by culturally valued ways of knowing and acting peculiar to the cultural worlds of surgery and IM and was inextricably linked to their specialty-specific practices.

3.1 외과에 대한 핵심 아티팩트 및 관행
3.1 Core artefacts and practices in surgery

3.2 내과의 핵심 자료 및 관행
3.2 Core artefacts and practices in IM

IM에서 가장 중요한 [문화적 유물]은 환자의 임상 기록과 팀 구성원 간에 소통하고 협상하는 프레젠테이션의 인지적 표현이었다. 여기서, [핵심 행위]은 환자들이 어떻게 표현했는지에 대한 그럴듯한 추상적인 표현을 만들고 조작하는 것이었다. 이러한 표현은 [교사-학습자 관계]를 알려줬는데, 이는 수술에서의 관계보다 더 먼 관계였다. 내과적 행위가 대체로 불투명하고 인지적이라는 특성을 고려할 때, 교사들은 [교육]을 [피교육자가 인식하고 재현할 수 있는 방식으로 사고와 행동을 언어화하는 것]으로 프레임하였다. 예를 들어, 한 컨설턴트는 사례 발표 중에 연습생들이 환자의 사회 및 과거 이력을 탐색했는지 반복적으로 확인하는 그의 습관에 대해 이야기하면서 '내가 전하고 싶은 것은 당신이 질문해야 할 중요한 질문들이다'(H1T1 IM 컨설턴트 1 인터뷰)라고 설명했다. 내과 의사들은 [학습자들이 자기 주도적이고 독립적일 필요가 있다는 것]을 강조했다. 예를 들어, 컨설턴트는 병동에 대한 대학원 임상 교육을 다음과 같이 개념화했다. '그들[연수생]은 책임을 져야 한다. 스스로 배우게 해야 한다… 스스로 배우고 보여줘야 한다'(H1 T1 IM 컨설턴트 2 인터뷰). 내과에서 [사고의 모델링]를 강조하고, 훈련생들이 [자기주도적으로 학습]하도록 장려하는 것은, [외과적 교육]을 특징짓는 훈련생들의 [행위에 대한 집중적인 관찰과 코칭]과 강한 대조를 보였다.
In IM, the most important cultural artefacts were patients' clinical records and cognitive representations of their presentations as communicated and negotiated between team members. Here, the core practice was creating and manipulating plausible abstract representations of how patients had presented. These representations informed teacher–learner relationships, which were more distal than relationships in surgery. Given the largely opaque, cognitive nature of IM practice, teachers framed teaching as verbalising their thinking and acting in ways that trainees could recognise and reproduce. When talking about his habit of repeatedly checking during case presentations whether trainees had explored their patients' social and past histories, for example, one consultant explained: ‘What I'm hoping to transmit is that these are the important questions you need to ask’ (H1 T1 IM consultant 1 interview). IM physicians' talk emphasised the need for learners to be self-directed and independent. For example, a consultant conceptualised postgraduate clinical education on the wards as follows: ‘they [the trainees] need to be taking responsibility. You have to let them learn by themselves … They need to learn and show learning themselves’ (H1 T1 IM consultant 2 interview). The emphasis in IM on modelling thinking and encouraging trainees to learn self-directedly contrasted strongly with the intense observation and coaching of trainees' practice, which characterised surgical education.

3.3 외과팀과 IM팀의 문화적 세계 비교
3.3 Comparing the cultural worlds of surgical and IM teams

표 2는 수술과 IM의 문화적 세계에서 특히 중시되었던 알고, 보고, 말하고, 존재하는 방법을 보여줍니다. 주요 임상의는 표 2에 표시된 배치와 능력을 파악하고 명확하게 설명했으며, 훈련생은 이를 각자의 전문 분야에서 유능한 참여자로 자리매김하기 위해 사용했다.

Table 2 illustrates ways of knowing, seeing, talking and being that were particularly valued in the cultural worlds of surgery and IM. Lead clinicians figured and articulated the dispositions and capabilities shown in Table 2, which trainees used to position themselves as capable participants in their respective specialties.

3.4 공식 교육 이벤트에서의 정체성 작업
3.4 Identity work in formal educational events

3.4.1 외과 그랜드 라운드
3.4.1 Surgical grand rounds

[외과 그랜드 라운드]는 매주 미리 선정된 수술팀이 지난 달부터 흥미롭고 도전적인 사례를 동료 외과 의사들과 훈련생들의 비판적인 청중에게 들려주는 교육 행사였다. [외과 그랜드 라운드]라는 '게임'에서, 레지던트는 치열한 회의 환경에서 자신 있게 사례를 제시해 자신의 수술팀을 능력 있는 사람으로 파악해야 했다. 발표 팀의 구성원들은 수술 사례 발표 동안 청중들로부터 [날카롭고 때로는 공격적인 질문]을 받았다. 질문은 질문자들을 능력 있는 사람으로 포지셔닝하는 방식으로 표현되었고, 발표 팀은 방어적인 자세를 취했다: '전립선암에 사용하는 스테이징 기준은 우리가 유방암에서 사용하는 것과 비교하여 매우 구식이며 왜 당신은 여전히 그러한 "분변 횡단" 생체 검사를 하고 있습니까? 그들은 심각한 감염률을 가지고 있습니까?' (H1 T2 필드 노트)
Surgical grand rounds were educational events in which, each week a pre-selected surgical team narrated interesting or challenging cases from the previous month to a critical audience of fellow surgeons and trainees. The surgical grand rounds ‘game’ required a resident to figure his or her surgical team as capable by confidently presenting cases in an intense conference environment. Members of the presenting team were subjected to pointed and at times aggressive questions from members of the audience during surgical case presentations. Questions were expressed in ways that positioned questioners as capable, while putting the presenting team on the defensive: ‘The staging criteria you use for prostatic cancer are very outdated compared to those we use in breast cancer and why are you still doing those “trans-faecal” biopsies? They have a serious infection rate?’ (H1 T2 Field notes).

외과의사들은 청중들에게 종종 [상당한 평판 훼손의 위험]을 수반하는 빠르고 도전적인 질문 전략을 시행했다: '여기 무슨 일이 일어나고 있는 거지? 자, 여러분, 뻔한 일이에요. 누구 해보실 분 있나요?' (H2T2 필드 노트) 외과의사들은 미래의 외과의들이 그들이 자기스스로 생각할 수 있도록 준비하기 위한 적절한 방법으로 수술 그랜드 라운드의 특징인 [투쟁적이고 도전적인 행동]을 작성author했다.
Surgeons subjected audience members to rapid and challenging question strategies that often carried considerable risk of reputational damage: ‘Okay what's going on here? Come on everyone it's obvious. Is anyone going to have a go?’ (H2 T2 Field notes). Surgeons authored the combative and challenging behaviours characteristic of surgical grand rounds as an appropriate way of preparing future surgeons to think on their feet.

3.4.2 내과 사례 회의
3.4.2 Internal medicine case conference

[내과 케이스 컨퍼런스]는 담당중'on'인 내과 팀이 전공의을 지명해 지난 몇 달 동안 관리했던 ['재미있는 사례']를 발표하는 주간 교육 행사였다. 이 회의들의 풍토는 외과적 대회보다 [더 공식적이고 대화적formulaic and discursive]이었다. 예를 들어, 주니어 레지던트는 항상 [표준화된 구조]를 사용하여 사례를 제시했습니다. 그녀는 아스페르길루스증을 가진 57세 환자를 제시했다. 그녀는 발표 불만 사항, 과거 이력, 의료 및 수술 이력, 시스템 검토 및 의약품 목록'(H2T1 필드 노트)을 개략적으로 설명했습니다. 외과적 그랜드 라운드와 달리, 수석 의사 소집자가 질문이나 의견을 초대할 때까지 프레젠테이션은 청중 중 누구도 방해하지 않았다. 회의 환경은 외과 그랜드 라운드보다 훨씬 덜 압박되었지만, 감독관의 질문은 여전히 전공의의 평판에 위협이 되는 것으로 인식될 수 있었다. 전공의들은 유능한 임상의가 아닌 학습자로 자리매김함으로써 질문에 자주 응답했다.
Medical case conferences were a weekly educational event in which the ‘on’ IM team, nominated a resident to present ‘interesting cases’ they had managed in the previous few months. The climate of these conferences was more formulaic and discursive than in surgical grand rounds. For example, junior residents always presented cases using a standardised structure. ‘She presented a 57-year-old patient with aspergillosis. She outlined the presenting complaint, the past history, the medical and surgical histories, the systems review and the medication list’ (H2T1 Fieldnotes). Unlike surgical grand rounds, the presentation was not interrupted by anyone in the audience until the senior physician convenor invited questions or comments. Whereas the conference environment was considerably less pressurised than surgical grand rounds, questions from supervisors could still be perceived as posing a threat to residents' reputations. Residents frequently responded to questions by positioning themselves as learners rather than capable clinicians:

시니어 의사들은 우리가 두 병원에서 관찰한 의료 관행의 지저분함과 복잡성을 경시하는 것처럼 보이는 언어를 사용하며,  [스스로를 유식하고 선견지명이 있는 증거 사용자]라고 포지셔닝했다.
Senior clinicians positioned themselves as knowledgeable and clear sighted users of evidence, employing language that appeared to marginalise the messiness and complexity of the medical practice that we had observed in both hospitals.

3.5 교사-학습자 상호 작용에서의 비공식 정체성 작업
3.5 Informal identity work in teacher–learner interactions

학습자와 감독자는 ['세트피스' 퍼포먼스]를 통해 자신의 행위를 파악하고, 자신의 정체성을 작성했습니다. [외과적 세트 피스]는 [수술장에서의 수술 공예의 공연]이었지만, [내과의 전형적 '세트 피스' 퍼포먼스]는 [케이스 발표]였다.
Learners and supervisors used ‘set piece’ performances to figure their practices and author their identities. Surgical set pieces were performances of surgical craft in theatre whereas in IM, the typical ‘set piece’ performance was a case presentation.

3.5.1 수술장에서의 학습
3.5.1 Learning in theatre

수련자들은 그들의 [기술을 연마]하기 위해, 감독관의 시선에서 외과적으로 능력이 있는 자신을 보여줄 필요가 있었다.
To practise their craft, trainees needed to present themselves as surgically capable under the gaze of the supervisor.

언어적이고 신체적인 지도를 제공하는 것 외에도, 외과의사들은 계속 발전해나가기 위한 [문화적 필수 사항]을 저술했다. 이것은 외과 수련자들이 상당한 시간적 압박 속에서 그들의 기술을 연습해야 한다는 것을 의미했다. '자, 컷 컷 컷, 시작하자'(H1 T2 필드 노트). 
In addition to providing verbal and physical guidance, surgeons authored a cultural imperative to keep moving on. This meant that surgical trainees had to practise their skills under considerable time pressure. ‘Come on, cut cut cut, let's get on with it’ (H1 T2 Field note). 

내과 의사들과는 달리, 외과의사들은 정기적으로 피드백을 해주었다. 수술 과정 동안, 이 피드백은 종종 직접적이었으며, 모호하지 않았다. '그는 비판에 매우 엄격하지만, 당신이 수술하는 동안, 그 비판은 모두 건설적입니다'(H2T2 레지던트 인터뷰). 외과 선생님들은 또한 예를 들어 레지던트로부터 시술 제어를 넘겨받는 등 [암묵적인 피드백]을 전달하였다.
Unlike internists, surgeons gave regular feedback. During surgical procedures, this feedback was often direct and unambiguous. ‘He is very hard on the criticism, but it is all constructive while you are operating’ (H2 T2 Resident interview). Surgical teachers also communicated implicit feedback by, for example, taking over control of a procedure from a resident.

3.5.2 내과에서의 사례 제시
3.5.2 Case presentation in internal medicine

따라서, 내과에서의 케이스 프레젠테이션은 [중요한 세부 사항을 식별]하고, 청취자의 마음에서 [질문을 예측]하고, [결론이나 행동의 근거를 명확히] 하는, 환자 프레젠테이션의 [일관성 있는 추상적 표현을 구성]할 수 있는 능력을 갖춘 사람으로서 self-authoring에 관한 것이었다.
Thus, case presentation in IM was about self-authoring as capable of identifying salient detail, anticipating questions in listeners' minds and assembling a coherent abstract representation of the patient's presentation which made clear the rationale for conclusions or actions.

내과 감독관들은 전공의의 사례발표를 [학습자의 사고]보다는, [자신의 사고와 습관]에 맞게 상호작용적으로 맞추려고 하는 경우가 많았다.
Rather than coach learners' thinking, internal medicine supervisors often sought to interactively align residents' case presentation to their own thinking and habits.

4 토론
4 DISCUSSION

우리의 주된 발견은 [외과와 내과의 전공 특이적 행위]가 [무엇을 가르치고, 어떻게 배우고, 무엇을 배우는지 결정한다]는 것이었습니다. 임상 교사와 학습자의 역할은 각 전문 분야에 특화되어 있고 문화적으로 고정되어 있다. 교사와 학습자는 전문적으로 알고, 말하고, 존재하는 방식으로 특징지어지는 문화 세계 내에서 자신의 정체성을 협상했다.

Our principal finding was that the specialty-specific practices of surgery and IM determined what was taught, how it was taught and what was learned. The roles of clinical teacher and learner were particular to each specialty and culturally anchored.31 Teachers and learners negotiated their identities within cultural worlds characterised by specialty-specific ways of knowing, talking and being.

이러한 관찰은 [정체성 형성]을 학습자의 [직무현장의 어포던스에 대한 참여]와 [직무현장의 요구] 사이의 협상으로 특징짓는 [직장 학습에 대한 현재의 설명]과 강하게 일치한다. 우리의 연구는 임상 팀이 [전공 자체의 전문성]뿐만 아니라 [팀 자체의 사회역사적 규범과 기대]와 관련하여, [행위자성agency]은 변증법적dialectically으로 협상되는 문화적 세계]로 개념화되어야 한다고 제안한다. [전공-특이적 문화적 세계] 속에서 배우는 것은 [학습자의 행위자성을 제한]할 뿐만 아니라, [문화적으로 승인되는 행위과 기질의 재생산]을 촉진한다. 그러므로 외과의사나 내과의사가 되는 것은 [직장 환경의 요구], [전공과목의 문화], 그리고 [개별 학습자의 적성과 열망] 사이의 [경쟁적인 공간]에 위치한다. [학습자 중심성]에 대한 [맥락적 위협]과 [문화적으로 대본화된 지배적인 교육 관행 및 정체성의 영속화]는 임상 교육의 결함을 해결하고자 하는 교수 개발자에게 중요한 과제를 나타낸다. 예를 들어, 작업 또는 학습 환경에서 사용 가능한 대화와 연습을 활용하기 위해 에이전시를 실행할 수 있는 학습자가 학습 경험을 크게 향상시킬 수 있다는 좋은 증거가 있다. 우리의 연구는 임상 교육의 알려진 문제에 대한 해결책이 전공과목-특이적 문화 세계에 적용되는 특정 담론의 잘 알려진 구성에 기초할 필요가 있음을 제안한다.
These observations align strongly with current descriptions of workplace learning where identity formation is characterised as a negotiation between learners' engagement with the affordances of the workplace, and its demands of them.46-48 Our work suggests that clinical teams should be conceptualised as cultural worlds in which agency is negotiated dialectically in relation to the socio-historic norms and expectations of the team as well as the parent specialties.49 Learning in specialty-specific cultural worlds not only limits learners' agency but promotes the reproduction of culturally sanctioned practices and dispositions.13, 50 Becoming a surgeon or an internist is therefore situated in a contested space between the demands of workplace contexts, specialty cultures and the aptitudes and aspirations of individual learners.48 Contextual threats to learner centredness and the perpetuation of dominant culturally scripted teaching practices and identities represent important challenges for faculty developers who wish to address the deficiencies of clinical education. There is good evidence, for example, that learners who can exercise agency to harness the available dialogue and practices in working or learning contexts can greatly enhance their learning experiences.51 Our work suggests that the solutions to the acknowledged problems of clinical education need to be founded on well informed constructions of the particular discourses that apply in specialty-specific cultural worlds.

[전문가가 되는 것]이란, [임상 팀 속에의 참여]와 [특정 분야의 역사적 가치, 관행 및 전통과 자신의 일치]를 통해서 형성되는 [정체성 작업]의 한 형태를 나타낸다. [정체성 작업]은 개인이 사회적 맥락에서 다른 사람들과 관련하여 [사회적 및 역할 정체성을 어떻게 생성, 주장, 폐기 및 협상]하는지를 설명한다. 이 연구에서, 우리는 [공식 및 비공식 임상 학습 맥락]에서, 학습자들이 외과의사 및 내과의사로서의 [정체성 주장]을 담론적으로 하기 위해, [서술적 포지셔닝과 자기 저술의 전략]을 사용한다는 것을 발견했다. 그들은 내과 의사와 외과의사의 일상적인 업무 관행에 내재된 [가치 있게 여겨지는 앎의 방식이나 말하는 방식] 등에 관한 [구체적인 학문분야 특이적 문화적 배경]과 관련하여 그렇게 했다. 
Becoming a specialist represents a form of identity work shaped by participation in clinical teams and the alignment of self with the historical values, practices and traditions of a particular discipline.32, 34 Identity work describes how individuals create, claim, discard and negotiate social and role identities in relation to others in social contexts.52 In this study, we found that learners in formal and informal clinical learning contexts used strategies of narrative positioning and self-authoring to discursively make identity claims as surgeons and IM physicians. They did so in relation to discipline specific cultural backdrops of valued ways of knowing, talking and so forth that were embedded in the everyday working practices of internal medicine physicians and surgeons.

임상 교육의 탐색하면서, 우리는 [작업 중심성]을 PGME에서 임상 교육의 커리큘럼을 정의하는 것으로 강조했다. [작업work]는 '무엇이 학습되고 어떻게 학습되는지'를 정의하기 때문에, Morris와 Swanwick은 임상 감독관이 다음과 같이 해야 한다고 제안합니다.

• 교육생을 위한 의미 있는 작업 기회의 선택 및 구조화한다.
  
• 작업장의 숨겨진 커리큘럼의 주요 특징을 명확히 한다. 
  
• 소속을 가능하게 하는 작업 및 학습 환경을 제공한다. 

이 연구와 우리의 이전 연구는 이러한 임상 감독자의 역할이 대부분 우리가 관찰한 서비스 중심 임상 작업장에서 실현되지 않았음을 시사한다. 이러한 결함은 교수 개발을 통해 해결할 수 있지만, 교수 개발자가 다양한 전문 분야에서 임상 교육이 제정되는 방법의 문화적 특수성과 교수, 학습 및 작업이 발생하는 문화 세계의 특수성을 인정할 준비가 되어 있는 경우에만 해결할 수 있다.

Explorations of clinical education have highlighted the centrality of work in defining the curriculum of clinical education in PGME.2, 53 Given that it is work that defines what is learned and how it is learned, Morris and Swanwick2 suggest that clinical supervisors should

• select and structure meaningful work opportunities for trainees,
• articulate key features of the workplace hidden curriculum and
• provide working and learning environments that enable belonging.2, 53 

This study and our previous work19 suggest that these clinical supervisor roles were for the most part not actualised in the service driven clinical workplaces we observed. These deficiencies could be addressed through faculty development, but only if faculty developers are prepared to acknowledge the cultural specificity of how clinical education is enacted in different specialties and the particularities of the cultural worlds where teaching, learning and working occur.

4.1 교수개발 대한 권고 사항
4.1 Recommendations for faculty development

직장workplace 교육과정의 [극도로 상황화된 성격situated nature]과 전공과목 분야마다의 [다양한 교수 학습의 특수성]을 고려할 때, 교수개발자는 [정통적 교육]에서 파생된 솔루션을 사용하여 임상 교육을 '개선'하려는 시도를 벗어나, [맥락적 이해에 기반한 변화를 촉진하는 시도]로 초점을 전환함으로써 효과를 크게 향상시킬 수 있다. 이를 달성하기 위해, 교수 개발자는 (예를 들어 행동 연구 접근 방식을 사용하여) 임상 교사와 협력하여 [변화시키고자 하는 작업장 환경과 교육 관행을 관찰하고 이해]해야 한다. 교수진 개발자는 임상의와 협력하여 [임상의가 일하는 곳의 정치와 현실에 맞는 상황별 커리큘럼을 개발]해야 한다. 비디오 반사 민족학(VRE)은 임상의가 맥락과 실천의 당연한 측면으로 여겨지는 문화를 감상하는 데 매우 효과적인 접근 방식인 것으로 나타났다. VRE와 같은 기술은 임상의가 작업 환경 및 이에 관련된 교육 문제에 대한 이해를 구축하는 데 직접 협력하는 참여적 행동 연구 설계의 자원에 사용될 수 있다.
Given the profoundly situated nature of the curriculum of the workplace, and the particularities of teaching and learning in different specialties, faculty developers could greatly enhance their effectiveness by shifting emphasis from attempts to ‘improve’ clinical education using solutions derived from educational orthodoxy, toward facilitating change founded on contextual understandings. To achieve this, faculty developers need to work with clinical teachers, (using action research approaches for example), to observe and make sense of the workplace settings and teaching practices that they hope to change. Faculty developers should collaborate with clinicians to develop contextual curriculums that are customised for the politics and realities of the places where clinicians work.54 Video reflexive ethnography, (VRE) has been shown to be a very effective approach in helping clinicians to appreciate cultural, taken for granted aspects of context and practice.55 Technologies such as VRE could be used to resource participatory action research designs whereby clinicians collaborate directly in building understanding of workplace contexts and therefore solutions to the educational problems that pertain there.

4.2 제한 사항
4.2 Limitations

이러한 연구 결과는 직장 교육의 실제 정치에 더 적합한 교수 개발 프로그램을 설계하는 데 도움이 될 수 있지만, 적용 가능성에는 몇 가지 한계가 있다. 이 연구는 두 개의 분리된 교육병원에서 각각 두 개의 임상팀으로부터 데이터를 수집함으로써 강화되었지만, 팀 구조, 계층 구조 및 훈련 커리큘럼과 같은 특징은 한 국가에 특유했다. 연구 결과의 [전이가능성transferability]을 높이기 위해, 우리는 Figured Worlds를 강력한 분석 프레임워크로 사용했고, 연구를 수행한 사이트와 수술 및 IM의 특수성을 임상 작업장 학습의 사례로 다루었다. 또한, 연구팀의 구성에 의해 전이가능성이 보장되었다. 저자는 네덜란드, 아일랜드, 영국 등 세 나라 출신이다. 그들은 모두 국제 의료 교육에 경험이 있다. 그리고 그 팀은 임상 의사, 심리학자, 그리고 일반 실무자를 포함하고 있는데, 그의 전문 교육은 수술이나 임상과는 매우 달랐습니다. 그럼에도 불구하고, 임상 교육을 형성하는 업무, 작업 공간 및 맥락 커리큘럼에 대한 이해의 중요성을 고려할 때, 우리는 다른 국가 및 다른 전문 분야에서 추가 연구를 권고한다. 사회인류학의 전통에 따라, 한 명의 관찰자가 이 연구에서 현장 연구를 수행했다. 편견을 최소화하기 위해 반사 일지를 작성하고 각 관찰 기간이 끝날 때 참가자들과의 비공식 인터뷰와 공식 출구 인터뷰를 사용하여 자신의 관찰을 입증했다. 단일 관찰자 효과는 세 연구자의 다른 관점에 의해 풍부해진 긴밀한 협력에 의해 더욱 완화되었다.


Although these findings could help design faculty development programs that are better suited to the realpolitik of workplace education, there are some limitations to their applicability. Whereas this study was strengthened by gathering data from two clinical teams in each of two separate teaching hospitals, features such as team structure, hierarchy and training curriculums were particular to one country. To increase the transferability of the findings, we used Figured Worlds as a strong analytical framework and treated the sites where we conducted the research and the specialties of surgery and IM as instances of clinical workplace learning. Transferability was assured, further, by the composition of the research team. The authors come from three different countries, the Netherlands, Ireland and the United Kingdom; they are all experienced in international medical education; and the team includes an IM physician, a psychologist and a general practitioner, whose specialty training was very different from either surgery or IM. Nonetheless, given the importance of understanding the work, workplaces and the contextual curriculums that shape clinical education, we recommend further research in other countries and different specialties. In keeping with the traditions of social anthropology, a single observer undertook the field work in this study. To minimise bias he kept a reflexive diary and corroborated his observations using ‘on the hoof’ informal interviews with participants and formal exit interviews at the end of each observation period. The single observer effect was further mitigated by close cooperation, enriched by the different perspectives of the three researchers.

5 결론
5 CONCLUSIONS

임상 교육에서 교사와 학습자의 정체성, 교수와 학습의 관련 관행은 모두 임상 학습이 위치한 사회 문화적 맥락에 의해 형성되고 그에 따라 결정된다. 전문분야별 임상팀과 같은 사회구조에 참여하면 학습된 내용뿐만 아니라 학습 방법도 알려준다. 임상 교육은 때때로 묘사되듯이 지식을 습득하는 [선형 과정]이 아니라, [상황적으로 특정한 직장 커리큘럼]에 [상호 참여함]으로써 되는 복잡한 과정이다. 우리의 연구는 교수 개발이 임상 교육을 '수정'하기 위해서는, 지금과 같은 [전문가 주도의 자격 증명 접근법]에서 벗어나는 대신, [그곳에서 일하는 사람들, 즉 임상의와 직장 커리큘럼에 대한 공유된 이해]를 구축하는 데 기반을 두어, 보다 [촉진적facilitative 접근 방식]을 고려해야 한다고 제안한다.
In clinical education, teacher and learner identity and the associated practices of teaching and learning are all shaped by, and contingent on, the sociocultural contexts in which clinical learning is situated. Participation in social structures such as specialty-specific clinical teams, informs not only what is learned, but how it is learned. Clinical education is not, as it is sometime portrayed, a linear process of acquiring knowledge, but is instead a complex process of becoming, through mutual engagement in situationally specific curriculums of the workplace.53 Our work suggests that faculty development should move away from its current focus on expert led credentialing approaches to ‘fix’ clinical education and consider instead a more facilitative approach, founded on constructing shared understandings of workplace curriculums with the people who work there, the clinicians.

The social construction of teacher and learner identities in medicine and surgery

PMID: 34993973

PMCID: PMC9305233

DOI: 10.1111/medu.14727

Free PMC article

© 2022 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

의학교육연구실의 목적, 설계, 전망 (Acad Med, 2022)
The Purpose, Design, and Promise of Medical Education Research Labs
Michael A. Gisondi, MD, Sarah Michael, DO, MS, Simiao Li-Sauerwine, MD, MSCR, Victoria Brazil, MD, MBA, Holly A. Caretta-Weyer, MD, MHPE, Barry Issenberg, MD, Jonathan Giordano, DO, MEd, Matthew Lineberry, PhD, Adriana Segura Olson, MD, MAEd, John C. Burkhardt, MD, PhD, and Teresa M. Chan, MD, MHPE

의학 교육 연구원들과 임상의 교육자들은 장학금, 교육 기법의 개선, 그리고 직접 가르침을 통해 건강 관리의 미래를 이끈다. 그러나 역사적으로 학문적 승진academic promotion은 학습자를 교육하는 데 성공적이지 않고, 연구 생산성에만 국한되어 왔다. 의학 교육 연구자들이 새로운 지식을 발굴하고 의미 있는 학술적 결과를 만들어내지만, 학계에서는 자신의 연구를 연구로 인정하지 못하는 경우가 많은 것이 우리의 경험이었다. 이러한 편견은 의료교육 연구 경력을 추구하는 개인에 대한 제도적 지원과 승진 가능성에 부정적인 영향을 미친다. 
Medical education researchers and clinician educators steer the future of health care through scholarship, refinement of educational techniques, and direct teaching. 1,2 However, academic promotion has historically been tied to research productivity alone and not success in educating learners. Though medical education researchers discover new knowledge and create meaningful scholarship, it has been our experience that many in academia fail to recognize their work as research. This bias negatively affects institutional support and the likelihood of promotion for individuals pursuing medical education research careers.

실제로 교육 연구자는 작업 본체를 생산하는 뚜렷하고 잘 확립된 연구 방법을 사용하나, 이는 생물 과학자의 연구와는 다르다(예: 교육 연구자는 백신 흡수를 옹호하는 교육자의 능력을 연구할 수 있지만 생물 과학자는 환자에 의한 백신 채택률을 연구할 수 있다). 3 불행하게도, 기초 과학과 임상 연구자들이 종종 더 나은 자금, 자원 및 존경을 받는 학교에서, 교육 연구는 저평가되고 있다. 웹사이트와 보조금 개요를 검토하면서, 우리는 국립 보건원 상과 같은 교외 연구비의 격차가 생물 과학자들에게 크게 유리하고, 교육 연구 보조금은 간접 비용을 거의 보상하지 않는다는 것을 발견했다. 실제로, 우리는 의료 교육 연구원들이 종종 일관되지 않은 자금 조달 메커니즘과 그들의 기관에서 매우 소수의 명백한 멘토들을 남겨둔다는 것을 발견했다.

In reality, education researchers employ distinct, well-established study methods that produce bodies of work unlike those of bioscientists (e.g., an education researcher might study trainees’ abilities to advocate for vaccine uptake, while a bioscientist might study rates of vaccine adoption by patients) but that are no less rigorous. 3 Unfortunately, education research is undervalued at schools where basic science and clinical investigators are often better funded, resourced, and respected. 4,5 In reviewing websites and grant outlines, we have found that disparities in extramural funding, such as National Institutes of Health awards, greatly favor bioscientists, and education research grants rarely cover indirect costs. In effect, we have found find that medical education researchers are often left with inconsistent funding mechanisms and few obvious mentors at their institutions.

[연구실Research labs]은 개별 연구자의 커리어를 지원하기 위한 유용한 프레임워크를 제공하지만, 우리는 그것들이 의학 교육에서 상대적으로 드물다고 믿는다. 우리는 [연구실Research labs]을 [특정 조건이나 문제를 연구하는 단일 또는 복수의 PI(주요 조사자)가 이끄는 부서 또는 기관 내의 별개의 연구팀으로 정의]한다. 그들은 종종 부서나 학교를 넘나들며 많은 조사원으로 구성된 [연구 센터, 협력체 또는 네트워크]보다는 작다. [연구실]은 PI가 연구를 수행하고, 강력한 지원 팀을 이끌고, 학생들을 훈련시키는 것을 돕기 위해 구성될 수 있다. 의학 교육 연구자들은 [연구실 모델]을 폭넓게 채택하지 않아왔으며, 대신 의학 교육 부서, 보건 전문 장학 단체 또는 다른 연구 기업과 같은 다양한 종류의 협력적 구성에 배치한다. 우리의 의견으로는, 이러한 조직 스펙트럼은 특정 기관의 문화적 압력과 자금 부족, 협력자, 연구 주제 및 부서 지원과 같은 현장의 공통적인 도전에서 비롯된다.  우리는 [교육 연구실]이 이러한 장벽을 극복하고, 연구를 촉진하고, 교육 프로그램을 강화하고, 과외 자금 지원을 위해 경쟁하기 위해 부서 내에서 의도적으로 설계될 수 있다고 믿는다.
Research labs provide a useful framework to support the careers of individual investigators, yet we believe they are relatively rare in medical education. We define a lab as a distinct research team within a department or institution that is led by a single or multiple principal investigators (PIs) who study specific conditions or problems. They are smaller than research centers, collaboratives, or networks, which often cross departments or schools and are composed of many investigators. Labs can be constructed to help a PI conduct their research, lead a robust supporting team, and train students. Medical education researchers have not broadly adopted the lab model, instead arranging themselves in different kinds of collaborative configurations, such as departments of medical education, health professions scholarship units, or other research enterprises. 6–9 In our opinion, this organizational spectrum results from cultural pressures at certain institutions and common challenges in the field, such as a lack of funding, collaborators, study subjects, and departmental support. 10 We believe that education research labs can be deliberately designed within departments by established investigators to overcome these barriers, catalyze research, enhance training programs, and compete for extramural funding.

본 논문에서는 [의료 교육 연구실]의 조직과 임무를 [연구 센터, 협력체 및 네트워크]와 같은 다른 더 큰 구조와 비교하여 설명한다. 우리는 또한 교육 연구실의 몇 가지 핵심 요소에 대해 논의한다. 의학 교육에 있어 상대적으로 참신함을 감안할 때, 우리는 자체 실험실 창설을 고려하고 있는 다른 교육 연구자들에 의해 고려될 수 있도록 연구실 구조를 강조한다.
In this article, we describe the organization and missions of medical education research labs as compared with other larger structures, such as research centers, collaboratives, and networks. We also discuss several key elements of education research labs. Given its relative novelty in medical education, we highlight the research lab construct for consideration by other education researchers who may be contemplating starting up labs of their own.

사례 예제
Case Examples

우리 저자 그룹은 조직, 규모,  또는 목적이 다른 팀을 이끄는 의학 교육 연구원으로 구성되어 있습니다. 우리는 기존의 전문적인 관계를 통해 편리하고 비공식적으로 모였습니다. 그들 사이의 차이점을 비교하기 위해, 우리는 각각 우리 팀 구조의 상세한 사례 예시를 제공했다. 우리는 조직 구조, 1차 연구 강조, 자금 조달 메커니즘, 기관 지원, 교육자 영향 및 성공에 대한 장벽을 포함하여 우리 팀의 정의 특성을 설명했습니다. 우리 중 몇 명(M.A.G., S.M., J.C.B., T.M.C.)은 설명을 검토하고 공통 특성에 따라 팀을 그룹화하고 다음과 같은 5가지 공통 유형의 연구 팀 구조를 만들었습니다.

• 단일 PI 연구소(단일 PI 리드가 있는 연구소)
  
• 여러 PI 연구소(일반적으로 같은 부서 내에 있는 소규모 PI 그룹이 이끄는 연구소)
  
• 연구 센터(여러 부서를 넘나들면서 해당 기관에서 여러 명의 연구자를 통합하는 대규모 단일 조직 기관. 이를 연구기관이라고도 할 수 있다.
  
• 연구 협력체(많은 기관에서, 그리고 많은 부서에서 온 대규모의 비기관 조사자 그룹)
  
• 연구 네트워크(많은 기관에 걸쳐 있는 연구자들의 느슨한 연합)

Our author group is composed of medical education researchers who lead teams that differ in organization, size, and/or purpose. We were conveniently and informally assembled through existing professional relationships. To compare the differences among them, we each provided detailed case examples of our team structures. We described the defining characteristics of our teams including the organizational structure, primary research emphasis, funding mechanisms, institutional supports, trainee impacts, and/or barriers to success. A few of us (M.A.G., S.M., J.C.B., T.M.C.) then reviewed the descriptions, grouped the teams based on common characteristics, and created 5 common typologies of research team structures:

• single PI labs (labs with a single PI lead),
• multiple PI labs (labs led by small groups of PIs, who are generally within the same department),
• research centers (large, single-institution entities that cross departments but aggregate multiple investigators at the institution; these may also be called research institutes),
• research collaboratives (large, noninstitutional groups of investigators who come from many institutions and may also come from many departments), and
• research networks (loose associations of investigators across many institutions).

우리의 명명법은 [labs]라는 용어가 대규모 연구 센터, 협력체 및 네트워크와 구별되는 [단일 PI 또는 여러 PI 랩]을 지칭한다는 것이다. 도표 1과 그림 1은 이러한 의료 교육 연구 구조에 대한 개요를 제공한다. 우리는 아래의 다양한 구조를 간단한 예와 함께 설명하고 보충 디지털 부록 1의 각 연구 팀 구조에 대한 완벽한 사례 설명을 제공한다.
Our nomenclature is that the term labs refers to single PI or multiple PI labs, distinct from larger research centers, collaboratives, and networks. Chart 1 and Figure 1 provide an overview of these medical education research structures. We describe the different structures below with brief examples and provide complete case descriptions for each research team structure in Supplemental Digital Appendix 1 (at https://links.lww.com/ACADMED/B274).

단일 PI 연구소
Single PI labs

전통적인 기초과학 연구소와 유사하게, 이들 유닛은 [인프라를 유지하는 단일 PI]에 의존하여 연구 및 교육생을 지원한다. 성공적인 단일 PI 모델의 이점은 일반적으로 [명확한 연구 의제]와 [지속적인 연구비 지원]을 포함한다. 한계로는 개인 PI가 자체 자금을 계속 지원해야 한다는 압박과 연구소를 떠날 경우 연구소가 문을 닫을 가능성이 포함됩니다. 미시간 대학의 의학 교육의 Burkhardt 정책 분석, 연구 및 혁신(PRIME) 컬렉션은 단일 PI 연구소의 한 예이다. 이는 PI의 연구 활동을 그의 전반적인 목표와 일치시켜 의학교육의 정책분석, 연구, 혁신을 연구하고 잠재적인 멘티 및 협력자에 대한 그의 가시성을 높이려는 욕망에서 비롯되었다. 그것의 연구 의제는 "의학과 전문 교육의 힘을 더 큰 공공의 이익을 위해 활용하는 것"이다. 

Similar to traditional basic science labs, these units rely on a single PI who maintains the infrastructure to conduct research and support trainees. Benefits of a successful single PI model generally include a clear research agenda and sustained grant funding. Challenges include the pressure on that individual PI to continue self-funding and a likelihood that the lab would close if they left the institution. The Burkhardt Policy Analysis, Research, and Innovation in Medical Education (PRIME) Collective at the University of Michigan is an example of a single PI lab. It stemmed from a desire to align the PI’s research activities with his overall goals to study policy analysis, research, and innovation in medical education and to increase his visibility to potential mentees and collaborators. Its research agenda is “to leverage the power of medical and professional education for the greater public good.” 11

여러 PI 랩
Multiple PI labs

이러한 연구소는 동일한 기관 및 일반적으로 [동일한 부서 내에서 공통의 연구 의제를 가진 소규모 PI 그룹]에 의해 주도됩니다. 연구실 내의 각 PI가 보조금을 시작하고 보유할 수 있기 때문에 그들은 [책임을 공유]하고 [재정적 탄력성을 증가]시켰다. 잠재적 어려움으로는 [연구 이니셔티브와 프로젝트 선정을 둘러싼 집단 갈등의 가능성]이 포함된다. Stanford University의 Precision Education and Assessment Research Lab(Pearl)과 Houston의 Texas University Health Science Center의 Texas Emergency Medicine Research Center는 여러 PI Lab의 두 가지 예입니다. PEARL은 서로 보완하고 다양한 관심사를 가진 연습생들의 멘토링을 가능하게 하는 독특한 기술과 배경을 가진 3명의 연구자가 지휘한다. 그것의 임무는 "의사를 위한 훈련을 개인화하는 최선의 방법을 연구함으로써 의학 교육의 정밀도를 정의하는 것"이다.  텍사스 응급 의학 연구 센터는 학습자를 교육하기 위한 기술 적용에 대해 비슷한 열정을 공유하는 두 명의 PI에 의해 만들어졌습니다. 그것의 연구 목표는 혁신적인 의료 교육 도구의 개발, 구현 및 영향을 측정하는 것이다.  
These labs are led by a small group of PIs with a common research agenda at the same institution and generally within the same department. They have shared accountability and increased financial resilience, since each PI within the lab can initiate and hold grants. Challenges include the potential for group conflict surrounding research initiatives and selecting projects. The Precision Education and Assessment Research Lab (PEARL) at Stanford University and the Texas Emergency Medicine Research Center at the University of Texas Health Science Center at Houston are 2 examples of multiple PI labs. 12,13 PEARL is directed by 3 researchers with unique skills and backgrounds that complement one another and allow for the mentorship of trainees with diverse interests. Its mission is to “define precision in medical education by studying the best ways to individualize training for physicians [… to] optimize assessment methods to promote learning and [to] leverage technology to reimagine health professions education.” 12 The Texas Emergency Medicine Research Center was created by 2 PIs who share a similar passion for the application of technology to educate learners. Its research goals are to develop, implement, and measure the impact of innovative medical education tools. 13

연구소
Research centers

때때로 [연구 기관]이라고 불리는 이 그룹들은, [공통의 연구 의제를 공유하며, 여러 부서에 걸쳐 여러 명의 연구자를 지원하는, 기관 수준의 enterprises]이다. 연구소의 설립은 일반적으로 특정 조직 요건을 갖춘 [매우 형식적인 제도적 노력]이다. 그들은 보통 원활한 창업을 보장하기 위해 기부자 자금 또는 중앙 자금 지원을 받지만 장기적인 유지를 위해 상당한 지원이 필요하다. 몇몇은 학위를 수여할 수 있는 능력을 가지고 있거나 그들 자신의 내부 계층이나 승진 과정을 가지고 있다. 우리는 이 연구팀 설계의 3가지 예를 제시합니다.

• Gordon Center for Simulation and Innovation in Medical Education은 학습 및 평가를 위한 혁신 기술의 개발과 평가를 연구하기 위해 마이애미 대학교 우수 센터로 설립되었다. 고든 센터는 연방 보조금과 비연방 보조금을 조합하여 자체 자금을 지원하고 있으며, 최소 50%의 노력을 연구에 바치는 4명의 전임 PI를 보유하고 있다.
• 다음으로, 맥마스터 교육 연구, 혁신 및 이론(MERIT) 프로그램은 원래 맥마스터 대학이 문제 기반 학습 커리큘럼을 설계할 때 지원하는 다중 PI 연구실이었다. 최근 MERITE는 의학 교육 연구에서도 견습생을 지원하는 연구 센터로 발전했다.
• 마지막으로, 캔자스 대학 의료 센터의 Jamierowski 체험 학습 연구소 내의 CoLab은 개별 제공자와 팀 성과를 조사합니다. CoLab의 설립은 사회 및 행동과학 전문지식의 필요성을 인식한 기관 리더십과 수혜자들에 의해 시작되었습니다.

Sometimes called research institutes, these groups are usually institution-wide enterprises that support multiple investigators across multiple departments who share a common research agenda. The establishment of a research center is generally a very formal institutional endeavor with specific organizational requirements. They are usually either donor-funded or centrally funded to ensure a smooth start-up but require significant support to sustain long term. Some have the capacity to grant degrees or have their own internal hierarchy or promotion process. We offer 3 examples of this research team design.

• The Gordon Center for Simulation and Innovation in Medical Education was established as a University of Miami Center of Excellence to study the development and evaluation of innovative technologies for learning and assessment. 14 The Gordon Center is self-funded through a combination of federal and nonfederal grants and has 4 full-time PIs who dedicate a minimum of 50% of their efforts to research.
• Next, the McMaster Education Research, Innovation and Theory (MERIT) Program 15 was originally a multiple PI lab that supported McMaster University in designing problem-based learning curricula. 16,17 Recently, MERIT evolved into a research center that also supports apprenticeships in medical education research. 2,18–20 
• Finally, the CoLab within the Zamierowski Institute for Experiential Learning at the University of Kansas Medical Center examines individual provider and team performance. 21 The creation of CoLab was initiated by institutional leadership and benefactors who recognized the need for social and behavioral science expertise.

공동 연구
Research collaboratives

공식적인 [연구 센터]와 달리, 협력체은 [비공식적이고 더 비정형적이며, 대학 내의 부서나 학교에 걸쳐 같은 생각을 가진 연구자들 사이에서, 그리고 아마도 기관들 사이에서 더 유기적으로 발생]한다. [연구 센터]와 달리, 이것은 공식적인 제도적 구조가 아니다. 협업은 여러 PI를 보유하고 프로젝트별 팀을 구성하지만 새로운 벤처기업마다 구성원 자격을 변경할 수 있습니다. 이것은 다른 프로젝트를 후원하지만 같은 회원 그룹 내에 있는 연구 네트워크와는 대조적이다. 협력업체의 해결과제에는 [신뢰할 수 있는 자금 흐름]과 [의사소통을 위한 기술에 대한 의존도]가 포함됩니다. 

In contrast to formal research centers, collaboratives are informal and more amorphous, arising more organically between like-minded researchers across departments or schools within a university, and possibly also between institutions. In contrast to research centers, they are not formal institutional structures. Collaboratives have multiple PIs and form project-specific teams but may change their membership with each new venture. This contrasts them from research networks, which sponsor different projects but within the same member group. Challenges for collaboratives include reliable funding streams and dependence on technology for communications.

여기서는 협업의 4가지 예를 강조합니다.

• 첫째, 의료 교육 번역 자료: METRIQ(Impact and Quality) Study Collaborative는 교육 및 번역 온라인 리소스를 개발, 측정 및 평가할 수 있는 방법을 연구하는 여러 기관의 연구자 파트너십입니다. METRIQ는 물리적인 집이 없으며, 오히려 여러 대륙에 걸쳐 수십 개의 프로젝트를 함께 완료한 협력자로 구성되어 있습니다. 
• 둘째, 본드 대학의 TSC(Translational Simulation Collaborative)는 시뮬레이션을 통해 건강 관리를 개선하기 위해 노력하는 연구자들의 연결고리이다. 연구 협력의 초점은 번역 시뮬레이션 실습입니다. 따라서, 다양한 시뮬레이션 기법을 통해 의료 서비스 과제를 탐색하고, 잠재적 개선 사항을 테스트하며, 더 나은 의료 관행을 임상 운영에 포함시키는 것을 목표로 한다. TSC는 복잡한 재무 정리, 지적 재산권 문제 및 잠재적인 이해 상충을 가진 서로 다른 기관의 여러 연구 파트너들을 위한 포괄적인 조직 역할을 한다.
• 셋째, ERLI(Academic Life in Emergency Medicine Education Research Lab and Incubator)는 소셜 미디어 기술과 교육 연구자 멘토십에 중점을 둔 비영리 건강 전문 교육 기관 내 연구 협력체이다. ERLI는 대학과 제휴하지 않기 때문에 대부분의 전통적인 자금 조달 메커니즘에 적합하지 않다.
• 마지막으로, 의료 허브의 기술, 교육 및 협업은 기술, 교육 및 디지털 네트워크에 관심이 있는 6개 PI에 의해 조정된 국제 협업입니다. 허브의 핵심 원칙 중 하나가 수사관들 간의 경쟁보다는 투명성과 공유를 장려하는 것이기 때문에 공유된 학술 및 전문성 행동 강령이 있다.

We highlight 4 examples of collaboratives here.

• First, the Medical Education Translational Resources: Impact and Quality (METRIQ) Study Collaborative is a partnership of investigators at multiple institutions who study how educational and translational online resources can be developed, measured, and evaluated for quality. 22 METRIQ has no physical home, rather it consists of collaborators that span multiple continents and have completed dozens of projects together.
• Second, the Translational Simulation Collaborative (TSC) at Bond University is a nexus for researchers working to improve health care through simulation. 23 The focus of the research collaborative is translational simulation practice; thus, it aims to explore health services challenges, test potential improvements, and embed better health care practices into clinical operations through diverse simulation techniques. 24 TSC serves as an umbrella organization for multiple research partners from different institutions with complex financial arrangements, intellectual property issues, and potential conflicts of interest. 25 
• Third, the Academic Life in Emergency Medicine Education Research Lab and Incubator (ERLI) is a research collaborative within a nonprofit, health professions education organization that focuses on social media technologies and education researcher mentorship. 26 ERLI is not affiliated with a university and therefore does not qualify for most traditional funding mechanisms; its funding has been largely philanthropic.
• Finally, the Technology, Education, and Collaboration in Healthcare Hub is an international collaborative coordinated by 6 PIs interested in technology, education, and digital networks. There is a shared academic and professionalism code of conduct, as one of the core principles of the hub is to encourage transparency and sharing, rather than competition, among investigators.

연구 네트워크
Research networks

덜 형식적인 [연구 협력체]와는 대조적으로, [연구 네트워크]는 [고도로 구조화된 경향]이 있으며, [연구 주제와 연구 프로젝트에 참여하는 기관의 수를 증가시키는 것을 목표]로 한다. [멀티센터 임상시험]은 종종 연구 네트워크 내에서 수행된다. 회원들은 이러한 임상시험에 참여함으로써 느슨하게 서로 제휴하고 있으며, 의사소통을 자주 하지 않을 수 있다. 자금 조달은 복잡하며, 사이트 리드는 전체 네트워크 내에 대리점이 거의 없을 수 있다. 여기서는 두 가지 예를 프로파일링합니다.

• 응급의학교육연구동맹(EMERA)은 노스웨스턴 대학교 응급의학 레지던트 졸업생들이 의학교육 연구에 관심을 가지고 설립한 단체이다. 회원들은 광범위한 공식적인 연구 훈련과 다양한 행정적 역할을 가지고 있다. EMERA의 임무는 응급의학의 교육적 모범 사례를 개발하는 것을 목표로 하는 다중 기관 연구를 수행하는 것이다.
• 둘째, RCPSC이 전국적인 역량 기반 의료 교육 평가 프레임워크를 시행하기 1년 전에 캐나다 의학 평가 및 분석을 위한 캐나다 데이터 연구(CanDREAM) 팀이 설립되었다. 세 명의 교육 연구원이 이 구현을 연구하기 위해 CanDREAM을 시작했고 캐나다의 거의 모든 의사 교육 프로그램에서 광범위한 교육자 네트워크를 빠르게 모집했습니다. 네 명의 연구원이 이 대규모 팀을 이끌고 새로운 도구를 개발하고, 기계 학습 혁신을 개발하며, 평가 기준을 검증한다.

In contrast to less formal research collaboratives, research networks tend to be highly structured and aim to increase the number of study subjects and participating institutions in research projects. Multicenter clinical trials are often conducted within a research network. Members are loosely affiliated with one another through participation in these trials and may communicate infrequently. Funding is complex, and site leads may have little agency within the overall network. We profile 2 examples here.

• The Emergency Medicine Education Research Alliance (EMERA) was established by a group of Northwestern University emergency medicine residency graduates with an interest in medical education research. 27 Members have a breadth of formal research training and diverse administrative roles. The mission of EMERA is to conduct multi-institutional research aimed at developing educational best practices in emergency medicine.
• Second, the Canadian Data Research for Evaluation and Analytics in Medicine (CanDREAM) Team was established 1 year before the Royal College of Physicians and Surgeons of Canada implemented a nationwide competency-based medical education assessment framework. 28 Three education researchers started CanDREAM to study this implementation and quickly recruited a wide network of educators from nearly all physician training programs in Canada. Four investigators lead this large team to develop new tools, develop machine learning innovations, and validate assessment rubrics.

실험실의 주요 요소
Key Elements of Labs

우리의 경험에서, 우리는 연구실 설립이 의학 교육 연구자들이 경험하는 잘 알려진 제도적 난제를 극복하기 위한 전략적 시도라는 것을 발견했다. 연구실 출범 자체가 교수 라인, 순위, 연구 서사에 따라 교외 자금과 PI 적격성에 대한 엄격한 요건을 갖춘 기관에서는 장애물이 될 수 있다. 우리는 연구실의 성공이 종종 연구자의 비전, 열정 및 정치적 의지에 의해 결정되며, 후원 기관의 초기 노력에서 거의 결과를 얻지 못한다는 것을 발견했다. 위에서 제시한 사례를 검토하면서, [의학 교육 연구실]을 위한 몇 가지 핵심 요소를 확인했습니다. 

• 실험실 정체성의 중요성,
• 실험실 지정의 신호 효과,
• 필요한 인프라
• 실험실의 훈련 임무.

In our experience, we have found that the establishment of a lab is a strategic attempt at overcoming the well-recognized institutional challenges experienced by medical education researchers. Launching the lab can itself be a hurdle at institutions that have strict requirements for extramural funding and PI eligibility based on professoriate line, rank, and narrative of research. We have found that lab success is often predicated on the vision, passion, and political will of the investigators and rarely results from the nascent efforts of the sponsoring institution. In our review of the case examples presented above, we identified several key elements for medical education research labs:

• the importance of lab identity,
• the signaling effect of a lab designation,
• required infrastructure, and
• the training mission of a lab. 

이러한 요소는 연구실을 다른 팀 구성(즉, 연구 센터, 협업 및 네트워크)과 차별화하는 것으로 나타납니다. 
These elements appear to differentiate research labs from other team configurations (i.e., research centers, collaboratives, and networks).

실험실 아이덴티티의 중요성
Importance of lab identity

의학 교육 연구소는 표현형을 공유한다:

• 연구실은 단일 PI 또는 소규모의 선임 연구자 및 PI 그룹에 의해 운영되며, 
• 이들은 집중적인 연구 라인을 가지고 있으며, 
• 그들의 임무는 가르치는 것보다 연구이다.

우리는 마지막 특성이 연구소와 [교육센터] 또는 [교육협동조합]을 구분하는 결정적인 차이점이라고 본다. 예를 들어, 임상 교육을 주로 제공하는 [시뮬레이션 센터]는 연구에 학문적인 초점을 둔 [시뮬레이션 연구소]와 본질적으로 다르다. 의학 교육 연구소는 또한 PI의 진로를 검증하고 그들의 연구 초점을 명확히 할 수 있다. 우리의 경험에서, 연구자의 자기 개념은 교육 연구자에게 중요하다. 연구자의 본질적인 동기 및 발견에 대한 접근 방식을 생명과학 동료의 것과 일치시키기 때문이다. [PI, 교수 협력자 및 연구 교육생]과 같은 식별자identifier가 관계를 정의하고 멘토/멘티 역할을 명확히 합니다. 

Medical education research labs share a phenotype:

• the lab is directed by a single PI or small group of senior researchers and PIs,
  who have a focused line of research and
  whose mission is research rather than teaching.

We believe that the last characteristic is a critical difference that distinguishes research labs from educational centers or teaching collaboratives. For example, a simulation center that primarily provides clinical training is inherently different from a simulation research lab that has a scholarly focus to its work. 8 A medical education research lab can also validate the career path of the PI and clarify their research focus. In our experience, the self-concept of investigator is important to education researchers, as it aligns their intrinsic motivations and approach to discovery with that of their bioscience colleagues. Identifiers such as PI, faculty collaborator, and research trainee define relationships and clarify mentor/mentee roles. 29

실험실 명칭의 신호효과
Signaling effect of a lab designation

과학자들이 종종 실험실을 가지고 있기 때문에, 의학 교육 연구실을 만드는 것은 병원과 십일조 지도자들에게 개인이 과학자로 보여져야 한다는 신호로 작용할 수 있다. 연구소의 브랜드 이미지는 "소비자"(즉, 과학 발표회 및 부서 회의에 참석하는 사람들)와 기금 모금, 연구실 웹사이트를 갖는 경험을 통해 더욱 만들어진다. [웹사이트]는 특히 기관 외부에 있는 사람들에게 보내는 [합법성에 대한 중요한 신호]이다. 게다가, 우리는 우리의 경험으로 일반적으로 [실험실 구조]가 의료계hall of medicine 내에서 더 잘 이해되며, 그들을 지휘하거나 구성원인 연구자들의 작업에 신뢰성을 더한다는 것을 발견했다. 우리는 "나는 X 조건을 연구한다"(연구자 개인의 업무와 능력을 나타낸다)와 "나의 연구소는 X 조건을 연구한다"(연구팀의 업무와 확장성을 나타낸다)라는 문구 사이에 강력한 신호 차이를 보았다. 이러한 시그널링은 단일 조사자보다 확립된 연구실을 찾을 가능성이 높은 기관 내 다른 사람들과의 협업 또는 멘토링 관계를 초래할 수 있다.
Since scientists often have a lab, the creation of a medical education lab can act as a signal to hospital and decanal leaders that an individual should be seen as a scientist. The brand image of a lab is further crafted through the experiences of having “consumers” (i.e., those who attend scientific presentations and department meetings), fundraising, and having lab websites. Websites are particularly important signals of legitimacy to those external to an institution. Furthermore, we find that in our experience the lab structure is generally well understood within the halls of medicine, adding credibility to the work of the researchers who direct or are members of them. We have seen a powerful signaling difference between the phrases “I study X condition” (signaling the work and capacity of an individual researcher) and “My lab studies X condition” (signaling the work and scalability of a research team). Such signaling may lead to collaborations or mentoring relationships with others in the institution, who are more likely to find established labs than a single investigator.

필요한 인프라
Required infrastructure

실험실 활동과 인력은 [재정적 지원]이 필요하며, 실험실 모델은 개별 조사자가 이용할 수 없는 자원을 제공할 수 있다. 연구실 직원 및 기타 필요에 대한 [자금]은 특별 보조금, 자선 기부, 자문 업무 및 직접 수당, 종자 기금, 보조금 및 교수 급여의 형태로 제도적 지원을 결합하여 추구된다. [후원 기관]은 일반적으로 실험실 관리자 및 관리 직원에게 급여 지원을 제공하지만 통계학자 또는 데이터 과학자와 같은 다른 상근 직원에게는 급여 지원을 제공할 가능성이 낮다. [실험실 인력]은 PI의 연구팀을 구성하고 연구 프로그램을 촉진하는 것을 돕는다. [사무실 공간 및 장비 요구 사항]은 연구 유형 및 조직 접근 방식에 따라 달라집니다. 교육연구실의 [스마트 디자인 및 전략적 자금 지원]은 불충분하거나 산발적인 교외 자금 지원, 연구 대상자 모집의 어려움 등 공통의 장벽을 직접 극복할 수 있다. 이러한 [초기 투자]는 공식적인 부서 지원 없이 어려움을 겪을 수 있는 PI의 성공을 보장할 수 있습니다. 또한, 강력한 인프라는 프로그램 연구자의 신뢰도와 교외 자금을 위해 경쟁할 수 있는 능력을 향상시킨다.
Lab activities and personnel require financial support, and the lab model may provide resources that are not available to individual investigators. Funding for lab personnel and other needs are sought through combinations of extramural grants, philanthropic gifts, consultancy work, and institutional support in the forms of direct stipends, seed funding, grants, and faculty salaries. Sponsoring institutions commonly provide salary support for lab managers and administrative staff but are less likely to do so for other full-time personnel, such as statisticians or data scientists. Lab personnel comprise the research team of a PI and help to catalyze a research program. Office space and equipment needs vary based on the type of research and organizational approach. Smart design and strategic funding of an education research lab can directly overcome common barriers, such as inadequate or sporadic extramural funding and difficulty recruiting study subjects. These initial investments can ensure the success of a PI who might otherwise struggle without such formal departmental support. Moreover, a robust infrastructure improves the credibility of programmatic researchers and their ability to compete for extramural funding.

연구소의 훈련 임무
Training mission of a lab

우리는 [연구 교육생]들이 있는 연구실에는 많은 장점이 있다고 믿는다. 차세대 교육 연구 학자들이 이러한 연구실에서 개발되고 있으며, 우리는 확립된 연구소가 후배 학자들이 성공하기 위해 필요한 멘토링과 인프라에 더 쉽게 접근할 수 있도록 할 수 있다는 것을 발견했다. 비록 연구실에 교육teach이 의무는 아니지만, 많은 사람들이 그들의 PI에서 교육 연구를 수행하는 것을 배우는 교육자들을 후원한다. 이 교육생들은 학생, 거주자, 동료, 그리고 후배 교직원들을 포함할 수 있다. PI 멘토들의 긍정적인 참여와 영향력은 훈련생들의 훈련 프로그램을 향상시킬 수 있다. 중요한 것은, 의학교육연구실에서 교육생들의 초점은, 다른 졸업후 의학교육 훈련 프로그램에서 볼 수 있는 단순한 임상교습이나 학습이론이 아닌, [교육연구방법과 학술활동]이다. 이러한 연수생들은 후원부서 밖에 소속되어 있는 경우도 있어, 연구실을 상호 풍부하게 하는 추가적인 협업으로 이어질 수 있다. 또한 학습자는 더 많은 학습자를 유치한다. 즉, 성공적인 연구 멘토링에 대한 기록은 유사한 관심사를 가진 다른 교육생 및 교수 협력자의 모집 장치 역할을 한다.
We believe that there are many advantages for labs with research trainees. The next generation of education research scholars are developed in such labs, and we have found that established labs can make it easier for junior scholars to gain access to the mentorship and infrastructure that they need to become successful. Though labs are not mandated to teach, many sponsor trainees who learn to conduct education research from their PIs. These trainees can include students, residents, fellows, and junior faculty. The positive engagement and influence of PI mentors can enhance trainee’s training programs. Importantly, the focus for trainees in a medical education lab is education research methods and scholarship, not simply clinical teaching or learning theory as is seen with other postgraduate medical education training programs. In some cases, these trainees have affiliations outside the sponsoring department, which can lead to additional collaborations that reciprocally enrich the lab. Additionally, learners attract more learners; that is, a track record of successful research mentorship acts as a recruiting device for other trainees and faculty collaborators with similar interests.

창업 고려사항 및 지원 가능성
Start-Up Considerations and Likelihood of Support

우리는 최근 의학 교육 연구 경력을 지원하기 위해 혁신적인 조직 접근 방식을 개발하는 연구자들이 급증하는 것을 관찰했다. 왜 그럴까 하는 의문이 생긴다. 왜 실험실이나 더 큰 연구 구조가 그들의 성공을 위해 필요한가? 확실히 광범위한 교육 연구 주체와 투자 수익률을 계산하는 많은 방법(예: 지원금, 논문 발표, 프레젠테이션 전달)이 있다. 단일 PI 랩은 흔하지 않지만 고전적인 단위로 남아 있으며, (의료 교육 분야에서 종종 통합하기 어려운) 랩 인프라와 자금 지원에서 비롯되는 분명한 이점이 있다. 그러나, 우리는 이 최근의 확산에서 가치를 가져오는 다양한 규모와 범위의 다른 구조를 사용하는 것을 관찰했다. 자체 연구소를 설립할지 여부를 고민하고 있는 급성장하는 연구자에게 다음과 같은 의문이 제기된다. "어떤 전략이 최선입니까?" 의학 교육 연구자들이 그들의 생명과학 동료들이 사용하는 단일 PI 연구실을 거울로 삼아야 하는가? 아니면 의학 교육 연구자들이 그 분야에 대한 더 나은 접근법을 찾아내야 하는가? (실험실 시작 가이드는 그림 2를 참조하십시오.) 현재 우리는 연구실 모델이 부족한 것을 우려하는 바인데, 왜냐하면 [스스로 연구를 수행하는 단일 개인]은 훈련생도, 멘토링도, 미래 교육 과학자를 위한 파이프라인도 제공하지 않기 때문이다. 이러한 기회가 없다면, 훈련이 부족하기 때문에 미래에 의학 교육 실험실을 이끌 수 있는 사람이 없을 수도 있다.

We have observed a recent proliferation of investigators developing innovative organizational approaches to support their medical education research careers. The question arises: Why? Why are labs or larger research structures necessary for their success? There is certainly a wide array of education research entities and many ways to calculate return on investment (e.g., grant monies received, papers published, presentations delivered). The single PI lab is uncommon but remains a classic unit of analysis, with clear advantages that stem from lab infrastructure and funding that are often difficult to marshal in the medical education field. However, we observed in this recent proliferation the use of other constructs of various scales and scopes that bring value as well. 19 For the burgeoning researcher contemplating whether to establish a lab of their own, the question arises: “Which strategy is best?” Should medical education researchers mirror the single PI lab used by their bioscience colleagues? Or must medical education researchers identify a better approach for the field? (See Figure 2 for a lab start up guide.) The current scarcity of the lab model concerns us, as a single individual conducting research on their own yields no trainees, no mentoring, and no pipeline for future education scientists. Without these opportunities, there may be no one able to lead medical education labs in the future because of insufficient training.

교육 연구자를 조직 내에서 가장 잘 배치하기 위한 노력은 연구자와 그들의 소속 부서에 영향을 미친다. 우리의 경험에 따르면, [연구 협력체] 또는 [연구 네트워크]에 협력하는 연구원들은 [단일 PI 연구소]를 시작하는 데 필요한 지역 자원을 소진했기 때문에 그렇게 하는 경향이 있습니다. 그들은 처음부터 그러한 자원을 가지고 있었던 적이 없었거나 또는 그것들을 요청할 생각을 한 적이 없었습니다. 우리는 본 논문에서 검토한 다양한 연구소와 더 큰 연구 구조를 지역 연구 환경의 현실에 대한 측정된 반응으로 본다. 각 사례에서 선택한 경로는 특정 시간과 장소에서 사용할 수 있는 유일한 경로였을 수 있습니다. 우리의 사례에서 다양한 구성이 부서장들의 결정에 따라서 만들어진 것인지, 아니면 연구자들 스스로가 의사 결정자들을 중심으로 작업했기 때문에 발생했는지는 불분명하다. 
Efforts to best position an education researcher within an organization have implications for the investigator and their home department. In our experience, researchers who align themselves with research collaboratives and networks tend to do so because they have exhausted the local resources necessary to start a single PI lab, they never had such resources to begin with, or they never thought to ask for them. We view the various labs and larger research structures reviewed in this paper as measured responses to the realities of local research environments. The paths chosen for each case example may have been the only one available at that specific time and place. It is unclear from our case examples whether the various configurations occurred in response to decisions by department leaders or because the investigators themselves worked around the decision makers.

또 다른 이론은 이러한 준비는 종종 [필요성]보다는 [편의성]에 의해서 만들어진다는 것이다. 아마도 [저비용의 외부 협력]은 department로 하여금 [의료 교육 연구자]를 지원할 책임을 더 쉽게 포기하도록 만들지도 모른다. 왜 그들이 지원해야 하는지, 얼마나 지원해야 하는지, 어떤 방식으로 지원해야 하는지, 그리고 어떤 목적으로 지원해야 하는지. 아무도 이런 질문을 하지 않고, 그저 외부에서 의학교육 연구 지원을 찾고 있다면, department는 이러한 질문에 대한 답변을 회피하게 되기 쉽다. 우리의 경험으로 볼 때, 이러한 질문에 대한 정직한 답변은 의료 교육 연구, 지원을 요청하는 개별 조사자 또는 둘 다에 대한 가치 판단을 나타낸다.
Another theory is that these arrangements are often made of convenience rather than necessity. Perhaps low-cost, external collaborations more easily allow departments to abdicate their responsibilities to support medical education researchers. Why should they support, how much should they support, in what ways should they support, and to what end should they support? It is easy for a department to avoid answering these questions if no one is asking them but instead looking externally for medical education research support. In our experience, honest answers to these questions represent value judgments about medical education research, the individual investigator seeking support, or both.

지금까지 자원이 부족해왔던 분야에서 얼마나 많은 연구소가 존재할 수 있으며, 존재해야 하는가? 의학 분야의 다른 분야들에 비해 미국에서 이용할 수 있는 의학 교육 연구 보조금은 매우 적다. 연구자들이 재정적으로 자립할 가능성이 낮은 연구 분야의 성장을 옹호하는 것이 옳기는가? 이러한 평가 질문은 학문적 의학에서 제자리를 찾으려는 잘 훈련된 의료 교육 연구자의 수가 증가하고 있는 실존적 위기를 나타낸다. 우리의 사례 예는 연구 정체성을 확립하는 방법에 대한 로드맵을 제공할 수 있지만, [왜, 언제, 또는 연구 정체성을 확립해야 하는지] 또는 [연구 정체성 확립에 얼마나 오래 걸릴 수 있는지]에 대한 로드맵을 제공하지는 않는다. 우리의 경험에 따르면, 실험실 설계에 대한 물류 결정이 내려지기 전에 그러한 결정들은 개인화되고 현재의 고용 상황에 맞춰져야 한다. 당연히 [교육 연구소를 위한 최선의 계획]은 [부서 및 기관 문화의 영향]을 받습니다. 단일 PI 랩을 시작하는 선택은 다른 분야의 랩이 현지에서 일반적인지 또는 기관이 그러한 혁신에 대한 욕구를 가지고 있는지에 따라 달라질 것이다. 이러한 조건(예: 자원이 풍부한 부서 및/또는 지원 기관 문화)이 없다면 교육 연구소를 시작하고 유지하는 데 필요한 지원이 불충분하고 그러한 연구소가 달성할 수 있는 성공은 미미할 수 있다고 생각합니다.

How many research labs can or should exist in a field with historically scarce resources? There are very few medical education research grants available in the United States compared with other disciplines in medicine. Is it even right to advocate for the growth of a research field in which investigators are unlikely to financially sustain themselves? These questions of valuation represent an existential crisis for the growing number of well-trained medical education researchers trying to find their place in academic medicine. Our case examples can provide roadmaps as to how to establish a research identity but not why or when one should or how long one might need to establish a research identity. In our experience, those decisions must be individualized and aligned to one’s current employment situation before any logistical decisions about lab design can be made. Unsurprisingly, the best conceived plans for an education research lab are subject to departmental and/or institutional culture. The choice to start a single PI lab will depend on whether labs in other disciplines are common locally or if the institution has an appetite for such innovation. Without these conditions (e.g., a well-resourced department and/or a supportive institutional culture), we feel that the necessary support to start and maintain an education research lab will be inadequate and that any successes such a lab may achieve may be meager.

결론들
Conclusions

의학교육연구소의 성공적인 출범은 비전과 전략을 전제로 한다. 연구자는 후원 기관 어디에도 이미 존재할 것 같지 않은 것을 기꺼이 만들어내야 하며, 역할 모델링을 본 표준 프로세스와 방법을 넘어서야 합니다. 새로운 연구소장은 기관 외부의 동료들로부터 모델과 도식을 찾아야 할 것 같은데, 우리는 이것이 이 기사를 통해 다소 쉬워졌기를 바란다. 우리의 경험에 따르면, [성공적인 구현]은 [연구소의 출범과 장기적인 생존 가능성 모두를 위한 전략적 계획, 이해관계자 분석의 신중한 사용, 강력한 정치적 감각]을 필요로 한다. 의료 교육 연구소의 사례 사례는 자체 연구소를 설립할 준비를 하는 조사관에게 교훈을 제공한다. 부서 리더들이 교육 연구실을 왜 그리고 얼마나 중시하는지, 그리고 이 평가가 궁극적으로 실험실의 설계와 성공 가능성을 지시하는지에 대한 의문들이 남아 있다.
We believe that the successful launch of a medical education research lab is predicated on vision and strategy. Investigators must be willing to create something that is unlikely to already exist anywhere in their sponsoring institutions, and they must move beyond the standard processes and methods they have seen role modeled. New lab directors will likely need to seek out models and schemas from colleagues outside their institution, something that we hope has been made somewhat easier by this article. In our experience, successful implementation requires

• a strategic plan for both the launch of the lab and its long-term viability,
• deliberate use of stakeholder analyses, and
• a strong political acumen.

Our case examples of medical education research labs offer lessons for investigators preparing to establish their own labs. Questions remain as to why and how much department leaders value education research labs and whether this valuation ultimately dictates the design of a lab and its likelihood of success.

Copyright © 2022 by the Association of American Medical Colleges.

보건의료전문직 교육에서 리포팅 가이드라인의 사용과 가치(Acad Med, 2020)
On the Use and Value of Reporting Guidelines in Health Professions Education Research

연구 간행물에서의 보고 지침의 사용과 가치에 대한 대화는 종종 양극화된 견해를 이끌어낸다. 그러한 견해는 더 많은 정보와 사려 깊은 고려의 필요성을 나타낸다. 우리 자신의 건강 전문 교육 분야의 한 예로, 오스트리아 빈에서 열린 유럽 의학 교육 협회의 2019년 회의에서 편집자 패널 토론이 [건강 전문 교육 연구 출판에서의 논쟁과 도전]이라는 제목의 토론은 HPE 연구 출판물의 보고 지침의 사용법을 둘러싼 편집자와 작가들 간의 활발한 토론을 촉발했습니다. 일부 참가자들은 그러한 지침의 사용을 강력히 지지한 반면, 다른 참가자들은 단호하게 반대했다. 이 사설에서, 우리는 보고 지침에 대해 학술 의학 커뮤니티에 알리고, 저널의 편집자로서 이에 대한 우리의 관점을 공유하며, 이러한 지침에 대한 지속적인 대화를 촉진하는 것을 목표로 한다. 
Conversations about the use and value of reporting guidelines in research publications often elicit polarized views. Such views signal a need for more information and thoughtful consideration. As an example from our own field of health professions education, the editors’ panel discussion at the 2019 meeting of the Association for Medical Education in Europe in Vienna, Austria, entitled Controversies and Challenges in Publishing Health Professions Education Research, prompted a lively discussion among editors and authors around the use of reporting guidelines in health professions education research publications. Some participants strongly endorsed use of such guidelines, while others staunchly opposed them. In this editorial, we aim to inform the Academic Medicine community about reporting guidelines, share our perspective on them as editors of the journal, and promote ongoing dialogue on these guidelines.

보고 지침이란 무엇입니까?
What Are Reporting Guidelines?

보고 지침Reporting guidelines은 독자가 연구 또는 검토를 이해하고 평가 및/또는 복제할 수 있도록 하기 위해 연구 연구 또는 문헌 검토를 설명하는 원고에 저자가 포함해야 하는 주요 정보를 나열하고 설명합니다.1 Reporting guidelines은 저자를 위한 [저널의 지침]을 보완하는데, [저널의 지침]은 단어 수 및 구조와 같은 기술적 요구사항에 초점을 맞추는 경향이 있어서, 원고나 출판물에 제시된 증거의 신뢰성, 관련성 및 품질을 평가하는 데 사용되는 [비판적 평가 도구]와는 다르다.

• 일부에서는 불완전한 보고는 실제로 작성자가 단어 제한을 준수하기로 한 결정이거나 단순한 감독일 수 있는 경우 종종 방법론적 품질이 낮다는 신호로 해석되기 때문에, [철저한 정보 보고 평가]는 [비판적 평가 과정]과 구별되어야 한다고 주장한다.
• 다른 이들은 정보의 [철저한 보고]가 [비판적 평가]의 필수적 선행조건이며 높은 과학적 기준을 충족하는 과정의 일부라고 생각한다.

Reporting guidelines list and describe the key information that authors should include in a manuscript that describes a research study or literature review, to ensure that readers can understand, evaluate, and/or replicate the study or review.1 Reporting guidelines complement a journal’s instructions for authors, which tend to focus on technical requirements such as word count and structure,2 and differ from critical appraisal tools, which are used to assess the trustworthiness, relevance, and quality of evidence presented in a manuscript or publication.3–5 

• Some maintain that evaluation of thorough information reporting should be kept distinct from the critical appraisal process, since incomplete reporting is often interpreted as a sign of low methodologic quality when, in fact, it may be a decision made by authors to abide by word limits or a simple oversight.6 
• Others consider thorough reporting of information to be a necessary precursor to critical appraisal and part of a process that fulfills high scientific standards.7,8

보고 지침의 간략한 기록
A Brief History of Reporting Guidelines

보고 지침은 과학 저널에 게재된 증거의 품질과 실제 의사 결정에서 약한 증거로 판명될 수 있는 신뢰와 관련된 위험에 대한 우려에 대응하여 시간이 지남에 따라 발전되었다. 많은 의학 분야에서, [연구 결과를 복제하여 증거를 검증하려는 연구자들의 노력]은 [연구 방법과 결과에 대한 불충분한 정보]로 인해 혼란스러워졌다. 이 문제를 해결하기 위해 생물의학 연구에서 [무작위 통제 시험]에 대한 [두 가지 보고 지침]이 독립적으로 개발되었다. 이들은 최종적으로 CONSORT을 구성하기 위해 결합되었습니다.
Reporting guidelines evolved over time in response to concerns about the quality of evidence published in scientific journals and the risks associated with trusting what may turn out to be weak evidence in practical decision making. Across many fields of medicine, researchers’ efforts to verify evidence by replicating study findings have been confounded by insufficient information about study methods and results.9 Two reporting guidelines for randomized controlled trials in biomedical research were independently developed to address this problem; the 2 were ultimately combined to form CONSORT (Consolidated Standards of Reporting Trials).9,10

연구의 투명성을 높여야 한다는 오픈사이언스 운동과 최근 체계적인 검토, 메타분석, 기타 형태의 지식합성 붐 등 현재 학문의 흐름을 감안할 때 보고지침에 대한 인식가치가 높아졌다. CONSORT는 다양한 장르와 학문에 대한 접근 방식에 걸친 후속 보고 지침을 위한 기반을 마련했습니다.
The perceived value of reporting guidelines has increased, given current trends in scholarship such as the Open Science movement, which calls for greater transparency in research,11 and the recent boom in systematic reviews, meta-analyses, and other forms of knowledge synthesis.1,12 CONSORT laid the foundation for subsequent reporting guidelines spanning multiple genres and approaches to scholarship—for example,

• CARE (for case reports),13 
• PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses),14,15 
• SQUIRE (Standards for Quality Improvement Reporting Excellence) 2.0,16 
• COREQ (Consolidated Criteria for Reporting Qualitative Research),17 and
• STROBE (Strengthening the Reporting of Observational Studies in Epidemiology).18

초기 지침의 대부분은 생물의학과 건강 연구에서 비롯되었지만, 사회과학 및 교육 분야의 학자들은 보고 지침의 자체 버전을 채택하고, 채택하고, 만들었다. 보건 전문직 교육을 위해 개발된 지침으로는 SQUIRE-EDU(교육 품질 향상 보고 우수성 기준), GREET(증거 기반 실무 교육 개입 및 교육 보고 지침), SRQR(질적 연구 보고 기준) 등이 있다. 보건 전문 교육에서 자주 언급되는 다른 지침으로는 CHERRES(인터넷 전자 설문 조사 결과 보고용 체크리스트), PRISMA, RAMESES(실재주의자 및 메타 내러티브 증거 합성: 발전하는 표준) 및 STROBE. 표 1은 보건 전문 교육 연구에 적용할 수 있는 지침의 예를 보여줍니다.
While many of the early guidelines originated in biomedical and health research, scholars in the social sciences and education adopted, adapted, and created their own versions of reporting guidelines. Guidelines developed for health professions education include

• SQUIRE-EDU (Standards for Quality Improvement Reporting Excellence in Education),19 
• GREET (Guideline for Reporting Evidence-Based Practice Educational Interventions and Teaching),20 and
• SRQR (Standards for Reporting on Qualitative Research.21 

Other guidelines frequently referenced in health professions education include

• CHERRIES (Checklist for Reporting Results of Internet E-Surveys),22 
• PRISMA,14,15 
• RAMESES (Realist and Meta-Narrative Evidence Syntheses: Evolving Standards),23 and
• STROBE.18

Table 1 presents examples of guidelines that are applicable to research in health professions education.

보고 지침의 확산으로 인해 중복성을 줄이고 보급을 강화하기 위한 품질 관리 및 관리가 필요하게 되었습니다. 2008년에 설립된 EQUATOR (Enhancing the Quality and Transparency of Health Research) 네트워크는 [생물의학 및 사회과학] 커뮤니티 구성원들이 보고 지침을 개념화하는 방법을 형성하는 데 큰 역할을 해왔다. EQUATOR 네트워크는 보고 지침의 목적이 "연구자들에게 연구 방법을 알려주기 위해서가 아니라, 원고에 어떤 정보를 포함시켜야 하는지 상기시키기 위한 것"이라고 명시하고 있다. 

The proliferation of reporting guidelines created a need for quality control and management to reduce redundancy and enhance dissemination. The EQUATOR (Enhancing the Quality and Transparency of Health Research) Network, established in 2008, has played a large role in shaping how members of the biomedical and social science communities conceptualize reporting guidelines.1 The EQUATOR Network states that the purpose of reporting guidelines is “to remind researchers of what information to include in the manuscript, not to tell them how to do research.”9(p73)

보고 지침의 가치에 대한 상반된 주장
Conflicting Arguments on the Value of Reporting Guidelines

보고 지침의 용도는 다양하다.

• 어떤 저널은 저자가 기사를 제출할 때 보고 가이드라인 체크리스트를 작성하도록 요구하기도 하고, 
• 어떤 저널은 검토자가 검토를 완료할 때 보고 가이드라인을 참조하도록 권장하기도 하며,
• 어떤 저널은 보고 가이드라인을 전혀 언급하지 않는다. 

지지자들은 보고 지침을 투명성을 위한 환영받는 도구로 보는 경향이 있다. 가이드라인은 출판 경험에 관계없이 모든 사람이 기본 표준과 기대를 자유롭게 이용할 수 있도록 한다. 지침은 또한 주요 정보의 누락을 줄임으로써 학문의 질을 향상시킬 수 있는데, 이는 보고서 품질을 위해 출판된 기사를 평가한 여러 연구에서 지적된 문제이다. 연구에 대한 주요 정보를 일관된 방식으로 보고하면, 엄격한 방법론을 위해 노력하는 저자에게 보상할 수 있습니다.
Use of reporting guidelines varies.

• Some journals require authors to complete reporting guideline checklists when submitting articles,
• other journals encourage reviewers to refer to reporting guidelines when completing reviews, and
• still other journals do not mention reporting guidelines at all.24,25 

Proponents tend to view reporting guidelines as a welcome tool for transparency. Guidelines make basic standards and expectations freely available to all, regardless of publication experience. Guidelines may also improve the quality of scholarship by reducing the omission of key information, a problem noted in several studies that have evaluated published articles for reporting quality.7,26 Reporting key information about a study in a consistent way rewards authors who invest in rigorous methodology.27

[보고지침에 반대하는 사람들]은 작성자와 검토자의 [규범적이고 비판적이지 않은 사용]에 대한 우려를 제기한다.28

• 보고지침이 보고 "체크리스트"로 전환되면 [창의성이 저해]될 수 있으며, [지침을 준수하는 접근방식이나 기법]이 그렇지 않은 접근방식보다 더 가치가 있음을 암시한다.
• 보고 지침의 사용은 [가시적 한계(예: 설계 결함, 낮은 응답률)]가 있는 [소규모 연구를 보고하는 자원이 적은 연구자]에게 불리할 수 있다.29
• 또한 일부에서는 [작성자가 제공하는 정보의 충분성을 평가하고 필요에 따라 추가 설명을 요청하는 것]이 [전문가 검토자의 의무]이기 때문에, 강력한 피어 리뷰 체계에서 지침이 필요하지 않다고 주장한다. 

Those opposed to reporting guidelines raise concerns about their prescriptive and uncritical use by authors and reviewers.28 

• The conversion of reporting guidelines into reporting “checklists” can inhibit creativity and imply that the approaches or techniques that conform to guidelines are more valuable than those that do not.
• The use of reporting guidelines may disadvantage researchers with fewer resources who report smaller-scale studies with visible limitations (e.g., design flaws, lower response rates).29 
• Some also argue that guidelines are not necessary in a robust peer review system, as it is the duty of expert reviewers to evaluate the sufficiency of information provided by authors and request additional clarification as needed.29

편집자들과 평론가들은 [뉘앙스의 필요성]을 인정한다. 의학교육연구의 질적 기준은 생물의학연구의 질적 기준에 큰 영향을 받은 것은 사실이지만, 강력한 사회과학연구의 유입은 

• 검토자 풀을 다양화했고,
  
• 저널 편집팀의 전문성을 확장했으며,
  
• 과학의 다양한 철학을 반영하고, 다양한 분야의 방법론을 채택하면서도, 원고의 공정하고 정확한 평가를 보장하는 방법에 대한 많은 논의를 장려했다.

Editors and reviewers appreciate the need for nuance. While it is true that the quality standards for medical education research have been heavily influenced by those of biomedical research, the influx of robust social science research has

• diversified the reviewer pool,
• expanded the expertise of journals’ editorial teams, and
• encouraged many thoughtful discussions of how to ensure fair and accurate evaluation of manuscripts that reflect different philosophies of science and employ methodologies from various disciplines.30

우리의 견해
Our View

학술 의학 편집팀으로서, 우리는 [보고 지침의 현명한 사용]을 지지한다. 저자, 검토자 및 저널 편집자는 명확성과 일관성을 극대화하기 위해 주어진 연구에서 보고되어야 할 정보를 결정할 때 올바른 판단을 적용해야 한다. 어떤 상황에서는 특정 정보(예: 참가자의 익명성을 훼손할 수 있는 정보, 얻을 수 없거나 특정 연구 설계나 방법론 또는 사용 가능한 자원의 맥락에서 타당하지 않은 정보)를 포함하지 않는 것이 허용될 수 있다. 결국, [많은 중요한 교육적 연구 문제를 조사하려는 노력]은 [그에 대한 답을 목표로 하는 연구의 양과 질]에 의해 제한된다. 이러한 경우, 새로운 연구는 그 자체의 중요한 방법론적 한계를 가지고 있더라도 문헌에 실질적이고 의미 있게 추가될 수 있다. 이러한 인식은 우리 모두가 우리의 지식에 무엇을 더하는지에 비추어 연구를 판단하는 데 열려 있어야 하며, 이 분야의 현재 상태를 고려할 때, 지나치게 엄격할 수 있는 보고 기준만으로 연구를 판단해서는 안 된다는 것을 의미한다.

As the editorial team at Academic Medicine, we advocate judicious use of reporting guidelines. Authors, reviewers, and journal editors must apply good judgment when deciding what information must be reported in a given study to maximize clarity and coherence. In some circumstances, it may be acceptable not to include certain information (e.g., information that would compromise participant anonymity, that cannot be obtained, or that does not make sense in the context of the particular study design or methodology or available resources). After all, efforts to investigate many important educational research questions are limited by the amount and quality of the research that aims to answer them. In these cases, new studies, even with important methodological limitations of their own, can substantially and meaningfully add to the literature. This recognition means that we all have to be open to judging research in light of what it adds to our knowledge and not judging that research only by reporting standards that may be overly stringent given the state of a field.

교육 연구는 축적에 의해 성장하며, 작은 이득도 가치가 있을 수 있다. 또한, 보고 지침을 사용하지 않더라도 저자는 훌륭한 기사를 쓸 수 있고 검토자는 훌륭한 리뷰를 완성할 수 있다. 따라서 보고 지침의 사용을 의무화하지는 않지만 보고 지침은 가치가 있다고 생각합니다. 다음 섹션에서는 보고 지침을 사용하여 작성자, 검토자 및 편집자를 구상하는 방법에 대해 설명합니다.
Education research grows by accretion, and small gains can be valuable. Furthermore, authors may write excellent articles and reviewers may complete superb reviews without using reporting guidelines. We therefore do not mandate the use of reporting guidelines, yet we believe that reporting guidelines have value. In the sections that follow, we describe the ways that we envision authors, reviewers, and editors using reporting guidelines.

작가들
Authors

우리는 저자들이 교육 및 심리학 같은 사회과학에서 일반적으로 사용되는 지침뿐만 아니라, EQUATOR 네트워크에서 승인한 보고 지침에 익숙해지도록 권장한다. [분별적 활용]이란 저자가 보고 가이드라인을 꼼꼼히 검토하고, 작업에 가장 적합한 가이드라인을 선정하고, 특정 가이드라인 항목이 적용되지 않을 때를 자신 있게 결정하는 것을 의미한다. 저자는 자신의 연구에 적합하지 않다고 생각하는 정보를 제공하도록 요청받는 경우 항상 검토자와 편집자에게 자신의 근거를 설명할 수 있는 선택권이 있다.
We encourage authors to become familiar with reporting guidelines endorsed by the EQUATOR Network as well as those commonly used in social sciences such as education31–33 and psychology.34,35 Judicious use means that authors review reporting guidelines carefully, selecting the guidelines most appropriate for their work, and confidently deciding when certain guideline items do not apply. Authors always have the option to explain their rationale to reviewers and editors if they are asked to provide information that they think is not appropriate for their study.

간단히 말해서, 우리는 저자들이 연구의 설계, 수행 및 기록 전반에 걸쳐 지침을 리소스로 참조할 것을 권고한다. 우리는 학술 의학에 제출할 때 보고 지침의 사용을 의무화하지 않는다. 앞서 지적한 바와 같이, [새로운 학술적 질문] 또는 [lower-resources 환경에서만 다룰 수 있는 질문]은 보고 지침을 더 겸손하거나 덜 준수할 수 있으며, 그렇다 하더라도 여전히 문헌에 대한 진정으로 중요한 기여를 할 수 있다. 저자는 주장이나 해석을 할 때 신중해야 하며 작품의 한계를 분명히 밝혀야 한다. 모든 연구 보고서는 방법론에 대한 설명을 투명하게 해야 한다.

In short, we advise authors to refer to guidelines as a resource throughout the design, conduct, and write-up of a study.28 We do not mandate the use of reporting guidelines for any submission to Academic Medicine. As previously indicated, reports involving novel scholarly questions, or questions that can only be addressed in lower-resources settings, may be more modest or less adherent to reporting guidelines and still represent truly important contributions to the literature. Authors must be careful when making claims or interpretations and should clearly state the limitations of their work. All research reports should be transparent in their descriptions of their methodologies.

연구보고서를 지나치게 표준화하는 것이 아니라, [다양한 청중이 접근할 수 있도록 하는 것]이 목표다. 이 야심찬 목표는 작가, 검토자 및 편집자가 사이에서 [미묘한 균형]을 협상할 것을 요구한다.

• (1) 연구자의 가정, 접근 방식, 프로세스 및 결과에 대한 명확하고 포괄적인 설명과 
  
• (2) 연구자의 성실성, 독창성, 판단력에 대한 존중 

이 균형을 찾는 것은 연구자들이 보건 전문 교육 밖에서 잘 확립된 접근법과 방법론을 그릴 때 특히 중요하다.
The goal is to make research accessible to a diverse audience, not to overly standardize research reports. This ambitious goal requires authors, reviewers, and editors to negotiate a delicate balance between

• (1) a clear, comprehensive description of the researchers’ assumptions, approach, processes, and findings and
• (2) respect for researchers’ integrity, ingenuity, and judgment.

Finding this balance is particularly important when researchers draw on approaches and methodologies that are well established outside of health professions education.

리뷰어
Reviewers

우리는 학계 및 과정의 중요한 부분인 [피어 리뷰어의 전문성]에 크게 의존한다. 우리는 원고의 품질을 공정하고 비판적으로 판단하기 위해 필요한 전문 지식을 갖춘 리뷰어를 찾는 데 전념하고 있습니다. 동시에, 우리는 보건 직업 교육과 같은 [다학제적 분야의 철학적 지향과 방법론의 넓은 폭]이 모든 연구, 특히 보건 전문직 교육 연구에 대한 새로운 아이디어와 접근 방식을 소개하는 [연구에 대한 내용과 방법론적 전문 지식]을 모두 갖춘 검토자를 식별하는 것을 어렵게 만든다는 것을 인식한다.

• 우리는 [보고 지침]이, 콘텐츠 전문지식을 가질 수 있는 영역에서 [생소한 방법론을 접하는 검토자]에게 [잠재적으로 유용한 리소스]로 보고한다.
• 우리는 또한 [보고 지침]을, 방법론을 잘 알기 때문에 비전문가 독자에게는 더 많은 설명이 필요한 결정, 절차 또는 용어를 당연하게 여길 수 있는 전문가에게 [유용한 리마인더]라고 본다.

요약하면, 우리는 가이드라인을 검토 프로세스를 표준화, 훼손 또는 비숙련화하려는 시도가 아니라, 리뷰어가 각 원고에 가져오는 탁월한 통찰력을 향상시키기 위한 도구로 본다.
We rely heavily on the expertise of peer reviewers, who are a critical part of our scholarly community and process. We are committed to finding reviewers with the necessary expertise to fairly and critically judge the quality of manuscripts. At the same time, we recognize that the breadth of philosophical orientations and methodologies in a multidisciplinary field such as health professions education makes it challenging to identify reviewers with both content and methodological expertise for all studies, especially for studies introducing new ideas and approaches to health professions education research.

• We see reporting guidelines as a potentially helpful resource for reviewers who encounter unfamiliar methodology in an area where they may have content expertise.
• We also see reporting guidelines as useful reminders for experts who may know the methodology well and take for granted decisions, procedures, or terminology that warrant more explanation for nonexpert readers.

In sum, we view guidelines as a tool to enhance the excellent insights that reviewers bring to each manuscript, not as an attempt to standardize, undermine, or de-skill the review process.

특히 학술 의학은 연구 원고에 대한 검토 기준을 제공한다. 검토 기준은 검토자가 원고를 평가하고 저자와 편집자에게 유용한 피드백을 제공하는 데 도움을 주기 위한 것이다.
Of note, Academic Medicine provides review criteria for research manuscripts (available at https://store.aamc.org/review-criteria-for-research-manuscripts.html). Review criteria are meant to assist reviewers in evaluating manuscripts and providing helpful feedback to authors and editors.

편집자
Editors

이 저널의 편집팀으로서, 우리는 출판을 위해 받아들여진 원고가 독자들에게 연구의 신뢰성을 판단하고 연구 결과를 어떻게 사용할지에 대한 정보에 입각한 결정을 내리는 데 필요한 정보를 제공할 수 있도록 최선을 다하고 있습니다. 일부 원고들은 그들의 메시지를 명확하게 전달하기 위해 제안된 제한보다 더 많은 단어를 필요로 할 것이며, 우리는 이것을 사례별로 고려할 용의가 있다. 학술 의학에 제출된 모든 원고는 편집 및 직원 팀의 최소 2명의 구성원에 의해 평가됩니다. 우리는 스스로 새로운 방법론에 대해 배우고, 우리가 여러 관점을 가지고 있는지 확인하기 위해 원고에 대한 어려운 결정에 대해 논의한다. 우리는 저자가 보고 지침을 체크리스트로 사용하도록 요구하지는 않지만, 저자가 자신의 작업에 대한 보고를 최적화했는지 확인하기 위한 방법으로 특정 지침을 검토할 것을 권고할 수 있다. 
As the journal’s editorial team, we are committed to ensuring that manuscripts accepted for publication provide readers with the information they need to judge the credibility of studies and make informed decisions about how to use study findings. Some manuscripts will require more words than the suggested limits to convey their messages clearly, and we are willing to consider this on a case-by-case basis. Every manuscript submitted to Academic Medicine is also assessed by at least 2 members of the editorial and staff team. We learn about new methodologies ourselves and discuss challenging decisions about manuscripts to ensure that we bring multiple perspectives to bear. While we do not require authors to use reporting guidelines as a checklist, we may recommend that authors review a particular guideline as a way to ensure that they have optimized the reporting of their work.

요약
Summing Up

보고 지침의 현명한 사용에 대한 우리의 권고가 보건 전문 교육 출판물에서 그러한 지침의 역할에 대한 다른 관점을 통합하기를 바란다. 우리는 보고 지침의 존재에 대한 인식을 높이고, 이에 대한 지속적인 교육을 장려하며, 우리 커뮤니티에서 보고 지침 사용에 대한 사려 깊은 대화를 자극하는 것을 목표로 한다. 진행 중인 대화에는 보건 전문 교육 연구를 위한 보고 지침의 유용성과 관련성에 대한 고려가 포함되어야 하며, 이상적으로는 명확한 의사소통을 촉진하고 우리 분야의 엄격함을 증진시키는 보고 지침의 가치에 대한 새로운 연구 기회를 이끌 것이다.
Our recommendation of judicious use of reporting guidelines will, we hope, unify different perspectives on the role of such guidelines in health professions education publications. We aim to increase awareness of the existence of reporting guidelines, encourage ongoing education about them, and stimulate thoughtful dialogue about the use of reporting guidelines in our community. Ongoing dialogue must include consideration of the utility and relevance of reporting guidelines for research in health professions education and, ideally, will lead to new opportunities for research on the value of reporting guidelines in fostering clear communication and furthering rigor in our field.

이름에 무엇이 있는가? 질적 서술 다시 보기 (Res Nurs Health. 2010)
What’s in a Name? Qualitative Description Revisited
Margarete Sandelowski*

내가 10년 전 '질적 묘사에 무슨 일이 일어났는가'(샌델로프스키, 2000)를 구상하고 썼을 때, 나는 그것을 비판과 해명으로 읽힐 것을 의도했었다. 이 비판은 질적 건강 연구 보고서에서 오늘날에도 여전히 지속되는 상황에 대한 것으로, 이 방법들이 사용된 증거를 보여주는 발견을 만들기 위해 방법(예: 근거 이론, 현상학)을 사용했다고 주장하는 것이다. 이러한 연구들을 수행한 사람들이 합법적으로 주장할 수 있는 방법론적 접근법에 대한 해명이었지만, 방법론 텍스트에서 독특한 방법으로 식별되는 경우는 거의 없다. 그 2000년 기사에서, 나는 질적 기술을 다른 질적 방법과 구별될 수 있고 기초적인 것으로 제시했다. 나는 정성적 연구와 정량적 연구 모두에서 서술의 종류를 간략하게 비교함으로써 해석의 정도에 따라 다양한 종류의 서술들을 차별화했다. 또한 표본추출(최대변동), 자료수집(개인 또는 포커스 그룹 인터뷰), 자료분석(질적 내용분석의 변이)에 대한 전형적인 접근방법 등 질적 서술연구의 이론적 위치(자연주의)와 설계특징을 정리하였다.
When I conceived and wrote ‘‘Whatever Happened to Qualitative Description?’’ (Sandelowski, 2000) 10 years ago, I had intended it to be read as a critique and as a clarification. The critique was of the state of affairs that still persists today in reports of qualitative health research, that of claiming to have used methods (e.g., grounded theory, phenomenology) to produce findings that show no evidence these methods were used. The clarification was of a methodological approach that those who conducted such studies could—in many of these instances—legitimately claim, but that is rarely identified as a distinctive method in methods texts. In that 2000 article, I presented qualitative description as both distinguishable from, and foundational to some, other qualitative methods. I differentiated various kinds of description by degree of interpretation by briefly comparing varieties of description in both qualitative and quantitative research. I also summarized the theoretical location (naturalism) and design features of qualitative descriptive studies, including typical approaches to sampling (maximum variation), data collection (individual or focus group interviews), and data analysis (variants of qualitative content analysis).

이 기사는 처음 등장한 이후 10년 동안 간호 및 건강 연구소에서 가장 많이 다운로드되고 자주 인용되는 기사 중 하나가 되었다. 이것은 확실히 기쁘지만, 내가 소유하지 않은 방법과 내가 지지하지 않는 합법적인 주장과 관행에 대한 소유권을 나에게 할당하는 것이 잘못 사용되는 것을 일상적으로 보아왔기 때문에 실망스럽기도 하다. 후견의 20/20 비전을 습득한 나는 이러한 오해가 내가 의미하는 바를 충분히 전달하지 못한 것과 질적 연구 방법을 차별화하는 끈질긴 도전 모두에서 비롯된다는 것을 알게 되었다. 이 글에서, 나는 주요 오해를 바로잡고 그 근저에 있는 명명 문제를 더 분명히 한다.
In the decade since it first appeared, this article has become one of the most downloaded and frequently cited in Research in Nursing & Health (see the virtual compendium at http://www.wiley. com/bw/vi.asp?ref¼0160-6891&site¼1). Although this is certainly pleasing, it has also been disheartening as I have routinely seen it misused to assign ownership to me of a method I do not own and to legitimate claims and practices I do not support. Having acquired the 20/20 vision of hindsight, I see that these misuses derive both from my failure adequately to convey what I meant and from the persistent challenge of differentiating qualitative research methods. In this article, I correct key misconceptions and make more explicit the naming problems at their roots.

오해 수정
CORRECTING MISCONCEPTIONS

[질적 묘사Qualitative Description]는 나만의(또한 다른 사람만의) 방법이 아니다.
Qualitative Description Is Not My (Nor Anyone Else’s) Method

2000년 기사에서 나는 내가 개발한 방법을 발전시키기 위해서가 아니라, [이미 오래 전부터 존재해 온 방법론적 접근법]을 정의하려고 했다. 그것의 다양한 추측과 그것을 특징짓는 샘플링, 데이터 수집 및 데이터 분석 기법의 절충적인 조합을 고려할 때, 질적 기술은 결코 한 사람이 발명한 어떤 방법으로도 묘사될 수 없다. 실제로, 정성적 서술적 연구가 수행되는 방식은 매우 다양하고, 이러한 연구가 전혀 [한정된 실체bounded entity]로 보이지 않는 데 기여했을 가능성이 있다. 그러나 일반적으로 [방법]이라고 불리는 모든 엔티티는 다양성(즉, 방법 내 변동의 상당 부분)을 포함한다. 더욱이, 더 넓은 의미에서, 모든 방법은 사용자 손에 달려있다. 즉, 방법이 사용될 때마다 다시 발명된다. 부분적으로는 연구 보고서의 한계 부분에서 분명히 드러나는 연구를 수행하려는 노력에 존재하는 제약 때문에, 그것에 대한 교과서적인 묘사에 완벽하게 부합하는 방법의 실행은 있을 수 없다. 실제로, [순수한 방법]을 구성하는 [한정된 실체bounded entity]라는 것은 없다. 나는 이 기사의 후반부에서 이 주제로 돌아갈 것이다.
In the 2000 article, I sought to define a methodological approach already long in existence, not to advance a method I had developed. Given its various guises and the eclectic combinations of sampling, data collection, and data analysis techniques characterizing it, qualitative description could never be described as any one method that any one person invented. Indeed, the very diversity in the conduct of qualitative descriptive studies likely contributed to these studies not being seen as bounded entities at all. Yet, all of the entities commonly referred to as methods encompass diversity (i.e., a great deal of within-method variation). Moreover, in a larger sense, all methods become what they are in the hands of users; that is, methods are re-invented every time they are used. Partly owing to the constraints that exist in any effort to conduct research—evident in the limitations section in research reports—there can be no execution of any method that perfectly conforms to any textbook depiction of it. Indeed, there is no it; there is no bounded entity constituting a pure method. I will return to this subject later in this article.

따라서 연구자가 사용한 방법, 예를 들어 '산델로프스키(2000)'가 묘사한 질적 기술이라고 하는 것은 적절하지만, 질적 기술이라고 하는 것을 '산델로프스키의 방법'이라고 하는 것은 부적절하며, 단순히 [2000년 논문만을 참고한 질적 서술 디자인을 사용했다]고 말하는 것만으로는 충분하지 않을 것이다.연구자들은 여전히 샘플링, 데이터 수집 및 데이터 분석 기법의 특정 조합을 적절한 참조와 함께 설명해야 한다. 2000년 기사는 실제 콘텐츠 분석 기법에 대한 설명이 없기 때문에, [내용 분석]을 위한 유일한 참조로 사용될 수 없다. 마찬가지로, 2000년 논문은 이러한 전략에 대한 매우 간략한 개요만을 제공하기 때문에 사용되는 특정 샘플링 또는 데이터 수집 전략을 지원하는 데 사용될 수 없다.

Accordingly, although it is appropriate for researchers to refer to the method they used as, for example, ‘‘qualitative description as Sandelowski (2000) described it,’’ it is inappropriate to refer to qualitative description as ‘‘Sandelowski’s method.’’ Moreover, it would not be enough for researchers simply to state that they used a qualitative descriptive design with only a reference to the 2000 article. Researchers would still have to describe the particular combination of sampling, data collection, and data analysis techniques they used with appropriate references to support those techniques. The 2000 article cannot be used as the sole reference for content analysis as it contains no description of any actual content analysis technique. Similarly, the 2000 article cannot be used to support the particular sampling or data collection strategies used as it offers only a highly abbreviated overview of these strategies.

[질적 서술Qualitative Description]은 데이터 분석 및 해석의 실패를 정당화하지 않는다.
Qualitative Description Does Not Legitimate the Failure to Analyze and Interpret Data

나는 2000년 기사에서 [모든 서술은 필연적으로 해석적이지만 - 인간은 결코 "벌거벗은 순수한 눈으로 바라볼 수 없다" - 질적 서술 연구는 예를 들어 현상학적 또는 이론적 서술보다 덜 해석적]이라고 설명했다. 내가 소통하고자 했던 것은 질적 서술적 연구가 주어진 데이터에 더 가까운, 또는 [데이터-근접한 결과]를 산출한다는 것이었다. 나는 이어서 그러한 발견을 [주제 조사thematic survey]라고 칭하였다(Sandelowski & Barroso, 2007). 질적 건강 연구에서 지배적인 이러한 조사survey는, 예를 들어, [근거이론]이나 [푸코가 영감을 준 담론연구]보다, 훨씬 덜 변형된 데이터의 해석으로 구성된다. 주어진 데이터에 더 가깝지만, 이러한 주제 조사는 여전히 상세하고 미묘한 해석적 산물이다. 나는 이것을 "spin" (이 단어는 '거짓말'의 완곡어로서 더 자주 사용되어, 결과적으로 잘못된 단어 선택이 되었다)과 ["표면" 대 더 침투적인 데이터 읽기]또는 [행 안으로, 사이로, 너머로 읽기]와 반대되는 [행 그 자체로 읽기]에 대한 논의에서 전달하려고 노력했다. 임산부의 우려가 우려에 머무르고(Smeltzer, 1994) 의사의 인식이 지각에 머무른 데이터 근방 해석의 예를 들었다. 예를 들어, 이러한 우려와 인식은 체면치레, 만연한 문화적 담론에 대한 항의, 일탈 행위의 혐의를 물리치기 위한 도덕적 설명으로 해석적으로 변형되지 않았다.
I stated in the 2000 article that even though description of any kind was unavoidably interpretive— that human beings could never ‘‘look with a naked, innocent eye’’ (Pearce, 1971, p. 4)— qualitative descriptive studies were less interpretive than, for example, phenomenological or theoretical descriptions. What I had intended to communicate was that qualitative descriptive studies produced findings closer to the data as given, or data-near. I subsequently referred to such findings as thematic surveys (Sandelowski & Barroso, 2007). Dominant in qualitative health research, such surveys are composed of interpretations of data that are much less transformed than, for example, grounded theories or Foucault-inspired discourse studies. Although closer to the data as given, these thematic surveys are still detailed and nuanced interpretive products. I sought to convey this in my discussion of ‘‘spin’’ (admittedly an unfortunate word choice as it is used more often as a euphemism for lies), and of ‘‘surface’’ versus more penetrating readings of data, or readings of lines as opposed to into, between, over, or beyond lines (2000, pp. 335– 336). I cited examples of such data-near interpretations in which pregnant women’s concerns stayed concerns (Smeltzer, 1994) and physicians’ perceptions stayed perceptions (Geller & Holtzman, 1995). These concerns and perceptions were not, for example, interpretively transformed into instances of face-work, or protests against prevailing cultural discourses, or moral accounts to defeat charges of deviant behavior (e.g., Murphy, 1999).

그러한 서술적 연구의 최근 두 가지 예가 RNH 학술지에 발표되었습니다. 아버지 관여에 대한 줄리온, 그로스, 바클레이-맥러플린, 포그(2007) 연구(보고서에는 질적 서술에 대한 언급이 없다), 소아 간호사와 약물 투여에 대한 반 훌레 빈센트와 가디즈(2009)의 명시적 질적 서술적 연구이다. Julion et al. report에서, 비거주 아프리카계 미국인 아버지들의 포커스 그룹 생성 견해는 일반적으로 부권 개입과 특히 자녀에 대한 그들 자신의 개입에 대해 주제별로 분류되고 상세했다. Van Hulle Vincent and Gaddyz 보고서에서는 아동에게 모르핀을 투여하는 것에 대한 두 개의 비넷에 대응한 간호사들의 사고와 실천이 주제별로 그룹화, 계수, 상세 및 비교되었다. 이 두 연구 모두에서, 연구 결과에 대한 분석과 해석은 데이터에 가까운 상태로 유지되었다.
Two more recent examples of such descriptive studies published in Research in Nursing&Health are the Julion, Gross, Barclay-McLaughlin, and Fogg (2007) study of father involvement (the report of which contains no mention of the phrase qualitative description), and the Van Hulle Vincent and Gaddyz (2009) explicitly qualitative descriptive study of pediatric nurses’ and medication administration. In the Julion et al. report, non-resident African American fathers’ focus group-generated views of paternal involvement in general and of their own involvement with their children in particular were thematically grouped and detailed. In the Van Hulle Vincent and Gaddyz report, nurses’ thinking and practice in response to two vignettes about administering morphine to children were topically grouped, counted, detailed, and compared. In both of these studies, the analysis and interpretation of findings remained data-near.

해석의 정도에 따라 [다른 종류의 정성적 연구 및 정량적 조사]와 구별하기 위해 노력한 모든 공간에도 불구하고, 나는 정성적 서술적 연구가 [여전히 해석적]이라는 것을 충분히 전달하는 데 실패했다. 양적 연구의 해석적 요소가 양적 연구의 더 큰 투명성, 정밀성 및 객관성에 대한 논의에서 경시되거나 가려지는 경향이 있더라도, 모든 연구는 질적 또는 양적 측면에서 해석을 수반한다는 것이 혼란을 가중시킬 가능성이 있다. 또한 다른 종류의 정성적 연구와 마찬가지로 정성적 서술적 연구가 통계적 분석을 포함할 수 있다는 점도 혼란의 한 원인이 된다. 
Despite (or, perhaps, because of) all of the space I devoted to trying to differentiate—by degree of interpretation—qualitative descriptive from other kinds of qualitative studies and from quantitative surveys, I failed adequately to communicate that qualitative descriptive research is still interpretive. Likely adding to the confusion is that all research, whether qualitative or quantitative, entails interpretation even if the interpretive component of quantitative research tends to be downplayed or masked in discussions of the greater transparency, precision, and objectivity of quantitative research (Kritzer, 1996; Sandelowski, Voils, & Knafl, 2009). Also contributing to confusion is that qualitative descriptive studies (like other kinds of qualitative studies) may include statistical analyses.

내가 결코 소통하려고 의도하지 않았던 것은, [질적 서술]이 연구자의 [분석이나 해석을 할 의무를 완전히 없앤다]는 것이다. 2000년 기사의 일부 독자들은 '사건 사실의 일상언어 제시'라는 문구를 마치 연구의 finding을 [면담자료의 무분별하게 선별되고 해석되지 않은 부분(즉 인용)을 제시하는 것]을 의미한다고 받아들이고 있다. 그들은 다음을 전제한다.

• (a) 데이터는 데이터 스스로 무언가를 말해준다. 
  
• (b) 연구자들은 (목소리를 내지 않는 사람들을 위해) 이러한 데이터가 도출된 참가자를 대변해서는 안 된다. 

What I never intended to communicate was that qualitative description removes the researcher’s obligation to do any analyzing or interpreting at all. Some readers of the 2000 article have taken the phrase ‘‘the presentation of the facts of the case in everyday language’’ (p. 335) to mean the presentation of indiscriminately selected and uninterpreted segments (i.e., quotations) of interview data as if they were findings, on the premises

• that (a) such data speak for themselves or
• that (b) researchers should not (in the interests of voicing the voiceless) speak for the participants from whom these data were derived.

그러나 데이터는 결코 스스로를 대변하지 않으며, 연구자들이 데이터를 해석하려고 할 때 비윤리적으로 행동한다는 생각은 [해석의 엄격함, 책임 및 위험을 피하기 위한 핑계]가 될 수 있다. 유감스럽게도, 일부 독자들은 또한 "연구자들이 그들의 데이터에서 멀리 또는 그들의 데이터로 이동할 것을 요구하지 않는다"라는 문구를 [사실상 (연구자는) 전혀 움직이지 않는다]는 의미로 받아들였다. 데이터가 단순히 "재생산"되거나 "축하celebrated"될 것이라는 생각만큼 그 당시나 지금이나 내 의도와는 거리가 먼 것은 없다. 질적 서술적 연구를 포함해서, 질적 연구는 항상 어딘가로 이동해야 한다: 연구자들이 그들의 데이터로 무언가를 만드는 것이다.
But, data never speak for themselves, and the idea that researchers are behaving unethically when they seek to interpret those data is too often a pretext to avoid the rigors, responsibilities, and risk of interpretation (Sandelowski, 2004). Regrettably, some readers also have taken the phrase ‘‘do not require researchers to move as far from or into their data’’ (p. 335) to mean virtually no movement at all. Nothing could be further from my intentions then or now than the idea that data are simply to be ‘‘reproduced’’ or ‘‘celebrated’’ (Atkinson, 2005, paragraph 3). Qualitative research, including qualitative descriptive research, always requires moving somewhere: that researchers make something of their data.

질적 서술적 연구는 이론이 없지 않다.
Qualitative Descriptive Studies Are Not Atheoretical

질적 연구방법 카탈로그에서 질적 서술적 연구를 최소한의(그러나 여전히) 해석적 연구로 묘사하는 것 외에도, 나는 이러한 연구를 [''최소한의 '이론적']연구라고 묘사했다. 내가 전하고 싶었던 것은 방법의 이론적/철학적 기초(예를 들어, 근거이론의 기초로서의 상징적 상호작용주의)와 조사 중인 현상에 대한 이론적 지향(예를 들어, 낙인 이론을 통한 항레트로바이러스 약물 부착성 보기)에 관한 것이었다. 나는 자연주의naturalism를 질적 서술적 연구의 전형적인 이론적 토대로서 간략하게 논하고, 그것을 연구를 수행하는 것으로 알려진 인공적인 기업artifice-laden에서는 가능한 한 인공적으로 자유로운free of artifice 방식으로 현상을 연구하겠다는 의지를 담고 있다고 정의했다.
In addition to depicting qualitative descriptive studies as the least (but still) interpretive studies in the catalogue of qualitative research methods, I described these studies as the ‘‘least ‘theoretical’’’ (2000, p. 337). What I wanted to convey was something about both the theoretical/philosophical foundation of methods (e.g., symbolic interactionism as a foundation for grounded theory), and the theoretical orientation toward the phenomena under investigation (e.g., viewing antiretroviral medication adherence via stigma theory). I briefly discussed naturalism as the typical theoretical foundation for qualitative descriptive studies, and defined it as entailing a commitment to studying a phenomenon in a manner as free of artifice as possible in the artifice-laden enterprise known as conducting research.

나는 이제 내가 질적 서술적 연구에서 이론의 역할에 충분한 주의를 기울이지 않았거나, 질적 서술적 연구가 2000년 논문에서 정의된 것처럼 최소한 (배타적이지는 않지만) 자연주의적이라는 것을 충분히 강조하지 않았다는 것을 알 수 있다. [방법과 방법론(method and methodology)이라는 단어]는 [세계에 대한 이해와 그것을 아는 방법]을 포함하며, [이론, 철학 또는 패러다임]으로 다양하게 언급된다. 종종 상호 교환적으로 사용되지만,

• [방법/방법론]은 탐구를 위한 다소간의 이론적/철학적 방향을 내포하고 있는 반면,
• [테크닉]은 방법(샘플링 및 데이터 수집 및 분석 기술)을 운용하기 위한 방식을 내포하고 있다.

예를 들어, 하나의 방법으로 제시되는 경향이 있지만, [포커스 그룹]은 여러 다른 방법에서 데이터를 생성하는 데 사용될 수 있다. 포커스 그룹이 그 자체로 구상되고 실행되는 방법, 그리고 포커스 그룹에서 생성된 데이터가 처리되는 방법은 운영을 위해 선택된 방법을 반영해야 한다.
I can see now that I did not give enough attention to the role of theory in qualitative descriptive studies, or emphasize enough that qualitative descriptive studies were at the very least (albeit not exclusively) naturalistic as defined in the 2000 article. The words method and methodology entail some understanding of the world and how to know it, variously referred to as theory, philosophy, or paradigm. Although they are often used interchangeably,

• method/methodology connote some theoretical/philosophical orientation to inquiry, while
• technique connotes ways to operationalize method (e.g., techniques for sampling and for data collection and analysis).

For example, although it tends to be presented as a method, the focus group can be used to generate data to operationalize different methods; the way a focus group is itself conceived and executed, and the way the data generated from it will be treated, ought to reflect the method it was selected to operationalize.

내가 결코 전하고자 하지 않았던 것은. 질적 서술이 "이론적이거나 규율적인 토대를 완전히 벗긴" 방법이라는 것이다(Thorne, 2008, p. 35). 어떤 종류의 연구도 그렇게 개념적으로 드러날 수 없으며, 심지어 그 보고서에 명시적으로 명시된 "이론"을 제공하지 않는 연구도 있을 수 없다. [질적 서술적 연구]가 ['"표현상에 대한 어떤 단일한 이론적 관점에 대한 선험적 약속을 수반하지 않는다"]고 명시함으로써, 나는 무심코 연구자들이 그들의 질적 연구에 순진하게 접근해야 하고, 선입견 없이 접근할 수 있다는 잘못된, 그러나 끈질긴 개념에 기여했다. 그러나 이론에 대한 헌신이 없다고 해서, 이론의 영향을 전혀 받지 않는 것은 아니다. 모든 단어는 이론이다. [연구자들이 그들의 주제에 대해 말하는 바로 그 방법]은, 그들이 이러한 성향을 그렇게 제시하든 심지어 그들을 인식하든 말든 상관없이, 그들의 성향을 반영한다. 예를 들어, 상실에 대한 어떠한 명시적인 이론이 없는 경우에도 유산을 손실로 묘사하는 것은 유산을 정의하는 것이 아니라, 오히려 그것을 이론화하는 것이다.
What I never intended to convey was that qualitative description was a method ‘‘stripped entirely of its theoretical or disciplinary underpinnings’’ (Thorne, 2008, p. 35). No study of any kind could ever be so conceptually naked, even studies the reports of which offer no explicitly stated ‘‘theory.’’ By stating that qualitative descriptive studies entail ‘‘no a priori commitment to any one theoretical view of a target phenomenon’’ (2000, p. 337), I inadvertently contributed to the mistaken but persistent notion that investigators must and can approach their qualitative studies naively, meaning with no preconceptions. Yet, having no commitment to a theory does not mean not being influenced by theory at all. Every word is a theory; the very way researchers talk about their subject matter reflects their leanings, regardless of whether they present these inclinations as such or even recognize them. For example, even in the absence of any explicit theory of loss or bereavement, to portray miscarriage as a loss is not to define miscarriage, but rather to theorize it.

다음의 두 가지 사이에는 큰 차이가 있다

• 열린 마음이지만 연구 분야에 들어가는 선입견(이론적 기울기 포함)을 염두에 두는 것.
  
• 머리를 완전히 비워 두는 것. 

[후자]는, 완전히 기능하는 뇌를 가졌다면, 어떤 인간에게도, 그리고 그들이 이미 많이 알고 있거나 혹은 알고 있어야 할 것들을 연구하는 경향이 있는 연구자들에게도, [불가능한 일]이다. Nowhere에서 가지는 관점이라는 것은 없다. 관점을 가진다는 것은 어딘가에 서 있는 것을 의미한다. 질적 연구에 착수하는 연구자들의 의무는 (자신과 타인을 위하여) 연구를 시작할 때 그들이 어디에 있었는지 명시하는 것이다(일반적으로 이론과 경험적 문헌의 검토를 통해 달성된다). 그리고 그들의 추가 조사가 정당하다면 그곳에서 떠날 준비가 되어 있고 기꺼이 떠날 것이다. 질적 기술 연구는 대상 현상에 대한 이론이나 데이터를 수집하거나 분석하기 위한 틀에서 시작할 수 있지만, 그것이 이 이론이나 틀을 지키겠다는 약속을 의미하지는 않는다.

There is a vast difference between

• being openminded yet mindful of the preconceptions (including theoretical leanings) one has entering a field of study and
• being empty-headed, an impossibility for any human being with a fully functioning brain and for investigators who tend to study things about which they already (or should) know a great deal.

There is no such thing as a view from nowhere; having or taking a view means standing somewhere (Haraway, 1991). The mandate for researchers embarking on any qualitative study is to make explicit—for themselves and others—where they were when they began their studies (usually accomplished via a review of theoretical and empirical literature), and to be ready and willing to move away from there if their further investigations warrant it. Qualitative descriptive studies may begin with a theory of the target phenomenon or a framework for collecting or analyzing data, but that does not mean a commitment to stay with this theory or framework.

이론은 데이터를 보는 바로 그 방식에서도 나타난다. 알라수타리(1995)는 데이터에 대한 "사실주의"와 "표본주의" 관점을 구별했다.

• 예를 들어, 인터뷰 데이터의 [사실주의적 관점]은 이러한 데이터가 다소 정확하고 진실된 현실의 지표라고 가정한다. 이러한 데이터는 믿음, 행동 및 사건의 문서적 흔적이며, ["진짜" 진행 중인 것]을 전달하기 위해 사용된다. 질적 내용 또는 주제 분석, 즉 질적 서술적 연구에서 일반적으로 사용되는 분석 기법은 주로 이러한 사실주의적 관점에 기초한다. 사실주의적 관점은 그것의 "사실성"에 의문을 제기하지 않는 세계관으로서의 자연주의에 대한 이해와 양립가능하다(Harris, 2003, p. 203; Gubrium & Holstein, 1997 참조).
• 이와는 대조적으로 [표본]의 관점에서 [인터뷰 데이터는 현실의 지표가 아니라 연구된 현실의 일부], 즉 그 자체가 조사 대상으로 간주된다. 예를 들어, 특정 형태의 담화 분석에서 인터뷰 데이터는 실제 사건이나 경험의 지표가 아니라 자아가 만들어지는 언어 수행으로 취급된다(Hardin, 2001).

Theory appears too in the very way data are viewed. Alasuutari (1995) differentiated between ‘‘factist’’ and ‘‘specimen’’ views of data.

• For example, a factist perspective of interview data assumes these data to be more or less accurate and truthful indexes of reality ‘‘out there.’’ These data are taken to be documentary traces of beliefs, behaviors, and events, and to convey what is ‘‘really’’ going on. Qualitative content or thematic analyses, the analysis techniques typically used in qualitative descriptive studies, are largely based on this factist perspective. The factist perspective is compatible with another understanding of naturalism as a view of the world that does not question its ‘‘facticity’’ (Harris, 2003, p. 203; see also Gubrium & Holstein, 1997).
• In contrast, from a specimen perspective, interview data are seen not as indexes of reality but rather as part of the reality studied, that is, as themselves objects to be investigated. For example, in certain forms of discourse analysis, interview data are treated not as indices of actual events or experiences, but rather as language performances in which selves are created (Hardin, 2001).

정성적 설명은 기본적Default 또는 구원적Salvage 방법이 아닙니다.
Qualitative Description Is Not a Default or Salvage Method

나는 2000년 기사에서 질적 서술적 연구는 유용한 연구 목적에 도움이 되며, 따라서 그러한 목적을 달성하기 위해 정당하고 능동적으로 선택될 수 있다고 말했다. 나는 [잘못 개념화되거나 행해진 연구]에 질적 기술이라고 이름 붙일 의도는 없었다. 2000년 논문은 (논문위원회나 인간 주제와 소통하기 어렵거나, 질적 연구에 익숙하지 않거나, 심지어 연구비 검토 패널을 부여하는 것이 더 어렵다고 여겨지기 때문에) 더 해석적인 질적 연구를 수행하지 않는 것을 정당화하기 위해 사용되어서는 안 된다. 나는 질적 연구에 대한 지식이 한정되어 있거나, 질적 연구에 대한 반감을 가지고 있거나, 질적 서술을 '가벼운 연구'로 인식하는 청중에게 질적 연구를 더 소비할 수 있도록 하려는 의도는 결코 없었다. 나는 또한 다른 방법의 "co-option"으로서 질적 서술을 만들 의도도 없었다(Barbour, 2003). 또는 그러한 성가신 숫자가 모두 없더라도 정량적 연구와 비슷하게 만들어진 정성적 연구로 묘사할 의도도 없었다.

I stated in the 2000 article that qualitative descriptive studies serve useful research purposes and could, therefore, be justifiably and proactively chosen to fulfill those purposes. I had not intended that studies be named qualitative description after the fact to give a name to poorly conceived and conducted studies. The 2000 article should not be used to justify not conducting more interpretive qualitative work because that work is deemed harder to do, or harder to communicate to a dissertation committee or to human subjects or grant review panels unfamiliar with or even resistant to qualitative research. I never intended to make qualitative research more consumable by an audience with limited knowledge of and/or antipathy to qualitative research, or qualitative description to be seen as research-light: a drive-by, ‘‘quick fix, data to go, smash-and-grab’’ affair (Atkinson & Delamont, 2006, p. 749). I also did not intend to advance qualitative description as a ‘‘co-option’’ of other methods (Barbour, 2003), or as qualitative research made over to resemble quantitative research, albeit without all those pesky numbers.

이름이 없는 것에 이름 짓기의 문제
THE PROBLEM OF NAMING THAT HAS NO NAME

나는 2000년 기사에서 내 의도를 충분히 전달하지 못했다. 그러나, 또한 그 기사가 만들어낸 오해들의 근원에는 이름을 짓고 방법을 차별화하는 질적 연구의 지속적인 문제가 있다. 질적 기술, 근거 이론, 현상학과 같은 이름들은 서로 명확하게 구별되는 잘 정의된 실체들이 그 안에 상주해야 하는 [경계boundaries]를 시사signal한다. 이 이름들은 분류 체계에 대한 신호이며, 그러한 다른 모든 체계와 마찬가지로, [탐구 세계를 질서화하는 고정된 방법]인 것처럼 취급되는 경향이 있다. 실재적이고 정적인 것으로 인식되어 실제 효과를 발휘한다(Bowker & Star, 2000).
I failed adequately to convey my intentions in the 2000 article. Yet, also at the root of the misconceptions the article generated is the persistent problem in qualitative research of naming and thereby differentiating methods. Names, such as qualitative description, grounded theory, and phenomenology, signal boundaries within which well-defined entities clearly differentiated from each other are supposed to reside. These names signal a classification system that, like all such systems, tends to be treated as if it were a fixed way of ordering the world of inquiry. Perceived as real and static, they exert real effects (Bowker & Star, 2000).

나는 현재 "내 연구를 뭐라고 부르느냐"는 질문을 받고 있다. 또는 만약 연구 보고서의 저자가 그것을 "이 연구를 뭐라고 부르느냐?"라고 하지 않았다면, 나는 제임스 미치너의 소설 체서피크(1978)에서 20여 년 전에 베꼈던 몇 구절을 기억한다.
I am recurrently asked, ‘‘What do I call my study,’’ or, if the author of a research report did not name it, ‘‘What do you call this study?’’ I recall some lines I copied more than 20 years ago from James Michener’s novel Chesapeake (1978):

그러나 그는 항상 노동자가 진정한 숙달에 도달할 수 없는 필수적인 도구가 부족했다. 그는 그가 만들고 있는 부품의 이름을 알지 못했고, 이름이 없으면 예술적으로 불완전했다. 의사, 변호사, 정육점 주인이 그들이 한 일에 대해 구체적이지만 비밀스러운 이름을 발명한 것은 우연이 아니었다. 그 이름을 소유하는 것은 비밀을 아는 것이었다. 정확한 이름을 가진 사람은 새로운 숙련의 세계로 들어가 불가사의한 형제애의 일원이 되었고, 미스터리의 공유자가 되었고, 결국엔 [능력의 수행자performer of merit]가 되었다. 그 이름들이 없다면, 그 사람은 bumbler으로 남았거나, 배를 만드는 것이라면, 단순히 집목공으로 남았을 것이다.
But always he lacked the essential tool without which the workman can never attain true mastery; he did not know the names of any of the parts he was building, and, without the names, he was artistically incomplete. It was not by accident that doctors and lawyers and butchers invented specific but secret names for the things they did; to possess the names was to know the secret. With correct names, one entered into a new world of proficiency, became the member of an arcane brotherhood, a sharer of mysteries, and, in the end, a performer of merit. Without the names, one remained a bumbler or, in the case of boat building, a mere house carpenter (pp. 264–265).

보트 건조에서 조사로 바꾼다면, 연구는 신뢰할 수 있는 것으로 간주될 수 있는가, 아니면 이름이 없는데도 연구로 간주될 수 있는가?
Moving from boat building to inquiry, can a study be considered credible, or even a study at all, if it has no name?

질적 연구 방법에 대한 교육 텍스트는 이러한 방법들이 서로 [명확한 경계를 갖는 것]으로 묘사하는 경향이 있다. 그러나 이러한 경계는 경험적 차이와는 반대로 분석을 나타내기 때문에 [고도로 투과적]이다.

• 분석적 구별은 교육과 의사소통의 목적을 위해 만들어진다: 연구 방법과 같은 [복잡한 실체의 본질이나 속성을 정의]하는 것이다.
• 분석적 구별은 [현실에서는 서로를 구별하려는 노력에 저항하는 실체]를 구별하기 위해 만들어진다.

Instructional texts on qualitative research methods tend to depict these methods as having clear boundaries. Yet, these boundaries are highly permeable because they represent analytic as opposed to experiential distinctions.

• Analytic distinctions are made for the purposes of instruction and communication: to simplify the essence or defining attributes of complex entities, such as research methods.
• Analytic distinctions are made to distinguish entities that in real life resist efforts to distinguish them.

예를 들어, 민족학 연구는 종종 "근거 이론화"로 특징지어지며, 이는 다시 "방법론적 해석학"의 한 유형으로 생각할 수 있다. 그러한 연구는 민족학, 근거 이론, 해석학으로 중 무엇으로 명명되어야 하는가? 민족학 연구는 질병 서술의 유형론과 각 유형이 특정 담론을 수용하거나 항의하는 기능을 하는 과정을 산출할 수 있다. 그러한 연구는 근거 있는 이론, 민족학, 서술 또는 담론이라고 명명될 것인가? 고전 민족학은 종종 질적, 양적 데이터 수집과 분석을 수반하며, 일반적으로 하나 또는 몇 가지 환경에서 행동에 초점을 맞춘다. 그러한 민족지학은 혼합 방법 또는 사례 연구로 명명되어야 하는가? 
For example, ethnographic studies are often characterized by ‘‘grounded theorizing’’ (Hammersley & Atkinson, 2007, p. 166), which, in turn, may be conceived as a type of ‘‘methodical hermeneutics’’ (Rennie, 2000; Rennie & Fergus, 2006). Are such studies to be named ethnography, grounded theory, or hermeneutics? An ethnographic study may yield a typology of illness narratives and the process by which each type functions to accommodate or protest certain discourses. Is such a study to be named grounded theory, ethnography, narrative, or discourse? Classical ethnographies often entail both qualitative and quantitative data collection and analysis, and they are typically focused on actions in one or a few settings. Are such ethnographies to be named mixed-methods or case-study research?

실제로 이러한 이름 중 하나 이상이 허용되거나, 아예 그 어떤 이름도 허용되지 않을 수도 있습니다. 실제로 사회과학 저널에 게재된 민족지학 연구 보고서에서 이러한 연구들이 [이름 없는 상태]로 남아 있는 것을 보는 것이 일반적이다. 방법을 강조하는 간호학 저널에 게재된 그러한 연구의 보고서와는 달리, 사회과학 저널에 게재된 보고서는 종종 매우 축약된 방법 섹션을 포함하거나 엔드노트에 나타나는 간단한 설명만 포함한다. 이 보고서들은 대신 소견과 이론적 단계에 초점을 맞춘다. 이름은 [독자의 기대]를 불러일으키기 때문에, [어떤 이름을 선택할지, 또는 이름을 지을지 여부]는 저자가 연구 보고서가 ["어필"하기를 원하는 대상 독자]에게 어떤 신호를 보낼지에 달려 있다(Golden-Biddle & Locke, 1993)

In actual practice any one or more of these names, or even no name at all, might be acceptable. Indeed, in reports of ethnographic studies published in social science journals, it is common to see these studies remain un-named; some form of ethnography is understood to be the method. In contrast to reports of such studies published in nursing journals that emphasize method, reports published in social science journals often contain highly abbreviated methods sections or only brief descriptions appearing in an endnote; these reports are focused instead on findings and their theoretical staging. Because names create reader expectations, the choice of name(s), or whether to name at all, will depend on what authors believe will be signaled to the target audience to which they want their research reports to ‘‘appeal’’ (Golden-Biddle & Locke, 1993).

연구 실천의 실제 세계에서는 방법들이 서로 스며든다; 그것들은 교과서적인 묘사보다 훨씬 더 지저분하기 때문에, 그러한 묘사의 목적은 다음과 같이 지시하고 소통할 수 있도록 "지저분한 것"을 충분하게 청소하는 것이다. 이는 달리 말하면, 분류하고, 개별 방법 주위에 단단하고 천공되지 않은 선을 그으며, 방법 주위에 단단한 선을 그을 수 있는 것처럼 취급하는 것이다. 비록 이 기사의 범위를 벗어나지만, 심지어 연구를 질적 또는 양적으로 명명하는 것조차도 오해를 불러일으킬 수 있다. 가능한 경우 그러한 지정은 보다 명확한 지정에 유리하도록 피해야 한다. 예를 들어, 비기술적이고 전혀 정보가 없는 질적 데이터 대신, 표준화된 질문지조차도 "질적" 데이터 수집의 형태로 볼 수 있기 때문에, 독자는 연구자가 데이터(예: 인터뷰 데이터 필사본, 관찰 필드 노트)를 명명하는 것이 더 낫다(Sandelowski 등, 2009). 그러나, 정성적 또는 정량적이라는 용어의 사용은 크게 다음에 의해 특징지어지는 서술적 연구를 신호화하는 가장 좋은 방법일 수 있다.

• (a) 창발적 설계, 목적적 샘플링, 최소 구조화되고 개방된 데이터 수집 모드, 텍스트 분석 또는
  (b) 고정적 설계, 확률 표본 추출, 고도로 구조화된 데이터 수집 모드 및 폐쇄된 데이터 수집 모드 및 통계 분석에 의해 각각 결정된다.

In the actual world of research practice, methods bleed into each other; they are so much messier than textbook depictions as the purpose of such depictions is to clean up the ‘‘mess’’ (Law, 2004) sufficiently to instruct and communicate: to classify, to draw hard and not perforated lines around individual methods, to treat methods as if hard lines could be drawn around them. Although beyond the scope of this article, even naming research qualitative or quantitative can be misleading. Whenever possible, such designations should be avoided in favor of those that are more explicit. For example, instead of the nondescript and wholly uninformative qualitative data, readers are better served by researchers naming their data (e.g., transcripts of interview data, written field notes of observations) as even standardized questionnaires can be seen as a form of ‘‘qualitative’’ data collection (Sandelowski et al., 2009). Yet, the use of the terms qualitative and quantitative may simply be the best way to signal descriptive research largely characterized

• by (a) emergent design, purposeful sampling, minimally structured and open-ended modes of data collection, and textual analyses or
• by (b) fixed design, probability sampling, highly structured and closedended modes of data collection, and statistical analyses, respectively.

더욱이 질적 연구에서 방법의 분류는 매우 특이하다. 질적 연구에 대한 교훈적인 텍스트의 빠른 숙독이 보여주듯이, [단일한 분류 시스템이 작동하지 않는다]. 방법들이 서로 관련하여 어떻게 명명되고 정렬되는가, 그리고 어떤 방법들이 어떻게 묘사되는가(즉, 그것이 무엇에 사용되는가, 그것을 어떻게 하는가, 그리고 그것이 다른 방법들과 어떻게 대비되는가)는 [분야에 따라 특화]되어 있고, 또는 [기존의 이론적 또는 정치적 약속]에 의해 영향을 받는다. 분류 체계 자체도 이론적/철학적 계통, 방법 또는 기술에 따라 분류될 수 있다. 근거 이론이 제시되는 방식에 대한 수많은 변형variation과, 근거 이론을 하는 "올바른" 방법과 현상학을 하는 "잘못된" 방법에 대한 종종 격렬한 논쟁을 고려하라. 방법(및 방법론적 엄격성과 전문성을 너무 자주 지나치는 이러한 국경지의 치안 유지) 사이의 경계선을 더욱 복잡하게 만드는 것은, 정성적 연구에서는 방법론적 절차가 [(분석적 통찰력을)] [결정하거나 구성하기]보다는, [촉발]하는 기능이 더 많다는 것이다.
Moreover, in qualitative research the very classification of methods is highly idiosyncratic. As any quick perusal of didactic texts on qualitative research will show, there is no one classification system in play. How methods are named and ordered in relation to each other, and how any one method is depicted (i.e., what it is, what it is used for, howto do it, and howit contrasts with other methods), are discipline-specific and/or influenced by prior theoretical or political commitments. Classification systems can themselves be classified according to whether they are constructed around theoretical/philosophical lineage, methods, or techniques. Consider too the variations in how grounded theory is presented (Charmaz, 2006; Clarke, 2005; Strauss & Corbin, 1998) and the often strident debates about the ‘‘right’’ way to do grounded theory (Boychuk Duchscher, & Morgan, 2004; Walker & Myrick, 2006) and the ‘‘wrong’’ way to do phenomenology (Crotty, 1996; Darbyshire, 1999; Paley, 2005). Complicating the borderlands between methods (and the policing of these borderlands that too often passes for methodological rigor and expertise) is that in qualitative research, methodological procedures function more to trigger analytic insights than to determine or constitute them (Eakin & Mykhalovskiy, 2003).

이 모든 것이 방법론적 전통에 대한 정의적 속성도, 그것에 대해 만들어질 수 있는 일반화도, 학습되어야 할 서명 연산과 규칙도 없다는 것을 말하는 것은 아니다. 이 모든 것이 질적 연구의 수행에 어떤 것이든 진행된다는 것을 말하는 것은 아니다. 그러나 [정의와 일반화]를 위한 모든 노력(즉, 분류와 이름 지정)과 마찬가지로, 그들은 [방법의 실제 실천의 다양한 변형variation] 및 [방법이 살아있다는 사실]을 잘 포착하지 못한다. 방법은 전기와 역사를 가지고 있다. 근거 이론, 민족학, 임상시험의 역사와 진화를 고려하라. 방법의 수행performance은 항상 "상황에 놓여 있다situated". 방법은 항상 연구 실천의 실제 세계에 수용되고 바로 그 수용으로 인해 재창조되기 때문에, 어떤 방법도 완벽한 실행이란 없다. 민족지학을 "비선형 동적 시스템"으로 묘사하면서, Agar (2004, 페이지 19)는 다음과 같이 관찰했다. 방법론적으로 말하면, 연구는 항상 처음에 예측할 수 없는 방식으로 발전한다. [방법론의 스토리]는 [연구의 스토리]이다.'
All of this is not to say that there are no defining attributes of methodological traditions, nor generalizations that can be made about them, nor signature operations and rules associated with them that should be learned. All of this is not to say that anything goes in the conduct of qualitative research. But, like all efforts to define and generalize—that is, to classify and name—they do not capture well the variations in the actual practice of methods and the fact that methods are alive; methods have biographies and histories. Consider the histories and evolution of grounded theory, ethnography, and the clinical trial. The performance of method is always ‘‘situated’’ (Haraway, 1991). There is no perfect execution of any method as methods are always accommodated to the real world of research practice and, by virtue of that very accommodation, they are reinvented. Describing ethnography as a ‘‘nonlinear dynamic system,’’ Agar (2004, p. 19) observed that: ‘‘methodologically speaking . . . a study always develops in ways unforeseen at the beginning . . . The story of methodology is (emphasis in original) the story of the study.’’

방법은 실제 연구와 별개로 사용자가 없으면 독립적인 존재가 없다. 방법은, 다른 질적 연구 관행을 구별하는 특정 존재론적 및 인식론적 입장을 부정하지 않는 일반적인 "실천적 인식론"은, 사용자의 손에 있는 것이 된다. Becker는 다음과 같이 관찰했다
Methods have no independent existence without users and apart from actual studies. Methods become what they are in the hands of users, a generic ‘‘practical epistemology’’ (Becker, 1996, p. 57) that does not negate the particular ontological and epistemological positions that distinguish different qualitative research practices. Becker observed (p. 57):

많은 에너지가 철학적 세부 사항 때문에 낭비되고 있는데, 이것은 종종 연구자들이 실제로 하는 것과 거의 또는 전혀 관련이 없다. 연구자들은 사회생활의 현실에 적응하면서 이러한 입장을 실천한다. 따라서 그들의 활동은 철학적 입장을 참고하여 완전히 설명되거나 설명될 수 없다.
A lot of energy is wasted hashing over philosophical details, which often have little or nothing to do with what researchers actually do . . . Researchers work these positions out in practice . . . accommodat- (ing) to the realities of social life . . . Their activity thus cannot be accounted for or explained fully (italics added) by referring to philosophical positions.

내가 10년 전에 질적 서술적 연구와 다른 종류의 질적, 정량적 연구 사이에 선을 그은 것은 그저 [선을 긋기 위한 것]이었다. 이 선들은 단순하게 다루어서는 안 될 '단순화 장치simplifying device'였다. 그러나, "색조와 톤"에 관한 섹션에서, 나는 방법론적 국경 통과의 불가피성, 방법의 역동적 특성, 그리고 "지적 장인정신" (Mills, 1959/1978)과 우리의 의지에 굽히는 방법에 관련된 주의를 전달하는 데 있어서 너무 단순했다.
The lines I drew 10 years ago between qualitative descriptive and other kinds of qualitative and quantitative studies were for the sake of drawing lines; these lines were a ‘‘simplifying device’’ (Mol & Law, 2002, p. 4), not to be treated simplistically. Yet, in the section on ‘‘hues and tones’’ (Sandelowski, 2000, p. 337), I was much too simplistic in communicating the inevitability of methodological border crossings, the dynamic nature of methods, and the ‘‘intellectual craftsmanship’’ (Mills, 1959/1978) and care involved in bending methods to our will.

'광범위 잔여 범주'로서의 질적 서술
QUALITATIVE DESCRIPTION AS A ‘‘DISTRIBUTED RESIDUAL CATEGORY’’

이제 나는 질적 설명이 2000년 기사에서 내가 주장한 범주적 옵션도 아니고, 비 범주적 옵션인 Thorne(2008)이 '해석적 설명'을 설명하고 명명하는 것도 아니라는 것을 알게 되었다. 나는 질적 서술을 ‘‘distributed residual category’’ 라고 보게 되었다. Bowker와 Star(149–150)는 이렇게 설명했다.
I see now that qualitative description is neither the categorical option I claimed it to be in the 2000 article, nor the noncategorical option Thorne (2008) described and named ‘‘interpretive description.’’ I have come to see qualitative description instead as a ‘‘distributed residual category’’ (Bowker & Star, 2000, p. 149). As Bowker and Star (pp. 149–150) described them:

단순히 쓰레기 분류는 아니다. 어떻게 해야 할지 모르는 상황이 발생할 경우, [광범위 잔여 범주]는, [정확한 지정을 강요하는 것이 (확실성의) 잘못된 인상을 줄 수 있는 상황일 때], 불확실성을 시사한다. 
(far from being mere) garbage categories . . . where things get put that you do not know what to do with, (distributed residual categories) signal uncertainty . . . under conditions where forcing a more precise designation could give a false impression (of certainty).

• 정성적 방법의 분류에서 [광범위 잔여 범주]로서, 질적 설명은 방법의 분류를 구성하는 "작업 관행"을 가시화하고, 이러한 관행으로 인해 "암흑으로 방치된" 모든 것을 밝혀냄으로써, 방법과 탐구에 대한 보다 세밀한 이해를 가능하게 한다.
• As a distributed residual category in the classification of qualitative methods, qualitative description makes visible the ‘‘work practices’’ that constitute the classification of methods, brings to light all that is ‘‘left dark’’ (Bowker & Star, 2000, p. 321) by these practices, and thereby enables more finely grained understandings of methods and of inquiry.
• [광범위 잔여 범주]로서, 질적 서술은 질적 연구 "실천 공동체"로 구성된 "다양한 학자들의 연합"을 신호하여 한 종류의 질적 연구를 수행하는 것이 무엇을 의미하는지 재고하고 중요한 차이점에 초점을 맞춘다. (예: 샘플링된 사용자 또는 대상, 데이터 처리 방법, 데이터로부터 추론을 도출하는 방법과 관련이 있습니다.)
• As a distributed residual category, qualitative description signals the ‘‘confederacy of diverse groups of scholars’’ (Preissle, 2006, p. 687) comprising the qualitative research ‘‘community of practice’’ (p. 686) to take stock of what it means to conduct one kind of qualitative research versus another and to focus on the differences that matter (e.g., related to who or what is sampled, to the way data are treated, to the way inferences are drawn fromdata).
• [광범위 잔여 범주]로서, 정성적 설명은 정성적 설명과 정량적 설명 사이의 다공성 선을 가시화한다. 다양한 종류의 정성적 및 정량적 설명 중. 그리고 아마도, 가장 중요한 것은, 방법의 ''erosion''과 ''재발명'' 사이일 것이다.
• As a distributed residual category, qualitative description makes visible the porous lines between qualitative and quantitative description; among different kinds of qualitative and quantitative description; and perhaps, most importantly, between the ‘‘erosion’’ (Greckhamer & Koro-Ljungberg, 2005) and re-invention of method.
• [광범위 잔여 범주]로서, 질적 설명은 경험적 연구의 수행에서 방법보다 기술이 계속 우세해야 하는지 여부와 얼마나 우세해야 하는지에 대한 실천 분야에서의 논쟁을 중심에 놓기 위해 움직인다.
• As a distributed residual category, qualitative description moves to center stage the debate in the practice disciplines about whether and how much technique should continue to prevail over method in the conduct of empirical research (Chamberlain, 2000; Eakin & Mykhalovskiy, 2005; Hammersley, 2006; Rapport, Wainwright, & Elwyn, 2005).

결론
CONCLUSION

음, 나는 질적 묘사에 대한 2000년 기사에 대한 답방에서 내가 예상했던 것보다 훨씬 더 멀리(아마도, 너무 멀리 또는 충분히 멀리 있지 않은) 여행했다. [질적 기술의 모양qualitative description shape]을 주기 위한 나의 노력이 다소 잘못되었다는 것을 이제 알겠다. 방법론적 접근법을 명확히 하는 대신, 2000년의 논문은 질적 연구가 데이터의 해석과 반대로, [단순한 축하celebration만을 포괄할 수 있다는 잘못된 인식]을 강화하는 역할을 했다. 이번 논문은 자주 사용되는 방법론적 접근법에 이름을 붙이는 대신 '명명이 유발할 수 있는 긴장the tensions naming can engender'을 표면화하는 역할을 했다. Bowker와 Star가 결론 내렸듯이, "유일한 좋은 분류는 살아있는 분류"이며, 그 안에 우리의 변화하는 이해를 수용하기 위해 "세상을 재구성"할 수 있는 능력을 포함하도록 구축되는 것이다. [질적 서술qualitative description의 가치]는 그것의 사용이 만들어낼 수 있는 지식뿐만 아니라, [단순한 분류에 저항하는 살아있는 실체]로서 연구 방법을 제시하고 다루는 매개체vehicle로서도 존재한다.
Well, I have traveled much farther than I anticipated (perhaps, too far or not far enough) in my return visit to my 2000 article on qualitative description. I see now that my effort to give qualitative description shape—to remove it from the ranks of what Caelli, Ray, and Mill (2003) referred to as ‘‘generic qualitative research’’— was somewhat misdirected. Instead of clarifying a methodological approach, the article served to reinforce the misconception that qualitative research could encompass the mere celebration, as opposed to interpretation, of data. Instead of giving a name to a frequently used methodological approach, the article served to surface ‘‘the tensions naming can engender’’ (Jutel, 2009, p. 294). As Bowker and Star (2000, p. 326) concluded, ‘‘the only good classification is a living classification,’’ built to contain within it the capacity to ‘‘reconfigure the world’’ to accommodate our changing understandings of it. The value of qualitative description lies not only in the knowledge its use can produce, but also as a vehicle for presenting and treating research methods as living entities that resist simple classification.

질적 서술에 무슨 일이 있었는가? (Res Nurs Health. 2000)
Whatever Happened to Qualitative Description?
Margarete Sandelowski*

질적 연구자들은 이제 이론적으로나 기술적으로 정교한 방법들의 점점 더 많은 배열 중에서 선택할 수 있는 선택권을 가지고 있다. 따라서, 더 평범하고 상당히 "덜 섹시한"1 방법, 즉 [질적인 묘사]를 부활시키는 것은 이상하게 보일 수 있다. 그러나 정성적 기술의 재발견이 필요한 것은 바로 간호 연구에서 [정성적 방법의 복잡성]과 [방법의 횡포]이다.
Qualitative researchers now have the option to choose from an increasing array of theoretically and technically sophisticated methods. Accordingly, it may seem strange to resurrect a plainer and considerably ``less sexy''1 method: namely, qualitative description. Yet it is precisely the increasing complexity of qualitative methods and the tyranny of method in nursing research that makes the rediscovery of qualitative description necessary.

[기술 연구descriptive research]는 일반적으로 정량적 연구 설계 계층에서 가장 낮은 순위에 있는 것으로 연구 텍스트에서 묘사된다. 이 계층 구조에서 예측과 제어를 목표로 하는 "참" 실험은 금본위제이며 다른 모든 설계는 실험적이지 않고 약하다(예: 탤벗, 1995). 정량적 연구를 ''가장 조잡한 형태의 탐구'''로 묘사하는 견해(Thorne, Kirkham, & MacDonald-Emes, 1997, p. 170)는 질적 연구에 종사하는 연구자들에게 부정적인 영향을 미쳤을 가능성이 있으며, 그들 중 많은 사람들은 단순히 묘사 이상의 것으로 그들의 노력을 방어할 의무를 느꼈다. 즉, 그들은 현상학, 근거이론, 민족학, 또는 서사연구로 그들의 작품을 지정함으로써 ''인식론적 신뢰성''(p.170)을 추구했다. 그러나 너무 많은 경우에 이러한 노력은 현상학, 이론, 민족지학 또는 서술적 해석보다는 현상학, 근거이론, 민족지학 또는 서술적 연구에 대한 "가식posturing"를 초래했다(Wolcott, 1992). 아래와 같은 혼란스러운 상황이 존재한다.

• 최소한의 구조화된 개방형 인터뷰만 포함하면 '서사적' 라고 부른다.
  
• 참가자들의 "주관적" 경험에 대한 보고만을 포함하면, '현상학적'이라고 부른다.
  
• 서로 다른 민족 집단의 참가자들만을 포함하기만 하면, '민족지적'이라고 부른다.

Descriptive research is typically depicted in research texts as being on the lowest rung of the quantitative research design hierarchy. In this hierarchy, ``true'' experiments aimed at prediction and control are the gold standard and any other design is non-experimental and weak (e.g., Talbot, 1995). The view of description in quantitative research as the ``crudest form of inquiry'' (Thorne, Kirkham, & MacDonald-Emes, 1997, p. 170) likely has negatively influenced researchers engaging in qualitative research, many of whom have felt obliged to defend their efforts as something more than mere description. That is, they have sought ``epistemological credibility'' (p. 170) by designating their work as phenomenology, grounded theory, ethnography, or narrative study. In too many cases, however, this effort has resulted in ``posturing'' (Wolcott, 1992) about phenomenology, grounded theory, ethnography, or narrative study rather than in phenomenologies, theories, ethnographies, or narrative interpretations. A confusing state of affairs exists whereby studies are called

• narrative, even though they may include nothing more than minimally structured, open-ended interviews;
• phenomenologic, even though they may include nothing more than reports of the ``subjective'' experiences of participants; or,
• ethnographic, even though they may include nothing more than participants in different ethnic groups.

실제로, 그것들이 실습을 위한 귀중한 정보를 산출하는 가치 있는 연구일 수 있지만, 이러한 소위 서술적, 현상학적, 민족학적 연구는 종종 서술적, 현상학적, 민족학적 측면과 함께 [질적 서술적 연구]로 더 잘 설명할 수 있다. 나는 나중에 질적 연구의 과장된 주제로 돌아갈 것이다.
Indeed, although theymay undeniably be worthwhile studies that yield valuable information for practice, these so-called narrative, phenomenologic, and ethnographic studies are often better described as qualitative descriptive studies, albeit with narrative, phenomenologic, and ethnographic overtones. I will return to the subject of overtones in qualitative research later.

현재 방대한 질적 방법 문헌에서, 다른 질적 방법과 동등한 지위를 갖는 독특한 방법으로서 [질적 묘사qualitative description]에 대한 포괄적인 설명은 없지만, 실천 분야에서 가장 자주 사용되는 방법론적 접근법 중 하나이다. 따라서 본 논문에서는 [정성적 묘사qualitative description]를 방법론적 곡예에 의존하지 않고 연구자들이 부끄럽지 않게 주장할 수 있는 방법이라고 설명한다. 나의 질적 서술에 대한 발표는 부분적으로 Thorne, Kirkham 및 MacDonald-Emes의 "해석적 서술"(1997)에 대한 통찰력 있는 논의에서 영감을 받았지만, 그 논의와 "방법론적 정통성"에 대한 Thorne의 이전 관련 토론(1991)에서 세 가지 방식으로 출발한다.

• 첫째로, 나는 질적 설명qualitative description을 조사를 위한 "비범주적 대안"과는 달리 [범주적]으로 본다. 즉, 그 방법은 근거 이론, 현상학 및 민족지학의 새롭고 독특하게 간호된 적응인 것과는 달리 이미 존재하지만 상대적으로 인식되지 않는다.
• 둘째, 질적 서술적 연구는 연구자들이 자료에서 멀리 또는 자료로 이동할 것을 요구하지 않는다는 점에서 "해석적 서술"보다 [덜 해석적]이라고 본다.
• 셋째, 개념적이거나 매우 추상적으로 데이터를 렌더링할 필요가 없습니다. 질적 묘사에 대한 나의 묘사는 다른 질적 연구의 ''진입점'''이라기보다는 [그 자체로 완전하고 가치 있는 최종 산물]을 생산하는 것으로 본다는 점에서 아르티니안(1988)의 ''기술적 모드'''에 대한 유용한 논의에서 출발한다. (반면, 그녀는 qualitative description을 근거 이론 탐구의 필수 전주곡으로 제시했다.)
  
  

In the now vast qualitative methods literature, there is no comprehensive description of qualitative description as a distinctive method of equal standing with other qualitative methods, although it is one of the most frequently employed methodologic approaches in the practice disciplines. Accordingly, in this paper, I describe qualitative description as a method that researchers can claim unashamedly without resorting to methodological acrobatics. My presentation of qualitative description was inspired, in part, by Thorne, Kirkham, and MacDonald-Emes' insightful discussion of ``interpretive description'' (1997), but departs from that discussion and from Thorne's (1991) earlier related discussion of ``methodological orthodoxy'' in three ways.

• First, I see qualitative description as a categorical, as opposed to ``noncategorical alternative'' for inquiry; that is, the method already exists but is relatively unacknowleged, as opposed to being a new, distinctively nursing adaptation of grounded theory, phenomenology, and ethnography.
• Second, I see qualitative descriptive studies as less interpretive than ``interpretive description'' in that they do not require researchers to move as far from or into their data.
• Third, they do not require a conceptual or otherwise highly abstract rendering of data. My depiction of qualitative description departs from Artinian's useful discussion of the ``descriptive mode'' of qualitative inquiry (1988) in that I view it as producing a complete and valued end-product in itself, rather than as an ``entry point'' (p. 139) into other qualitative studies: as she presented it, as a necessary prelude to grounded theory inquiry.

나는 현상학, 근거이론, 민족학 등 다른 종류의 질적 설명과 구별하기 위해, 여기서 제시하는 방법을 [기본적 또는 근본적인 질적 설명qualitative description]으로 지칭한다. 현상학, 기초 이론 및 민족학 연구는 현상을 설명하는 데 사용될 수 있기 때문에 기술 영역에만 국한되지 않는다. 불행하게도, 기초, 기본, 표면이라는 단어(이 글의 뒷부분에서 내가 사용하는 단어)는 기초적이고, 피상적이고, 단순하거나, 또는 단지 예비적인 것을 암시한다. 나는 이 단어들을 사용함으로써 한 방법을 다른 방법보다 더 쉽고, 덜 가치 있고, 덜 바람직하거나, 덜 과학적이라고 제시하는 사악한 계층 구조를 결코 강화하고 싶지 않다. 어떤 방법도 절대적으로 약하거나 강하지 않고, 오히려 특정 목적과 관련하여 유용하거나 적절하지 않다. 따라서 나는 여기서 정성적 설명qualitative description을 그 자체로 가치 있는 방법으로서 제시한다. 다른 방법과의 비교는 순위나 폄훼가 아닌 조명의 목적을 위한 것이다.
I refer to the method I present here as basic or fundamental qualitative description to differentiate it from other kinds of qualitative description, such as phenomenology, grounded theory, and ethnography. Phenomenologic, grounded theory, and ethnographic studies are not exclusively in the descriptive domain, though, as they may also be used to explain phenomena. Unfortunately, the words basic, fundamental, and surface (a word I use later in this article) connote something elementary, superficial, simple, or merely preliminary. In no way do I wish to reinforce, by using these words, those invidious hierarchies that present one method as easier, less valuable, less desirable, or less scientific than another. No method is absolutely weak nor strong, but rather more or less useful or appropriate in relation to certain purposes. Accordingly, I present qualitative description here as a valuable method by itself. Comparisons to other methods are for the purposes ofillumination,not rankingordenigration.

정성적 기술 대 정량적 기술 및 기타 정성적 방법
QUALITATIVE DESCRIPTION VERSUS QUANTITATIVE DESCRIPTION AND OTHER QUALITATIVE METHODS

모든 탐구에는 묘사가 수반되고, 모든 묘사는 해석을 수반한다. 어떤 현상(또는 사건이나 경험)을 아는 것은 최소한 그 현상에 대한 "사실"을 알아야 한다. 그러나 그러한 사실들에 의미를 부여하는 특정한 맥락을 벗어난 "사실"은 없다. 설명은 항상 설명자의 인식, 성향, 민감성 및 감성에 따라 달라진다(예: Emerson, Fretz, & Shaw, 1995; Georgi, 1992; Wolcott, 1994). ''Naked, innocent 눈으로 바라보는 순수한 모습은 없다'(Pearce, 1971년, 페이지 4). 그리고 ''무구한 인식'''도 없다(Beer in Wolcott, 1994, 페이지 13). 경험이나 사건을 묘사하고자 하는 연구자들은 [그들이 묘사할 것을 선택하고 그것의 특정 측면을 특징짓는 과정]에서 그 경험이나 사건을 변화시키기 시작한다.
All inquiry entails description, and all description entails interpretation. Knowing any phenomenon (or event or experience) requires, at the very least, knowing the ``facts'' about that phenomenon. Yet there are no ``facts'' outside the particular context that gives those facts meaning. Descriptions always depend on the perceptions, inclinations, sensitivities, and sensibilities of the describer (e.g., Emerson, Fretz, & Shaw, 1995; Giorgi, 1992; Wolcott, 1994). ``There is no pure looking with a naked, innocent eye'' (Pearce, 1971, p. 4), and there is no ```immaculate perception''' (Beer cited in Wolcott, 1994, p. 13). Researchers seeking to describe an experience or event select what they will describe and, in the process of featuring certain aspects of it, begin to transform that experience or event.

어떠한 설명도 해석에서 자유롭지는 않지만, 예를 들어 현상학적 또는 근거 있는 이론 설명과 반대로, [기본적 또는 근본적인 질적 설명qualitative description]은 낮은 추론 또는 연구자들 사이의 더 쉬운 합의를 이끌어낼 수 있는 형태의 해석을 수반한다. 비록 한 연구원이 한 여성이 인터뷰에서 보고한 사건들을 두 번째 연구원이 특징지을 수 있지만, 두 연구자 모두, 예를 들어, 그 여성이 화가 났다고 여러 번 진술했고, 그녀 자신이 유방암에 걸렸다는 것을 알고 하루 후에 어머니가 죽었다고 진술했다는 것에 동의할 것이다. 표면적으로 동일한 장면을 묘사하는 두 연구자의 경우, 한 연구자는 방의 공간 배치를 특징지을 수 있고, 두 번째 연구자는 사회적 상호작용을 특징지을 수 있다. 그러나 두 연구자는 장면의 정확한 표현으로서 서로의 설명에 동의해야 한다. 즉, [추론력이 낮은 서술low-inference description]을 함으로써 연구자들은 설령 서술에 같은 사실을 포함시키지 않더라도 사건의 ``사실"에 더 쉽게 동의할 것이다. (인터뷰 또는 관찰 데이터의 설명 요약의 형태에 관계없이) 설명은 무엇을 설명해야 하는지에 대한 연구자의 선택을 수반한다. 그러나 이러한 설명은 항상 적절한 순서로 사건을 정확하게 전달하거나[서술적 타당성], 그리고 그러한 사건에 기인하는 [참여자의 의미]라는 [해석적 타당성]을 가져야 한다(Maxwell, 1992). 비록 인간은 결코 "거기"에 있는 모든 것을 묘사할 수 없으며 결코 원하지 않을 것이지만, 그들이 묘사하기로 선택한 것은 대부분의 관찰자들이 사실 "거기"에 동의하는 것이 될 것이다.''
Although no description is free of interpretation, basic or fundamental qualitative description, as opposed to, for example, phenomenological or grounded theory description, entails a kind of interpretation that is low-inference, or likely to result in easier consensus among researchers. Even though one researcher may feature the feelings and a second researcher the events a woman reported in an interview, both researchers will likely agree that, for example, the woman stated several times that she was angry and that she stated that her mother died one day after she herself learned she had breast cancer. In the case of two researchers describing ostensibly the same scene, one researcher might feature the spatial arrangement in a room, while the second researcher will feature the social interactions. But both researchers ought to agree with each other's descriptions as accurate renderings of the scene. That is, with low-inference descriptions, researchers will agree more readily on the ``facts'' of the case, even if they may not feature the same facts in their descriptions. Descriptions - whether in the form of descriptive summaries of interview or observation data - entail researchers' choices about what to describe. But these descriptions must always accurately convey events in their proper sequence, or have descriptive validity, and the meanings participants attributed to those events, or have interpretive validity (Maxwell, 1992). Although human beings can never, and will likely never want to, describe everything that is ``there,'' what they choose to describe will be something that most observers would agree is in fact ``there.''

따라서 '(인간의) 인식을 통해 필터링된다'는 점에서 필연적으로 해석적이기는 하지만, 연구자가 개념적, 철학적, 또는 그 밖의 고도로 추상적인 틀이나 체계적 측면에서 사건을 기술하는 것을 의도적으로 선택한다는 점에서 [기본적인 질적 묘사는 해석력이 높지 않다].

• [질적 서술적 연구]의 서술은 [일상적인 언어]로 사례의 사실들을 제시하는 것을 수반한다.
• 대조적으로, 현상학적, 이론적, 민족학적, 또는 서술적 서술은 다른 용어로 사건을 나타낸다. 이런 연구에서 연구자들은 그들이 보고 듣는 것에 그들 자신의 [해석적 스핀]을 더 많이 넣을 의무가 있다. 이 스핀은 부분적으로 이러한 방법론 자체에서 파생됩니다.
  • 근거 이론 연구는 연구자가 데이터를 "조건적/결과적 행렬"에서 요소를 찾고 해석하는 경향이 있다(Strauss & Corbin, 1998, p. 181).
  • 특정 유형의 현상학적 연구는 연구자가 "생활 세계의 실존성"이라는 관점에서 데이터를 찾고 해석하는 경향이 있다(Van Manen, 1990, 페이지 101).

Accordingly, although unavoidably interpretive, in that it is `’filtered through (human) perceptions'' (Wolcott, 1994, p. 13), basic qualitative description is not highly interpretive in the sense that a researcher deliberately chooses to describe an event in terms of a conceptual, philosophical, or other highly abstract framework or system.

• The description in qualitative descriptive studies entails the presentation of the facts of the case in everyday language.
• In contrast, phenomenological, theoretical, ethnographic, or narrative descriptions re-present events in other terms. Researchers are obliged to put much more of their own interpretive spin on what they see and hear. This spin derives, in part, from these methodologies themselves.
  • Grounded theory study inclines the researcher to look for, and interpret data as, elements in a ``conditional/ consequential matrix'' (Strauss & Corbin, 1998, p. 181).
  • Certain types of phenomenologic studies incline the researcher to look for, and interpret data in terms of, ``lifeworld existentials,'' such as corporeality and temporality (Van Manen, 1990, p. 101).

이러한 설명은 단순히 [단어와 장면만 읽는 것]이 아니라, [행간을 읽고, 단어와 장면을 초월한 읽기]를 요구하기 때문에 연구자가 데이터 안으로 더 깊이 들어가거나 그 너머로 이동할 것을 요구한다(예: McMahon, 1996; Poirier & Ayres, 1997). 현상학적 연구의 ''순간''에 대한 Wertz'(1983) 분석은 참가자의 사건에 대한 설명에서 연구자의 사건에 대한 현상학적 설명으로 이어지는 연속적인 변화를 잘 보여준다.
Such descriptions require researchers to move farther into or beyond their data as they demand not just reading words and scenes, but rather reading into, between, and over them (e.g., McMahon, 1996; Poirier & Ayres, 1997). Wertz' (1983) analysis of the ``moments'' of a phenomenological study is an excellent demonstration of the successive transformations from a participant's description of an event to a researcher's phenomenological description of that event.

현상학적 또는 근거 있는 이론 설명보다 해석력이 떨어지기는 하지만, [기본적인 질적 서술]은 [정량적 서술]보다 해석력이 더 강하며, 이는 일반적으로 사전 선택된 변수에 대한 공통 데이터 세트를 얻기 위한 조사 또는 기타 사전 구조화된 수단과 이를 요약하기 위한 서술적 통계를 수반한다. [정량적 서술적 연구]는 연구자들이 연구할 변수를 미리 선정하여 연구에 대한 기대의 지평을 설정하고, 일련의 가정을 바탕으로 스스로 통계적 시험 결과로부터 결론을 도출한다는 점에서 해석을 수반한다. 그러나 이는 개념의 운영적 정의와 조사 및 기타 조치의 항목으로서의 표현을 포함하여 이러한 사전 설정된 한계를 벗어나지 않는 일종의 해석이다. 정량적 설명은 참가자가 이벤트에 제공하는 의미에 대해 배울 수 있는 것을 제한한다. 더욱이, 정량적 설명에서, 연구자들은 예상치 못한 것을 위한 여지를 덜 남겨둔다(Becker, 1996, p. 61).
Although less interpretive than phenomenological or grounded theory description, fundamental qualitative description is more interpretive than quantitative description, which typically entails surveys or other pre-structured means to obtain a common dataset on pre-selected variables, and descriptive statistics to summarize them. Quantitative descriptive studies entail interpretation in that researchers set the horizon of expectations for the study by pre-selecting the variables that will be studied, and in that they draw conclusions from the results of statistical tests, which are themselves based on sets of assumptions. But it is a kind of interpretation that does not move beyond these pre-set confines, including the operational definitions of concepts and their representations as items in surveys and other measures. Quantitative description limits what can be learned about the meanings participants give to events. Moreover, in quantitative description, researchers leave less room for the unanticipated (Becker, 1996, p. 61).

질적 연구를 수행하는 연구자들은 사건 발생 시 발생하는 모든 요소를 포착할 수 있는 데이터를 최대한 많이 수집하려고 합니다. 그들이 "현장에 있는 한" 그들은 현장에서 무엇을 관찰하든 자료로 간주할 의무가 있다. 정성적 연구자들은 양적 연구자들만큼 쉽게 "데이터로부터 스스로를 절연"할 수 없다(Becker, 1996, p. 56). 비록 ''완전한 묘사는 이룰 수 없는 환상''이지만, 정성적 설명에 대한 [더 완전한fuller 설명]은 한정적이거나 정량적 조사에서 나온 (그들이 종종 인지하는) [엉성한 설명]보다 질적 연구자들에게 더 선호된다. 마지막으로, 정량적 연구에서는 정성적 서술적 연구보다 [탐구(있는 것을 찾아내는 것)]와 [서술(발견된 것을 기술하는 것)] 사이에 더 뚜렷한 선이 그어져 있다.
Researchers conducting qualitative studies want to collect as much data as they can that will allow them to capture all of the elements of an event that come together to make it the event that it is. As long as they are ``in the field,'' they are obliged to consider as data whatever they observe in the field. Qualitative researchers cannot, as readily as quantitative researchers, ``insulate themselves from data'' (Becker, 1996, p. 56). Although ``full description is a will-o'-the wisp,'' the ``fuller'' description of qualitative description is preferable to qualitative researchers than the confined, or (what they often perceive to be the) ``skimpy'' description resulting from quantitative surveys (p. 64). Finally, in quantitative research, there is a sharper line drawn between exploration (finding out what is there) and description (describing what has been found) than in qualitative descriptive studies.

요약하면, [정성적 기술 연구qualitative descriptive studies]는 그러한 사건의 일상적인 용어로 사건에 대한 포괄적인 요약을 제공한다. 그러한 연구를 수행하는 연구자들은 다음을 추구한다 

• 기술적 타당성: 동일한 사건을 관찰하는 대부분의 사람들(연구자와 참가자 포함)이 동의하는, 사건의 정확한 설명
  
• 해석적 타당성: 참가자들이 동의하는 이벤트에 귀속되는 의미에 대한 정확한 설명

In summary, qualitative descriptive studies offer a comprehensive summary of an event in the everyday terms of those events. Researchers conducting such studies seek

• descriptive validity, or an accurate accounting of events that most people (including researchers and participants) observing the same event would agree is accurate, and
• interpretive validity, or an accurate accounting of the meanings participants attributed to those events that those participants would agree is accurate (Maxwell, 1992).

[질적 서술적 연구qualitative descriptive studies]를 수행하는 연구자는 기초 이론, 현상학, 민족학 또는 서술적 연구를 수행하는 연구자보다 데이터와 단어 및 사건의 표면에 더 가까이 있다. [질적 기술 연구qualitative descriptive studies]에서 언어는 반드시 읽어야 하는 해석적 구조가 아니라 의사소통의 수단이다. 그러나 그러한 표면적 판독은 피상적이거나 사소하고 가치 없는 것으로 여겨져서는 안 된다. 나는 여기서 [보고되거나 관찰된 사건]에 대한 [투과의 깊이 또는 주변의 해석 활동의 정도]를 전달하기 위해 '표면'이라는 단어를 의도한다. 사실들을 얻는 것은 사소한 것이거나 쉬운 것이 아니며, 참가자들이 그 사실들에 부여하는 의미들은 그것들을 일관되고 유용한 방식으로 전달한다.

Researchers conducting qualitative descriptive studies stay closer to their data and to the surface of words and events than researchers conducting grounded theory, phenomenologic, ethnographic, or narrative studies. In qualitative descriptive studies, language is a vehicle of communication, not itself an interpretive structure that must be read. Yet such surface readings should not be considered superficial, or trivial and worthless. I intend the word surface here to convey the depth of penetration into, or the degree of interpretive activity around, reported or observed events. There is nothing trivial or easy about getting the facts, and the meanings participants give to those facts, right and then conveying them in a coherent and useful manner.

정성기술연구의 설계특성
DESIGN FEATURES OF QUALITATIVE DESCRIPTIVE STUDIES

[정성적 서술적 설계Qualitative descriptive designs]는 전형적으로 절충적이지만 합리적이고 잘 고려된 샘플링, 데이터 수집, 분석 및 재현 기법의 조합이다. 다음 섹션에서는 일반적인 설계 기능에 대해 설명합니다. [질적 설명]은 특히 실무자와 정책 입안자와 특별한 관련이 있는 질문에 대한 솔직하고 대체로 장식되지 않은(즉, 최소한 이론화되거나 변형되거나 회전된) 답변을 얻는 데 적합하다. 이러한 질문의 예는 다음과 같다.

• 사건에 대한 사람들의 우려는 무엇인가?
• 사건에 대한 사람들의 반응(예: 생각, 느낌, 태도)은 무엇인가?
• 사람들이 서비스나 절차를 이용하거나 이용하지 않는 이유는 무엇인가?
• 누가 언제 서비스를 이용합니까?
• 어떤 요소들이 사건으로부터의 회복을 촉진하고 방해합니까?

Qualitative descriptive designs are typically an eclectic but reasonable and well-considered combination of sampling, and data collection, analysis, and re-presentational techniques. In the following sections, I describe typical design features. Qualitative description is especially amenable to obtaining straight and largely unadorned (i.e., minimally theorized or otherwise transformed or spun) answers to questions of special relevance to practitioners and policy makers. Examples of such questions include:

• What are the concerns of people about an event?
• What are people's responses (e.g., thoughts, feelings, attitudes) toward an event?
• What reasons do people have for using or not using a service or procedure?
• Who uses a service and when do they use it?
• What factors facilitate and hinder recovery from an event?

이론적/철학적 지향성
Theoretical/Philosophical Orientation

질적 서술적 연구는 그러한 연구를 수행하는 연구자들이 기존의 이론적 및 철학적 약속에 의해 가장 방해가 되지 않는다는 점에서, 거의 틀림없이 질적 접근의 스펙트럼의 최소 "이론적"이다. 독특한 학문적 전통(예: Lowenberg, 1993)에서 나타나는 특정한 방법론적 틀을 기반으로 하는 현상학적, 근거 있는 이론, 민족학적 또는 서술적 연구와 대조적으로, 질적 서술적 연구는 자연주의 탐구Naturalistic inquiry의 일반적인 원칙에서 도출되는 경향이 있다. 자연주의 탐구는 질적 연구뿐만 아니라, [인간과 동물이 관련된 행동 연구의 형태, 예를 들어, 생태학적 관찰을 포함하는 탐구]의 generic orientation이다. [자연주의 탐구]는 연구에서 이것이 [가능한 범위 내에서 자연상태 또는 있는 그대로의 상태에서 무언가를 연구하겠다는 헌신]만을 의미한다(Linkoln & Guba, 1985; Willems, 1967). 즉, 어떤 자연주의 연구에서도 연구할 변수의 사전 선택, 변수의 조작, 대상 현상에 대해 [특정한 하나의 이론적 관점에 대한 선험적 확약이 없다]. 따라서 자연주의 조사자는 대상 현상이 연구 중이 아닌 경우처럼 스스로 나타날 수 있는 기법을 사용할 것이다.
Qualitative descriptive studies are arguably the least ``theoretical'' of the spectrum of qualitative approaches, in that researchers conducting such studies are the least encumbered by pre-existing theoretical and philosophical commitments. In contrast to phenomenological, grounded theory, ethnographic, or narrative studies, which are based on specific methodologic frameworks emerging from distinctive disciplinary traditions (e.g., Lowenberg, 1993), qualitative descriptive studies tend to draw from the general tenets of naturalistic inquiry. Naturalistic inquiry is a generic orientation to inquiry that includes not only qualitative research, but also forms of behavioral research involving humans and animals, such as ethological observation. Naturalistic inquiry implies only a commitment to studying something in its natural state, or as it is, to the extent that this is possible in a research enterprise (Lincoln & Guba, 1985; Willems, 1967). That is, in any naturalistic study, there is no pre-selection of variables to study, no manipulation of variables, and no a priori commitment to any one theoretical view of a target phenomenon. Accordingly, the naturalist inquirer will use techniques that allow the target phenomenon to present itself as it would if it were not under study.

색조, 톤, 텍스처. 질적 서술적 연구는 현상학, 기초 이론, 민족학, 서술적 연구와 다르지만, 그럼에도 불구하고 이러한 접근법에서 색조, 음색, 질감을 가질 수 있다. 어떤 하나의 질적 접근도 다른 접근의 모양, 소리 또는 느낌을 가질 수 있다. Charmaz(1990)는 그녀의 근거이론 연구를 현상학적 배역을 가지고 있다고 묘사했고, Sandelowski, Holditch-Davis, Harris(1992)는 그들의 근거이론 연구를 현상학적 배역과 서술적 배역을 획득하는 것으로 묘사했다. 실제로 질적 작업은 어떤 방법의 "순수한" 사용이 아니라 [다양한 질감, 톤 및 색조를 가진 방법]의 사용에서 생산된다. 근거이론의 오버톤을 가진 민족지학적 연구도 있고, 민족지학적 오버톤을 가진 근거연구(예: Kittell, Mansfield, & Voda, 1998)가 있다. 
Hues, tones, and textures. Although qualitative descriptive studies are different from phenomenologic, grounded theory, ethnographic, and narrative studies, they may, nevertheless, have hues, tones, and textures from these approaches. Any one qualitative approach can have the look, sound, or feel of other approaches. Charmaz (1990) described her grounded theory studies as having a phenomenological cast, and Sandelowski, Holditch-Davis, and Harris (1992) described their grounded theory study as acquiring phenomenological and narrative casts. Indeed, qualitative work is produced not from any ``pure'' use of a method, but from the use of methods that are variously textured, toned, and hued. There are ethnographic studies with grounded theory overtones (e.g. Timmermans, 1997) and grounded theory studies with ethnographic overtones (e.g., Kittell, Mansfield, & Voda, 1998).

따라서, 질적 서술적 연구는 연구자들이 [지속적 비교]와 같은 근거이론과 관련된 하나 이상의 기술을 사용했기에 근거이론의 오버톤을 가질 수 있지만, 그 연구가 [대상 현상의 이론적 렌더링]을 만들어내지는 않을 수 있다(예: Chow, 1998). 일부 정성적 서술적 연구는 연구자들이 특정 단어와 구절 또는 경험의 순간에 진지하게 주의를 기울였기 때문에 서술적 또는 현상학적 색채를 가질 수 있지만, 목표 현상에 대한 [서술적 또는 현상학적 렌더링]을 생성하지 않을 수 있다(예: Jablonski, 1994). Altheide의 민족지학적 내용분석(1987)은 민족지학적 및 근거 있는 이론이 위에 있는 기법으로서 질적 내용분석(아래에서 더 논의될 것)을 제시한다. 정성적 기술 연구는 또한 페미니즘과 같은 더 큰 패러다임의 음영을 가질 수 있다.
Accordingly, qualitative descriptive studies may have grounded theory overtones as researchers may employ one or more techniques associated with grounded theory, such as a form of constant comparison, but not produce any theoretical rendering of the target phenomenon (e.g., Chow, 1998). Some qualitative descriptive studies have narrative or phenomenological hues as researchers might seriously attend to certain words and phrases, or moments of experience, but not produce narrative or phenomenological renderings of the target phenomenon (e.g., Jablonski, 1994). Altheide's description of ethnographic content analysis (1987) presents qualitative content analysis (to be discussed further below) as a technique with ethnographic and grounded theory overtones. Qualitative descriptive studies may also have shadings from larger paradigms, such as feminism.

다양한 색조, 톤 및 질감의 연구는 방법이나 기술의 잘못된 참조 또는 오용과 혼동되어서는 안 된다. 연구자들은 그들의 프레젠테이션에 대해 어떠한 것도 이러한 기법을 적절하게 또는 전혀 사용했다는 것을 나타내지 않을 때 이론적 샘플링, 일정한 비교, 서술적 분석 및 현상학적 반성을 사용했다고 주장할 수 있다. 연구자들은 혼합 방법 연구에서와 같이 기술을 명시적으로 결합할 수도 있다(Tashakkori & Teddlie, 1998).
Variously hued, toned, and textured studies are not to be confused with erroneous references to or misuses of methods or techniques. Researchers may claim to have used theoretical sampling, constant comparison, narrative analysis, and phenomenological reflection when nothing about their presentation indicates they used these techniques appropriately or at all. Researchers may also explicitly combine techniques, as in mixed method studies (Tashakkori & Teddlie, 1998).

샘플링
Sampling

사실상 패튼(1990)이 설명한 [목적적 샘플링 기법]은 정성적 기술 연구에 사용될 수 있다. 그러나 특히 유용한 것은 [최대 변동 표본 추출]로, 연구자들은 광범위한 현상 및 인구 통계학적으로 다양한 사례에 걸쳐, [대상 현상의 공통적이고 고유한 징후]를 탐색할 수 있다(Sandelowski, 1995). 연구자들은 또한 나타나는 경향이 있거나 흔하지 않게 나타나는 현상을 설명하기 위해 미리 선택된 변수들의 조합을 나타내는 사례(Trost, 1986)를 표본으로 추출하는 것을 선택할 수 있다. 다른 정성적 연구와 마찬가지로 목적적 표본 추출의 궁극적인 목표는 연구의 목적을 위해 정보가 풍부하다고 간주되는 사례를 얻는 것이다. 연구자의 의무는 표본 추출 전략을 목적에 합당한 것으로 방어하는 것이다.
Virtually any of the purposeful sampling techniques Patton (1990) described may be used in qualitative descriptive studies. Especially useful, though, is maximum variation sampling, which allows researchers to explore the common and unique manifestations of a target phenomenon across a broad range of phenomenally and/or demographically varied cases (Sandelowski, 1995). Researchers may also choose to sample cases to represent a combination of pre-selected variables (Trost, 1986), or typical or unusual cases of a phenomenon, in order to describe it as it tends to appear or uncommonly appears. As in any qualitative study, the ultimate goal of purposeful sampling is to obtain cases deemed information-rich for the purposes of study. The obligation of researchers is to defend their sampling strategies as reasonable for their purposes.

데이터 수집
Data Collection

질적 서술적 연구의 데이터 수집은 일반적으로 [사건이나 경험의 누구, 무엇, 어디서, 또는 그 기본적 성격과 형태를 발견하는 데 초점]을 맞추고 있다. 데이터 수집 기법에는 일반적으로 최소에서 중간 정도 구조의 개방형 개인 및 포커스 그룹 인터뷰가 포함된다. 포커스 그룹은 사건에 대한 광범위한 정보를 얻기 위해 질적 연구에 일반적으로 사용된다는 점에서 정량적 조사의 질적 대응물로 유용하게 볼 수 있다. 데이터 수집 기술은 또한 대상 이벤트의 관찰 및 문서 및 아티팩트의 검사를 포함할 수 있다.
Data collection in qualitative descriptive studies is typically directed toward discovering the who, what, and where of events or experiences, or their basic nature and shape. Data collection techniques usually include minimally to moderately structured open-ended individual and/or focus group interviews. Focus groups can usefully be viewed as the qualitative counterpart to the quantitative survey, in that they are typically used in qualitative research to obtain a broad range of information about events. Data collection techniques may also include observations of targeted events and the examination of documents and artifacts.

데이터 분석
Data Analysis

[질적 내용 분석Qualitative content analysis]은 [질적 서술적 연구qualitative descriptive studies]에서 [우선되는 전략적 선택analysis strategy of choice]이다. 정성적 내용 분석은 해당 데이터의 정보 내용을 요약하는 것을 지향하는 언어 및 시각적 데이터의 역동적 분석 형태이다(Altheide, 1987; Morgan, 1993). [정량적 내용 분석]은 기존 코드 집합을 데이터에 체계적으로 적용하는 것과 달리, [정성적 내용 분석]은 데이터 파생, 즉 코드도 체계적으로 적용되지만 연구 과정에서 데이터 자체에서 생성된다. 질적 연구는 일반적으로 데이터를 동시에 수집하고 분석하는 것이 특징이며, 둘 다 서로를 형성한다. 유사하게, [질적 내용 분석]은 연구자들이 새로운 데이터와 데이터에 대한 새로운 통찰력을 수용하기 위해 지속적으로 데이터 처리를 수정하기 때문에 반사적이고 상호작용적이다. 연구자들은 [기존의 코딩 시스템]을 사용하여 정성적 내용 분석 프로세스를 시작할 수도 있지만, 이러한 시스템은 데이터에 가장 잘 적합하도록 분석 과정에서 항상 수정되거나 심지어 새로운 시스템을 위해 완전히 폐기될 수도 있다. Miller와 Crabtree(1992년, 페이지 18)는 분석에 대한 이 접근법을 \"템플릿 분석 스타일\"이라고 묘사했다.''
Qualitative content analysis is the analysis strategy of choice in qualitative descriptive studies. Qualitative content analysis is a dynamic form of analysis of verbal and visual data that is oriented toward summarizing the informational contents of that data (Altheide, 1987; Morgan, 1993).2 In contrast to quantitative content analysis, in which the researcher systematically applies a pre-existing set of codes to the data, qualitative content analysis is data-derived: that is, codes also are systematically applied, but they are generated from the data themselves in the course of the study. Qualitative research is generally characterized by the simultaneous collection and analysis of data whereby both mutually shape each other. Qualitative content analysis is similarly reflexive and interactive as researchers continuously modify their treatment of data to accommodate new data and new insights about those data. Although researchers might also begin the qualitative content analysis process with preexisting coding systems, these systems are always modified in the course of analysis, or may even be wholly discarded in favor of a new system, to ensure the best fit to the data. Miller and Crabtree (1992, p. 18) described this approach to analysis as the ``template analysis style.''

양적, 질적 내용 분석 모두 응답 범주별 응답과 참여자 수를 세는 것을 수반하지만, 질적 내용 분석에서 개수는 목적 그 자체가 아니라 목적을 위한 수단이다. 연구자들은 서술적 통계로 데이터를 수치적으로 요약함으로써 "준통계분석 스타일"(Miller & Crabtree, 1992, p. 18)을 사용할 수 있다. 그러나 카운트의 최종 결과는 데이터의 준통계적 렌더링이라기보다는 부분적으로 발견되고 카운트를 통해 확인된 데이터의 패턴이나 규칙성에 대한 설명입니다. 정성적 내용 분석은 매니페스트(예: 빈도 및 평균)뿐만 아니라, [데이터의 잠재 내용]도 이해하려는 노력이 있다는 점에서 정량적 내용 분석보다 [해석의 영역]으로 더 멀리 이동한다. 그러나 [정성적 내용 분석]은 자체적인 용어 외에 다른 용어로 데이터를 재표현할 권한이 없다는 점에서 [질적 분석 접근법 중 가장 해석성이 낮다]. 예를 들어, Smeltzer(1994)는 다발성 경화증을 앓고 있는 임산부의 우려를 질문하고 이러한 우려를 분류하기 위해 그녀의 연구 결과를 정리함으로써 설명하였다. Geller와 Hotzman(1995)은 포커스 그룹에서 이 정보를 도출한 후 그들의 인식을 요약함으로써 유전자 검사에 대한 의사의 인식을 기술했다. 이러한 연구에서 우려는 우려로, 인식은 인식으로 남았다. 예를 들어, 그것들은 이론의 차원에서 [어떤 사건의 조건이나 결과]가 되지 않았고, 서사적 렌더링이라는 차원에서 자아를 "전략적"으로 표현하지 않았다(Riessman, 1990). 
Both quantitative and qualitative content analyses entail counting responses and the numbers of participants in each response category, but in qualitative content analysis, counting is a means to an end, not the end itself. Researchers may use a ``quasi-statistical analysis style'' (Miller & Crabtree, 1992, p. 18) by summarizing their data numerically with descriptive statistics. But the end result of counting is not a quasistatistical rendering of the data, but rather a description of the patterns or regularities in the data that have, in part, been discovered and then confirmed by counting. Qualitative content analysis moves farther into the domain of interpretation than quantitative content analysis in that there is an effort to understand not only the manifest (e.g., frequencies and means), but also the latent content of data. Yet qualitative content analysis is the least interpretive of the qualitative analysis approaches in that there is no mandate to re-present the data in any other terms but their own. For example, Smeltzer (1994) described the concerns of pregnant women with multiple sclerosis by asking them about their concerns and then organizing her findings to catalog these concerns. Geller and Hotzman (1995) described physicians' perceptions concerning genetic testing by eliciting this information from them in focus groups and then summarizing their perceptions. In these studies, concerns remained concerns and perceptions remained perceptions. They did not become, for example, conditions for or consequences of some event in a theory, nor a ``strategic'' representation of self in a narrative rendering (Riessman, 1990).

데이터 재표시
Data Re-Presentation

질적 서술적 연구의 예상 결과는 [데이터에 가장 잘 맞는 방식으로 구성된 데이터의 정보 내용을 직접 서술적으로 요약]한 것이다. 예를 들어, Smeltzer(1994)는 임신 기간별로 요약을 정리했다. 즉, 그녀는 다발성 경화증을 가진 여성의 임신 관련 우려를 임신 전, 태반 전, 부분 내 및 출산 후 나타나는 것으로 묘사했다. Geller와 Holtzman(1995)은 정보를 도출한 주요 주제를 반영하는 두 가지 주요 범주로 요약을 구성했다. (a) 공개, 비지향성, 기밀성, 그리고 이러한 인식의 성별과 특수성 차이, 그리고 (b) 장벽과 통합 동기에 대한 인식.신뢰도, 자금 조달, 환자 수요, 그리고 이러한 인식의 성별과 전문성 차이를 포함한 1차 진료 관행에 대한 넷틱 테스트. 데이터를 배열하는 다른 방법으로는 (a) 사건의 실제 또는 역순, (b) 가장 널리 퍼진 주제, (c) 연구자가 사건의 광범위한 맥락을 설명하는 것에서 특정 사례로, 또는 특정 사례에서 광범위한 맥락을 설명하는 것으로 선택하는 점진적 집중, (d) 일, 주, 월 또는 연도-가 있다.실제 인(들)의 생활 내 접근, 그리고 (e) 동일한 사건이 둘 이상의 참가자의 관점에서 설명되는 라쇼몬 효과(Sandelowski, 1998; Wolcott, 1994, p. 17.
The expected outcome of qualitative descriptive studies is a straight descriptive summary of the informational contents of data organized in a way that best fits the data. For example, Smeltzer (1994) arranged her summary by time in pregnancy; that is, she described the pregnancyrelated concerns of women with multiple sclerosis as they appeared pre-conceptionally, antenatally, intrapartally, and post-delivery. Geller and Holtzman (1995) arranged their summary in two major categories reflecting the major topics about which they elicited information:

• (a) perceptions of obligations for disclosure, nondirectiveness, confidentiality, and the gender and specialty differences in these perceptions and
• (b) perceptions of barriers and incentives to incorporate genetic testing into primary care practice, including confidence, financing, patient demand, and, again, the gender and specialty differences in these perceptions.

Other ways to arrange data include:

• (a) actual or reverse chronological order of events;
• (b) most prevalent to least prevalent theme;
• (c) progressive focusing, whereby researchers choose to move either from describing the broad context of an event to particular cases, or from particular cases to the broad context;
• (d) a day-, week,month-, or year-in-the life approach of actual person(s); and,
• (e) the Rashomon effect, whereby the same event is described from the perspective of more than one participant (Sandelowski, 1998; Wolcott, 1994, pp. 17±23).

그러한 요약은 (표면과는 달리) 데이터의 더 침투적인 재표현에 쉽게 도움이 될 수 있지만, 정성적 서술적 연구가 방법론적으로 "좋다"거나 실질적으로 가치가 있다고 간주되기 위해서는 필요하지 않다. 예를 들어, 라쇼몬 효과 접근법은 동일한 사건에 대한 다른 참가자의 버전에 대한 추가 연구자 해석에 적합하지만, 정성적 기술 연구를 수행하는 연구자는 이러한 버전을 포괄적이고 정확하게 설명해야 한다. 따라서 이러한 요약은 주로 최종 제품으로서, 둘째, 추가 연구를 위한 진입점으로서 가치가 있다.
Although such summaries might easily lend themselves to more penetrating (as opposed to surface) re-presentations of data, these are not required for a qualitative descriptive study to be considered methodologically ``good'' or practically valuable. For example, the Rashomon effect approach lends itself to further researcher interpretations of different participants' versions of the same event, but the mandate for the researcher conducting a qualitative descriptive study is comprehensively and accurately to detail these versions. Accordingly, such summaries are valuable primarily as end-products and, secondarily, as entry points for further study.

[수집된 데이터를 가장 잘 포함하고, 목적한 청중과 가장 관련성이 높은 방식으로 구성된 사건에 대한 설명적 요약] 이외의 어떤 것도 생산해야 할 의무는 없다. 그러나 이러한 요약은 그 자체로 미래의 기초 이론이나 현상학 연구를 위한 작업 개념, 가설 및 주제적 순간을 산출하거나, 그 자체로 초기 버전을 포함할 수 있다.
There is no mandate to produce anything other than a descriptive summary of an event, organized in a way that best contains the data collected and that will be most relevant to the audience for whom it was written. But such summaries may themselves yield the working concepts, hypotheses, and thematic moments for future grounded theory or phenomenologic study, or themselves contain early versions of them.

결론
CONCLUSION

결론적으로 [질적 서술적 연구]는 [현상에 대한 직선적 묘사]를 원할 때 선택하는 방법이다. 이러한 연구는 특히 누가, 무엇을, 어디서 일어났는지 알고 싶어하는 연구자들에게 유용하다. 모든 질적 연구 접근법의 기초가 되지만, 질적 서술적 연구는 그 자체로 가치 있는 방법론적 접근을 구성한다. 연구자들은 그들의 방법을 [정성적 기술qualitative description]이라고 명명하는 것에 부끄러워하지 않아도 된다. 만약 그들의 연구가 다른 방법의 과장된 톤으로 디자인되었다면, 그들은 이러한 다른 방법들을 부적절하게 명명하거나 구현하는 대신, 이러한 과장된 톤들이 무엇이었는지를 설명할 수 있다. 그래서, 질적인 묘사는 어떻게 되었나요? 그 방법은 살아있지만, 질적 연구의 가치 있고 독특한 구성 요소로 재발견되고 건강 과학 연구를 위해 복구되면 된다.
In conclusion, the qualitative descriptive study is the method of choice when straight descriptions of phenomena are desired. Such study is especially useful for researchers wanting to know the who, what, and where of events. Although foundational to all qualitative research approaches, qualitative descriptive studies comprise a valuable methodologic approach in and of themselves. Researchers can unashamedly name their method as qualitative description. If their studies were designed with overtones from other methods, they can describe what these overtones were, instead of inappropriately naming or implementing these other methods. So, whatever happened to qualitative description? The method is alive and well, but needs only to be re-discovered as a valuable and distinctive component of qualitative research and recovered for health sciences research.

Copyright 2000 John Wiley & Sons,

만약 우리가 하던대로 한다면, 얻던대로 얻을 것이다: 아카데믹 메디신 다시 생각하기 (Med Teach, 2018)
If we keep doing what we’re doing we’ll keep getting what we’re getting: A need to rethink “academic” medicine
Michael Wilkesa, Christine Casselb and Marc Klaub

학술 의료 센터
The academic medical center

"교육 병원"의 개념은 적어도 1000년 전으로 거슬러 올라간다. 오늘날 우리는 "학술 의학"이 무엇을 의미하는지, 그리고 학술의료센터(AMC)가 무엇인지 물어보는 것이 타당하다. [학술 의학의 사회적 정의]는 공중의 건강을 증진시키는 것을 목표로 생각하고, 계획하고, 연구하고, 연구하고, 평가하고, 발견하고, 혁신하고, 가르치고, 배우는 의료 시스템의 능력을 포함할 것이다. [AMC에 의해 정의된 사명]과 [환자와 지역사회가 기대하는 사명] 사이에는 종종 불일치가 있다. 국제공동위원회(Joint Commission International)는 학술 의료센터를 의과대학과 행정적으로 통합되고 의과대학생 교육의 주요 현장이며 임상연구에 종사하고 있기 때문에 보다 실용적이다(JCI 2017). Academic centers 내에서는 학술원이 nonacademic centers보다 더 높은 수준의 의료 서비스를 제공한다는 암묵적인 가정이 있다. 그러나 학계에서는 전문화된 3차 진료, 고비용 진료 및 비병원 진료와 통합되지 않는 진료에 초점을 맞추고 있다. 학술 의학은 급성 3차 및 4차 치료에 중점을 두고 있지만, 재활, 만성 치료, 1차 치료, 건강, 예방 및 유지와 같은 분야에서 낮은 우선순위가 부여된다.
The concept of the “teaching hospital” dates back at least 1000 years (Aretz 2011). It is fair to ask today what do we mean by “academic medicine” and what is an academic medical center (AMC)? A social definition of academic medicine would include the ability of a health care system to think, plan, study, research, evaluate, discover, innovate, teach, and learn all with the goal of improving the health of the public. There is often a mismatch between the mission defined by the AMC and those expected by patients and communities. The Joint Commission International is more pragmatic as it defines an academic medical center as one that is administratively integrated with a medical school, is the principal site for the education of medical students, and is engaged in clinical research (JCI 2017). Within academic centers there is an unspoken assumption that academic centers also provide higher quality care than nonacademic centers. But academia also connotes a focus on specialized tertiary care, high cost care, and care that is often not integrated with non-hospital care (Cassel and Wilkes 2017). While academic medicine focuses on acute tertiary and quaternary care, there are areas such as rehabilitation, chronic care, primary care, wellness, prevention, and maintenance that are given low priority.

아레츠(개인 커뮤니케이션)는 [두 개의 연속체(예측가능성과 복잡성)]를 기반으로 의료의 4개 사분면(그림 1)을 설명한다. 통합 의료 시스템은 반드시 동일한 지리적 위치에 있는 것은 아니지만 이러한 각 영역에서 치료를 제공할 수 있다.
Aretz (personal communication) describes four quadrants (Figure 1) of health care based along two continua (predictability and complexity). An integrated health care system is capable of providing care in each of these areas although not necessarily at the same geographic location.

이러한 통합 시스템에서의 훈련은 많은 이점을 제공한다. 정보 기술 자원 저장소(Stuart and Triola 2015)가 점점 커지고 있기 때문에 교육적 관점에서 볼 때 더 이상 수십 개의 학과와 대규모 기초 과학 교수진이 있는 의대를 둘 필요가 없습니다. 사회가 필요로 하는 맥락에서 대학, 병원, 그리고 미래의 건강 제공자들의 훈련을 조사하는 새로운 표준이 필요하다. 정규 교육과정은 학생들이 무엇을 가르치고 전문적인 실습이 어떻게 모델링되고 강화되는지에 일관성이 있도록 비공식적인 숨겨진 교육과정과 동기화될 필요가 있다. 우리의 현재 시스템에서, 학생들은 신중하고 종종 (의식적인 고려 없이) 단순히 평가 연습에서 덜 가치가 있는 자료를 무시하면서 전략적으로 학습한다. 이와 같이 [윤리, 인구 의학, 의사소통 기술, 품질 향상, 전문직 간 협업, 임상 추론과 같은 내용]은 평가 점수에 작은 비율만 기여하므로 종종 학생들의 평가를 준비하는 집중 학습 자료로 무시된다.
Training in such an integrated system provides numerous advantages. Given the growing repository of information technology resources (Stuart and Triola 2015), from an educational perspective it is no longer necessary to have medical schools with dozens of departments and a large basic science faculty. There is a need for a new normal that examines the role of the university, the hospital, and the training of tomorrow’s health providers in the context of society’s needs. The formal curriculum needs to synchronize with the informal hidden curriculum (Hafferty 1998) so that there is consistency in what the students are taught and how professional practice is modeled and reinforced. In our current system, students are prudent and learn strategically, often (without conscious consideration) neglecting material that is simply worth less on assessment exercises. As such, content such as ethics, population medicine, communication skills, quality improvement, inter-professional collaboration, and clinical reasoning contribute only a small percentage to assessment scores and are thus often ignored as student focus learning material that will prepare them for their assessment.

"학술적"의 재정의
Redefining “academic”

미래의 의사를 훈련시키는 것은 올바른 내용, 올바른 교사, 올바른 환경을 올바른 학생들에게 제공해야 합니다. 하버드 경영학 교수인 Christensen은 ["파괴"]를 [시장을 크게 변화시키는, 덜 비싸고 더 효율적인 프로세스를 허용하는 새로운 접근법]으로 정의한다. 철강 제조, 휴대폰 또는 자동차 조립의 경우, 파괴의 이점이 분명했다. 그러나 의료 교육의 경우, 우리의 시스템(공장)은 노동력에 필요한 제품(공급자)을 생산하지 못하고 있습니다. 우리가 모래 속에 머리를 파묻고 있다면, 종국에는 [다른 사람들이 우리에게 변화를 강요]하거나, [다른 전문직들이 개입하여 새로운 역할을 맡길 것]이다. 또는, 우리는 (자발적으로) 새로운 교육 모델을 살펴볼 수 있습니다. 우리가 캔자스에서 활강 스키어들을 훈련시키는 것을 선택하지 않을 것처럼, 대학에서 의사들을 훈련시키는 것이 타당한지 생각해 볼 때이다. 환자, 다양한 지역사회, 의료 제공자, 지불자 및 의대 지원자를 포함한 이해관계자가 미래의 의사를 정의하는 고품질 전달 시스템에서 교육과 훈련을 연결하는 새로운 방법이 있는가?
Training tomorrow’s doctor’s needs to provide the right content, the right teachers, and the right environment, to the right students. Christensen, a Harvard Business Professor, defines “disruption” as a new approach that allows for less expensive and more efficient processes that significantly alter the market (Christensen 1997). In the case of steel manufacturing, cell phones, or automobile assembly the benefits of disruption have been clear. But in the case of medical education our system (factories) is not producing the products (providers) we need in the workforce. We can keep our heads in the sand and eventually either others will force change upon us or other professions will step in and assume new roles. Or, we can look at new models of education. Just as we would not opt to train downhill skiers in Kansas (sorry Kansas), it is time to think about whether training doctors in universities makes sense. Are there new ways of connecting education and training with the delivery of care in high quality delivery systems that engage stakeholders including patients, diverse communities, health care providers, payers, and medical school applicants in defining tomorrow’s doctors?

두 시스템(교육 및 의료)이 각각 최고의 의사 교육에 대한 강력한 기득권을 가지고 상호 작용하는 의료 제공 환경입니다. 고용주만이 잘 훈련된 인력 개발에 강한 관심을 가지고 있는 것은 아니다(그림 2).
It is in the health care delivery environment where the two systems (education and health care) interface each with a strong vested interest in the training the very best physicians. Employers are not the only ones with a strong interest in the development of a well trained workforce (Figure 2).

차별화 특성
Differentiating characteristics

의과대학은 기존 의과대학과는 크게 다를 것이다. 왜냐하면, KP의 차별화된 특성을 활용하여 사회적 사명을 지닌 예방 중심의 인구 기반 통합 돌봄 전달 모델로 활용하고, 이를 필요로 하는 회원들을 위한 세계적 수준의 전문 돌봄이 가능할 것이기 때문이다.
The School will be significantly different from traditional medical schools leveraging KP’s differentiating characteristics as a prevention-focused, population-based integrated care delivery model with a social mission, capable of world-class specialty care for the members who need it.

학교의 가장 중요한 차별화 요소는 카이저 퍼머넌트 메디컬 케어 프로그램의 일부가 된다는 것입니다. 카이저는 인구의 총체적 건강에 초점을 맞춘 치료와 자금 조달의 통합 모델입니다. Permanente Medicine으로 알려진 치료 모델은 증거 기반, 팀 제공, 기술 지원 및 문화적으로 책임 있는 것으로 가장 잘 특징지어집니다. 이러한 차이는 임상 치료, 교육, 연구/발견 및 사회적 사명으로 구분된다. 커뮤니티 건강, 발견 및 혁신, 다양성과 포용, 웰빙 등 여러 주제가 네 가지 영역에 모두 포함되어 있습니다.
The School’s most important differentiator is that it will be part of the Kaiser Permanente Medical Care Program, an integrated model of care and financing focused on the total health of populations. The model of care, known as Permanente Medicine best characterized as evidence-based, team delivered, technology enabled, and culturally responsible. These difference are broken down into clinical care, education, research/discovery, and social mission. Several themes – community health, discovery and innovation, diversity and inclusion, and wellness – are embedded in all four areas.

[다양성 채용 어젠다]는 의대 발전의 핵심 고려 사항이 될 것이다. KP의 현재 강력한 국가 프로그램을 기반으로, 건강 격차를 해결하고 특수 모집단에 관심이 있는 예비 학생들에게 독특한 임상 학습 기회를 제공할 것이다.
The diversity recruitment agenda will be a key consideration in the development of the medical school, building on KP’s current robust national programs that address health disparities and offer unique clinical learning opportunities for prospective students interested in special populations.

모든 미국의 의과대학과 마찬가지로 KP 의과대학은 오늘날 의과대학에서 대표성이 낮고 사회경제적으로 불리한 학생들을 포함하여 다양하고 포괄적인 학생 단체를 모집하는 데 상당한 도전에 직면할 것이다. 이 미션 크리티컬 다양성 목표를 달성하기 위해 학교는 KP가 다양한 인력을 창출하는 데 사용한 많은 측면을 활용할 필요가 있습니다.
Like all US medical schools, a KP medical school will face a significant challenge in recruiting a diverse and inclusive student body, including the underrepresented and socioeconomically disadvantaged students in medical schools today. To achieve this mission-critical diversity goal, the School will need to leverage many aspects that KP has used to create a diverse workforce.

많은 면에서 국가의 요구는 예방과 환자 권한 부여, 만성 질환의 효과적인 관리, 소득 극대화보다는 임상 증거와 환자에 중점을 두는 것, 통합 팀 간의 진료 조정, 보건 서비스 연구 등 KP가 뛰어난 동일한 분야이다.
In many ways, the needs of the nation are the same areas where KP excels, such as the emphasis placed on prevention and patient empowerment, effective management of chronic conditions, a focus on clinical evidence and the patient rather than on maximizing income, care coordination across an integrated team, and health services research.

올바른 내용, 올바른 교사, 올바른 환경을 파악하고 올바른 학생을 선발하는 것은 쉽지 않지만 우리가 수년간 academic center에서 배운 것이 있기에 가능하다. 환자, 직원 및 교수진과의 의미 있는 종단적 연결은 내일을 위한 리더를 훈련하는 데 매우 중요합니다. 교수진이 교수 전문성과 효과성을 가르칠 수 있는 시간을 제공하고, 급여를 지급하며, 지속적인 교수 개발을 제공하여 학습 커뮤니티를 최적화하고자 합니다.
Identifying the right content, the right teachers, and the right environment, and selecting the right students is not easy but is possible because of what we have learned from academic centers over the years. Meaningful longitudinal connections with patients, staff, and faculty are crucial to training leaders for tomorrow. By identifying unique approaches to student learning where faculty are provided time to teach, paid, and academically recognized for their teaching expertise and effectiveness, and provided ongoing faculty development to augment their skills we seek to optimize our learning community.

Academic medical centers는 전통적으로 환자와 지역 사회의 요구보다는 개별 교수진과 대학의 연구 요구를 충족시켜 왔다. KP는 현재 1,100만 명의 모든 회원에 대한 데이터를 제공하는 단일 전자 의료 기록에 초기에 투자하여 의료가 제공되는 모든 영역에서 유사한 환자 그룹에 걸친 의료 제공자 및 의료 품질에 대한 비교 데이터를 허용한다. 환자는 자신의 의료 정보에 대한 온라인 액세스, 예약 및 예약 변경, 담당 간호사나 의사에게 이메일 문의 전송, 특정 조건에 대한 건강 정보 및 코칭 등을 통해 권한을 부여받는다.
Academic medical centers have traditionally served the research needs of individual faculty and the University rather than the needs of patients and local communities. KP invested early in a single electronic medical record that now supplies data on all 11 million members, allowing comparative data on providers and quality of care across similar groups of patients in all arenas where care is delivered. Patients are empowered through access on-line to their own medical information, and to scheduling and changing appointment, sending email queries to their practice nurse or physicians, and receiving health information and coaching for specific conditions.

KP에서의 임무는 전통적인 학술 의과대학의 임무와 다르다(표 1). 학술 보건 센터는 두 축을 따라 네 개의 사분면(그림 2)으로 정렬하는 것처럼 보입니다.
The mission at KP is different from that of a traditional academic medical school (Table 1). Academic health centers seem to align themselves into four quadrants (Figure 2) along two axes.

 

Y축에는 사회적 사명 → 재정적 성공/성공에 대한 집중이 있습니다. x축에는 혁신적인 임상 실습과 제공 → 과학적 연구에 대한 헌신의 연속체가 있습니다. 완전히 사분면에 속하는 학교는 없지만, KPSOM은 사회적 임무와 임상 실습(사분면 1)에 더 중점을 두고 있다.
On the y-axis is a continuum from commitment to social mission → focus on financial success/prestige. On the x-axis is a continuum from commitment to innovative clinical practice and delivery → commitment to scientific research. While no school sits entirely within on quadrant, KPSOM is more focused on the social mission and clinical practice (quadrant 1).

의과대학의 스트레스는 4년 중 어느 시점에 학생들의 4분의 1이 심각한 우울증을 포함하여 정서적 행복의 감소를 초래하는 것으로 잘 입증되었다. 그 중 일부는 웰빙과 자존감을 손상시키고 회복력에 기여하지 않는 학습 환경 때문이다. 여기에다 자신들도 지쳐 있고 환경이 건강한 일과 삶의 균형에 도움이 되지 않는 교수진을 추가한다. KPSOM은 오랫동안 웰빙을 노동력으로 삼아온 인프라 지원과 리더십을 제공하는 시스템으로 소모가 적은 거대 퍼머넌트 의료단(2만2,000명 이상 의사)에서 선발해 업무에서 기쁨을 전하는 내과 교직원을 선발할 계획이다.

The stresses of medical school have been well documented to produce declines in emotional well-being, including serious depression among a quarter of students at some point in their four years (Dyrbye et al. 2010). Some of this is because of learning environments that impair wellbeing and self-esteem and do not contribute to resiliency (Cassel and Wilkes 2017). Add to this a faculty who are themselves burned out and the environment is not conducive to healthy work-life balance. KPSOM plans to select physician faculty who convey joy in their work, selected from the enormous Permanente medical group (more than 22,000 physicians) where burnout is lower as a result of a system that provides infrastructure support and leadership that has long made wellness a workforce a priority.

교수개발을 조직적 관점에서 바라보기: 교훈 공유 (Med Teach, 2021)
Viewing faculty development through an organizational lens: Sharing lessons learned
Klodiana Kolomitroa , Joanne Hamiltonb, Karen Lesliec, Lara Hazeltond, Kiran Veerapene, Kenna Kelly-Turnerf and David Keeganf

결과.
Results

정량적 소견
Quantitative findings

많은 참가자들이 최근 [자금, 보고 구조 및 활동]에서 변화를 경험했다. 소속 기관의 유닛이 어디에 위치하는지, 내부적으로 어떻게 조직되는지에 차이가 있었다. 일부 유닛(36%)은 독립적이었고, 다른 유닛은 지속적 전문 개발(CPD) 유닛과 같은 다른 유닛과 제휴하거나 합병되었다. FD 부서는 리더십 개발, 새로운 교수진 지향, 커리큘럼 개발 및 갱신, 교육 연구 육성, 교사 개발을 포함한 일부 책임 영역을 공유했다. 대부분의 FD 사업부는 다양한 건강 전문 교육 프로그램(그림 1)에 프로그래밍을 제공하고 여러 이해관계자 그룹(그림 2)을 개발하는 데 도움을 주었다.

Many participants experienced recent changes in funding, reporting structure, and activity. There were differences in where units were situated in their institutions and how they were internally organized. Some units (36%) were stand-alone, while others were affiliated or merged with other units such as Continuing Professional Development (CPD) units. FD units shared some areas of responsibility which included leadership development, new faculty orientation, curriculum development and renewal, fostering educational research, and teacher development. Most FD units offered programming to a variety of health professional education programs (Figure 1) and helped develop multiple stakeholder groups (Figure 2).

 

 

정성적 소견
Qualitative findings

볼만과 딜의 프레임워크를 사용하여 다음과 같은 주제를 파악하였다.

• 심볼릭 프레임에서는 [FD 유닛으로서의 정체성 결여]가 제약 요인으로 간주되었다.
• 정치적 프레임에서는 [가시성visibility을 높이는 것]이 늘 가치를 보장하는 것은 아니지만 강화 요인으로 간주되었다.
• 구조 프레임 내에서 [실행 범위를 확장하는 것]은 강화 요인으로 간주되었다. 단, 자원 증가를 동반하지 않는 경우 제약 요인이 될 수 있었다.
• HR 프레임에서 [리더십의 변화와 인적 자원에 대한 불확실성으로 인한 불안감]이 제약 요인으로 간주되었다.

Using Bolman and Deal’s framework, the following themes were identified:
In the Symbolic frame, lack of identity as a FD unit was seen as a constraining factor;
in the Political frame, developing visibility was seen as an enhancing factor, though it did not always ensure being valued;
within the Structural frame, expanding scope of practice was seen as an enhancing factor, though it could also be a constraining factor if not accompanied by increased resources; and
in the HR frame, a sense of instability due to changing leadership and uncertainty about human resources was seen as a constraining factor.

기호 프레임: FD 단위로서의 정체성 결여가 제약 요인으로 보였다.
Symbolic frame: Lack of identity as a FD unit was seen as a constraining factor

[FD 단위로서의 정체성 결여]가 참가자들에 의해 보고되었으며, 그들의 작업에 제약 요인으로 간주되었다. 참석자들은 이해 관계자들이 [FD가 무엇이며, FD의 핵심 비즈니스와 비전을 구성하는 것이 무엇인지] 종종 혼란스러워한다는 점에 주목했습니다. 일반적인 예는 [FD와 CPD 사이의 중복]으로 '[CPD 유닛과의 혼선, 그리고 각 센터의 정렬과 특정 초점을 정의하기 위해 수행해야 하는 경계짓기 작업boundary work]'으로 이어졌다(S11). 참가자들은 다른 부서에서 예를 들어 '교육 테크놀로지 그룹 및 FD 작업에 대한 혼란'과 같은 교육을 제공할 때 혼란을 보고했습니다. 교육 테크놀로지 사용에 대한 교육도 수행하지만, FACDEV의 문제이기도 합니다(S3). 이는 FD 유닛이 다른 유닛과 통합되었을 때, 예를 들어, S8의 경우 '사무실은 서로 다른 개별 사무실의 통합'이라고 언급했을 때 복합적으로 작용한 것으로 보입니다. 이것은 아직 우리에게 비교적 새로운 것이므로, 약간의 학습과 정체성 형성이 필요할 것이다.' 다른 사람들과 통합하고 협력하는 것은 유익할 수 있지만, [FD가 무엇이고, 무엇을 하는지]에 대한 기관 파트너들의 '혼란'을 초래할 수도 있다.
A lack of identity as a FD unit was reported by participants, and was seen as a constraining factor in their work. Participants noted stakeholders were often confused about what FD was, and what constituted its core business and vision. A common example was overlap between FD and CPD leading to ‘Confusion with the Office of CPD, and boundary work that needs to take place to define the alignment and specific foci of each centre’ (S11). Participants also reported confusion when other units provided training for example: ‘confusion around the educational technology group and our FD work. They (edutech) do training as well, on using educational technologies, but it is also a FACDEV issue’ (S3). This seemed to be compounded when FD units were integrated with other offices, such as for S8 who noted that their ‘office is an amalgamation of different separate offices […]. This is still relatively new to us, so there will [need to be] some learning and identity formation’. Integrating and collaborating with others can be beneficial, and yet can also result in ‘confusion’ on the part of institutional partners regarding what FD is and does.

정치 프레임: 가시성 개발은 항상 가치를 보장하지는 않았지만, 향상 요소로 간주되었습니다.
Political frame: Developing visibility was seen as an enhancing factor, though it did not always ensure being valued

이 프레임의 주요 주제는 [가시성 개발]이었는데, 이는 항상 가치를 보장하지는 않았지만, 강화 요인으로 간주되었습니다. 눈에 보이는 것은 교수 개발자들이 그들의 임무를 수행할 수 있는 능력과 관련이 있었다. FD 리더는 여러 가지 방법으로 가시성을 개발하기 위해 노력했습니다. [조직의 전략 계획에 관여]하고 [계획과 정책 개발에 역할]을 하는 것이 몇 가지 사례로 확인되었다. S5는 '대화, 정책 업무, 위원회 회의 참여, 전략기획 참여 등을 통해 업무를 수행한다'고 평했다. S9이 지적했듯이, '우리는 시간이 지남에 따라 더 많은 가시성과 더 많은 buy-in을 얻고 있다.' 가시성을 높이기 위해 나타난 한 가지 전략은 동맹을 맺는 것이었다. FD 유닛은 제휴를 통해 '노력 및 중복 방지'(S2), '공동 개발 촉진'(S4), '새로운 프로그램 제공'(S9), '존중 구축'(S12), '교차 프로모션'(S7) 및 'FD 이벤트 이외의 교육 및 학습 대화(S6)에 적극적임'(S6) 등에 대한 시너지 효과를 제공했다고 보고했습니다.
The main theme in this frame was developing visibility, which was seen as an enhancing factor, though it did not always ensure being valued. Being visible was linked to the capacity of faculty developers to fulfill their mandates. FD leaders worked to develop visibility in a number of ways. Involvement in their organization’s strategic plan and having roles in planning and policy development were identified as some examples. As S5 commented, ‘We work through conversations, policy work, committee meeting participation, participation in strategic planning’. As S9 noted, ‘we are getting more visibility and more buy-in over time’. One strategy that appeared to enhance visibility was forging alliances. FD units reported that alliances helped synergize ‘efforts and prevent duplication’ (S2), ‘facilitate co-development’ (S4), help ‘deliver new programs’ (S9), ‘build respect’ (S12), ‘cross promote’ offerings (S7) and ‘stay active in the teaching and learning conversation outside of FD events’ (S6).

그러나 가시성이 항상 FD의 가치와 동일하지는 않았다. S1이 공유했듯이, '교수 개발의 명백한 중요성과 우리가 실제로 사용되는 방법 사이에는 단절이 있다. 우리가 일상적인 운영이나 교육과정 전달에 잘 통합되지 않는다고 생각한다.' 비슷하게, S5는 학교에서 가시성을 보고했지만, 그들은 또한 '우리가 하는 일에 대한 인정credit을 얻는 것은 조직의 문화, 그것의 가치, 그리고 그것이 "가치worthiness" 척도에서 우리와 같은 단위를 위치시키는 것에 영향을 받는 어려운 균형 행위'라고 언급했다. FD에 대한 전반적인 인식 부족은 여전합니다. '대부분의 교수진[구성원]은 아직 'FD'가 무엇인지 모르는 것 같습니다'(S9).
However, visibility did not always equate with valuing of FD. As S1 shared, ‘there is a disconnect between the apparent importance of faculty development and how we are actually utilized. I don’t think we are integrated well into the daily operations or delivery of the curriculum’. Similarly, while S5 reported visibility in their school, they also noted that ‘getting credit for the work we do is a tough balancing act, one that is influenced by the culture of the organization, its values, and where it positions units such as ours on the “worthiness” scale’. An overall lack of awareness about FD remains: ‘I don’t think most faculty [members] know yet what ‘Faculty Development’ is’ (S9).

구조 프레임: 자원 증대를 수반하지 않을 경우 제약 요인이 될 수 있지만, 실천 범위를 확대하는 것은 강화 요인으로 간주되었다.
Structural frame: Expanding scope of practice was seen as an enhancing factor, though it could also be a constraining factor if not accompanied by increased resources

이 틀에서 주요 주제는 [실천practice 범위를 확장하는 것]이었는데, 이는 자원증가를 동반하지 않을 경우 제약 요인이 될 수도 있지만, 강화 요인으로 간주되었다. 실무 범위는 제공되는 다양한 프로그램과 FD 부서에서 서비스하는 이해 관계자의 유형을 참조했습니다. 거의 모든 FD 부서는 지난 1년 동안 형평성, 다양성 및 포괄성, 리더십 개발, 가상 의료 감독 및 전문성과 같은 분야에서 실무 범위가 확대되었다고 보고했습니다. 응답자의 64%가 교육 관련 정책 개발에 참여했다. 한 유닛은 '교직원 지원… 교사, 지도자, 연구자 등 모든 학문적 역할과 일반 경력 개발 지원'으로 범위가 확대되었다고 보고했다(S6). 많은 사람들이 디지털 변환과 강력한 온라인 존재, 그리고 더 많은 프로그래밍 빈도로 전달 모드의 다양화를 보고했다. S7에서 지적했듯이, '우리는 최근 우리의 범위scope를 기하급수적으로 늘렸습니다. 나는 우리가 잠시 동안 여기에 머무르는 것이 행복할 것이라고 생각한다.'
In this frame the main theme was expanding scope of practice, which was seen as an enhancing factor, though it could also be a constraining factor if not accompanied by increased resources. Scope of practice referred to the variety of programs offered and types of stakeholders that FD units serve. Almost all FD units reported over the past year an expansion in scope of practice, in areas such as equity, diversity and inclusion, leadership development, supervision in virtual care, and professionalism. Sixty four percent of respondents participated in education-related policy development. One unit reported that their scope had increased to ‘support faculty members … in all their academic roles including teacher, leader, and researcher, as well as in their general career development’ (S6). Many reported a diversification of delivery modes with digital transformation and robust online presences, and a greater frequency of programming. As noted by S7, ‘We have just increased our scope exponentially. I think we will be happy to stay here for a while’.

FD 장치의 기능을 강화하기 위해 실행 범위를 확장하는 것처럼 보였지만, 일부는 이것이 반드시 증가된 자원이나 자금과 함께 오는 것은 아니어서 FD 실행을 제한할 수 있다고 언급했다. S7이 공유한 것처럼, '많은 사람들이 내가 하고 있는 것에 관심을 갖고 정치적으로 지지하고 있지만, 반드시 재정적으로 그렇지는 않다.'
While expanding scope of practice appeared to enhance FD units’ function, some noted this did not necessarily come with increased resources or funding, which can constrain FD practice. As shared by S7, ‘Lots of people are invested and looking to support what I am doing politically but not necessarily financially’.

인적 자원 프레임: 리더십의 변화와 인적자원에 대한 불확실성으로 인한 불안감이 제약 요인으로 보였다.
Human resources frame: A sense of instability due to changing leadership and uncertainty about Human Resource was seen as a constraining factor

[인적자원 프레임]의 주요 주제는 [리더십의 변화와 인력에 대한 불확실성으로 인한 불안감]이었으며, 이는 FD 부서의 임무 수행 능력을 제한하는 것으로 보였다. 일부 의견제출자들은 불충분한 자원을 '전반적으로 더 많은 직원을 두는 것이 더 나을 것이다'와 유사한 의견으로 표현하였다. 나는 본질적으로 다른 일도 하는 큰 사무실에서 FD를 하는 유일한 사람이다(S2). 리소스가 부족하더라도: '우리는 너무 거절하지 않으려고 노력하고 사람들이 요구하는 것을 유머, 친절, 그리고 많은 리소스로 주려고 노력합니다.' (S9) 또한 많은 이들이 '조직의 리더십 변화'와 '행정직원의 이직'에 대해 우려를 표하였고, '업무 성격의 변화'를 예상하였다(S8). 이에 대해 S1은 '교직원 육성 프로그램 전체가 없어질 것이라고 생각할 이유가 없다…'고 상세히 설명하였다. 하지만, 나는 또한 향후 5년이 무엇을 가져올지 확실히 알지 못한다. 다른 이들은 '정부 차원의 삭감'(S5)과 '채용 동결'(S6)에 대해 언급했다. 변화하는 리더십과 자원에 대한 불확실성으로 인해 대부분의 FD 유닛은 불안정감을 느끼게 되었습니다.
The main theme in the HR frame was a sense of instability due to changing leadership and uncertainty about human resources, which appeared to constrain FD units’ ability to fulfill their mandates. Some respondents described inadequate resources as represented in comments similar to, ‘More staffing overall would be better. I am essentially the one person doing FD in a large office which does other things as well’ (S2). Even though the resources are inadequate: ‘We try not to turn down too much and we try to give people what they ask for with some humour, lots of kindness and lots of resources …’ (S9). Further, many expressed concerns about ‘changing organization leadership’ (S5), ‘turnover in administration staff’ (S3), and anticipated ‘shifts in the nature of our work’ (S8). S1 elaborated on this saying, ‘I don’t have any reason to think the entire faculty development program would ever be eliminated… However, I also don’t have a clear sense of what the next 5 years will bring’. Others commented on ‘government level cuts’ (S5) and ‘hiring freezes’ (S6). The changing leadership, and uncertainty about resources resulted in a sense of instability in most FD units.

역량 기반, 시간 변동 의학교육시스템의 평가를 위한 강화된 요구조건 (Acad Med, 2018)
Enhanced Requirements for Assessment in a Competency-Based, Time-Variable Medical Education System
Larry D. Gruppen, PhD, Olle ten Cate, PhD, Lorelei A. Lingard, PhD, Pim W. Teunissen, MD, PhD, and Jennifer R. Kogan, MD 

역량 기반 의료 교육(CBME)은 교사, 학습자 및 규제 기관으로부터 상당한 관심을 받고 있다. 그것은 커리큘럼 디자이너, 교수 개발자, 임상의 교육자 및 프로그램 관리자의 인식과 관행을 변화시켰다. CBME는 평가에 특히 중요한 영향을 미친다. 
Competency-based medical education (CBME) has captured considerable attention from teachers, learners, and regulatory bodies. It has changed the perceptions and practices of curriculum designers, faculty developers, clinician educators, and program administrators. CBME has particularly significant implications for assessment.

2010년, 프랭크 등은 CBME를 "시간을 덜 강조하는 역량의 organizing framework를 사용하여, 의료 교육 프로그램의 설계, 구현, 평가 및 평가에 대한 성과 기반 접근법"으로 정의했다. 이 정의는 전통적인 교육 모델 간의 대비를 강조한다. 전통적 모델은 "고정 시간, 가변 결과"로 특징지을 수 있고, CBME는 "고정 결과, 가변 시간"으로 묘사될 수 있다. 품질 관리와 환자 안전의 표준을 보장하기 위해 고정된 결과가 필요하기 때문에, [시간 변동성]은 CBME에 논리적으로 함축되어 있다.개별 학습자는 다양한 준비와 기술을 가지고 의학 교육에 오고, 다양한 속도로 역량을 추구, 달성, 입증하기 때문에 재교육이나 가속이 필요하다. 근본적으로, CBME는 그 직업에 대한 [대중의 기대]를 충족시키기 위한 약속을 지키기 위한 접근법으로 볼 수 있다.
In 2010, Frank et al1,2 defined CBME as “an outcomes-based approach to the design, implementation, assessment, and evaluation of medical education programs, using an organizing framework of competencies” that “de-emphasizes time.” This definition highlights the contrast between traditional educational models, which can be characterized as “fixed time, variable outcomes,” and CBME, which can be described as “fixed outcomes, variable time.” Because fixed outcomes are necessary to ensure standards of quality care and patient safety, time variability is a logical implication of CBME when one recognizes that individual learners come to medical education with variable preparation and skills, pursue and attain competencies at different rates, and demonstrate their competence while possibly needing remediation or acceleration.3–5 Fundamentally, CBME can be seen as an approach to honor the commitment to meet public expectations of the profession.

이 기사에서는 평가에 대한 시간 변동성의 영향을 살펴볼 것이다. 평가는 대부분의 전통적인 프로그램보다 CBME 프로그램(특히 졸업후 과정)에서 훨씬 더 중요하다. 전통적인 프로그램은 훈련의 특정 기간이 역량으로 이어진다고 가정한다. 따라서 평가는 대체로 "안전 점검safety check"이다. 그러나 이러한 가정은 특정 결핍 영역과 개선이 필요한 부분을 식별하는 평가 데이터 자체에서 [정해진 기간 동안 역량을 획득하거나 확립하지 못한 개별 학습자 사례]가 확임됨에 따라 무너지고 있다. CBME 프로그램에서는, 이러한 가정을 하지 않기에, 학습자의 진행 궤적이 보다 개인화되고, 평가는 훈련 기간에서 결과적인 차이를 정당화해야 하는 상당한 부담을 져야 한다.
In this article, we will explore the implications of time variability for assessment. Assessment is even more important in CBME programs than in most traditional programs, particularly postgraduate ones. Traditional programs assume that a specified period in training will lead to competence; thus, assessment is largely a “safety check.” However, this assumption is crumbling under the weight of individual learner cases in which competence was not acquired in the set period of time and not established from the assessment data itself, which identify specific areas of deficiency and needed remediation. In CBME programs, which do not make this assumption, the learners’ progression trajectories are more individualized, and assessment must bear the significant burden of justifying consequential differences in length of training.

CBME의 평가 원칙
Principles of Assessment in CBME

CBME는 [시간을 상수가 아닌 변수]로 취급하기 때문에 학습자가 다음 교육 단계로 넘어갈 준비가 된 시점을 결정하는 대안적 방법이 필요하다. 이 방법은 역량 평가와 판단에 기초한다. 역량은 다음과 같이 정의됩니다.
Because CBME treats time as a variable rather than a constant, it requires an alternative method for deciding when a learner is prepared to move on to the next phase of education. This method is predicated on assessing and judging competence. Competence is defined as:

특정 상황에서 의사 수행의 여러 영역 또는 측면에 걸친 능력의 배열. 역량에 대한 진술은 관련 능력, 상황 및 훈련 단계를 정의하기 위한 서술적 자격자를 필요로 한다. 역량은 다차원적이고 역동적입니다. 그것은 시간, 경험, 그리고 환경에 따라 변한다.
the array of abilities across multiple domains or aspects of physician performance in a certain context. Statements about competence require descriptive qualifiers to define the relevant abilities, context, and stage of training. Competence is multi-dimensional and dynamic. It changes with time, experience, and setting.1

시간 변동성은 대부분의 기존 프로그램에 비해 더 크고 더 다양한 요구 사항인 평가 프로세스에 상당한 요구 사항을 부과한다. 우리는 이러한 요구에 대한 우리의 검토를 안내하기 위해 현대적인 평가 타당성 프레임워크를 사용할 것이다.
Time variability places considerable demands on the assessment process, demands that are both larger and more varied than is typical for most traditional programs. We will use a modern assessment validity framework5–7 to guide our examination of these demands.

한 가지 핵심 원칙은 [평가는 항상 우리가 판단하려는 목표target, 즉 구인construct을 가지고 있다]는 것입니다. 구인construct은 무형이며, 교육, 성과, 판단 등에 대한 우리의 이론에 기초한다. 의학에서 평가를 위한 일반적인 구인은 지식, 전문성, 의사소통, 팀워크, 그리고 많은 다른 것들이 있다. CBME는 역량이 우리가 판단하고 데이터를 수집해야 하는 핵심 구조라고 가정한다.
A key principle is that assessment always has a target, a construct about which we are trying to make a judgment. Constructs are intangible and based on our theories of education, performance, judgment, etc.8 Common constructs for assessment in medicine are knowledge, professionalism, communication, teamwork, and numerous others. CBME posits that competencies are the key constructs about which we need to make judgments and for which we need to gather data.

두 번째 핵심 원칙은 [평가 데이터와 그 데이터로부터 이루어지는 평가 판단 사이의 구별]이다. 객관식 지식 테스트에서 평가 데이터(점수)는 종종 평가 판단 및 결정(합격/실패, 교정조치, 표창)과 구별된다. 대조적으로, 임상 분야에서 [평가 데이터에 기반한 평가 판단]은 덜 명확해질 수 있다. 교수진 관찰자는 성과를 평가할 때 종종 평가 데이터의 출처이다. 학습자의 코치 또는 옹호자, 그리고 이러한 데이터를 사용하는 심판은 학습자가 유능한지 여부(즉, 이정표를 달성했고, 진급할 수 있다 등)를 결정한다. 측정 도구(양식, 점검표)는 이러한 판단에 대한 데이터를 제공할 뿐이며, 목적 자체가 아니라 이 더 큰 목적을 위한 수단일 뿐이다.
A second key principle is the distinction between assessment data and the assessment judgments that are made from those data. In a multiple-choice test of knowledge, assessment data (the scores) are often distinct from the assessment judgments and decisions (pass/fail, remediation, commendation). In contrast, assessment judgments based on assessment data in the clinical arena can become less obvious. The faculty observer is often the source of the assessment data when evaluating performance; the coach or advocate of the learner and the judge making use of those data decide whether the learner is competent—that is, has achieved a milestone, can progress, etc.9 The measurement tool (form, checklist) merely provides data for these judgments and is only a means to this greater end, not the end itself.

세 번째 핵심 원칙은 [판단의 결과consequence]인 [결정]에 관한 것이다. 일반적인 교육 테스트 환경에서, 이 결정은 학생들의 진도나 졸업장을 받는 것과 관련이 있다. 임상 교육에서, [평가에 따른 결정]은 피드백이나 환자 치료에서 [더 적은 감독 하에 의료행위를 할 수 있는 허가(즉, 학습자가 특정 감독 수준에서 행동하도록 위임받을 수 있는 결정)]를 초래할 수도 있다. 평가 결정은 다음과 같을 수 있다.

• 총괄적 또는 고부담적 결정(예: 졸업) 또는 
  
• 형성적 또는 저부담된 결정(예: 학습자가 자신의 학습을 지도하는 데 사용할 수 있는 성과 피드백).

A third key principle regards the decision that is the consequence of the judgment. In usual educational testing settings, this decision pertains to student progress or to receiving a diploma. In clinical education, the decision resulting from an assessment may also result in feedback or the permission to act with less supervision in patient care (i.e., to a decision that a learner can be entrusted to act at a specified level of supervision).10 Assessment decisions may be

• summative or high-stakes decisions (e.g., graduation) or
• formative, low-stakes decisions (e.g., performance feedback that a learner may use to guide her or his own learning).

평가 데이터 수집에 대한 영향
Implications for Gathering Assessment Data

평가 작업
Assessment tasks

역량을 직접 평가할 수 없기 때문에, 우리는 어떤 방식으로든 관찰하고 측정할 수 있는 행동을 생성하는 [구인 관련 작업이나 활동]을 정의해야 한다. 이러한 작업은 (지식 테스트 설문에서) 질문에 대답하는 것만큼 간단하거나 환자 및 그녀의 가족과 완화 치료에 대해 논의하는 것만큼 복잡할 수 있다. 이러한 [작업의 선택]은 우리의 평가 판단의 타당성에 심오한 결과를 초래한다. 좋은 평가 판단에는 다양한 평가 방법을 사용하는 관련 직무의 다양한 데이터 소스가 필요하다. 평가 절차의 신중한 청사진은 평가 판단의 질을 향상시킬 것이다.
Because we cannot assess competencies directly, we must define construct-relevant tasks or activities that produce behaviors that we can observe and measure in some way. These tasks can be as simple as answering a question (in a survey of knowledge test) or as complex as discussing palliative care with a patient and her family. The selection of these tasks has profound consequences for the validity of our assessment judgments. Good assessment judgments require multiple sources of data from a range of relevant tasks that use a variety of assessment methods.9 Thoughtful blueprinting of assessment procedures will improve the quality of assessment judgments.

전문가의 의견이 항상 일치하는 것은 아니지만, 임상 교육생에 대한 타당한 평가 결정을 내리는 데 점점 더 가치가 있고 심지어 필요한 것으로 간주되고 있다. 이러한 의견은 개별 임상의(평가자)가 진정한 작업 환경에서 훈련생과 상호작용하고 신뢰를 얻는 방법에 대한 평가 데이터 수집의 조정이 필요하다. 이것은 부분적으로 위탁 의사 결정과 관련된 새로운 조사 영역이다. 
Despite the fact that expert opinions do not always agree, they are increasingly considered valuable and even necessary to arrive at valid assessment decisions regarding clinical trainees.11,12 Such opinions require the alignment of assessment data gathering with how individual clinicians (as assessors) interact with and gain trust in trainees in the authentic work environment.13,14 This is a new domain of investigation15 related in part to entrustment decision making.16–18

평가 혁신
Innovation in assessment

CBME 프로그램은 [데이터를 통합하고 사용하기 위한 평가 방법과 절차에 대한 혁신과 실험을 안내하는 평가 전문성]이 필요하다. CBME의 완전한 약속이 실현되려면 평가, 데이터 분석, 정보 관리, 의사결정 지원 분야의 전문성을 개발하거나 채용해야 할 것이다. CBME는 우리가 임상 성과에 대한 수시적이고 미리 예정된 필기 또는 수행 검사와 단편적인 교수진 평가에 계속 의존한다면 실행 가능하지 않을 것이다. 이는 결국 전반적인 예산 제약에 직면하여 자원 재분배가 필요할 것이다.
CBME programs will need assessment expertise to guide innovation and experimentation in assessment methods and procedures for integrating and using the data. It will become necessary to develop or recruit expertise in assessment, data analytics, information management, and decision support if the full promise of CBME is to be realized. CBME will not be viable if we continue to depend on occasional, prescheduled written or performance examinations and fragmentary faculty evaluations of clinical performance. This will, in turn, require resource reallocation, often in the face of overall budgetary constraints.

우리가 확립되고 혁신적인 [다양한 평가 방법을 개발하고 사용하기로 약속]한다면, CBME는 현재 무시되고 있는 자연스럽게 발생하는 평가 데이터를 활용할 수 있다. 다음을 포함한다.

• 학습자 제품(예: 전자 건강 기록의 항목) 
  
• 팀 기반 성과(예: 멀티소스 피드백 기반) 
  
• 관리 데이터(예: 사전 자격 및 시험, 수행된 활동) 
  
• 교수진 판단(예: mini-CEX, 기타 관찰, 사례 기반 논의) 
• 현재 높은 수준의 종합 평가 결정을 위한 "충분히 좋은" 것으로 간주되지 않을 수 있는 다른 평가 기회. 

단일 관측 사건은 높은 심리 측정 기준을 요구하지만, 각각 표준화되거나 신뢰성 있게 재현할 수 없는 여러 측정 조합으로 일반화 가능한 결과를 산출할 수 있다. 원칙적으로, 신뢰할 수 있는 전문 활동(EPA)의 개념은 이 점을 보여준다. 자연적으로 발생하는 과제(예: 건강 유지 검사를 위한 위험 요소 평가 수행)로서 EPA는 지침과 평가 과제의 단위 또는 초점일 수 있다.
If we commit to developing and using a variety of established and innovative assessment methods, CBME can take advantage of naturally occurring assessment data that are presently neglected. These include

• learner products (e.g., entries in an electronic health record),
• team-based performance (e.g., based on multisource feedback),
• administrative data (e.g., prior qualifications and tests, activities performed),
• faculty judgments (e.g., mini-CEX, other observations, case-based discussions), and
• other assessment opportunities that may not be presently thought of as “good enough” for high-stakes, summative assessment decisions.9 

While single observation events require high psychometric standards, multiple measures in combination, each of which may not be standardized or reliably reproducible, may yield generalizable results.19 In principle, the notion of the entrustable professional activity (EPA)20 illustrates this point. As a naturally occurring task (e.g., conducting a risk factor assessment for a health maintenance examination), an EPA can be both a unit or focus of instruction and an assessment task.

[환자 결과]는 [역량 결정]에 통합될 수 있고, [환자 경험 향상, 인구 건강 개선, 비용 절감]이라는 3중 목표를 해결하고자 하는 [평가의 유효성]을 향상시키는 매우 중요한 다른 평가 데이터 소스를 제공한다. 그러나 [환자 결과를 교육 활동과 연결하는 것]은 매우 복잡합니다. 이러한 데이터를 수집하고, 결과에 대한 교육생의 기여를 이해하고, 이러한 데이터가 개인에 대한 역량 결정에 어떻게 정보를 제공해야 하는지 확립하는 것은 CBME의 연구 의제의 일부로 남아 있다.
Patient outcomes offer other, critically important sources of assessment data that can be incorporated into competency decisions21 and enhance the validity of assessments that seek to address the triple aim of enhancing the patient experience, improving population health, and reducing costs.22 However, linking patient outcomes to educational activities is extremely complex.23–26 Gathering such data, understanding trainees’ contributions to the outcomes, and establishing how these data should inform competency decisions about individuals remain part of the research agenda for CBME.27

평가의 시간 유연성
Time flexibility in assessment

CBME [학습 과정]에서 시간이 고정된 양이 아니라면, [평가]에서도 시간이 고정될 수 없다. 역량 판단이 언제든지 이루어질 수 있기 때문에, 평가 데이터는 그러한 판단에 사용할 수 있어야 하며, 따라서 (거의) 지속적으로 수집되어야 한다. 특히 학습자에게 피드백을 제공하는 데 있어 평가 데이터의 형태적 용도는 공연의 설정 및 시간과 밀접하게 연계되어야 한다. 형성적 피드백은 교사와 학습자 사이의 대화를 필요로 하며, 따라서 이러한 대화와 관련된 평가를 필요로 한다. 이러한 평가는 교수진에게 시간이 많이 소요되며 CBME를 구현하기 위한 상당한 잠재적 비용을 구성한다.
If time is not a fixed quantity in the CBME learning process, it also cannot be fixed in assessment. Because competency judgments can be made at any time, assessment data need to be available for those judgments and thus gathered (more or less) continuously. In particular, the formative uses of assessment data in providing feedback to learners need to be linked closely to the setting and time of the performance. Formative feedback requires a dialogue between teacher and learner28 and, thus, assessments that are tied to those dialogues. Such assessments are time consuming for faculty and constitute a significant potential cost for implementing CBME.

또한 [시간-유연 평가]는 특히 개별화된 학습 순서나 계획을 추구하면서 [다수의 학습자에 대한 공식 평가(예: 졸업에 필요한 객관적인 구조화된 임상 검사)]를 계획하는 데 있어 [행정 및 물류 리소스]에 상당한 요구를 부과한다. 유연하고 지속적인 평가는 특히 고위험 평가의 엄격한 스케줄링을 수용하기 어렵다. CBME가 요구하는 평가 유연성의 향상은 관련 심사 기관의 중요한 조직 변경을 필요로 할 것이다. 그러나 시간 변동성은 그러한 측면에서 유익할 수도 있다. 교육 모듈의 고정된 길이로 인해, 짧은 시간 내에 여러 학습자를 평가해야 하는 상당한 압력이 있는 반면, 가변적인 길이는 시간이 지남에 따라 평가 노력을 더 고르게 분산시킬 수 있다.
Time-flexible assessment also imposes considerable demands on administrative and logistical resources, particularly in trying to schedule formal assessments (e.g., objective structured clinical examinations required for graduation) for large numbers of learners who are pursuing individual learning sequences or plans. Flexible and continuous assessment is particularly difficult to accommodate with the rigid scheduling of high-stakes assessment. The increased assessment flexibility required by CBME will necessitate significant organizational changes in the relevant examination bodies. However, time variability may also be beneficial in that respect. With the fixed length of training modules, there is significant pressure to evaluate multiple learners in a short period of time, whereas variable length could spread assessment effort more evenly over time.29

평가 데이터 관리
Managing assessment data

CBME 평가에는 더 자주 수집되고 가변적인 일정에 따라 수집되는 [여러 소스의 데이터]가 필요하기 때문에, 일반적인 기존 평가 시스템보다 더 높은 수준의 데이터 공유, 관리 및 통신이 필요합니다. 프로그램 내 및 프로그램 간에 교육생의 평가 데이터를 전달하는 물류 및 윤리는 아직 많은 관심을 받지 못한 필수 과제입니다. 성과 및 평가 데이터의 전자 포트폴리오가 솔루션의 일부일 수 있지만, 표준화가 부족하여 기관마다 상당히 가변적입니다. 학습 분석은 이러한 데이터 관리 및 분석을 지원하는 역할을 할 수 있으며, 모바일 기술은 임상 활동의 자연스러운 과정에서 데이터 수집에 사용될 수 있다. 웜 등은 36만 개의 데이터 포인트로 3년 동안 약 200명의 내과 레지던트들을 추적할 수 있는 가능성을 입증했다. CBME는 30년 이상의 전문 실무 및 학습에 걸쳐 프로그램 및 이해관계자(학습자 포함) 간에 역량 평가 정보를 해석하고 공유하기 위한 시스템을 다루어야 한다.
Because CBME assessment requires data from multiple sources that are gathered more frequently and on variable schedules, it requires a greater level of data sharing, management, and communication than is typical of more traditional assessment systems.30 The logistics and the ethics of communicating a trainee’s assessment data within and across programs is a necessary challenge that has not yet received a great deal of attention.31–33 Electronic portfolios of performance and assessment data may be part of the solution, but they lack standardization, being quite variable from one institution to the next. Learning analytics may serve to support such data management and analysis,34 and mobile technology may be used for the collection of data in the natural course of clinical activities. Warm et al35 demonstrated the feasibility of tracking almost 200 internal medicine residents over three years with 360,000 data points. CBME will need to address systems for interpreting and sharing competency assessment information across programs and stakeholders (including learners) that may span more than 30 years of professional practice and learning.

맥락 특이성
Context specificity

맥락 특이성은 [실제 실행 중에 발생하는 복잡한 수행능력에 대한 모든 평가의 문제]이다. 널리 알려진 사실 중 하나는 [하나의 설정, 상황 또는 사례]에서 성과를 평가하는 것이, [유사한 사례]에서도 성과를 완벽하게 예측하지 못한다는 것이다. 맥락 특이성은 의미 있고 신뢰할 수 있는 성능 추정치를 얻기 위해 다양한 맥락에서 여러 사례에 대해 여러 관찰자에 의해 여러 평가가 수행되어야 한다. 전자 포트폴리오와 모바일 기술은 다양한 맥락에서 진행 상황에 대한 피드백, 형성적 평가 및 종합적 결정을 제공하기 위해 직장에서의 자연스러운 만남을 포착하는 데 도움이 될 수 있다. 
Context specificity is a problem for all assessments of complex performance that take place during real-world practice. A pervasive finding is that an assessment of performance in one setting, situation, or case does not perfectly predict performance in even a similar case. Context specificity requires that multiple assessments be done by multiple observers over multiple cases in a variety of contexts to obtain a meaningful and trustworthy estimate of performance. E-portfolios and mobile technology could help capture natural encounters in the workplace to provide feedback, formative assessment, and summative decisions regarding progress in various contexts.36

[맥락 특이성]에 더하여, 평가 데이터는 전문적 정체성 형성과 같이 [쉽게 정의할 수 없는 역량의 "암묵적" 구성요소]의 존재에 의해 제한될 수 있다. 이러한 결정을 지원하는 데 있어 [평가의 본질적인 불확실성과 부정확성]을 잊어서는 안 된다.
Along with context specificity, assessment data may be limited by the existence of “implicit” components of competence that may not be easily definable, such as professional identity formation. The inherent uncertainty and imprecision of assessment in aiding these decisions must not be forgotten.

평가 판단에 미치는 영향
Implications for Making Assessment Judgments

형성적 및 종합적 판단
Formative and summative judgments

평가 판단의 범위는 학습자와 교육 시스템에 미치는 영향이다.

• [고부담(총괄) 판단]에는 과정 합격 또는 불합격, 학습자 졸업 또는 유지, 교육과정 변경에 대한 투자, 역량에 대한 결정이 포함된다.
• [저부담(형성) 판단]에는 학생 자기조절 학습을 안내하기 위한 피드백, 많은 이러닝 모듈에 포함된 것과 같은 자체 테스트, 진행 테스트 등이 포함된다.

Assessment judgments range in the impact they have on the learner and the educational systems.

• High-stakes (summative) judgments include decisions about passing or failing a course, graduating or retaining a learner, investment in curricular changes, and decisions about competence.
• Low-stakes (formative) judgments include feedback to guide student self-regulated learning, self-testing such as is included in many e-learning modules, and progress testing.37

CBME에서, 형성적 결정과 종합적 결정은 동일한 스펙트럼의 다른 끝으로 볼 수 있다.

• 훈련 초기에는 격차를 해소하고 강점을 강조하는 방법에 대한 [형성적 지침]을 제공할 목적으로 평가될 수 있다.
• 보다 상급 학습자는 자신의 진행 또는 교정과 관련된 종합적인 결정을 위해 동일한 방법으로 평가될 수 있다.

중요한 것은, 동일한 평가 데이터가 형성적 또는 요약적 판단에 사용될 수 있다는 것이다.—평가 활동 자체는 형성적이거나 종합적이지 않습니다. 그러나 종합적 판단과 결정에는 일반적으로 형성적 판단보다 더 많은 양의 고품질 평가 데이터가 필요하다.
In CBME, formative and summative decisions can be viewed as different ends of the same spectrum.

• A learner early in her training may be assessed for the purpose of providing formative guidance on how to address gaps and accentuate strengths.
• A more advanced learner may be assessed with the same method for a summative decision related to his progression or remediation.

Importantly, the same assessment data can be used for either formative or summative judgments—an assessment activity, per se, is neither formative nor summative. However, summative judgments and decisions generally require greater amounts of higher-quality assessment data than do formative judgments.

프로그램적 평가 문헌에서, 각각 개별적으로 학습을 자극하는 역할을 하는 일련의 형성적 평가는 함께 종합 결정(또는 학습 평가라고 불리는 것)을 내리는 역할을 할 수 있다. 마찬가지로, 위탁 결정은 보건의료 업무에서 교육 목적을 위한 학습자에 대한 임시 평가의 일부와 보건의료 업무 인증에 대한 요약 결정의 일부로 식별되었다. 

In the programmatic assessment literature, a series of formative assessments, each of which separately serves to stimulate learning (an approach labeled assessment for learning), together may serve to make summative decisions (or what is called assessment of learning).38 Similarly, entrustment decisions have been identified as part of ad hoc assessments about learners for training purposes in health care tasks and as part of summative decisions about certification for health care tasks.10,20

평가기준 및 기준
Assessment standards and criteria

[총괄적 판단]은 확실한 평가 데이터뿐만 아니라, [결정을 정의하는 성과에 대한 표준이나 기준(유능한 것과 그렇지 않은 것)]도 필요로 한다. 이러한 표준은 정량적이며 Angoff 또는 Hofstee 방법과 같은 공식적인 그룹 판단 절차에 의해 도출될 수 있으며, 또는 정성적일 수 있으며 필요한 감독 또는 이정표 달성에 기초하여 주어진 성과 수준을 설명할 수 있다. CBME에서 식별되는 [복잡한 역량]은 [전통적인 표준화된 심리 측정법]에 쉽게 의존하지 않기 때문에, 교수진의 "주관적" 판단을 체계화하는 데 상당한 노력이 기울여졌다. 이러한 노력에는 등급 척도에 대한 행동 앵커, "유능한" 성과에 대한 상세한 설명, 이정표와 같은 공통 기준의 교직원 개발을 포함한다. 슈워트 등은 또한 심리측정학 이론에 따르면 신뢰할 수 없는 것처럼 보이지만, 개별 교수 평가자의 다중 "주관적" 평가가 학습자에게 다중적이고 의미 있는 관점에 기여할 수 있다고 강조했다.
Summative judgments require not only solid assessment data but also a standard or criterion for performance that defines the decision (competent vs. not competent). These standards may be quantitative and derived by formal group judgment procedures, such as Angoff or Hofstee methods,39 or they may be qualitative and describe a given performance level based on needed supervision or milestone achievement.40 The complex competencies identified by CBME do not readily lend themselves to traditional standardized psychometrics, so considerable effort has been devoted to systematizing more “subjective” judgments (whether qualitative or quantitative) on the part of faculty. These efforts include behavioral anchors for ratings scales, detailed descriptions of what “competent” performance looks like, and faculty development to calibrate faculty to a common set of criteria, such as milestones.41 Schuwirth et al12,30,42 also have emphasized that multiple “subjective” assessments from individual faculty raters may contribute multiple, meaningful perspectives on a learner, in spite of appearing unreliable according to psychometric theory.

EPA 및 위탁 결정
EPAs and entrustment decisions

CBME를 구현하기 위한 논리적 필수는 아니지만, EPA는 많은 CBME 시스템의 핵심 측면으로 부상했다. EPA는 학습자가 적절한 성과를 입증한 후 감독되지 않은 실행을 위해 학습자에게 위임하는 전문 관행의 단위로 정의되어 왔다. EPA의 주요 특징 중 하나는 전문직의 진정한 일상 업무와 이러한 업무를 완료하는 학습자의 성과를 관찰하고 평가할 수 있는 기회 사이의 연결이다.
Although not a logical necessity for implementing CBME, EPAs have emerged as a key aspect of many CBME systems. EPAs have been defined as units of professional practice to be entrusted to learners for unsupervised execution once they have demonstrated adequate performance.43 One of the key features of EPAs is the link between authentic, often-everyday tasks of a profession and the opportunities to observe and assess learners’ performance completing those tasks.

EPA 개념의 핵심 요소는 위임이다. 위임을 위해서는 교수진과 평가자가 학습자의 성과와 평가자의 기대 및 과제/EPA의 성격을 통합하는 판단을 내려야 한다. 중요한 전문적 기준의 맥락에서 평가자의 전반적인 판단을 포착하기 때문에 [매우 실용적인 가치(학습자가 이 과제를 독립적으로 수행할 수 있을 정도로 "신뢰할 만trustworthy"합니까?)]가 있고, 판단은 학습자가 필요로 하는 감독량의 추정에 기초한다.
A key component of the EPA concept is entrustment. Entrustment requires that faculty and assessors make a judgment that integrates learner performance with assessor expectations and the nature of the task/EPA. It has enormous practical value because it captures the assessor’s overall judgment in the context of an important professional criterion—Is the learner “trustworthy” to do this task independently?—and the judgment is based on an estimation of the amount of supervision the learner requires.

[과제를 독립적으로 수행하기 위한 학습자의 위임]은 교육 프로그램을 위해 식별된 각 EPA의 목표가 될 수도 있고 아닐 수도 있다. 기대에 따라 일부 EPA는 프로그램이 끝날 때까지 완전히 숙달되지 않을 수 있다. 그러나 CBME 프레임워크 하에서 개별 학습자는 특정 기술, 동기 부여 또는 학습 기회 때문에 프로그램이 끝나기 훨씬 전에 "감독되지 않은 연습"의 완전한 위탁에 대한 충분한 숙달에 도달할 수 있다.
Entrustment of a learner to perform a task independently may or may not be the goal for each EPA identified for an educational program. Depending on expectations, some EPAs may not be fully mastered by the end of the program. However, under a CBME framework, individual learners may exceed program expectations and attain sufficient mastery for full entrustment of “unsupervised practice” long before the end of the program because of particular skills, motivation, or learning opportunities.

EPA는 [학습자가 책임을 질 준비가 되는 즉시 책임을 부여하기 위한 프레임워크]를 제공한다. 선행 학습과 학습 경험의 순서 차이 때문에, 모든 학습자가 동일한 속도로 목표 역량을 획득하는 것은 아닙니다. 따라서 EPA 마스터에 필요한 시간의 변화는 개별화된 훈련 경로를 필요로 할 수 있다. 개별 EPA 마스터링의 시간 변동성이 전체 프로그램 시간의 변동성에 반드시 기여하는 것은 아니다. 개별 학습자가 마스터해야 하는 EPA의 가변 개수는 전체 프로그램 시간에도 영향을 미칠 수 있다.
EPAs provide a framework for granting responsibility as soon as learners are ready for it. Not all learners will attain the targeted competencies at the same rate because of prior learning and differences in sequencing of learning experiences. Therefore, variation in the time required to master EPAs may require individualized training pathways.44 Time variability in mastering individual EPAs is not necessarily the only contribution to variability in total program time; the variable number of EPAs that need to be mastered by an individual learner also may affect the total program time.

위탁 결정은 평가 결과로서 이분법적(위탁 대 비위탁)이거나 평가를 위한 개발 프레임워크를 수용하기 위해 증분적incremental일 수 있다. 서로 다른 수준의 위탁은 다음과 같이 서로 다른 수준의 독립성 또는 감독을 반영할 수 있다. 

• 관찰만 가능
  
• 직접 감독(실내)과 함께 EPA에 참여 
  
• 간접 감독(실내에서는 아니지만 신속하게 이용 가능)으로 참여
  
• 원격 감시를 빨리 할 수 없는 상황에서 참여

Entrustment decisions, as an assessment outcome, can be dichotomous (entrusted vs. not entrusted) or incremental to accommodate a development framework for assessment. Different levels of entrustment may reflect different levels of independence or supervision, such as

• the learner observing only,
• participating in the EPA with direct supervision (in the room),
• participating with indirect supervision (not in the room but quickly available), and
• with distant supervision not quickly available.45

평가의 목적이 임상 실무에서 EPA에 대한 위탁 결정을 내리는 것으로 정의되고, 이 평가의 규모가 학습자가 요구하는 감독 양으로 프레임화되는 경우, 평가 도구를 만들 수 있다. 초기 연구는 이러한 구성 정렬 접근법이 유리한 타당성 증거를 보여준다는 것을 발견했다. 그러나 덜 집중적인less intensive 감독을 위한 교수 관찰자의 기준에서 개인의 차이를 인정하는 것이 중요하다. [교수 판단자faculty judges의 변동성]은 이러한 위탁 판단의 [타당성에 대한 위협]이다.
If the purpose of assessment is defined as making entrustment decisions for EPAs in clinical practice and the scale of this assessment is framed as the amount of supervision the learner requires, assessment instruments can be created. Early studies have found that these construct-aligned approaches13 show favorable validity evidence.14,46,47 However, it is important to acknowledge individual differences in faculty observers’ criteria for less intensive supervision. Variability among faculty judges is a threat to the validity of these entrustment judgments.

전환 및 개별 계획
Transitions and individual plans

교수진과 연구자는 의학 교육에서 한 단계에서 다른 단계로 전환하고 있는 학습자가 [준비 상태가 적절한지 확인하는 것]이 일반적입니다. 학부생에서 대학원생으로, 대학원생에서 펠로우십 프로그램으로, 또는 감독되지 않은 실습으로. 이러한 [준비의 격차gaps in preparation]는 의대생들의 인턴십 전환을 위한 준비를 돕기 위한 부트캠프 등 다양한 대응으로 이어지고 있다. 비슷하게, 많은 레지던트 프로그램들은 처음에 몰입 경험을 가지고 있다. CBME 평가는 성과에 대한 더 명확한 기대치와 학습자의 강점과 약점에 대한 더 나은 데이터를 제공하여, [교정 및 조기 학습 계획]이 그룹 전체에 대한 필요성보다는, [개별적인 필요에 맞게 조정]될 수 있도록 함으로써 이러한 노력에 도움이 될 수 있다.
It is common for faculty and researchers to identify inadequate preparation in learners who are transitioning from one phase to another in medical education: from undergraduate to graduate education,48,49 from graduate to fellowship programs,50 or into unsupervised practice.51 These gaps in preparation have led to a variety of responses, including boot camps to help prepare medical students for the transition to internship.52 Similarly, many residency programs have immersion experiences at their beginning. CBME assessments could aid these efforts by providing clearer expectations of performance and better data on learners’ strengths and weaknesses so that remediation and early learning plans could be adapted to individual needs, rather than to the perceived needs of the group as a whole.

평가 판단을 위한 시스템
Systems for making assessment judgments

임상 역량 위원회(CCC 또는 위탁 위원회)는 평가 결정을 위해 교수진이 협력하는 방법에 대한 혁신의 예를 제공한다. 이러한 위원회는 정의된 역량에 따라 조직된 다양한 출처와 시간으로부터 평가 데이터를 수집, 검토 및 합성한다. CCC는 이러한 평가 데이터를 사용하여 프로그램을 통해 신뢰와 진행에 대한 결정의 위험과 이익을 균형 있게 조정하면서, 각 학생의 역량에 대한 평가 판단을 내린다. 많은 CCC가 위험에 처한 훈련생 식별에 집중하는 경향이 있지만, 이러한 의사 결정 구조와 과정은 가속 학습과 조기 졸업에 관한 의사 결정에도 가능성을 가지고 있다. CBME에 특히 중요한 것은 CCC 구조가 진정으로 시간 가변적인 교육 프로세스의 구현을 지원할 것이고 지원해야 한다는 것이다.

Clinical competency committees (CCCs or entrustment committees) provide an example of innovation in how faculty collaborate around making assessment decisions.53,54 These committees collect, review, and synthesize assessment data from various sources and times, organized around defined competencies. The CCC takes these assessment data and uses them to make assessment judgments about the competence of each student, balancing the risks and benefits of the decisions about trust and progression through the program.18 Although many CCCs tend to focus on identifying at-risk trainees,53 this decision-making structure and process holds promise for making decisions regarding accelerated learning and early graduation as well.55 Of particular importance to CBME, the CCC structure would and should support the implementation of a truly time-variable education process.

결론
Conclusion

학습 성과에 대한 평가는 항상 모든 의료 교육 수준에서 필수적이지만 역량 기반 시간 가변 교육은 전통적인 요구 사항을 초과하는 평가 품질, 빈도, 목적 및 관리에 특별한 요구를 둔다. CBME 프로그램이 증가하고 성숙해짐에 따라 평가 방법 및 시스템에 대한 시간, 돈 및 인재의 투자도 증가할 것입니다. 우리는 의료 교육이 학습자, 환자 및 사회에 대한 교육 약속을 문서화할 수 있는 의무를 이행하기로 약속함에 따라 평가 분야가 향후 수십 년 동안 역동적인 혁신 영역이 될 것으로 예상한다.
The assessment of learning outcomes has always been essential to all levels of medical education, but competency-based, time-variable education places particular demands on assessment quality, frequency, purpose, and management that exceed the traditional requirements. As CBME programs multiply and mature, the investment of time, money, and talent into assessment methods and systems will also grow. We envision that the field of assessment will be a dynamic area of innovation over the next several decades as medical education commits to meeting the obligations of being able to document its educational promises to learners, to patients, and to society.

성격이 중요한가? 일반외과의사로서 내향성과 외향성의 경험과 인식(Teach Learn Med. 2022)
Does Personality Matter? Perceptions and Experiences of Introverts and Extraverts as General Surgeons
Victoria Luonga , Chris Shieldsb, Allison Petriec, and Katerina Neumannd

방법
Method

우리는 구성주의 근거 이론(CGT)의 원리와 방법을 사용하여 데이터를 수집하고 분석했습니다. 이 방법을 통해 수술 분야를 [사회적 공간]으로 개념화하고, 수술에 거주하는 사람들의 [복잡한 주관적 경험]에서 오는 의미를 탐색할 수 있었다. 본 연구의 궁극적인 목표는 [새로운 설명 이론을 밝히기elucidate]보다는 데이터 분석을 위한 체계적인 방법을 사용하여 [외과 전문의의 인식과 경험에 대한 이해를 높이는 것]이었다.
We collected and analyzed data using principles and methods of constructivist grounded theory (CGT). This method allowed us to conceptualize the field of surgery as a social space and to explore the meaning that comes from the complex subjective experiences of those who inhabit it.33,34 The ultimate goal of our study was to enhance understanding of the perceptions and experiences of surgical professionals using systematic methods for data analysis rather than to elucidate a novel explanatory theory.

우리는 [리틀의 인간 발달에 대한 사회적 생태학적 모델]을 우리의 분석적 통찰력을 알리는 데 도움이 되는 민감화sensitizing 프레임워크로 사용했다. 리틀은 사람들이 종종 [개인적인 목표]를 달성하기 위해 [타고난 성향과 불일치하는 행동을 한다]고 주장했다. 예를 들어, 조용하고 보통 고독한 내성적인 대학교수는 그들의 학생들과 열정과 참여를 표현하기 위해 수업을 가르칠 때 더 큰 소리로, 더 활기차게, 그리고 더 제스처적으로 표현될 수 있다. 따라서 사람들은 시간이 지나도 안정적인 [성격 특성]과 [성격 상태]를 모두 보여주는데, [성격 상태]는 사람이 (때로는 다른) 성격 특성의 정서적, 행동적, 인지적 측면을 반영하는 방식으로 행동함에 따라 변동할 수 있다. 게다가, 리틀의 모델은 [성격과 다르게 행동하려는 동기]가 한 개인의 [핵심 가치]와 [개인적 신념]과 밀접하게 연관되어 있다고 제안했다. 따라서 개인의 행동이 변화하는 정도(가소성이라고 함)는 각 개인에 따라 다르다. 앞의 예에서, 내성적인 교수는 그렇게 하는 것이 학생들에게 이익이 될 것이라고 진정으로 믿는 경우에만 "외향적으로 행동"할 것이다.
We used Little’s social ecological model of human development as a sensitizing framework to help inform our analytical insights.35,36 Little asserted that people often behave in discordance with their natural dispositions in order to accomplish personal goals. For instance, a quiet, usually solitary introverted university professor may speak more loudly, more energetically, and be more gesturally expressive (i.e., they can act extraverted) when teaching a class in order to portray enthusiasm and engagement with their students. People thus exhibit both personality traits, which are stable over time, and personality states, which may fluctuate as a person acts in a way that mirrors the affective, behavioral, and cognitive aspects of a (sometimes different) personality trait.37 Furthermore, Little’s model proposed that motivation to act out of character is closely linked to one’s core values and personal beliefs; the degree to which a person’s behavior varies (called plasticity38) is therefore specific to each individual. In the earlier example, the introverted professor would only “act extraverted” if they truly believed that doing so would benefit their students.

참가자
Participants

2017년 9월부터 11월까지 도시 3차 요양병원의 모든 교직원 일반외과 의사들과 일반외과 레지던트들을 연구에 참여하도록 초청하였다. 훈련생과 외과의 모두를 모집함으로써 우리는 훈련을 탐색하는 사람들과 훈련을 지도하고 평가해야 하는 사람들 모두의 관점을 얻을 수 있었다. 외과의사보다 레지던트 수와 응답률이 높아 제2차 3차 요양병원 소속 외과의사 2명도 모집했다. 우리는 두 사람의 경험을 탐색하고 비교하기 위해 외향적인 사람과 내향적인 사람을 모집했다. 외과 의사(n = 6), 레지던트(n = 10), 내성적(n = 8), 외향적(n = 6), 양향적(n = 2; 한 범주 또는 다른 범주에 깨끗하게 들어맞지 않는 것으로 정의)의 표본(N = 16)과 남성(n = 9) 및 여성(n = 7)의 개별 인터뷰를 완료했다. 레지던트 1~4세들은 연구에 참여했고, 외과의사들 사이에서는 10~31년의 경험이 있었다.
All faculty member general surgeons and general surgery residents at an urban tertiary care hospital were invited to participate in the study between September and November 2017. Recruiting both trainees and surgeons allowed us to gain the perspective of both those navigating their training and those who must guide and evaluate that training. Two surgeons from a second tertiary care hospital were also recruited due to the higher number and response rate of residents compared to surgeons. We recruited extraverts and introverts in order to explore and compare the experiences of both. A sample (N = 16) of surgeons (n = 6) and residents (n = 10); introverts (n = 8), extraverts (n = 6), and ambiverts (n = 2; which we defined as those who did not fit cleanly into one category or the other); as well as men (n = 9) and women (n = 7) completed individual interviews. Residents years 1–4 participated in the study, and years of experience ranged from 10 to 31 among surgeons.

설문지
Questionnaire

참가자들은 관련 배경 정보(예: 나이, 경험 연수)와 성격 척도(Ten-Item Personality Inventory 또는 TIPI)를 포함하는 간단한 설문지를 작성했다. 본 연구에서 성격 유형 지정은 성격이 외과적 훈련에 어떤 영향을 미칠 수 있는지에 대한 관점에 대해 다양한 성격(내향적, 외향적)을 [적절하게 샘플링했는지 확인]하는 데만 사용되었다. 우리의 목표는 내성적인 사람과 외향적인 사람 사이의 차이에 대한 결론을 도출하는 것이 아니었다. 따라서, 우리는 빠르게 완성될 수 있지만 연구의 필요성에 충분히 부합하는 성격의 척도를 선택했다. TIPI의 정신측정학적 특성은 다른 곳에서 설명되었다. 

Participants completed a brief questionnaire that included pertinent background information (e.g., age, years of experience) and a measure of personality (the Ten-Item Personality Inventory or TIPI).39 Designation of personality type in our study was used only to ensure we had adequately sampled a range of personalities (introverted, extraverted) on their perspectives of how personality may affect surgical training; our goal was not to draw conclusions about the differences between introverts and extraverts. Thus, we chose a measure of personality that could be completed rapidly but that was sufficiently valid for the needs of the study. The psychometric properties of the TIPI have been described elsewhere.39–41

연구 참가자들은 또한 인터뷰 동안 내성적, 외향적, 또는 양향적임을 스스로 확인하고 인터뷰 진행자와 이러한 개념에 대한 자신의 정의에 대해 논의했습니다. 이러한 자체 식별은 TIPI의 결과와 비교되었으며 15/16 참가자와 일치했다.
The research participants also self-identified as introverted, extraverted, or ambiverted during their interviews and discussed their own definitions of these concepts with the interviewer. These self-identifications were compared to their results on the TIPI, and matched for 15/16 participants.

인터뷰
Interviews

PI(VL)는 20-60분 동안 반구조적인 인터뷰를 직접 진행하여 디지털 방식으로 녹음하고 기록했습니다. 그녀는 참가자들에게 [내향성과 외향성을 어떻게 정의하는지 설명]하도록 하는 것으로 각 인터뷰를 시작했고, 참가자들에게 [연구자들의 정의]를 설명하면서 구체적으로 다음과 같이 말했다.

• "저는 내성적인 사람을 고독한 활동으로 활력을 얻고 과도한 사회적 자극을 피하는 조용하고 차분하며 성찰적이고 수동적인 유형으로 정의합니다. 외향적인 사람들은 다른 사람들과 함께함으로써 에너지를 얻고 과도한 시간을 혼자 보내는 것을 피하는 수다스럽고, 겉으로는 열정적이고, 충동적이고, 지배적인 유형으로 정의된다. 이 정의는 귀사와 어떻게 비교됩니까?" 

그 후, 참가자들에게는 자신의 성격과 성격과 외과적 훈련에서의 경험 사이의 관계에 대한 인식을 탐구하는 개방형 질문이 주로 주어졌다(표 1 참조).

The PI (VL) conducted the 20–60 minute semi-structured interviews in person, digitally-recording and transcribing verbatim. She began each interview by asking the participants to describe how they define introversion and extraversion, and then explained the researchers’ definitions to participants, specifically stating:

• “I define introverts as silent, calm, reflective, passive types who are energized by solitary activities and avoid excessive social stimulation. Extraverts are defined as talkative, outwardly enthusiastic, impulsive, dominant types who are energized by being with other people and avoid spending excessive amounts of time alone. How does this definition compare with yours?”

Following this, participants were asked primarily open-ended questions exploring their own personalities and their perceptions of the relationship between personality and their experiences in surgical training (see Table 1).

CGT 연구의 전형적인 사례처럼, 이러한 질문들은 [개발되는 테마developing theme]를 탐구하기 위해 각 인터뷰 후에 다듬어졌다. 예를 들어, 초기 참가자들이 외과의사에게 필수적인 기술로서 팀워크와 리더십을 강조했을 때, 우리는 이러한 주제에 특별히 초점을 맞춘 인터뷰 가이드에 질문을 추가했다. 또한, 리틀의 사회 생태학적 모델에 의해, 참가자들이 자신의 행동을 수술 현장에 어떻게 적응시켰는지를 설명할 때, 우리는 참가자들이 이것을 가능한 한 자세히 설명하도록 장려하는 탐색 질문을 사용했다. 참가자들은 다른 사람들에 대한 관찰뿐만 아니라 개인적인 경험을 공유하도록 격려 받았다. 모든 식별 정보는 데이터 분석 전에 제거되었고 각 참가자는 라벨(p1–p16)을 받았다.

As is typical of CGT research, these questions were refined after each interview to explore developing themes.33 For instance, when the initial participants emphasized teamwork and leadership as essential skills for a surgeon, we added questions to the interview guide that focused specifically on these themes. Furthermore, informed by Little’s social ecological model, when participants described how they adapted their behavior to the surgical workplace, we used probing questions that encouraged participants to describe this in as much detail as possible. Participants were encouraged to share their personal experiences as well as their observations of other people. All identifying information was removed prior to data analysis and each participant received a label (p1–p16).

데이터 분석
Data analysis

데이터 수집 및 분석이 반복적으로 수행되었습니다. 주임조사관(VL)은 먼저 이 분야에서 잘 알려졌으며, 다른 논문에서 잘 설명된 [개방형, 선택적, 이론적 코딩 과정]을 이용하여 인터뷰 데이터를 분석하였다. 33,34 이러한 코딩 방식은 연구 기간 동안 2명의 추가 연구원(AP, CS)에 의해 4차례 검토되고 그룹 내에서 논의되어 개발 중인 테마를 더욱 정교하게 다듬을 수 있었다. 두 번째 연구자(KN)는 두 개의 인터뷰를 독립적으로 코딩했다. 그룹(VL, KN, AP)은 두 코딩 체계를 검토하고 비교하여 새로운 해석을 비교하고 다듬었다. 그 과정은 우리가 각 주제에 대해 충분히 풍부하고 포괄적인 탐구를 개발했을 때 끝났다.
Data collection and analysis occurred iteratively. The principal investigator (VL) first analyzed the interview data using an open, selective, and theoretical coding process well-recognized in the field and described in more detail elsewhere.33,34 These coding schemes were reviewed four times by two additional researchers (AP, CS) throughout the study period and discussed within the group, leading to further refinement of developing themes. A second researcher (KN) independently coded two interviews; the group (VL, KN, AP) then reviewed and compared both coding schemes to compare and refine emerging interpretations. The process ended when we had developed a sufficiently rich and comprehensive exploration of each theme.

우리의 [구성주의적 접근 방식]은 참여자와 연구자 사이의 [적극적인 지식의 공동 구성]을 인식하도록 강요한다. 연구과정에서, 우리는 연구자들의 배경이 데이터 해석에 어떻게 기여했는지를 인식했다. 최근 건강전문교육 석사과정을 수료한 의대 졸업생이자 내성적이라고 자처하는 PI(VL)는 저널링, 메모 작성, 연구팀과 공개적이고 비판적인 대화를 정기적으로 하는 등 연구에 기여한 점을 지속적으로 반성했다. 의료 문화와 훈련의 사회적 과정에 초점을 맞춘 그녀의 연구 배경은 CGT 접근법과 일치한다. 연구팀은 질적 방법(AP)에 대한 배경을 가진 교육학 연구원과 만성질환(CS)에 대한 운동학적 측면과 환자진료에 대한 전문지식을 갖춘 연구원 등 2명으로 구성됐다. 추가 멤버는 연구 환경에 "내부" 렌즈를 제공했는데, 이는 외과 수련자(KN)를 가르친 경험이 풍부한 일반 외과 의사이다.
Our constructivist approach compels us to recognize the active co-construction of knowledge between participants and researchers.33 Throughout the study, we recognized how the backgrounds of our researchers may have contributed to interpretations of the data: the PI (VL), a medical graduate who recently completed a Master’s in Health Professions Education and who self-identifies as introverted, continuously reflected on her contribution to the research through journaling, writing memos, and regularly engaging in open and critical conversations with the research team. Her research background, focusing on medical culture and the social processes of training, are aligned with the CGT approach. The team was composed of two members who provided “outsider” (non-physician) lenses to the research setting: a researcher in Education with a background in qualitative methods (AP) and a researcher with expertise in the psychological aspects of Kinesiology and patient care in chronic disease (CS). An additional member provided an “insider” lens to the research setting: a general surgeon who has extensive experience teaching surgical trainees (KN).

발달적 Progress Assessment의 도입에 관한 이해관계자 인식: 이론적 영역 프레임워크를 활용한 행동결정요인 문서화 (Adv Health Sci Educ Theory Pract. 2022)
Stakeholders’ perception on the implementation of Developmental Progress Assessment: using the Theoretical Domains Framework to document behavioral determinants
Christina St‑Onge1 · Elisabeth Boileau1 · Serge Langevin1 · Lily H. P. Nguyen2 · Olivia Drescher3 · Linda Bergeron1 · Aliki Thomas2