21세기 보건전문직교육(HPE)에서 평가인증의 역할: 국제합의그룹의 보고(BMC Med Educ, 2020)
The role of accreditation in 21st century health professions education: report of an International Consensus Group Jason R. Frank1,2*, Sarah Taber1, Marta van Zanten3, Fedde Scheele4,5,6, Danielle Blouin7 and on behalf of the International Health Professions Accreditation Outcomes Consortium
보건 전문가 교육의 현재 내용, 조직 및 전달이 [환자와 인구집단의 요구와 관심사에 도움이 되지 못한 강력한 사례]가 있다. A strong case is made that the present content, organisation, and delivery of health professionals’ education have failed to serve the needs and interests of patients and populations.
효과적인 인증은 모든 보건직업 교육(HPE) 시스템에 필수적인 요소로 간주된다[2]. 현재 HPE 인증은 전 세계적으로 전례 없는 정밀 조사와 변화를 겪고 있습니다. 일부 형태의 품질 모니터링 활동은 거의 틀림없이 현대 의과대학만큼 오래되었지만, HPE 개혁에 대한 [3, 4] 주요 보고서는 인가의 발전을 가속화하고 있다.
플렉스너 보고서(1910) [5]는 교육과정, 교육 철학, 감독에 대한 변화뿐만 아니라 수십 개의 북미 의과대학들의 폐쇄로 이어졌다.
1988년 에든버러 선언[6]은 HPE를 사회적 필요에 맞게 재정립하려고 노력했으며, 이는 교육 방법, 교수진 개발 및 훈련을 위한 설정의 개혁을 주도했다.
2010년 21세기 건강 전문가 교육에 관한 란셋 위원회[7]는 지역 인구의 요구를 더 잘 충족시키기 위해 세계적으로 역량 기반 HPE로의 변경을 요구했다[8].
2012년, 대학원 의학 교육을 위한 인증 위원회(ACGME)는 과정process 대신 졸업성과graduate outcome으로 미국 레지던트 교육의 이러한 변화를 구현했다[9].
2013년, 캐나다 레지던시 인증 컨소시엄(CanRAC)은 인가에 대한 보다 현대적인 접근을 위해 철학과 활동, 인프라 및 표준을 근본적으로 정비하기 위한 움직임을 보였다[10].
Effective accreditation is considered an essential ingredient for any system of health professions education (HPE) [2] At the present time, HPE accreditation is undergoing unprecedented scrutiny and change worldwide. While some form of quality monitoring activity is arguably as old as modern medical schools, [3, 4] seminal reports on HPE reform have driven the evolution of accreditation in an accelerating fashion.
The Flexner Report (1910) [5] led to the shuttering of dozens of North American medical schools, as well as to changes to curriculum, philosophy of education, and oversight.
The 1988 Edinburgh Declaration [6] sought to realign HPE to societal needs and it drove reforms in instructional methods, faculty development, and settings for training.
The 2010 Lancet Commission on the Education of Health Professionals for the twenty-first Century [7] demanded the worldwide change to competency-based HPE to better meet the needs of local populations [8].
In 2012, the Accreditation Council for Graduate Medical Education (ACGME) implemented these kinds of changes in American residency education by reorienting US accreditation with graduate outcomes instead of processes [9].
In 2013, the Canadian Residency Accreditation Consortium (CanRAC) also moved to fundamentally overhaul its philosophy, activities, infrastructure, and standards for a more contemporary approach to accreditation [10].
최근 몇 년 동안 인증의 개혁에 왜 이렇게 많은 관심이 있었는가? HPE의 결함을 강조하는 이들은 인증 시스템에 대한 더 많은 관심을 지지해왔다. 예를 들어, 랜싯 위원회는 제대로 설계되지 않은 HPE 시스템[7]에서 준비되지 않은 졸업생에 대한 인식을 부각시켰다. David Ash와 다른 사람들의 결과 연구는 졸업역량의 측면에서, 현재 교육 프로그램이 생성한 것은 허용할 수 없는 variation이 있음을 강조하였다 [11,12,13,14]. 21세기의 중요한 개혁 중에는 양질의 교육을 통해 우수한 졸업생을 배출할 수 있도록 HPE 인증을 업데이트해야 한다는 목소리가 높아지고 있습니다 [9, 15]. Why has there been all this attention on accreditation reform in recent years? Those highlighting the failings of HPE have advocated for greater attention for accreditation systems. The Lancet Commission, for example, has spotlighted perceptions of ill-prepared graduates in poorly designed HPE systems [7]. The outcomes work of David Asch and others has highlighted unacceptable variations in graduate competence produced by current programs [11,12,13,14]. Among the critical reforms of the twenty-first century is a growing call to update HPE accreditation to ensure quality training produces high-quality graduates [9, 15].
인증 시스템은 보건 전문가 훈련 프로그램에 대한 감독 및 지침을 제공하며, 사회 보건 요구 사항을 충족하도록 의료인을 배출하기 위한 품질 훈련 모델을 명확히 한다[2, 15]. 전문 교육 시스템에서 그러한 중요한 기능을 위해, HPE 인증의 역할, 요소, 영향 및 진화를 설명하는 데 거의 작성되지 않았다. 인증 관행을 교육 프로그램의 결과와 연계시키는 일은 훨씬 더 적었다.
Accreditation systems provide oversight and guidance to health professions training programs and articulate a model of quality training to produce practitioners to meet societal health needs [2,15]. For such a critical function in a professional education system, little has been written to describe the role, elements, impact, and evolution of HPE accreditation. Even less has been done to link accreditation practices to the outcomes of training programs.
목적
Purpose
보건 분야에서 인가의 미래에 대한 21세기 대화를 시작하기 위해, 우리는 인가에 관한 기존 문헌을 검토하고, 전 세계의 시스템을 검토하며, 차세대 인가의 시스템을 구축하기 위한 합의 프레임워크를 개발할 필요성을 인식했다. 우리는
1) 보건 분야의 인증에 대한 글로벌, 현대적 정의를 식별하기 위한 국제 합의 컨소시엄의 노력을 설명하고,
2) 의료 결과에 대한 교육 인증의 관계를 설명하고,
3) 21세기 HPE 인증에서 중요한 질문과 반복 문제를 식별하고,
4) 오늘날의 HPE 인증에서 필수적인 요소의 프레임워크를 제안한다
To begin a twenty-first century dialogue about the future of accreditation in the health professions, we recognized a need to review the existing literature on accreditation, examine systems worldwide, and develop consensus frameworks on which to build the next generation of accreditation systems. We describe the efforts of an international consensus consortium to
1) identify a global, contemporary definition of accreditation in the health professions,
2) describe the relationship of educational accreditation to health care outcomes,
3) identify important questions and recurring issues in twenty-first century HPE accreditation, and
4) propose a framework of essential ingredients in present-day HPE accreditation.
방법
Methods
이러한 목표를 해결하기 위해, 우리는 HPE 기관에 대한 문헌 검색 및 Google 검색을 통해 건강 직업 인증 리더를 식별했으며, 눈덩이 샘플링을 사용하여 다른 리더의 네트워크에 액세스했다[16]. 우리는 특히 한 보건 전문가의 경력의 연속체에서 관점을 가진 사람들뿐만 아니라 여러 보건 분야의 인증 리더와 학자들을 찾아냈다. 이러한 리더들은 장학금을 증진하고 HPE 인증에 대해 생각하는 국제 합의 컨소시엄(IHPAOC, "epoch"로 불리는)에 참여하도록 초대되었다. To address these goals, we identified health professions accreditation leaders via a literature search and Google search of HPE institutions, as well as by accessing the networks of other leaders using snowball sampling [16]. We specifically sought out accreditation leaders and scholars from multiple health professions, as well as those with perspectives from across the continuum of a health professional’s career. These leaders were invited to join an international consensus consortium to advance the scholarship and thinking about HPE accreditation—called the International Health Professions Accreditation Outcomes Consortium (IHPAOC, pronounced “epoch”).
그런 다음 일련의 이슈 식별 및 합의 활동을 조직했습니다. 2013년 캐나다 캘거리에서 열린 레지던시교육 국제회의와 연계해 제1차 인증결과 세계정상회의, 2018년 스위스 바젤에서 열린 유럽의료교육협회 회의와 연계해 제2차 세계정상회의를 소집했다. 이 서밋에서 우리는 반복 그룹 프로세스를 사용하여 HPE 인증의 현재 상태 및 향후 방향과 관련된 테마를 식별했다. 표 1은 정상 회담의 대표 범위를 보여줍니다. 그 후, 우리는 정상회의에서 식별된 문제를 더 자세히 탐구하기 위해 컨소시엄에 대한 정기적인 국제 통화(연간 약 6회)와 하위 그룹을 조직했다. 이 프로세스의 일부로, 우리는 식별된 하위 테마에 형성된 합의점을 포착하기 위해 일련의 논문을 개발했다. 각 논문은 컨소시엄의 모든 구성원에 의해 논의되고 검토되었다.
We then organized a series of issue identification and consensus activities. We convened the 1st World Summit on Accreditation Outcomes in conjunction with the International Conference on Residency Education in Calgary, Canada in 2013, and a 2nd World Summit in conjunction with the Association for Medical Education in Europe conference in Basel, Switzerland in 2018. At these Summits, we used an iterative group process to identify themes related to the current state of, and future directions for, HPE accreditation. Table 1lists the breadth of representation at the Summits. We subsequently organized regular (approximately six times per year) international calls and subgroups for the Consortium to further explore the issues identified at the Summit. As part of this process, we developed a series of papers to capture the consensuses formed on the subthemes identified. Each paper was discussed and reviewed by all members of the Consortium.
Table 1 Breadth of representation at 2013 and 2018 World Summits
본 논문에서는 IHPAOC를 대신하여 HPE 인증의 기본 문제와 요소에 대한 합의 논의의 개요를 제공한다.
In this paper, on behalf of the IHPAOC, we offer an overview of the consensus discussions on the fundamental issues and elements of HPE accreditation.
결과: HPE 인증의 현대적 문제 Results: contemporary issues in HPE accreditation
HPE의 인증이란 무엇인가? What is accreditation in HPE?
인증은 효과적인 HPE와 효과적인 의료 모두를 위한 기초적인 사회적 기업으로 간주될 수 있지만, 그 정의에 대한 보편적인 합의는 없다. QA(Quality Assurance), CQI(Continuous Quality Improvement) 기업, 프로그램 평가의 형태 및 위의 다양한 조합으로 다양하게 기술되어 왔다. Accreditation can be considered a societal enterprise that is fundamental for both effective HPE and effective health care, but there is no universal agreement on its definition. It has variously been described as a form of quality assurance (QA), an enterprise of continuous quality improvement (CQI), a form of program evaluation, and various combinations of the above.
예를 들어 세계의료교육연맹(WFME)은 다음을 지지한다. The World Federation for Medical Education (WFME), for example, espouses the following:
인증은 의료 교육 프로그램의 적합성과 의료 교육 제공에 있어 의과대학의 역량에 대한 인증[17]이다. Accreditation is the certification of the suitability of medical education programmes, and of the competence of medical schools in the delivery of medical education [17].
마찬가지로 국제의료규제당국협회는 다음과 같은 문구를 사용한다. Similarly, the International Association of Medical Regulatory Authorities uses this statement:
인증은 신뢰할 수 있는 독립 기관이 의료 교육 프로그램의 품질을 평가하여 의료 교육 프로그램에 대한 확신을 제공하는 과정이다. 교육 프로그램이 [인턴(또는 동등한 사람)의 감독 하에, 안전하고 효과적으로 의료행위를 수 있는 역량을 갖춘 졸업생을 배출]하는지, [평생 학습 및 의학의 모든 분야에서 추가 훈련을 위한 적절한 토대를 제공했는지]를 확인한다 Accreditation is the process by which a credible, independent body assesses the quality of a medical education program to provide assurance that it produces graduates that are competent to practise safely and effectively under supervision as interns (or equivalent), and have been provided with an appropriate foundation for lifelong learning and further training in any branch of medicine[18].
미국 국립 과학 기술 의학 아카데미는 다음과 같은 의료 인력 계획 측면에서 인증을 정의합니다.
The US National Academy of Sciences, Engineering and Medicine defines accreditation in terms of health workforce planning:
인증의 목적은 특정 기준을 충족한 기관 내에서 이루어지는 교육의 질을 보장함으로써 유능한 보건 인력을 양성하는 것이다. … 인증은 그러한 품질을 모니터링하고 보장하기 위한 도구입니다 [15]. The purpose of accreditation is to build a competent health workforce by ensuring the quality of training taking place within those institutions that have met certain criteria. … Accreditation is a tool for monitoring and ensuring such quality[15].
이 논의에서 제기된 주요 기능은 다음과 같습니다.
인증이 [프로그램, 기관 또는 시스템을 대상]으로 하는 특별한 종류의 평가라는 생각.
인증은 [정의된 표준과의 비교]를 포함한다.
인증은 일반적으로 [대상이 되는 기관]과 [어떤 종류의 제3자 기관] 사이의 파트너 관계이다.
현대의 인증은 [품질 보증]과 [품질 개선]을 모두 수반한다는 견해.
Key features that arose in the discussions included the following:
the idea that accreditation is a special kind of evaluation targeting a program, an institution, or a system;
accreditation involves a comparison against defined standards;
accreditation is usually a partnership between the target of the process and some kind of third-party institution; and
the view that modern accreditation involves both quality assurance and quality improvement.
IHPAOC 위원들은 이러한 모든 문제를 해결하고 HPE의 연속체에 적용되는 인증의 보다 정확한 정의를 추구했다. 이를 위해 다음과 같은 정의를 개발하고 채택했습니다.
The IHPAOC members sought a more precise definition of accreditation that both addressed all of these issues and applied to the continuum of HPE. To that end, we developed and adopted the following definition:
보건직업에서의 인증은 [품질 보증과 지속적인 개선]을 목적으로 [외부 기관]에 의해 [정의된 표준]에 대한 [교육 프로그램, 기관 또는 시스템]의 [공식적인 평가] 과정이다. Accreditation in the health professions is the process of formal evaluation of an educational program, institution, or system against defined standards by an external body for the purposes of quality assurance and continuous enhancement.
IHPAOC는 또한 HPE 인증을 위해 다음과 같은 목표 진술을 채택했다. IHPAOC also adopted the following goal statement for HPE accreditation:
인증은 [사회적 요구를 효과적으로 충족]시키기 위해 [준비된 유능한 인력에 대한 고품질 교육을 보장]하는 데 기여한다. Accreditation contributes to ensuring high quality training for a competent workforce prepared to serve societal needs effectively.
인가는 HPE의 프로그램 평가 또는 연구와 어떤 관련이 있는가? How does accreditation relate to program evaluation or research in HPE?
[인증], [프로그램 평가], [의료 교육 연구]는 때때로 공유된 방법과 중복되는 노력이 될 수 있다. 표 2는 이 세 기업을 비교한다.
Accreditation, program evaluation, and medical education research can sometimes be overlapping endeavours, with shared methods. Table 2compares these three enterprises.
Table 2 Accreditation, program evaluation, and research in health professions education
강제성
인증은 정부 또는 다른 감독 기관에 의해 위임될 수 있고 직업의 자율 규제의 일부가 될 수 있다.
한편, 프로그램 평가와 연구는 대개 선택적인 활동이다.
Accreditation can be mandated by government or another oversight body or it can be part of a profession’s self-regulation. Meanwhile, program evaluation and research are usually elective activities.
자금
인증를 위한 기금은 정부 또는 규제 계획의 일부일 수도 있고, 직업 자체에서 조달할 수도 있다.
프로그램 평가 및 연구를 위한 자금은 보조금, 기부금 또는 기관 예산과 같은 광범위한 출처에서 나온다.
Funding for accreditation can be part of a government or regulatory scheme, or it can be from the profession itself. Funding for program evaluation and research come from a wider array of sources, such as grants, endowments, or institutional budgets.
목적
인증은 때때로 프로그램/교육과정/기관이 심사 대상인 평가라는 점에서 프로그램 평가의 특별한 유형class으로 간주된다. 인증의 경우, [외부 기관의 정의한 표준]과의 정렬alignment을 결정하기 위한 것이다.
대조적으로, 프로그램 평가와 연구는 각각 광범위한 맞춤형 질문, 방법, 데이터 및 목적을 사용한다.
In terms of its purpose, accreditation is sometimes seen as a special class of program evaluation, in that programs/curricula/institutions are the evaluands being examined. In the case of accreditation, the evaluation is for the purpose of determining alignment with defined standards from an external body. By contrast, program evaluation and research each employ a vast array of tailored questions, methods, data, and purposes.
인증은 구체적이고 제한된 범위와 목적을 가진 특별한 기업입니다 [19, 20].
Accreditation is a special enterprise, with a specific, constrained scope and purpose [19,20].
HPE에서 인증의 역할은 무엇입니까? What is the role of accreditation in HPE?
QA와 CQI라는 인증의 [이중 기능dual function]은 향상된 교육 및 대학원 능력 향상을 통해 HPE를 개선할 수 있습니다. 표 3은 이러한 QA와 CQI 관점의 스펙트럼을 보여준다. 이러한 두 가지 관점은 종종 많은 인증 시스템에 공존할 수 있다.
Accreditation’s dual functions of QA and CQI can improve HPE through enhanced training and improved graduate abilities. Table 3illustrates the spectrum of these QA and CQI perspectives. These two perspectives can often co-exist in many accreditation systems.
Table 3 Accreditation as quality assurance and continuous quality improvement
품질 보증으로서의 인증 Accreditation as quality assurance
인증은 종종 HPE 시스템의 필수적인 요소로 언급된다: 그것은 높은 품질의 교육이 모집단의 요구를 충족시킬 수 있는 유능한 졸업생을 생산하도록 보장하는 과정이다. 그림 1은 보건 분야의 "품질 사슬quality chain의 링크"에 인가를 연결하는 방법을 설명한다. 이러한 의미에서 인증은 프로그램 및 기관 및/또는 시스템을 사전 정의된 예상 특성에 대해 측정하는 QA의 한 형태이다. 프로그램/기관이 표준을 충족했는지에 대한 인가 검토 후 결정이 내려진다. 이러한 인증 모드는 고부담high stakes 작업이 될 수 있습니다. 커리어, 프로그램, 자금 지원, 평판, 서비스 및 학습자 진보는 모두 검토 결과에 따라 달라질 수 있습니다. 이것은 인증의 [총괄적 관점]입니다: 최적이지 않은suboptimal 교육을 위한 품질 및 보안관의 방벽으로서의 인증 [2, 15, 17, 18, 21, 22, 23, 24, 25, 26, 27]. Accreditation is often cited as an essential ingredient in HPE systems: it is a process to ensure that high quality education produces competent graduates to serve a population’s needs. Figure 1describes how accreditation connects to the “links in the quality chain” of the health professions. In this sense, accreditation is a form of QA in which programs and institutions and/or systems are measured against pre-defined expected characteristics. A decision is made after an accreditation review as to whether the program/institution has met the standard. This mode of accreditation can be high stakes: careers, programs, funding, reputations, services, and learner advancement can all depend on the review’s findings. This is a summative view of accreditation: accreditation as bulwark to quality and sheriff for suboptimal training [2,15,17,18,21,22,23,24,25,26,27].
Fig. 1
인증은 [규제적 QA 기능]에서 학습 환경이 학습자에게 안전하고 효과적인지 보장할 수 있다. 최소 표준 준수를 촉진함으로써, 인증은 부정적인 환경과 관행의 영속화를 방지하며, 학습자와 환자 모두에게 해를 끼치는 것도 예방할 수 있다. QA는 또한 커리큘럼 품질, 교육 방법 및 평가 관행에 대한 [최소 임계값minimum threshold]에 초점을 맞출 수 있다. 인증은 QA 모드에서 직업, 학습자 및 환자의 안전을 유지하는 데 기여합니다. 인증은 일종의 전문적인 책임을 이행하며, 자율규제 직업에 대한 대중의 신뢰를 보장하는 데 도움이 된다[27]. In its regulatory QA function, accreditation can ensure learning environments are safe and effective for learners. By promoting adherence to minimum standards, accreditation can even prevent negative environments and practises from being perpetuated, preventing harm to learners and patients alike. QA can also focus on minimum thresholds for the quality of curriculum, instructional methods, and assessment practices. Accreditation, in its QA mode, contributes to keeping the profession, its learners, and its patients safe. Accreditation fulfills a kind of professional accountability and helps to ensure public confidence in self-regulated professions [27].
지속적인 품질 향상으로 인증 Accreditation as continuous quality improvement
다른 이들은 인증을 CQI의 진정한 [형성적 과정]으로 설명한다. 프로그램, 기관 또는 시스템은 강점과 개선할 수 있는 영역에 대한 피드백을 제공하기 위해 표준에 대해 측정된다 [28,29,30,31,32,33,34,35,36,37]. 프로그램 또는 기관 포트폴리오 또는 "보고서 카드"에서 인증 정보를 수집하면 교육의 주요 측면을 지속적으로 모니터링하고 개선할 수 있습니다 [20, 36, 37]. [끊임없이 발전하는ever-evlolving 제3자 표준]은 지속적인 개선의 문화를 만들 목적으로, HPE 기관과 커리큘럼의 약점을 식별하고 개선하기 위해 도입deploy될 수 있다. 이러한 방식으로, 인증은 [커리큘럼의 "화석화"를 방지]할 수 있다[38]. 현장 평가관 및 동료 평가관을 사용하여 인증 프로세스도 혁신과 모범 사례를 전파할 수 있습니다. CQI 인증 모드에서 사회는 가능한 최고의 졸업생을 배출하기 위해 가장 효과적인 커리큘럼에 대한 지속적인 탐색을 보장함으로써 봉사한다. Others describe accreditation as truly a formative process of CQI: programs, institutions, or systems are measured against standards to provide feedback on areas of strength and areas that can be improved [28,29,30,31,32,33,34,35,36,37]. Collecting accreditation information in program or institutional portfolios or “report cards” can support ongoing monitoring and improvement of key aspects of education [20,36,37]. Ever-evolving third-party standards can be deployed to identify and ameliorate weaknesses in HPE institutions and curricula, with the intention of creating a culture of continuous enhancement. In this way, accreditation can prevent the “fossilization” of curriculum (something Abrahamson called “curriculum ossification”) [38]. Accreditation processes, using onsite surveyors and peer review, can also disseminate innovations and good practices. In the mode of accreditation as CQI, society is served by ensuring a continuous quest for the most effective curricula to produce the best possible graduates.
인증은 의료 결과에 어떻게 기여합니까? How does accreditation contribute to health care outcomes?
교육 품질의 표준을 만들 때, 인증 프로세스는 전문직 또는 전문직 커뮤니티의 가치를 전달한다. 이러한 표준의 작성은 원하는 의료 결과와 일치시켜 의료 직업에 대한 사회적 요구를 고려해야 한다[2]. HPE의 품질이 졸업성과에 강력한 영향을 미친다는 명백한 증거가 있다. Asch [11], Tamblyn [39], Bordage [40] 등의 작업은 [교육 환경]이 [졸업생 능력graduate abilities]과 [의료행위 패턴]에 미치는 심오하고 영구적인 영향을 명확하게 보여줍니다. 증거는 또한 [조직적 요인 및 시스템적 요인]처럼 (임상 기술 및 지식 획득 외에도) 의사 성과 변동에 기여하는 요인이 있음을 시사하며, 따라서 학습 환경에서 이러한 요인을 검토하기 위한 전체론적holistic 인증 시스템의 사례가 된다[9, 14]. In creating standards of educational quality, the accreditation process communicates the values of a profession or professional community. The creation of these standards should consider societal needs for the health professions, aligning them with desired health care outcomes [2]. There is clear evidence that the quality of HPE has a powerful impact on graduate outcomes. Work by Asch [11],Tamblyn [39], Bordage [40], and others clearly demonstrates the profound and permanent impact of the educational setting on graduate abilities and practice patterns. Evidence also suggests that there are factors contributing to physician performance variation that occur outside of clinical skills and knowledge acquisition, such as organizational and systemic factors, thereby making the case for a holistic accreditation system to examine these factors in the learning environment [9,14].
Braithwaite 및 동료와 같은 저자들의 새로운 연구는 [인증 활동이 원하는 임상 및 기관 결과에 미치는 긍정적인 영향]에 대한 타당성 증거를 제공했다 [41,42,43]. HPE 시스템에서 인증은 교육의 품질에 미치는 영향을 통해 가상의 "가치 사슬"에 기여합니다. 최소 요건이 충족되도록 보장함으로써 인가는 교육과 실무의 변동을 줄이고 승인된 기술혁신의 채택을 촉진할 수 있다. QA와 CQI를 통해 인증은 학습자 선발, 커리큘럼 내용, 교육 활동, 학습 환경, 평가 시스템, 그리고 궁극적으로 졸업생의 역량과 실습의 품질에 영향을 미칠 수 있다. 의료 결과에 직접적인 영향을 미치는 것은 이러한 졸업생들의 의료행위practice이다. 따라서 인증은 효과적인 의료 시스템에서 필수적인 요소이다 [2, 7, 9, 11].
The emerging work of authors such as Braithwaite and colleagues has provided validity evidence for the positive impact of accreditation activities on desired clinical and institutional outcomes [41,42,43]. In HPE systems, accreditation contributes to a virtual “value chain” through its impact on the quality of training. By ensuring that minimum requirements are met, accreditation can decrease variation in education and practice, and promote adoption of accepted innovations. Accreditation, through both QA and CQI, can influence the quality of learner selection, curriculum content, teaching activities, learning environments, assessment systems, and ultimately the competence and practice of graduates. It is the practice of these graduates that directly impact health care outcomes. Therefore, accreditation is an essential ingredient in an effective health care system [2,7,9,11].
HPE에서 인증 시스템의 공통 핵심 요소는 무엇입니까? What are the common core elements of accreditation systems in HPE?
전 세계의 인증 시스템은 많고 다양합니다. 각각은 고유한 맥락에서 진화했으며 고유한 특징으로 구성되어 있습니다 [44]. IHPAOC는 인증 시스템의 핵심 요소에 대한 공통 유형론의 필요성을 파악하여 간단한 프레임워크를 제안했다. 10개의 핵심 요소는 표 4에 열거되어 있다. HPE의 연속체 전체에 걸친 인증 시스템은 매우 다양하지만 일반적으로 이러한 구성 요소를 가지고 있습니다. 이러한 다양한 요소와 관련된 설계 특성은 Taber 등이 다른 IHPAOC 논문에서 자세히 설명하고 있다. [45]. Accreditation systems around the world are numerous and varied. Each has evolved in its unique context and is composed of unique features [44]. IHPAOC identified the need for a common typology of core elements of accreditation systems, and so proposed a simple framework. The 10 core elements are listed in Table 4. Accreditation systems across the continuum of HPE typically have these components, although with great variation. Design features related to these various elements are elaborated in another IHPAOC paper by Taber et al. [45].
Table 4 10 core elements of accreditation systems
이러한 각 요소에 대해, 인가가 품질 결과에 기여하는 데 필수적인 특징에 대한 명확한 증거나 합의가 없다는 점에 유의해야 한다. 그러나 이러한 핵심 요소의 힘은 인증 시스템 설계와 비교를 위한 일종의 공통어lingua franca로서의 약속에 있다. For each of these elements, it should be noted that there is no clear evidence or consensus as to which features are essential for accreditation to contribute to quality outcomes. However, the power of these core elements is in their promise as a kind of lingua franca for accreditation system design and comparison.
동향과 긴장: HPE 인증의 새로운 발전? Trends and tensions: emerging developments in HPE accreditation?
마지막 과제로, IHPOAC 참가자들은 HPE가 21세기의 고유한 맥락에서 진화함에 따라 몇 가지 동향과 긴장을 강조했다.
As a final task, IHPOAC participants highlighted several trends and tensions as HPE evolves in the unique context of the twenty-first century.
[총괄 대 형성? QA 대 CQI?]
첫 번째 주요 주제는 인증 시스템의 QA와 CQI 기능 사이의 긴장을 다룬다. 이것은 오늘날까지 계속되는 영원한 논쟁이다. 인증의 역할에 대한 두 가지 관점 모두 교육의 품질 데이터를 표준과 비교하는 것을 포함하지만, CQI 관점은 확인된 차이를 바탕으로 종합적 판단을 내리는 것을 넘어서는 것이다. CQI 인증은 프로그램이나 기관을 향상시키는 방법에 대한 상세한 정보를 제공하려고 하며, 심지어는 더 높은 수준의 품질을 달성하는 방법에 대한 코칭도 시도한다. 이러한 이분법은 인증제도가 근본적으로
형성적(대상 개선의 명시적 목적을 위해 제공되는 정보)이어야 하는지, 아니면
총괄적(대상의 성과나 상태에 대한 판단)이어야 하는지
...에 대한 또 다른 논쟁과 밀접하게 관련되어 있다. IHPAOC 위원들은 인증 설계자가 프로세스의 목표뿐만 아니라 QA 대 CQI와 관련된 방법을 명시적으로 식별하고 전달해야 한다고 확인했다. Summativevs.formative? QAvs.CQI?The first overarching theme deals with the tension between the QA and CQI functions of accreditation systems. This is a perennial debate; one that continues to this day. While both perspectives on the role of accreditation involve the comparison of educational quality data to a standard, the CQI view goes beyond making a summative judgment based on the identified gaps. CQI accreditation attempts to provide detailed information on how to enhance a program or institution, perhaps even coaching on how to achieve a higher level of quality. This dichotomy is closely related to another debate as to whether accreditation systems should be fundamentally
formative (information provided for the express purpose of improvement of the target) or
summative (judgment made on the merit or status of a target).
IHPAOC members identified that accreditation designers should explicitly identify and communicate the goals of the process, as well as how those goals relate to QA vs. CQI [45].
[연속적 대 일화적?]
서밋 참가자들은 프로그램/기관/시스템의 [일화적이고 가끔 발생하는 "생검"]보다는, 이러한 [목표의 상태에 대한 정보를 보다 지속적으로 샘플링하는 방향]으로의 변화를 확인했다. IHPAOC 위원들은 다시 한번 이 문제가 [인증제도의 목적에 맞게 조정]되어야 한다고 생각했다.
[일화적 샘플링]은 더 고부담 평가인 경향있고, 주기적 정보수집에 큰 비용을 수반하는 경향이 있었지만, 그것은 인증 활동들 사이의 긴 주기를 허용했다. 어떤 면에서는, 일화적 리뷰가 교육 업무에 덜 지장을 줄 수 있다.
한편, [지속적 샘플링]에 대한 주장은 인가자가 시간 경과에 따른 HPE의 변화를 감시하고, 준수 또는 개선을 보장하기 위해 조기에 개입하며, 품질과 모범 사례에 대한 대화가 프로그램, 기관 및 시스템에 항상 존재하도록 한다는 것이다.
이 논의에 덧붙여, Akdemir 등이 작성한 IHPAOC 논문은 다음과 같다. 세 가지 의료 교육 시스템을 검사하기 위해 정부 감독 연구에서 제시한 7가지 핵심 가치를 사용한다 [46]. Continuousvs.episodic?Participants in the Summit identified a shift from episodic, occasional “biopsies” of programs/institutions/systems to more continuous sampling of information on the state of those targets. Once again, the IHPAOC members felt that this issue should be tailored to the purpose of the accreditation system.
Episodic sampling tended to be higher stakes and to involve expensive periodic information gathering; however, it allowed low periods between accreditation activities. In some ways, episodic reviews could be less disruptive to educational work.
On the other hand, the argument for continuous elements in accreditation processes is that they allow accreditors to monitor changes in HPE over time, intervene early to ensure adherence or improvement, and ensure that conversations about quality and good practices are always present in programs, institutions, and systems.
Adding to this discussion, the IHPAOC paper authored by Akdemir et al. uses the seven core values set out in a study of government oversight to examine three medical education systems [46].
[현장 방문 대 문서 검토?]
또 다른 문제(인증 관행의 변형과 관련된 문제)는 데이터 수집 방법과 관련이 있습니다.
문서 검토는 교육 목표에 대한 정보를 효율적으로 수집하는 방법으로, 기술된 것을 인가 표준에 비교한다.
그러나 실제 교육 환경에서 표준을 준수한다는 증거를 찾는 전문가 동료 또는 채용된 검토자가 보다 비싸고 자원 집약적인 현장 검토(일명 "조사"라고 함)를 옹호하는 사람들도 있다. 현장 검토는 직접 정보 제공, 여러 참가자와의 연락, 풍부한 정보 출처의 접근 등의 분명한 이점을 제공합니다 [45].
Onsite visitsvs.document reviews?Another issue—one related to variations in accreditation practices—relates to the methodology of data gathering.
Document reviews are efficient ways to gather information on an educational target, comparing what is described to accreditation standards.
However, others advocate for more expensive, and resource-intensive, onsite reviews (sometimes called “surveys”) by expert peer or hired reviewers who look for evidence of adherence to standards in the actual educational environment. Onsite reviews have the obvious advantages of first-hand information, contact with multiple participants, and access to richer sources of information [45].
[동료 평가 대 인증 전문가 검토?]
누가 인증 심사를 수행해야 하는가? IHPAOC 위원은 전임으로 인가를 전담하는 고용된 전문가와 자신의 경험을 반영하는 진정한 관점을 제공하는 선별된 동료 검토자 사이의 토론을 식별했다. 선택을 안내할 증거가 없는 가운데, 정상회의 참석자들은 그 결정이 [철학과 실용성]에 기초해야 한다고 결론 내렸다. 예를 들어:
진정성이나 전문성이 더 중요합니까?
전문가 대 동료의 가용성은 어느 정도입니까?
이노베이션의 '교차 수정'이 중요합니까? [46, 47]?
Peer reviewvs.accreditation expert review?Who should conduct accreditation reviews? IHPAOC members identified a debate between hired experts who are dedicated to accreditation full time and selected peer reviewers who provide authentic perspectives reflective of their own experiences. With no evidence to guide the choice, Summit participants concluded that the decision should be based on philosophy and practicality. For example:
Is authenticity or expertise more important?
What is the availability of experts vs. peers?
Is cross-fertilization of innovation important [46,47]?
[결과 대 과정 측정?]
전 세계 인증기구 사이의 논쟁에서 발생하는 최종적인 긴장감은 과정(예를 들어, 이 가르침이 발생하는가?) 또는 성과(예: 졸업생이 이 수술을 수행할 수 있는가?) 사이에 얼마나 가중치를 둘 것인지이다. 과정 척도는 일부 경우에 기대성과를 대신하는surrogate 특징이 있고, 성과 척도에 비해서 측정이 쉽다. 또한 성과 척도는 복잡할 수 있고, 시간적으로 떨어져 있으며, 교란될 수 있다. 정상회의 참석자들은 [더 많은 데이터를 이용할 수 있게 됨에 따라] 인증 표준에 대한 결과 척도를 (전적으로 배타적이진 않더라도) 더 많이 사용하는 쪽으로 옮겨는 뚜렷한 변화를 확인했습니다 [48].
Outcomesvs.process measures?The final tension occurring in debates among accreditors worldwide is related to how much to weight standards to process (e.g., Does this teaching occur?) vs. outcomes (e.g., Can graduates perform this surgery?). Process measures were characterized as surrogates for the desired outcome in some cases, and they are often easier to measure than outcome measures, which can be complex, temporally distant, and confounded. Summit participants identified a distinct shift to greater, but not exclusive, use of outcome measures for accreditation standards as more data become available [48].
고찰
Discussion
HPE는 종종 모든 국가의 의료 시스템의 필수적인 요소로 언급된다. 그러나, HPE가 poor outcome와 수용하기 어려운 정도의 졸업성과의 variation으로 고통받고 있다는 증거가 있다. 또한 환자에게 해를 입혔다는 증거도 있다. 인증은 최소 표준 준수와 지속적인 개선을 촉진할 수 있는 보건 전문가들이 직면한 이러한 과제에 대한 해결책으로 식별되었다. 이제 "품질 사슬의 연결"(그림 1)로 인증을 뒷받침하는 근거 자료가 있으며, 교육 활동 대 표준 측정으로 HPE 효과에 강력한 영향을 미친다. 인증은 직업의 활력에 필수적이며 졸업생들이 현대적 실무에 안전하고 효과적으로 대비할 수 있도록 보장합니다 [2,3,4,7,9,15,18,21,49]. HPE is often cited as an essential component of the health care system of any nation. However, there is evidence that HPE suffers from poor outcomes and unacceptable variation in graduate abilities. There is also evidence of patient harm. Accreditation has been identified as a solution to these challenges facing the health professions, one that can promote both adherence to minimum standards and continuous improvement. There is now an evidence base that supports accreditation as “links in a quality chain” (Fig. 1) and measuring educational activities versus standards has a powerful driving affect on HPE effectiveness. Accreditation is essential to the vitality of a profession and ensures graduates are safely and effectively prepared for contemporary practice [2,3,4,7,9,15,18,21,49].
IHPAOC의 설립과 제1차 및 제2차 세계 인증 결과 정상회의의 출범은 HPE 내의 기업으로서 인증에 대한 실무와 지식을 진전시킬 수 있는 독특한 기회를 제공하였습니다. 합의 네트워크는 HPE 시스템에서의 역할뿐만 아니라 HPE 인증을 정의하기 위해 작동했다. 이를 통해 인증 기업의 설계 및 실무를 안내할 수 있는 초기 증거를 식별했습니다. 인증은 큰 근거의 부족으로 제한되며 핵심 요소의 공통 프레임워크의 부족뿐만 아니라 몇 가지 철학적이고 실용적인 토론과 논쟁에 의해 도전받는다. 이 글로벌 네트워크는 이러한 핵심 요소에 대한 방향과 HPE 인증이 계속 발전함에 따라 직면하는 문제에 대한 방향을 제시하였다. 교육을 강화하고 관리를 강화하기 위해 HPE 인증을 평가하고 혁신하기 위해 이 작업을 기반으로 구축해야 한다.
The founding of the IHPAOC and the launch of the 1st and 2nd World Summits on Accreditation Outcomes provided a unique opportunity to advance practice and knowledge about accreditation as an enterprise within HPE. The consensus network worked to define HPE accreditation, as well as its role in HPE systems. In doing so, we identified early evidence to guide the design and practice of an accreditation enterprise. Accreditation is limited by lack of a large evidence base and challenged by several philosophical and practical debates and controversies, as well as the lack of a common framework of core elements. This global network has now proposed direction for these core elements and the issues facing HPE accreditation as it continues to evolve. There is an urgent need to build on this work to evaluate and innovate on HPE accreditation to enhance training and, thereby, enhance care.
결론
Conclusion
HPE 인증은 세계 각국의 보건 인력에 있어 기본적인 역할을 한다. 우리는 전 세계 교육자들이 HPE의 품질을 향상시키기 위해 구축할 수 있는 HPE 인증에 관한 국제 컨소시엄의 결과를 보고한다. 공통 정의를 채택하고 반복되는 문제와 요소의 분류법을 식별함으로써, 우리는 전세계 HPE 인증 시스템의 다양성을 비교, 학습 및 기반으로 구축할 수 있다.
HPE accreditation plays a fundamental role in the health workforce for the nations of the world. We report the findings of an international consortium on HPE accreditation that educators around the world can build upon to advance the quality of HPE. By adopting a common definition and identifying recurring issues and the taxonomy of elements, we can begin to compare, learn from, and build upon the diversity of HPE accreditation systems worldwide.
BMC Med Educ.2020 Sep 28;20(Suppl 1):305.
doi: 10.1186/s12909-020-02121-5.
The role of accreditation in 21st century health professions education: report of an International Consensus Group
Background:Accreditation is considered an essential ingredient for an effective system of health professions education (HPE) globally. While accreditation systems exist in various forms worldwide, there has been little written about the contemporary enterprise of accreditation and even less about its role in improving health care outcomes. We set out to 1) identify a global, contemporary definition of accreditation in the health professions, 2) describe the relationship of educational accreditation to health care outcomes, 3) identify important questions and recurring issues in twenty-first century HPE accreditation, and 4) propose a framework of essential ingredients in present-day HPE accreditation.
Methods:We identified health professions accreditation leaders via a literature search and a Google search of HPE institutions, as well as by accessing the networks of other leaders. These leaders were invited to join an international consensus consortium to advance the scholarship and thinking about HPE accreditation. We describe the consensus findings from the International Health Professions Accreditation Outcomes Consortium (IHPAOC).
Results:We define accreditation as the process of formal evaluation of an educational program, institution, or system against defined standards by an external body for the purposes of quality assurance and enhancement. In the context of HPE, accreditation is distinct from other forms of program evaluation or research. Accreditation can enhance health care outcomes because of its ability to influence and standardize the quality of training programs, continuously enhance curriculum to align with population needs, and improve learning environments. We describe ten fundamental and recurring elements of accreditation systems commonly found in HPE and provide an overview of five emerging developments in accreditation in the health professions based on the consensus findings.
Conclusions:Accreditation has taken on greater importance in contemporary HPE. These consensus findings provide frameworks of core elements of accreditation systems and both recurring and emerging design issues. HPE scholars, educators, and leaders can build on these frameworks to advance research, development, and operation of high-quality accreditation systems worldwide.
Broadening Our Understanding of Clinical Quality: From Attribution Error to Situated Cognition AR Artino Jr1, SJ Durning2, DM Waechter3, KL Leary2 and WR Gilliland3
[개인적 특성이 결과에 미치는 영향을 과대평가하고 상황적 요인의 영향을 과소평가하는 경향]을 근본적인 귀인 오류라고 한다. The tendency to overestimate the influence of personal characteristics on outcomes, and to underestimate the influence of situational factors, is known as the fundamental attribution error.
우리는 임상 품질을 진정으로 이해하기 위해 상황 요인을 조사해야 하며, 이는 종종 임상 조우의 품질에 강한 영향을 미친다. We suggest that to truly understand clinical quality, they must examine situational factors, which often have a strong influence on the quality of clinical encounters.
귀인 오류를 넘어 Moving beyond attribution error
어떤 임상적 만남의 성공은 종종 의사의 질적인 면에서만 좌우된다. 즉, 환자와 다른 이해관계자는 [임상적 질clinical quality]이 [의사의 질]과 동의어라고 가정한다. The success of any clinical encounter is often framed solely in terms of physician quality. That is, patients and other stakeholders assume that clinical quality is synonymous with physician quality.
이러한 경향은 개인 특성의 영향을 과대평가하고 상황적 요인의 영향을 과소평가하는 경향이 널리 퍼져 있다. 사실, 사회심리학자들은 인간이 종종 [근본적인 귀인 오류]라고 불리는 이러한 경향에 굴복한다는 것을 알고 있었고, 1과 교육 연구자들은 최근 교육의 질을 이해하려는 그들의 추구에서 이 광범위한 문제를 확인했다.2 This tendency to overestimate the influence of personal characteristics, and to underestimate the influence of situational factors, is widespread. In fact, social psychologists have known that humans often succumb to this tendency, labeled the fundamental attribution error,1 and education researchers have recently identified this pervasive problem in their quest to understand teaching quality.2
임상 품질에 대해 생각할 때, 자연히 의사의 특성은 좋은 결과와 나쁜 결과 모두에 대해 전적으로 인과관계가 있다고 가정한다. When thinking about clinical quality, one naturally assumes that the characteristics of the physician are solely causal to both good and bad outcomes.
이러한 근본적인 귀인 오류를 만들면서, 우리는 임상 실습이 바쁜 구급 병원과 응급실에서부터 스트레스가 많은 환자 병동과 수술실에 이르기까지 다양하고 복잡한 환경에서 발생한다는 사실을 잊고 있다. 그렇다고 해서 의사가 좋은 결과와 나쁜 결과에 부분적으로만 책임이 있다고 말하려는 것은 아니지만, 우리는 의사가 그러한 결과를 초래하는 몇 가지 요인 중 하나일 뿐이라고 주장할 수 있다. In making this fundamental attribution error, we forget that clinical practice occurs in many different and complex environments, ranging from busy ambulatory clinics and emergency rooms to stressful inpatient wards and operating rooms. This is not to say that the physician is not partially responsible for good and bad outcomes; however, we would argue that the physician is only one of several factors leading to such outcomes.
실제로, 30년 이상의 사회심리학 연구는 [인간의 행동이 자신의 지속적인 개인적 자질보다 사람들이 직면하는 상황에 더 많은 영향을 받는 경향이 있다는 것]을 말해준다. 따라서 우리는 임상 품질을
[의사의 개인적 특성(예: 지식, 기술 및 태도)]과
[진료 도중에 의사가 경험하는 상황적 요구(예: 진료 기간, 인력 배치 및 질병의 정확성 같은 환자 요인)]
...의 함수로 재인식하는 것이 도움이 된다. Indeed, more than 30 years of social psychology research tells us that human behavior tends to be more influenced by the situations people face than by their own enduring personal qualities. Therefore, we believe it is helpful to reconceptualize clinical quality as a function of both
physicians’ personal characteristics (e.g., knowledge, skills, and attitudes) and
the situational demands physicians experience during practice (e.g., appointment length, staffing, and patient factors, such as acuity of the illness).
최근, 임상 품질에 대한 우리의 관점을 확장해야 할 필요성이 의학교육의 연구와 훈련을 개선하는 데 있어 매우 중요한 것으로 파악되고 있다. Durning과 동료3는 의료 교육 연구자가 의료 교육 연구 패러다임에서 임상 조우 상황을 명시적으로 고려하도록 장려하는 프레임워크를 제안했다(그림 1). Recently, the need to expand our view of clinical quality has been identified as critical to improving research and training in medical education. Durning and colleagues3 proposed a framework that encourages medical-education researchers to explicitly consider the context of the clinical encounter in medical-education research paradigms (Figure 1).
[위치 인식situated cognition]의 교리에 기초한 그들의 모델은, [사고와 학습은 상황의 특성과 불가분의 관계에 있다]고 주장한다.4 이 렌즈를 통해 볼 때,
사고와 학습은 내부internal 과정으로 보이지 않고,
지식은 대상이 아니며,
기억은 위치가 아니다;
대신에 생각과 학습은 사람과 환경 사이의 상호 작용으로 일어난다.5
Their model, based on tenets of situated cognition, argues that thinking and learning are inextricably linked to the characteristics of the situation.4 When viewed through this lens,
thinking and learning are not seen as internal processes,
knowledge is not an object, and
memory is not a location;
instead, thinking and learning take place as interactions between people and their environment.5
[전통적인 인지심리학자]가 은유적으로 "머리 안의 세계"에 대해 말하는 반면, [situated conition theorist]는 "세계 안의 머리"에 대해 토론하기를 선호한다. 인지 심리학자가 세계의 정신적 표현과 [입력-출력 변환]의 본질에 초점을 맞출 수 있는 경우, 위치 인식 이론가는 상황과 사람들이 하는 부분에 초점을 맞추는 것을 선호할 것이다.4 이러한 관점에서 볼 때, 인간의 지식은 [세상과의 상호 작용]과 [사람과 환경의 상호 수용]으로 생각할 수 있다.
Whereas a traditional cognitive psychologist might talk metaphorically about “the world inside the head,” a situated cognition theorist would prefer to discuss “the head inside the world.”And where a cognitive psychologist might focus on mental representations of the world and the nature of input–output transformations, a situated cognition theorist would prefer to focus on situations and the parts that people play.4 When viewed from this perspective, human knowledge can be thought of as interactions with the world and the mutual accommodation of people and the environment.
Durning et al.3에 의해 제안된 모델은 세 가지 상황 입력, 즉 의사 요인, 환자 요인 및 실습 요인을 설명함으로써 임상 결과를 고려한다. 이 모델은 의사결정이 참가자가 정보가 풍부한 환경에서 여러 목표의 균형을 맞춘 결과라고 제안한다. The model proposed by Durning et al.3 considers clinical outcomes by explicating three situational inputs:
physician factors,
patient factors, and
practice factors.
The model proposes that decision making is the result of a participant balancing multiple goals in an information-rich environment.
참가자들(의사 및 환자)은 주어진 약속에서 종종 여러 가지 목표를 가지고 있으며, 그들의 목표는 시간이 지남에 따라 나타나며, 그들의 목표는 약속appointment 시작 시에 정확하게 예측할 수 없다. 또한, 다중 요인은 역동적이고 종종 복잡한 방식으로 상호작용할 수 있다. Participants (physician and patient) often have multiple goals in any given appointment; their goals emerge over time, and their goals cannot be precisely predicted at the outset of the appointment. Furthermore, multiple factors can interact in dynamic and often complex ways.
임상 품질을 의사, 환자 및 실습 요인의 상호 작용으로 생각하고 각 요인에 기여하는 다양한 요소를 인식하면(그림 1), 임상 품질에 대한 보다 광범위하고 시스템 수준의 관점이 나타난다. 중요한 것은, 이 접근방식은 또한 환자 치료를 개선하기 위해 구현될 수 있는 몇 가지 잠재적 개입을 가리킨다. 마지막으로, 임상 만남에서처럼 목표가 나타날 때, 아마도비선형성nonlinearity (즉, 결과가 구성 요소 부분의 단순한 합보다 크다는 생각)이 발생할 것이다.
When one thinks of clinical quality as the interaction of physician, patient, and practice factors, and recognizes the various elements that contribute to each factor (Figure 1), a broader, system-level view of clinical quality emerges. Importantly, this approach also points to several potential interventions that can be implemented to improve patient care. Finally, when goals emerge, as they do in a clinical encounter, nonlinearity (i.e., the idea that the outcome is more than the simple sum of the component parts) probably occurs.
귀인 오류의 사례 연구 A case study in attribution error
78세의 한 여성이 왼쪽 다리를 포함한 심혈관 혈전증으로 치료를 받은 후 학원에서 퇴원했다. 와파린 치료는 그녀가 저분자 무게의 헤파린으로 다리 항응고제를 받는 동안 시작되었다. 퇴원 후 5일 후 급성 오른쪽 반두통 진단을 받고, 비대조 컴퓨터 단층촬영 헤드 스캔 결과 왼쪽 피질 출혈성 뇌졸중이 확인된다. 환자의 국제 정상화된 프레젠테이션 비율은 18.5로 퇴원 전 1.4와 비교된다. 환자 차트를 검토한 결과 와파린 치료법(10mg/일)이 시작, 입원 중 유지되고 지난 7일 동안 퇴원한 것으로 나타났으며, 입원환자 주치의가 와파린 복용량을 부적절하게 모니터링하고 너무 많이 투여하여 약물 부작용으로 이어진 것으로 결론났다. 병원 조사팀이 권고하는 시정조치는 6개월 동안 이 제공자를 감독된 임상적 특권에 두는 것이었다. A 78-year-old woman is discharged from an academic medical center following treatment for a deep-vein thrombosis involving her left leg. Warfarin therapy was initiated while she was receiving bridge anticoagulation with low-molecular-weight heparin. Five days following discharge, she is emergently evaluated for acute right-sided hemiparesis, and a noncontrast computed tomography head scan confirms a left cortical hemorrhagic stroke. The patient’s international normalized ratio on presentation is 18.5, as compared with 1.4 before discharge. A review of the patient’s chart reveals that warfarin therapy (10 mg/day) was started, maintained during hospitalization, and continued on discharge over the previous 7 days, and it is concluded that the inpatient attending physician was at fault for inadequately monitoring and administering too high a dose of warfarin, leading to an adverse drug event. Corrective action recommended by the hospital investigative team was to place this provider on supervised clinical privileges for a period of 6 months.
이 좁게 초점을 맞춘 귀인 오류의 결과는 [좋지 않은 결과에 기여한 더 큰 시스템 문제]를 식별하지 못한 것이다. 예는 다음과 같습니다. The consequence of this narrowly focused attribution error is the failure to identify larger systemic problems that contributed to the poor outcome. Examples include the following: 1. 야간 플로트 허용 의사는 처음에 중단 날짜 없이 10mg의 와파린을 매일 투여하기 시작했다(고위험 약물 개시, 의사 계수). 1. The night-float admitting physician initially started the 10-mg-daily dose of warfarin without a stop date (high-risk medication initiation; physician factor). 2. 전자진료기록은 와파린을 매일 10mg씩 외래진료제로 포착하고 퇴원요약에 "약물화합"기능(실천인자)의 일부로 동일한 약물과 선량을 기입하였다. 2. The electronic medical record captured warfarin, 10 mg daily, as an outpatient medication and populated the discharge summary with the same drug and dose as part of a “medication reconciliation” function (practice factor). 3. 입원 시 와파린 투여량을 매일 10mg에서 5mg으로 감소시키라는 입원 명령에도 불구하고 퇴원 시 환자에게 10mg을 투여하였다(실습계수). 3. The 10-mg dose was administered to the patient upon discharge despite an inpatient order to decrease warfarin dosing from 10 mg to 5 mg daily during the hospital stay (practice factor). 4. 환자는 기관지염(환자 및 시술 요인)을 위해 14일 동안 트리메토프림-술파메토호사졸(sulfametoxazole) 과정을 밟고 있었다. 이는 외부 약국(실습인자)에서 종이 처방으로 처방전이 채워져 있기 때문에 무심코 환자(환자 인자)가 보고하지 않고 전자 진료기록(실습인자)에 포착되지 않았다. 이것은 약물 상호작용으로 이어져 와파린 혈중 농도를 더욱 증가시켰다. 4. The patient was taking a 14-day course of trimethoprim– sulfamethoxazole for “bronchitis” (patient and practice factor). This was inadvertently not reported by the patient (patient factor) and was not captured by the electronic medical record (practice factor), because the prescription was filled by paper prescription at an outside pharmacy (practice factor). This led to a drug–drug interaction, further increasing warfarin blood concentrations. 5. 이 환자가 입원한 주말(팀 적용범위가 부족한 고위험 기간, 연습 요인) 동안에는 라운딩 병원 약국 서비스를 이용할 수 없었다. 5. A rounding hospital pharmacy service was not available during the weekend of this patient’s admission (a high-risk period with lack of team coverage; practice factor). 6. 환자에게 약물 유전자 검사를 실시했으며, VKORC1A/A 및 CYP2C9*3/*3 변형이 발견되었으며, 이는 주간 와파린 복용량이 약 5~10mg(트리메토프림-술파메토호사졸, 환자 및 내과의사 인자)임을 나타낸다. 그러나 이러한 데이터는 (악성 사건 발생 당시, 실무 인자) 시험 후 1주가 지나서야 해석할 수 있었다. 6. Pharmacogenomic testing was done on the patient, and she was found to have VKORC1 A/A and CYP2C9*3/*3 variants, which indicate that her weekly warfarin dose would be approximately 5–10 mg (notwithstanding the trimethoprim–sulfamethoxazole; patient and physician factor). However, these data were not available for interpretation until 1 week after testing (at the time of the adverse event; practice factor).
Clin Pharmacol Ther.2012 Feb;91(2):167-9.
doi: 10.1038/clpt.2011.229.
Broadening our understanding of clinical quality: from attribution error to situated cognition
The tendency to overestimate the influence of personal characteristics on outcomes, and to underestimate the influence of situational factors, is known as the fundamental attribution error. We argue that medical-education researchers and policy makers may be guilty of this error in their quest to understand clinical quality. We suggest that to truly understand clinical quality, they must examine situational factors, which often have a strong influence on the quality of clinical encounters.
What Is Technological Pedagogical Content Knowledge (TPACK)? matthew j. koehler, punya mishra, and william cain, michigan state university
소개
INTRODUCTION
TPACK에 대한 작업은 전 세계적으로 계속됩니다. 현재, 구글 스콜라는 2006년 기사가 학술 출판물에 1897번 인용되었다고 말한다. TPACK 커뮤니티는 이제 국제적인 커뮤니티로, 전세계의 학자들이 프레임워크의 이론적 문제와 실제 응용을 연구한다(Voogt, Fisser, Pareja Roblin, & van Braak, 2013). Work on TPACK continues worldwide. Currently, Google Scholar indicates the 2006 article has been cited 1897 times in scholarly publications. The TPACK community is now an international one, with scholars from around the globe studying theoretical issues and practical applications of the framework (Voogt, Fisser, Pareja Roblin, & van Braak, 2013).
교사와 교육 TEACHING AND TEACHERS
교육자들이 알고 있듯이, 가르치는 것은 많은 종류의 전문 지식의 상호 작용을 요구하는 복잡한 관행이다. 이러한 방식으로, 교사는 다양한 사례와 맥락에 걸쳐 복잡한 지식 구조를 적용해야 하는 잘못된 구조의 규율의 한 예이다(Mishra, Spiro, & Feltovich, 1996; Spiro & Jheng, 1990). 교사는 매우 복잡하고 역동적인 강의실 맥락(Leinhardt & Greeno, 1986년)에서 교육하며, 이에 따라 교사의 이해도가 지속적으로 변화하고 발전해야 한다. 따라서, 효과적인 가르침은 다음에 대한 다양한 영역의 풍부하고, 잘 조직되고, 통합된 지식에 대한 유연한 접근에 의존한다.
학생의 사고와 학습에 대한 지식
주제 내용에 대한 지식
테크놀로지에 대한 지식
As educators know, teaching is a complicated practice that requires an interweaving of many kinds of specialized knowledge. In this way, teaching is an example of an ill-structured discipline, requiring teachers to apply complex knowledge structures across different cases and contexts (Mishra, Spiro, & Feltovich, 1996; Spiro & Jehng, 1990). Teachers practice their craft in highly complex, dynamic classroom contexts (Leinhardt & Greeno, 1986) that require them to constantly shift and evolve their understanding. Thus, effective teaching depends on flexible access to rich, well-organized, and integrated knowledge from different domains (Glaser, 1984; Putnam & Borko, 2000; Shulman, 1986, 1987), including
knowledge of student thinking and learning;
knowledge of subject matter; and
increasingly, knowledge of technology.
기술을 통한 교육의 과제 THE CHALLENGES OF TEACHING WITH TECHNOLOGY
테크놀로지를 활용하여 가르치는 것은 교사들에게 주어진 새로운 기술들의 도전을 고려할 때 더 복잡하다. 우리의 연구에서 테크놀로지라는 단어는 아날로그와 디지털, 그리고 새로운 기술과 오래된 기술에 동일하게 적용된다. 그러나 실질적인 중요성의 문제로서, 현재 문헌에서 검토되고 있는 대부분의 기술은 새롭고 디지털적이며, 그것들을 간단한 방법으로 적용하기 어렵게 만드는 몇 가지 고유한 특성을 가지고 있다. Teaching with technology is complicated further when the challenges newer technologies present to teachers are considered. In our work, the word technology applies equally to analog and digital, as well as new and old, technologies. As a matter of practical significance, however, most of the technologies under consideration in current literature are newer and digital and have some inherent properties that make applying them in straightforward ways difficult.
대부분의 [전통적인 교육 테크놀로지]는 다음과 같은 특징이 있다.
특수성(연필은 작문을 위한 것이고 현미경은 작은 물체를 보는 것이다.)
안정성(추, 진자 및 칠판은 시간이 지남에 따라 크게 변하지 않음) 및
기능의 투명성(연필 또는 진자의 내부 작용은 단순하고 기능과 직접 관련이 있다) (Simon, 1969).
Most traditional pedagogical technologies are characterized by
specificity (a pencil is for writing, while a microscope is for viewing small objects);
stability (pencils, pendulums, and chalkboards have not changed a great deal over time); and
transparency of function (the inner workings of the pencil or the pendulum are simple and directly related to their function) (Simon, 1969).
시간이 지남에 따라 이러한 기술은 [인식의 투명성]을 달성합니다(Bruce & Hogan, 1998). 이러한 기술은 일반적이 되고 대부분의 경우 테크놀로지라고 간주되지도 않습니다. 반면 디지털 테크놀로지는 다음과 같은 특징을 갖는다.
변화무쌍(다양한 방법으로 사용 가능),
불안정(빠르게 변함),
불투명(내부 작업은 사용자에게 숨김)
Over time, these technologies achieve a transparency of perception (Bruce &Hogan, 1998); they become commonplace and, in most cases, arenot even considered to be technologies. Digital technologies— by contrast, are
protean (usable in many different ways) (Papert, 1980),
unstable (rapidly changing), and
opaque (the inner workings are hidden from users) (Turkle, 1995).
학문적 차원에서는 연필과 소프트웨어 시뮬레이션이 둘 다 테크놀로지라고 주장하기 쉽다. 그러나 후자는 전통적인 기술보다 그 기능이 교사들에게 더 불투명하고 더 근본적으로 더 낮은 안정성을 제공한다는 점에서 질적으로 다르다. 바로 그 성격상, 교양이 많고 불안정하며 불투명한 최신 디지털 기술은 교육에 더 많은 기술을 사용하기 위해 고군분투하는 교사들에게 새로운 과제를 안겨준다. On an academic level, it is easy to argue that a pencil and a software simulation are bothtechnologies. The latter, however, is qualitatively different in that its functioning is more opaque to teachers and offers fundamentally less stability than more traditional technologies. By their very nature, newer digital technologies, which are protean, unstable, and opaque, present new challenges to teachers who are struggling to use more technology in their instruction.
또한 테크놀로지를 활용한 교육을 더욱 복잡하게 만드는 것은 [기술은 중립적이지도, 비편향적이지도 않다는 것을 이해하는 것]이다. 오히려, [특정 기술은 특정 작업에 더 적합하게 만드는 그들만의 성향, 잠재력, 경제성 및 제약을 가지고 있다](Bromley, 1998, Bruce, 1993, Koehler & Mishra, 2008). 예를 들어 이메일을 사용하여 비동기식 통신을 지원하고 교환을 쉽게 저장할 수 있습니다. 전자 메일은 전화 통화, 대면 대화 또는 인스턴트 메시징과 같은 방식으로 동기식 통신을 제공하지 않습니다. 또한 전자 메일은 대면 커뮤니케이션을 통해 가능한 음색, 의도 또는 무드의 미묘한 차이를 전달할 수 없습니다. 특정 테크놀로지의 이러한 부담과 제약조건이 교실에서 교사들이 하는 일에 어떻게 영향을 미치는지 이해하는 것은 간단하지 않으며 교사 교육과 교사 전문성 개발을 재고할 필요가 있을 수 있다. Also complicating teaching with technology is an understanding that technologies are neither neutral nor unbiased. Rather, particular technologies have their own propensities, potentials, affordances, and constraints that make them more suitable for certain tasks than others (Bromley, 1998; Bruce, 1993; Koehler & Mishra, 2008). Using email to communicate, for example, affords (makes possible and supports) asynchronous communication and easy storage of exchanges. Email does not afford synchronous communication in the way that a phone call, a face-to-face conversation, or instant messaging does. Nor does email afford the conveyance of subtleties of tone, intent, or mood possible with face-to-face communication. Understanding how these affordances and constraints of specific technologies influence what teachers do in their classrooms is not straightforward and may require rethinking teacher education and teacher professional development.
사회적, 맥락적 요소들은 또한 교육과 테크놀로지 사이의 관계를 복잡하게 만든다.
사회 및 제도적 맥락은 종종 업무에 기술 사용을 통합하려는 교사들의 노력을 지지하지 않는다.
교사들은 종종 디지털 기술을 가르치고 배우는 데 부적절하거나 부적합한 경험을 가지고 있다.
많은 교사들은 교육 기술이 오늘날과 매우 다른 발전 단계에 있었던 시기에 학위를 취득했다. 그러므로, 그들이 교실에서 기술을 사용할 수 있도록 충분히 준비되지 않았다고 생각하고 종종 그것의 가치나 가르침과 학습과의 관련성을 인정하지 않는 것은 놀라운 일이 아니다.
Social and contextual factors also complicate the relationships between teaching and technology.
Social and institutional contexts are often unsupportive of teachers’ efforts to integrate technologyuse into their work.
Teachers often have inadequate (or inappropriate) experience with using digital technologies for teaching and learning.
Many teachers earned degrees at a time when educational technology was at a very different stage of development than it is today. Thus, it is not surprising that they do not consider themselves sufficiently prepared to use technology in the classroom and often do not appreciate its value or relevance to teaching and learning.
특히 바쁜 일정에 맞추어야 하는 시간 집약적인 활동인 경우, 새로운 지식 기반과 기술 세트를 획득하는 것은 어려울 수 있습니다. 더욱이, 기존의 교육학적 신념과 일치하는 기술 사용을 상상할 수 없다면 지식이 사용될 가능성이 낮다(Eertmer, 2005). 게다가, 교사들은 종종 이 과제에 대한 부적절한 교육을 제공받았다. 교사들의 전문적 개발에 대한 많은 접근법들은 사실 교사들이 다양한 교육 및 학습 맥락에서 운영될 때 기술 통합에 대한 일률적인 접근법을 제공한다.
Acquiring a new knowledge base and skill set can be challenging, particularly if it is a time intensive activity that must fit into a busy schedule. Moreover, this knowledge is unlikely to be used unless teachers can conceive of technology uses that are consistent with their existing pedagogical beliefs (Ertmer, 2005). Furthermore, teachers have often been provided with inadequate training for this task. Many approaches to teachers’ professional development offer a one-size-fits-all approach to technology integration when, in fact, teachers operate in diverse contexts ofteaching and learning.
기술 통합에 대한 사고 방식 AN APPROACH TO THINKING ABOUT TECHNOLOGY INTEGRATION
테크놀로지를 커리큘럼에 통합하는 "하나의 가장 좋은 방법"은 없습니다. 오히려 통합 노력은 특정 강의실 맥락에서 특정 주제 아이디어를 위해 창의적으로 설계되거나 구조화되어야 한다. 테크놀로지를 활용하여 가르치는 것은 복잡하고 다루기 힘든 일이다. There is no “one best way” to integrate technology into curriculum. Rather, integration efforts should be creatively designed or structured for particular subject matter ideas in specific classroom contexts. teaching with technology is a complex, ill-structured task,
기술에 대한 좋은 교육의 중심에는 세 가지 핵심 요소인 컨텐츠, 교육학, 기술, 그리고 그들 사이의 관계와 관계가 있습니다. At the heart of good teaching with technology are three core components: content, pedagogy, and technology, plus the relationships among and between them.
TPACK 프레임워크는 교사들의 교육 기술 이해와 PCK가 기술을 통한 효과적인 교육을 생산하기 위해 어떻게 상호 작용하는지를 설명하기 위해 PCK에 대한 Shulman(1986, 1987)의 설명을 기반으로 한다. The TPACK framework builds on Shulman’s (1986,1987) descriptions of PCK to explain how teachers’ understanding of educational technologies and PCK interact with one another to produce effective teaching with technology.
이 모델(그림 1 참조),
In this model (see Figure 1),
컨텐츠 지식 Content Knowledge
콘텐츠 지식(content knowledge, CK)은 학습하거나 가르쳐야 할 주제에 대한 교사들의 지식이다. 중학교 과학이나 역사에서 다룰 내용은 미술 감상 학부 과정이나 천체물리학 대학원 세미나에서 다룰 내용과 다르다. 내용에 대한 지식은 교사들에게 매우 중요하다. 슐만(1986년)이 지적했듯이, 이 지식은 개념, 이론, 아이디어, 조직 프레임워크, 증거 및 증명, 그리고 그러한 지식 개발을 위한 확립된 관행과 접근 방식을 포함한다. 지식과 연구의 본질은 분야마다 크게 다르며, 교사들은 그들이 가르치는 분야의 더 깊은 지식의 기초를 이해해야 한다. Content knowledge (CK) is teachers’ knowledge about the subject matter to be learned or taught. The content to be covered in middle school science or history is different from the content to be covered in an undergraduate course in art appreciation or a graduate seminar in astrophysics. Knowledge of content is of critical importance for teachers. As Shulman (1986) noted, this knowledge includes concepts, theories, ideas, organizational frameworks, evidence and proof, as well as established practices and approaches toward developing such knowledge. Knowledge and the nature of inquiry differ greatly between fields, and teachers should understand the deeper knowledge fundamentals of the disciplines they teach.
예를 들어, 과학의 경우, 이것은 과학적 사실과 이론, 과학적 방법, 증거에 기초한 추론에 대한 지식을 포함할 것이다. 미술 감상의 경우, 그러한 지식에는 미술사, 유명한 예술가, 그림과 조각, 그리고 그들의 역사적 맥락과 더불어 예술을 감상하고 평가하기 위한 심미적이고 심리적인 이론이 포함될 것이다. In the case of science, for example, this would includeknowledge of scientific facts and theories, the scientific method, and evidence-based reasoning. In the case of art appreciation, such knowledge would include art history, famous artists, paintings and sculptures, and their historical contexts, as well as aesthetic and psychological theories for appreciating and evaluating art.
예를 들어, 학생들은 콘텐츠 분야에 대한 잘못된 정보를 받고 잘못된 개념을 개발할 수 있다(국가 연구 위원회, 2000; Pfundt & Duit, 2000). 그러나 콘텐츠 지식은 그 자체로 ill-strucutred 영역이며, 커리큘럼 콘텐츠와 관련된 문제는 상당한 논쟁과 불일치가 있는 영역일 수 있다.
The cost of not having a comprehensive base of content knowledge can be prohibitive; for example, students can receive incorrect information and develop misconceptions about the content area (National Research Council, 2000; Pfundt & Duit, 2000). Yet content knowledge, in and of itself, is an ill-structured domain, issues relating to curriculum content can be areas of significant contention and disagreement.
교육학적 지식 Pedagogical Knowledge
교육학적 지식(PK)은 교수와 학습의 과정과 관행 또는 방법에 대한 교사들의 깊은 지식이다. 그들은 다른 요인들 중에서도 전반적인 교육 목적, 가치 및 목표를 포함한다. 이러한 일반적인 형태의 지식은 학생들의 학습 방법, 일반적인 교실 관리 기술, 수업 계획 및 학생 평가에 적용됩니다. 강의실에서 사용하는 기법이나 방법에 대한 지식, 대상 청중의 성격, 학생 이해도 평가 전략 등이 그것이다. 교육학적 지식이 깊은 교사는 학생들이 어떻게 지식을 쌓고 기술을 습득하는지, 학습에 대한 마음의 습관과 긍정적인 기질을 어떻게 길러내는지 이해한다. 이와 같이 교육학적 지식은 학습의 인지적, 사회적, 발달적 이론의 이해와 그것들이 교실에서 학생들에게 어떻게 적용되는지를 필요로 한다.
Pedagogical Knowledge (PK) is teachers’ deep knowledge about the processes and practices or methods of teaching and learning. They encompass, among other factors, overall educational purposes, values, and aims. This generic form of knowledge applies to understanding how students learn, general classroom management skills, lesson planning, and student assessment. It includes knowledge about techniques or methods used in the classroom, the nature of the target audience, and strategies for evaluating student understanding. A teacher with deep pedagogical knowledge understands how students construct knowledge and acquire skills, and how they develop habits of mind and positive dispositions toward learning. As such, pedagogical knowledge requires an understanding of cognitive, social, and developmental theories of learning and how they apply to students in the classroom.
교육학적 콘텐츠 지식 Pedagogical Content Knowledge
교육학적 콘텐츠 지식(PCK)은 슐만(1986, 1987)의 [특정 콘텐츠를 가르치는 데 적용할 수 있는 교육학 지식] 아이디어와 일치하고 유사하다. 슐먼의 PCK 개념화의 중심은 [강의를 위한 과목의 변환] 개념이다. 구체적으로, Shulman(1986)에 따르면, 이러한 변환transformation은 선생님이 주제를 해석하고, 그것을 표현하는 다양한 방법을 찾고, 대안 개념과 학생들의 사전 지식에 대한 교육 자료를 적응시키고 맞춤화하면서 일어난다. PCK는 (학습을 촉진하는 조건 및 커리큘럼, 평가 및 교육학 간의 연계와 같은) 교육, 학습, 커리큘럼, 평가 및 보고를 핵심으로 다룬다.
공통적인 오해와 그것을 바라보는 방식,
서로 다른 콘텐츠 기반 아이디어들 간의 연결 맺기의 중요성,
학생들의 사전 지식,
대안적 교육 전략,
그리고 같은 아이디어나 문제를 바라보는 대안적 방법을 탐구하는 데서 오는 유연성 등
...은 모두 효과적인 가르침을 위해 필수적이다.
Pedagogical Content Knowledge (PCK) is consistent with and similar to Shulman’s (1986, 1987) idea of knowledge of pedagogy that is applicable to teaching specific content. Central to Shulman’s conceptualization of PCK is the notion of the transformation of the subject matter for teaching. Specifically, according to Shulman (1986), this transformation occurs as the teacher interprets the subject matter, finds multiple ways to represent it, and adapts and tailors the instructional materials to alternative conceptions and students’ prior knowledge. PCK covers the core business of teaching, learning, curriculum, assessment, and reporting, such as the conditions that promote learning and the links among curriculum, assessment, and pedagogy.
An awareness of common misconceptions and ways of looking at them,
the importance of forging connections among different content-based ideas,
students’ prior knowledge,
alternative teaching strategies, and
the flexibility that comes from exploring alternative ways of looking at the same idea or problem
...are all essential for effective teaching.
기술 지식 Technology Knowledge
TK(Technology Knowledge)는 TPACK 프레임워크의 다른 두 핵심 지식 영역보다 항상 유동적이다. 그러므로, 그것을 정의하는 것은 악명 높을 정도로 어렵다. 테크놀로지 지식에 대한 어떤 정의도 이 텍스트가 발표될 때쯤이면 시대에 뒤떨어질 위험에 처해 있다. Technology Knowledge (TK) is always in a state of flux—more so than the other two core knowledge domains in the TPACK framework (pedagogy and content). Thus, defining it is notoriously difficult. Any definition of technology knowledge is in danger of becoming outdated by the time this text has been published.
정보 기술 유창성(FITNess)은 컴퓨터 사용능력의 전통적인 개념을 넘어, [사람들이 정보 기술을 충분히 이해하도록] 요구한다. 이를 통해서
업무와 일상생활에서 생산적으로 적용하고
정보 기술이 목표 달성을 지원하거나 방해할 수 있는 상황을 인지하고
변화하는 정보기술에 지속적으로 적응한다
Fluency of Information Technology (FITness) goes beyond traditional notions of computer literacy to require that persons understand information technology broadly enough
to apply it productively at work and in their everyday lives,
to recognize when information technology can assist or impede the achievement of a goal, and
to continually adapt to changes in information technology.
FITness는[기존의 컴퓨터 사용능력]에 대한 정의를 넘어서, [정보 처리, 통신 및 문제 해결을 위한 정보 기술에 대한 더 깊고 필수적인 이해와 숙달력]을 요구한다. 이러한 방식으로 TK를 획득하면 정보 기술을 사용하여 다양한 작업을 수행할 수 있고 주어진 작업을 수행하는 다양한 방법을 개발할 수 있다. 이러한 TK의 개념화는 "end state"를 상정posit하지 않고, 기술과의 생성적이고 개방적인 상호작용을 통해 발전적으로 진화하고 있다고 본다.
FITness, therefore, requires a deeper, more essential understanding and mastery of information technology for information processing, communication, and problem solving than does the traditional definition of computer literacy. Acquiring TK in this manner enables a person to accomplish a variety of different tasks using information technology, and to develop different ways of accomplishing a given task. This conceptualization of TK does not posit an “end state,” but rather sees it developmentally, as evolving over a lifetime of generative, open-ended interaction with technology.
기술 콘텐츠 지식 Technological Content Knowledge
또한 디지털 컴퓨터의 등장으로 인해 물리학과 수학의 특성이 어떻게 변화하고 현상을 이해하는 데 있어 시뮬레이션의 역할에 더 큰 중점을 두게 되었는지 생각해 보십시오. 기술적인 변화들은 또한 세상을 이해하는 [새로운 은유]들을 제공해 왔다. 심장을 펌프로 보는 것, 또는 뇌를 정보 처리 기계로 보는 것은 기술이 현상을 이해하는 새로운 관점을 제공하는 몇 가지 방법일 뿐입니다. 이러한 표현적이고 은유적인 연관성은 단순히 표면적인 것이 아니다. 그들은 종종 규율의 본질에 근본적인 변화를 가져왔다. Consider also how the advent of the digital computer changed the nature of physics and mathematics and placed a greater emphasis on the role of simulation in understanding phenomena. Technological changes have also offered new metaphors for understanding the world. Viewing the heart as a pump, or the brain as an information-processing machine are just some of the ways in which technologies have provided new perspectives for understanding phenomena. These representational and metaphorical connections are not superficial. They often have led to fundamental changes in the natures of the disciplines.
기술의 선택은 가르칠 수 있는 콘텐츠 아이디어의 유형을 제공하면서 동시에 제한한다. 마찬가지로, 특정 콘텐츠 결정은 사용할 수 있는 기술 유형을 제한할 수 있습니다. 기술은 가능한 표현의 유형을 제한할 수 있지만, 새롭고 더 다양한 표현을 구성할 수도 있다. The choice of technologies affords and constrains the types of content ideas that can be taught. Likewise, certain content decisions can limit the types of technologies that can be used. Technology can constrain the types of possible representations, but also can afford the construction of newer and more varied representations.
기술 콘텐츠 지식(TCK, Technical Content Knowledge, TCK)은 [기술과 콘텐츠가 서로 영향을 주고 구속하는 방식에 대한 이해]이다. 교사는 가르치는 과목보다 더 많은 것을 숙달해야 한다. 또한 주제(또는 구성할construct 수 있는 표현의 종류)가 특정 기술의 적용에 의해 변경될 수 있는 방법을 깊이 이해해야 한다. 교사는 [자신의 영역에서 주제의 학습을 다루는데 가장 적합한 특정 기술이 무엇인지] 및 [내용이 기술을 어떻게 지시dictate하거나 변화시키는지(반대로 기술이 내용을 어떻게 지시하거나 변화하는지)] 이해해야 한다.
Technological Content Knowledge (TCK), then, is an understanding of the manner in which technology and content influence and constrain one another. Teachers need to master more than the subject matter they teach; they must also have a deep understanding of the manner in which the subject matter (or the kinds of representations that can be constructed) can be changed by the application of particular technologies. Teachers need to understand which specific technologies are best suited for addressing subject-matter learning in their domains and how the content dictates or perhaps even changes the technology—or vice versa.
기술적 교육학적 지식 Technological Pedagogical Knowledge
TPK(Technical Pedagological Knowledge)는 [특정 기술이 특정 방식으로 사용될 때 교수와 학습이 어떻게 변화할 수 있는지]에 대한 이해이다. TPK를 구축하려면 기술의 제약 조건 및 경제성 및 해당 기술이 작동하는 규범적 맥락에 대한 심층적인 이해가 필요하다. Technological Pedagogical Knowledge (TPK) is an understanding of how teaching and learning can change when particular technologies are used in particular ways. To build TPK, a deeper understanding of the constraints and affordances of technologies and the disciplinary contexts within which they function is needed. 예를 들어, 화이트보드를 교실에서 어떻게 사용할 수 있는지 생각해 보십시오.
화이트보드는 일반적으로 이동 가능하고, 많은 사람이 볼 수 있으며, 쉽게 편집할 수 있기 때문에, 교실에서 화이트보드를 사용하는 것이 전제됩니다. 그러므로 화이트보드는 보통 교실 앞에 놓이고 선생님이 조종한다. [화이트보드가 놓인 위치]는 학생들이 종종 선생님의 호출을 받아야만 이용할 수 있기 때문에 테이블과 의자의 배치를 결정하고 학생 교사 상호 작용의 성격을 형성함으로써 교실에서 특정한 물리적 질서를 강요한다.
화이트보드를 사용할 수 있는 방법은 하나뿐이라고 말하는 것은 정확하지 않을 것이다. 이 강의실 관행을 광고 대행사의 브레인스토밍 미팅과 비교하기만 하면 이 기술의 다른 용도를 볼 수 있다. 후자의 설정에서 화이트보드는 한 개인의 감독하에 있지 않다. 그룹 내 누구나 사용할 수 있으며, 토론과 의미의 협상/구축이 일어나는 구심점이 된다. 기술의 경제성과 이를 맥락과 목적의 변화에 따라 어떻게 다르게 활용할 수 있는지에 대한 이해는 TPK를 이해하는 데 있어 중요한 부분이다.
For example, consider how whiteboards may be used in classrooms.
Because a whiteboard is typically immobile, visible to many, and easily editable, its uses in classrooms are presupposed. Thus, the whiteboard is usually placed at the front of the classroom and is controlled by the teacher. This location imposes a particular physical order in the classroom by determining the placement of tables and chairs and framing the nature of studentteacher interaction since students often can use it only when called upon by the teacher.
However, it would be incorrect to say that there is only one way in which whiteboards can be used. One has only to compare this classroom practice to a brainstorming meeting in an advertising agency setting to see a rather different use of this technology. In the latter setting, the whiteboard is not under the purview of a single individual. It can be used by anyone in the group, and it becomes the focal point around which discussion and the negotiation/construction of meaning occur. An understanding of the affordances of technology and how they can be leveraged differently according to changes in context and purposes is an important part of understanding TPK.
TPK가 특히 중요한 이유는, 대부분의 인기 있는 소프트웨어 프로그램이 교육 목적으로 설계되지 않았기 때문이다. 마이크로소프트 오피스 스위트(Word, PowerPoint, Excel, Entarent, MSN Messenger)와 같은 소프트웨어 프로그램은 일반적으로 비즈니스 환경을 위해 설계된다. 블로그나 팟캐스트와 같은 웹 기반 기술은 엔터테인먼트, 통신 및 소셜 네트워킹을 목적으로 설계되었습니다. 교사는 기능적 고정성에 얽매이지 않고, 테크놀로지의 일반적인 사용양식을 넘어서서 맞춤형 교육적 목적으로 재구성할 수 있는 기술을 개발해야 한다. 따라서, TPK는 자신의 목적이 아니라 학생의 학습과 이해를 증진시키기 위해 기술 사용에 대한 전향적이고 창의적이며 열린 생각을 필요로 한다.
TPK becomes particularly important because most popular software programs are not designed for educational purposes. Software programs such as the Microsoft Office Suite (Word, PowerPoint, Excel, Entourage, and MSN Messenger) are usually designed for business environments. Web-based technologies such as blogs or podcasts are designed for purposes of entertainment, communication, and social networking. Teachers need to reject functional fixedness (Duncker, 1945) and develop skills to look beyond most common uses for technologies, reconfiguring them for customized pedagogical purposes. Thus, TPK requires a forward-looking, creative, and open-minded seeking of technology use, not for its own sake but for the sake of advancing student learning and understanding.
기술 교육학 콘텐츠 지식 Technological Pedagogical Content Knowledge
TPACK(Technical Pedagological Content Knowledge)는 세 가지 핵심 요소(콘텐츠, 교육학 및 기술)를 모두 뛰어넘는 새로운 형태의 지식이다. 그것은 컨텐츠, 교육학, 기술 지식 사이의 상호작용에서 나오는 이해이다. TPACK은 기술에 대한 진정한 의미와 깊은 숙달된 가르침을 바탕으로 세 가지 개념에 대한 지식과는 개별적으로 다릅니다.
Technological Pedagogical Content Knowledge (TPACK) is an emergent form of knowledge that goes beyond all three “core” components (content, pedagogy, and technology); it is an understanding that emerges from interactions among content, pedagogy, and technology knowledge. Underlying truly meaningful and deeply skilled teaching with technology, TPACK is different from knowledge of all three concepts individually.
대신, TPACK은 기술을 이용한 개념의 표현에 대한 이해를 요구하는, 기술을 통한 효과적인 교육의 기초이다.
내용을 가르치기 위해 건설적인 방법으로 기술을 사용하는 교육학적 기법,
개념들을 배우기 어렵게 만들거나 쉽게 만드는 것에 대한 지식
어떻게 기술이 학생들이 직면하는 문제들을 해결하는데 도움을 줄 수 있는지에 대한 지식,
학생들의 사전 지식과 인식론의 이론에 대한 지식, 그리고
[새로운 인식론을 개발하거나 오래된 인식론을 강화하기 위해] 기존 지식을 기반으로 기술을 어떻게 사용할 수 있는지에 대한 지식.
Instead, TPACK is the basis of effective teaching with technology, requiring an understanding of the representation of concepts using technologies,
pedagogical techniques that use technologies in constructive ways to teach content,
knowledge of what makes concepts difficult or easy to learn
how technology can help redress some of the problems that students face,
knowledge of students’ prior knowledge and theories of epistemology, and
knowledge of how technologies can be used to build on existing knowledge to develop new epistemologies or strengthen old ones.
마지막으로, "컨텍스트"라는 레이블이 붙은 외부의 원은 기술, 교육학, 콘텐츠가 진공 속에 존재하지 않고, 오히려 특정 학습 및 교육 컨텍스트에서 인스턴스화된다는 것을 강조한다. Finally the outer-dotted circle labeled “contexts” emphasizes the realization that technology, pedagogy, and content do not exist in a vacuum, but rather, are instantiated in specific learning and teaching contexts.
예를 들어, 두 개의 다른 강의실을 생각해 보십시오.
한 쪽에는 각 학습자가 인터넷에 액세스할 수 있는 랩톱 또는 모바일 장치를 가지고 있고,
다른 강의실에는 강의실 앞에 하나의 데스크톱 컴퓨터가 설치되어 있습니다.
분명히 선생님이 고안해야 할 교육적 움직임의 종류는 이 두 가지 맥락에서 매우 다를 것이다. 마찬가지로, 페이스북이나 유튜브와 같은 특정 웹사이트를 허용하거나 차단하는 학교와 국가 정책은 교사들이 그들의 수업과 활동을 구조화하는 방법을 변화시킨다. For instance, consider two different classrooms—one where each and every learner has a laptop or a mobile device with access to the Internet and another, which is equipped with just one desktop machine at the front of the class. Clearly the kinds of instructional moves the teacher has to come up with would be very different in these two contexts. Similarly, school and national policies that allow or block certain websites (such as Facebook or YouTube) change how teachers can structure their lessons and activities.
기술, 교육학, 내용, 그리고 그들이 기능하는 맥락에 대한 지식을 동시에 통합함으로써, 전문 선생님들은 그들이 가르칠 때마다 TPACK을 참여시킨다. 교사들에게 주어진 각각의 상황은 이 세 가지 요소의 독특한 조합이며, 그에 따라 모든 교사, 모든 과정, 또는 모든 교수관에 적용되는 하나의 기술적 해법은 존재하지 않는다. 오히려 해결책은 교사가 콘텐츠, 교육학, 기술의 세 가지 요소에 의해 정의된 공간과 특정 맥락에서 이들 요소 사이의 복잡한 상호 작용을 유연하게 탐색할 수 있는 능력에 있다. 각 지식 구성요소에 내재된 복잡성 또는 구성요소 간 관계의 복잡성을 무시하면 솔루션 또는 실패가 지나치게 단순화될 수 있습니다. 그러므로 교사는 효과적인 솔루션을 구성할 수 있도록 각 주요 영역(T, P, C)뿐만 아니라 이러한 영역과 상황 매개 변수가 상호 작용하는 방식에서도 유창성과 인지 유연성을 개발해야 한다. 이것은 TPACK를 전문 지식 구조로서 고려하는 데 관여하는 기술을 이용한 교육에 대한 깊고, 유연하고, 실용적이며, 미묘한 이해입니다. By simultaneously integrating knowledge of technology, pedagogy, content, and the contexts within which they function, expert teachers bring TPACK into play any time they teach. Each situation presented to teachers is a unique combination of these three factors, and accordingly, there is no single technological solution that applies for every teacher, every course, or every view of teaching. Rather, solutions lie in the ability of a teacher to flexibly navigate the spaces defined by the three elements of content, pedagogy, and technology, and the complex interactions among these elements in specific contexts. Ignoring the complexity inherent in each knowledge component or the complexities of the relationships among the components can lead to oversimplified solutions or failure. Thus, teachers need to develop fluency and cognitive flexibility not just in each of the key domains (T, P, and C), but also in the manner in which these domains and contextual parameters interrelate, so that they can construct effective solutions. This is the kind of deep, flexible, pragmatic, and nuanced understanding of teaching with technology we involved in considering TPACK as a professional knowledge construct.
세 가지 요소(콘텐츠, 교육학 및 기술)를 분리하는 것은 분석적 행위이며, 실천에서 이 세가지를 서로 구분한다는 것은 어렵다. 실제로, 이러한 구성요소는 철학자인 쿤(1977)이 다른 맥락에서 말한 것처럼 동적 평형 상태에 존재하며, "필수 긴장" 상태에 있다. 이러한 구성요소 중 하나를 다른 요소들과 분리하여 보는 것은 좋은 가르침에 대한 진정한 해악을 나타낸다. 기술을 통한 가르침과 학습은 프레임워크의 세 가지 요소 사이에 동적 트랜잭션 관계에 존재한다. 한 요소의 변화는 다른 두 요소의 변화에 의해 "보상"되어야 한다. (Mishra & Kohler, 2006, 페이지 1029) . . . separating the three components (content, pedagogy, and technology) . . . is an analytic act and one that is difficult to tease out in practice. In actuality, these components exist in a state of dynamic equilibrium or, as the philosopher Kuhn (1977) said in a different context, in a state of ‘‘essential tension’’ . . . Viewing any of these components in isolation from the others represents a real disservice to good teaching. Teaching and learning with technology exist in a dynamic transactional relationship (Bruce, 1997; Dewey & Bentley, 1949; Rosenblatt, 1978) between the three components in our framework; a change in any one of the factors has to be ‘‘compensated’’ by changes in the other two. (Mishra & Koehler, 2006, p. 1029)
이러한 보상은 새로운 교육 기술을 사용하여 교사들이 갑자기 기본적인 교육 문제에 직면하도록 강요하고 [세 가지 요소 모두의 동적 균형을 재구성]할 때마다 가장 명백하다. 이러한 관점은 [교육학적 목표와 기술이 콘텐츠 영역 커리큘럼에서 파생된다는 기존의 관점을 뒤집는다]. 특히 새로운 기술이 채택될 때 상황이 그렇게 간단한 경우는 드물다. 예를 들어 인터넷의 도입(특히 온라인 학습의 상승)은 교육자들이 웹 상의 콘텐츠를 표현하는 방법, 주제와 학생들을 서로 연결하는 방법과 같은 핵심 교육학적 문제에 대해 생각하게 만든 기술의 도래에 대한 한 예이다(Peruski & Mishra, 2004).
This compensation is most evident whenever using a new educational technology suddenly forces teachers to confront basic educational issues and reconstruct the dynamic equilibrium among all three elements. This view inverts the conventional perspective that pedagogical goals and technologies are derived from content area curricula. Things are rarely that simple, particularly when newer technologies are employed. The introduction of the Internet, for example—particularly the rise of online learning—is an example of the arrival of a technology that forced educators to think about core pedagogical issues, such as how to represent content on the Web and how to connect students with subject matter and with one another (Peruski & Mishra, 2004).
최근의 발전
LATEST DEVELOPMENTS
이론과 실천
Theory and Practice
Boogt와 동료들(2013)은 TPACK의 개념을 다룬 2005년과 2011년 사이에 출판된 기사와 책 장에 대한 검토를 실시했다.
Voogt and colleagues (2013) conducted a review of articles and book chapters published between 2005 and 2011 that addressed the concept of TPACK.
측정과 도구
Measurement and Instruments
Table 1 shows the results of this analysis.
교사 개발에 대한 접근법
Approaches to Teacher Development
Table 2 presents descriptions of three approaches for developing TPACK, including representative articles for each approach.
시사점
IMPLICATIONS OF THE TPACK FRAMEWORK
1960년대 후반부터 한 가닥의 교육 연구는 "교사의 직업생활의 관찰 가능한 활동이 그들이 하는 형태와 기능을 어떻게 그리고 왜 떠맡는지"를 이해하고 설명하는 것을 목표로 하고 있다. (Clark & Petersen, 1986, 페이지 255). (Jackson, 1968) 본 연구의 주요 목표는 다음과 같은 두 가지 주요 영역 간의 관계를 이해하는 것입니다. Since the late 1960s a strand of educational research has aimed at understanding and explaining “how and why the observable activities of teachers’ professional lives take on the forms and functions they do” (Clark & Petersen, 1986, p. 255) (Jackson, 1968). A primary goal of this research is to understand the relationships between two key domains:
a) 교사 사고 과정과 지식 및 b) 교사의 행동 및 관찰 가능한 효과
a) teacher thought processes and knowledge, and
b) teachers’ actions and their observable effects.
What is Technological Pedagogical Content Knowledge (TPACK)?
This paper describes a teacher knowledge framework for technology integration called technological pedagogical content knowledge (originally TPCK, now known as TPACK, or technology, pedagogy, and content knowledge). This framework builds on Lee Shulman's (1986, 1987) construct of pedagogical content knowledge (PCK) to include technology knowledge. The development of TPACK by teachers is critical to effective teaching with technology. The paper begins with a brief introduction to the complex, ill-structured nature of teaching. The nature of technologies (both analog and digital) is considered, as well as how the inclusion of technology in pedagogy further complicates teaching. The TPACK framework for teacher knowledge is described in detail as a complex interaction among three bodies of knowledge: content, pedagogy, and technology. The interaction of these bodies of knowledge, both theoretically and in practice, produces the types of flexible knowledge needed to successfully integrate technology use into teaching.
Thematic analysis of qualitative data: AMEE Guide No. 131 Michelle E. Kiger & Lara Varpio
도입
Introduction
[데이터 분석]은 '질적 프로젝트의 모든 단계 중 가장 복잡하고 불가사의하며, 문헌에서 가장 사려 깊지 않은 논의를 받는 단계'로 설명되었다(Thorne 2000). 많은 정성적 연구 논문은 데이터 분석을 알리는 방법에 대한 명확한 설명이 부족하거나, 포함되었다 하더라도, 데이터 분석 방법을 설명하는 데 사용되는 용어가 종종 부정확하게 사용되거나 완전히 잘못 레이블링된다(Sandelowski 및 Barroso 2003; Sandelowski 2010). 문제, 질적 데이터 분석을 기술하는 특정한 더 복잡한 용어들은 [광범위한 정의를 가지고 있거나] [명확한 정의를 가지고 있지 않다]. 이러한 부정확성은 투명성 부족으로 이어져 독자가 데이터 분석이 어떻게 수행되었고 결과적으로 결과를 해석하는 방법을 이해하기 어렵게 한다(Nowell et al., 2017). 또한 정성적 연구가 정량적 연구보다 덜 엄격하다는 인식에도 기여한다(클라크와 브라운 2013). Data analysis has been described as ‘the most complex and mysterious of all of the phases of a qualitative project, and the one that receives the least thoughtful discussion in the literature’ (Thorne 2000). Many qualitative research papers lack explicit description of the methods informing data analysis, or, when included, the terms used to describe data analytic methods are often used imprecisely or are mislabeled entirely (Sandelowski and Barroso 2003; Sandelowski 2010). matters, certain Further complicating terms describing qualitative data analysis have either carried a wide range of definitions or lacked clear definitions. This imprecision leads to a lack of transparency, making it difficult for readers to understand how data analysis was performed and, consequently, how to interpret findings (Nowell et al. 2017). It also contributes to perceptions that qualitative research is less rigorous than quantitative research (Clarke and Braun 2013).
불행히도, 이러한 명확한 용어의 부족은 건강 직업 교육(HPE) 연구에 가장 자주 사용되는 정성적 데이터 분석 방법인 [주제 분석]을 괴롭힌다.
주제 분석은 가변적으로 정의된 용어이며(Merton 1975; Aronson 1995; Boyatzis 1998; Attride-Stirling 2001; Braun and Clarke 2006; Joffe 2011), 정성적 방법보다 정교하지 않거나 열등한 것으로 간주되기도 했다(Braun and Clarke 2006, 2014).
주제 분석을 사용하는 많은 연구자들은 후속 분석 과정과 분석을 뒷받침하는 이론 또는 인식론적 가정에 대한 충분한 설명을 제공하지 못한다(Attride-Stirling 2001; Braun and Clarke 2006).
또한 주제 분석을 채택한 많은 연구는 원고에서 이를 명시적으로 분류하지 않았다. 대신, 이러한 보고서는 추가 설명 없이 단순히 '반복 테마에 대해 질적 데이터가 검사되었다'고 명시한다(Braun과 Clarke 2006).
Unfortunately, this lack of clear terminology plagues a qualitative data analysis method that is among those most frequently used in health professions education (HPE) research: thematic analysis.
Thematic analysis is a term that has been variably defined (Merton 1975; Aronson 1995; Boyatzis 1998; Attride-Stirling 2001; Braun and Clarke 2006; Joffe 2011), and that has even been discounted as other unsophisticated or inferior to qualitative methods (Braun and Clarke 2006, 2014).
Many researchers who use thematic analysis fail to provide sufficient descriptions of the analysis process followed and of the theories or epistemological assumptions undergirding the analyses (Attride-Stirling 2001; Braun and Clarke 2006).
Additionally, many studies that have employed thematic analysis have not explicitly labeled it as such in their manuscripts; instead, these reports simply state that ‘qualitative data were examined for recurring themes’, without offering further explanation (Braun and Clarke 2006).
분명히 연구자들 사이에는 주제 분석이 무엇을 의미하는지, 언제 그것을 사용할지, 그리고 그것을 사용하는 방법에 대해 상당한 혼란이 있다.
Clearly there is considerable confusion amongst researchers about what thematic analysis means, when to use it, and how to use it.
주제 분석은 무엇인가? What is thematic analysis?
주제 분석은 반복 패턴을 식별, 분석 및 보고하기 위해 데이터 세트를 검색하는 정성적 데이터를 분석하는 방법이다(Braun 및 Clarke 2006). 데이터를 기술하는 방법이지만 코드를 선택하고 테마를 구성하는 과정에서도 해석이 필요하다. 주제 분석의 구별되는 특징은 광범위한 이론적 및 인식론적 프레임워크 내에서 사용할 수 있고 광범위한 연구 질문, 설계 및 표본 크기에 적용할 수 있는 유연성이다. 일부 학자들은 주제 분석을 민족학(Aronson 1995) 영역 내에 있거나 현상학(Jofe 2011)에 특히 적합한 것으로 설명했지만, 브라운과 클라크(2006)는 주제 분석이 분석 방법으로서 독자적일 수 있으며 다른 정성적 연구 방법의 기초라고 주장한다. 실제로 데이터를 코드화하고, 테마를 검색하고, 결과를 보고하는 방법에 대한 주제 분석의 원칙은 근거 이론(Watling and Lingard 2012)과 담화 분석(Taylor et al. 2012)과 같은 다른 몇 가지 정성적 방법에 적용할 수 있다. 이러한 유연성 때문에, Braun과 Clarke(2006)는 보다 엄격하게 규정된 방법론methodology보다는, 주제 분석을 하나의 방법method으로 언급한다. Thematic analysis is a method for analyzing qualitative data that entails searching across a data set to identify, analyze, and report repeated patterns (Braun and Clarke 2006). It is a method for describing data, but it also involves interpretation in the processes of selecting codes and constructing themes. A distinguishing feature of thematic analysis is its flexibility to be used within a wide range of theoretical and epistemological frameworks, and to be applied to a wide range of study questions, designs, and sample sizes. While some scholars have described thematic analysis as falling within the realm of ethnography (Aronson 1995) or as particularly suited to phenomenology (Joffe 2011), Braun and Clarke (2006) argue that thematic analysis can stand alone as an analytic method and be seen as foundational for other qualitative research methods. Indeed, the principles of thematic analysis of how to code data, to search for and refine themes, and to report findings are applicable to several other qualitative methods such as grounded theory (Watling and Lingard 2012) and discourse analysis (Taylor et al. 2012). Because of this flexibility, Braun and Clarke (2006) refer to thematic analysis as a method, as opposed to a more tightly prescribed methodology.
주제 분석은 특정한 패러다임 지향에 구속되지 않으며, 대신 사후 긍정주의자, 건설주의자 또는 비판적 현실주의 연구 접근법(Braun and Clarke 2006) 내에서 사용될 수 있다. 다양한 연구 패러다임에서 주제 분석을 사용하면 이 방법을 각각의 목적과 산출물output에 활용할 수 있다. Thematic analysis is not bound to a particular paradigmatic orientation; instead, it can be used within post-positivist, constructivist, or critical realist research approaches (Braun and Clarke 2006). Using thematic analysis in different research paradigms entails harnessing this method to distinct purposes and outputs. 후기실증주의자는 주제 분석을 사용하여 개인의 의미와 경험에 초점을 맞춰 외부 현실에 대한 통찰력을 얻을 수 있으므로 현실에 대한 추측적 지식conjuectural knowledge 개발을 지원할 수 있다. Post-positivists can use thematic analysis to focus on individuals’ meanings and experiences to gain insights into the external reality, thereby supporting the development of conjectural knowledge about reality.
많은 해석적 지향(예: 구성주의)에서 주제 분석은 개별 경험에 영향을 미치는 사회적, 문화적, 구조적 맥락을 강조할 수 있다. 이로써 연구자와 연구 참가자 간의 상호작용을 통해 구성된 지식의 개발을 가능하게 하며, 사회적으로 구성되는 의미를 드러낸다(Braun과 Clarke 2006).
In many interpretivist orientations (e.g. constructivism), thematic analysis can emphasize the social, cultural, and structural contexts that influence individual experiences, enabling the development of knowledge that is constructed through interactions between the researcher and the research participants, revealing the meanings that are socially constructed (Braun and Clarke 2006). 조페(2011년)는 광범위한 데이터 분석 과정을 통해 특정 사회 구조가 어떻게 발전하는지 설명할 수 있기 때문에 주제 분석이 특히 구성주의에 적합하다고 제안한다. 이러한 방식으로, 구성주의적 주제 분석은 데이터 내에서 더 많은 잠재적이고 더 깊은 테마를 검색할 것이다. Joffe (2011) suggests that thematic analysis is particularly suited to constructivism because, through the process of analyzing a wide range of data, it can illustrate how a certain social construct develops. In these ways, constructivist thematic analyses will search for more latent, deeper themes within the data. 마지막으로, 비판적 현실주의는 물질적 현실에 바탕을 둔 경험과 인식을 인정하지만 관심 주제 이면의 사회적 의미와 함의를 조사하려고 한다(Jofe 2011; Clarke and Braun 2017). 비판적 현실주의 프레임워크 내에서, 주제 분석을 통해 연구자들은 현실에 inform하는 권력 관계를 연구하고 억압된 인구의 목소리를 중시하는 해방 조사에 참여할 수 있다. Finally, critical realism acknowledges experiences and perceptions grounded in a material reality but seeks to investigate social meanings and implications behind the topic of interest (Joffe 2011; Clarke and Braun 2017). Within a critical realist framework, thematic analysis can allow researchers to study the power relations informing reality and to engage in emancipatory investigations that value the voices of oppressed populations. 주제 분석을 '후기실증주의적 방식'이라고 기술한 사람들 중에서 (아론슨 1995; 보야츠 1998) Boyatzis(1998)는 [신뢰할 수 있고 객관적이며 사실에 기초한 현실을 이해하려는 포스트 포지티브] 추구와 많은 [사회과학 연구자들의 보다 해석적인 목표] 사이의 틈을 메울 수 있는 것으로 주제 분석을 전달한다. 보야츠는 이렇게 말한다.
'주제 분석'은 해석적 사회과학자의 의미의 사회적 구성이 판단의 일관성으로서 신뢰성과 함께 사회적 "추상적" 또는 관찰에 대한 설명이 나타나는 것처럼 보이는 방식으로 표현되거나 포장될 수 있도록 한다. Among those who have described thematic analysis as a post-positivist method (Aronson 1995; Boyatzis 1998). method Boyatzis (1998) forwards thematic analysis as a that can bridge the chasm between the post-positivist pursuit of understanding a reliable, objective, fact-based reality, and the more interpretive aims of many social science researchers. Boyatzis posits that
‘thematic analysis allows the interpretive social scientist’s social construction of meaning to be articulated or packaged in such a way, with reliability as consistency of judgment, that description of social “facts” or observations seems to emerge’ (p. xiii).
주제 분석 사용 시기 When to use thematic analysis
분석 프로세스를 명확하게 제시한 사람들(Braun and Clarke, 2006, 2012; Clarke 및 Braun 2017) 덕분에, 연구자들은 주제 분석이 초보 정성 연구자들이 마스터하기 좋은 첫 번째 분석 방법이라고 제안했다 (Braun and Clarke 2006, 2012; Clarke and Braun 2017; Nowell et al. 2017). 그러나 다른 연구 또는 분석 방법과 마찬가지로 주제 분석을 사용하는 선택은 추적하기 쉬운 분석 방법을 선택하려는 욕망보다 연구 자체의 목표에 기초해야 한다고 주장한다. 주제 분석은 데이터 세트(Braun 및 Clarke 2012)에 걸쳐 일련의 경험, 생각 또는 행동을 이해하고자 할 때 사용할 적절하고 강력한 방법이다. 공통의 의미나 공유된 의미를 검색하도록 설계되었기 때문에 [단일 개인이나 데이터 항목의 고유한 의미나 경험을 검토하는 데 적합하지 않다]. 마지막으로, 다른 정성적 연구 방법과의 관련성 때문에, 주제 분석의 단계는 (프로세스의 일부로 테마에 대한 데이터 세트 코딩과 검색에 의존하는) 근거 이론, 민족학 및 기타 정성적 방법론의 단계와 부합echo한다. Thanks in large part to those who have clearly laid out its analytical processes (Braun and Clarke, 2006, 2012; Clarke and Braun 2017), researchers have suggested that thematic analysis is a good first analytic method for novice qualitative researchers to master (Braun and Clarke 2006, 2012; Clarke and Braun 2017; Nowell et al. 2017). However, as with any research or analytic method, we would argue that the choice to use thematic analysis should be based on the goals of the research itself, more than a desire to select an easy-to-follow method of analysis. Thematic analysis is an appropriate and powerful method to use when seeking to understand a set of experiences, thoughts, or behaviors across a data set (Braun and Clarke 2012). Since it is designed to search for common or shared meanings, it is less suited for examining unique meanings or experiences from a single person or data item. Finally, because of its relevance to other methods of qualitative research, the steps of thematic analysis echo those of grounded theory, ethnography, and other qualitative methodologies that also rely on coding and searching data sets for themes as part of their processes.
다른 정성적 분석 방법과 관련하여 주제 분석을 배치하면 방법의 범위와 목적을 이해하는 데 도움이 될 수 있다. Situating thematic analysis in relationship to other qualitative analysis methods can help us understand the method’s scope and purpose.
Sandelowski와 Barroso(2003)는 정성적 분석 방법이 분석 중에 [데이터가 변환되는transform 정도]에 따라 정의되는 연속체를 따른다고 주장한다.
Sandelowski and Barroso (2003) contend that qualitative analysis methods fall along a continuum defined by the degree to which data is transformed during analysis.
이 연속체의 한 끝에는 [데이터가 유의하게 변환되지 않는 순수하게 기술적인 분석]이 있다. 예를 들어, 샌델로프스키와 바로수(2003)가 주장하는 주제 조사topical survey는 인터뷰나 포커스 그룹 참가자가 제기한 주제 목록이나 재고를 (종종 빈도나 백분율로) 보고하는데 집중하지만, [참가자를 표본으로 추출하거나 결과를 해석]하려는 노력을 거의 또는 전혀 기울이지 않기 때문에 진정한 질적 연구로 분류되어서는 안 된다고 주장한다. This continuum is grounded at one pole with purely descriptive analyses in which the data is not significantly transformed. Analysis methods at this far end include, for example, topical surveys which Sandelowski and Barroso (2003) argue should not be classified as true qualitative research because they focus on reporting lists or inventories of topics raised by interview or focus group participants, often as frequencies or percentages, but make little or no effort to purposefully sample participants or interpret findings.
연속체의 다른 쪽 끝에는 [데이터의 상당한 변환이 있는 고도로 해석적인 분석]이 있습니다. 이 극에는 데이터의 변환과 심층 해석을 수반하는 현상학과 같은 방법이 있다. 해석적 현상학적 분석은 개인의 경험과 사람들이 그들에게 붙이는 의미들이 관심있는 질문을 어떻게 알릴 수 있는지 자세히 살펴본다. (Smith와 Osborn 2003) At the other end of the continuum are highly interpretive analyses in which there is considerable transformation of the data. Located at this pole are methods, such as phenomenology, which involve transformation and deep interpretation of data. Interpretative phenomenological analysis looks in detail at how individual experiences and the meanings that people attach to them can inform a question of interest (Smith and Osborn 2003).
우리는 주제 분석이 연속체에 걸쳐 사용될 수 있지만, 그것은 거의 자연스럽게 두 극 사이의 중심 근처에 도달한다고 제안한다. 주제 분석을 통해 데이터의 요소를 재구성, 재해석 및/또는 연결하는 테마를 구성합니다. 따라서 테마는 단순히 데이터를 분류하고 레이블을 지정하는 데 사용되는 조직 도구만이 아닙니다. 주제 분석의 프로세스는 연구자가 [데이터를 설명하는 조직 및 분류 레이블]을 개발하도록 하는 반면, 주제 분석은 [해석 및 데이터 변환 프로세스]로 더욱 나아간다.
We suggest that, while thematic analysis can be used across the continuum, it most naturally lands near the center between the two poles. Through thematic analysis, the research constructs themes to reframe, reinterpret, and/or connect elements of the data. Thus, themes are not merely organizational tools used to classify and label data. While processes of thematic analysis will have the researcher developing organizational and classification labels to describe the data, thematic analysis goes further into the interpretation and data transformation processes.
그러나 주제 분석이 분석 연속체의 순수하게 서술적인 극에 속하지 않는다면, 또한 고도로 해석적인 극에도 속하지 않는다. 주제 분석은 일반적으로 기초 이론의 중심 목표인 이론의 개발 지점으로 데이터 해석과 변환에 관여하는 데 사용되지 않는다. 대신, 주제 분석은 가장 자연스럽게 두 극 사이에 위치한다. 단순한 설명과 분류보다는 자료에 더 많이 관여하지만, 그렇다고 해서 이론의 개발까지는 확장되지 않는다.
But if thematic analysis does not belong at the purely descriptive pole of the analysis continuum, it also does not belong at the highly interpretive pole. Thematic analysis is generally not used to engage in data interpretation and transformation to the point of developing theory, the central goal of grounded theory (Glaser and Strauss 1967). Instead, thematic analysis lands most naturally between the poles–engaging in more than description and categorization, but not extending so far as to develop theory.
테마란 무엇인가? What is a theme?
주제 분석의 특정 단계를 조사하기 전에 이 분석 방법에서 테마라는 용어가 무엇을 의미하는지 정의하는 것이 중요합니다. [주제]란 연구 질문에 inform하는 데이터에서 도출된 '패턴화된 반응 또는 의미'(Braun and Clarke 2006, 페이지 82)이다. 데이터 세트의 'manifest content'에 대한 설명과 조직을 제공하는 범주에 반대하여 볼 때, [주제]는 더 많은 수준의 데이터 해석과 통합을 수반하는 보다 추상적인 실체이다(Nowell et al., 2017). 주제 분석에 참여할 때, 연구자들은 주제와 관련된 [특정 아이디어 또는 항목이 데이터 세트에 나타나는 횟수에 관계없이] 테마를 식별할 수 있다. 또한 테마의 중요성 또는 중심성은 데이터 내에서 테마의 출현 빈도를 반드시 반영하는 것은 아니다(Braun and Clarke 2006; Nowell et al. 2017).
Before delving into the specific steps of thematic analysis, it is important to define what the term theme means in this analysis method. A theme is a ‘patterned response or meaning’ (Braun and Clarke 2006, p. 82) derived from the data that informs the research question. Viewed in opposition to a category–which provides description and organization to the ‘manifest content’ of a data set–a theme is a more abstract entity that involves a greater degree of interpretation and integration of data (Nowell et al. 2017). When engaging in thematic analysis, researchers can identify themes irrespective of the number of times a particular idea or item related to that theme appears in a data set. Furthermore, the importance or centrality of a theme is not necessarily reflective of the frequency of its appearance within the data (Braun and Clarke 2006; Nowell et al. 2017).
테마는 semantic 또는 latent로 구분될 수 있다.
보다 [명시적이거나 표면적인 의미를 다루는 의미적semantic(종종 매니페스트manifest라고도 함)] 또는
보다 깊고 근본적인 의미, 가정 또는 이념을 반영하는 잠재적latent으로 분류될 수 있다(Boyatzis 1998; Braun and Clarke 2006).
Themes can be classified as either
semantic (also often labeled as manifest), which address more explicit or surface meanings of data items, or
latent, which reflect deeper, more underlying meanings, assumptions, or ideologies (Boyatzis 1998; Braun and Clarke 2006).
연구자는 어떤 주제를 파악해야 할지 높은 유연성을 가지고 있지만, 연구 질문을 다루는 중요한 통찰력을 제공하는 주제(Braun과 Clarke 2006)를 파악하기 위해 노력해야 한다.
The researcher has great flexibility in which themes to identify, but he or she should strive to identify themes that provide important insights that address the research question (Braun and Clarke 2006).
연구자들은 테마 식별에 [귀납적 또는 연역적] 접근법을 사용할 수 있다(Braun and Clarke 2006, 2012).
근거 이론에 사용되는 귀납적 접근법은 연구자의 데이터에서 테마를 도출한다(Varpio et al. 2019). 이러한 테마는 데이터 중심적이기 때문에 참가자들에게 던진 정확한 질문(예: 참가자가 주제를 벗어난 경우)을 반영하지 않을 수 있으며, 주제에 대한 연구자 자신의 관심사나 믿음을 반드시 반영하는 것은 아니다(Braun과 Clarke 2006).
반대로, 연역적 접근법은 기존의 이론, 프레임워크 또는 다른 연구자가 주도하는 초점을 사용하여 관심 주제를 식별한다(Braun and Clarke 2012; Varpioetal.2019).
Researchers can employ an inductive or deductive approach to theme identification (Braun and Clarke 2006, 2012).
An inductive approach, as used in grounded theory, derives themes from the researcher’s data (Varpio et al. 2019). Since these themes are data driven, they might not mirror the exact questions asked of participants (e.g. if participants veered off topic), and they are not necessarily reflective of the researcher’s own interests or beliefs on the subject (Braun and Clarke 2006).
Conversely, deductive approaches use a pre-existing theory, framework, or other researcherdriven focus to identify themes of interest (Braun and Clarke 2012;Varpioetal.2019).
따라서
귀납적 접근법은 전체 데이터 본문에 대한 보다 폭넓고 광범위한 분석을 제공하는 경향이 있는 반면,
연역적 접근법은 데이터의 특정 측면 또는 기존 이론이나 프레임의 맥락에서 가장 잘 조명되거나 이해될 수 있는 특정 발견을 연마하는 데 유용하다(Braun and Clarke 2006).
Therefore,
an inductive approach tends to provide a broader, more expansive analysis of the entire body of data, whereas
a deductive approach is useful for honing in on a particular aspect of the data or a specific finding that could be best illuminated or understood in the context of a pre-existing theory or frame (Braun and Clarke 2006).
주제 분석에 참여하는 방법 How to engage in thematic analysis
Clarke와 Braun의 주제 분석은 후속 단계를 연구자가 추가 조사를 받을 가치가 있는 새로운 데이터 또는 새로 등장한 주제에 비추어 이전 단계로 돌아가도록 유도할 수 있는 선형 프로세스가 아니라 [재귀적 프로세스]로 설계되었다는 점에 유의해야 한다. It is important tonote that Clarke and Braun’s thematic analysis is designedto be a recursive, rather than linear, process in which sub-sequent steps may prompt the researcher to circle back to earlier steps in light of new data or newly emergingthemes that merit further investigation.
이러한 단계를 설명하기 위해 소아 레지던시 프로그램 내의 연속성 클리닉에서 환자 소유 경험을 조사하기 위해 수행한 연구의 원본 데이터를 사용한 예를 제공한다(각 단계의 데이터 변환에 대한 그림은 상자 1 참조). To illustrate these steps, we offer an example using original data from a study we performed examining the experience of patient ownership in continuity clinics within a pediatric residency program (see Box 1 for illustrations of each step’s transformation of the data).
이 예시에서, 우리는 주제 분석에 [귀납적인 접근 방식]을 채택하고 [구성주의 인식론] 내에서 일한다. In this example, we employ an inductive approach to thematic analysis, and work within a constructivist epistemology.
1단계: 데이터에 익숙해지는 단계 Step 1: Familiarizing yourself with the data
주제 분석의 프로세스의 첫 번째 단계는 전체 데이터 세트에 익숙해지는 것으로, 데이터의 반복적이고 능동적인 읽기를 수반한다(Braun 및 Clarke 2006). 연구에 따라 데이터 세트에는 인터뷰, 포커스 그룹, 기록된 관찰, 필드 노트, 저널 항목 또는 사진이나 비디오와 같은 다른 미디어가 포함될 수 있다(Thorne 2000; Nowell et al. 2017). 데이터 코딩과 테마 검색을 즉시 시작하는 것이 바람직할 수 있지만, 먼저 전체 데이터 세트를 숙지하는 것은 원시 데이터에 대한 중요한 방향을 제공할 것이며 이후의 모든 단계를 위한 기초가 될 것이다. 전사해야 하는 오디오 데이터의 경우, 전사 과정은 시간이 많이 걸릴 수 있지만 데이터에 익숙해지는 훌륭한 방법으로도 작용할 수 있다. 연구자가 이 단계를 용이하게 하기 위해 음성 인식 소프트웨어를 사용하거나 전사 서비스를 고용하는 경우, 원본 오디오 녹음과 비교하여 정확한 내용을 확인하는 것도 마찬가지로 유용할 수 있다. The first step in thematic analysis’s process is becoming familiar with the entire data set, which entails repeated and active reading through of the data (Braun and Clarke 2006). Depending on the study, the data set might include interviews, focus groups, recorded observations, field notes, journal entries, or other media such as photographs or videos (Thorne 2000; Nowell et al. 2017). While it can be tempting to begin coding data and searching for themes immediately, familiarizing oneself with the entirety of the data set first will provide a valuable orientation to the raw data and is foundational for all subsequent steps. For audio data that need to be transcribed, the process of transcription can be time-consuming but also serves as an excellent way to become familiar with the data. If researchers use voice-recognition software or hire transcription services to facilitate this step, checking the transcripts against original audio recordings for accuracy may be similarly useful.
2단계: 초기 코드 생성 Step 2: Generating initial codes
프로세스의 첫 번째 분석 단계인 코딩은 세분화되고 구체적인 수준에서 데이터를 구성하는 데 도움이 됩니다. 1단계의 친숙화 작업 후, 연구자들은 관심 있는 잠재적 데이터 항목, 질문, 데이터 항목 간의 연결 및 기타 예비 아이디어에 대해 메모하기를 시작할 수 있다. 이것이 2단계의 코딩 프로세스의 시작입니다. 이 단계의 작업은 [테마가 아닌 코드를 생성]합니다. Boyatzis(1998)는 코드를 '[t] 현상과 관련하여 의미 있는 방식으로 평가할 수 있는 원시 데이터 또는 정보의 [가장 기본적인 세그먼트] 또는 요소'로 정의했다. (p. 63) As the first truly analytic step in the process, coding helps to organize data at a granular, specific level. After step 1’s familiarization work, researchers can begin to take notes on potential data items of interest, questions, connections between data items, and other preliminary ideas. This is the beginning of step 2’s coding process. This phase of work generates codes, not themes. Boyatzis (1998) defined a code as ‘[t]he most basic segment, or element, of the raw data or information that can be assessed in a meaningful way regarding the phenomenon’ (p. 63).
코드는 다른 코드와 중복되지 않도록 [충분히 잘 정의되고 구분]되어야 한다. 적용할 코드를 요약하고 정의하여 코딩 프로세스를 안내하는 더 큰 코딩 프레임워크 또는 코딩 템플릿(때로는 코딩 매뉴얼이라고도 함)에 논리적으로 적합해야 한다. A code should be sufficiently well-defined and demarcated such that itdoes not overlap with other codes and should fit logically within a larger coding framework or coding template (some-times also called coding manuals) that guides the coding process by outlining and defining the codes to be applied(Crabtree and Miller 1999; Attride-Stirling 2001; King 2004;Nowell et al. 2017).
테마 간의 구별과 유사하게, 코드는 더 의미론적 또는 잠재적 의미로 묶일 수 있으며, 코딩 프레임워크는
귀납적, 데이터만으로 제기된 관련 문제의 반영, 이거나
연역적, 특정한 이론이나 이론적인 틀에 의해 인도 일 수 있다.
Similar to distinctions among themes, codes can be tied to more semantic or latent meanings (Braun and Clarke 2012), and the coding framework can be
inductive, reflective of pertinent issues raised by the data alone, or
deductive, guided by specific theories or theoretical frameworks (Attride-Stirling 2001; Braun and Clarke 2006).
관찰과 아이디어에서 [코드가 어떻게 개발되었는지를 기록]함으로써, 연구원은 연구자의 해석과 분석의 신뢰성을 지원하기 위한 [감사 추적audit trail 생성 과정]을 시작할 수 있다(링컨과 구바 1985; Nowell et al.
By recording how codes developed from observations and ideas, the researcher can begin the process of creating an audit trail to support the trustworthiness of a researcher’s interpretations and analysis (Lincoln and Guba 1985; Nowell et al. 2017).
[코딩 프레임워크 또는 템플릿이 정의]되면, 연구자들은 데이터 추출물에 관련 코드를 라벨링하여 [전체 데이터 세트에 동일한 코드를 적용]하며, 이후 테마 개발(Braun과 Clarke 2006)을 알릴 수 있는 항목 간의 [연결 또는 잠재적 패턴을 기록]한다. Once the coding framework or template is defined, researchers then apply the same codes to the entire data set by labeling data extracts with relevant codes, making note of any potential patterns or connections between items that might inform subsequent theme development (Braun and Clarke 2006).
또한 관련성이 있는 경우 단일 추출물에 여러 개의 코드로 레이블을 지정할 수 있습니다(Braun 및 Clarke 2006). 연구자가 전체 데이터 세트를 코드화하면, 3단계, 즉 테마 검색에 대비하여 코드로 데이터를 수집할 수 있습니다.
Also, a single extract can be labeled with multiple codes if relevant (Braun and Clarke 2006). Once the researcher has coded the entire data set, he or she can collate the data by code in preparation for step 3: the search for themes.
3단계: 테마 검색 Step 3: Searching for themes
세 번째 단계에는 (보다 광범위한 중요성을 갖는) [잠재적 테마를 찾기 위한 코드화되고 수집된 데이터 추출물의 검사examination]가 포함된다(Braun 및 Clarke 2006). Braun과 Clarke (2012)는 전체 분석이 집이라고 볼 때 [개별 코드]는 벽돌과 타일이고 [테마]는 벽과 지붕이라고 비유합니다. 테마 식별 프로세스(벽과 지붕을 만드는 방법)는 기본적으로 능동적이고 해석적인 프로세스입니다. The third step involves examination of the coded and collated data extracts to look for potential themes of broader significance (Braun and Clarke 2006). Braun and Clarke (2012) offer an analogy that, if your entire analysis is seen as a house, the individual codes are the bricks and tile, and themes are the walls and the roof. The process of theme identification – how those walls and roof are built – is fundamentally an active and interpretive process.
테마는 단순히 데이터로부터만 나타나는 것이 아니라(Varpio et al., 2017), 연구자에 의해 코드가 서로 어떻게 관련되어 있는지 분석, 결합, 비교, 심지어 그래픽 맵핑함으로써 테마가 구성된다. Themes do not simply emerge from the data (Varpio et al. 2017); instead, themes are constructed by the researcher through analyzing, combining, comparing, and even graphically mapping how codes relate to one another.
귀납적 분석에서 연구자들은 코딩된 데이터에서 테마를 명시적으로 도출하기 때문에 식별된 테마는 원본 데이터와 더 밀접하게 연결되고 전체 데이터 세트의 반영된다(Braun 및 Clarke 2006). 반대로
연역적 분석에서, 미리 정의된 이론 및/또는 이론적 프레임워크는 테마 개발을 알려줄 것이며, 따라서 이러한 테마는 종종 데이터 세트의 특정 측면이나 특정 관심 질문에 더 초점을 맞춘다(Braun and Clarke 2006).
In inductive analysis, researchers derive themes expressly from the coded data, so the themes identified will be more closely linked to the original data and reflective of the entire data set (Braun and Clarke 2006).
Conversely, in deductive analysis, predefined theories and/or theoretical frameworks will inform theme development, so these themes often focus more on a particular aspect of the data set or a specific question of interest (Braun and Clarke 2006).
테마를 만들고 구성할 때, 테마 맵은 개념 간의 교차 연결과 주요 테마 및 하위 테마 간의 교차 연결을 시각적으로 입증하는 데 유용하다(Braun과 Clarke 2006). When creating and organizing themes, thematic maps are useful for visually demonstrating cross-connections between concepts and among main themes and subthemes (Braun and Clarke 2006).
그림 1과 2는 우리 연구의 주제 맵의 예를 보여준다. Figures 1 and 2 illustrate examples of thematic maps from our study.
테마는 독립적으로 의미 있어야 하지만 '[일관성 있는 전체], 즉, 분석적 이야기를 형성하기 위해 협력해야 한다'(클라크와 브라운 2014). 브라운과 클라크(2006)와 킹(2004)은 이 분석 단계에서 포함시킬 것을 권고했다. 연구자는 잠재적인 중요성을 가질 수 있는 어떤 주제와 모든 주제를, 그것들이 연구 문제와 직접적으로 관련이 있는 것처럼 보이든 그렇지 않든, 그리고 그것들에 속하는 데이터의 규모나 양에 관계없이 메모해야 한다. '기타' 테마를 구성하는 데이터 양에 대해 정의된 임계값이 없습니다. 연구자들은 기존의 주제 체계에 잘 맞지 않는 고아 코드orphan codes를 통합하는 테마를 만들 수도 있다(Braun and Clarke 2006). Themes should be independently meaningful but also ‘work together to form a coherent whole–an analytic story’ (Clarke and Braun 2014). Both Braun and Clarke (2006) and King (2004) recommended being inclusive at this stage of analysis. The researcher should make note of any and all themes of potential significance, whether or not they seem directly related to the study question, and regardless of the volume or quantity of data that falls under them. No defined threshold exists for the amount of data that constitutes a ‘miscellaneous’ theme. Researchers can even create a theme to incorporate orphan codes that do not fit well within one’s existing thematic scheme (Braun and Clarke 2006).
4단계: 테마 검토 Step 4: Reviewing themes
브라운과 클라크(2006)는 4단계를 2단계 분석 과정으로 설명했다. Braun and Clarke (2006) described step 4 as a two-level analytical process.
[첫 번째 분석 수준]에서, 연구원은 적절한 적합성을 보장하기 위해 각 테마 내에 배치된 코드화된 데이터를 살펴봅니다. 각 테마에 따라 모든 관련 코드 및 데이터 추출물을 검토하고 다음을 묻습니다.
각 테마는 적절한 지원 데이터가 있습니까?
그 주제를 뒷받침할 때 데이터가 일관성 있게 포함되었는가?
어떤 테마는 너무 크거나 다양하진 않은가?
In the first level of analysis, the researcher looks at coded data placed within each theme to ensure proper fit. He or she reviews all relevant codes and data extracts under each theme and asks:
Does each theme have adequate supporting data?
Are the data included coherent in supporting that theme?
Are some themes too large or diverse?
각 테마 내의 데이터는 적절한 공통성과 일관성을 가져야 하며, 테마 간 데이터는 충분히 구별가능distinct enough 해야 한다(Attride-Stirling 2001; Braun과 Clarke 2006). 이 때 데이터 추출물을 다시 정렬하고 테마를 수정하여 코드화된 데이터를 더 잘 반영하고 캡처할 수 있다. 테마를 추가, 결합, 분할 또는 삭제할 수 있습니다.
Data within each theme should have adequate commonality and coherence, and data between themes should be distinct enough to merit separation (Attride-Stirling 2001; Braun and Clarke 2006). At this point, data extracts can be re-sorted and themes modified to better reflect and capture coded data. Themes can be added, combined, divided, or even discarded.
이 첫 번째 수준의 분석은 연구자가 수정된 [주제도theme map]가 최종 분석에 포함될 코드화된 모든 데이터를 적절히 포함한다고 확신하면 완료된다(Braun and Clarke 2006). 이 과정 내내, 연구자들은 테마가 개발, 수정 및/또는 제거되는 방법에 대해 내린 사고 과정과 결정에 관한 상세한 메모 또는 메모를 보관해야 한다. 이러한 메모는 연구자들이 주제 간의 연결을 만들고, 또한 연구 결과의 신뢰성을 강화하는 감사 추적을 만드는 데 도움이 될 수 있다(Nowell et al., 2017). This first level of analysis is complete when the researcher is confident that the revised thematic map adequately covers all of the coded data to be included in the final analysis (Braun and Clarke 2006). Throughout this process, researchers should keep detailed notes, or memos, regarding their thought processes and decisions made regarding how themes were developed, modified, and/or removed. Such memos can help researchers make connections between themes and also create an audit trail that bolsters the trustworthiness of their findings (Nowell et al. 2017).
[두 번째 단계]는 전체 데이터 세트와 관련하여 테마에 유사한 질문 세트를 적용합니다. 여기서 연구원은 [개별 테마가 데이터 세트에 의미 있게 적합한지] 여부 및 [주제 맵이 데이터의 전체 본문을 정확하고 적절하게 나타내는지] 여부를 결정한다(Braun and Clarke 2006). [주제 맵]은 [테마가 어떻게 상호 연관되어 있는지], 그리고 그것들이 [어떻게 관심 질문이나 구조를 나타내는지]를 명확하게 보여야 한다. 이 과제를 달성하기 위해, 연구원은 전체 데이터 세트를 다시 읽어 테마를 재점검하고 이 단계에서 새로 작성 또는 수정된 테마에 해당하는 추가 데이터에 대해 재코드한 다음, 그에 따라 테마 맵을 수정한다(Braun 및 Clarke 2006). Level two applies a similar set of questions to the themes in relation to the entire data set. The researcher here decides if individual themes fit meaningfully within the data set and whether the thematic map accurately and adequately represents the entire body of data (Braun and Clarke 2006). The thematic map should clearly demonstrate how themes interrelate and how they represent the question or construct of interest. To accomplish this task, the researcher re-reads the entire data set to reexamine themes and to re-code for additional data that falls under the themes that have been newly created or modified in this phase, then revises the thematic map accordingly (Braun and Clarke 2006).
4단계는 주제 분석의 전체 프로세스의 재귀적 특성에 대한 명확한 예를 제공합니다. 코드와 테마를 다시 읽고 수정하는 것은 분석 과정의 일부이다. Step 4 provides a clear example of the recursive nature of the entire process of thematic analysis. Re-reading and revising codes and themes are expected parts of the analytic process.
이러한 반복 프로세스는 이론적으로 무한정 계속될 수 있지만, King(2004)과 Braun and Clarke(2006)는 연구 질문과 관련이 있는 것으로 보이는 모든 데이터 항목이 코딩 체계에 통합되고, 테마가 일관되며, 추가적인 개선으로 실질적인 변화가 발생하지 않으면 개정을 중단할 수 있다고 권고했다. While this iterative process could theoretically continue indefinitely, King (2004) and Braun and Clarke (2006) recommended that the revisions could cease once all data items that appear relevant to the study question have been incorporated into the coding scheme, themes are coherent, and additional refinements are not yielding substantial changes.
5단계: 테마 정의 및 이름 지정 Step 5: Defining and naming themes
일단 주제 지도가 다듬어지면, 5단계는 연구자가 [각 주제에 대한 정의와 서술적 설명]을 만드는 것이며, [광범위한 연구 질문의 관점에서 왜 그것이 중요한지]를 생각해야 한다. 최종 보고서에 포함될 [테마의 이름을 검토]하여 간략하고 적절하게 설명되었는지 확인합니다(Braun과 Clarke 2006). Once the thematic map has been refined, step 5 finds the researcher creating a definition and narrative description of each theme, including why it is important to the broader study question (Braun and Clarke 2006). The names of themes to be included in the final report are reviewed to ensure they are brief and adequately descriptive (Braun and Clarke 2006).
그런 다음 연구원은 각 테마의 가장 중요한 측면과 데이터 세트의 어떤 측면을 다루는지 강조하여 각 테마 내에서 코드화된 데이터가 어떻게 그리고 왜
고유한 통찰력을 제공하고,
더 큰 질문에 대한 전반적인 이해에 기여하며,
다른 테마와 상호작용하는지 ...에 대한 일관된 설명을 만든다(Braun과 Clarke 2006).
The researcher then hones in on the most important aspect of each theme and which aspects of the data set it covers, creating a coherent narrative of how and why the coded data within each theme
provide unique insights,
contribute to the overall understanding of larger questions, and
interact with other themes (Braun and Clarke 2006).
이러한 질문을 다루면서, 연구원은
주제 간 중복 영역을 찾고,
새로운 하위 테마를 식별하고(데이터 내에서 주제에 대한 보다 상세한 설명을 제공하는 것과 계층 구조를 설명하는 데 모두 사용할 수 있음),
각 테마가 수반하거나 포함하는 것의 범위를 명확하게 구분한다(Braun과 Clarke 2006).
While addressing these questions, the researcher
looks for areas of overlap between themes,
identifies emergent sub-themes (which can be used both to provide more detailed accounts of themes and to describe hierarchies within the data), and
clearly delimits the scope of what each theme entails or includes (Braun and Clarke 2006).
이 때가 테마의 주요 특징을 설명하는 [최종 보고서에 표시할 데이터 추출물을 선택]하고 각 테마가 말하는 더 넓은 [스토리에 대한 중요성을 설명하는 컨텍스트를 제공하는 데이터 추출물]을 만들 좋은 시간이다.
This is a good time to select data extracts to be presented in the final report that illustrate key features of themes and to create narratives surrounding them that provide context to explain their importance to the broader story each theme tells (Braun and Clarke 2012).
6단계: 보고서/매뉴얼 작성 Step 6: Producing the report/manuscript
이 마지막 단계에는 최종 분석 및 소견 설명(Braun and Clarke 2006)을 작성하는 것이 포함된다. 쓰기 프로세스의 요소들은 이미 노트 작성, 테마 설명, 그리고 이전 단계에서 대표적인 데이터 추출물의 선택 과정을 통해 시작되었다. 실제로 킹(2004)은 연구 결과를 제시하는 마지막 단계를 '별도의 단계'가 아니라, 이미 발생한 분석 및 해석의 '계속continuation'이라고 설명했다( 페이지 267). This final step involves writing up the final analysis and description of findings (Braun and Clarke 2006). Elements of the writing process have already begun through the processes of note taking, describing of themes, and selection of representative data extracts in prior steps. In fact, King (2004) described the final step of presenting findings as a ‘continuation’ of the analysis and interpretation that has already happened as opposed to a ‘separate stage’ (p. 267).
최종 보고서는 코드와 테마에 대한 단순한 설명을 넘어서야 한다. 보고서는 연구자가 [어떻게 데이터를 해석하였는지 뿐만 아니라, 왜 연구자의 주제 선택과 데이터의 해석이 중요하고 정확한지]를 명확하고 간결하며 논리적인 설명을 제공하는 내러티브로 엮어야 한다(Braun and Clarke 2006, 2012). 서술적 설명과 대표적인 데이터 추출물(예: 참가자의 직접 인용)을 모두 사용하여 분석을 통해 데이터를 설명하고, 연구자의 설명이 연구 질문에 풍부하고 완전하게 답하는 이유에 대한 주장을 제공해야 한다(Braun과 Clarke 2006). 모든 직접 데이터 추출물은 의미를 이해하는 적절한 컨텍스트를 포함해야 하며 그 중요성을 설명하는 잘 짜여진 텍스트 설명에 의해 서포트되어야 한다. The final report should move beyond mere description of codes and themes (King 2004). The report should weave a narrative that provides a clear, concise, and logical account not only how a researcher interprets the data, but also why his or her selection of themes and interpretation of the data are important and accurate (Braun and Clarke 2006, 2012). Using both narrative descriptions and representative data extracts (e.g. direct quotations from participants), the analysis should describe the data and provide an argument for why the researcher’s explanation richly and fully answers the research question (Braun and Clarke 2006). Any direct data extracts should contain adequate context to understand their meaning and be supported by interwoven textual description that explains their importance (Braun and Clarke 2012).
토론 섹션은 주제를 더 큰 질문과 연관시키고, 발견의 함의를 논의하며, 주제를 발생시킨 가정이나 전제조건에 의문을 제기함으로써 분석을 확장할 수 있다(Braun and Clarke 2006). The discussion section can broaden the analysis by relating themes to larger questions, discussing implications of findings, and questioning the assumptions or preconditions that gave rise to the themes (Braun and Clarke 2006).
관련 문헌을 참조하는 것은 또한 특정 테마가 선택된 이유에 대한 지원을 구축하고(Aronson 1995년), 현존하는 문헌 본문 내에 발견물을 배치함으로써 분석의 강점을 더할 수 있다(Tuckett 2005년). Referencing related literature can also add to the strength of the analysis by building support for why particular themes were selected (Aronson 1995) and situating findings within the extant body of literature (Tuckett 2005).
주제 분석이 데이터 분석을 수행하는 방법에 대해 연구자에게 허용하는 유연성을 고려할 때, 어떤 선택을 하였는지 밝히는 것은 특히 중요하다(예: 코딩 및 주제 식별에 귀납적 또는 연역적 분석 사용). 그리고 (패러다임적 지향을 포함하여) 원고 전체에 걸쳐 분석의 기초가 되는 가정들을 밝히는 것이 중요하다(Braun and Clarke 2006).
Given the flexibility that thematic analysis allows researchers regarding how to conduct data analysis, it is particularly important to identify choices (such as using inductive or deductive analysis in coding and identifying themes) and assumptions (including paradigmatic orientation) that underlie the analysis throughout the manuscript (Braun and Clarke 2006).
주제 분석의 장점 The advantages of thematic analysis
다른 많은 정성적 방법과 비교했을 때, 주제 분석은 비교적 간단하게 학습하고 적용할 수 있다. 분석을 알리기 위해 이론을 사용할 필요가 없기 때문에(즉, 순수하게 귀납적일 수 있음) 그리고 이 분석 방법의 사용에 대한 설명과 예가 출판되어 있기 때문에, 주제 분석은 경험이 적은 연구자들이 꽤 쉽게 접근할 수 있다(2004년; 브라운과 클라크 2006년; Nowell et al. 2017년). As compared to many other qualitative methods, thematic analysis is relatively simple to learn and apply. Because it does not require the use of theory to inform analysis (i.e. it can be purely inductive) and because there are published descriptions and examples of the use of this analysis method, thematic analysis is quite accessible to less experienced researchers (King 2004; Braun and Clarke 2006; Nowell et al. 2017).
동시에 연구자가 다양한 데이터 세트의 주요 특징을 요약하고 강조하며 해석할 수 있는 강력한 데이터 분석 방법이다. 게다가, 그것의 방법은 수많은 다른 형태의 질적 분석의 기초가 된다; 사실, Braun과 Clarke(2006)는 그것이 연구자들이 배우는 첫 번째 질적 분석 방법이어야 한다고 주장했다. At the same time, it is a powerful method for analyzing data that allows researchers to summarize, highlight key features of, and interpret a wide range of data sets. Furthermore, its methods are foundational to numerous other forms of qualitative analysis; in fact, Braun and Clarke (2006) argued that it should be the first method of qualitative analysis that researchers learn.
마지막으로 가장 중요한 것은 주제 분석이 다음과 관련하여 연구자에게 큰 유연성을 제공한다는 점이다.
(a) 사람들의 경험과 이해에 대한 개인적인 설명에서부터 다양한 사회적 맥락에서의 더 넓은 구조에 이르기까지 다룰 수 있는 연구 질문의 유형
(b) 조사된 데이터 및 문서의 형식
(c) 분석된 데이터의 양
(d) 적용되는 이론적 및/또는 인식론적 프레임워크의 선택
(e) 유도 데이터 중심 접근법 또는 연역적 이론 중심 접근법으로 데이터를 분석하는 능력(Clarke and Braun 2013).
Finally, and perhaps most importantly, thematic analysis offers researchers great flexibility with respect to:
(a) the type of research questions it can address, from personal accounts of people’s experiences and understandings to broader constructs in various social contexts;
(b) the type of data and documents examined;
(c) the volume of data analyzed;
(d) the choice of theoretical and/or epistemological framework applied; and
(e) the ability to analyze data with an inductive, data-driven approach or a deductive, theory-driven approach (Clarke and Braun 2013).
주제 분석의 단점 The disadvantages of thematic analysis
주제 분석이 제공하는 [유연성은 엄격한 방법이 아니라는 인식]에 기여한다는 점에서도 단점으로 볼 수 있다(클라크와 브라운 2013). 원고가 작품의 패러다임적 방향과 이론의 역할을 분석에서 명확히 밝히지 않는다면 주제적 분석 위험은 폭넓게 적용되고 결코 일관되지 않는 방법으로 보여진다. 또한, 이 분석 방법의 유연한 특성을 고려할 때, 일부 연구자들은 데이터의 어떤 측면에 초점을 맞추고/또는 분석에 사용할 이론적 또는 인식론적 프레임워크를 결정하는 것이 어려울 수 있다(Braun과 Clarke 2006). 다른 분석 방법과 마찬가지로, 주제 분석이 제대로 수행되지 않을 수 있습니다(아래의 함정 섹션 참조). 그러나 주제 분석의 특별한 단점은 더 잘 정의되고 덜 유연한 프레임워크를 가진 다른 방법에 비해 용어를 일관되지 않거나 부적절하게 사용하기 쉽다는 것이다. 이러한 변수들은 주제 분석을 사용하거나 사용을 주장하는 원고의 평가를 복잡하게 한다(Braun과 Clarke 2006).
The flexibility that thematic analysis offers can also be seen as a drawback in that it contributes to a perception among some that it is not a rigorous method (Clarke and Braun 2013). If manuscripts don’t clearly state the paradigmatic orientation of the work and the role of theory in the analysis, thematic analysis risks being seen as a method that is applied broadly and never consistently. Additionally, given the flexible nature of this analysis method, it can be challenging for some researchers to determine which aspects of data to focus on and/or which theoretical or epistemological frameworks to use for their analysis (Braun and Clarke 2006). As with any analytic method, thematic analysis can be conducted poorly (see Pitfalls section below). However, a particular disadvantage with thematic analysis is that it has been more prone to inconsistent or improper use of terminology as compared to other methods with more well-defined and less flexible frameworks. These vagueries complicate appraisals of manuscripts that use, or claim to use, thematic analysis (Braun and Clarke 2006).
피해야 할 함정 Pitfalls to avoid
Braun과 Clarke(2006)는 주제 분석을 수행할 때 피해야 할 몇 가지 잠재적 함정을 강조하며, 이는 크게 세 가지 범주로 분류된다. Braun and Clarke (2006) highlight several potential pitfalls to avoid when conducting thematic analysis, which broadly fall into three categories.
첫째, 분석의 기초가 되는 가정을 적절히 설명하지 못하는 것이다. 유도 대 연역 분석을 위해 이 방법을 사용할 경우 수학적 다른 분석이 진행됩니다. 그것은 또한 그것이 건설적인 조사와 비교해서 포스트 포지티브 조사에 이용될 경우 다른 목표를 달성하는 것을 목표로 할 것이다. 연구의 이러한 기초적인 측면을 명시적으로 언급한 후, 연구자의 분석은 그러한 기초에 맞춰져야 한다(Braun과 Clarke 2006). First is a failure to adequately describe the assumptions that underlie the analysis. Thematic different analysis will proceed in ways if the method is used for inductive versus deductive analysis. It will also aim to achieve different goals if it is harnessed for a post-positivist investigation versus a constructivist investigation. These foundational aspects of the study should be explicitly stated, and then the researcher’s analysis must align itself to those foundations (Braun and Clarke 2006).
두 번째는 적절한 분석의 부족이다(Braun과 Clarke 2006). 연구 결과에 대한 설명이나 데이터 추출물 또는 구문 분석 응답의 목록만으로는 주제 분석을 구성하지 않는다. 주제 분석은 연구자가 보다 해석적인 작업에 참여해야 한다. 예를 들어, 인터뷰 질문 그 자체를 주제로 사용해서는 안 되는데, 이는 데이터 세트에 대한 분석이 부족함을 나타내기 때문이다(Braun and Clarke 2006). Second is a lack of adequate analysis (Braun and Clarke 2006). Mere description of findings or a listing of data extracts or paraphrased responses does not constitute a thematic analysis; thematic analysis requires the researcher to engage in more interpretive work. For example, interview questions should not be used as themes, as this indicates a lack of analysis across the data set (Braun and Clarke 2006).
세 번째는 약한 분석으로, 조사 결과 보고서에서 제기된 주장이 설득력이 없거나 근거가 없는 것이다(Braun과 Clarke 2006). 테마가 겹치거나, 의미가 없거나, 내부 일관성이 부족한 경우 이 문제가 발생할 수 있습니다. 또한, 모범적인 데이터 추출이 없거나, 데이터 세트의 모든(또는 적어도 가장 관련성이 높은 부분)을 포괄하지 못하거나, 일화 또는 고립된 이벤트를 테마 수준으로 올리지 못하거나, 데이터(Braun 및 Clarke 2006)에 의해 모순되는 경우 분석이 불완전하고 지원되지 않을 것이다.
Third is a weak analysis, in which the claims made in the report of findings are unconvincing or unfounded (Braun and Clarke 2006). This can occur when themes are overlapping, nonsensical, and/or lack internal consistency. Additionally, an analysis will be incomplete and unsupported if it lacks exemplary data extracts, fails to encompass all (or at least all of the most relevant parts) of the data set, elevates anecdotes or isolated events to the level of themes, or is contradicted by its data (Braun and Clarke 2006).
Conclusion
Med Teach
.2020 Aug;42(8):846-854.
doi: 10.1080/0142159X.2020.1755030.Epub 2020 May 1.
Thematic analysis of qualitative data: AMEE Guide No. 131
Thematic analysis is a widely used, yet often misunderstood, method of qualitative data analysis. It is a useful and accessible tool for qualitative researchers, but confusion regarding the method's philosophical underpinnings and imprecision in how it has been described have complicated its use and acceptance among researchers. In this Guide, we outline what thematic analysis is, positioning it in relation to other methods of qualitative analysis, and describe when it is appropriate to use the method under a variety of epistemological frameworks. We also provide a detailed definition of atheme, as this term is often misapplied. Next, we describe the most commonly used six-step framework for conducting thematic analysis, illustrating each step using examples from our own research. Finally, we discuss advantages and disadvantages of this method and alert researchers to pitfalls to avoid when using thematic analysis. We aim to highlight thematic analysis as a powerful and flexible method of qualitative analysis and to empower researchers at all levels of experience to conduct thematic analysis in rigorous and thoughtful way.
Keywords:Thematic analysis; qualitative analysis; qualitative research methods.
영국 기본의학교육에서 핵심 의사소통 커리큘럼의 합의문(Patient Educ Couns. 2018)
Consensus statement on an updated core communication curriculum for UK undergraduate medical education Lorraine M. Noblea,*, Wesley Scott-Smithb, Bernadette O’Neillc, Helen Salisburyd, On behalf of the UK Council of Clinical Communication in Undergraduate Medical Education
1. 소개
1. Introduction
임상 커뮤니케이션은 1990년대에 학부 의학 커리큘럼에 도입되었고, 영국, 그리고 전 세계적으로 모든 의학 과정의 표준 구성요소가 되었다. 2008년, 모든 33개 영국 의과대학의 대표성을 포함하는 반복적인 협의 과정에 의해 도출된 합의문은 학부 의학 교육을 위한 임상적 의사소통을 위한 핵심 커리큘럼을 결정지었다[1].
Clinical communication was introduced into the undergraduate medical curriculum in the 1990s and has become a standard component in all medical courses in the UK, and increasingly, across the world. In 2008 a consensus statement, reached by an iterative consultative process involving representation fromall 33 UK medical schools, crystallised the core curriculum for clinical communication for undergraduate medical education [1].
의사소통의 가르침이 변해야 할 것 같지는 않다; 유전 과학의 최첨단에 있는 우리의 동료들과는 달리, 우리는 10년만에는 크게 달라질 수 없는 인간의 상호 작용에 대한 영원한 진리를 다루고 있다고 느낄지도 모른다. 아무리 의료가 바뀌어도 의료에 대한 기대는 달라지고, 의사 소통은 필연적으로 뒤따라야 한다.
It may seem unlikely that communication teaching should change; unlike our colleagues at the cutting edge of genetic science, we may feel we are dealing with eternal verities about human interactions which surely cannot vary much in a decade. However medical care does change, expectations of medical care alter and doctors’ communication must inevitably follow suit.
임상 커뮤니케이션 커리큘럼에 영향을 미치는 변화의 동인은 다음과 같이 분류할 수 있다. The drivers of change affecting the clinical communication curriculum can be categorised as:
관계적
상황적
테크놀로지컬
Relational
Contextual
Technological
의사와 환자의 관계는 항상 환자 중심의 치료와 환자 자율성 지원에 중점을 두고 임상 커뮤니케이션 교육의 초점이 되어 왔다. 지난 합의문 이후 광범위한 문헌을 통해 구체화된 shared decision making의 개념은 최근 대법원 판결에서 비롯된 법적 선례에 의해 표면화됐다. 이것은 당뇨병을 앓고 있는 임산부에게 출생 선택권과 그들의 가능한 이익과 위험에 관한 정보를 제공하였다[4]. 환자를 위해 결정된 판결의 결과로서, [동의]는 [합리적인 의사가 말하고 싶어하는 것]이 아니라 [합리적인 환자가 알고 싶어하는 것]에 기초하여 판단된다 [5]. 이것은 의사-환자-다이아드의 어떤 구성원이 의사소통이 효과적인지에 대한 최종 결정권자인지에 대한 오랜 믿음을 뒤집었다. The relationship between the doctor and patient has alwaysbeen a focus of clinical communication teaching, with an emphasison patient-centred care and supporting patient autonomy. The concept of shared decision making, which has been elaborated inan extensive literature since the last consensus statement, was recently brought to the fore by a legal precedent arising from a Supreme Court ruling. This concerned the information given to apregnant patient with diabetes about birth options and their likelybenefits and risks [4]. As a consequence of the ruling, which was decided in favour of the patient, consent is now judged on the basis of what a reasonable patient wants to know, not what a reasonable doctor wants to say [5]. This has overturned long-held beliefs aboutwhich member of the doctor-patient dyad is the final arbiter ofwhether communication has been effective.
의사의 역할은 [의료 서비스를 제공할 수 있는 기술과 지식을 가진 사람들에 대한 사회적 기대를 반영하므로] 끊임없이 발전하고 있습니다 [6]. 의사와 환자가 모두 자신의 경험 분야에서 전문가라는 이전의 급진적인 생각[7]은 의료 의사결정이 이러한 의사 결정의 결과를 감수해야 하는 사람들과 함께 가장 잘 협력적으로 이루어진다는 것을 이해하는 길을 열었다. The doctor’s role reflects societal expectations of those with the skills and knowledge to provide medical care and thus isconstantly evolving [6]. The previously radical idea that thedoctor and the patient are both experts in their own areas of experience [7] has paved the way for an understanding that healthcare decisions are best made collaboratively with the people who have to live with the consequences of those decisions
이는 2010년 영국 정부의 백서에 반영되었는데, 그는 의료에서 공유 의사 결정이 표준이 될 것이며 환자들이 '나 없이는 나에 대한 결정이 없을 것'을 기대할 수 있다고 강조하였다[8]. This was reflected in the UK Government’s White Paper in 2010, which emphasised that shared decision making would become the normin medical care and that patients could expect ‘no decision about me without me’ [8].
의사의 역할이 [환자가 내릴 결정의 근거가 될 '정보에 입각한 선호'를 개발하는 데 있어 환자를 지원하는 것]이라는 개념은 [9] 의사가 [환자가 단순히 '준수comply'할 것으로 예상되는 조언을 제공]한다는 관례를 점차 대체하고 있다. 자신의 의료에 대한 의사 결정에 있어 환자의 중심적 역할은 영국 국가 지침[10]에서 계속 강조되고 있다 [11]. 의사-환자 관계가 시간이 지남에 따라 어떻게 계속 변화하고 있는지에 대한 인식은 학생들을 돕기 위해 필수적이다. The notion that the doctor’s role is to supportthe patient in developing an informed preference on which to base their decision [9] is gradually replacing the convention that the doctor provides advice with which patient is simply expected to ‘comply’. The central role of patients in making decisions about their own healthcare continues to be emphasised in UK national guidance [10] albeit sometimes as a consequence of litigation [11]. An awareness of howthe doctor-patient relationship continues to change over time is essential to help students
이러한 문제의 원인은 많고 다양할 수 있지만, 의료에서 사람들이 기대하는 것과 그들이 받는 것 사이의 근본적인 불일치는 의료 전문가들이 환자들처럼 진지하게 의사 소통을 해야 한다는 것을 의미한다. 모든 커뮤니케이션 커리큘럼은 환자가 원하는 것을 고려해야 합니다(표 1) [18].
Whilst the causes of these problems are likely to be many and varied, the underlying discrepancy between what people expect from medical care and what they receive points to a need for healthcare professionals to take communication as seriously as patients do. Any communication curriculum must take into account what patients want (Table 1) [18].
심지어 지난 10년 사이에도 의사-환자 관계를 묘사하는 데 사용되는 언어가 바뀌었다. 많은 출판물은 의료 서비스를 이용하거나 장기간 의료 상태를 유지하고 있는 사람을 설명할 때 더 이상 '환자'라는 단어를 사용하지 않는다[12–14]. '환자 중심'이라는 용어가 널리 이해되고 있는 것처럼, '사람 중심'이라는 용어에 자리를 내주고 있다. 의대 교사들은 더 이상 학생들에게 '감정적인 환자를 상대한다'거나 '환자가 말할 수 있게 (허락)한다'는 전략을 권하지 않고 '환자의 감정에 반응한다'거나 '환자의 공헌을 가능케 한다'는 말을 할 것이다. 마찬가지로 환자를 라벨링하는 것(예: '어려운 환자' 또는 '답답한heartsink')는 당연히 무례하게 여겨지며, 의사들이 힘들다고 생각하는 상황에서 효과적으로 의사 소통을 하도록 장려하지 못한다. 언어의 사용은 건강관리를 받는 사람들이 '질병된 신체diseaed body'나 문제의 근원이 아닌 [존중과 인간으로서 대우받는다는 기대]를 보여준다. 이것은 전통적인 '수동적인 환자' 담론의 적절성에 문제를 제기하는데, '수동적 환자 담론'은 [흔히 사용되는 용어]에서 여전히 드러난다. 예를 들어 '병력 청취', '환자 동의', '치료에 순응'과 같은 말이다. Even within the last decade, the language used to describe the doctor-patient relationship has changed. Many publications no longer use the word ‘patient’ when describing a person who uses healthcare services or lives witha long-term medical condition[12– 14]. Just as the term ‘patient-centred’ is becoming more widely understood, it is giving way to the term ‘person-centred’. Medical teachers no longer recommend strategies for students to ‘deal with emotional patients’ or suggest ‘allowing the patient to talk’ but will refer to ‘responding to the patient’s emotions’ or ‘enabling the patient’s contribution’. Similarly the labelling of patients (e.g. as ‘difficult’ or ‘heartsink’) is rightly viewedas disrespectful andfails to encourage doctors to take responsibility for communicating effectively in situations they find challenging. The use of language demonstrates the expectation that people receiving healthcare are treated with respect and as people rather than as ‘diseased bodies’ or a source of problems. This challenges the appropriateness of the traditional discourse of a ‘passive patient’, which is represented by terms still commonly used, such as ‘taking a history’, ‘consenting a patient’ and ‘compliance with treatment’.
의사는 다음과 같은 경우 보고서가 계속 나타납니다. reports continue to appear where doctors:
나쁜 소식을 전달할 때 자신을 소개하거나 환자를 보는 데 실패 [15]
환자가 마치 없는 것처럼 이야기하다[16]
의사소통이 원활하지 않고 존경심이 부족하다[17].
fail to introduce themselves or to look at the patient when delivering bad news [15]
talk about patients as if they were not there [16]
communicate poorly and show lack of respect [17].
환자 중심의 관리가 영국의 의료 관행을 뒷받침하는 철학이지만, 학생들은 현실에서 의사-환자 관계의 다양한 모델에 노출되어 있다. Whilst patient-centred care is the philosophy underpinning medical practice in the UK, in reality students are exposed to a variety of models of the doctor-patient relationship
이는 또한 의료 과실에 의해 영향을 받는 환자와 가족에게 효과적으로 대응하는 데 초점을 맞추는 것이 증가하여 솔직함candour이라는 새로운 법적 의무가 생기게 했다. [전문적 행동]의 개념은 대인 관계 기술, 작업 그룹 규범 및 조직 문화의 요소를 통합하여 의료 교육에서 점점 더 채택되고 있다[22].
This also prompted an increased focus on responding effectively to patients and families affected by medical error, resulting in a new statutory duty of candour [21]. The concept of professional behaviour as a taught subject is being increasingly adopted in medical education, incorporating elements of interpersonal skills, working group norms and organisational culture [22].
이와 동시에, 일부 의과대학에서 임상적 의사소통 외에도 임상적 추론의 명시적 교육에 대한 집중력이 증대되었다[25–27]. 부적절한 정보 수집 및 처리로 인해 많은 진단 오류가 발생한 것으로 확인되었습니다 [28,29]. 환자의 문제를 효과적으로 평가하는 데 있어 [임상 지식, 추론 및 커뮤니케이션 간의 상호 작용]은 많은 커리큘럼에서 강조되고 있다. In parallel, there has been an increased focus on the explicitteaching of clinical reasoning in addition to clinical communication in some medical schools [25–27]. Inadequate gathering and processing of information have been found to be responsible formany diagnostic errors [28,29]. The interplay between clinical knowledge, reasoning and communication in effectively assessing a patient’s problems is being emphasised in many curricula.
전문성, 환자 안전 및 임상 추론에 대한 이러한 새로운 강조는 임상 커뮤니케이션 교육에 시사하는 바가 있다. 시뮬레이션 기반 훈련의 급증은 환자 및 친척과의 커뮤니케이션뿐만 아니라 동료로의 인계 등 환자 안전과 관련된 주요 이벤트를 포함하여 명백하게 나타났다 [30,31]. These new emphases on professionalism, patient safety and clinical reasoning have implications for clinical communication teaching. An upsurge in simulation-based training has been evident, focusing not only on communication with patients and relatives, but including key events relating to patient safety, suchas handover to colleagues [30,31].
지난 10년간 기술 변화로는 [원격의료의 성장과 화상회의]와 같은 전자적 방법으로 안전하고 효과적으로 상담하는 데 필요한 기술이 있다. 영국에서는 임상 실습과 커뮤니케이션 교육에서 대부분의 상호작용이 대면적이어서 많은 졸업생들이 다른 매체를 통해 치료를 제공할 준비가 되어 있지 않다. 기술은 또한 전통적인 상담에서도 문제를 제기합니다. 일부 의사들은 10년 이상 전자 건강 기록을 사용해 왔지만, 이 3자(환자-의사-컴퓨터) 상담에 필요한 상호 작용 기술은 거의 주목을 받지 못했다[32]. 1차, 2차 및 3차 진료 범위에 걸친 서비스가 모든 환자 상담에서 전자 건강 기록의 사용으로 전환됨에 따라 이것이 우선순위가 되고 있다. '디지털 원주민'인 학습자가 단순히 기술을 자신의 실무에 원활하게 통합할 것으로 예상될 수 있지만, 증거에 따르면 (디지털 원주민) 학생들도 전자 건강 기록의 사용에 대한 지침과 역할 모델링이 필요하다는 것을 시사한다[32,33]. 학생 스스로도 기술이 환자와의 상호 작용 품질에 미치는 영향을 알고 있습니다 [33]. Technological changes over the past decade include the growth of telemedicine and skills needed to consult safely and effectively by electronic means, such as video-conferencing. In the UK, most interactions in clinical practice and communica tion teaching are face-to-face, which leaves many graduates ill prepared to provide care via other media. Technology also presents challenges in traditional consultations. Although some doctors have been using electronic health records for over a decade, the interactional skills needed for this triadic (patient doctor-computer) consultation have received little attention [32]. This is becoming a priority, as services across the spectrum of primary, secondary and tertiary care switch to the use of electronic health records in every patient consultation. Whilst it might be expected that learners who are ‘digital natives’ will simply incorporate technology seamlessly into their practice, evidence suggests that students need guidance and role modelling in the use of electronic health records [32,33]. Students themselves are aware of the impact of technology on the quality of their interactions with patients [33].
기술적 진보가 환자의 생리학적 데이터의 원격 모니터링을 용이하게 함에 따라(예를 들어 장기 조건 관리에서) 의사와 환자 간의 상호 작용의 성격과 빈도가 변화하고 있다. 이는 다학문 팀의 확대, 다른 학문출신 팀 구성원과의 환자 접촉 증가, 시간에 따른 의사-환자 관계의 연속성 감소[34]로 인해 증폭된다. [개별 환자의 유전자 구성, 건강, 라이프스타일 및 환경에 따라 표적형 치료를 제공하는 것을 목표로 하는] 정밀 의료와 같은 진보는 환자 데이터의 수집 및 사용뿐만 아니라 의사와 환자 간 상담에서 논의된 주제에 영향을 미친다[35]. As technological advances facilitate remote monitoring of patients’ physiological data (for example, in the management of long term conditions) the nature and frequency of interactions between doctors and patients is changing. This is amplified by the expansion of multi disciplinary teams, the increase inpatient contacts with team members from other disciplinary backgrounds and a reduction in continuity of the doctor-patient relationship over time [34]. Advances such as precision medicine, which aims to provide targeted care based on the individual patient’s genetic make-up, health, lifestyle and environment, have implications for topics discussed in the doctor-patient consultation, as well as the collection and use of patient data [35].
이러한 관계적, 상황적, 기술적 변화의 복합적 영향은 지난 10년 동안 의사-환자 간 의사 소통에 지대한 영향을 끼쳐 커리큘럼의 개정을 촉진했다. The combined impact of these relational, contextual and technological changes has had a profound effect on doctor-patient communication in practice over the past decade, prompting a revision of the curriculum
2. 방법 2. Methods
3. 결과 3. Results
3.1. 교육과정 바퀴 3.1. The curriculum wheel
원래의 커리큘럼은 쉽게 접근할 수 없는 형태로 전체 커리큘럼을 제시하는 것을 목표로 하는 '휠'로 표현되었다. 원래 교육과정을 이용한 사람들의 경험과 신입 회원들의 관점을 바탕으로 한 이번 상담에서 얻은 공감대는 이 도식표현이 도움이 됐다는 데 있었다. 특정 요소를 업데이트하면서 형식을 유지하기로 합의하였다(그림 1). The original curriculum was represented by a ‘wheel’, which aimed to present the entire curriculuminan easilyaccessible form. The consensus fromthe consultation, based on the experiences of those who had used the original curriculumand the perspective of newer members, was that this diagrammatic representation was helpful. It was agreed that the format would be retained, whilst updating certain elements (Fig. 1).
의사소통의 핵심 구성 요소는 휠의 내부 원으로 표시됩니다. 외부 링은 환자 이외의 링과의 통신, 통신 방법 및 통신에서 특정 문제를 나타냅니다. 커리큘럼은 바퀴를 둘러싼 맥락으로 제시되는 모든 의료 행위를 지배하는 일련의 원칙들에 의해 뒷받침된다. Core components of communication are represented by the inner circles of the wheel. Outer rings represent specific issues in communication, methods of communication and communication with those other than the patient. The curriculumis underpinned by a set of principles which govern all medical practice, presented as the context surrounding the wheel.
이 바퀴는 링이 독립적으로 회전할 수 있도록 설계되어 있어 커리큘럼에 다이얼을 돌린다. 예를 들어, 교육과정 계획자는 전화로 통역사를 통해 영어를 거의 하지 않는 환자와 정보수집을 연습하거나 상대적인 면전에서 의료 오류를 설명하는 연습을 할 수 있는 세션을 설계할 수 있다.
The wheel is designed such that the rings can be rotated independently, in order to ‘dial a curriculum’. For instance, a curriculum planner may design a session for students to practise gathering information with a patient who speaks little English via an interpreter over the phone or a session to practise explaining a medical error to a relative face-to-face.
3.2. 임상 커뮤니케이션 교육을 뒷받침하는 핵심 원칙 3.2. Key principles underpinning clinical communication teaching
[타인에 대한 존중]이라는 핵심 가치는 여전히 커리큘럼의 중심에 있다. 존중은 환자, 친척, 동료 및 환자 치료에 관여하는 다른 사람들과의 모든 상호 작용의 핵심이다. 효과적인 파트너십을 개발하기 위한 첫 번째 구성 요소이며, 환자 자신의 의료에서 환자의 역할을 지원하고 활성화하는 데 필수적입니다.
The core value of respect for others remains at the centre of the curriculum. Respect is key to all interactions with patients, relatives, colleagues and others involved in patient care. It is the first building block for developing effective partnerships and is essential in supporting and enabling the patient’s role in their own healthcare.
추가로, 학생들은 임상 의사소통을 위한 핵심 지식 기반, 즉 개념적 프레임워크 및 연구 증거의 파악이 필요하며, 여기에는 다음이 포함된다. In addition, students need a core knowledge base for clinical communication: an appreciation of conceptual frame works and research evidence, which includes:
– 효과적인 의사-환자 간 커뮤니케이션과 환자 만족도, 리콜 및 의료 결과 간의 관계에 대한 근거[36,37] – 돌봄에 대한 개념적 프레임워크 및 철학(예: 환자 중심) –의사-환자 관계 및 상담 모델
–다양한 치료 단계에서의 환자 지원에 대한 접근 방식[38]
– evidence about effective doctor-patient communication and the relationship between communication and patient satisfaction, recall and healthcare outcomes [36,37]
– conceptual frameworks and philosophies of care (such as patient-centredness)
– models of the doctor-patient relationship and the consultation
– approaches to supporting patients at different stages of care[38].
기본 원칙에 새롭게 추가된 것은 [임상 커뮤니케이션에 대한 개인의 이해와 기술의 개발]에 있어 [연습practice의 명확한 역할]이다. 연습은 다음을 가리킨다. A new addition to the underpinning principles is the explicit role of practice in the development of an individual’s understanding of, and skills in, clinical communication. Practice refers to:
– 학생들이 자신의 임상적 상호작용에 개념을 통합하는 방법 (예: '존중' 또는 '환자 중심 진료' 등) – 반복을 통한 기술 향상[39] – the way in which students integrate concepts (such as ‘respect’ or ‘patient-centred care’) into their clinical interactions
– the refinement of skills through repetition [39].
3.3. 임상 커뮤니케이션의 핵심 구성 요소 3.3. Core components of clinical communication
영국의 의과대학에서 널리 사용되는 캘거리-캠브리지 인터뷰 가이드[36]는 원래 커리큘럼의 핵심 구성 요소에 대해 알려주었다. 이 프레임워크는 네 가지 순차적 단계로 협의의 기본 구성 요소를 설정합니다. The Calgary-Cambridge Guide to the Medical Interview [36], which is widely used in UK medical schools, informed the core components in the original curriculum. This framework sets out the fundamental building blocks of the consultation in four sequential stages:
– 상담 개시 – 정보 수집 – 설명 및 계획 – 상담 종료
– Initiating the consultation
– Gathering information
– Explanation and planning
– Closing the consultation
이러한 작업은 상담 중에 두 가지 병렬 작업으로 지원됩니다. These are supported by two parallel tasks throughout the consultation:
– 관계 구축 – 구조 제공
– Building the relationship
– Providing structure
환자면담에서 '설명explanation' 과제에 공유 의사결정shared decision making이 추가되었다. 2008년에 '설명 및 계획'의 과제는 다음과 같다. Shared decision making has been added to the ‘explanation’ task of the consultation. In 2008, the task of ‘explanation and planning’ included:
– 다루어야 할 내용: 예: 관련 진단 설명, 계획 및 협상 – 프로세스 기술: 환자의 시작점 결정, '정보 확인' 및 이해도 확인 등 – the content to be addressed: e.g. explaining relevant diagnoses, planning and negotiating
– process skills: such as determining the patient’s starting point, ‘chunking’ information and checking understanding
공유 의사 결정 프로세스는 환자가 자신의 의료에 이해 당사자로서 적극적으로 참여합니다. 여기에는 다음과 같은 여러 추가 요소가 포함된다. [40–42] The process of shared decision making actively involves the patient as a stakeholder in their own healthcare. This includes a number of additional elements [40–42], such as:
– 치료 목표 명확화 – 사용 가능한 치료 옵션에 대한 정보 공유(치료 불가 옵션 포함) – 불확실성을 포함한 치료 옵션의 잠재적 편익과 해악에 대한 정보 논의
–선호 결과 논의 – 환자의 가치(환자에게 가장 중요한 것)를 명확히 함 – 환자의 숙고 지원 – 환자의 선택 사항 문서화 및 구현
– clarifying goals for treatment
– sharing information about available treatment options, including the option of taking no treatment
– discussing information about the potential benefits and harms of the treatment options, including any uncertainties
– discussing preferred outcomes
– clarifying the patient’s values (what matters most to the patient)
– supporting the patient in deliberating
– documenting and implementing the patient’s choice
3.4. 특정 통신 영역 3.4. Specific domains of communication
핵심 구성 요소는 의사가 상담을 구축할 수 있는 안전한 플랫폼을 제공합니다. 이들 외에도 의사들에게 어려운 것으로 알려져 있으며, 가르침에 대한 특별한 주의를 필요로하는 커뮤니케이션 영역이 있다. 이러한 영역 중 일부는 더 어려운 상황에서 동정적이고 효과적인 대화를 나누기 위해 학생들이 필요로 하는 기술과 접근 방식에 초점을 맞춘다. 여기에는 다음이 포함됩니다. The core components provide a secure platform upon which doctors can build their consultations. Beyond these, there are specific areas of communication which are known to be challenging for doctors, and which warrant particular attention in teaching. Some of these domains focus on the skills and approaches that students need in order to have compassionate and effective conversations undermore challenging circumstances. These include:
– 민감한 이슈들에 대한 논의: 어렵고 창피하거나, 낙인적인 주제. 사망, 죽어감, 사별, 섹스, 정신질환, 낙태, 중독, 가정폭력, 아동학대 등 – 감정에 반응하기: 고통, 두려움, 분노 등. 환자와 가족에게 미치는 질병의 정서적 영향을 이해하고 이에 대응합니다. – 불확실성에 대한 대응: 진단, 예후 및 환자의 요구 사항을 충족하는 '정확한' 치료 옵션 설정에 대한 내용 – 실수와 불만사항 논의: 환자와 가족에게 의료오류(의사 개인 또는 팀원에 의해 발생)를 공개하고, 진료에 대해 불만을 제기하고자 하는 사람에게 대응
– Discussing sensitive issues, e.g. difficult, embarrassing and stigmatised topics, suchas death, dying, bereavement, sex, mentalillness, abortion, addiction, domestic violence and child abuse.
– Responding to emotions, e.g. distress, fear and anger, as well as understanding and responding to the emotional impact of illness on the patient and their family.
– Responding to uncertainty: about diagnosis, prognosis andestablishing the ‘correct’ treatment option for the patient to meet their needs.
– Discussing mistakes and complaints: disclosing medical error(caused by the doctor personally or a teammember) to patients and families; responding to those who wish to complain about their care.
이러한 영역은 이전 커리큘럼에 포함되었지만, 언어는 변경되었다(이전에는 '감정 처리', '실수와 불만 처리', '불확실성 처리'). Whilst these domains were included the previous curriculum, the language has changed (previously ‘handling emotions’, ‘handling mistakes and complaints’ and ‘dealing with uncertainty’).
변경된 특정 도메인은 다음과 같습니다. Specific domains which have changed are:
– 나쁜 소식전하기. 원래 '민감한 문제'의 영역 아래에 포함되었지만, 이것은 개정된 커리큘럼의 바퀴에 명시적으로 추가되었다. 여기에는 어려운 소식을 공유하고 환자 및 가까운 사람들과 토론하는 것이 포함됩니다. – Breaking bad news. Originally included under the domain of‘sensitive issues’, this has been explicitly added to the wheel inthe revised curriculum. This includes sharing difficult news anddiscussing with patients and those close to them:
– 진단 및 예후(예: 상태가 심각하거나, 장기적이며, 수명이 변화하거나, 수명이 변화할 때) – 치료(예: 효과적인 치료법이 없는 경우, 심각한 부작용의 위험이 있는 경우, 치료는 더 이상 효과적이지 않은 경우, 완화의료로의 전환, DNAR 결정
– diagnosis and prognosis, e.g. when the condition is serious, long-term, life-changing or life-limiting
– treatment, e.g. there are no effective treatments, there is a riskof serious adverse effects, treatment is no longer effective, transfer to palliative care, ‘do not attempt resuscitation’ decisions
또한 특정 영역은 환자의 [개별 상황에 따라 모든 환자의 요구를 충족시키는 공평한 치료를 제공해야 하는 의사의 의무]를 포함한다. 여기에는 다음이 포함됩니다. The specific domains also encompass the duty of doctors to provide equitable care which meets every patient’s needs according to their individual circumstances. This includes:
– 커뮤니케이션의 다양성. 다양성(diversity)이란 용어는 연령, 국적, 신체적 능력 또는 장애, 민족적 또는 문화적 배경, 성적 지향, 종교적 신념, 학습 능력 또는 어려움, 사회 경제적 지위, 교육, 의사소통 능력, 가족적 배경 등으로 인해 사람들 사이의 개별적인 차이를 가리킨다. 이는 이전 교육과정의 두 영역('나이별'과 '문화적·사회적 다양성')을 병합하는 동시에 학생들이 배경, 개인적 특성, 세계관과 관계없이 모든 환자와 효과적으로 소통할 수 있을 것이라는 기대감으로 소관을 확대한다.
– 의사소통의 장벽. 여기에는 언어, 인지 또는 청각 장애 또는 신체 또는 학습 장애로 인해 발생할 수 있는 특정한 의사소통의 장벽 탐색이 포함된다[43].
– Diversity in communication. The term diversity refers to individual differences among people: due to age, nationality,physical ability or impairment, ethnic or cultural background,sexual orientation, religious beliefs, learning ability or difficul ties, socio-economic status, education, communicative abilityand family background. This merges two domains from theprevious curriculum (‘age-specific’ and ‘cultural and social diversity’) whilst expanding the remit to include the expectationthat students will be able to communicate effectively with allpatients, regardless of background, personal characteristics or world view.
– Barriers to communication. This includes navigating specific communication barriers, which may be due to language, cognitive or hearing impairments, or physical or learning disabilities [43].
도메인에는 [다양한 유형의 상담]도 포함됩니다. The domains also include communication in different types of consultations:
– 구체적인 임상 상황: 예를 들어, 응급의학의 긴급성은 신속한 진단, 다중 작업, 조정 및 팀워크 또는 공격에 대응하는 기술을 강조할 수 있다. 알코올 및 약물 오용과 같은 특정 임상 주제는 임상 환경에 따라 다르게 협의하여 다룰 수 있다(예: 일반 진료, 응급 진료부, 약물 오용 클리닉). – Specific clinical contexts. For example, the exigencies of emergency medicine may emphasise the skills of rapid diagno sis, multi-tasking, co-ordination and teamwork, or responding to aggression. Particular clinical topics, such as alcohol and substance misuse, may be addressedina consultation differently depending on the clinical setting (e.g. general practice, emergency department, substance misuse clinic).
– 건강 행동 변화: 여기에는 행동 변화를 지원하고 사람들이 장기 상태를 관리할 수 있도록 하는 데 필요한 기술이 포함됩니다. 이것은 이전 커리큘럼의 도메인('설명의 구체적인 적용')을 대체합니다. – Health behaviour change. This includes the skills required to support behavioural change and enable people to manage their long-term conditions. This replaces a domain (‘specific application of explanation’) from the previous curriculum.
– 프로시져 중 의사소통. 새롭게 추가된 것으로, 환자가 시술/수술을 받는 상황에서 다음과 같은 커뮤니케이션 절차를 포함합니다.
– 시술/수술의 절차를 설명
– 계속하기 전에 환자가 절차에 동의했는지 확인
– 환자의 질문, 우려 및 감정에 효과적으로 대응
– 적절한 해설(코멘터리)을 제공
– Communication during procedures. A new addition, this includes communication procedures to: whilst the patient is undergoing practical
– explain the proposed procedure
– ensure that the patient has agreed to the procedure before proceeding
– respond effectively to patient questions, concerns and emotions
– provide an appropriate commentary
3.5. 의사소통 방법 3.5. Methods of communicating
교육에서 일반적으로 사용되는 방법에는 대면, 전화 및 서면 통신이 포함되지만, 업데이트된 커리큘럼에는 디지털 의학과 전자 건강 기록이 구체적으로 언급된다. 여기에는 다음과 같은 기술이 포함됩니다. Whilst commonly used methods addressed in teaching include face-to-face, telephone and written communication, the updated curriculum specifically mentions digital medicine and the electronic health record. These include skills in:
– '제3자'로서 존재하는 컴퓨터를 관리하면서 효과적인 상담 수행 – 다양한 전자적 통신 방법(전자 메일, 화상 회의, 데이터 원격 전송 등)을 사용하여 환자 진료를 조정, 전달 및 문서화 – 디지털 시대의 변화하는 관리 방법이 환자, 친척 및 동료와의 의사소통에 미치는 영향 평가
– conducting an effective consultation whilst managing the ‘third party’ presence of the computer
– using a variety of electronic methods of communication (including email, video conferencing and remote transmission of data) to co-ordinate, deliver and document patient care
– evaluating the impact of changing methods of care in the digital age on communication with patients, relatives and colleagues
3.6. 환자 이상의 커뮤니케이션 3.6. Communication beyond the patient
이 커리큘럼은 또한 환자들에 대한 커뮤니케이션을 포함하는데, 이것은 친인척, 통역자, 옹호자, 그리고 보호자와 함께 효과적으로 일하는 것뿐만 아니라 의학 내/외부 동료들을 포함한다. 여기에는 다음과 같은 기술이 포함됩니다. The curriculum also includes communication about patients, which encompasses working effectively with relatives, inter preters, advocates andcarers, as well as colleagues bothwithinand outside medicine. This includes skills in:
– '삼자' 상담(예: 환자-친인척-의사) – 환자와 가까운 사람들이 참여하는 의사 결정 상담 – 일반 및 전문 통역사와 함께 작업 – 다양한 미디어를 통한 동료와의 커뮤니케이션
– conducting a ‘triadic’ consultation (e.g. patient-relative-doctor)
– decision making consultations involving those close to thepatient
– working with lay and professional interpreters
– communication with colleagues through a variety of media
업데이트된 커리큘럼에는 다음과 같은 기술이 포함된 '팀워크'도 추가되었습니다. In the updated curriculum, ‘team-working’ has also beenadded, which includes skills in:
– 다학제 팀 내에서 작업하고 다학제 팀을 이끌기 – 환자 사례 및 인계 시 체계적인 접근 방식 사용 – 우려concern 제기raising
– working within and leading multi-disciplinary teams
– using structured approaches to presenting patient cases and handover
– raising concerns
3.7. 지지 원칙 3.7. Supporting principles
전체 커뮤니케이션 커리큘럼은 전문성, 윤리적, 법률적 원칙, 증거 기반 관행, 성찰적 실천 등 [의료적 실천의 모든 분야를 관장하는 일련의 원칙]의 맥락 속에 자리 잡고 있다. 환자 안전과 임상 지식 및 추론이라는 두 가지 영역이 추가되었다. 이는 학생들이 다음과 같은 점을 높이 평가하게 될 것이라는 기대를 강조합니다. The entire communication curriculum is sited in a context of a set of principles which govern all areas of medical practice:professionalism, ethical and legal principles, evidence-based practice and reflective practice. Two further domains have been added: patient safety and clinical knowledge and reasoning. This highlights the expectation that students will have an appreciation of:
– 의료 과실의 위험을 증가 또는 감소시키는 데 있어 의사 소통의 역할 – 환자 안전을 촉진하기 위한 커뮤니케이션 전략 및 도구(예: 세계 보건 기구 수술 안전 점검표) – 진단 오류를 유발하는 상담에 영향을 미치는 임상적 추론의 편향 – the role of communication in increasing or decreasing the risk of medical error
– communication strategies and tools to promote patient safety (e.g. the World Health Organisation Surgical Safety Checklist)
– biases in clinical reasoning affecting the consultation which lead to diagnostic errors
4. 토론과 결론 4. Discussion and conclusion
4.1. 토론 4.1. Discussion
핵심 가치로서 존중respect은 최근의 여러 보고서와 정책 이니셔티브[20,44] 및 환자에게 중요한 커뮤니케이션 요소를 조사하는 연구에 의해 강조되었다. 존중은 의사들이 환자의 나이, 사회적, 문화적, 인종적 배경, 장애 또는 언어에 관계없이 효과적이고 민감하게 의사소통할 것이라는 기대를 뒷받침한다. 그럼에도 불구하고, 의사 소통 불량과 존중 부족은 여전히 의사들에 대한 불만에서 매우 널리 퍼져 있는 것으로 나타났다[17]. 이는 의료 교육에서 존중하는respectful 의사소통에 대한 요구사항을 계속 명시적으로 다룰 필요가 있음을 나타낸다.
The core value of respect has been highlightedby recent reports and policy initiatives [20,44] as well as by research examining what elements of communication are important to patients. It underpins the expectation that doctors will communicate effec tivelyand sensitively regardless of the patient’s age, social, cultural or ethnic background, disabilities or language[45,46]. Nonetheless, poor communication and lack of respect are still consistently found to be highly prevalent in complaints against doctors [17]. This signals a need to continue to explicitly address the requirement for respectful communication in medical teaching.
효과적인 커뮤니케이션에는 가치, 지식 및 행동 기술의 조합이 포함됩니다. 학습 모델은 시간이 지남에 따라 복잡한 학습을 포함시키는 데 있어 연습의 역할을 점점 더 인식하고 있다[47,48]. [기술]과 [접근법]의 레퍼토리를 배우는 것뿐만 아니라, 학생들은 [반복 연습]을 통해 서로 다른 상황에서 무엇이 요구되는지, 그리고 진정한genuine 대화를 통해서 계획을 어떻게 집행enact하는지를 배운다. 예를 들어, '환자 중심 진료'에 대한 학습자의 이해는 이러한 치료를 제공한 경험이 없으면 완전하지 않습니다. Effective communication involves a combination of values, knowledge and behavioural skills. Learning models increasingly recognise the role of practice in embedding complex learning over time [47,48]. As well as learning a repertoire of skills and approaches, students learn, through repeated practice, how to make decisions about what is required in different situations and how to enact their plans as part of a genuine dialogue. A learner’s understanding of ‘patient-centred care’, for example, is not complete without the experience of delivering this care.
면담consultation의 많은 필수 업무(예: 의제에 합의하고, 파트너십을 구축하고, 정보를 교환하고, 시간을 효율적으로 사용하고, 계획에 합의하는 것)는 지난 10년 동안 바뀌지 않았다. 그러나 환자 자율성에 대한 집중도가 높아지면서 공유 의사 결정SDM 작업을 명시적으로 서명하는 것이 중요해졌다. 의과대학은 [8,10,40]의 학생이 치료에 대한 결정에 효과적으로 참여할 수 있도록 준비하여 졸업생이 법적 선례[4]의 기준에 맞는 치료를 제공할 수 있도록 보장해야 한다. Many of the essential tasks of the consultation (for example, to agree an agenda, build a partnership, exchange information, use time efficiently and agree a plan) have not changed in the past decade. However, the increased focus on patient autonomy has highlighted the importance of explicitly signalling the task of shared decision making. Medical schools must prepare students to enable effective patient participation in decisions about care [8,10,40] to ensure that graduates can deliver care that meets the standard set by legal precedent [4].
의료가 발전함에 따라, 환자 자신의 건강과 치료에 대한 논의에 환자가 적극적으로 참여하는 것은 증폭될 것이다. 예를 들어 정밀 의학에서 개입은 개별 유전학, 환경 및 필요에 대한 개별 환자의 고유한 목표치를 목표로 한다. 이는 정보 제공, 위험 커뮤니케이션, 환자 선택 지원 및 불확실성 대처에 새로운 영향을 미치며, 이는 가르침이 다루어야 한다.
The active participation of the patient in discussions about their own health and treatment is set to be amplified by advances in medical care. In precision medicine, for example, interventions are uniquely targeted towards the individual patient’s uniquely targeted towards the individual genetics, circumstances and needs. This has new implications for information provision, risk communication, supporting patient choice and coping with uncertainty, which teaching must address.
의사들은 항상 환자와 가까운 사람들과 어려운 주제에 대해 민감하고 동정적인 대화를 나눌 수 있어야 할 것이다. 여기에는 질병이 가족에게 미치는 정서적 영향을 평가하고, '최고의' 행동방법이 명확하지 않을 때 의료보험 결정을 탐색하며, 일이 잘못될 때 정직하고 존경스러운 관계를 유지하는 것이 포함된다. 최근의 정책 변화는 이러한 상황에서 환자와 가족의 권리를 강조하는 데 기여하고 있으며 [21]은 의사소통 교육에 반드시 반영되어야 한다. 특히, 나쁜 소식 전하기는 업데이트된 커리큘럼에서 새로운 명성을 얻었다. 최근의 증거는 의사들이 다양한 상황에서 환자나 친척들과 나쁜 소식을 논의하는 데 계속 고군분투하고 있다는 것을 보여준다. Doctors will always need to be able to conduct sensitive and compassionate conversations with patients and those close to them about difficult subjects. This includes appreciating the emotional impact of illness on families, navigating healthcare decisions when the ‘best’ course of action is not clear, and maintaining honest and respectful relationships when things go wrong. Recent policy changes have served to emphasise the rights of patients and relatives in these situations [21], which must be reflected in communication teaching. Specifically, breaking bad news has been given newprominence in the updated curriculum. Recent evidence shows that doctors continue to struggle with discussing bad news with patients and relatives, across a range of situations
개정된 커리큘럼의 다른 특정 영역은 의료 커뮤니케이션에서 평등, 다양성 및 포함의 역할이 점점 더 인식됨에 따라 [공정한equitable 치료care]를 제공해야 하는 의사의 의무를 명시적으로 강조한다[52]. 학생과 교수진이 환자뿐 아니라 그들 자신의 문화적 신념과 관행을 탐구하는 개방적 태도openness를 취하도록 장려하는 교육 프로그램이 제안되었다 [53]. 학생들은 또한 법에 따라 (통신 지원 부족을 포함하여) 어떤 형태의 장애가 있는 환자도 불이익을 받지 않도록 하기 위해 특정한 통신 장벽을 탐색할 수 있는 장비를 갖추어야 한다[54]. Other specific domains in the revised curriculum explicitly emphasise the duty of doctors to provide equitable care, as the role of equality, diversity and inclusion in healthcare communication has been increasingly recognised [52]. Educational programmes that encourage students and faculty to adopt an openness to exploring their own cultural beliefs and practices, as well as those of patients have been proposed [53]. Students also need to be equipped to navigate specific communication barriers, to ensure that patients with any form of disability are not disadvantaged (including through a lack of communication support), in accor dance with the law [54].
환자의 상황setting, 임상 시나리오 및 특정 요구를 고려해야 하는 필요성은 커뮤니케이션 커리큘럼에 항상 존재해왔다. 학생들에게 행동 변화를 지원하고 사람들이 그들의 장기적인 상태를 관리할 수 있도록 하는 데 더욱 강조되었다 [55]. 이는 개인 의료 만남에서 제공되는 기회를 사용하여 인구 건강을 개선하는 것을 목표로 건강 증진 및 예방 의학을 의료 상담의 일상적인 구성요소로 포함하려는 추세를 반영한다[56]. 자기관리를 필요로 하는 장기적이고 복잡한 조건의 환자가 계속 증가함에 따라, 졸업생들은 이러한 필요를 가진 환자들을 지원하기 위한 효과적인 상담 기술을 필요로 할 것이다[34]. The need to take account of the setting, clinical scenario and specific needs of the patient has always been present in the communication curriculum. Increased emphasis has been given to equipping students to support behavioural change and enable people to manage their long-term conditions [55]. This reflects the trend to include health promotion and preventive medicine as a routine component of health care consultations [56], with the aim of using the opportunity afforded in individual healthcare encounters to improve population health. As the number of patients with long-term, complex conditions requir ing self-management continues to increase, graduates will need effective consultation skills to support patients with these needs[34].
우리의 모델에 [시술/수술에 관한 커뮤니케이션]을 추가하는 것은 현재 학부 수준에서 실용적 기술과 커뮤니케이션 기술의 통합에 관심을 기울이고 있는 분명한 관심을 나타냅니다 [57]. 또한 이것은 잠재적인 [이론-실천 격차]를 극복하기 위해, 진정한authentic 임상 환경 내에서 의사 소통 기술을 가르치는 관행이 증가하는 것을 반영한다[58].
The addition of communicating during procedures to our model signals the explicit attention now being paid to the integration of practical and communication skills at undergraduate level [57]. It also reflects the increasing practice of siting communication skills teaching within an authentic clinical environment to overcome the potential theory/practice gap [58].
의료에서 전자적 통신 방법의 급속한 확장으로 인해 장기적 관리의 맥락에서는 전자 템플릿이환자 서술보다 우선할 수 있다는 우려가 제기되었다[59,60]. 이는 컴퓨터의 추가적인 '제3자' 존재와의 협의의 상호작용 프로세스를 관리하는 방법에 대한 도전과 함께 [61]의 지속적인 커리큘럼 개발의 핵심이다[32,34]. The rapid expansion of electronic methods of communication in healthcare has raised concerns that electronic templates may override the patient narrative in the context of long-term condition management [59,60]. This, along with the challenge of how to manage the interactional process of the consultation with the additional ‘third party’ presence of the computer [61], are key inthe ongoingdevelopmentof curricula[32,34].
광범위한 맥락에서, [치료의 파괴적인 실패와 알려진 오류 출처에서 얻은 교훈]은 안전하고 효과적인 실천을 위한 [임상 추론]과 [팀 작업 역량]의 역할을 강조했다[20,28,29,62]. In the broader context, lessons learned from devastating failures of care and known sources of error have emphasised the role of clinical reasoning and team-working competencies in safe and effective practice [20,28,29,62].
지난 10년 동안 언어 사용에 있어 미묘하지만 중요한 변화가 있었다. 언어는 의사-환자 관계의 틀을 짜는 데 중요한 역할을 하며, 환자가 상담의 동등한 파트너이자 이해관계자라는 것을 학생들에게 알리는 데 중요한 역할을 한다. 언어는 물론 계속 발전하고 있다; 아마도 커리큘럼이 다시 업데이트될 때쯤에는 '환자'가 '사람'으로 대체될 것이다. In the past ten years, there have been subtle but important changes in the use of language. Language plays a key role in the framing of the doctor-patient relationship and signalling to students that the patient is an equal partner and stakeholder in the consultation. Language of course continues to evolve; perhaps by the time the curriculum is updated again, ‘patient’ will be replaced by ‘person’.
4.2. 결론 4.2. Conclusion
의사 소통의 필수 기준required standard은 [의료에 대한 기대]와 불가분의 관계 이루는데, 이는 사회의 문화적 변화, 진화하는 전문적 지도, 법적 선례, 진료 실패에서 얻은 교훈 등을 반영한다. 많은 면에서, 임상 커뮤니케이션 교육의 초점은 변하지 않았습니다: 학생들은 환자와 자신의 치료에 대한 의사 결정권을 존중하는 방식으로 듣고, 질문하고, 설명하고, 지원을 제공하는 것을 배워야 합니다. 그럼에도 불구하고, 커뮤니케이션 커리큘럼은 임상 통신에 근본적으로 영향을 미칠 수 있는 [상황 변화에 지속적으로 대응]해야 한다. 학생들은 복잡한 결정을 내릴 때 환자를 지원하고, 오류에 대한 솔직한 설명을 제공하며, 디지털 의학의 시대에 효과적으로 상담할 준비가 되어 있어야 한다. The required standard of doctors’ communication is inextricably linked to expectations of medical care, which reflects cultural changes in society, evolving professional guidance, legal precedent and lessons learned from failures in care. In many ways, the focus of clinical communication teaching has not changed: students must learn to listen, question, explain and offer support in a way which respects patients and their right to make decisions about their owncare. Nonetheless, the communication curriculum must remain responsive to contextual changes which can fundamentally affect clinical communication. Students must be prepared to supportpatients in navigating complex decisions, provide honest explan ations of errors andconsult effectivelyinanage of digital medicine.
의사 소통은 의료의 핵심이며, 결과적으로 학생들은 의료 경력 전반에 걸쳐 환자를 가장 잘 돌보기 위해 종합적인 준비가 필요하다. 업데이트된 임상 커뮤니케이션 커리큘럼은 의과대학이 자신의 가르침을 개발하고 자원을 주장하기 위해 사용할 수 있는 'best practice'의 모델을 제공한다.
Communication is at the heart of medical care, and conse quently students require comprehensive preparation in order to best care for patients throughout their medical careers. The updated clinical communication curriculum provides a model of ‘best practice’ which medical schools can use to develop their teaching and to argue for resources.
4.3. 시사점 실천
4.3. Practice implications
커리큘럼 계획자는 업데이트된 합의를 사용하여 현재 강의 내용을 검토하고, 새로운 세션을 개발하거나, 다른 주제와 커뮤니케이션을 통합한 세션을 고안하거나, 이러한 내용을 조합하여 사용하기를 원할 수 있다. 경험이 풍부한 임상 커뮤니케이션 교육자들은 다음의 경우에 가르침이 가장 효과적이라는 것을 알게 될 것이다 [38,63–67].
학생들이 연습하고 성찰할 기회를 가질 때,
학생들에게 (일회성이 아닌) 반복될 때
의료 과정의 패브릭(및 평가)에 통합될 때,
Curriculum planners may wish to use the updated consensus to review the content of current teaching, develop new sessions, devise sessions integrating communication with other topics, or acombination of these. Experienced clinical communication edu cators will be aware that teaching is most effective when students
have the opportunity to practise and reflect,
is repeated (rather than a one-off), and
is integrated into the fabric (and assessments) of the medical course [38,63–67].
의과대학은 종종 커뮤니케이션 커리큘럼을 이끄는 챔피언(또는 소규모 팀)을 가지고 있지만, 학생들이 효과적인 의사 소통자가 되도록 지원하는 것은 의과대학 전체에 걸쳐 공유되는 책임이다.
Whilst medical schools often have a champion (or even asmall team) leading the communication curriculum, supporting students in becoming effective medical communicators is a responsibility shared across the whole medical school.
[24] General Medical Council and Medical Schools Council, First, Do No Harm. Enhancing Patient Safety Teaching in Undergraduate Medial Education. AJointReport by the General Medical Council and the Medial Schools Council, General Medical Council, Manchester, 2015.
Patient Educ Couns.2018 Sep;101(9):1712-1719.
doi: 10.1016/j.pec.2018.04.013.Epub 2018 Apr 22.
Consensus statement on an updated core communication curriculum for UK undergraduate medical education
Objectives:Clinical communication is a core component of undergraduate medical training. A consensus statement on the essential elements of the communication curriculum was co-produced in 2008 by the communication leads of UK medical schools. This paper discusses the relational, contextual and technological changes which have affected clinical communication since then and presents an updated curriculum for communication in undergraduate medicine.
Method:The consensus was developed through an iterative consultation process with the communication leads who represent their medical schools on the UK Council of Clinical Communication in Undergraduate Medical Education.
Results:The updated curriculum defines the underpinning values, core components and skills required within the context of contemporary medical care. It incorporates the evolving relational issues associated with the more prominent role of the patient in the consultation, reflected through legal precedent and changing societal expectations. The impact on clinical communication of the increased focus on patient safety, the professional duty of candour and digital medicine are discussed.
Conclusion:Changes in the way medicine is practised should lead rapidly to adjustments to the content of curricula.
Practice implications:The updated curriculum provides a model of best practice to help medical schools develop their teaching and argue for resources.
Keywords:Communication; Curriculum; Undergraduate medical education.
의학교육에서 평가의 역사(Adv Health Sci Educ Theory Pract, 2020)
A history of assessment in medical education Lambert W. T. Schuwirth1,2 · Cees P. M. van der Vleuten1,2
도입
Introduction
본 논문에서 우리는 의학 교육의 평가 역사에 대한 우리의 관점을 설명하고자 합니다. 그리고 그것은 흥미로운 것이었습니다. 그것은 진화적 변화이자 혁명적 변화로 두드러졌다. 예를 들어의학교육에서 무엇이 좋은 평가를 구성하는지에 대한 현재의 견해는 50년 전과 크게 다르다. 어떤 사람들은 이것이 정말로 현재의 상태가 더 낫다는 것을 의미하는지 아니면 우리가 단지 새로운 유행에 따르고 있다는 것을 의미하는지 궁금해한다. 우리가 평가가 진화하고 현재 더 낫다고 확신하는 것은 놀랄 일이 아닐지도 모른다. 우리는 또한 이것이 논리적인 개발 순서 때문이라고 주장할 수 있는데, 각 개발 순서는 이전의 통찰력에 따라 구축되고 개선되었다. In this paper we want to describe our perspective on the history of assessment in medical education, and it has been an interesting one. It has been marked by both evolutionary and revolutionary changes. Current views on what constitutes good assessment in medical education differ vastly from, for example, 50 years ago. Some wonder whether this really means that the current state is better or that we are just following new fads. It may come as no surprise that we are convinced that assessment has evolved and is better now. We would also contend that this is due to a logical sequence of developments, where each one built and improved upon insights of the previous.
그렇게 함으로써, 우리는 역사에 대한 모든 설명에서 무엇을 포함시켜야 하고 무엇을 포함하지 말아야 하는지에 대한 선택이 이루어져야 한다는 것을 깨닫는다. 예를 들어, 우리는 본 논문에서 '평가'에 대해 말할 때마다 의료 교육의 평가와 관련이 있음을 여기서 선언하고자 한다. 이것은 아마도 한계일 것이다. 왜냐하면 많은 건강 직업 교육 분야들이 평가의 발전에 중요한 공헌을 했고 아마도 더 일찍 혹은 더 낫게 만들었지만, 우리는 그 방대한 문학을 충분히 건너지 못할지도 모른다.
In doing so, we realise that in every description of history, choices have to be made as to what to include and what not. For instance, we want to declare here that whenever we speak about ‘assessment’ in this paper we pertain to assessment in medical education. This is perhaps a limitation because there are many health professions education disciplines that have made important contributions the to the developments in assessment and perhaps even earlier or better, but we may not be across that vast body of literature well enough.
측정으로서의 평가 Assessment as measurement
1960년대 의학 교육의 평가 연구 및 개발은 [주관적이고 신뢰할 수 없으며 편향된 것으로 종종 보였던 일반적인 관행에 대한 불만족 때문에] 보다 체계적이고 표준화된 '객관적인' 평가를 산출하는 것을 목표로 했다. 많은 것들이 시험 심리학에서 배우고 모방되었다. 분야로서의 시험 심리학은 이미 지능, 동기 또는 외향/내향과 같이 [표준화된 방법으로 성격 특성을 측정]하는 데 초점을 맞춘 잘 발달된 측정 패러다임을 가지고 있었다. 이러한 성격 특성 테스트의 가장 널리 알려진 예는 WAIS(Wechsler Adult Intelligence Scale) 또는 MMPI(Minnesota Multiphasic Personality Inventory)이다. 이것이 평가 연구 및 개발에 대한 우리의 견해에 몇 가지 영향을 미쳤다.
Assessment research and development in medical education in the 1960s aimed at producing more structured, standardised and ‘objective’ assessment, because of dissatisfaction with prevailing practice, which was often seen as subjective, unreliable and biased. Much was learnt and copied from test psychology. Test psychology as a discipline already had a well-developed measurement paradigm focussing on measuring personality characteristics with standardised methods, for example intelligence, motivation or extraversion/introversion. The most widely known examples of such personality trait tests are the Wechsler Adult Intelligence Scale (WAIS) or the Minnesota Multiphasic Personality Inventory (MMPI). This had several implications for our views in assessment research and development.
첫 번째이자 가장 분명한 함축은 역량이 순수하게 양적으로 포착될 수 있고 심지어 그것을 (단일) 점수로 표현할 수 있다는 견해였다. 이러한 관점에서 평가 설계는 주로 [심리 측정의 문제]였다. 따라서, 당연하게도, 평가 퀄리티를 보여주는 것은 [구인 타당성과 신뢰성]이었다.
The first and most obvious implication was the view that competence could and even should be captured purely quantitatively and that it could be expressed as a (single) score. In this view, assessment design was mainly a psychometric measurement problem. So, unsurprisingly, the hallmarks of assessment quality were construct validity and reliability.
[신뢰성]은 "잘 작동하거나 행동하기 때문에 신뢰할 수 있거나 믿을 수 있는 품질"처럼 그 [단어의 일상적인 의미]로 정의되지 않았다. 그보다는 [항목, 사례, 심사원 등에 걸쳐 점수가 재현될 수 있는 정도] 또는 [내적 일관성]으로 정의되었다. 그 당시에는 신뢰성의 개념과 중요성에 대한 일반적인 합의가 있었다. 반면에, 교육 평가의 타당성은 상대적으로 더 논쟁의 여지가 있는 개념이었다. 이것은 1980년대 초에 로버트 에벨과 리 크론바흐(Cronbach 1983; Ebel 1983) 사이의 흥미로운 대립에 의해 예시되었다.
Reliability was not defined in the everyday meaning of the word, such as “the quality of being able to be trusted or believed because it is working or behaving well” but merely as the extent to which scores would be reproducible across items, cases, examiners, etc. or as internal consistency. At that time there was general agreement on the notion and importance of reliability. Validity in educational assessment, on the other hand, was a more disputed concept. This was exemplified in the early 1980s by an interesting polemic between Robert Ebel and Lee Cronbach (Cronbach 1983; Ebel 1983).
크론바흐는 구인 타당성에 대한 그의 획기적인 출판물에서, 평가는 그 점수가 건설에 관한 가정과 일치할 때에만 타당할 수 있다고 주장했다(Cronbach와 Mehl 1955).
Cronbach argued, in line with his landmark publication about construct validity, that an assessment can only be valid if its scores ‘behaved’ in alignment with the assumptions about the construct (Cronbach and Meehl 1955).
간단한 예로 전문 임상의가 덜lesser 전문가보다 더 나은 의료 문제 해결사라는 가정이 있다면, 임상 문제 해결을 위한 테스트는 [적은 전문가]보다 [전문가]가 높은 점수를 받아야 한다. 우리의 평가도구가 중간intermediate 전문지식의 후보자가 전문가(환자 관리 문헌의 결과)를 능가한다는 것을 발견한다면, 이는 평가도구의 구인 타당성에 반하는 주장을 한다. 그러나 만약 우리가 [각 의학적 문제에 대한 임상적 추론의 가장 좋은 방법]이 하나 있다고 가정한 뒤, 평가 도구가 전문가들 사이에서 합의를 이루기보다는 서로 차이가 난다는 것을 발견한다면, 그것은 또 다른 방법이 될 수 있다.
As a simple example, if an assumption is that expert clinicians are better medical problem solvers than lesser experts, a test for clinical problem solving should lead to higher scores for experts than for lesser experts. If our instrument finds that candidates of intermediate expertise outperform expert—a finding from the patient management literature—this argues against the construct validity of the instrument. But it can also be the other way around, if we assume that there is one best way of clinical reasoning for each medical problem and we find that an assessment instrument shows dissent amongst experts rather than consensus,
반면, 에벨은 교육 평가는 심리검사가 아니므로, 예를 들어 [신중한 청사진과 문항 작성]에 의해 타당성이 시험 자체에 구축되어야 한다고 주장했다. 요컨대,
전자(크론바흐)의 관점은 각 항목이 총점에 수치적으로 기여하는 정도에서만 의미 있는 것으로 보고
후자(에벨)는 각 항목을 본질적으로 의미 있는 것으로 보고, 점수는 요약문summary statement으로 본다(Ebel 1983).
Ebel on the other hand, argued that educational assessments were not psychological tests and therefore, validity has to be built into the test, for instance by careful blueprinting and item writing. In short,
the former view sees each item only as meaningful to the extent to which it contributes numerically to the total score and
the latter sees each item as intrinsically meaningful and the score as a summary statement (Ebel 1983).
시험 심리학에 대한 평가 설계를 모방함으로써 얻은 또 다른 함의는 의학적 역량을 성격적 특성의 조합으로 정의하는 것이었다. 일반적으로 이러한 특성들은 '지식', '기술', '태도와 문제 해결 능력'이었다. 그리고 시험 심리학에서의 가정과 마찬가지로, 이러한 개별적인 속성들은 일반적이고 독립적인 것으로 가정되었다. 당시의 일반적인 견해는 [이들 각각이 다른 것들과 독립적으로 측정될 수 있다]는 것이었다. 예를 들어, 문제 해결 능력은 지식과는 독립적으로 측정될 수 있거나 OSCE와 같은 기술 평가에는 지식 측면이 포함되지 않아야 한다고 주장하였다(1990년 Van der Vleuten 및 Swan).
Another implication from mimicking assessment design on test psychology was to define medical competence as a combination of personality traits; typically, these were, ‘knowledge’, ‘skills’, ‘attitudes and ‘problem-solving ability’. And, like assumptions in test psychology, these individual attributes were assumed to be generic and independent. A popular view at the time was that each of these could be measured independently of the others. For example, it was held that problem-solving ability could be measured independently of knowledge, or that an assessment of skills—such as the OSCE—should not include knowledge aspects (Van der Vleuten and Swanson 1990).
평가가 역량의 측정으로 간주될 때, 그것을 객관적으로 만들기 위해 노력하는 것은 논리적이다. 따라서 평가 설계의 대부분은 [인간의 판단의 역할을 최소화]하는 데 목적을 두었고, [구조화 및 표준화]는 평가의 신뢰성을 높이는 중요한 방법으로 간주되었다.
When assessment is seen as a measurement of competence it is only logical to also strive to make it objective. Therefore, much of the assessment design aimed at minimising the role of human judgement, and structuring and standardisation were seen as important ways to increase reliability of the assessment.
[심리검사]를 [평가 설계의 기초]로 사용한 또 다른 결과는 [목적의 정의], 즉 [사람들을 구분하는 것]과 관련이 있다. 심리테스트는 일반적으로 사람들의 성격적 특성에 따라 구별하기 위해 고안되었습니다; 높은 외향성과 낮은 외향성, 높은 지능과 낮은 지능 등이 그것이다. 그래서 그 시기에 대한 평가 역시 사람들을 구분하기 위해 고안되었다: 높은 역량과 낮은 역량. 이러한 사고 방식은 [변별도Discrimination index] 또는 [Item-Total 상관 관계]와 같이 아직 널리 사용되는 항목 파라미터에서 잘 드러난다.
Another consequence of using psychological testing as the basis for assessment design pertains to the definition of its purpose, namely, to tell people apart. Psychological tests are typically designed to tell people apart based on their personality traits; high extraversion-low extraversion, high and low intelligence, etc. so it was almost inevitable that assessments of that time were also designed to tell people apart: high competence and low competence. This way of thinking is still dominant in widely used item parameters such as Discrimination Index or Item-Total correlations.
사람들을 구분하는 것이 어떤 맥락에서 평가의 목적 중 하나일 수 있지만, 특히 시험 개발 초기, 학습의 평가assessment of learning에서는 일반적으로 유일한 것으로 간주되었다: 학생들은 '충분히 역량있다'와 '충분히 역량있지 않다'로 분류되었다. 무능하거나 아직 실력이 없는 학생들은 다음 단계로 발전할 수 없으며 진보가 허용되려면 어느 시점에 재시험을 치러야 할 것이다. 이것은 자동적으로 매우 유능한 학생들만 졸업할 수 있다는 가정하에 일반적인 관행이었다.
Although telling people apart may be one of the purposes of assessment in some contexts—especially in assessment of learning in the early era of test development it was generally seen as the only one: students were categorised into ‘sufficiently competent’ and ‘not sufficiently competent’. Incompetent or notyet-competent students cannot progress to the next phase and would have to either resit the exam at some point in time to be allowed to progress. This was common practice under the assumption it would automatically lead to graduating only highly competent students.
그 자체로 이 시대의 생각이 일관성이 없는 것은 아니었지만, 연구 결과와 새로운 사고방식이 몇 가지 비판적인 우려를 낳았다. 예를 들어, 연구는 낮은 신뢰성의 주요 원천은 주관성이 아니라, 열악한 샘플링 전략임을 보여주었다. 표본 추출이 잘 되지 않으면, 주로 도메인 특이성으로 인해 신뢰성이 떨어지기 때문이다(Swanson and Norcini 1989; Eva et al., 1998; Eva 2003). 응시자가 하나의 테스트에서 문제 또는 항목을 해결하는 방법은 다른 문제를 어떻게 해결할 것인가에 대한 예측을 잘 해주지 못하였으며, 결과적으로 충분한 일반화 및 신뢰할 수 있는 결과를 얻기 위해서는 많은 사례 또는 문항이 필요하다.
In itself, the thinking of this era was not incoherent, but research findings and new ways of thinking gave rise to some critical concerns. Research, for example, showed that subjectivity is not the main source of unreliability, but poor sampling strategies are (Swanson 1987; Swanson and Norcini 1989). Poor sampling mainly leads to lack of reliability because of domain specificity (Swanson and Norcini 1989; Eva et al. 1998; Eva 2003); the way a candidate solves a problem or item on a test is a poor predictor of how they would solve any other problem, and consequently high numbers of cases or items are needed to produce a sufficiently generalisable or reliable result.
또한 '객관성' 개념도 도전을 받았다(Norman et al. 1991; Van der Vleuten et al. 1991). 갈수록, 평가는 [언제나 학습자의 성취와 진보에 대한 정보를 수집하고collecting 그것의 가치를 평가valuing하는 과정]이어야 한다는 것이 인정받기 시작했다. 이 'valuing'은 항상 인간의 판단을 포함한다. 가장 구조화된 객관식 시험에도 설계도, 표준 설정, 포함할 항목의 관련성, 항목 표현 등 일련의 인간적 판단이 포함된 프로세스가 선행된다.
Moreover, the notion of objectivity was challenged (Norman et al. 1991; Van der Vleuten et al. 1991). Increasingly, it was acknowledged that assessment is always a process of collecting information about a learner’s achievement and progress and valuing it. This ‘valuing’ always incorporates human judgement. Even the most structured multiple-choice test is preceded by a process that includes a series of human judgments: blueprinting, standard setting, relevance of items to include, wording of items and so on.
또 다른 중요한 발견은 이전에 평가에 대해서 생각했던 것과 달리, [특성trait을 서로 독립적으로 측정할 수 없다]는 것이다(Norman et al. 1985; Norman 1988; Van der Vleuten et al. 1988). 의학교육의 평가에서 '성배holy grail'라고 할 수 있는 [[임상 추론 및 문제 해결]의 경우 배경 지식에 매우 의존하는 것으로 확인]되었으며, 따라서 논리적으로 수행능력은 여러 콘텐츠에 걸쳐서 잘 일반화되지 않는다(스완슨 외 1987년). 오히려 반직관적으로, 수행능력은 다수의 평가 형식들 사이에서 잘 일반화된다(Norman et al. 1985). 예를 들어, 유사한 내용을 개방형 질문과 객관식 질문을 사용하여 질문했다면, 상관관계는 매우 높았다(Ward 1982; Schuwirth et al. 1996). 임상 기술에 대한 필기 테스트에서 학생들의 성과를 실제 OSCE와 비교했을 때에도, 성능은 놀라울 정도로 잘 일반화되었다(Van der Vleuten et al. 1988).
Another important finding was that traits could not be measured as independently of each other with different forms of assessment as previously thought (Norman et al. 1985; Norman 1988; Van der Vleuten et al. 1988). The ‘holy grails’ in assessment in medical education, clinical reasoning and problem solving, were found to be highly reliant on background knowledge, and so logically, performance does not generalise well across content (Swanson et al. 1987). Counterintuitively though, performance does generalise well across assessment formats (Norman et al. 1985). If for example, similar content was asked using open ended questions and multiple-choice questions, correlations were extremely high (Ward 1982; Schuwirth et al. 1996). Even when students’ performance on a written test on clinical skills was compared to an actual OSCE, performance generalised surprisingly well (Van der Vleuten et al. 1988).
판단으로서의 평가
Assessment as judgement
평가에 대한 생각에서 주목할 만한 변화가 1990년대에 일어났다. 측정 '패러다임'의 지배력에 대한 불만이 커졌는데, 이는 주로 이 패러다임에서 특정 측면만 포착할 수 있기 때문이다.
A notable change in thinking about assessment took place in the 1990s. Discontent with the dominance of the measurement ‘paradigm’ grew, mainly because in this paradigm only certain, limited aspects of competence can be captured.
Boud 등의 논문은 평가가 [독립성, 사려 깊음 및 비판적 사고]도 촉진해야 하며, 평가가 순전히 측정에 초점을 맞출 때 이러한 목표 달성에 반대된다는 주장을 통해 이를 명확히 설명한다(Boud 1990). 학생들이 평가 과정에 적극적이고 책임감 있는 이해관계자로 포함되고, 의미 있는 피드백을 제공받는 경우에만 평가는 이러한 가치를 촉진할 수 있다고 주장하였다(Boud 1995).
A paper by Boud et al. illustrates this clearly by arguing that assessment should also promote independence, thoughtfulness and critical thinking and that when assessment focuses purely on measurement, it runs contrary to achieving these aims (Boud 1990). It was further argued that assessment could only promote these values if the students were included as active and responsible stakeholders in the assessment process and were provided with meaningful feedback (Boud 1995).
그때까지, 평가가 학습에 영향을 미치는 주요 방법은 행동주의 메커니즘, 강화와 처벌을 통한 것이었다. 물론 형성적 평가와 피드백의 개념은 존재했지만, 주로 정량적 방식으로 [사람들을 구분하는 것]을 목적으로 하는 시스템에서, 형성적 측면의 영향은 종종 무시될 수 있었다(해리슨 외 2015; 해리슨 외 2016).
Up until then, the main ways through which assessment impacted on learning was by behaviourist mechanisms, through reinforcement and punishment. Of course, the notions of formative assessment and feedback existed, but in a system in which the summative aspects were aimed at telling people apart in a mainly quantitative way, the impact of formative aspects was often negligible (Harrison et al. 2015; Harrison et al. 2016).
그러나 평가가 학습을 어떻게 이끄는지는 단순히 처벌과 보상에 의한 것보다 더 복잡하다. 이것은 학생들이 평가로부터 의미를 구성하는 방법에 의해 큰 영향을 받는다(실리어스 등, 2010, 2012). 생각의 세 가지 변화가 일어났다.
How assessment drives learning is more complex than simply by punishment and reward, however. It is highly influenced by the way students construct meaning from the assessment (Cilliers et al. 2010, 2012). Three changes in thinking took place.
첫째, 역량의 개념은 성격적 특성이 아닌 (소)역량competencies으로 재정의되었다(Hager and Gonczi 1996; Cancmeds 2005). 오늘날까지, 역량의 개념은 논쟁의 여지가 없지 않으며, 많은 정의와 용도가 있다. (Albanese et al. 2008; Govaerts 2008). 그러나 일반적으로 [특성trait보다 역량competencies이] 의학교육의 결과를 더 의미있게 정의하려는 시도라 할 수 있다. 이는 학습자에게 더 의미 있는 피드백을 제공하고 학습자를 육성할 수 있는 가능성을 열어주기 때문에 중요하다(Ericsson et al., 1993).
First, the notion of competence was redefined as competencies rather than as personality traits (Hager and Gonczi 1996; Canmeds 2005). Until today, the notion of competencies is not undisputed and there are many definitions and uses. (Albanese et al. 2008; Govaerts 2008) However, in general, competencies are an attempt to define the outcomes of medical education more meaningfully than traits. This is important because that opens up possibilities to also provide more meaningful feedback to the learner, and thus foster their learning (Ericsson et al. 1993).
둘째, 객관성과 표준화보다 [우수한 표본 추출]이 신뢰성에 필수적이기 때문에, 평가는 진정한authentic 맥락으로 되돌아갈 수 있다(Norcini et al. 1995). 이를 통해 비판적 사고, 전문성, 성찰 및 자체 규제와 같은 더 많은 측면을 평가에 포함시킬 수 있었다.
Second, because objectivity and standardisation are not as essential to reliability as good sampling is, assessment could be allowed to move back into the authentic context (Norcini et al. 1995). This enabled the inclusion of more facets, such as critical thinking, professionalism, reflection and self-regulation in the assessment.
마지막으로, 평가 과정에서 인간 판단의 역할에 대한 재평가가 있었다(엡스타인과 헌더트 2002). 이것은 이전의 전통적인 임시적이고 신뢰할 수 없는 평가 관행에 대한 회귀가 아니었다. 후속 작업장 기반 평가(WBA)는 이전 연구의 샘플링, 유효성 및 신뢰성에 대한 더 나은 지식과 이해를 사용하여 개발되었다.
Finally, there was a reappraisal of the role of human judgement in the assessment process (Epstein and Hundert 2002). This was not a return to the traditional ad-hoc and unreliable assessment practice of before; the ensuing workplace-based assessments (WBA) were developed using better knowledge and understanding around sampling, validity and reliability from previous research.
OSCE와 같은 이전의 구조화된 평가 방법에 비해 WBA의 인식된 장점 중 하나는 [실제 환경에서 평가하는 능력]이다. 진정성authenticity은 압박을 받는 상황에서의 환자관리, 환자와의 민첩한 상호작용, 의료 시스템의 경계 조건 탐색 등 [OSCE로 테스트할 수 없는 측면을 평가할 수 있다는 점]에서 이점이 있다. 그러나 Authenticity가 자동적으로 Validity와 동일하지 않다는 것을 명심해야 한다(Cronbach and Mehl 1955; Swanson et al. 1987; Kane 2006).
One of the perceived advantages of WBA over previous structured assessment methods such as the OSCE, is its ability to assess candidates in a real authentic setting. Authenticity has advantages in that it allows for the assessment of aspects which cannot be tested with an OSCE, such as management under pressure, agile interaction with patients and navigating boundary conditions of healthcare systems. It must be kept in mind though, that authenticity is not automatically the same as validity (Cronbach and Meehl 1955; Swanson et al. 1987; Kane 2006).
Validity를 보장한다는 의미에서 [직접 관찰 기반 평가 또는 WBA]는 [표준화된 테스트]와는 근본적으로 다릅니다. 표준화된 테스트에서, 타당성은 이 방법에 내재될 수 있다. 인간의 관찰과 해석이 필수적인 WBA에서는 그렇지 않다. 현행 유효성 이론(Kane)에서 [평가자에 의한 관찰과 해석]은 타당성 사슬의 첫 번째 추론에 필수적이며, 그것이 없이는 타당성을 확립할 수 없다(Kane 2006).
In the sense of ensuring validity, direct observation-based assessment or WBA is fundamentally different to standardised testing. In standardised testing, validity can be built into the method. This is not the case in WBA, where human observation and interpretation are essential. In current validity theory (Kane) observation and interpretation by the examiner are essential for the first inference in the validity chain, and without it, validity cannot be established (Kane 2006).
논리적으로, 타당성과 관련하여 평가자의 역할이 더욱 중요해졌고, 이를 위해 평가자는 [WBA의 임상 내용 또는 다른 형태의 직접 관찰 기반 평가와 관련하여 충분한 전문지식]을 보유할 필요가 있으며, 평가자는 [평가 측면, 무엇을 찾아야 하는지, 해석하는 방법, S와 U 판단시 어디에 선을 그어야 하는지 여부] 등에 관해서도 알아야 한다.
Logically, the role of the examiner became more central with respect to validity and for this, examiners need to have sufficient expertise with regard to the clinical content of the WBA—or any other form of direct observation-based assessment—but also with regard to the assessment aspects, what to look for, how to interpret, where to draw the line between satisfactory and unsatisfactory performance, et cetera.
인간 판단 요소인 '객관적 평가'를 제거하도록 평가를 설계하는 대신, 이제는 인간 판단을 수용하도록 설계해야 했다. 그러나 이러한 소위 평가 리터러시(Popham 2009)는 WBA 맥락에서 여전히 어려운 과제였다(Berendongk et al. 2013).
Instead of designing assessment such that it removes the human judgement component—‘objective assessment’—it now had to be designed to embrace human judgement. But this so-called assessment literacy (Popham 2009) was, and often still is, a challenge in WBA context (Berendonk et al. 2013).
처음에는 WBA 접근법의 품질에 대한 지표도 시험 심리학에서 차용되었다. 예를 들어, 대부분의 WBA 평가도구는 여전히 단일 수치 결과에서 복잡한 관측 성능을 포착하기 위해 노력하며, 연구는 점수와 점수의 신뢰성/일반성을 살펴보는 것이 WBA의 요약 부분이며, WBA의 형성 부분을 피드백한다(Moonen-van Loon et al. 2013).
Initially, indicators for quality of WBA approaches were also borrowed from test psychology. For example, most WBA instruments still try to capture the complex observed performance in a single numerical outcome, studies look at reliability/generalisability of scores and scores are the summative part and feedback the formative part of WBA (Moonen-van Loon et al. 2013).
그러나 차츰 다른 견해가 나타났다. 주목할 만한 발전은 표준 심리측정적 퀄리티 기준(구인 타당성 및 신뢰성)이 평가 유틸리티의 유일한 특징으로서 한계가 있다는 것을 깨달은 것이다. But gradually, different views emerged. A notable development was the realisation that standard psychometric quality criteria—construct validity and reliability—as the only hallmarks of assessment utility had their limitations.
Schuwirth와 Van der Vleuten은 심리측정학에서 '툴킷'을 확장하여 증가하는 평가의 다양성(Schuwirth and Van der Vleuten 2006)에 맞춰 더 다용도 모델링을 제공하고 나중에 프로그래밍적 평가(Schuwirth and Van der Vleuten 2012)에 대해 간청했다.
Schuwirth and Van der Vleuten made a plea for an extension of the ‘toolkit’ in psychometrics to provide more versatile modelling to cater to the increasing variety in assessment (Schuwirth and Van der Vleuten 2006), and later with respect to programmatic assessment (Schuwirth and Van der Vleuten 2012).
이러한 개념적 관점의 변화가 필요했던 이유는 역량competence과 역량competencies이 [단일한 수치 결과]에서 포착하여 충분히 요약할 수 있는 [단순하고 간단한 현상이 아니라는 깨달음]이 커졌기 때문이다. 대신, 역량은 복잡하고 다면적이다. 예를 들어 이전에 평가자 간 변동성을 최소화하여 WBA의 품질을 높였던 Gingerich 외 연구진(2015, 2017)은 [서로 다른 전문가 평가자]들이 역량과 같은 다면적인 현상의 [서로 다른 측면]을 관찰하기 때문에 다를 수 있다고 주장한다. 그래서, 그들이 단지 반대라고 보기보다는, 그들은 잠재적으로 [상호 보완적인 것]으로 여겨졌습니다.
This conceptual change of views was needed because the realisation grew that competence and competencies are not simple, straightforward phenomena which can be captured and sufficiently summarised in a single numerical outcome. Instead, they are complex and multifaceted. For example, where formerly increasing quality in WBA was pursued by minimising variability between assessors, Gingerich et al. (2015, 2017) argue that different expert assessors may differ because they observe different aspects of a multifaceted phenomenon such as competence. So, rather than seeing them only as dissenting, they were now seen as potentially complementary.
변동성의 특성을 보는 세 가지 관점
서로 다른 평가자가 서로 다른 기준 프레임을 사용하거나 기준을 잘못 적용하는 오류 기반 관점.
인지 부하 제한의 결과로서 평가자 과실 및 인지 편향,
의미 있는 특이점(Gingerich et al. 2014).
the nature of any variability from three different perspectives:
an error based perspective in which different assessors use different frames of reference or apply criteria incorrectly,
assessor fallibility and cognitive biases as a result of cognitive load restrictions,
but also as meaningful idiosyncrasy (Gingerich et al. 2014).
[기준의 부정확한 기준 및 적용, 인지 부하 제한 및 관대함 편향]의 문제는 일반적으로 교수개발을 통해 평가자의 평가 리터러시를 향상시킴으로써 대응될 수 있다.
첫째, 전문지식은 항상 효율성과 관련되기 때문이다. 효율성은 인지 부하 감소와 관련이 있고, 그리고 평가 능력에도 관련될 가능성이 높다(Govaerts et al., 2011, 2012).
둘째, 자신의 판단을 지지하고 방어하기 위한 [목적적합한 어휘를 갖는 것]은 행위자성을 합리적으로 개선하고 평가인에게 권한을 부여하며empower, 이른바 [사적 및 공적 판단]과 관대함 사이의 차이 가능성을 감소시킨다.
세 번째로, 평가 리터러시 능력 향상은 소위 공유 주관성shared subjectivity과 공유 서술shared narrative의 개발을 포함하기 때문에 부정확한 기준 프레임 또는 기준 해석의 가능성을 감소시킨다(긴스버그 외, 2015, 2017; 쿡 외 2016).
The problems of incorrect frames of reference and application of criteria, cognitive load restrictions and leniency bias can be typically counteracted by improving the assessment literacy of examiners through staff development.
This is firstly, because expertise is always associated with efficiency (Chi and Rees 1982; Norman 1988; Boreham 1994; Norman 2009), and efficiency is associated with reduction of cognitive load (Van Merrienboer and Sweller 2005), and the same is likely to hold for assessment literacy (Govaerts et al. 2011, 2012).
Secondly, having a fit-for-purpose vocabulary to support and defend one’s judgement plausibly improves agency and empowers the assessor, and reduces the likelihood of differences between so-called private and public judgement, and leniency (Berendonk et al. 2013; Valentine and Schuwirth 2019).
Thirdly, because increased assessment literacy involves the development of a so-called shared subjectivity and shared narrative, reducing the likelihood of incorrect frames of reference or interpretation of criteria (Ginsburg et al. 2015, 2017; Cook et al. 2016).
시스템으로서의 평가 Assessment as a system
점차적으로, 교육, 역량 및 평가가 원래 생각했던 것보다 더 복잡한 현상이라는 것을 깨닫게 되었다. (Durning et al. 2010) '복잡함', '시스템', '비선형 역학' 등의 단어가 생겨난 새로운 서술이 등장했다. 이 단어들은 기상학이나 물리학과 같은 다른 과학 분야에서 더 긴 역사를 가지고 있으며, 의학 교육에서는 (노먼이 주장했던 것처럼) 와전히 등가적 의미를 갖지 않았고, 그것들 또한 그래서는 안 된다(Norman 2011). 대신, 이러한 용어들은 [시스템 이론의 기초를 사용한 '교육', '역량', '평가'의 온톨로지적 및 인식론적 기초에 대한 근본적인 재검토]를 나타내는 지표였다.
Gradually, the realisation grew that education, competence and assessment are more complex phenomena than originally thought (Durning et al. 2010). A new narrative emerged in which words such as ‘complexity’, ‘systems’ and ‘non-linear dynamics’ arose. These words have a longer history in other scientific domains, such as meteorology and physics, and for medical education they were not meant as one-on-one equivalents and, as Norman argued, nor should they (Norman 2011). Instead, they were indicators of a fundamental rethink about the ontological and epistemological foundations of ‘education’, ‘competence’ and ‘assessment’, using the basis of systems theory (Checkland 1985; Ulrich 2001).
일반적으로 이러한 사고의 주요 의미는 다음과 같습니다.
In general, the main implications of this thinking were:
• 교육은 어떤 시점이든 [동등하게 수용가능한 여러 솔루션 경로를 가질 수 있는 문제 해결 프로세스]이다(즉, 임상 추론과 같은 교육 문제 해결 프로세스는 특이적 프로세스임).
• Education is a problem solving process which at any point in time may have multiple equally acceptable solution pathways (i.e. educational problem-solving processes like clinical reasoning are idiosyncratic processes)
• 그러나 [허용 가능한 솔루션]과 [허용할 수 없는 솔루션] 사이의 경계는 다소 불분명하며, '모든 것이 진행 중'의 문제가 아니다.
• Yet, there are more or less fuzzy boundaries between acceptable and unacceptable solutions and not it is not a matter of ‘just everything goes’
• 솔루션 경로가 최적이 아닐 경우 언제든지 이해 당사자는 전략을 변경할 수 있어야 하며, 이를 위해서는 상황 인식, 전략의 레퍼토리 및 변화에 대한 민첩성이 필요합니다.
• At any point in time, the stakeholders need to be able to change tack if a solution pathway is not optimal and for this, they need situational awareness, a repertoire of strategies and the agility to change
분명히, 이것은 또한 방법 지향적 접근법에서 전체 시스템 접근법에 이르기까지 평가에 있어서 재고해야 했다. 이는 상당히 근본적인 변화이다. 왜냐하면 그 때까지 평가는 일반적으로 역량을 개별적이고 개별적으로 평가할 수 있는 단위로 분해함으로써 운영되어왔기 때문이다. 그러나, (이러한 환원주의적 접근은) 소수의 이산적discrete 요소로부터 역량의 복잡한 현상을 재구성해야 하는 거대한 도전을 남겼다. 예를 들어, 평가 프로그램이 10개의 개별 시험을 포함하는 경우에도 각 시험은 이진 결과만 생성한다(합격/실패). 이렇게 하면, 역량의 재구성은 이 10개의 이진법(합/불합) 데이터 포인트로 수행되어야 할 것이다. 등급과 가중치를 사용하면 이 문제를 약간 완화시킬 수 있다. 불행히도, 역량을 초기에 사용하던 때에는 이 문제를 해결하지 못한 것 같았고, 역량, 역량의 하위역량, 하위역량의 하위역량 등으로 무한정 정의내리는 환원주의적 접근법을 사용했다.
Obviously, this also involved a rethink in assessment, from a methods-oriented approach to whole-systems approach. This is quite a fundamental change because until that time assessment typically operated by deconstructing competence into discrete, individually assessable units. However, that still left us with the huge challenge of reconstituting the complex phenomenon of competence from only few discrete elements. For example, even when an assessment programme contains 10 individual tests, each of those tests will only generate a binary result (pass/fail). That way, the reconstitution of competence will have to be done with those 10 binary data points. Using grades and weighting may only mitigate this problem slightly. Unfortunately, early uses of competencies did not seem to solve this problem either and they too used a reductionist approach with organisations often defining competencies, sub-competencies and even sub-sub-competencies, ad infinitum.
평가의 관점에서, 프로그램적 평가가 [복잡성 관점complexity view]을 [평가의 통합적이고 전체적인 필요성과 결합]하려고 시도했다. 프로그램적 평가는 '모든 과정을 의미있게 만드는 것(making the whole course count)'이다. PA에서는 학생 및 교수가 (평가를) [개별 측정 집합]이 아니라, [의미 있는 전체론적 설명]으로 구성한다. 이러한 사고 변화가 필요하다고 판단된 이유 중 하나는 평가 초기에는 개별 측정 결과에서 '전체'를 재구성하는 데 '이 평가가 40%에 반영된다' 또는 '합격 실패 점수가 55%이다'와 같이 매우 자의적인 결정이 필요했기 때문이다. From an assessment point of view, programmatic assessment—or ‘making the whole course count’ as one of its similar developments in general education is named (Cooper et al. 2010)—has attempted to combine the complexity views with the need to keep the assessment integrated and holistic. It is based on students and their teachers/supervisors constructing a meaningful holistic narrative rather than a set of individual measurements. One of the reasons why this change in thinking was deemed necessary is because in the earlier years of assessment the reconstitution of the ‘whole’ from the individual measurement outcomes required hugely arbitrary decisions, such as ‘This assessment counts for 40%’ or ‘The pass fail score is 55%’.
물론, 평가를 시스템 문제로 접근한다고 해서 교육 연속체의 일부 단계에서 '진행 준비 완료'/'진행 준비가 되지 않은' 결정을 내릴 필요성을 부정하는 것은 아니다. 그러나 이러한 결정은 다양한 출처에서 얻은 정보의 의미 있는 삼각 측량, 종적 데이터 수집, 목표 학습 활동과 비례적 의사 결정을 기반으로 이루어져야 한다. 또한 각각의 고부담 결정에는 항상 명확하고 투명한 근거를 필요로 한다.
Of course, approaching assessment as a system issue does not negate the need to make ‘ready to progress’/’not ready to progress’ decisions at some phases in the educational continuum. But these decisions must be made on the basis of meaningful triangulation of information from various sources, longitudinal data collection, meaningful feedback with targeted learning activities and proportional decision making (Van der Vleuten and Schuwirth 2005; Van der Vleuten et al. 2012, 2015), always requiring a clear and transparent rationale behind each high-stakes decision.
이러한 접근 방식의 변화는 [평가 퀄리티]의 개념화에 중요한 영향을 미쳤다. 예를 들어, 하나의 방법에만 국한하지 않고, [유사한 내용에 대하여 여러 방법에 걸쳐 평가 정보를 삼각 측량하는 과정]은 지금까지의 방식과는 다르다. 전통적으로, 평가 정보는 동일한 형식이었기 때문에 결합되었습니다. 무릎 검사와 복부 검사의 OSCE 스테이션은 같은 형식이고, 이것이 전통적으로 그것들이 합쳐진 이유이다; 한쪽의 저조한 성능은 다른 한쪽의 좋은 성능으로 보상받을 수 있다. 그러나 이러한 관행은 일반화에 대한 대부분의 증거에 반한다. 개방형 및 객관식 테스트(Ward 1982; Norman et al. 1987) 또는 필기 및 연습 기반 테스트 비교(Van der Vleuten et al. 1988)를 포함하여 [여러 콘텐츠에 걸쳐 역량이 더 잘 일반화된다는 것]을 수많은 연구가 입증했다. 그러나 [평가형식 간에 정보를 삼각 측량]하려면 [수치적 과정보다는 서술적 과정]이 필요하며, 역사적으로 단어보다 숫자를 '객관적'이고 '신뢰할 수 있다고' 보는 경우가 많다.
This change of approach has had significant implications for our conceptualisations of quality of assessment. For example, the process of triangulating assessment information across methods on similar content, rather than solely within method is different compared with traditional practice. Traditionally, assessment information was combined because it was of the same format. An OSCE station on knee examination and on abdominal examination are of the same format and that is why, traditionally, they were combined; poor performance on the one can be compensated for by good performance on the other. This practice is contrary to most evidence about generalisation though. Numerous studies have demonstrated that competence generalises better across formats than across content, whether it is with open-ended and multiple-choice tests (Ward 1982; Norman et al. 1987) or even comparing written and practice based tests (Van der Vleuten et al. 1988). But, triangulating information across formats requires a narrative rather than a numerical process, and historically numbers are often seen a more ‘objective’ and ‘reliable’ than words.
다른 이들은 정보의 삼각측정이 신뢰성 있게 수행될 수 있으며, 평가 관행이 임상 의료 제공의 정보 수집 및 수집 원칙을 따르는 것이 최선이라고 주장할 수 있다(Schuwirth et al., 2017). 그러나 이것은 순전히 수사적일 뿐이다. 따라서 보다 최근의 연구는 서술의 질과 그것들이 평가의 맥락에서 어떻게 사용될 수 있는지에 초점을 맞추고 있다.
Others may argue that triangulation of information can be done reliably, and that assessment practice would be best served by following the information collection and collation principles in clinical health care provision (Schuwirth et al. 2017). But this is purely rhetorical. More recent research has therefore, focussed on the quality of narratives and how they can be used in the context of assessment.
발렌타인 외 연구진은 전문가 평가자가 임상 사례 기록을 평가할 때 사용하는 내러티브를 연구했으며, 이러한 서술이 일종의 역량 '증상학'으로서 판단과 피드백을 알리기 위해 어떻게 사용되는지를 연구했다(Valentine and Schuwirth 2019).
Valentine et al. studied the narratives expert assessors use when assessing clinical case write ups and how these are used to inform their judgements and feedback, as a sort of ‘symptomatology’ of competence (Valentine and Schuwirth 2019).
따라서 요약하자면, 현재의 연구는 [평가에서 판단의 구성 요소]라든가, 소위 [사적 판단]이 형성되고 입증되는 방법에 대한 이해를 향상시키는데 초점을 두고 있다. 또한 연구는 [이해 당사자들이 역량을 개념화하고, 판단과 피드백을 전달하는 방법, 그리고 해석하는 방법]을 탐구한다. 또는, 숫자가 아닌 결과나 판단의 타당성이 어떻게 보장될 수 있으며, 프로그램 수준에서 이를 어떻게 수행할 수 있는지 여부 등을 연구하고 있다.
So, in summary, current research seeks to improve our understanding of the building blocks of judgement in assessment and how the so-called private judgement is formed and substantiated. Research also explores how stakeholders conceptualise competence, communicate their judgements and feedback, and how they interpret it. Or, how validity of non-numerical outcomes or judgements can be ensured, and how this can be done at a programme level.
비록 시스템이나 프로그램적 평가로서의 평가 개념이 더 널리 받아들여지지만, 구현은 결코 쉽지 않다. 그것의 기본 철학은 전통과 너무 다르기 때문에, 그것은 많은 지배적인 조직 문화와 반대되며, 그것은 환원주의적 접근법이나 순수하게 정량적 접근법을 필요로 하지 않는 평가 시스템에서의 공정성의 본질에 대해 재고할 필요가 있다. Although the concepts of assessment as a system or programmatic assessment become more widely accepted, the implementation is far from easy. Because its fundamental philosophy is so different to tradition, it runs contrary to that of many prevailing organisational cultures (Watling et al. 2013; Harrison et al. 2017), and it requires a rethink about the nature of fairness of an assessment system that does not require reductionist and/or purely quantitative approach (Valentine et al. accepted for publication).
평가의 미래
The future of assessment
보건 직업 교육 및 평가에 영향을 미칠 수 있는 수많은 기술적, 그리고 그에 따른 사회적 변화가 일어나고 있다. 가장 주목할 만한 것은 자유롭게 이용할 수 있는 온라인 지침 비디오 및 자원(Shirky 2010)과 같은 열린 접속 저널과 인지 잉여를 통해 자유로이 접근할 수 있는 정보의 가용성 증가이다. 분산 신뢰 시스템 및 피어 이코노미 모델(Botsman 2017)의 출현도 다른 예이다. 이것은 의심할 여지 없이 학생들이 그들의 교육과 평가에서 기대하는 것과 대학들이 그들의 교육과 커리큘럼을 어떻게 설계해야 하는지에 영향을 미칠 것이다; 지식과 해결책 중심의 관점으로부터 문제들의 치유에 이르기까지.
There are numerous technological and ensuing societal changes taking place that are likely to impact on health professions education and assessment. The most notable are the increasing availability of freely accessible information—not always knowledge though—through open access journals and cognitive surplus; such as freely available online instruction videos and resources (Shirky 2010). The emergence of distributed trust systems and peer economy models (Botsman 2017) are other examples. These will undoubtedly have an impact on what students expect from their education and assessment and how universities will have to design their education and curricula; from a knowledge and solutions-oriented perspective to a curation of problems perspective.
따라서, "이 모든 것이 어디로 향하고 있을까?"라고 대답하는 것은 중요한 질문이 될 것입니다. 하지만 예측을 하는 것은 쉽지 않고, 종종 후향적이며, 과거를 향한 예측은 어리석은 것이다. 1800년대 중반에 어떤 예측 모델링이 행해졌더라면 아마도 그의 말 분뇨의 양이 교통에서 다루어야 할 주요 쟁점이 될 것이다. 그러나 의료 교육에서는 미래를 위해 의료 전문가를 교육할 때 미래 시나리오를 고려하는 것이 필수적이라는 점을 고려하거나 전반적으로 보건 전문가 교육을 실시해야 합니다. So, “where might all this be heading?”, would be an important question to answer. Making predictions is not easy though, and often with hindsight, predictions of the past are mostly silly. If there had been any prediction modelling done in the mid-1800s it would probably have been that he quantity of horse manure was going to be the main issue to deal with in traffic. Yet, in medical education—or better, health professions education as a whole—considering future scenarios is a must as we educate healthcare professionals for the future.
이러한 개발은 평가에도 영향을 미칠 것입니다. 현재 많은 평가의 초점이 학생이 충분한 지식, 기술, 역량을 보유하고 있으며 이를 적용할 수 있는지에 여전히 집중되어 있는 경우, 필연적으로 학생이 모든 ICT 비용을 사용하고, 역량 개발에 의미 있게 통합할 수 있는 범위의 평가로 전환될 것이다. 복잡한 실무 환경에서 ICT의 '역량'과 유기적인 두뇌 역량의 균형을 맞출 수 있습니다. 우리가 의미하는 바는, 현대 학생들은 ICT에 대한 지속적인 접근이기는 하지만, 거의 동시에 여러 커뮤니티와 협력자들과 소통할 수 있는 여유가 있다는 것이다. 또한 비디오, 팟캐스트, 애니메이션 프레젠테이션, 복잡한 진화하는 다이어그램 등과 같은 종이와 연필을 훨씬 뛰어넘는 학습 및 성취도의 아티팩트의 생성 모드를 갖추고 있다(Friedman 및 Friedman 2008). These developments will also have an impact on assessment. Where the focus of much assessment at the moment is still on whether the student possesses sufficient knowledge, skills, competencies and is able to apply them, there will inevitably be a shift toward the assessment of the extent to which a student is able to use all ICT affordances, incorporate them meaningfully in their development of competence and is able to balance ICT derived ‘competence’ with their organic brain competence in a complex practical environment. What we mean by this, is that modern students, though their continual access to ICT, have the affordances of communicating with multiple communities and collaboratives almost simultaneously. They also have modes of creation of artifacts of their learning and achievement far beyond paper and pencil—such as videos, podcasts, animated presentations, complex evolving diagrams, etc. (Friedman and Friedman 2008).
Epilogue
Gingerich, A., Ramlo, S. E., Van der Vleuten, C. P. M., Eva, K. W., & Regehr, G. (2017). Inter-rater variability as mutual disagreement: Identifying raters’ divergent points of view. Advances in Health Sciences Education, 22(4), 819–838.
Govaerts, M. J. B., Schuwirth, L. W. T., Van der Vleuten, C. P. M., & Muijtjens, A. M. M. (2011). Workplace-based assessment: Effects of rater expertise. Advances in Health Sciences Education, 16(2), 151–165.
Govaerts, M. J. B., Wiel, M. W. J., Schuwirth, L. W. T., Vleuten, C. P. M., & Muijtjens, A. M. M. (2012). Workplace-based assessment: Raters’ performance theories and constructs. Advances in Health Sciences Education, 18, 1–22.
Harrison, C. J., Könings, K. D., Dannefer, E. F., Schuwirth, L. W. T., Wass, V., & Van der Vleuten, C. P. M. (2016). Factors influencing students’ receptivity to formative feedback emerging from different assessment cultures. Perspectives on Medical Education, 5, 276–284.
Hodges, B., & Lingard, L. (2012). The question of competence: Reconsidering medical education in the twenty-first century. Ithaka New York: Cornell University Press.
Valentine, N., Durnig, S. J., Shanahan, E. M. & Schuwirth, L. W. T. (accepted for publication). Fairness in human judgement in assessment: A hermeneutic literature review and conceptual framework. Advances in Health Sciences Education.
1FHMRI: Prideaux Research in Health Professions Education, College of Medicine and Public Health, Flinders University, Sturt Road, Bedford Park, South Australia, 5042, GPO Box 2100, Adelaide, SA, 5001, Australia. lambert.schuwirth@flinders.edu.au.
2Department of Educational Development and Research, Maastricht University, Maastricht, The Netherlands. lambert.schuwirth@flinders.edu.au.
3FHMRI: Prideaux Research in Health Professions Education, College of Medicine and Public Health, Flinders University, Sturt Road, Bedford Park, South Australia, 5042, GPO Box 2100, Adelaide, SA, 5001, Australia.
4Department of Educational Development and Research, Maastricht University, Maastricht, The Netherlands.
The way quality of assessment has been perceived and assured has changed considerably in the recent 5 decades. Originally, assessment was mainly seen as a measurement problem with the aim to tell people apart, the competent from the not competent. Logically, reproducibility or reliability and construct validity were seen as necessary and sufficient for assessment quality and the role of human judgement was minimised. Later, assessment moved back into the authentic workplace with various workplace-based assessment (WBA) methods. Although originally approached from the same measurement framework, WBA and other assessments gradually became assessment processes that included or embraced human judgement but based on good support and assessment expertise. Currently, assessment is treated as a whole system problem in which competence is evaluated from an integrated rather than a reductionist perspective. Current research therefore focuses on how to support and improve human judgement, how to triangulate assessment information meaningfully and how to construct fairness, credibility and defensibility from a systems perspective. But, given the rapid changes in society, education and healthcare, yet another evolution in our thinking about good assessment is likely to lurk around the corner.
Keywords:Assessment; History; Programmatic assessment; Workplace based assessment.
Learner involvement in the co-creation of teaching and learning: AMEE Guide No. 138
Karen D. K€oningsa , Serge Mordanga, Frank Smeenka,b , Laurents Stassena,c and Subha Ramanid,e
본 가이드의 소개 및 목적
Introduction
and purpose of this guide
교육의 설계 및 개발에 대한 공동창조와 능동적인 학습자의 참여는 교육 관행과 교육 연구에서 점점 더 많은 관심을 받고 있다. 학습자를 교육 및 학습 설계에 참여시키는 것은 다양한 이해관계자들의 관점을 다루고 교사들의 성장을 자극함으로써 교육의 질 향상에 기여한다. 또한 학습자의 참여, 소유권 및 권한 부여에 대한 느낌을 높여 학습자에게 동기를 부여합니다(Cook-Sather et al., 2014). 교육 관행의 개선은 또한 교육자들에게 의미 있는 피드백을 요구한다. 하지만, 많은 고등 교육 기관에서는, 학습자들이 익명의 서면 조사를 통해 교사들에게 피드백을 제공하는 것이 여전히 일반적인 관행이다. 피드백은 주로 교사들이 학생 학습을 개선하기 위해 사용하지만, 교사의 교육 관행 개선에 미치는 영향은 입증되지 않았습니다(Blair와 Valdez Noel, Golding과 Adam 2016). 교육 설계, 교육 형식 및 피드백 대화에서 [학습자의 적극적인 참여]는 교사와 학습자의 변화 계획 수립과 전문성 개발을 지원할 수 있다(Cook-Sather et al. 2014, Könings et al., 2014).
Co-creation and active learner
involvement in the design and development of education is garnering growing
attention in educational practice and educational research. Involving learners
in the design of teaching and learning contributes to improvement in the
quality of education, by addressing perspectives of different stakeholders and
stimulating teachers’ growth. It also motivates learners by enhancing their
feelings of engagement, ownership, and empowerment (Cook-Sather
et al. 2014). Improvement in educational practice
also requires meaningful feedback to educators. However, at many higher
education institutions, it is still common practice for learners to provide
feedback to teachers through anonymous written surveys. The feedback is
primarily used by teachers to improve student learning, but its impact on
improving teachers’ educational practice has not been demonstrated (Blair and
Valdez Noel 2014; Golding and Adam 2016). Active engagement of learners in
educational design, teaching formats and feedback conversations can support
formulation of plans for change and professional development of teachers and
learners alike (Cook-Sather et al. 2014; Könings et al. 2014).
실용 포인트
Practice points
· 공동창조를 통해, 교사와 학습자는 교육에 대한 서로의 관점을 더 잘 이해할 수 있습니다. 이를 통해 보다 긍정적이고, 포괄적이며, 민주적인 학습 환경, 내부 동기부여 증가 및 교육 설계의 품질 향상을 촉진할 수 있습니다.
·Through co-creation, teachers and learners get a better understanding of each other’s perspectives on education. This can facilitate a more positive, inclusive and democratic learning environment, increased internal motivation, and higher quality of the educational design.
· 학습자와 교사 간의 사고와 아이디어를 개방적으로 교환하기 위해서는, 교사와 학습자 간의 권력 차이가 줄어들고 신뢰가 확립되는 심리적 안전성을 확보하는 것이 중요하다.
·To enable an open exchange of thoughts and ideas among learners and teachers, it is important to ensure psychological safety, where power differences between teachers and learners are diminished and trust is established.
· 교사는 진심으로 학습자의 말을 경청하고 학습자와의 책임 공유를 통해 교육 변화를 실천할 수 있어야 한다. 교육기관 및 교사는 학습자가 교육 설계에서 문제 해결에 긍정적으로 기여하고 문제에 대한 해결책을 공동으로 개발하도록 권장해야 한다.
·Teachers should genuinely listen to learners and be open to implementing educational change through shared responsibility with learners. Institutions and teachers should encourage learners to contribute positively to problem solving in educational design and collaboratively develop of solutions to challenges.
· [학습자 간 피드백 제공 기술] 및 [교사 간 피드백 수신 기술 교육]은 양방향 대화의 품질과 효과를 개선하는 데 도움이 될 수 있습니다.
·Training in feedback-providing skills among learners and feedback-receiving skills among teachers can help to improve the quality and effectiveness of bidirectional conversations.
· 학습자의 참여 정도는 기술, 학습 및 참여 의향, 공동 창작에 대한 이전 경험과 일치해야 합니다. 소규모로 시작하여 점차적으로 참여율이 증가하면 공동창조 이니셔티브에 대한 참가자들의 신뢰가 쌓일 수 있습니다.
·The degree of learner involvement must be aligned with their skills, willingness to learn and engage, and earlier experience in co-creation. Starting small and gradually increase in engagement can build confidence of participants in co-creation initiatives.
· 공동창작에 참여한 동료 및 동료와 경험을 연결하고 공유하면 상호 학습을 촉진할 수 있으며, 교수진 개발자의 지원을 통해 공동창작 과정을 촉진할 수 있습니다.
·Connecting and sharing experiences with colleagues and peers who are also involved in co-creation can foster mutual learning, and support from faculty developers can facilitate the co-creation process.
학습자 참여에 대한 최근의 ASPIRE-to-Excellence 이니셔티브(Peters et al. 2019)와 같이 교육 설계에 대한 능동적 학습자 참여의 중요성이 점점 더 인정되고 있다. Harden과 Lilley(2018)는 의학 교육에 있어 교사의 미래 역할 중 하나는 [학습자를 교육 프로그램에 참여시키고 그들을 교육의 소비자라기보다는 동등한 파트너로 생각하는 것]이라고 설명했다. Taylor와 Hamdy(2013)는 학습이 타당성을 확보하고 지식을 활용하여 관련 실무에 적절히 적용할 수 있도록 하는 것이라고 주장한다. 이를 위해서는 교사와 학습자 모두 [교육에서 각자의 역할에 대한 가정과 인식]에 도전해야 합니다(Taylor 및 Hamdy 2013). 교육 설계에 대한 학습자의 참여에 대한 증가하는 요구와 설득력 있는 주장에도 불구하고, 교사와 학습자는 이 접근방식을 구현하는 데 익숙하지 않으며, 기관에서는 시행이 어려운 과제이다. 본 AMEE 가이드는 성공적인 구현을 위한 가능한 접근법뿐만 아니라 교육 실무에서 공동 창조를 구현해야 하는 주요 실제 과제에 대해 자세히 살펴보는 것을 목표로 한다.
The importance of active learner involvement in educational design is increasingly recognized, for example in the recent ASPIRE-to-Excellence initiative on learner engagement (Peters et al. 2019). Harden and Lilley (2018) described that one of the teachers’ future roles in medical education is to engage learners in the education program and consider them as equal partners rather than consumers of education. Taylor and Hamdy (2013) argue that learning is about making sense and making use of knowledge gained, so that it can be applied appropriately to relevant practice. For this to occur, both teachers and learners need to challenge their assumptions as well as perceptions of their respective roles in education (Taylor and Hamdy 2013). Despite the increasing calls and convincing arguments for learner involvement in educational design, teachers and learners are not used to implementing this approach, and implementation is challenging for institutions. This AMEE guide aims to delve into key practical challenges of implementing co-creation in educational practice as well as possible approaches for successful implementation.
이 가이드는 공동 창작의 정의와 설명부터 시작하며, 교육 및 학습을 개선하는 맥락에서 참여 설계 및 학습자-교사 파트너십과 같은 관련 용어에 대해 설명합니다. 공동 창작의 영향은 심리사회 학습 환경, 동기부여 및 메타인지, 교육 설계의 질을 포함한 세 가지 수준에 기대될 수 있다. 우리는 공동창조의 이해당사자 참여 프레임워크를 개발하여 공동창조가 교육의 재설계와 관련된 여러 이해당사자들에게 직접적인 영향을 미칠 뿐만 아니라 궁극적으로 더 많은 수의 학습자, 교사 및 기타 이해당사자들에게 영향을 미치는 것을 목표로 하고 있습니다. 다음으로, 우리는 실제로 공동 창조를 구현할 때 학습자, 교사 및 기관이 직면할 수 있는 과제에 대한 개요를 논의한다. 우리는 이러한 도전에 근본적인 의미를 부여하기 위해 자기결정론, 위치결정론, 심리안전에 관한 이론의 원칙을 적용합니다. 이 가이드는 교사들과 교육 지도자들이 보건 직업 교육에서 교수와 학습을 공동창조하는 것을 도울 수 있는 잠재적인 전략에 대한 설명으로 마무리될 것이다.
The guide starts with a definition and description of co-creation and related terms like participatory design and learner-teacher partnership in the context of improving teaching and learning. The impact of co-creation can be expected on three levels including the psychosocial learning environment, motivation and metacognition, and quality of the educational design. We have developed the Framework of Stakeholder Involvement in Co-Creation, to visualize that co-creation not only has a direct impact on the different stakeholders involved in the re/design of education, but also ultimately aims to affect a larger group of learners, teachers and other stakeholders. Next, we discuss an overview of potential challenges for learners, teachers and institutions when implementing co-creation in practice. We apply principles from the Self-Determination Theory, the Positioning Theory and theory on Psychological Safety to give fundamental meaning to these challenges. The guide will conclude with a description of potential strategies that can help teachers and educational leaders to implement co-creation of teaching and learning in health professions education.
공동 생성: 정의 및 이점
Co-creation:
Definitions and benefits
정의 Definition
공동창조는 [학습자와 교사 간의 긴밀한 협력]으로 정의되며, 학습자의 관점을 환대하고, 교육(디자인) 과정에 적극적으로 참여함으로써 학습과 학습을 개선하는 것을 목표로 한다(Bovil et al., 2016). 밀접하게 관련된 용어는 [참여형 설계]이며, 이는 또한 교육 설계에서 모든 이해 당사자와의 협력을 지칭한다.
공동창조는 주로 공동창조에 직접 참여하는 [학습자에게 긍정적인 영향을 미치는 것을 목표]로 하는 반면,
참여형 설계는 주로 교사와 학습자 모두의 교육 설계의 사용, 사용성 및 유용성을 보장함으로써 [교육 혁신의 품질을 향상]시키는 데 초점을 맞추고 있다(Martens et al. 2019a).
Co-creation is defined as a close collaboration between learners and teachers, aiming to improve teaching and learning by welcoming learners’ perspectives and actively involving them in the educational (design) process (Bovill et al. 2016). A closely related term is participatory design, which also refers to a collaboration with all stakeholders in designing education.
While co-creation mainly aims for positive effects of engagement for those learners directly involved in co-creation,
participatory design mainly focuses on improving the quality of educational innovations by ensuring use, usability and utility of educational design for both teachers and learners (Martens et al. 2019a).
교육적 설계에서 학습자의 역할은 참여 및 책임의 증가 수준을 나타내는 각 경지를 가진 사다리로 간주할 수 있습니다. 학습자와 설계상 상호작용하지 않는 지시된 커리큘럼으로부터,
학습자에게 선택권을 제공하는 것,
학습자가 일부 영역을 제어할 수 있도록 합니다.
협력 관계 또는 심지어 학습자에게 통제권을 넘기는 것 까지. (Bobil 및 Bulley 2011).
The role of learners in educational design can be considered as a ladder with each rung representing an increasing level of engagement and responsibility: from a dictated curriculum that does not interact with learners in its design,
to providing learners with choices,
to giving learners control of some areas,
to partnerships or even learners being in control (Bovill and Bulley 2011).
[학습자-교사 파트너십]은 '모든 참가자가 반드시 같은 방식으로는 아니지만 커리큘럼 또는 교육학적 개념화, 의사결정, 구현, 조사 또는 분석에 동등하게 기여할 기회를 갖는 협력적이고 상호적인 과정'으로 정의된다(Cook-Sather et al., 2014, 페이지 6–7) 학습자 참여 수준은 선택된 접근법의 목적과 일치해야 한다(Martens et al. 2019a).
A learner-teacher partnership is
defined as ‘a collaborative, reciprocal process through which all participants
have the opportunity to contribute equally, although not necessarily in the
same way, to curricular or pedagogical conceptualization, decision-making,
implementation, investigation, or analysis’ (Cook-Sather et al. 2014, pp. 6–7). The level of learner
involvement should be aligned with the purpose of the chosen approach (Martens
et al. 2019a).
공동창조의 영향 Impact
of co-creation
공동창조의 영향은 세 가지 클러스터로 분류될 수 있다: 그것은 심리사회 학습 환경, 동기부여 및 메타인지, 그리고 교육 설계의 질에 영향을 미친다.
The impact of co-creation can be categorized under three clusters: it effects on psychosocial learning environment, motivation and metacognition, and quality of the educational design.
· 첫 번째 클러스터는 심리사회적 학습 환경에 미치는 영향: 학습자-교사 관계 개선, 더 강한 정체성 의식, 그리고 소속감과 응집력 향상으로 구성된다(Bobil 2013a, 2020). 또한 학습자와 교사는 의사소통, 협업 및 갈등 대처 방법에 관한 기술과 태도를 지속적으로 개발한다(Cook-Sather et al., 2014). 학습자에게 권한을 부여하는 것은 긍정적인 감정과 태도를 개발하고 학습자가 존중받고 감정을 안전하게 해결할 수 있는 안전한 환경을 구축하는 데 기여한다(Hill et al. 이러한 모든 이점은 학습자와 교사에게 보다 긍정적이고, 포괄적이며, 민주적인 학습 환경에 기여합니다(Cook-Sather 및 Luz 2015).
·The first cluster consists of effects on the psychosocial learning environment: enhanced learner-teacher relationships, a stronger sense of identity, and an increased sense of belongingness and cohesion (Bovill 2013a, 2020). Additionally, learners and teachers continuously develop their skills and attitudes regarding communication, collaboration, and how to deal with conflicts (Cook-Sather et al. 2014). Empowering learners contributes to the development of positive feelings and attitudes and to the establishment of safe environments, where learners are respected and where emotions can be safely addressed (Hill et al. 2019). All these benefits contribute to a more positive, inclusive and democratic learning climate for learners and teachers (Cook-Sather and Luz 2015).
· 두 번째 군집은 동기 부여 및 메타인지에 대한 효과로 구성됩니다. 학습자는 교사의 관점과 교육의 목적을 더 잘 이해하는 반면, 교사는 교육에 대한 학습자의 관점에 대한 더 명확한 통찰력을 얻는다(Bovil 2013a, Cook-Sather et al., 2014). 학습자와 교사 모두에게 개인적 행동에 대한 성찰이 자극되어 메타인지 의식을 강화하고 메타인지 기술을 개발합니다(Seale 2009). 또한, 둘 다 오너십과 책임감, 교육에 대한 참여도를 높여 동기부여와 신뢰도를 높이고(Bovil 2013a, Cook-Sather 및 Luz 2015), 평생 학습 기술과 문제 해결 능력을 향상시킨다(Dollinger et al., 2018). 공동창조는 교육에 대한 만족도에 긍정적인 영향을 미치며(Könings et al. 2010b; Dollinger et al., 2018) 공동창조에 관련된 학습자와 교사의 개념과 주제와의 깊이 있는 참여로 인해 교수와 학습이 개선될 수 있다(Bovil 2013a; Brown 2018). 공동창조의 이러한 동기부여 및 메타인지 효과는 공동창조 과정에 관련된 학습자와 교사들 사이에서 학습과 교육의 질을 향상시킨다.
·The second cluster comprises effects on motivation and metacognition. Learners develop a better understanding of the teacher’s perspective and the aims of education, while teachers obtain clearer insights regarding learners’ perspectives on education (Bovill 2013a; Cook-Sather et al. 2014). Reflection on personal behavior is stimulated among both learners and teachers, strengthening metacognitive awareness and developing metacognitive skills (Seale 2009). Additionally, both develop a sense of ownership, responsibility and increased engagement with education, resulting in increased motivation and confidence (Bovill 2013a; Cook-Sather and Luz 2015); as well as increased lifelong learning skills and problem-solving skills (Dollinger et al. 2018). Co-creation positively impacts satisfaction with education (Könings et al. 2010b; Dollinger et al. 2018) and, because of a deeper engagement with concepts and subject matter by learners and teachers involved in the co-creation, teaching and learning can be improved (Bovill 2013a; Brown 2018). These motivational and metacognitive effects of co-creation improve quality of teaching and learning among those learners and teachers involved in the co-creation process.
· 세 번째 군집은 [교육 설계의 질에 미치는 영향]을 말하며, 이는 공동 창작에 직접적인 관여에 의한 영향에서 벗어난다. 관련 이해관계자의 전문지식과 관점을 통합함으로써, 공동창조는 과정이나 커리큘럼의 더 효과적이거나 매력적인 설계를 이끌어낼 수 있다. Brooman Darwent와 Pimor(2014년)는 교사가 주도하는 재설계와는 대조적으로 [학습자의 목소리를 진지하게 경청하는 것]이 학습자 성과, 학습자 인식 및 전체 코호트의 참석을 증가시킨다는 것을 보여주었다. [비참여 동료]에 비해 학습 효과가 긍정적이거나 공동 창작에 관련된 학습자의 만족도가 증가한다는 것을 입증하는 것은 어려울 수 있다(Könings et al. 2010b; Brown 2018). 그러나 공동창조의 중요한 의도된 이점은 [학습자와 교사]의 더 넓은 그룹이 교육 설계의 향상된 품질과 사용, 사용성 및 유용성으로부터 이익을 얻는다는 것이다.
·The third cluster refers to effects on the quality of the educational design, which goes beyond the effects caused by direct involvement in co-creation. By incorporating the expertise and perspectives of relevant stakeholders, co-creation can result in a more effective or appealing design of a course or curriculum. Brooman Darwent, and Pimor (2014) have shown that, in contrast to teacher-led redesign, seriously listening to learners’ voices increased learner performance, learner perceptions and attendance of the whole cohort. It can be challenging to prove positive learning effects or increased satisfaction in those learners involved in co-creation compared to non-involved peers (Könings et al. 2010b; Brown 2018). However, an important intended benefit of co-creation is that broader groups of learners and teachers profit from the improved quality of educational innovations and use, usability and utility of the educational design.
교육의 공동창조에 관한 문헌
Literature
on co-creation of education
의학 교육에서 배움의 공동창조에 관한 과학 문헌은 드물다. 최근의 혁신 이니셔티브의 보고서는 학부교육과정 개편에서 성공적인 학습자-교사 파트너십(Scott et al. 2019), IPE 교육 과정 개발에 대한 학습자 참여(Behrend et al. 2019), 학습자 주도 이니셔티브를 통한 혁신적인 커리큘럼 변경(Zdravkov), 교육과정 개발에서 의료 학습자에게 모듈 공동 감독 역할을 배정(Milles et al. 2019) 등을 설명하고 있다. 이러한 이니셔티브는 고무적이지만 공동 생성 프로세스에서 잠재적 과제 또는 촉진자에 대한 좋은 개요를 제공하지 않습니다. 고등 교육 문헌에서 공동 창작은 지난 몇 년 동안 인용 횟수가 증가함에 따라 더 광범위하고 더 오랜 기간 동안 설명되었다(그림 1).
Scientific literature on co-creation of learning in medical education is scarce. Reports from recent innovative initiatives describe
successful learner-teacher partnership for curricular improvement in undergraduate medical education (Scott et al. 2019),
learner involvement in the development of interprofessional education courses (Behrend et al. 2019),
innovative curricular changes through learner-driven initiatives (Zdravkovic et al. 2018), and
assignment of module co-director roles to medical learners in curriculum development (Milles et al. 2019).
While these initiatives are encouraging, they do not provide a good overview of potential challenges or facilitators in the co-creation process. In higher education literature, co-creation has been described more extensively and for a longer time, as evidenced by a growing number of citations over the last few years (Figure 1).
우리는 웹 오브 사이언스에 포함된 고등교육의 공동창조를 위한 촉진자 및 접근방식은 물론 장벽, 투쟁 및 도전에 초점을 맞춘 출판물을 검토했다. 본 백서에서는
[학습(대학 또는 임상 작업장)을 촉진하는 환경에서 교육 또는 감독 역할(직원, 임상 감독자 등)을 가지는 전문가]에 대해 '교사'라는 용어를 사용하고,
[모든 수준의 학생 또는 학습자(학부 및 대학원 학습자, 지속적인 교육에서 전문 학습자)]에 대해 '학습자'라는 용어를 사용합니다.
We reviewed publications focusing
on barriers, struggles, and challenges as well as facilitators and approaches
for co-creation in higher education, included in the Web of Science. In this
paper we use the term ‘teacher’ for any professional having a teaching or
supervisory role (staff, clinical supervisor etc.) and ‘learner’ for any level
of student or learner (undergraduate and postgraduate learners and professional
learners in continuing education) in a setting that promotes learning
(university or clinical workplace).
Figure 1. Numbers of citations
on co-creation (or synonyms) in higher education.
공동창조의 틀
A
framework for co-creation
공동창조에 대한 문헌 검토를 바탕으로, 교육 설계 과정에 서로 다른 이해관계자가 적극적으로 참여하는 효과를 나타낸 공동창조에 대한 이해관계자 참여 프레임워크(그림 2)를 개발하였습니다.
Based on the literature review of co-creation, we developed the Framework of Stakeholder Involvement in Co-Creation (Figure 2), which depicts the effects of active involvement of different stakeholders in the educational design process.
내부 삼각형은 학습자의 참여가 학습 과정 개선을 이끈다는 것을 강조한다(Könings et al. 2010b; Bobil 2013a; Cook-Sather et al. 2014). 학습자와의 대화가 위에서 설명한 동일한 메커니즘을 통해 학습자의 교육 관행을 개선하고 자신의 전문적 개발을 촉진하므로(Bovil 2013a, Cook-Sather et al., 2014, Cook-Sather and Luz 2015) 교사들은 공동창조의 혜택을 누린다. 삼각형의 왼쪽 모서리는 공동 생성 프로세스에 참여할 수 있는 다른 관련 이해 관계자들을 시각화한다(예: 작업장 파트너, 간호사, 교육 설계자/교육자, 연구원, 소프트웨어 개발자 또는 건축가). (Cober et al. 2015; Harrison et al. 2017; Könings and McKeney 2017; Ruskin and Bilous 2020).
The inner triangle emphasizes that learners’ involvement leads to improved learning processes (due to psychosocial and/or motivational and metacognitive effects) (Könings et al. 2010b; Bovill 2013a; Cook-Sather et al. 2014). Teachers benefit from co-creation, as dialogues with learners improve teaching practices and foster their own professional development through the same mechanisms described above (Bovill 2013a; Cook-Sather et al. 2014; Cook-Sather and Luz 2015). The left corner of the triangle visualizes other relevant stakeholders who can also engage in the co-creation process, for example workplace partners, nurses, patients, educational designers/educationalists, researchers, software developers, or architects (Cober et al. 2015; Harrison et al. 2017; Könings and McKenney 2017; Ruskin and Bilous 2020).
그림의 외부 원은 공동창조의 효과가 원칙적으로 더 많은 수의 학습자와 교사에게 전달될 수 있음을 시사한다. 화살표는 모든 학습자가 궁극적으로 공동 창조 교육의 혜택을 받을 것으로 기대될 뿐만 아니라, 더 많은 수의 교사들이 상황에 더 잘 맞고 더 많은 시행 준비가 된 교육 설계로부터 혜택을 받는다는 것을 나타낸다.
The outer circle of the Figure suggests
that effects of co-creation could, in principle, be transferred to a larger
population of learners and teachers. Arrows indicate that not only are all
learners ultimately expected to benefit from the co-created education, but also
that a wider population of teachers benefits from educational designs that
better fit the context and are more implementation ready.
Figure 2. Framework of
Stakeholder Involvement in Co-Creation.
공동 생성을 실제로 구현해야 하는 과제
Challenges
of implementing co-creation in practice
공동 창작 아이디어를 실행에 옮기는 것은 어려울 수 있습니다. 잠재적 함정 및 도전에 대해 알고 있으면 이를 예방 및/또는 완화하는 데 도움이 됩니다. 아래는 학습자, 교사 및 기관의 수준에 대한 과제를 설명합니다. 학습자와 교사는 문헌에서 가장 자주 언급되는 주요 이해당사자이다. 교사들의 과제는 교육의 다른 이해당사자들에게도 적용될 수 있다(그림 2의 왼쪽 코너, 즉 교육학자, 연구원, 소프트웨어 개발자).
Bringing ideas of co-creation to
practice can be challenging. Being aware of potential pitfalls and challenges
helps to prevent and/or mitigate them. Below, we describe the challenges at the
level of the learners, the teachers, and the institution. Learners and teachers
are the main stakeholders most frequently mentioned in the literature;
challenges for teachers might also apply to other stakeholders in education
(left corner of Figure 2; i.e. educationalists, researchers,
software developers).
학습자를 위한 과제
Challenges
for learners
프로세스 및 컨텐츠 전문 지식 부족
Lack
of process and content expertise
학습자는 종종 공동 창작 과정에 대해 잘 알지 못합니다. 이는 역할에 대한 이해를 방해하고 불확실성을 유발할 수 있습니다(Bovil 2013a, Bergmark 및 Westman 2016). 공동 창작의 파트너는 기존의 학습자 역할과는 다릅니다. 역할, 책임 및 자아에 대한 인식을 바꾸는 것은 불편하고 위협적이며 혼란스러운 것으로 인식될 수 있습니다(Cook-Sather 및 Luz 2015; Deelley 및 Bobil 2017). 학습자는 교육 평가를 넘어 문제 해결에 기여해야 합니다(Carry 2013). 또한 학습자는 자신의 지식과 기술에 대해 불안감을 느낄 수 있으며, 특히 공동 창작에 따라 '즉각적인' 생각을 해야 하는 경우 내용이 낯설고 내용과 교육학적 전문지식이 부족하다(Bobil et al. 2016; Brown 2019). 학교 교육 및 교육 설계에 대한 그들의 개인적 경험에 대한 기억은 교육을 위한 대안적 설계 옵션에 대한 상상을 제한한다(Burke and Könings 2016). 학습자는 교사와 건설적으로 의사소통하고, 교사에게 명확하고 이해할 수 있는 의견을 제공하고, 교사의 의견이 교사를 불쾌하게 하지 않도록 보장하는 데 필요한 수준으로 의사소통 및 협력 기술을 개발해야 할 수 있다(Martens et al. 2020).
Learners are often unfamiliar with the process of co-creation, which may hinder their understanding of roles and provoke uncertainty (Bovill 2013a; Bergmark and Westman 2016). Being a partner in co-creation is different from the traditional learner role; changing roles, responsibilities and sense of self can be perceived as uncomfortable, threatening and confusing (Cook-Sather and Luz 2015; Deeley and Bovill 2017). Learners need to move beyond evaluating education, and contribute to problem-solving (Carey 2013). Learners can also feel insecure about their knowledge and skills, especially when co-creation requires them to think ‘outside the box,’ the content is unfamiliar, and they lack content and pedagogical expertise (Bovill et al. 2016; Brown 2019). Memories of their personal experiences of schooling and educational design limit their imagination of alternative design options for education (Burke and Könings 2016). Learners might need to develop communication and collaboration skills to a level necessary to constructively communicate with teachers, provide input that is clear and understandable to teachers and ensure that their input does not offend teachers (Martens et al. 2020).
권력관계
Power
relations
학습자와 교사 사이의 기존의 권력 관계는 공동 창작 과정에 대한 효과적인 학습자의 기여를 방해할 수 있습니다. 교육의 위계적 구조는 학습자를 권력 불균형의 상황에 놓이게 하며, 이는 학습자-교사 역할 및 관계를 재정의하는 개인적 위험을 초래할 수 있다(Bobil et al. 2016). 학습자는 교사를 화나게 하거나 처벌을 두려워하는 것을 방지하기 위해 교사(Seal et al., 2015)에게 부정적인 의견과 의견 불일치를 피할 수 있다(Carey 2013; Seal et al., 2015). 이것은 특히 관련된 교사들이 학습자 평가에 대한 책임이 있는 경우로, 교육 위계에서 학습자의 종속적인 위치를 더욱 강화한다(Enright et al. 2017). 학습자 교사 비율이 너무 낮거나(예: 1명의 학습자: 6명의 교사), 학습자가 대표성이 부족하다고 느낄 경우(Carry 2013) 권력 문제가 특히 우려됩니다.
Existing power relations between
learners and teachers can hamper effective learner contributions to the
co-creation process. The hierarchical structure in education places the learner
in a situation of power imbalance, which can lead to perceived personal risks
of redefining learner-teacher roles and relationships (Bovill et al. 2016). Learners might avoid negative comments
to, and disagreements with, teachers (Seale et al. 2015), to prevent upsetting teachers or even
fearing punishment (Carey 2013; Seale et al. 2015). This especially holds true if the
teachers involved are also responsible for learner assessment, further
cementing the learners’ dependent position in the educational hierarchy
(Enright et al. 2017). Power issues are particularly
disturbing if the learner teacher ratio is too low (e.g. 1 learner: 6 teachers,
as opposed to a more equal ratio) and learners feel underrepresented
(Carey 2013).
목소리의 피로, 그들의 관심사가 전례가 없다는 인식
Voice
fatigue, perception that their concerns go unheard
참여하려는 학습자의 의지는 가정할 수 없습니다. 이들은 자신의 영향력이 구현 프로세스에 실제 개입하지 않고 조언을 제공하는 것으로 제한되는 상황을 싫어한다(Martens et al. 2019b; Meuwissen et al. 2019). 학습자의 냉소주의와 좌절감은 이전에 교사들과 논의한 도전의 결여 또는 미해결 문제를 인지할 경우 증가한다(Carey 2013). '목소리 피로voice fatigue' 현상은 학습자들이 공동 창작이 그다지 중요하지 않다고 느껴서 참여하기를 꺼리는 것을 나타내는 것을 말하는 용어이다. 왜냐하면 그들은 수동적인 역할을 더 편안하다고 느껴 선호하거나, 교육과정에 대한 오너십을 느끼기 못하기 때문이다. 또한 참여에는 높은 작업량과 시간 제약이 수반되기 때문이며, 주로 자체 테스트 및 학습 진행과 관련이 있기 때문이다(Bovil et al. 2011; Carey 2013; Seal et al. 2015; Blau and Shamir-Inbal 2018; Martens et al. 2020).
Learner willingness to be involved
cannot be assumed. They dislike situations where their influence appears to be
limited to giving advice without actual involvement in the implementation
process (Martens et al. 2019b; Meeuwissen et al. 2019). Learners’ cynicism and frustration
increase if they perceive lack of action or non-resolution of challenges
previously discussed with teachers (Carey 2013). The phenomenon of ‘voice fatigue’ has
been reported to indicate learners’ reluctance to involvement in co-creation
because it is not important enough to them (self-interest instead of a more
altruistic motivation to let future learners benefit), because they prefer a
more comfortable, passive role or feel a lack of ownership over the curriculum
or course, because involvement is accompanied by a high workload and time
constraints, or because they are primarily concerned with own tests and study
progress (Bovill et al. 2011; Carey 2013; Seale et al. 2015; Blau and Shamir-Inbal 2018; Martens et al. 2020).
교사들의 당면 과제
Challenges
for teachers
통제와 불안감 포기
Giving
up control and feelings of insecurity
공동 창조를 위해서는 교사들이 오랫동안 유지되어 온 역할과 책임, 권력 관계에 대한 가정을 재정의해야 하며, 이는 불안정을 초래할 수 있다(Cook-Sather와 Luz 2015; Bergmark와 Westman 2016; Marquis et al., 2017). 교사들은 일반적으로 교육을 통제하는 것을 선호하며, 공동 창작이 불만, 비난 및 비판에 초점을 맞출 수 있다는 우려와 재설계 과정의 결과를 예측할 수 없을 수 있다는 가능성으로 인해 훼손될 수 있다(Kadi-Hanifi et al. 2014; Bergmark and Westman 2016; Bobil 2019). 그들은 커리큘럼의 요소들에 대한 통제권을 포기한다는 생각에 위협을 느낄 수 있는데, 이는 부분적으로 그들이 교육에 대한 책임을 느끼기 때문이며, 부분적으로는 그들의 콘텐츠 전문지식이 그들에게 그것에 대한 권한을 준다고 가정하기 때문이다(Bobil et al. 2011; Bobil 2013a; Bobil 2019). 또한 어느 정도의 권력을 포기하는 것은 기관 내부의 취약성과 고용 안정성에 대한 불확실성을 야기할 수 있다(Matthews et al. 2018). 특히 이러한 계층 구조의 해체가 동료들과 함께 집단적으로 수행되지 않는 경우, 개별 교사가 대학의 기존 계층적 환경을 변경하기는 어렵다(Marquis et al. 2017).
Co-creation requires teachers to
redefine long-held assumptions about roles and responsibilities, and power
relations, which can lead to insecurity (Cook-Sather and Luz 2015; Bergmark and Westman 2016; Marquis et al. 2017). Teachers generally prefer to be in
control of teaching and this can be undermined by fears that co-creation may
focus on complaints, blame and critique, and the possibility that outcomes of
the re/design process can be unpredictable (Kadi-Hanifi et al. 2014; Bergmark and Westman 2016; Bovill 2019). They can feel threatened
by the idea of giving up control of elements in the curriculum, partly because
they feel responsible for the teaching and partly because they assume that their
content expertise confers them authority over it (Bovill et al. 2011; Bovill 2013a; Bovill 2019). Giving up some power
might also raise feelings of vulnerability within the institution and
uncertainty about job security (Matthews et al. 2018). It is difficult for individual teachers
to change the existing hierarchical climate in universities, especially if
deconstructing of such hierarchies is not done collectively with colleagues
(Marquis et al. 2017).
학습자가 가치를 더하지 못할 수 있다는 회의
Skepticism
that learners may not add value
교사는 학습자가 공동 창작에 효과적으로 참여할 수 있는 능력에 대해 회의적일 수 있습니다(Cook-Sather 및 Luz 2015). 교사들은 때로 학습자를 진지하게 받아들이고 공동 창작에 참여시키는 데 장애가 되는 학습자의 기여의 가치를 인식하지 못하거나 과소평가한다(Bobil 2013a, Bobil et al., 2016; Matthews et al., 2018). 교사들의 학습자 기여도에 대한 과소평가는 학습자가 종종 교사 기대치를 초과하여 기여하는 현실과 대조된다(Bobil 2013a). 그러나 이러한 빛나는 경험을 위해, 교사들은 우선 학습자의 말에 귀를 기울이고 그들의 견해를 진지하게 받아들여야 한다(Bobil 2013a; Meewissen et al., 2019).
Teachers can be skeptical about
learners’ capabilities to engage effectively in co-creation (Cook-Sather and
Luz 2015). Teachers sometimes either do not
recognize, or underestimate, the value of learners’ contributions, which is a
barrier to taking them seriously and involving them in co-creation
(Bovill 2013a; Bovill et al. 2016; Matthews et al. 2018). Teachersˊ underestimation of learner contributions contrasts with
the reality where learners often contribute beyond teacher expectations (Bovill2013a). For such illuminating experiences,
teachers, however, first have to really listen to learners and take their views
seriously (Bovill 2013a; Meeuwissen et al. 2019).
변화를 위한 개방 시 위협 인식
Perceived
threats in opening up for change
교사들은 기꺼이 반성하고 그들 자신의 기술을 계속 발전시킬 필요가 있다.
'차이에 대한 전형적인 반응은 그것을 이상하고 위협적으로 보는 것이고, 똑같이 보이는 사람들과 함께 뭉치려고 하는 것이기 때문에, 고등교육에 있는 우리 모두가 우리를 더 큰 공감과 거기서부터 다른 사람에 대한 깊은 이해로 이끄는 방식으로 우리의 위치, 관점, 정체성을 재고하는 것이다.' (Cook-Sather 2015, 21페이지)
많은 선생님들은 특히 시간이 제한된다면, 교육적인 습관과 익숙한 교수법을 고수하는 경향이 있다. 학습자 피드백과 제안에 기초한 아이디어와 의견 변경은 위협적으로 보일 수 있습니다(Seal et al. 2015).
Teachers need to be willing to
reflect and continue to develop their own skills.
‘Since the typical
reaction to difference is to see it as strange and threatening and to seek to
band together with people who seem the same, what is needed is for those of us
in higher education to rethink our positions, perspectives, and identities in
ways that move us toward greater empathy and from there to deeper understanding
of one another’ (Cook-Sather 2015, pp. 21).
Many teachers tend to stick to
pedagogic habits and familiar ways of teaching, especially if time is limited
(Bovill 2013a). Changing ideas and opinions, based on
learner feedback and suggestions, can seem threatening (Seale et al. 2015).
학습자와 의사소통하는 일반적인 방법은 더 이상 적합하지 않습니다.
Usual
way of communicating with learners no longer fits
공동 생성 프로세스 중에 대화 프로세스를 촉진하는 것도 어려울 수 있습니다. 교사는 개방적인 태도가 필요하며 학습자가 접근할 수 있어야 한다(Meuwissen et al., 2019; Martens et al. 2020). 공동창조의 목적은 이해관계자의 다양한 관점을 통합하는 것이지만, 이는 공통점을 찾기 어려울 수 있음을 의미한다(Marquise et al. 2017). 특히 대화의 톤이 자동으로 조화를 이루지 못하는 경우 더 큰 그룹의 학습자를 참여시키는 것은 매우 어려운 일이 될 수 있습니다. 학습자 그룹은 문제를 일으킬 수도 있고 프로세스에 참여하고 공동 책임을 지는 데 저항할 수도 있습니다(Bovil 2019). 일반적으로, 대화가 부정적인 문제와 불만 사항에만 너무 많은 경우, 이는 긍정적인 측면에 초점을 맞추어야 하는 대화의 건설적인 진행을 방해할 수 있다(Carey 2013). 교사들은 학습자와 새로운 종류의 대화를 하기 위해 강력한 의사소통 기술을 개발해야 한다(Enright et al., 2017; Marquis et al., 2017).
Facilitating the conversation process
during the co-creation process can be a challenge as well. Teachers need an
open attitude and need to be approachable for learners (Meeuwissen
et al. 2019; Martens et al. 2020). In co-creation the aim is to bring
different perspectives of stakeholders together, but this implies that it can
be difficult to find common ground (Marquis et al. 2017). Involving larger groups of learners can
make it extra challenging, especially if the tone of the conversation is not
automatically in good harmony; learner groups can be problematic or resistant
to engage and take co-responsibility for the process (Bovill 2019). Generally,
if the conversation is too much about negative issues and complaints only, this
can hamper the constructive progress of the conversation, which also requires
focus on positive aspects (Carey 2013). Teachers need to develop strong
communication skills to have this new kind of conversations with learners
(Enright et al. 2017; Marquis et al. 2017).
기관 차원의 과제
Challenges
at the institutional level
지원부족
Lack
of support
공동창조 이니셔티브를 [명시적으로 지원하지 않고, 헌신적인 시간을 할애하지 않고, 교사와 학습자가 이러한 이니셔티브를 수행할 수 있도록 지원하고 권한을 부여하지 않는 기관]은 공동창조의 구현을 제한합니다(Björklund et al., 2019). 열성적인 교사와 학습자는 대개 추가 노력을 기울이고 추가 작업량을 수용할 용의가 있지만, 더 넓은 범위에서 모범 사례를 구현하려면 전통적인 구조와 추가 자원의 변화가 필요하다(Björklund et al., 2019).
Institutions that do not to overtly support co-creation initiatives, set aside dedicated time, and enable and empower teachers and learners to work on these initiatives, limit the implementation of co-creation (Björklund et al. 2019). Enthusiastic teachers and learners are usually willing to put in the extra effort and accept the extra workload, but implementing best practices on a broader scale needs changes in traditional structures and additional resources (Björklund et al. 2019).
시간 문제는 공동 회의를 계획하기 위한 시간 확보의 어려움, 초기 교육 방법 및 자료를 개정하기 위한 추가 작업을 위한 시간 부족, 오랜 기간 지속된 약속과 대화를 위한 제한된 시간과 관련이 있으며, 이는 열린 아이디어 교환을 위한 신뢰의 맥락을 만드는 데 필요합니다(Seal et al., 2015; Gros and Lopez). 2016; Marquis et al., 2017; Bobil 2019) 자금이나 전용 시간이 없고 활동이 공식 커리큘럼에 따라 계획되는 경우 시간 문제는 특히 어렵다(Marquise et al. 2017).
Time issues are related to difficulties
in finding time for planning joined meetings, lack of time for the extra work
for revising earlier education methods and materials, and limited time for
long-lasting commitments and dialogue over time, which are needed to create a
context of trust for open exchange of ideas (Seale et al. 2015; Gros and López 2016; Marquis et al. 2017; Bovill 2019). Time issues are
particularly challenging if no funding or dedicated time is available and
activities are planned alongside to the formal curriculum (Marquis
et al. 2017).
인식부족
Lack
of recognition
교육기관은 학습자가 자신의 투입이 어떻게 사용되고 구현되었는지 학습자에게 신중하게 보고하지 않을 경우 학습자의 참여를 유도할 수 있다(Carey 2013; Meuwissen et al., 2019). 이러한 노력에 대한 교사의 인식 부족은 잠재적으로 문제일 수 있다(Martens et al. 2020). 이는 직업 안정성에 대한 인식된 위협을 야기하지 않고 교사의 일부 위험 부담을 허용하는 안전한 문화의 결여이다(Matthews et al., 2018). 기존의 제도적 구조, 관행 및 규범은 공동창조를 인정하거나 가치 있게 여기지 않을 수 있으며, 이는 그 구현을 방해한다(Bergmark and Westman 2016; Bobil et al., 2016; Matthews et al., 2018). 이해당사자의 역할의 명확성 부족은 공동창작에서 학습자와 교사의 역할이 명확하게 정의되거나 전달되지 않으면 과정에 관련된 사람들 사이에 오해와 기대의 불일치를 야기할 수 있기 때문에 장벽이 될 수 있다(Martens et al. 2019).
Institutions might demotivate
learners to engage if they do not carefully report back to learners how their
input has been used and implemented (Carey 2013; Meeuwissen et al. 2019). Lack of teacher recognition for the
effort is potentially a problem (Martens et al. 2020), as is a lack of a safe culture to allow
some risk taking for teachers, without causing perceived threats to job
security (Matthews et al. 2018). Traditional institutional structures,
practices and norms may not recognize or value co-creation, which hampers its
implementation (Bergmark and Westman 2016; Bovill et al. 2016; Matthews et al. 2018). Lack of clarity of the roles of
stakeholders can be a barrier as learner and teacher roles in co-creation not
being clearly defined or communicated can cause misunderstanding and
misalignment of expectations between those involved in the process (Martens
et al. 2019).
표 1은 교육에서 학습자, 교사 및 기관의 수준에서 공동 창조 과정의 주요 과제를 요약한다.
Table 1 summarizes the main
challenges in the co-creation process in education, at the level of learners,
teachers and institutions.
Table
1. Challenges in the co-creation process.
공동창조의 이론적 원칙
Theoretical
principles in co-creation
공동창조의 구현에 대한 도전과 접근방식에 대한 이해를 심화시키는 데 세 가지 핵심 교육 이론이 사용될 수 있다. 자기결정론, 위치결정론, 심리안전에 관한 이론.
Three key educational theories can be
used to deepen our understanding of challenges and approaches to implementation
of co-creation: Self-Determination Theory, Positioning Theory and theory on
Psychological Safety.
자기결정론
Self-Determination
Theory
자기결정론(SDT)의 이론적 원칙은 개인의 내재적 동기를 강화하는 세 가지 핵심 심리적 요구를 설명한다. 자율성, 관련성 및 역량이다(Ryan과 Deci 2000, 2017). 자율성은 교사가 선택권을 제공하고 학습자의 의견과 의견이 환영받을 때 촉진할 수 있다(Ryan 및 Deci 2000). 관련성(Relatedness)은 사회적 연결성에 대한 욕구와 관련이 있으며, 한 그룹에 속해 있으며 다른 사람들 사이에서 중요하게 느끼고 있다(Ryan 및 Deci 2017). 공동 창작에는 교사와의 협업과 상호의존성이 필요하다. 문헌 보고서에 따르면 학습자가 교사와 동료에 더 많이 연결되어 학습자-교사 관계가 개선되었다고 느끼는 것으로 나타났다(Bobil 2013a, 2019). 마지막으로, 역량은 숙달된 느낌과 자신의 행동에 효과적인 느낌을 나타낸다. (Ryan과 Deci 2017).
Theoretical principles of the Self-Determination Theory (SDT) describe three key psychological needs that enhance individual’s intrinsic motivation: autonomy, relatedness and competence (Ryan and Deci 2000, 2017). Autonomy can be fostered when teachers offer choices, and when learners’ opinions and inputs are welcomed (Ryan and Deci 2000). Relatedness concerns the desire of social connectedness, belonging to a group and feeling significant among others (Ryan and Deci 2017). Co-creation requires collaboration and interdependency with teachers; literature reports indicate that learners feel more connected to teachers and peers resulting in improved learner-teacher relationships (Bovill 2013a, 2019). Finally, competence refers to a feeling of mastery and being effective in one’s actions (Ryan and Deci 2017).
공동창조의 구현은 이 세 가지 니즈를 충족시켜야 한다. 교사와 학습자가 공동 창작에서 관련되고, 소통하며, 협력하는 방식은 역할 및 책임의 변화, 권력 관계, 양방향 대화 측면에서 일반적인 교육 상황과 다릅니다. 학습 문화는 교사와 학습자 관계를 적극적으로 장려하고 관계를 증진하기 위한 권력 격차를 해소해야 한다. 자율성을 향상시키기 위해 교사는 학습자에 의한 학습 및 강의/과정 설계에 대해 의견을 요청할 수 있어야 하며, 이를 개선을 목표로 하는 건설적인 피드백으로 간주해야 한다. 또한 학습자는 자신의 의견이 통합되고 우려 사항이 해결되고 있음을 확신해야 한다. 교육 경험에 대해 정말로 듣고 진지하게 생각하는 학습자는 교육에 대한 전문 지식을 인정recognition하고 있습니다(Cook-Sather et al., 2014). 공동창조 과정에서의 교사와 학습자를 훈련시키고 교육 이니셔티브를 설계할 때 모든 의견을 명시적으로 사용하는 것은 모든 면에서 능력의 감정을 자극할 수 있다. 요약하자면, 효과적인 공동창조 접근법은 교사와 학습자의 자율성과 역량을 존중하는 동시에 교사와 학습자 사이의 강력하고 존경스러운 관계를 촉진하는 데 초점을 두어야 한다.
Implementation of co-creation
requires that these three needs are met. The way teachers and learners feel
related, communicate, and collaborate in co-creation differs from typical
teaching situations in terms of changing roles and responsibilities, power
relations, and bidirectional conversations. The learning culture should
actively promote teacher-learner relationships and address the power gap to
promote relatedness. To enhance autonomy, teachers should be open to
questioning their teaching and lesson/course design by learners, viewing it as
constructive feedback that targets improvement, while learners should be
convinced that their input is incorporated and concerns are being addressed.
Learners who feel really heard and taken seriously regarding their experiences
in education perceive recognition of their expertise on education (Cook-Sather
et al. 2014). Training teachers and learners in the
process of co-creation and explicitly using all opinions in designing
educational initiatives can stimulate feelings of competence on all sides. In
summary, effective co-creation approaches should focus on respecting teachers’
and learners’ autonomy and competence, while facilitating strong, respectful
relationships between teachers and learners.
포지셔닝 이론
Positioning
Theory
포지셔닝이론은 사람들이 상호작용하는 동안 특정한 위치를 차지한다고 말한다; 이러한 위치들은 권리와 의무와 연관되어 있고 그들의 행동을 인도한다. (Van Langenhove와 Harré 1999) 각 개인은 대화와 상호 작용에서 자신뿐만 아니라 다른 사람에게도 위치를 할당합니다. 또한 포지션은 맥락과 문화에 따라 역동적이며 무엇을 해야 할지뿐만 아니라 하지 말아야 할 것도 안내한다. 포지셔닝 이론은 강의실의 사회 관행과 임상 감독자와 학습자 간의 상호작용을 분석하는 데 사용되었습니다(McVee et al. 2011; Georgakopou 2013; Sargeant et al. 2017).
The Positioning Theory states that people assume certain positions during interactions; these positions are associated with rights and duties and guide their actions (Van Langenhove and Harré 1999). Each individual assigns a position to him/herself as well as to others in conversations and interactions. Positions are also dynamic, depending on the context and culture and guide not only what to do but also what not to do. Positioning Theory has been used to analyze social practices in classrooms and interactions between clinical supervisors and learners (McVee et al. 2011; Georgakopoulou 2013; Sargeant et al. 2017).
교사와 학습자는 여러 해 동안의 교육 경험을 바탕으로 강의와 학습 과정에서 서로의 입장에 대한 뿌리 깊은 이해를 발전시켜 왔습니다. 따라서, 공동 창작은 역할과 책임을 바꾸고, 권력 관계를 조정하고, 학습자의 목소리를 심각하게 받아들이는 어려움을 야기시킬 수 있습니다. 이 이론의 원칙은 교육 공동창조에 적절하고 해당하며, 여기서 교사와 학습자 및 기타 이해관계자는 역할(직위)의 구축에 협력해야 하며 역할, 과제 및 교육 결과에 대한 공통된 이해를 얻을 필요가 있다.
Teachers and learners have developed a
deeply rooted understanding of their mutual positions in the process of
teaching and learning, based on experiences in education over many years.
Therefore, co-creation can cause struggles with changing roles and
responsibilities, adapting power relations, and taking the learner voice
seriously. Tenets of this theory are relevant and applicable to co-creation of
education, where teachers and learners and other stakeholders need to
collaborate in construction of their roles (positions), and need to reach a
shared understanding of roles, tasks and educational outcomes.
심리적 안전성에 관한 이론
Theory
on Psychological Safety
심리 안전에 관한 이론은 효과적인 공동창조 노력에 대한 이해에 기여할 수 있다. 심리적 안전은 [변화와 불확실성을 촉발할 수 있는 맥락에서 사회적 위험을 감수하는 개인의 인식]과 관련이 있다. 개인이 공유된 결과를 위해 어떻게 협력하는지를 고려하는 것은 중요한 측면이다. 심리적 안전의 환경을 인지할 때, 자기 보호와 같은 자신의 관심사가 아닌 [집단적인 목표]에 집중할 수 있다(Edmondson 및 Lei 2014). 학습자-교사 관계에서 심리적인 안전성의 부족은 학습자들 사이에 참여하려는 동기부여의 부족뿐만 아니라 학습자들의 말에 귀를 기울이고 피드백과 반성을 위해 개방할 수 있는 제한된 교사 동기를 유발시킬 수 있다.
Theory on Psychological Safety can contribute to the understanding of effective co-creation efforts. Psychological safety concerns individual perceptions of taking social risk in a context that could trigger change and uncertainty. It is an important aspect to consider in how individuals work together toward a shared result. When one perceives an environment of psychological safety, one can focus on collective objectives, rather than on own interests such as self-protection (Edmondson and Lei 2014). Lack of psychological safety in the learner-teacher relationship can cause lack of motivation among learners to engage, as well as limited teacher motivation to listen to learners and open up for feedback and reflection.
심리적인 안전은 목소리를 크게 하거나 목소리를 높여 하는 행동과 연결되어 있는데, 이는 예를 들어 윗사람과 같은 건설적인 언어 소통으로 정의된다. 목소리를 높이는 것은 일반적인 의사소통 패턴(Edmondson and Lei 2014)에 도전하고 있으며, 이는 권력 관계와 위계를 의미 있게 변화시키는 것을 꺼리는 것으로 반영됩니다. 목소리를 높여 말하면 품질 향상에 대한 대화를 자극할 수 있지만(Edmondson과 Lee 2014) 심리적 안전성에 대한 인식은 보통 학습자가 자신의 생각을 공유하는 위험을 감수하기에는 충분하지 않은 경우가 많다(Detert와 Edmondson 2011). 교사들은 [접근하기 쉽고, 자신의 결점을 인정하고, 학습자의 의견을 능동적으로 질문함]으로써 심리적 안전을 도모할 수 있다. 이들은 공동창조를 학습 경험이면서 학습자의 입력과 피드백에 정중하고 감사하게 반응하는 상호 학습 과정으로 구성할 수 있습니다(Nembhard and Edmonds on 2006; Edmondson 2018).
Psychological safety has been connected to speaking-up or voice behavior, defined as constructive verbal communication that is directed upwards, for example a superior. Speaking-up challenges usual communication patterns (Edmondson and Lei 2014), reflected as reluctance to meaningfully change power relations and hierarchy. Speaking up can stimulate a dialogue on quality improvement (Edmondson and Lei 2014), however, perceptions of psychological safety are often insufficient for learners to risk sharing their thoughts (Detert and Edmondson 2011). Teachers can promote psychological safety by being accessible, acknowledging their own imperfections, and by proactively asking learners’ input. They can frame co-creation as a mutual learning process in which making mistakes is a learning experience and by responding respectfully and appreciatively to learners’ input and feedback (Nembhard and Edmondson 2006; Edmondson 2018).
마지막으로, 기관들과 그들의 전통적인 구조들은 교사들에게 공동창조에 참여하고, 어떤 통제권을 포기하는 실험을 하고, 피드백이나 반성을 위해 개방하는 데 필요한 심리적 안전성을 제공하지 않을 수 있다. 그러므로 공동창조의 실행을 위해서는, 안전한 분위기를 자극하여 모든 사람들이 생각과 아이디어를 공개적으로 공유하도록 하는 것이 중요하다.
Finally, institutions and their traditional structures might not provide teachers with the necessary psychological safety to engage in co-creation, to experiment with giving up some control and open up for feedback or reflection. For implementation of co-creation, thus, stimulating a safe climate to openly share thoughts and ideas among all is crucial.
표 2는 이 세 이론의 원칙이 교육 관행의 공동창조의 구현에 미치는 영향을 요약한다. 그것은 그들이 각기 다른 방식으로 학습자와 교사 사이의 관계를 존경스럽고 개방적이며 안전한 파트너쉽으로 재구성할 필요성을 지적한다는 것을 보여준다.
Table 2 summarizes the
implications of the principles of these three theories on the implementation of
co-creation of educational practice. It shows that in different ways they all
point to the need to reframe relationships between learners and teachers as
respectful, open and safe partnerships.
Table
2. Theory-inspired directions to overcome challenges in co-creation.
실용적 접근법
Practical
approaches
설명한 과제에 대한 해결책을 제공할 때, 우리는 공동창조를 효과적으로 구현하기 위한 가능한 접근법에 대한 개요를 제공할 것이다. 첫째, 학습자와 교사 각각에 대한 과제를 구체적으로 해결하는 접근방식이 설명된다. 교사를 위한 접근방식은 작업장 파트너, 교육 설계자, 연구원 또는 소프트웨어 개발자와 같은 다른 이해 관계자와 관련이 있을 가능성이 높다는 점을 강조해야 한다. 그런 다음, 학습자와 교사 간의 효과적인 협력에 기여하는 접근방식을 팀으로서 설명한다. 마지막으로, 교육 설계에서 공동 창작에 관심이 있는 기관에 대한 권고사항이 제공될 것이다.
In providing solutions to the
described challenges, we will give an overview of possible approaches to
effectively implement co-creation. First, approaches are described that
specifically address the challenges respectively for learners and teachers. It
should be emphasized that approaches for teachers are likely to be relevant for
other stakeholders such as workplace partners, educational designers,
researchers or software developers. Then, approaches are described that contribute
to effective collaboration among learners and teachers as a team. Finally,
recommendations will be given to institutions interested in co-creation in
educational design.
학습자를 참여시키는 방법에 대한 접근법
Approaches
on how to involve learners
학습자 수준에서 과제를 극복하기 위해, 교사와 기관은 다음 네 가지 전략을 사용할 수 있다: 학습자 참여 동기 부여, 말하기 안전 보장, 학습자가 필요한 기술 개발 지원, 공동 창작자 역할의 성취를 자극한다.
For overcoming challenges at the
learner level, teachers and institutions could use the following four
strategies: motivate learner engagement, ensure safety to speak up, support
learners in developing necessary skills, and stimulate fulfilment in their role
of co-creator.
학습자가 공동 창작에 참여하는 동기를 부여합니다.
Motivate
learner engagement in co-creation
학습자의 동기부여와 관심을 높이기 위해서는 관심 분야, 열정, 사전 경험 및 기술을 평가하는 것이 중요합니다. 또한, 공동 창작 과정뿐만 아니라 과정 자체에서도 학습자 역할을 숙지하는 것이 필수적입니다. 다음과 같은 잠재적 전략을 제안합니다.
To raise learners’ motivation and
interest, it is important to assess their areas of interest, passion, prior
experience and skills. In addition, it is essential to familiarize learner
roles in the co-creation process as well as the process itself. We suggest the
following potential strategies:
· 학습자의 마음에 가까운 프로젝트에 참여하도록 학습자를 초대해야 합니다(Brown 2019).
·Learners must be invited to participate in projects that are close to learners’ hearts (Brown 2019).
· 학습자의 참여는 공동 창작에 있어 자신의 경험과 기술에 부합해야 합니다. 공동 창작 경험이 제한된 학습자의 경우, 전체 커리큘럼을 공동 작성하는 대신 먼저 과정 또는 모듈의 설계/재설계에 초점을 맞추어 소규모로 시작하십시오(Cook-Sather et al., 2014; Moore-Cherry et al., 2016).
·Learner involvement must fit their level of experience and skills in co-creation. For learners with limited experience in co-creation, start small by first focusing on the design/redesign of a course or module, instead of co-creating a whole curriculum (Cook-Sather et al. 2014; Moore-Cherry et al. 2016).
· 학습자가 프로세스에 쉽게 참여할 수 있도록 학습자 참여 수준을 점차적으로 높이는 것을 고려합니다. 예를 들어 학습자에게 자신과 공명하는 영역에 대한 선택권이나 제한적인 제어권을 먼저 제공합니다(Bobil 및 Bulley 2011).
·Consider gradually increasing levels of learner involvement to ease them into the process, for example by first providing learners with choices or limited control of areas that resonate with them (Bovill and Bulley 2011).
· 학습자가 자신의 전문 지식을 훨씬 넘어서는 일을 하지 않아도 되는지 확실히 한다 (Bovil et al., 2016)
·Ensure that learners are not required to work far beyond their expertise (Bovill et al. 2016).
· 학습자가 자발적으로 공동 창작에 참여하는 것이 가장 좋습니다. 학습자가 참여하고자 하는 이유와 공헌할 수 있다고 생각하는 내용에 대한 서한을 제출하여 공동 창작에 참여할 수 있도록 해야 합니다(Cook-Sather 및 Luz 2015; Jensen 및 Bennett 2016).
·It is best when learners voluntarily engage in co-creation. It has been suggested to let learners apply for involvement in co-creation by submitting a letter on why they want to participate and what they think they are able to contribute (Cook-Sather and Luz 2015; Jensen and Bennett 2016).
· 이상적으로, 공동 창작에 참여하도록 선택된 학습자는 다음과 같은 동기를 부여받습니다.
교육 향상에 기여한다(Geraghty et al. 2020; Martens et al. 2020).
능동적이고 비판적인 태도를 유지한다(Meuwissen et al., 2019; Geraghty et al. 2020).
열린 마음을 가지고 있습니다, 그리고
자신감 및 외교를 보여야 한다(Marquis et al., 2019; Meewissen et al., 2019).
·Ideally, learners selected to engage
in co-creation are motivated to contribute to the improvement of education
(Geraghty et al. 2020; Martens et al. 2020), hold a proactive and critical attitude
(Meeuwissen et al. 2019; Geraghty et al. 2020), are open minded, and show
self-confidence and diplomacy (Marquis et al. 2019; Meeuwissen et al. 2019).
안전하게 발언할 수 있도록 보장
Ensure
safety to speak up
학습자가 자신의 생각과 아이디어를 교사들과 공유할 수 있도록 편안함과 안전성을 개발하는 것은 다음 전략에 의해 촉진될 수 있다.
Developing comfort and safety in learners to share their thoughts and ideas with teachers can be stimulated by the following strategies:
· 이미 커리큘럼에 이른 학습자를 참여시키기 시작하므로, 학습자는 작업 방식에 익숙해지고 자신감을 기를 수 있습니다(Moore-Cherry et al., 2016; Peters et al., 2019).
·Start involving learners already early in the curriculum, so they get used to the way of working and develop self-confidence (Moore-Cherry et al. 2016; Peters et al. 2019).
· 학습자와 교사가 공식적인 평가 관계(Enright et al., 2017)에 참여하거나, 그러한 평가의 초점을 종합적 피드백에서 형성적 피드백으로 변경할 경우 학습자와 교사가 공동 작성 과정에 개입하지 않도록 한다.
·Avoid the involvement of learners and teachers in a co-creation process if they are also involved in a formal assessment relation (Enright et al. 2017) or change the focus of such assessments from summative to formative feedback (Englander et al. 2019).
· 공동 창작에 관련된 교사들과 (과거, 현재 또는 미래) 연관성이 없는 학습자를 참여시키는 것을 고려합니다(Cook-Sather와 Luz 2015; Jensen과 Bennett 2016).
·Consider involving learners that have no (past, current or future) connection to the teachers involved in co-creation (Cook-Sather and Luz 2015; Jensen and Bennett 2016).
· 대면 대화에 대한 창의적 대안을 생각해 보십시오. 즉, 학습자가 당면한 코스에 대해 가상의 친구에게 편지를 쓰도록 초대합니다. 따라서 학습자는 자신의 생각을 교사들과 공유하는 방법에 대해 더 많은 선택권과 통제력을 가질 수 있습니다(Seale 2009).
·Think about creative alternatives to face-to-face conversations, like inviting learners to write a letter to an imaginary friend regarding the course at hand, so learners have more choice and control about how they share their thoughts with teachers (Seale 2009).
· 저항이 있는 경우, (교사 참석 여부에 관계없이) 학습자의 관심사에 대해 공개 토론합니다(Deeley 및 Bobil 2017).
·In case of resistance, have an open
discussion with learners about their concerns (with or without teachers being
present) (Deeley and Bovill 2017).
학습자가 필요한 스킬을 개발할 수 있도록 지원
Support
learners in developing necessary skills
공동 생성 프로세스를 시작할 때 학습자에게 약간의 교육을 제공하는 것이 유익합니다. 교육 세션은 리더십 기술, 교사에게 건설적이고 질적인 피드백 제공, 교사(Jensen and Bennett 2016; Sstalmeijer et al., 2016) 및 갈등 해결, 프로그램 평가 및 커리큘럼 설계(G.에러티 등 2020). [교사에게 유용한 피드백을 주는 기술]은 잠재적으로 교사와의 공동 세션에서 훈련될 수 있다(Dudek et al. 2016; Myers and Chou 2016). 코디네이터/멘토 또는 코디네이터가 이 과정에서 특별 개별 지원을 제공하고, 공동 창작에 참여하는 다른 학습자와 정기적인 미팅을 구성하여 공동 창작에 기여하는 경험과 모범 사례를 논의할 수 있습니다(Cook-Sather 및 Luz 2015; Scott et et al., 2019).
Providing learners some training at
the start of the co-creation process is beneficial. Training sessions can focus
on leaderships skills, on providing constructive and quality feedback to
teachers, and on feeling empowered and confident to engage and bring in their
perspective in discussions with teachers (Jensen and Bennett 2016; Stalmeijer et al. 2016), as well as on conflict resolution,
program evaluation and curriculum design (Geraghty et al. 2020). Skills for giving useful feedback to
teachers can potentially be trained in a joint session with teachers (Dudek
et al. 2016; Myers and Chou 2016). Extra support can be provided during
the process by a coordinator/mentor, providing ad hoc individual support and
organizing regular meetings with other learners involved in co-creation to
discuss experiences and best practices in contributing to the co-creation
(Cook-Sather and Luz 2015; Scott et al. 2019).
공동창조자 역할의 성취를 자극합니다.
Stimulate
fulfilment in the role of co-creator
공동 창작에 참여하는 것을 건설적이고 보람 있는 경험으로 보는 것은 공동 창작 프로젝트에 기여하도록 동기를 부여하기 위해 학습자들에게 중요합니다. 이행률을 높이는 전략은 다음과 같습니다.
Seeing involvement in co-creation as a constructive and rewarding experience is important for learners, for staying motivated to contribute to a co-creation project. Strategies that increase fulfillment could be:
· 학습자는 무엇이 잘 작동하는지와 현재 교육 설계의 강점에 초점을 맞춰 시작할 수 있도록 자극받아야 합니다. 긍정적인 관점에서 출발하면 교사와의 신뢰 관계를 구축하는 데 도움이 되며, 이는 또한 더 어려운 문제를 논의할 수 있어야 한다(Könings et al. 2010a, Cook-Sather et al., 2018).
·Learners must be stimulated to start with a focus on what works well and on the strengths of the current educational design. Starting from a positive point of view helps to build a trusting relationship with teachers, which is needed to be able to also discuss more difficult issues (Könings et al. 2010a; Cook-Sather et al. 2018).
· 학습자는 '불만 문화'에서 벗어나 교육적 과제에 대한 해결책을 생각해야 합니다(Carry 2013).
·Learners should move away from a complaints culture and think about solutions to educational challenges (Carey 2013).
· 학습자는 주로 학습자 피드백을 수집하고 이를 교사들과 논의하는 역할을 담당하는 컨설턴트 역할을 할 수 있습니다(Cook假Sather 2009; Milles et al., 2019; Scott et al., Gerahty et al., 2020).
·Learners could take responsibilities to act as consultants who are mainly in charge of collecting learner feedback and discussing this with the teachers (Cook‐Sather 2009; Milles et al. 2019; Scott et al. 2019; Geraghty et al. 2020).
· 공동 창작에 직접 관여하지 않은 다른 학습자의 연락 담당자로 자리매김함으로써, 다른 학습자가 경험한 문제에 대한 정보를 수집합니다(Könings et al. 2010b, Gerahthy et al. 2020). 이는 효과적일 뿐만 아니라 개인적으로도 보상하는 역할입니다.
·By positioning themselves as contact
persons to other learners, who are not directly involved in the co-creation,
they collect information about issues experienced by others (Könings
et al. 2010b; Geraghty et al. 2020), which is an effective as well as
personally rewarding role.
공동 창작에 참여하고자 하는 교사들을 위한 접근법
Approaches
for teachers who want to get involved in co-creation
공동창작에 대한 교사의 도전을 극복하기 위해, 공동창작 과정을 지원하는 교직원 개발자는 물론, 학습자와의 공동창작에 대한 자신감을 쌓고, 학습자의 말을 진지하게 경청하며, 공동창작을 위한 교원기술의 전문화에 투자하는 다음과 같은 전략을 추천할 수 있다.
For overcoming teachers’ challenges
in co-creation, the following strategies can be recommended to teachers as well
as faculty developers who support the co-creation process: build confidence in
co-creation with learners, listen seriously to learners, and invest in
professionalization of teacher skills for co-creation.
학습자와의 공동 창작에 대한 자신감 쌓기
Build
confidence in co-creation with learners
교사(학습자와 마찬가지로)는 자발적으로 공동 창작에 참여하는 것이 가장 좋습니다(Cook-Sather et al., 2014; Jensen 및 Bennett 2016). 이상적으로 교사는 자신의 교육 관행을 변경하거나 개선해야 할 필요성을 느끼거나 특정 교육 측면(Bovil et al. 2016, Jensen and Bennett 2016)에 대한 피드백을 받고자 할 것이며, 교육의 지속적인 품질 향상에 전념할 것이다(Meuwisen et al., 2019). 공동 창작에 대한 (자체) 신뢰 구축에는 다음 전략이 도움이 될 수 있습니다.
Teachers (like learners) best engage in co-creation on a voluntary basis (Cook-Sather et al. 2014; Jensen and Bennett 2016). Ideally, teachers will feel a need for change or improvement of their educational practice or a wish to receive feedback on certain aspects of teaching (Bovill et al. 2016; Jensen and Bennett 2016), and will be dedicated to continuous quality improvement of education (Meeuwissen et al. 2019). For building (self-)confidence in co-creation the following strategies can be supportive:
· 커리큘럼과 같은 대규모 혁신 대신, 자체 관행과 연계된 소규모 이니셔티브로 시작(Bobil et al., 2016; Healey and Healey 2019)
·Start with small initiatives linked to the own practice, instead of a large innovation like a curriculum (Bovill et al., 2016; Healey and Healey 2019).
· 학습자 참여 수준을 학습자 및 교사의 역할 수행 능력으로 조정하고 필요한 책임을 지도록 합니다(Bovil 및 Bulley 2011).
·Adjust the level of learner involvement to learners’ and teachers’ ability to fulfill their roles and take the necessary responsibilities (Bovill and Bulley 2011).
· 학습자와의 기존 협업을 바탕으로 공동 창작의 구현이 용이하고 학습자가 참여해도 안전하다는 느낌을 높일 수 있습니다(Bovil et al. 2011).
·Build on existing collaborations with learners as this facilitates implementation of co-creation and increases feeling safe to involve learners (Bovill et al. 2011).
· 교육 학습자의 통찰력 중 어떤 측면을 환영하는지 사전에 파악합니다. 이는 공동창작에 대한 교사와 학습자의 사전 경험 수준을 설명하고 협업을 위한 안전한 환경을 조성하는 데 도움이 됩니다(Bovil and Woolmer 2019; Ruskin 및 Bilous 2020).
·Identify on forehand on which aspects of education learners’ insights are welcomed. This helps to account for teachers’ and learners’ level of prior experience in co-creation and create a safe environment for collaboration (Bovill and Woolmer 2019; Ruskin and Bilous 2020).
· 공동 창작에 관련된 다른 교사들과 연결하고, 경험을 공유하고, 서로의 연습에서 배우고, 아이디어를 모으고, 그 과정 동안 도전과 문제에 대해 총체적으로 반영합니다(Bobil 2013a, Bergmark and Westman 2016, Marquis et al., 2017).
·Connect to other teachers involved in co-creation, share experiences, learn from each other’s practice, gather ideas, and collectively reflect on challenges and issues during the process (Bovill 2013a; Bergmark and Westman 2016; Marquis et al. 2017).
· 교사들은 공동창조가 'uninformed 의사 결정이나, 학생들이 원하는 것을 무조건 들어주는 것은 아니라'는 점에서 [교육의 통제권을 포기하는 것을 의미하지 않는다]는 것을 알아야 한다(Deelley and Bobil 2017, 473 페이지). 결국 교사는 책임을 져야 한다(Deelley와 Bobil 2017; Martens 등 2020).
·Teachers should be informed that co-creation does not imply giving away control of education as it ‘does not entail uninformed decision-making or following students’ wishes in an unquestioning manner’ (Deeley and Bovill 2017, p. 473). In the end teachers are accountable (Deeley and Bovill 2017; Martens et al. 2020).
· 공동창조 과정에서 긍정적이고 건설적인 입장을 취할 때, 공동창조가 교사들에게 교수와 학습에서 무엇이 잘 작용하는지에 대한 통찰력을 제공하여 교사들 사이의 지속적인 전문성 성장을 자극한다는 것은 안심할 수 있다(Cook-Sather et al., 2018).
·When taking a positive and
constructive stance during co-creation, it is reassuring that co-creation gives
teachers insight in what works well in their teaching and learning, stimulating
continued professional growth among teachers (Cook-Sather et al. 2018).
학습자의 말을 진지하게 경청합니다.
Listen
to learners seriously
공동 창작이 공유 이니셔티브로 발전하기 위해서는 학습자의 목소리를 실제로 경청하고 진정한 관심을 보여주는 것이 중요합니다(Cook-Sather 2015, Cook-Sather 및 Luz 2015, Meewwissen et al., 2019). 이미 그 과정의 초기 단계에서, 교사들은 학습자들에게 그들의 통찰력과 생각이 듣고 중요하게 생각된다는 것을 분명히 해야 한다. 학습자를 경청하고 진지하게 생각하는 자세를 보여주기 위한 전략에는 다음이 포함됩니다.
For ensuring that co-creation develops as a shared initiative, really listening to learners’ voices and showing true interest are crucial (Cook-Sather 2015; Cook-Sather and Luz 2015; Meeuwissen et al. 2019). Already in early stages of the process, teachers have to make clear to learners that their insights and ideas are heard and considered important. Strategies to demonstrate willingness to listen and take learners seriously include:
· 피드백 제공 및 공유된 브레인스톰 또는 토론의 결과에 대한 조치(Carey 2013; Bobil 2013a, 2013b)
·Give feedback-on-feedback and act on the outcomes of shared brainstorms or discussions (Carey 2013; Bovill 2013a, 2013b).
· 학습자와 역할 및 책임에 대한 기대치를 전달하여 학습자가 자신의 참여를 실질적이고 의미 있는 것으로 인식하도록 합니다(Bovil 2013b, Gros 및 Lophez 2016, Bobil 및 Woolmer 2019, Martens et al. 2019b).
·Communicate expectations on roles and responsibilities with learners to ensure that learners perceive their involvement as real and meaningful (Bovill 2013b; Gros and López 2016; Bovill and Woolmer 2019; Martens et al. 2019b).
· 학습자를 직접 초대하여 의견을 제시하고 교육 및 학습 개선을 위한 협력 의사를 신중하게 표현(Dudek et al. 2016; Myers and Chou 2016) 자기 성찰과 개인적 취약성으로 대화를 시작하고 강한 경청 의지를 강조합니다(Myers and Chou 2016).
·Stimulate learners to speak up by
directly inviting them for feedback and carefully express intentions to
collaborate towards improving teaching and learning (Dudek et al. 2016; Myers and Chou 2016). Start such conversation with some
self-reflection and showing personal vulnerability to emphasize a strong
willingness to listen (Myers and Chou 2016).
공동창작을 위한 교원기술 전문화 투자
Invest
in professionalization of teacher skills for co-creation
교사들은 의사소통과 피드백에 관한 고급 기술을 개발해야 한다. 피드백 수신, 양방향 피드백 대화 자극, 협상 및 공유, 학습자 지원, 어렵고 위험한 대화를 촉진하는 기술(Bovil 2013b, Dudek et al. 2016, Myers and Chou 2016, Enright et al., 2017)을 포함하여 학습자와의 공동 창작 토론을 촉진하는 기술이 필요합니다. 이는 다음을 통해 달성할 수 있습니다.
Teachers must develop advanced skills regarding communication and feedback. They need skills in facilitating co-creation discussions with learners, including skills in feedback receiving, stimulating bidirectional feedback conversations, negotiating and sharing power, supporting learners, and also in facilitating difficult and risky conversations (Bovill 2013b; Dudek et al. 2016; Myers and Chou 2016; Enright et al. 2017). This can be achieved through:
· 교수 개발에서 트레이닝 세션 제공(Bovil 2013b, Dudek et al., 2016, Myers and Chou 2016)
·Training sessions provided by a faculty development unit (Bovill 2013b; Dudek et al. 2016; Myers and Chou 2016)
·Role modelling by teachers more experienced in co-creation (Martens et al. 2020)
· 학습자 역할의 공동 창작 프로젝트에 참여합니다(Enright et al., 2017).
·Getting oneself involved in a
co-creation project in the role of a learner (Enright et al. 2017).
교사와 학습자 간의 협업을 개선하는 방법에 대한 접근 방식
Approaches
on how to improve collaboration between teachers and learners
새로운 형태의 협업 과정에서 새로운 역할과 책임에 대해 학습자와 교사 모두가 직면하고 있는 공동의 과제를 극복하기 위해, 우리는 세 가지 전략을 제안합니다: 권력 차이 감소, 공동 책임 개발, 그리고 가치 향상 그리고 공동 창조 과정 개선.
To overcome shared challenges that
both learners and teachers face regarding new roles and responsibilities in a
new kind of collaboration process, we suggest three strategies: decrease the
power difference, develop shared responsibility, and value and improve the
co-creation process.
권력 차이를 줄입니다.
Decrease
the power difference
처음부터 학습자와 교사 사이의 위계적 위치를 인정하고 논의해야 한다(Freeman et al. 2014). 공동창작에서 학습자와 교사 사이의 일반적인 역할과 예상되는 차이(더 동등)에 대해 상세히 설명함으로써, 변화된 관계가 모든 사람에게 명확해져야 합니다(Freeman et al. 2014). 교사와 학습자를 [공동 학습자]로 간주하여 '교직원 및 학생 모두 상호 학습자로서의 새로운 정체성을 고려하고 제정할 수 있도록 허용한다.'(Mathews et al., 2018, 966 페이지) 좋은 관계를 발전시키는 데 있어, 존중과 상호 신뢰는 건설적이고 중요한 양방향 피드백 대화를 가능하게 하는데 중요하다(Freeman et al. 2014; Sargeant et al. 2018; Brown 2019; Ramani et al. 2019). 전력 차이를 제한하기 위한 가능한 전략은 다음과 같습니다.
Hierarchical positions between learners and teachers must be acknowledged and discussed from the start (Freeman et al. 2014). By elaborating on the usual roles and the expected different – more equal – relationship between learners and teachers in co-creation, changed relations must get clear to all (Freeman et al. 2014). Considering teachers and learners as co-learners ‘gives permission for both staff and students to consider and enact new identities as mutual learners.’ (Matthews et al. 2018, p. 966). In developing a good relationship, respect and mutual trust is crucial for enabling constructive and critical bidirectional feedback conversations (Freeman et al. 2014; Sargeant et al. 2018; Brown 2019; Ramani et al. 2019). Possible strategies for limiting the power differences include:
· 학습자가 교사에게 피드백을 제공할 것으로 기대되는 개방형 피드백 문화가 필요합니다(Dudek et al. 2016, Ramani et al. 2017).
·An open feedback culture is needed in which learners are expected to provide feedback to teachers (Dudek et al. 2016; Ramani et al. 2017).
· 공동창조의 위험과 보상을 학습자와 교사가 모두 공유한다는 사실을 깨닫는 것(Moore-Cherry et al., 2016).
·Realization that both the risks and rewards of co-creation are shared by learners and teachers contributes to building confidence together (Moore-Cherry et al. 2016).
· 학습자와 교사 모두의 전문지식은 중시되어야 한다(Cook-Sather et al., 2014; Freeman et al., 2014; Könings et al. 2014; Peters et al. 2019). 두 가지 관점 모두 대화에서 동등하게 인정받아야 한다(Martens et al. 2020).
·Expertise of both learners and teachers has to be valued (Cook-Sather et al. 2014; Freeman et al. 2014; Könings et al. 2014; Peters et al. 2019) while both perspectives must be equally appreciated in conversations (Martens et al. 2020).
· 동등한 교사 대 학습자 비율(Carey 2013, Martens et al. 2020)의 참가자를 초대하고 서로 이름을 불러 평등을 개선합니다(Englander et al., 2019).
·Improve equality by inviting participants in an equal teacher to learner ratio (Carey 2013; Martens et al. 2020) and calling each other with first names (Englander et al. 2019).
· 디지털 환경에서 공동 생성하면 위계에 덜 영향받고 동등한 수준에서 의사 소통하기 쉬워집니다(Cook-Sather 2017, Blau 및 Shamir-Inbal 2018).
·Co-creation in a digital environment
can make it easier to ignore hierarchy and communicate on an equal level
(Cook-Sather 2017; Blau and Shamir-Inbal 2018).
공동 책임 개발
Develop
shared responsibility
책임 분배와 역할의 재정의는 자주 협상되어야 한다(Enright et al. 2017; Gros and Lopez 2016). 공동 생성 팀의 자율성은 프로젝트의 공유 오너십을 장려합니다(Freeman et al. 2014). 이해당사자들의 책임 수준은 공동창조 프로세스의 여러 단계에 따라 달라질 수 있다(Könings et al., 2017). 공동의 책임을 경험하는 것은 다음 전략으로 자극될 수 있다.
The distribution of responsibilities and redefinition of roles must be frequently negotiated (Enright et al. 2017; Gros and López 2016). Autonomy of the co-creating team encourages shared ownership of the project (Freeman et al. 2014). Level of responsibilities of different stakeholders can vary in different phases of the co-creation process (Könings et al. 2017). Experiencing a shared responsibility can be stimulated by the following strategies:
· 학습자를 위한 구현 단계 및 피드백 루프 closing에 학습자가 참여하도록 보장합니다(Martens et al. 2019b; Peters et al., 2018).
·Ensure learner involvement in the implementation phase and closing feedback loops for learners (Martens et al. 2019b; Peters et al. 2018).
· 프로세스 전반에 걸쳐 역할과 참여 수준을 명확하게 정의합니다(Martens et al. 2019b).
·Clearly define roles and levels of involvement throughout the process (Martens et al. 2019b).
· 공동창조의 조건(변화에 개방된 요소 포함)과 예상 결과에 대해 열린 커뮤니케이션을 통해 공동창조 프로세스의 목표에 대한 공통된 이해를 개발합니다(Bovil 2013a; Englander et al., 2019).
·Develop a shared understanding of the aims of the co-creation process, by having open communication about the conditions for co-creation, including which elements are open to change, and the expected outcomes (Bovill 2013a; Englander et al. 2019).
· 불만 문화를 허용하지 않는다. (Carey 2013) 감사한 질문과 기회에 대한 긍정적인 집중은 공유된 열정을 개발하는 데 도움이 됩니다(Könings et al. 2010a, Kadi-Hanifi et al., 2014).
·Do not allow a complaints culture
(Carey 2013). Appreciative inquiry and a positive focus on opportunities help
developing a shared passion (Könings et al. 2010a; Kadi-Hanifi et al. 2014).
공동 생성 프로세스의 가치 및 개선
Value
and improve the co-creation process
협력적 성찰은 새로운 역할에 적응하고, 관계를 발전시키고, 신뢰를 쌓는 데 기여하며, 또한 학습자가 교사의 관점에서 교육 및 학습 과정에 대한 더 나은 이해와 교사의 경험과 해석에 대한 통찰력을 갖도록 도와줍니다(Cook-Sather). 2014; Freeman 외 2014; Enright 외 2017) 공동 생성 프로세스의 최적화는 자체 팀에서 가장 잘 작동하는 방법을 찾는 것을 의미합니다. 가능한 전략은 다음과 같습니다.
Collaborative reflection contributes to adjusting to new roles, developing relationships and building trust, and also helps learners to develop a better and more nuanced understanding of the teaching and learning process from the teacher perspective as well as giving the teacher insight in learners’ experiences and interpretation of it (Cook-Sather 2014; Freeman et al. 2014; Enright et al. 2017). Optimizing the co-creation process means to find ways that work best in the own team. Possible strategies are:
· 공동창조의 가치에 대한 질문을 공동으로 성찰합니다. 예를 들어, 토론시에 [존중과 공정성]을 어떻게 보여줄 것인가? 우리가 어떤 독특한 경험과 재능을 가지고 올 수 있고 이를 어떻게 지원하고 프로젝트에서 사용할 수 있을까요? 권력을 어떻게 분배하고 공유합니까? (힐리와 힐리 2019).
·Collaboratively reflect on questions about the values of co-creation, like: how do we show respect and fairness in our discussions? What unique experiences and talents can we bring in and how can we support and use these in the project? How do we distribute and share power? (Healey and Healey 2019).
· 학습자와 교사 간의 안전한 커뮤니케이션을 위해 긍정적인 피드백과 부정적인 피드백을 모두 제공하고 받는 교육을 받습니다. 학습자와 교사 모두에게 피드백을 제공하는 피드백 문화를 개발합니다(Myers, Chou 2016, Ramani 등 2017).
·Get training in providing and receiving both positive and negative feedback to enabling safe communication among learners and teachers. Develop a feedback culture in which feedback is provided to both learners and teachers (Myers and Chou 2016; Ramani et al. 2017).
· 학습자와 교사는 협업의 결과에 너무 집중하지 말고 프로세스 자체의 가치(Bovil et al. 2011; Freeman et al. 2014)를 인식하면서 프로세스 및 프로세스의 예상치 못한 개발 및 결과에 유연하게 대처해야 합니다(Cook-Sather et al., 2014; Moore-Cherry et al., 2016).
·Learners and teachers must not be focused too much on the outcomes of the collaboration, but also recognize the value of the process itself (Bovill et al. 2011; Freeman et al. 2014) while being flexible in unanticipated developments in the process and its outcomes (Cook-Sather et al. 2014; Moore-Cherry et al. 2016).
· 교육 문제에 대한 새로운 솔루션 개발 프로세스를 촉진하는 데 실험과 학교 방문이 도움이 될 수 있다(Könings et al. 2017).
·For stimulating the process of developing new solutions to educational problems, experimentation and school visits can be helpful (Könings et al. 2017).
· 포스트잇이나 도면과 같은 시각화 도구를 사용하여 공동 생성 중 토론과 상상력을 촉진합니다(Könings et al. 2017, Könings et al. 2010a, Koutamanis, Heuer, & Könings et al., 2017).
·Using visualization tools, like
post-its or drawings, facilitate discussion and imagination during co-creation
(Könings et al. 2017; Könings et al. 2010a; Koutamanis, Heuer, & Könings
et al. 2017).
기관 차원의 접근 방식
Approaches
at the institutional level
지원 제공
Provide
support
공동 창설 팀은 학교, 부서 또는 교육 기관의 지원이 필요합니다. 지원은 다음과 같이 구성될 수 있습니다.
Co-creating teams need support from their schools, departments or educational institutions. Support can consist of:
· 시간, 공간, 도구 및 소규모 자금의 가용성(Bobil et al., 2016; Marquis et al., 2017; Martens et al. 2020)
·Availability of time, space, tools, and small-scale funding (Bovill et al., 2016; Marquis et al. 2017; Martens et al. 2020).
· 위계적 관계가 변화하고 공동창조의 과정과 결과가 불확실하기 때문에 일부 위험 감수(Risk-take)를 허용하는 기관(Bovil 2013a)
·The institution allowing some risk-taking, as hierarchical relations change and the process and outcomes of co-creation are uncertain (Bovill 2013a).
· 공동창조 이니셔티브에서 새로운 이니셔티브를 지원하는 조직의 핵심적 사람들(Freeman et al. 2014)
·Key individuals in the organization supporting new initiatives in co-creation initiatives (Freeman et al. 2014).
· 과정 내용 및 교육 내용 수정에 대한 빈번하고 효율적인 양방향 피드백 및 협업을 위한 구조 구축(Meuwissen et al. 2019; Milles et al. 2019; Scott et et. Gerahty et al. 2020).
·Institutionalizing a structure for frequent and efficient bidirectional feedback and collaboration on revising course content and pedagogy (Meeuwissen et al. 2019; Milles et al. 2019; Scott et al. 2019; Geraghty et al. 2020).
· 모듈 공동 책임자로서의 학습자 대표 또는 학습자처럼 학습자 참여를 공식화하기 위한 다양한 형식을 고려할 수 있다(Meuwissen et al., 2019; Milles et al., 2019).
·Different formats for formalizing
learner involvement can be considered, like learner representatives or learners
as module co-directors (Meeuwissen et al. 2019; Milles et al. 2019).
교수진 개발자의 실제 지원에 투자
Invest
in hands-on support by faculty developers
교수진 개발자는 '촉매, 조언자 또는 지지자' 역할을 하는 학습자와 교사의 공동 창조를 지원할 수 있다(Bobil 2013a, 페이지 7). 교수진 개발자는 공동창조의 성공에 필수적인 것으로 설명되어 왔다(Little 2016). 이들은 다음과 같은 책임을 짊어짐으로써 공동창조 이니셔티브의 성공에 기여합니다.
Faculty developers can support co-creating learners and teachers, as they act as ‘catalysts, advisors or supporters’ (Bovill 2013a, p. 7). The faculty developer has been described as vital to the success of co-creation (Little 2016). They contribute to the success of co-creation initiatives by taking on the following responsibilities:
· 중재자로서 [교사와 학습자를 연결]하고 [역할과 직책을 수정하고 상호 기대치를 관리할 수 있는 의지]를 조성합니다(Bobil et al. 2011; Little 2016). 그들은 집단적 성찰을 촉진함으로써 신뢰, 개방성 및 존중을 기반으로 하는 관계 개발을 지원한다(Bobil et al. 2011; Cook-Sather 2014; Healey and Healey 2019).
·As intermediaries they help connecting teachers and learners, and create willingness to revise roles and positions and to manage mutual expectations (Bovill et al. 2011; Little 2016). They support the development of relationships, that build on trust, openness and respect by facilitating collective reflection (Bovill et al. 2011; Cook-Sather 2014; Healey and Healey 2019).
· 이들은 동등한 대화를 지원하고 협업을 촉진하고 책임을 지는 등 공동창조 이니셔티브를 직접 촉진하고 지원합니다(Bobil et al. 2011; Little 2016).
·They directly facilitate and support co-creation initiatives, including supporting equal conversations and stimulating collaboration and taking responsibilities (Bovill et al. 2011; Little 2016).
· 필요한 기술 개발을 위한 교육 세션(Bobil 2013b, Dudek et al., 2016, Myers and Chou 2016)을 제공합니다.
·They offer training sessions for developing the necessary skills (Bovill 2013b; Dudek et al. 2016; Myers and Chou 2016).
· 학습자와 교사 모두에게 멘토 역할을 합니다(Myers, Chou 2016, Scott 등 2019).
·They serve as mentors for both learners and teachers (Myers and Chou 2016; Scott et al. 2019).
· 학습자와 교사 모두의 연락 담당자로서, 교직원 개발자는 공동 창작 프로젝트에 대한 전문 지식과 다른 이니셔티브의 역사에 대한 배경 지식을 쌓았습니다(Little 2016).
·Being contact person for both learners and teachers, faculty developers have built expertise in co-creation projects and background knowledge on history of other initiatives (Little 2016).
· 또한 교육을 관찰한 후 성찰(Bergmark and Westman 2016)을 실시하거나(Ruskin 및 Bilous 2020) 작업장 파트너가 관련될 때 체계적인 지원과 격려를 제공하는 등 구체적인 지원을 제공할 수 있습니다.
·They can also provide specific support, for example by observing teaching, followed by reflection (Bergmark and Westman 2016) or providing structured support and encouragement when workplace partners are involved (Ruskin and Bilous 2020).
· 또한 교수 개발 과정 중에 공동 창작을 촉진하고 실천할 수 있다(Bovil et al. 2011).
·They can also promote and practice
co-creation during faculty development courses (Bovill et al. 2011).
권한 부여 문화 구축
Establish
a culture of empowerment
교육의 공동창조의 지속 가능한 구현을 위해서는 문화의 변화가 필요하다. 학습자가 교육 및 학습 개선에 적극적으로 참여할 수 있는 문화를 개발하기 위한 전략은 다음과 같습니다.
Change of culture is needed for sustainable implementation of co-creation in education. Strategies to develop a culture in which learners are empowered to be actively involved in improving teaching and learning include:
· 학습자가 교사에게 피드백을 제공할 수 있다는 기대치를 분명하게 말하고 전달하도록 학습자를 초대합니다(Dudek et al., 2016; Myers and Chou 2016; Peters et al., 2019; Ramani et al., 2019).
·Explicitly invite learners to speak-up and communicate the expectation that learners also provide feedback to teachers (Dudek et al. 2016; Myers and Chou 2016; Peters et al. 2019; Ramani et al. 2019).
· 학습자와 교사 간의 '파트너쉽 학습 공동체'를 개발하여 공동창작의 참여와 성공에 기여한다(Healey et al., 2016).
·Develop ‘partnership learning communities’ among learners and teachers to contribute to increased involvement and success of co-creation (Healey et al. 2016).
· 공동창작 노력이 인정받고, 성과와 개선이 지역사회에 전파 및 공유되고, 학습자와 교사의 기여가 인정되고 보상받도록 한다(Cook-Sather et al. 2014; Freeman et al. 2014; Meewissen et al., 2019; Geraghty ety et al. 2020).
·Ensure that co-creation efforts are
recognized, results and improvements are disseminated and shared in the
community, and that learners’ and teachers’ contributions are appreciated and
rewarded (Cook-Sather et al. 2014; Freeman et al. 2014; Meeuwissen et al. 2019; Geraghty et al. 2020).
그림 3은 학습자, 교사, 학습자, 교사, 기관 등의 수준에서 기술된 실제적인 접근 방식을 요약한 것입니다. 성공적인 공동 생성을 위해서는 이러한 모든 각도에서 공동 생성 프로세스를 촉진하고 최적화하는 데 주의를 기울여야 하기 때문에 사분면은 조각조각으로 시각화됩니다.
Figure 3 summarizes the practical
approaches described at the level of learners, teachers, learners and teachers
together, and the institution. Quadrants are visualized as pieces of a jigsaw,
as for successful co-creation attention should be paid to facilitating and
optimizing the co-creation process from all these angles.
Figure 3. Overview of approaches
for implementation of co-creation, at the level of learners, teachers, teams of
learners and teachers, and institutions.
시작하는 방법
How
to get started
공동창조 이니셔티브를 수립하기 전에 학습자와 잠재적으로 다른 이해 관계자들의 참여로 추구되는 가장 중요한 목표를 명확히 하는 것이 중요합니다. 공동창조에 대한 이해관계자 참여 프레임워크 (그림 2)에서 보듯이, 공동창조는 공동창조 참여자 (내부 삼각형 내)와 학습자 및 교사의 더 넓은 모집단 (외부 서클)에 대한 편익에 초점을 맞출 수 있다. 이 두 가지 초점은 서로를 배제하지는 않지만, 그 중 하나가 가장 중요하며, 이는 위에서 설명한 접근법에 설정된 우선순위에 영향을 미친다. 공동창작을 시작할 때 결정에는 참여자를 누구로 초대할 것인지, 참여자가 일정 책임을 지는 참여자 수, 커리큘럼 또는 이후 단계, 공동창작 시기, 공동창작 기간(Bovil 2013a, Bobil et al. 2016; Könings et al., 2017; Bobil and Woolmer 2019)이 포함된다.
Before setting up a co-creation initiative, it is important clarify the most important goals pursued with the involvement of learners and potentially other stakeholders. As shown in the Framework of Stakeholder Involvement in Co-Creation (Figure 2), co-creation can be focused on benefits for the co-creating participants (within the inner triangle) and for the wider population of learners and teachers (outer circle). These two foci do not exclude each other, but one of them will be most important, which impacts the priorities set in the approaches described above. Decisions when starting the co-creation include whom to invite as participants, how many participants, in which phases participants have certain responsibilities, timing of co-creation during the curriculum or afterwards, and duration of co-creation (Bovill 2013a; Bovill et al. 2016; Könings et al. 2017; Bovill and Woolmer 2019).
텍스트 상자 1은 공동 창조를 참여 학습자와 교사에 대한 근소한 편익 또는 더 넓은 인구를 위한 교육의 질에 대한 부수적인 효과로 사용할 때 우리가 제안하는 권고사항의 개요를 제공한다. 수준 간의 차이는 표에 제시된 것보다 절대적이지 않지만, 공동창조 이니셔티브의 설정을 계획하기 위해 취할 선택을 주요 목적에 맞게 대조할 수 있다.
Text box 1 provides an overview
of recommendations we suggest when using co-creation for its proximate benefits
for the participating learners and teachers, or for its distal effects on
quality of education for a wider population. The distinction between the levels
are less absolute than the table might suggest, but it enables to contrast the
choices to be taken for planning the set-up of a co-creation initiative,
fitting its main aims.
결론 Conclusions
본 가이드에서는 교육에 있어서 공동창조의 중요성에 대해 논의하였으며, 공동창조를 시행할 때 예상되는 학습자, 교사 및 기관 수준의 잠재적 과제에 대한 개요를 제공하였습니다. 이것들은 세 가지 심리 이론의 원리와 연결되어 있는데, 학습자와 교사들이 기존의 역할과 관계를 수정하고, 서로의 관점과 능력을 존중해야 하며, 교환, 토론, 협력을 위한 심리적인 안전한 환경을 보장해야 한다는 것을 나타낸다. 설명된 접근 방식은 다른 교육 관행에서 구현되는 건설적인 공동 창조 프로세스를 촉진합니다. 공동창조의 시너지를 창출하는 것은 교육 향상을 위한 학습자, 교사 및 잠재 이해 관계자 간의 의도적인 협력이다.
In this guide, we have discussed the
importance of co-creation in education and provided an overview of potential
challenges at the level of learners, teachers, and institutions, to be
anticipated when implementing co-creation. These have been linked to the
principles of three psychological theories, indicating that learners and
teachers have to revise their existing roles and relationships, respect each
other’s perspectives and competencies, and warrant a psychological safe
environment for exchange, discussion and collaboration. The approaches
described facilitate constructive co-creation processes being implemented in
different educational practices. It is the intentional collaboration between
learners, teachers and potential other stakeholders for improving education
that creates synergy of co-creation.
.2020 Nov 6;1-13.
doi: 10.1080/0142159X.2020.1838464.Online ahead of print.
Learner involvement in the co-creation of teaching and learning: AMEE Guide No. 138
1Educational Development and Research and School of Health Professions Education, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, The Netherlands.
2Department of Pulmonary Medicine, Catharina Hospital, Eindhoven, The Netherlands.
3Department of Surgery, Maastricht University Medical Center, Maastricht, The Netherlands.
4Department of Medicine, Brigham and Women's Hospital, Harvard Medical School, Boston, MA, USA.
5Research and Scholarship, Harvard Macy Institute, Boston, MA, USA.
This AMEE guide aims to emphasize the value of active learner involvement in the design and development of education, referred to as co-creation, and provides practical tips for medical educators interested in implementing co-created educational initiatives at their own institutions. Starting with definitions of co-creation and related terms, we then describe its benefits and summarize the literature in medical and higher education to provide an appropriate context and a shared mental model for health professions educators across the world. Potential challenges and barriers to implementation of co-creation in practice are described in detail from the perspective of learners, teachers, and institutions. Challenges are linked to relevant principles of Self-Determination Theory, Positioning Theory and theory on Psychological Safety, to provide direction and fundamental reasons for implementation of co-creation. Finally, solutions to listed challenges and practical approaches to education design and implementation using co-creation are described in detail. These tips include strategies for supporting learners and teachers in the process, enhancing the collaboration between them, and ensuring appropriate support at the organizational level.
어떻게 현상학이 다른 사람의 경험으로부터 배울 수 있도록 돕는가 (Perspect Med Educ, 2019)
How phenomenology can help us learn from the experiences of others
Brian E. Neubauer1,2 · Catherine T.Witkop3 · Lara Varpio1
도입 Introduction
인간은, 다른 사람의 경험으로부터 배울 수 있는 능력을 가지고 있다는 점에서 독특하며, 동시에 그렇게 하는 것을 명백히 꺼리는 것으로 유명하다.—더글라스 애덤스
Human beings, who are almost unique in having the ability to learn from the experience of others, are also remarkable for their apparent disinclination to do so.—Douglas Adams
인간은 다른 사람들의 경험으로부터 배울 수 있는 몇 안 되는 동물들 중 하나라는 사실에도 불구하고, 우리는 종종 그렇게 하기를 싫어한다.
Despite the fact that humans are one of few animals who can learn from the experiences of others, we are often loath to do so.
학자들이 다른 사람들의 경험으로부터 배우는 것은 필수적이다. 사실, 그것은 연구의 기본적인 전제이다. 연구는 정보를 발견하거나 주체에 대한 새로운 이해를 얻기 위해 대상(즉, 개인, 집단, 사회 또는 객체)에 대한 상세한 연구를 포함한다 [1]. 그러한 상세한 연구는 종종 우리가 특정한 현상에 대한 새로운 통찰력을 얻을 수 있도록 다른 사람들의 경험을 이해하도록 요구한다. 보건 직업 교육 학자들은 다른 사람들의 경험으로부터 배울 필요성에 대해 잘 알고 있다.
it is essential for scholars to learn from the experiences of others. In fact, it is a foundational premise of research. Research involves the detailed study of a subject (i. e., an individual, groups of individuals, societies, or objects) to discover information or to achieve a new understanding of the subject [1]. Such detailed study often requires understanding the experiences of others so that we can glean new insights about a particular phenomenon. Scholars in health professions education (HPE) are savvy to the need to learn from the experiences of others.
이러한 노력을 종종 억제curtail하는 것은 방법론의 부족이다. 다른 말로 하자면, HPE 연구원들은 다른 사람들의 경험으로부터 배우는 방법을 알아야 한다.
What often curtails these efforts is a lack of methodology. In other words: HPE researchers need to know how to learn from the experiences of others.
현상학은 이 연구를 뒷받침할 수 있는 독특한 위치에 있는 질적 연구 접근법이다. 그러나, HPE 연구에 참여하기 위한 접근법으로서, 현상학은 강한 추종자를 가지고 있지 않다. 현상학을 진정으로 이해하려면 그것을 뒷받침하는 철학에 대한 감상을 발전시켜야 한다. 그 철학들은 인간 경험의 의미를 이론화한다. 다시 말해, 현상학 연구에 참여하는 것은 학자가 인간의 경험에 대한 해석의 철학적 계류방식mooring에 익숙해지도록 요구한다.
Phenomenology is a qualitative research approach that is uniquely positioned to support this inquiry. However, as an approach for engaging in HPE research, phenomenology does not have a strong following. It is easy to see why: To truly understand phenomenology requires developing an appreciation for the philosophies that underpin it. Those philosophies theorize the meaning of human experience. In other words, engaging in phenomenological research requires the scholar to become familiar with the philosophical moorings of our interpretations of human experience.
현상학이 대답할 수 있는 질문들과 이런 종류의 연구가 제공할 수 있는 통찰력은 HPE에게 근본적인 중요성을 가집니다:
수치심의 경험과 의학 학습자들에게 그러한 경험이 미치는 영향은 무엇입니까?
공감하는 임상의[3]가 된다는 것은 무엇을 의미합니까?
고위험 시험에서 낙제했을 때의 의료 학습자의 경험은 무엇입니까 [4]?
The questions that phenomenology can answer, and the insights this kind of research can provide, are of foundational importance to HPE:
What is the experience of shame and the impact of that experience for medical learners [2]?
What does it mean to be an empathetic clinician [3]?
What is the medical learner’s experience of failure on high stakes exams [4]?
현상학이란 무엇인가?
What is phenomenology?
간단히 말해서, 현상학은 [현상을 경험한 사람들의 관점에서 그것을 탐구함으로써 현상의 본질을 설명하고자 하는 연구에 대한 접근법]으로 정의될 수 있다[6]. 현상학의 목표는 이 경험의 의미를 경험하는 것과 경험하는 방법 두 가지 측면에서 설명하는 것입니다 [6]. 인간 경험의 어떤 것과 방법을 생각하는 다른 방법에 뿌리를 둔 다양한 종류의 현상학이 있다. 다른 말로 하자면, 현상학의 각 접근은 서로 다른 철학에 뿌리를 두고 있다.
In simple terms, phenomenology can be defined as an approach to research that seeks to describe the essence of a phenomenon by exploring it fromthe perspective of those who have experienced it [6]. The goal of phenomenology is to describe the meaning of this experience—both in terms of what was experienced and how it was experienced [6]. There are different kinds of phenomenology, each rooted in different ways of conceiving of the what and how of human experience. In other words, each approach of phenomenology is rooted in a different school of philosophy.
이 원고에서, 우리는 현상학에 대한 초월적 접근과 헤르메네틱한(해석적) 접근을 강조하지만, 더 넓은 현상학적 지형이 존재한다. 예를 들어, 1997년에 출판된 현상학 백과사전은 7가지 다른 유형의 현상학에 대한 기사를 특집으로 다루고 있습니다 [7]. 초월적/그녀의 본질적 분열을 연결하는 더 현대적인 전통도 개발되어 왔다. 이러한 전통 중 몇 가지는 표 1[8-10]에 자세히 설명되어 있습니다.
In this manuscript, we highlight the transcendental and the hermeneutic approaches to phenomenology, but a broader phenomenological landscape exists. For instance, the Encyclopedia of Phenomenology, published in 1997, features articles on seven different types of phenomenology [7]. More contemporary traditions have also been developed that bridge the transcendental/hermeneutic divide. Several of these traditions are detailed in Tab. 1 [8–10].
현상학에 대한 이러한 접근법들 중 하나를 이해하기 위해서, 대부분의 접근법들이 현상학의 연구목적에 대한 유사한 정의를 가지고 있다는 것을 기억하는 것이 유용하다. 현상학은 보통 다음에 대한 연구이다.
우리의 경험에서 나타나는 현상,
우리가 현상을 인지하고 이해하는 방법,
우리의 주관적인 경험에 있는 의미적 현상 [11].
To understand any of these approaches to phenomenology, it is useful to remember that most approaches hold a similar definition of phenomenology’s object of study. Phenomenology is commonly described as the study
of phenomena as they manifest in our experience,
of the way we perceive and understand phenomena, and
of the meaning phenomena have in our subjective experience [11].
좀 더 간단하게 말하자면, 현상학은 개인이 살아 겪는 세상의 경험에 대한 연구입니다 [12]. 경험이 주관적으로 살아있는 것을 조사함으로써, 새로운 의미와 감상이 우리가 그 경험을 이해하는 방법을 알리거나 방향을 바꾸도록 개발될 수 있습니다 [13].
More simply stated, phenomenology is the study of an individual’s lived experience of the world [12]. By examining an experience as it is subjectively lived, new meanings and appreciations can be developed to inform, or even re-orient, how we understand that experience [13].
초월현상학
Transcendental phenomenology
현상학은 수세기에 걸쳐 진화한 철학적 전통에서 기원하지만, 대부분의 역사가들은 에드먼드 후셀이 20세기 초에 현상학을 정의했다고 믿는다.
Phenomenology originates in philosophical traditions that evolved over centuries; however, most historians credit Edmund Husserl for defining phenomenology in the early 20th century [14].
철학에 대한 Husserl의 접근은 그의 작품 본문이 '순수 현상론'에 대한 그의 관심에 종지부를 찍거나 철학과 과학의 보편적인 기초를 찾기 위해 노력하면서 객관적 경험과 주관적 경험을 동등하게 높이려고 노력했다. Husserl은 외부 현실에 대한 객관적인 관찰이라는 실증주의에 절대적인 초점을 두기를 거부하고, 대신 [개인의 의식에 의해 인식되는 현상]들이 과학적 연구의 대상이 되어야 한다고 주장했다. 그러므로, Husserl은 어떤 가정도 현상의 연구를 알려주지 말아야 한다고 주장했다. 어떤 철학적이거나 과학적인 이론, 연역적인 논리 절차, 그리고 어떤 다른 경험적 과학이나 심리학적 추측도 그 연구에 정보를 주지inform 말아야 한다. 대신에, 초점은 개인의 직관에 직접 주어지는 것에 맞춰져야 합니다 [16].
Husserl’s approach to philosophy sought to equally value both objective and subjective experiences, with his body of work ‘culminating in his interest in “pure phenomenology” or working to find a universal foundation of philosophy and science [13].’ Husserl rejected positivism’s absolute focus on objective observations of external reality, and instead argued that phenomena as perceived by the individual’s consciousness should be the object of scientific study. Thus, Husserl contended that no assumptions should inform phenomenology’s inquiry; no philosophical or scientific theory, no deductive logic procedures, and no other empirical science or psychological speculations should inform the inquiry. Instead, the focus should be on what is given directly to an individual’s intuition [16].
스타티가 최근에 주장했듯이, 현상학에 대한 이러한 태도는 '과거에 알려지지 않았던 현실의 차원을 발견한 자연 과학자의 태도'[17]와 비슷하다. 이러한 초점의 전환은 연구자가 '사물의 본질과 의미를 발견하기 위해 자신에게 되돌아갈 것'을 요구한다. Husserl이 주장했듯이, '결국 모든 진짜 그리고 특히 모든 과학적 지식은 내면적 증거에 달려 있다.' 내면적 증거, 즉 의식에 나타나는 것이 현상을 연구해야 하는 부분이다. 이것이 Husserl에게 의미하는 것은 [주관적이고 객관적인 지식은 밀접하게 연관되어 있다는 것]이다. 현상의 실체를 이해하는 것은 현상의 실체를 사람이 살아가는 그대로 이해하는 것이다. 이 살아있는 경험은 Husserl에게 아직 발견되지 않은 존재의 차원입니다 [17].
As Staiti recently argued, this attitude towards phenomenology is akin to that of ‘a natural scientist who has just discovered a previously unknown dimension of reality [17].’ This shift in focus requires the researcher to return ‘to the self to discover the nature and meaning of things [18].’ As Husserl asserted: ‘Ultimately, all genuine and, in particular, all scientific knowledge, rests on inner evidence [19].’ Inner evidence—that is, what appears in consciousness—is where a phenomenon is to be studied. What this means for Husserl is that subjective and objective knowledge are intimately intertwined. To understand the reality of a phenomenon is to understand the phenomenon as it is lived by a person. This lived experience is, for Husserl, a dimension of being that had yet to be discovered [17].
Husserl에게 현상학은 인식론적 태도에 뿌리를 두고 있었다; 그에게 있어 현상학적 조사의 중요한 질문은 '개인이 현상에 대해 알고 있거나 의식하는 것이 무엇인가?'였다. Husserl의 현상학 개념에서, 어떤 경험적 현상도 연구의 대상이 될 수 있으며, 따라서 분석을 단순한 감각 지각(즉, 내가 보고 듣고 만지는 것)을 넘어 사상, 기억, 상상 또는 감정의 경험으로 밀어넣을 수 있다[21].
For Husserl, phenomenology was rooted in an epistemological attitude; for him, the critical question of a phenomenological investigation was ‘What is it for an individual to know or to be conscious of a phenomenon [20]?’ In Husserl’s conception of phenomenology, any experienced phenomenon could be the object of study thereby pushing analysis beyond mere sensory perception (i. e. what I see, hear, touch) to experiences of thought, memory, imagination, or emotion [21].
Husserl은 [현상의 살아있는 경험]은 [현상을 경험한 개인들이 흔히 인식하는 특징]을 가지고 있다고 주장했다. 일반적으로 인식되는 이러한 [특징 또는 보편적 본질]은 [일반화할 수 있는 설명]을 개발하기 위해 식별될 수 있다. Husserl에 따르면 현상의 본질essence은 그 현상의 본질true nature을 나타낸다고 한다. 그렇다면 Husserl의 현상학에 참여하는 연구자가 직면하는 과제는 다음과 같습니다.
Husserl contended that a lived experience of a phenomenon had features that were commonly perceived by individuals who had experienced the phenomenon. These commonly perceived features—or universal essences—can be identified to develop a generalizable description. The essences of a phenomenon, according to Husserl, represented the true nature of that phenomenon. The challenge facing the researcher engaging in Husserl’s phenomenology, then, is:
사물을 그 자체로 묘사하고, 그 앞에 놓인 것을 의식 속으로 들어가 직관과 자기 성찰의 관점에서 그 의미와 본질로 이해되도록 합니다. 그 과정은 [실제로 존재하는 것]과 [가능한 의미의 이점으로부터 상상되는 것]의 혼합을 포함한다. 그러므로, 실제와 이상 사이의 통일성을 만드는 것이다. [18].
To describe things in themselves, to permit what is before one to enter consciousness and be understood in its meanings and essences in the light of intuition and self-reflection. The process involves a blending of what is really present with what is imagined as present from the vantage point of possible meanings; thus, a unity of the real and the ideal [18].
즉, 과제는 [그 현상의 보편적인 본질을 강조하는 현상]에 대한 [한 개인의 살아있는 경험] 연구에 참여하는 것입니다 [22]. 이를 위해서는 연구자가 현상에 대한 참가자의 경험에 초점을 맞추고 현상의 본질을 파악하기 위해 자신의 태도, 신념 및 가정을 중단해야 한다. 철학과 과학에 대한 Husserl의 큰 공헌 중 하나는 그가 개발한 방법인데, 이것은 연구자들이 '자연스러운 태도뿐만 아니라 우리가 인간 정신이라고 부르는 것에 대한 순진한naive 이해를 중단하고suspende, 새로운 연구 분야로서 초월적 주관성의 영역을 공개'할 수 있게 해준다.
In other words, the challenge is to engage in the study of a person’s lived experience of a phenomenon that highlights the universal essences of that phenomenon [22]. This requires the researcher to suspend his/her own attitudes, beliefs, and suppositions in order to focus on the participants’ experience of the phenomenon and identify the essences of the phenomenon. One of Husserl’s great contributions to philosophy and science is the method he developed that enables researchers ‘to suspend the natural attitude as well as the naïve understanding of what we call the human mind and to disclose the realm of transcendental subjectivity as a new field of inquiry [17].’
Husserl's의 초월적 현상학(때로는 서술적 접근법이라고도 함)에서, 연구자의 목표는 [초월적 주관성]을 달성하는 것이다. 즉, '연구자가 조회에 미치는 영향을 지속적으로 평가하고 편견과 선입견을 중화시켜 연구 대상에 영향을 미치지 않는 상태이다.[22]’
In Husserl’s’ transcendental phenomenology (also sometimes referred to as the descriptive approach), the researcher’s goal is to achieve transcendental subjectivity—a state wherein ‘the impact of the researcher on the inquiry is constantly assessed and biases and preconceptions neutralized, so that they do not influence the object of study [22].’
연구자는 분리되어 떨어져 있어야 하며, [참가자가 제공한 설명]을 해석하는데 자신의 주관을 개입하지 않아야 한다. 이 살아있는 경험의 차원은 [초월적 I]의 상태를 달성할 수 있는 연구자가 가장 잘 접근한다. 즉, 객관적 연구자가 [실제 경험의 사실에 대한 참가자의 설명]에서 벗어나, [의식 자체를 파악할 수 있는 현상의 보편적인 본질]로 이동하는 상태]이다 [23].
The researcher is to stand apart, and not allow his/her subjectivity to inform the descriptions offered by the participants. This lived dimension of experience is best approached by the researcher who can achieve the state of the transcendental I—a state wherein the objective researcher moves from the participants’ descriptions of facts of the lived experience, to universal essences of the phenomenon at which point consciousness itself could be grasped [23].
초월적 I의 상태에서, 연구자들은 '당연한 것으로 간주되는 것 또는 상식적인 것들을 포함하여, 개념화에 대한 분류에 의존하지 않는다'는 현상에 대한 참가자들의 경험에 사전성찰적으로prereflectively 접근할 수 있다. 초월적 I은 어떤 정의, 기대, 가정 또는 가설도 연구에 가져오지 않는다; 대신에, 이 상태에서는, 연구자는 현상의 본질에 대한 이해를 발전시키기 위해 참가자들의 경험을 이용하는 빈 석판인 [타블라 라사]의 위치를 가정한다.
In the state of the transcendental I, the researcher is able to access the participants’ experience of the phenomenon prereflectively—that is ‘without resorting to categorization on conceptualization, and quite often includes what is taken for granted or those things that are common sense [13].’ The transcendental I brings no definitions, expectations, assumption or hypotheses to the study; instead, in this state, the researcher assumes the position of a tabula rasa, a blank slate, that uses participants’ experiences to develop an understanding of the essence of a phenomenon.
이 상태는 일련의 환원을 통해 달성됩니다.
This state is achieved via a series of reductions.
초월적 단계라고 불리는 첫 번째 환원은 괄호치기bracketing 과정이라고도 불리는, 에포체(epoche)를 통해 일상 생활의 자연스러운 태도에서 초월을 요구한다. 이것은 연구자들이 관심 현상에 대한 이전의 이해, 과거의 지식 및 가정들을 수학 방정식에서처럼 제쳐놓거나 분류하는 과정이다. 이전부터 없어져야 할 이해는 과학적 이론, 지식 또는 설명, 참여자의 주장의 진실 또는 거짓, 그리고 연구자의 개인적인 견해와 경험을 포함한 광범위한 출처를 포함한다.
The first reduction, referred to as the transcendental stage,requires transcendence from the natural attitude of everyday life through epoche, also called the process of bracketing. This is the process through which the researchers set aside—or bracket off as one would in a mathematical equation—previous understandings, past knowledge, and assumptions about the phenomenon of interest. The previous understandings that must be set aside include a wide range of sources including: scientific theories, knowledge, or explanation; truth or falsity of claims made by participants; and personal views and experiences of the researcher [24].
두 번째 단계, 초월적-현상학적 환원에서, 각 참가자의 경험은 개별적으로 고려되며, 현상의 의미와 본질에 대한 완전한 설명이 구성된다 [18].
In the second phase, transcendental-phenomenological reduction, each participant’s experience is considered individually and a complete description of the phenomenon’s meanings and essences is constructed [18].
다음은 상상적 변화를 통한 환원으로, 모든 참가자의 의식적 경험에 대한 설명이 자유 변화 과정을 통한 통합적 통합으로 증류된다[25]. 이 과정은 직관에 의존하며, 현상의 본질에 도달하기 위해 현상의 다양한 변형을 상상해야 한다 [25]. 이러한 본질은 현상에 대한 모든 지식의 기초가 된다.
Next is reduction via imaginative variation wherein all the participants’ descriptions of conscious experience are distilled to a unified synthesis of essences through the process of free variation [25]. This process relies on intuition and requires imagining multiple variations of the phenomenon in order to arrive at the essences of the phenomenon [25]. These essences become the foundation for all knowledge about the phenomenon.
일반적으로 사용되는 한 가지 초월적 현상학적 방법은 심리학자인 Clark Moustakas의 방법이며, 다른 접근법에는 Collaizi [26], Giorgi [27] 및 Polkinghorne [28]의 연구가 포함된다. 사용된 접근법에 관계없이, 초월적 현상학에 엄격하게 참여하기 위해, 연구자들은 연구자의 개별 주관성이 데이터 분석과 해석에 치우치지 않도록 분류 작업에 주의를 기울여야 한다.
One commonly used transcendental phenomenological method is that of psychologist Clark Moustakas, and other approaches include the works of: Colaizzi [26], Giorgi [27], and Polkinghorne [28]. Regardless of the approach used, to engage rigorously in transcendental phenomenology, the researcher must be vigilant in his/her bracketing work so that the researcher’s individual subjectivity does not bias data analysis and interpretations.
이것은 연구자 자신의 해석, 인식, 범주 등이 감소 과정에 영향을 미치지 않는 [초월적 I]의 상태에 도달하는 도전이다. 현대 철학자들이 계속해서 후셀의 괄호치기 개념과 씨름하고 있다는 것을 주목하는 것은 중요하다. 괄호치기가 성공적으로 달성되면, 연구자는 연구자의 물리적 신체를 포함하여, 세계와 그 내용 전체를 제쳐놓습니다 [17].
This is the challenge of reaching the state of the transcendental I where the researcher’s own interpretations, perceptions, categories, etc. do not influence the processes of reduction. It is important to note that modern philosophers continue to wrestle with Husserl’s notions of bracketing. If bracketing is successfully achieved, the researcher sets aside the world and the entirety of its content—including the researcher’s physical body [17].
[물리적 현실에 대한 의존과 기반을 중단하는 것]은 초월적 자아를 찾는 것과 같은 방법으로 인간의 경험을 버리는 유일한 방법이다.
Suspending reliance on and foundations in physical reality is the only way to abandon our human experiences in such a way as to find the transcendent I.
연구자들은 이 목표를 달성하기 위해 다른 정성적 연구 방법에서 practice를 빌릴 수 있다. 예를 들어, 여러 명의 연구자가 [30] 환원을 삼각 측량하여 적절한 괄호치기가 유지되었는지 확인하도록 연구를 설계할 수 있습니다. 또는, 확인된 본질이 참가자의 경험과 일치하는지 확인하기 위해 [31] 멤버체킹을 통한 데이터 [18]의 유효성 검사가 연구에 포함될 수 있다.
Researchers might borrow [29] practices from other qualitative research methods to achieve this goal. For instance, a study could be designed to have multiple researchers triangulate [30] their reductions to confirm appropriate bracketing was maintained. Alternatively, a study could involve validation of data [18]via member checking [31] to ensure that the identified essences resonated with the participants’ experiences.
헤르메네틱 현상학
Hermeneutic phenomenology
해석적 현상학으로도 알려진 헤르메네틱 현상학은 마틴 하이데거의 연구에서 비롯된다. 하이데거는 신학 분야에서 경력을 쌓기 시작했지만, 그 후 철학 학생으로 학계로 옮겨갔다. 하이데거의 철학적인 연구는 후셀의 연구와 일치하면서 시작되었지만, 그는 후에 후셀의 초월적 현상론의 몇 가지 중요한 측면에 도전했다.
Hermeneutic phenomenology, also known as interpretive phenomenology, originates from the work of Martin Heidegger. Heidegger began his career in theology, but then moved into academia as a student of philosophy. While Heidegger’s philosophical inquiry began in alignment with Husserl’s work, he later challenged several key aspects of Husserl’s transcendental phenomenology.
그의 전임자와의 근본적인 결별이 현상학적인 조사의 초점이었다. Husserl이 지식의 본질(즉, 인식론적 초점)에 관심이 있었던 반면, Heideger는 존재와 시간의 본질(즉, 존재론적 초점)에 관심이 있었다 [21]. 인간의 경험과 그것이 어떻게 사는가에 초점을 맞추면서, 그녀의 해석적 현상학이 다른 점이다. 후셀은 '세상에 참여하고, 인지하고, 기억하고, 생각하는 행위'와 현상의 지식자knower로서의 인간에 초점을 맞춘다.
A foundational break from his predecessor was the focus of phenomenological inquiry. While Husserl was interested in the nature of knowledge (i. e., an epistemological focus), Heidegger was interested in the nature of being and temporality (i. e., an ontological focus) [21]. With this focus on human experience and how it is lived, hermeneutic phenomenology moves away from Husserl’s focus on ‘acts of attending, perceiving, recalling and thinking about the world [13]’ and on human beings as knowers of phenomenon.
이와는 대조적으로 하이데거는 [세계의 배우actors in the world로서 인간]에 관심이 있어서, 개인과 그의 삶의 세계 사이의 관계에 초점을 맞추고 있다. 하이데거의 용어, 생활세계lifeworld는 '개인의 현실'은 그들이 살고 있는 세계에 의해 변함없이 영향을 받는다는 생각을 언급했습니다. 이러한 지향을 고려할 때, 개인은 (끊임없이, 명시적으로, 그리고/또는 의식적으로 그러한 이해를 인식하지 않더라도), 항상 이미 세계 내에서 자신에 대한 이해를 가지고 있는 것으로 이해됩니다 [17].
In contrast, Heidegger is interested in human beings as actors in the world and so focuses on the relationship between an individual and his/her lifeworld. Heidegger’s term lifeworld referred to the idea that ‘individuals’ realities are invariably influenced by the world in which they live [22].’ Given this orientation, individuals are understood as always already having an understanding of themselves within the world, even if they are not constantly, explicitly and/or consciously aware of that understanding [17].
하이데거에게 있어, 현상에 대한 개인의 의식적인 경험은, [세계와 분리되지도 않고 개인의 역사와도 분리되지도 않는다]. 대신, 의식은 개인의 역사와 그/그녀가 자란 문화를 포함하여 역사적으로 살아온 경험의 형태입니다 [22].
For Heidegger, an individual’s conscious experience of a phenomenon is not separate from the world, nor from the individual’s personal history. Consciousness is, instead, a formation of historically lived experiences including a person’s individual history and the culture in which he/she was raised [22].
개인은 자신의 삶의 세계에서 벗어날 수 없다. 인간은 자신의 배경에 대한 이해를 언급하지 않고는 현상을 경험할 수 없다. 따라서, 해석적 현상학은 '표면적 인식 아래에 가려진 인간 경험의 더 깊은 층을 이해하고, 그 또는 그 혹은 그녀가 그것을 사전-성찰적으로 경험하면서 그 세계가 어떻게 이 경험에 영향을 미치는지 이해'하려고 한다. 헤르메네틱 현상학은 개인의 내러티브를 연구하여, 그 개인들이 일상 생활과 생활 세계에서 경험하는 것을 이해한다.
An individual cannot step out of his/her lifeworld. Humans cannot experience a phenomenon without referring back to his/her background understandings. Hermeneutic phenomenology, then, seeks ‘to understand the deeper layers of human experience that lay obscured beneath surface awareness and how the individual’s lifeworld, or the world as he or she pre-reflectively experiences it, influences this experience [35].’ Hermeneutic phenomenology studies individuals’ narratives to understand what those individuals experience in their daily lives, in their lifeworlds.
그러나 헤르메네틱한 전통은 서술적인 이해를 넘어서고 있다. 해석적 현상학은 해석에 뿌리를 두고 있다. 즉, 개인의 인생 세계를 통해 [경험과 현상을 해석하는 것]이다.
But the hermeneutic tradition pushes beyond a descriptive understanding. Hermeneutic phenomenology is rooted in interpretation—interpreting experiences and phenomena via the individual’s lifeworld.
헤르메네틱스는 문헌을 다른 언어로 번역해야 할 필요성과 원본(예: 성경)에 대한 접근이 문제가 있었던 곳에서 개발된 이론으로, 텍스트의 해석을 참조한다 [36].
Hermeneutics refers to the interpretation of texts, to theories developed from the need to translate literature from different languages and where access to the original text (e. g., the Bible) was problematic [36].
만약 모든 인간의 경험이 개인의 인생세계에 영향을 받고informed, 모든 경험이 그 배경을 통해 해석되어야 한다면, 해석적 현상학은 현상에 대한 설명을 넘어서, 현상에 대한 해석으로 이어져야 합니다. 연구자들은 개인의 배경이 미치는 영향을 알아야 하고, 그들이 존재의 경험에 미치는 영향에 대해 설명해야 한다.
If all human experience is informed by the individual’s lifeworld, and if all experiences must be interpreted through that background, hermeneutic phenomenology must go beyond description of the phenomenon, to the interpretation of the phenomenon. The researcher must be aware of the influence of the individual’s background and account for the influences they exert on the individual’s experience of being.
이는 개인의 주관적 경험(사회, 문화 및 정치적 맥락과 불가분의 관계에 있음)이 사전에 결정된다는 것을 의미하지는 않는다. 하이데거는 개인이 자유를 찾아왔다고 주장했다. 위치 자유는 '개인은 자유롭게 선택할 수 있지만, 그들의 자유는 절대적이지 않다; 그것은 그들의 일상 생활의 특정한 조건에 의해 제한된다. [22]’
This is not to say that the individual’s subjective experience—which is inextricably linked with social, cultural, and political contexts—is pre-determined. Heidegger argued that individuals have situated freedom. Situated freedom is a concept that asserts that ‘individuals are free to make choices, but their freedom is not absolute; it is circumscribed by the specific conditions of their daily lives [22].’
해석적 현상학은 개인의 경험이 그의 인생세계를 통해 해석되기 때문에, 세계 속 개인의 존재의 의미를 연구한다. 그리고 이러한 의미와 해석이 개인의 선택에 어떻게 영향을 미치는지를 연구한다. 이러한 초점은 존재에 대한 참가자의 이해의 기본 구조와, 그 이해가 개인이 내린 결정을 어떻게 형성했는지를 조명하기 위해, 연구 참여자가 제공한 내러티브를 해석하도록 요구한다 [37].
Hermeneutic phenomenology studies the meanings of an individual’s being in the world, as their experience is interpreted through his/her lifeworld, and how these meanings and interpretations influence the choices that the individual makes [13]. This focus requires the hermeneutic phenomenologist to interpret the narratives provided by research participants in relation to their individual contexts in order to illuminate the fundamental structures of participants’ understanding of being and how that shaped the decisions made by the individual [37].
그녀의 해석적 현상학을 구별하는 또 다른 중요한 측면은 연구에서 [연구자의 역할]이다.
Another key aspect that distinguishes hermeneutic phenomenology is the role of the researcher in the inquiry.
연구자의 주관적인 관점을 배제하는 대신, 해석적 현상학은 연구 주제와 마찬가지로 연구자가 자신의 삶의 세계를 제거할 수 없다는 것을 인정한다. 대신에, 연구원의 과거의 경험과 지식은 그 연구의 귀중한 지침이다. 연구자의 교육 및 지식 기반은 연구할 가치가 있는 현상이나 경험을 고려하도록 이끈다. 연구에서, 데이터에 대해 편파적이지 않은 접근법을 취하도록 요구하는 것은 해석적 현상학의 철학적 뿌리와 일치하지 않는다. 대신, 이 전통에서 일하는 연구자들은 그들의 선입견을 공개적으로 인정하고 그들의 주관성이 분석 과정의 일부인 방법에 대해 성찰해야 합니다 [16].
Instead of bracketing off the researcher’s subjective perspective, hermeneutic phenomenology recognizes that the researcher, like the research subject, cannot be rid of his/her lifeworld. Instead, the researcher’s past experiences and knowledge are valuable guides to the inquiry. It is the researcher’s education and knowledge base that lead him/her to consider a phenomenon or experience worthy of investigation. To ask the research to take an unbiased approach to the data is inconsistent with hermeneutic phenomenology’s philosophical roots. Instead, researchers working from this tradition should openly acknowledge their preconceptions, and reflect on how their subjectivity is part of the analysis process [16].
해석적 현상학의 해석 작업은 하나의 규칙 결합 분석 기법에 얽매이지 않는다. 대신, 그것은 다중 분석 활동의 상호작용을 포함하는 해석 과정이다 [35].
The interpretive work of hermeneutic phenomenology is not bound to a single set of rule-bound analytical techniques; instead, it is an interpretive process involving the interplay of multiple analysis activities [35].
우리의 관심을 살아있는 경험으로 향하게 하는 흥미로운 현상을 발견하는 것으로부터 시작합니다.
그런 다음 연구팀의 구성원들은 경험이 [(개념화되기 보다는) 살아있는 lived rather than conceptualized 그대로의 경험을 조사하고, 그 현상에 대한 참가자의 경험을 특징짓는 필수적인 [현상적] 주제들을 성찰하는 동시에 자신의 경험도 성찰한다.
연구자들은 자신의 성찰 내용을 글로 포착한 다음 성찰하고 다시 작성하며, 지속적이고 반복적인 주기를 만들어 점점 더 강력하고 미묘한 분석을 개발한다.
분석 내내, 연구자들은 연구 중인 현상에 대한 강한 지향을 유지하고(즉, 주의를 산만하게 하지 않음) 부품과 전체 사이의 상호작용에 주의를 기울여야 한다.
헤르메네틱 서클이라고도 하는 이 마지막 단계는 데이터(부품)가 현상(전체)의 진화하는 이해에 어떻게 기여하는지와 각 요소가 다른 것의 의미를 어떻게 향상시키는지를 신중하게 고려하는 관행을 강조한다[35].
Starts with identifying an interesting phenomenon that directs our attention towards lived experience.
Members of the research team then investigate experience as it is lived, rather than as it is conceptualized, and reflect on the essential [phenomenological] themes that characterize the participant’s experience with the phenomenon, simultaneously reflecting on their own experiences.
Researchers capture their reflections in writing and then reflect and write again, creating continuous, iterative cycles to develop increasingly robust and nuanced analyses.
Throughout the analysis, researchers must maintain a strong orientation to the phenomenon under study (i. e., avoid distractions) and attend to the interactions between the parts and the whole.
This last step, also described as the hermeneutic circle, emphasizes the practice of deliberately considering how the data (the parts) contribute to the evolving understanding of the phenomena (the whole) and how each enhances the meaning of the other [35].
현상학에 대한 헤르메네틱 접근법에서, 이론은 집중적인 조사, 연구 참여자에 대한 의사 결정, 그리고 연구 질문이 제기될 수 있는 방법에 도움이 될 수 있습니다 [22]. 이론들은 또한 연구의 결과를 이해하는데 도움을 주기 위해 사용될 수 있다. 그녀의 음소 현상학과의 연관성이 널리 존경받는 한 학자는 Max van Manen [38]이다. Van Manen은 hermenetic 현상학이 '해석적 현상한 그 자체를 방법론적 스키마나 해석적 절차 집합으로 기만적으로 환원하지 않도록 한다[39].'고 인정한다. 대신에, 이런 종류의 현상학은 연구자가 해석적 현상학적 사고, 읽기, 쓰기의 프로젝트를 이해하기 위해, 이 전통의 철학을 깊이 읽도록 요구한다.
In the hermeneutic approach to phenomenology, theories can help to focus inquiry, to make decisions about research participants, and the way research questions can be addressed [22]. Theories can also be used to help understand the findings of the study. One scholar whose engagement with hermeneutic phenomenology is widely respected is Max van Manen [38]. Van Manen acknowledges that hermeneutic phenomenology ‘does not let itself be deceptively reduced to a methodical schema or an interpretative set of procedures [39].’ Instead, this kind of phenomenology requires the researcher to read deeply into the philosophies of this tradition to grasp the project of hermeneutic phenomenological thinking, reading, and writing.
결론
Conclusion
아마도 가장 비판적으로, HPE 학자들은 선택된 방법론의 원리와 그것을 뒷받침하는 철학적 뿌리와 일치하는 연구 과정을 구성해야 한다. 이 정렬은 연구 엄격성과 신뢰성을 확립하기 위한 초석입니다.
Perhaps most critically, HPE scholars must construct research processes that align with the tenets of the methodology chosen and the philosophical roots that underlie it. This alignment is the cornerstone for establishing research rigour and trustworthiness.
검증 활동 또는 필수 프로세스의 특정 체크리스트를 따르는 것은 특정 현상학적 연구의 품질과 엄격함을 높일 수 없다. 대신에, 연구 질문, 패러다임 및 선택된 방법론 사이의 충실도를 유지하는 것 외에도, 강력한 현상학적 연구는 읽기, 반성적 쓰기, 다시 읽기 및 다시 쓰기를 통해 데이터에 대한 깊은 관여를 포함한다.
Following a specific checklist of verification activities or mandatory processes cannot buoy the quality and rigour of a particular phenomenological study. Instead, beyond maintaining fidelity between research question, paradigm, and selected methodology, robust phenomenological research involves deep engagement with the data via reading, reflective writing, re-reading and re-writing.
[초월적 현상학]에 대한 무스타카스의 접근법에서는 연구자는 데이터를 읽고, 데이터를 의미 단위로 축소하고, 축소된 데이터를 다시 분석하여 주제 클러스터링에 참여하고, 데이터를 비교하고, 설명을 쓰는 등의 작업을 수행합니다. 지속적인 데이터 처리 및 성찰적 문서 작성 과정에서 연구자가 살아 있는 경험의 본질을 설명할 수 있을 때까지 요약한다.
In Moustakas’s approach to transcendental phenomenology, the researcher reads the data, reduces the data to meaning units, re-reads those reductions to then engage in thematic clustering, compares the data, writes descriptions, and so on in an ongoing process of continually engaging with the data and writing reflections and summaries until the researcher can describe the essence of the lived experience [18].
[해석적 현상학]에서, 학자들은 연구자가 데이터를 읽고, 애매한 이해를 형성하고, 반사적 글쓰기에 관여한 다음, 수정된 이해로 본문과 다시 결합하는 헤르메네틱 서클에 관여하는 것을 설명한다[40]. 읽기와 쓰기의 주기, 본문 전체와 부분들에 주의를 기울이는 주기들에서, 해석적 연구자는 살아 있는 경험에 대한 이해를 형성한다.
In hermeneutic phenomenology, scholars describe engaging in a hermeneutic circle wherein the researcher reads the data, constructs a vague understanding, engages in reflective writing, then re-engages with the text with revised understandings [40]. In cycles of reading and writing, of attending to the whole of the text and the parts, the hermeneutic researcher constructs an understanding of the lived experience.
두 가지 전통 모두 읽기, 쓰기, 다시 읽기 및 다시 쓰기를 통한 데이터와의 긴밀한 결합이 기본입니다.
In both traditions, deep engagement with the data via reading, writing, re-reading and re-writing is foundational.
현상학적 데이터의 읽기 및 쓰기에 대한 참여 깊이에 대한 주의는 엄격함에 필요한 조건이다.
attention to the depth of engagement in reading and writing of the phenomenological data is a necessary condition for rigour.
Review
.2019 Apr;8(2):90-97.
doi: 10.1007/s40037-019-0509-2.
How phenomenology can help us learn from the experiences of others
Introduction:As a research methodology, phenomenology is uniquely positioned to help health professions education (HPE) scholars learn from the experiences of others. Phenomenology is a form of qualitative research that focuses on the study of an individual's lived experiences within the world. Although it is a powerful approach for inquiry, the nature of this methodology is often intimidating to HPE researchers. This article aims to explain phenomenology by reviewing the key philosophical and methodological differences between two of the major approaches to phenomenology: transcendental and hermeneutic. Understanding the ontological and epistemological assumptions underpinning these approaches is essential for successfully conducting phenomenological research.
Purpose:This review provides an introduction to phenomenology and demonstrates how it can be applied to HPE research. We illustrate the two main sub-types of phenomenology and detail their ontological, epistemological, and methodological differences.
Conclusions:Phenomenology is a powerful research strategy that is well suited for exploring challenging problems in HPE. By building a better understanding of the nature of phenomenology and working to ensure proper alignment between the specific research question and the researcher's underlying philosophy, we hope to encourage HPE scholars to consider its utility when addressing their research questions.
교육 설계연구: 생산적 학술활동을 계획하고, 수행하고, 강화하는 것(Med Educ, 2020)
Educational design research: Portraying, conducting, and enhancing productive scholarship
Susan McKenney1 | Thomas C. Reeves2
1 | 소개
1 | INTRODUCTION
인간은 [해결하려는 문제의 본질을 완전히 이해하기 전에 해결책으로 뛰어드는 공통된 경향]을 가지고 있으며, 이는 Morozov에 의해 '해결책주의solutionism'으로 묘사된 관행을 입증한다. 1 교육도 (그러한 행동의 희생물이 되는 유일한 분야는 아니지만) 수십 년 동안 예외는 아니었다. 예를 들어, 1922년 에디슨은 영화가 교과서를 대체할 것이라고 약속했다. 2 증강현실과 다른 기술들이 의학 교육의 미래로 제시됨에 따라 오늘날에도 유사한 예측이 계속 이루어지고 있다. 비평가들이 교육에서 기술적 해결책에 대한 대부분의 연구가 '별로 큰 차이는 없다'고 밝혔음에도 불구하고, 이러한 경향은 지속되고 있다. 아마도 이것은 경험에 대한 낙천주의의 승리를 나타내거나, 아니면 단순히 순진무구함일 수도 있다.
Humans have a common tendency to jump to solutions prior to fully understanding the nature of the problem they are trying to solve, thus demonstrating a practice described as ‘solutionism’ by Morozov.1 Education is not the only field to fall prey to such behaviour, but it has seen its fair share of examples over the course of many decades. For instance, in 1922 Edison promised that films would replace textbooks.2 Similar predictions continue to be made today as augmented reality and other technologies are put forward as the future of medical education.3 Despite the fact that critics have revealed that the majority of studies on technological solutions in education yield ‘no significant difference,'4 the tendency persists. Perhaps this represents the triumph of optimism over experience, or perhaps it is simply naïveté.
[새로운 지식을 발견하기 위한 기초연구]와 [실제적인 문제를 해결하기 위한 응용연구] 사이에 종종 구별이 이루어졌지만, 이 단순한 이분법은 연구가 실제로 어떻게 수행되는지 또는 대부분의 학자들에 의해 추구되는 [다중적 목표]를 적절하게 나타내지 못한다. 의료 교육 분야에서 일하는 사람들을 포함한 교육 연구자들은 종종 [그들의 목적이 서술적, 예측적, 해석적 또는 개발이나 행동을 참조할 수 있다는 점에서] 다양한 목표를 가지고 있다.4 개발 목표와 함께 이론에 기여하는 데 관심이 있는 연구자들에게 교육 설계 연구(EDR)는 매력적인 옵션이 될 수 있다.6
A distinction has often been made between basic research to discover new knowledge and applied research to solve practical problems, but this simplistic dichotomy does not adequately represent either how research is actually conducted or the multiple goals pursued by most scholars.5 Education researchers, including those working in the field of medical education, often have a range of different goals in that their purposes may be descriptive, predictive, interpretivist, or refer to development or action.4 For researchers interested in contributing to theory alongside development goals, educational design research (EDR) may be a compelling option.6
2 | EDR을 묘사하는 것
2 | PORTRAYING EDR
교육 설계 연구는 실용적이고 복잡한 교육 문제에 대한 해결책의 반복적 개발도 경험적 조사의 맥락을 제공하는 연구의 한 장르로 정의될 수 있는데, 이것은 다른 사람들의 작업에 정보를 줄 수 있는 이론적 이해를 산출한다.'7
‘Educational design research can be defined as a genre of research in which the iterative development of solutions to practical and complex educational problems also provides the context for empirical investigation, which yields theoretical understanding that can inform the work of others.’7
EDR에 적합한 문제를 식별하려면 [조사 가치가 있고 EDR 프로세스를 통해 해결할 수 있는 실제 과제]를 찾아야 한다. 특정 문제는 실무자, 연구원 또는 문헌 연구를 통해 확인할 수 있다.7 예를 들어, 의학 교육의 심각한 문제는 미래의 의사가 패혈증을 예방하기 위한 일관된 습관을 개발하도록 돕는 것을 말한다.8 소독 프로토콜은 잘 알려져 있지만, 왜 제대로 지켜지지 않는지 이해하고, 이 문제를 근절할 수 있는 추가적인 해결책을 개발하기 위한 연구가 필요하다.10
Identifying problems amenable to EDR involves finding real-world challenges that are worthy of investigation and capable of being solved through the EDR process. Specific problems may be identified by practitioners, by researchers, or through the study of literature.7 For example, a serious problem in medical education refers to helping future physicians develop consistent habits to prevent sepsis.8 Although antisepsis protocols are well known, research is needed to understand why they are insufficiently adhered to, and to develop additional solutions that can eradicate this problem.10
명백하게 심각한 문제가 제기되었을 때, 그것이 정말로 정당하고, 연구 가능하고 연구 가치가 있는지 확인하기 위해 문헌과 실제 모두에서 검증이 필요하다.
정당성: 이론적 관점에서, 만약 그렇게 하는 것이 현존하는 문헌의 명백한 차이를 해결할 수 있다면, 그 문제는 연구할 가치가 있다.
연구가능성: 현존하는 방법이 노력을 보증할 수 있을 정도여서, 충분히 잘 연구될 수 있는 경우(연구 가능)
연구가치: 이 작업이 특이적 우려와 반대로 광범위한 보유자와 관련된 이론 개발 또는 과학적 이해에 기여할 것인지 여부(연구 가치)
When even an obvious serious problem is raised, verification in both literature and practice is necessary to ascertain if it is, indeed, legitimate, researchable and research-worthy.
From the theoretical perspective, the problem is worth studying if doing so would address a clear gap in the existing literature (legitimate),
if existing methods will allow it to be studied well enough to warrant the effort (researchable), and
if the work will contribute to theory development or scientific understanding related to a widely held, as opposed to idiosyncratic, concern (research-worthy).7
다음은 총 해부학 클래스에 있는 예제입니다.
Here is an example situated in a gross anatomy class:
• 문제: 시신 기증자는 제한적이며, 인체 해부학을 가르치기 위한 기존의 시뮬레이션은 충분한 충실도가 결여되어 있다(문제의 실질적인 측면). 현재 시뮬레이션 문헌은 포유류 해부학을 위한 고품질 시뮬레이션을 개발하는 방법에 대한 지침이 불충분하다(문제의 과학적 측면).
• Problem: corpse donors are limited and existing simulations for teaching human anatomy lack sufficient fidelity (the practical side of the problem). The current simulation literature provides insufficient guidance on how to develop high-quality simulations for mammalian anatomy (the scientific side of the problem).
• 실제적인 목적: 학생들이 실제 해부를 수행하지 않고도 과정 목표를 달성할 수 있는 고품질의 인간 해부 시뮬레이션을 개발하는 것.
• Practical aim: to develop a high-quality human dissection simulation that allows students to meet course goals without conducting actual dissection.
• 과학적 목적: 포유류 및 특히 인간을 위한 고품질 시뮬레이션의 특성을 이해하고 기술하는 것
• Scientific aim: to understand and describe the characteristics of high-quality simulations for mammals in general and humans in particular.
[[현실 세계의 과제를 해결함으로써 이론과 실제에 기여]하는 것을 명시적으로 추구하지 않는 연구]는 분명 큰 가치가 있을 수 있지만, EDR을 구성하지는 않는다.
Research that does not explicitly seek to contribute to both theory and practice by addressing real-world challenges can certainly be of great value, but it does not constitute EDR.
2.1 | 이론적이고 실제적인 시너지: 간략하고 포괄적인 검토
2.1 | Theoretical and practical synergies: a brief, non-comprehensive review
이론과 실제 작업을 연결하는 과학을 연결한다는 개념은 심리학자들에 의해 한 세기 이상 주장되어 왔다.
1930년대와 1940년대에, 이 방향의 주요한 진보는 Lewin과 동료들에 의해 [실행 연구]를 통해 이루어졌는데, 이 연구는 집단의 결정에 따르는 문제에 대한 논의를 통한 가설 생성과 테스트가 중심이었다.
1960년대와 1970년대에는 사회과학 분야에서 [(참여형) 행동 연구]가 번창했고, 실무자 연구가 등장했으며, 교육의 문제와 필요를 직접적으로 해결하기 위한 교육 연구의 요구는 증가했다.
무엇보다도, 이것은 1980년대 '행동 과학action science'과 1990년대에 널리 추진력을 얻은 '사용에 영감을 받은 기초 연구'의 발판을 마련했다.
The notion of a linking science connecting theoretical and practical work has been advocated by psychologists for over a century.11,12
In the 1930s and 1940s, major advancements in this direction were made by Lewin and colleagues, through action research, in which hypothesis generation and testing through the discussion of problems followed by group decisions were central.13
In the 1960s and 1970s, (participatory) action research flourished in the social sciences, practitioner inquiry emerged, and calls for educational research to directly address the problems and needs of education increased.14
Amongst other things, this set the stage for the rise of ‘action science’ in the 1980s15 and the notion of ‘use-inspired basic research,' which gained widespread momentum in the 1990s5.
그 무렵, 교육 설계 및 커리큘럼 개발 분야의 연구원들은 교육 제품, 프로그램, 프로세스 및 정책의 강력한 설계를 안내하기 위해 보다 [신뢰할 수 있는 처방적prescriptive 이해]의 필요성을 강조하기 시작했다. 동시에, 교육 심리학 분야의 연구원들은 이론이 학습의 설계에 어떻게 영향을 미치는지와 그 반대의 경우에 어떻게 영향을 미치는지 주장하며, [학습이 실제로 일어나는 상황에 연구가 위치할situated 것]을 요구하며, [학습 현상을 이해하기 위한 실험실 상황의 단점을 언급]하는 획기적인 논문을 발표했다.9, 20
Around that time, researchers in the fields of instruction design and curriculum development began to stress the need for more reliable, prescriptive understanding to guide the robust design of educational products, programmes, processes and policies.16-18 At the same time, researchers in the field of education psychology published landmark papers arguing for how theory informs the design of learning and vice versa, calling for research to be situated in the contexts in which that learning actually takes place, and citing the shortcomings of laboratory settings for understanding learning phenomena.19, 20
교육 전반에 걸쳐, 그러한 견해는 파스퇴르의 사분면: 기초 과학 및 기술 혁신 출판에 탄력을 받았다.5 스톡스는 이번 세미나 연구에서 우유의 부패와 광견병 치료와 같은 현실 세계의 문제를 해결하는 맥락에서 근본적인 지식을 찾았던 프랑스의 화학자이자 미생물학자 루이스 파스퇴르와 같은 연구를 더 많이 해야 한다고 주장한다. 이 전통에서, EDR은 생태학적으로 타당하고 다른 사람들의 작업에 inform해주는 과학적 이해를 산출하고자, [현실의 기존 문제 해결]과 [탐구 과정의 구조화]에 관심이 있다.
Across disciplinary lines, such views gained momentum upon the publication of Pasteur’s Quadrant: Basic Science and Technological Innovation.5 In this seminal work, Stokes argues for more research like that of the French chemist and microbiologist Louis Pasteur, who sought fundamental knowledge within the context of solving real-world problems such as the spoilage of milk and treatment for rabies. In this tradition, EDR is concerned with the solving of existing problems in practice and with the structuring of the inquiry process so that it yields scientific understanding that is ecologically valid and informs the work of others.
2.2 | 접근법 제품군
2.2 | A family of approaches
우리는 'EDR'이라는 용어를 [이론적 이해의 개발] 및 [실제 개입의 설계 및 구현]이라는 이중 목표를 위해 노력하는 일군의 접근법을 설명는 용어로 사용한다.21 다음의 용어를 포함한다
design-based research,
design-based implementation research,
development research,
design experiments,
formative research,
participatory design research,
realist evaluation,
the Medical Research Council (MRC) framework for evaluating complex interventions,
action research and improvement science.
이 다양한 이름들은 동의어가 아니며, 일부 작가들은 이 가족의 특정한 구성원들이 다른 사람들과 어떻게 다른지 광범위하게 묘사했다.22
We use the term 'EDR' to describe a family of approaches that strive towards the dual goals of developing theoretical understanding and also designing and implementing interventions in practice.21 This family of approaches may, but does not always, include design-based research, design-based implementation research, development research, design experiments, formative research, participatory design research, realist evaluation, the Medical Research Council (MRC) framework for evaluating complex interventions, action research and improvement science. The various names are not synonymous, and some authors have extensively described how specific members of this family differ from others.22
표 1은 EDR을 다른 형태의 조사와 차별화시키는 각 접근방식의 목표와 특징을 요약한다. 즉, 실제 문제에 대한 해결책의 (반복적) 개발을 통한 이론적 이해의 추구이다.
Table 1 summarises the goals and characteristics of each approach in light of that which sets EDR apart from other forms of inquiry: the pursuit of theoretical understanding through the (iterative) development of solutions to problems in practice.
2.3 | 의료 교육에서 EDR의 예
2.3 | Examples of EDR in medical education
다른 연구와 마찬가지로, EDR은 데이터 수집과 분석을 통해 기존의 이론적 지식을 확장한다.23-25 그러나 많은 다른 종류의 연구와 달리, EDR 프로세스는 [해결하려는 문제에 대한 해결책의 (종종 주기적) 개발]에 embed되어 있다.23-25
Like other research, EDR extends existing theoretical knowledge through data collection and analysis.23-25 However, unlike many other kinds of research, the EDR process is embedded in the (often cyclic) development of a solution to the problem being tackled.23-25
• Hege 등 26은 가상 환자를 특징으로 하는 [임상 추론 도구 개발]에 embed된 연구를 설명한다. 심리학적 이론, 환자 중심, 교수 및 평가, 학습자 중심 및 맥락을 기반으로 소프트웨어 설계를 위한 프레임워크를 개발한 후 가상 환자 시스템과 함께 사용할 소프트웨어 도구가 개발되었다. 특히 임상 추론 기술 획득을 지원하고 이 복잡한 프로세스의 모든 단계를 평가합니다. 저자 26은 소프트웨어의 주요 구성 요소, 사용적합성 시험 결과 및 시험 연구를 설명하고 추가 개발 방향을 제시한다.
• Hege et al26 describe the research embedded in the development of a clinical reasoning tool featuring virtual patients. After a framework for software design had been developed based on psychological theories, patient-centredness, teaching and assessment, learner-centredness and context, a software tool was developed to be used with virtual patient systems. It specifically supports clinical reasoning skills acquisition and assesses all steps of this complex process. The authors26 describe the main components of the software, results of usability tests and a pilot study, and indicate directions for further development.
• Duitsman 외 연구진 27은 [임상 역량 위원회의 기능을 개선]하기 위한 주기적 접근방식을 설명한다. 이 프로젝트에서는, 이론적인 원칙을 문헌에서 추출하여 대학 아동 병원의 거주자 성과에 초점을 맞춘 임상 역량 회의를 재구성하였다. 그 회의는 평가되었고 거주자의 성과를 널리 알리는 데 유용하다고 간주되었다. 주어진 설계 원칙과 권고사항은 다른 (연구에 대한) 레지던트 프로그램에 유용하며, 다른 상황에 맞게 조정할 수 있다.
• Duitsman et al27 describe their cyclic approach to improving the functioning of a clinical competency committee. In this project, theoretical principles were distilled from the literature to (re-) shape clinical competency meetings focused on resident performance in a university children’s hospital. The meetings were evaluated and deemed useful for obtaining a broad indication of resident performance. The design principles and recommendations given are useful for other (research on) residency programmes, and can be adjusted to different contexts.
• Bararends 등 28은 [학부 작업 치료 학생 사이의 증거 기반 의사결정 능력을 육성]하기 위해 EDR을 수행했다. 그들의 보고서는 인지 도제 및 위치 학습의 원칙에 기초하는 교육 및 학습 시나리오의 기초가 되는 교육 원리를 생성하고 시험하기 위해 수행된 혼합 방법 연구를 설명한다. 그 개입은 잘 받아들여졌고 저자들은 학생들이 증거 기반 의사결정에 필요한 자기 효과, 인지 능력 및 비판적 사고 능력을 개발하는 데 도움이 될 수 있는 후속 연구와 개발을 위한 권고안을 제시한다.
• Baarends et al28 conducted EDR to foster evidence-based decision-making capacity amongst undergraduate occupational therapy students. Their report describes a mixed-methods study undertaken to generate and pilot test the pedagogic principles underlying a teaching and learning scenario based on principles of cognitive apprenticeship and situated learning. The intervention was well received and the authors28 make recommendations for subsequent research and development that can help students develop the self-efficacy, cognitive skills and critical thinking skills required for evidence-based decision making.
2.4 | 주요 특징
2.4 | Key characteristics
실용적이고 과학적인 목표의 동시 추구는 이 과정의 핵심이며, 다섯 가지 필수적인 특징으로 특징지어질 수 있다.
교육 설계 연구는 이론적으로 지반 설계에 사용할 뿐만 아니라 설계와 개발 작업이 광범위한 과학적 이해에 기여하기 위해 수행되기 때문에 '이론지향적'이다.
그것은 특정한 교육 환경에서 생산적인 변화를 일으키기 위해 수행되기 때문에 '개입주의적'이다.
연구자와 실무자를 포함한 다원적 파트너십의 전문지식을 필요로 하지만 다른 분야(예: 주제 전문가, 소프트웨어 프로그래머 및 촉진자)의 전문지식을 요구하기 때문에 '협력적'이다.
그것은 그것의 제품이 참가자의 전문지식, 문헌, 특히 현장 시험에 의해 형성되기 때문에 '반응기반적'이다.
마지막으로, 그것은 일반적으로 설계, 개발, 시험 및 개정의 여러 사이클을 통해 진화하기 때문에 '반복적'이다.
The simultaneous pursuit of practical and scientific goals is central to the process, which can be characterised by five essential features.
Educational design research is 'theorectically oriented' not only because it uses theory to ground design, but also because the design and development work is undertaken to contribute to broader scientific understanding.
It is 'interventionist' because it is undertaken to engender productive change in a particular education context.
It is 'collaborative' because it requires the expertise of multidisciplinary partnerships, including researchers and practitioners, but also often others (eg, subject matter specialists, software programmers and facilitators).
It is 'responsively grounded' because its products are shaped by participant expertise, the literature and, especially, field testing.
Finally, it is 'iterative' because it generally evolves through multiple cycles of design, development, testing and revision.
표 1 개입 개발을 통해 이론적이고 실용적인 결과를 본질적으로 산출하는 방법(회색 셀)과 사용 방법에 따라 이론적이고 실제적인 결과를 산출할 수 있는 방법(백색 셀)을 포함하여 실용적이고 과학적인 시너지를 추구하는 접근법 제품군
TABLE 1 Family of approaches seeking practical and scientific synergies, including those that inherently yield theoretical and practical outcomes through intervention development (grey cells), and those that may yield theoretical and practical outcomes, depending on how they are used (white cells)
전반적인 EDR 연구 기간이 일반적으로 월이 아닌 [년 단위]로 측정된다는 것은 놀랄 일이 아니다.
no surprise that the overall duration of EDR studies is typically measured in years, rather than months.
교육 설계 연구는 방법론이 아니다. 이것은 [ERD이 따라야 할 방법론적 기준이 다른 종류의 연구의 기준과 다르지 않다는 것]을 명확히 하기 때문에 언급하는 것이 중요하다. 따라서 EDR 이니셔티브의 방법론적 엄격성은 정성적, 정량적 또는 혼합적 방법 연구의 기존 기준(예: 신뢰성, 유효성, 신뢰성, 이전 가능성, 신뢰성, 신뢰성, 신뢰성, 확인성)을 사용하여 판단되어야 한다. 또한, EDR은 설계, 사회학 및 교육 분야의 기존 관행을 활용하여 참여와 참여를 형성한다.
Educational design research is not a methodology. This is important to mention because it clarifies that the methodological standards to which it should be held are no different from those of other kinds of research. The methodological rigour of EDR initiatives should therefore be judged using existing criteria for qualitative, quantitative or mixed-methods studies (eg, reliability, validity, credibility, transferability, dependability, confirmability). Further, EDR leverages existing practices from the fields of design, sociology and education to shape participation and engagement.
3 | EDR 수행
3 | CONDUCTING EDR
3.1 | 프로세스 모델링
3.1 | Modelling the process
그림 1에 표시된 EDR의 일반 모델.
a generic model for EDR, shown in Figure 1.
첫째, 그림 1의 네모은 세 개의 핵심 단계를 나타내며, 그 사이의 화살표는 이 과정이 반복적이고 유연하다는 것을 나타냅니다.
First, the squares in Figure 1 denote three core phases, and the arrows between them indicate that the process is both iterative and flexible.
'분석 및 탐구' 단계 동안, 다룰 문제에 대한 더 나은 이해를 형성하기 위해 실무자와의 협업을 모색한다. 이 단계 동안의 연구는 일반적으로 문제, 맥락 또는 이해관계자에 관한 이론적 이해에 기여한다.
During the 'analysis and exploration' phase, collaboration with practitioners is sought in order to shape a better understanding of the problem to be addressed. Research during this phase is typically informed by and contributes to theoretical understanding concerning the problem, context or stakeholders.
'설계와 시공' 동안, 문제가 어떻게 처리될 수 있는지에 대한 아이디어는 다소 크고 모호하게 시작해서, 점차 개선, 가지치기, 조작화 경향이 있다. 비록 이 단계는 본질적으로 [경험적 작업을 포함하지는 않으며], 그것의 특징과 근본적인 행동 이론을 포함하여, (일종의) 개입에 대한 [이론적 이해]에 의존하고 기여한다.
During 'design and construction,' ideas about how the problem might be addressed tend to start off as rather large and vague, and gradually become refined, pruned and operationalised. Although this phase does not inherently involve empirical work, it does rely on and contribute to theoretical understanding about the (kind of) intervention, including its characteristics and underlying theory of action.
'평가 및 성찰' 동안, 설계 아이디어와 프로토타입 솔루션은 경험적으로 조사되며, (이론적으로) 개입 기능이 작동하는지, 어떻게 그리고 왜 작동하는지 이해하는 것을 목표로 그 결과를 성찰한다. 이 단계에서 연구는 (종류의) 개입이나 그것이 초래하는 반응에 대한 이론적 이해에 의해 형성되고 기여한다.
During 'evaluation and reflection,' design ideas and prototype solutions are empirically investigated, and the findings are reflected upon, with the aim of refining (theoretical) understanding about if, how and why intervention features work. During this phase, research is shaped by and contributes to theoretical understanding about the (kind of) intervention or the responses it engenders.
모든 단계에서 합리적이고 창의적인 사고방식이 혼합되어 생산적입니다.
Across all phases, a blend of rational and creative mindsets is productive.
둘째, 이론과 실제에 대한[이중 초점]은 각각 실용적, 과학적 산출물을 나타내는 직사각형을 통해 명백하게 이루어진다. EDR로 인한 실질적인 솔루션은 다음이 있다.
교육용 제품(예: 다중 사용자 가상 학습 게임)
프로세스(예: 뒤집힌 교실에서 의대생 학습을 비계하기 위한 전략)
프로그램(예: 의료 교사가 보다 효과적인 질문 전략을 개발하는 데 도움이 되는 일련의 워크샵)
정책(예: 인턴의 현장 멘토링을 위한 최소 일대일 시간 지정)
Second, the dual focus on theory and practice is made explicit through the rectangles, which represent the practical and scientific outputs, respectively. The practical solutions resulting from EDR can be
educational products (eg, a multi-user virtual learning game),
processes (eg, a strategy for scaffolding medical student learning in a flipped classroom),
programmes (eg, a series of workshops intended to help medical teachers develop more effective questioning strategies), or
policies (eg, the designation of a minimum amount of one-to-one time for on-site mentoring of interns).
[EDR에서 얻어진 이론적 이해]는 교육현상을 기술, 설명, 예측 또는 조작하는데 사용될 수 있다. 앞에서 언급한 바와 같이, 설계 연구에 대한 이론적 이해는 개입의 설계를 뒷받침하고, 과학적 연구를 체계화하며, 개입의 경험적 시험을 통해 생성된 결과에 의해 진전된다.
The theoretical understanding resulting from EDR can be used to describe, explain, predict or manipulate education phenomena. As noted previously, the theoretical understanding in design research underpins the design of the intervention, frames the scientific inquiry, and is advanced by findings generated through the empirical testing of the intervention.
마지막으로, 모델은 구현과 확산을 나타내는 사다리꼴을 통해 실제 사용에 주의를 기울인다는 것을 보여줍니다. 이것은 연습과의 상호작용이 [사후 사고afterthought]가 아닌 [프로세스의 시작부터 존재]하며, 시간이 지남에 따라 증가한다는 것을 보여준다. 양방향 화살표는 실제에서 일어나는 일이 궁극적인 결과뿐만 아니라 진행 중인 핵심 프로세스에 영향을 미치며 그 반대의 경우도 영향을 미친다는 것을 나타낸다.
Finally, the model demonstrates that attention to practical use through the trapezoid, which represents implementation and spread. It shows that interaction with practice is present from the start of the process, not as an afterthought, and increases over time. The bi-directional arrows indicate that what happens in practice influences the ongoing core processes, as well as the ultimate outputs, and vice versa.
3.2 | 모든 단계에 걸친 하나의 예
3.2 | One example spanning all phases
이 모델이 어떻게 살아나는지를 설명하기 위해, 우리는 세계보건기구(WHO)가 경험한 문제를 다룬 이전에 발표된 4년 PhD 연구에 대해 간략하게 설명한다. 즉, 세계보건기구는 운송, 보관 및 유통 중 적절한 온도 범위 내에 유지해야 하는 백신 및 기타 의약품의 취급에 적용되는 '콜드 체인'에 대한 확장 가능한 고품질 교육 프로그램이 부족했다.
To illustrate how this model comes to life, we briefly describe a previously published 4-year PhD study, 32 which addressed a problem experienced by the World Health Organization (WHO). Namely, the WHO lacked a scalable, high-quality training programme on the ‘cold chain’ that applies to the handling of vaccines and other pharmaceutical products that must be kept within the appropriate temperature range during shipping, storage and distribution.
분석 및 탐색 중, Byster32는 관련 학습 접근법, WHO e-러닝 프로그램의 최신 기술을 이해하기 위한 현장 기반 조사 및 기존 콜드 체인 훈련 프로그램의 참여자 관찰에 대한 문헌 검토를 실시했다.
During analysis and exploration, Vesper32 conducted a literature review on relevant learning approaches, field-based investigation to understand the state of the art of WHO e-learning programmes, and participant observation of the existing cold chain training programme.
설계와 시공 중에, Byster는 문헌과 경험적 시험(즉, 평가와 반영의 결과)을 기반으로 복수의 훈련 프로그램 프로토타입을 개발하고 수정했다.32
During design and construction, Vesper developed and revised multiple training programme prototypes on the basis of the literature and empirical testing (ie, the outcomes of evaluation and reflection).32
평가와 성찰 과정에서, E-러닝 전문가의 전문가 평가, 콘텐츠 전문가의 위험 분석, 대상 사용자와의 성숙한 시제품의 현장 테스트 등 다양한 프로토타입을 조사하기 위해 다양한 전략을 사용했다.
During evaluation and reflection, Vesper32 used diverse strategies to investigate the various prototypes, including expert appraisal by e-learning specialists, risk analysis by content experts, and field testing of a mature prototype with target users.
첫 번째 분석 활동에서 마지막 버전의 과정에 이르기까지, 구현에 대한 관심이 집중되었고 실무자와의 긴밀한 상호작용을 통해 확산되었다. 이후 WHO의 다른 온라인 학습 환경의 설계에 적용된 실질적인 결과물(e-러닝 과정 및 기본 설계 프레임워크) 외에도, 과학적 산출물은 각각 분석, 탐사, 설계 및 시공, 평가 및 반영 단계에서의 조사에 기초하여 5개의 저널 기사의 형태로 볼 수 있다.
From the very first analysis activities through to a final version of the course, attention was given to implementation and spread through close interaction with practitioners. In addition to the practical output (the e-learning course and underlying design framework), which has subsequently been applied to the design of other online learning environments at the WHO,33 the scientific output is visible in the form of five journal articles, based on the investigation during analysis and exploration,34 design and construction,35 and evaluation and reflection36-38 phases, respectively.
Figure 2
3.3 | 다양한 단계의 기여를 강조하는 여러 가지 예
3.3 | Multiple examples highlighting contributions from different phases
여기에서 의료 교육 분야에서 수행되는 다양한 EDR을 설명하기 위해 서로 다른 연구 보고서 39-41이 사용된다. 각각의 문제에 대해, 해결된 문제, 개발된 개입, 생성된 지식 및 사용된 방법이 표 2에 요약되어 있다.
Here, different research reports39-41 are used to illustrate the variety of EDR conducted within the field of medical education. For each one, the problem addressed, the intervention developed, the knowledge created and the methods used are summarised in Table 2.
[분석 및 탐색 단계의 결과]는 사회경제적으로 불리한 배경에서 청소년을 대상으로 한 건강 식자율을 위한 방과 후 프로그램인 HackHealth를 만들고, 구현하고, 개정하기 위해, [설계 연구에서 정량적이고 질적인 방법]을 사용한 Subramaniam et al의 연구에서 매우 잘 나타난다. 이 특별 하위 연구는 다양한 건강 관련 정보 활동을 완료할 때 직면하는 과제에 대한 심층 분석 및 탐색을 위해 초기 문헌 기반 프로토타입의 구현이 어떻게 컨텍스트를 제공했는지를 보여준다. 연구 결과는 Hack Health 프로그램을 개선하는 것 이상으로 확장되며, 이 인구와 협력하고, 그들의 건강 식자율 기술을 평가 및 개선하고, 그들의 요구에 부합하는 지침을 설계하는 데 중요한 의미를 갖는다.
Results from the analysis and exploration phase are highly visible in the article by Subramaniam et al,39 who used quantitative and qualitative methods in their design research to create, implement and revise HackHealth, an after-school programme for health literacy that was targeted at adolescents from socioeconomically disadvantaged backgrounds. This particular sub-study demonstrates how the implementation of the initial, literature-based prototype provided the context for deeper analysis and exploration of the challenges encountered when completing various health-related information activities. The findings extend beyond improving the HackHealth programme and hold important implications for working with this population, assessing and improving their health literacy skills, and designing instruction that stands to meet their needs.
[설계와 시공 단계]는 [일반 실습 학생들을 위한 5가지 학습 모듈을 구축하는 과정]에서 그들이 취한 단계와 특히 그들의 근본적인 추론을 설명하는 반데트리 등의 작업의 핵심이다. 이 작업은 노인을 돌보거나 신체적으로 정의되지 않은 증상을 가진 환자를 다루는 것과 같은 진짜 복잡한 작업을 통해 교육자가 임상 추론, 의사소통 및 건강 증진과 같은 통합 능력의 개발을 어떻게 다룰 수 있는지를 보여준다. 모듈 설명은 전체 작업 학습의 원칙과 4C/ID(4-구성 요소/지시적 설계) 모델을 적용할 수 있는 방법을 설명하고 또한 교육 혁신 과정의 과제와 함정에 주목하여 유사한 과제를 해결하고자 하는 다른 사람들에게 지침을 제공한다.
The design and construction phase is central in the work of Vandewaetere et al,40 who describe the steps they took, and especially their underlying reasoning, in the course of building five learning modules for general practice students. Through authentic complex tasks such as caring for elderly people or handling patients with physically undefined symptoms, this work demonstrates how educators can address the development of integrated competencies, such as clinical reasoning, communication and health promotion. The module descriptions illustrate how principles of whole-task learning and the 4C/ID (four-component/instructional design) model can be applied, as well as also noting challenges and pitfalls in the educational innovation process, and thus offers guidance to others wishing to tackle similar challenges.
[평가와 성찰 과정]과 연구 결과는 [수의과 학생들을 위한 이론 기반 평가 프로그램의 실행]을 조사한 41세의 복 외 연구진들의 연구에서 전경화되었다. 그들의 프로그램은 학생들이 직장에서 피드백을 찾고 축적하고 배울 수 있도록 동기를 부여하고 지원함으로써 학습과 평가를 통합한다. 그들은 학생과 임상 감독자의 경험을 탐구하기 위해 양적, 질적 방법을 사용했다. 그들의 연구결과는 유사한 이니셔티브의 개발뿐만 아니라 그들의 프로그램에 대한 개정에도 영향을 미친다. 예를 들어, 동료 피드백, 사회적 상호 작용 및 외부 지침은 이 (종류의) 프로그램에서 중요한 요소인 반면, 포트폴리오 심판과 의도하지 않은 학생 인식(즉 형성적 평가조차 총괄적이라는)에 필요한 훈련 수준은 정면으로 대처해야 할 과제를 구성한다.
The evaluation and reflection processes and findings are foregrounded in the work of Bok et al,41 who investigated the implementation of a theory-based assessment programme for veterinary medicine students. Their programme integrates learning and assessment by motivating and supporting students to seek, accumulate and learn from feedback in the workplace. They used quantitative and qualitative methods to explore the experiences of students and clinical supervisors. Their findings hold implications for revisions to their programme, as well as the development of similar initiatives. For example, peer feedback, social interaction and external guidance are crucial elements in this (kind of) programme, whereas the level of training required for portfolio judges and unintended student perceptions (namely, that even formative assessments are still summative) constitute challenges to be tackled head on.
4 | EDR 강화
4 | ENHANCING EDR
4.1 | 도전과 한계
4.1 | Challenges and limitations
다른 사람들 중 필립스와 돌은 [실용적인 혁신과 이론 구축을 동시에 추구하는 것은 매우 야심적이고 어렵다]고 경고했다. 이는 부분적으로 설계 연구를 추구하는 연구자들이 실제 교육 문제의 복잡한 변이와 직접 씨름하기 위해 실무자들과 손을 맞잡고 작업한다는 사실에서 비롯된다. 복잡성은 증가하지만, 이러한 협업은 모든 관련자를 위한 전문 개발 목표인 EDR의 세 번째 목표를 달성할 수 있습니다.
Phillips and Dolle,42 amongst others, have cautioned that the simultaneous pursuit of practical innovation and theory building is extremely ambitious and difficult. This partially stems from the fact that researchers pursuing design research work hand-in-hand with practitioners to grapple directly with the complex variation of realworld education problems. Although it increases complexity, this collaboration can lead to the accomplishment of a third goal of EDR, that of professional development for all those involved.
EDR을 수행할 때 일반적으로 네 가지 유형의 도전에 직면합니다.
Four types of challenges are commonly encountered when conducting EDR,
[개념적 도전]은 EDR이 무엇인지(또는 그렇지 않음)와 추구되는 목표의 종류를 이해하는 것과 관련이 있다. [방법론적 관점]에서 EDR은 프로젝트의 라이프사이클 전체에 걸쳐 질문 유형의 다양성을 고려할 때, 연구자들이 다양한 방법에서 다방면의 기술을 보유해야 하기 때문에 도전적이다. EDR 연구의 프로세스와 [결과를 전달]하는 것은 어려울 수 있다. 왜냐하면 이러한 연구는 일반적으로 크고 복잡하며, 비-이해관계자들에게 그들의 가치가 항상 명확하게 표현되는 것은 아니기 때문이다. 네 번째 과제는 종종 조직 정책 및 이해관계자 역학과 같은 설계(실행)에서 비롯되는 [정치적 차원]과 관련이 있다. 표 3
Conceptual challenges relate to understanding what EDR is (or is not) and the kinds of goals being pursued. From a methodological standpoint, EDR is challenging because, given the variety in the types of questions asked throughout a project’s lifecycle, it requires that researchers possess well-rounded skills in a variety of methods. Communicating the processes and outcomes of EDR studies can be challenging because these studies are typically large and complex, and because their value to non-stakeholders is not always articulated. A fourth set of challenges relates to political dimensions, often stemming from (implementing) the design, such as organisational policies and stakeholder dynamics. Table 3
EDR을 고려하는 사람들에게는 정보에 입각한 선택을 하는 것이 중요하다.
첫째로, EDR은 (적어도) 연구자와 실무자 사이의 긴밀한 협력을 요구한다.43 이것이 실현 가능하지 않거나 바람직하지 않을 때 EDR은 실행 가능한 옵션이 되지 않는다.
둘째, EDR은 이론, 혁신 및 실제를 연결한다.44 이들 중 하나 이상의 개발이 높은 우선순위가 아닐 때, EDR은 유용하지 않을 가능성이 있다.
셋째, 실무에서 생산적인 변화를 창출하는 데 중점을 두기 때문에 EDR은 상당한 시간이 필요하다.45 가용 시간이 몇 개월 또는 몇 년이 아닌 몇 주 단위로 측정된다면 EDR은 실현 가능하지 않을 가능성이 높다.
For those considering EDR, it is important to make informed choices. First, EDR requires close collaboration between (at least) researchers and practitioners.43 When this is not feasible or desirable, EDR ceases to be a viable option. Second, EDR connects theory, innovation and practice.44 When the development of one or more of these is not of high priority, EDR is not likely to be useful. Third, because it centres on creating productive change in practice, EDR requires substantial amounts of time.45 If the time available is measured in weeks (rather than months or years), EDR is not likely to be feasible.
마지막으로, EDR이 제대로 수행하기가 상당히 쉽고 잘 수행하기가 상당히 어렵다는 점을 감안할 때, EDR의 네 번째 제한은 접근법 자체와 더 적은 관련이 있으며, EDR을 수행하는 사람들의 능력capacity과 더 많은 관련이 있다. 다른 아이디어와 마찬가지로 EDR의 가치는 그 정의가 아니라 실현에 있다. '디자인 연구는 [혁신성, 증거에 대한 대응성, 기초 과학과의 연결성, 그리고 지속적인 개선에 대한 헌신]이라는 특성을 가진 실천공동체 내에서 이루어진다.' 46.
Finally, given that EDR is fairly easy to do poorly and quite difficult to do well, a fourth limitation of EDR has less to do with the approach per se and more to do with the capacity of those conducting it. As with other ideas, the value of EDR lies not in its definition but in its realisation. ‘Design research is constituted within communities of practice that have certain characteristics of innovativeness, responsiveness to evidence, connectivity to basic science, and dedication to continual improvement.’46
이러한 궤도에서 연구자들은 디자이너와 컨설턴트의 역할도 완수해야 하며, 이는 매우 도전적인 노력이 될 것입니다. McKenney와 Brand-Gruwel47은 설계 연구의 각 하위 프로세스(분석과 탐구, 설계와 시공, 평가와 반영, 구현과 확산)에 비추어 이 세 가지 역할을 검토했다.
In these trajectories, researchers must also fulfil the roles of designers and consultants, rendering this a highly challenging endeavour. McKenney and Brand-Gruwel47 examined these three roles in light of each sub-process of design research (analysis and exploration; design and construction; evaluation and reflection; implementation and spread).
표 3 공통 과제 및 이를 완화하는 방법
TABLE 3 Common challenges and ways to mitigate them
그들은 각각의 역할을 제정하는 데 필요한 [네 가지 기본 역량]을 명확히 하고, 그것을 발전시키기 위한 지침을 제공한다. 그들은 예를 들어
'공감'이 공유되지 않은 목표를 탐구하거나 다른 환경에서 인센티브, 동기 및 보상 구조에 노출되기 위해 필요하다는 점에 주목한다.
'조정'은 연구 프레임워크, 데이터 수집, 솔루션 설계, 구현, 인프라 문제 및 이해관계자 소유에 동시에 참여할 수 있도록 지원합니다.
창의적이고 분석적인 '유연성'은 지침의 목표와 일치하는 방식으로 사용 가능한 인적 및 물질적 자원의 최적화를 지원합니다.
마지막으로 '사회적 역량'은 각 역할을 수행하는 데 필요한 상호작용 전략의 강력한 레퍼토리를 가리킨다. 따라서 EDR을 수행하는 것은 분명히 복잡한 작업이다.
They articulate four foundational competencies that are required to enact each role, and offer guidelines for developing them.
They note that 'empathy' is needed, for example, to explore (un)shared goals or become exposed to the incentives, motives and reward structures in different settings.
'Orchestration' helps to simultaneously attend to research framing, data collection, solution design, implementation, infrastructure woes and stakeholder ownership.
Creative and analytical 'flexibility' supports the optimisation of the human and material resources available in ways that remain aligned with the goals of the instruction.
Finally, 'social competence' refers to a robust repertoire of the interaction strategies needed to fulfil each role. Thus, conducting EDR is clearly a complex task.
4.2 | 결론
4.2 | CONCLUSIONS
교육 디자인 연구는 물론 만병통치약이 아니다. 그러나, 그것은 교육적 개입이나 해결책이 잉태되기 전에 문제의 본질을 분명히 하는 그것의 높아진 관심 때문에 해결책주의에 은유적인 제동을 걸었다. 우리는 의학 교육이 이론적인 목표와 개발 목표 모두를 시너지 효과적으로 추구함으로써 가장 잘 해결될 수 있는 많은 도전에 직면해 있다고 믿는다. 예를 들어 Chen과 Reeves48이 주장하는 바와 같이 이 접근 방식은 다음과 같은 용도로 사용될 수 있습니다.
Educational design research is of course no panacea. However, it does put the metaphorical brakes on solutionism because of its heightened attention to clarifying the nature of the problem before an educational intervention or solution is conceived. We believe that medical education faces many challenges that might be best addressed by synergistically pursuing both theoretical and development goals. For example, as Chen and Reeves48 argue, this approach could be used to:
• 점점 더 유동적인 의료 팀에서 효과적으로 일할 수 있는 역량 개발
• develop capacities to work effectively in increasingly fluid health care teams;
• 환자 및 기타 의료 전문가와 문화적으로 유능하게 의사소통할 수 있는 기술을 배양한다.
• cultivate skills to communicate in a culturally competent manner with patients and other health care professionals;
• 기계 학습 알고리즘과 로봇에 점점 더 심화되고 있는 세계에서 의료 전문가들이 실습할 수 있도록 준비한다.
• prepare health care professionals for practice in a world that is increasingly infused with machine learning algorithms and robots;
• 역량 기반 교육을 촉진하기 위한 평가 프로토콜 및 피드백 관행을 개선합니다.
• improve assessment protocols and feedback practices to promote competency-based education, and
• 의료 전문가의 임상 추론 능력 향상
• enhance health care professionals’ clinical reasoning skills.
이 공동체가 설계 연구를 공유하기 전에 접근법의 유창성이 아직 개발되지 않은 경우(더 많이), 설계 연구에 더 익숙한 자매 분야의 연구원들과의 협력(예: 학습 과학, 교육 설계 또는 교육 기술)은 탐구할 가치가 있을 수 있다. 그렇게 함으로써, 해결책을 개발하기 전에 다룰 가치가 있는 문제들에 대한 서술적이고 설명적인 이해를 보장하는 데 세심한 주의를 기울이는 것을 우선시하는 같은 사고방식을 가진 학자들을 찾는 것이 중요해 보인다.
If fluency with the approach has yet to be developed before this community shares its design studies (more), then collaboration with researchers in sister fields, who are more accustomed to design research (eg, those in the learning sciences, instructional design or educational technology) may be worth exploring. In so doing, it seems crucial to seek out like-minded scholars who prioritise the giving of careful attention to ensuring descriptive and explanatory understanding of problems worth tackling before developing solutions.
.2020 Jun 21.
doi: 10.1111/medu.14280.Online ahead of print.
Educational design research: Portraying, conducting, and enhancing productive scholarship
Context:Solutionism is the all-too-common human propensity to jump to a solution before adequately understanding the nature of a problem. Solutionism has long been prevalent in efforts to improve education at all levels, including medical education.
Thesis:Educational design research (EDR) is a genre of research that features the gaining of in-depth understanding of a problem before any prototype solution is designed and tested. It is different from other forms of scientific inquiry because it is committed to the simultaneous development of both theoretical insights and practical solutions, together with stakeholders. This approach is powerful for theory building because it privileges ecologically valid studies that embrace the complexity of investigating learning in authentic (as opposed to laboratory) settings. When conducted well, both the research process and its outcomes generate valuable contributions to practice.
Preview:This article constitutes an expository essay on EDR, comprised of three movements. First, the approach is defined, its origins are presented, and its characteristics are described. Second, a generic model for conducting EDR is offered, and illustrated with examples from the field of medical education. Third, pathways towards advancing this form of inquiry are discussed, including ways to address inherent challenges and limitations, as well as recommendations for the medical education community. Although EDR is no panacea, this article illustrates how it can serve medical education research in a wide variety of geographic and disciplinary contexts.
평가에서 인간판단의 공정성: 해석적 문헌 고찰과 개념 프레임워크(Adv Health Sci Educ Theory Pract, 2020)
Fairness in human judgement in assessment: a hermeneutic literature review and conceptual framework
Nyoli Valentine1 · Steven Durning2 · Ernst Michael Shanahan1 · Lambert Schuwirth1
도입 Introduction
공정성은 건강직종 평가의 기본적인 자질이며 일반적으로 학생의 권리로 받아들여진다(Robinson 2002). 전통적으로 객관성은 평가의 공정성을 보장하기 위한 지배적인 방법으로 여겨져 왔으며, 평가의 구성 타당성과 신뢰성에 초점을 맞춘 20세기 보건 전문직 교육 연구 개발의 상당부분을 대상으로 한다(Valentine and Schuwirth 2019; Van der Vleuten et al. 1991; Cate and Regehr 2019). 지난 몇 십 년 동안, 학습에 대한 진화하는 생각, 사회적 이상 이동, 그리고 높은 이해도 시험의 한계에 대한 이해는 우리 분야 내에서 많은 변화를 가져왔다. 역량 기반 교육은 많은 국가에서 의료 교육에 대한 지배적인 접근 방식이 되었다. (10 Cate 2017). 이를 통해 임상의의 역할은 [이전에 강조되지 않았던 특징]과 [투입input보다는 결과에 대해 인증된 학습자]를 포함하도록 재정의되었다(10 Cate and Billett 2014). 역량은 학습자가 독립적으로 완료하도록 위임된 전문적인 과업으로 정의되었다(10 Cate and Schele 2007). 임상 역량의 평가는 서면 평가에서 다시 작업장의 실제 맥락으로 이동했고, 개별 평가에서는 평가 프로그램을 위한 길을 열었다(Daupine 1995; Van Der Vleuten and Schuwirth 2005; Valentine and Schuwirth 2019).
Fairness is a fundamental quality of health professions assessment and is commonly accepted as a student’s right (Robinson 2002). Traditionally, objectivity has been seen as the predominant way to ensure fairness in assessment and for much of the twentieth century health professions education research and development focussed on construct validity and reliability in assessment (Valentine and Schuwirth 2019; van der Vleuten et al. 1991; ten Cate and Regehr 2019). Over the last few decades, evolving ideas about learning, shifting social ideals and understandings of the limitations of high stakes tests led to many changes within our field. Competency-based education became the dominant approach to medical education in many countries (ten Cate 2017). With this, the role of the clinician has been redefined to include features previously not been emphasised, and learners certified on outcome rather than input (ten Cate and Billett 2014). Competencies have been defined into professional tasks which a learner is entrusted to complete independently (ten Cate and Scheele 2007). Assessment of clinical competence moved from written assessments back into the authentic context of the workplace, and individual assessments made way for programmes of assessment (Dauphinee 1995; van der Vleuten and Schuwirth 2005; Valentine and Schuwirth 2019).
이러한 변화에도 불구하고, 객관적 접근방식은 평가에서 지배적인 담론으로 남아있으며, 많은 사람들이 객관성을 평가를 평가해야 하는 'gold standard'로 보고 있다(Valentine and Schuwirth 2019; Van der Vleuten et al. 1991; Govaerts and van der Vleuten 2013; 10 Cate and Regehrer 2019). 심리측정적 모델은 측정과 양적 관점에서 공정성을 정의하려고 노력해왔다. 인간의 판단을 활용하고 진정한 성과를 평가하기 위해 고안된 작업장 기반 평가는 정량적 프레임워크를 사용하여 평가되었으며, 따라서 타당성과 신뢰성 기준을 충족하지 못한다는 비판을 받았다(Govaerts and van der Vleuten 2013). 이러한 객관적 관점에 기반하여, 많은 사람들은 인간의 판단을 너무 과실하고 주관적인 것으로 간주하여 고부담 평가에 사용할 수 없다고 본다(Valentine and Schuwirth 2019). 그러나 전통적인 정신측정학 접근법에만 배타적으로 초점을 두게 되면 복잡한 직장 환경에서 역량, 성과 및 평가의 주요 이슈를 놓칠 수 있다(Govaerts and van der Vleuten 2013; Govaerts et al. 2007). 이는 학문적 환경에서 역량을 획득하기에 충분하지 않다고 생각되어 왔다(Boud 1990).
Despite these changes, objective approaches have remained a dominant discourse in assessment, with many seeing objectivity as the ‘gold standard’ to which assessments should be judged (Valentine and Schuwirth 2019; van der Vleuten et al. 1991; Govaerts and van der Vleuten 2013; ten Cate and Regehr 2019). Psychometric models have sought to define fairness from a measurement and quantitative perspective. Workplace based assessments, which utilise human judgement and are designed to assess authentic performance, have been judged using a quantitative framework and therefore criticised for not meeting validity and reliability criteria (Govaerts and van der Vleuten 2013). Using this objective perspective, human judgement is seen by many as too fallible and subjective to be used in high stakes assessment (Valentine and Schuwirth 2019). However an exclusive focus on traditional psychometric approaches can disregard key issues of competence, performance and assessment in complex workplace settings (Govaerts and van der Vleuten 2013; Govaerts et al. 2007), has been thought not be sufficient to capture competence in an academic setting (Boud 1990).
문헌을 통해, 많은 저자들은 객관성에 대한 이러한 지속적인 초점을 의문을 제기하여, [평가에서 주관적인 인간의 판단]을 [심리측정적으로 교정될 '문제']가 아니라 [성과에 대한 정당한 인식]으로 수용하고자 하는 욕구를 표현하였다(Jones 1999; Rotthoff 2018; Hodges 2013; Cate and Regehr 2019; Bacon et). 2015년, Govaerts and van der Vleuten 2013, Schuwirth and van der Vleeuten 2006, Gingerich et al. 2014, Gipps and Stobart 2009). 가장 최근인 2020년에 오타와 컨센서스 성명보고서는 특별히 평가 프로그램에서 '전문가 판단을 재임명re-instate'(Boursicot 2020)하도록 요구했다.
Throughout the literature, many authors have questioned this continued sole focus on objectivity, expressing a desire to better embrace subjective human judgement in assessment not as a ‘problem’ to be corrected psychometrically but as legitimate perceptions of performance (Jones 1999; Rotthoff 2018; Hodges 2013; ten Cate and Regehr 2019; Bacon et al. 2015; Govaerts and van der Vleuten 2013; Schuwirth and van der Vleuten 2006; Gingerich et al. 2014; Gipps and Stobart 2009). Most recently, in 2020, the Ottawa consensus statement report for performance in assessment specifically called for assessment programs to ‘re-instate expert judgement’ (Boursicot 2020).
한 걸음 물러서서 평가에서 공정성의 근본적인 기본 가치에 초점을 맞추기 위해 관점을 바꾸는 것은 전통적인 객관적 접근법을 다시 설정하고, 평가에서 주관적인 인간 판단의 적절성을 판단하는 더 적절한 방법을 제공하는 데 도움이 될 수 있다. 평가에서 ['객관적'인 인간의 판단]이 아니라, 평가에서 ['공정fair'한 인간의 판단]이 무엇인지 살펴보는 것으로 초점을 바꾸는 것은 많은 다른 관점을 수용하도록 하며, 평가에서 인간의 판단의 정당화를 허용한다. 그러나 이를 위해서는 건강직업 평가에서 무엇이 인간의 판단을 공정하게 만드는가라는 질문을 다룰 필요가 있다. 이것은 모호하지 않게 '정답'한 단 하나의 대답이 있는 솔직한 질문이 아니다. 건강직종 평가는 복잡하고 예측할 수 없는 상황별 건강관리와 교육 환경에 내재되어 있다; 그것은 환자, 기관, 감독자 및 학습자를 포함한다; 그리고 때로는 인간의 판단과 공정성 모두에 여러 가지 그리고 때로는 모순되는 면이 있다.
Taking a step back and changing perspectives to focus on the fundamental underlying value of fairness in assessment may help re-set the traditional objective approach and provide a more appropriate way to determine the appropriateness of subjective human judgements made in assessment. Changing focus to look at what is ‘fair’ human judgement in assessment, rather than what is ‘objective’ human judgement in assessment allows for the embracing of many different perspectives, and allows for the legitimising of human judgement in assessment. However, to do this requires addressing the question: what makes human judgements fair in health professions assessment? This is not a straightforward question with a single unambiguously ‘correct’ answer. Health professions assessment is embedded in complex, unpredictable, contextual health care and education environments; it involves patients, institutions, supervisors and learners; and there are multiple, and at times conflicting, facets to both human judgement and fairness.
단순한 정의 없이 다차원적이고 복잡한 구조에 직면했을 때, 공유된 언어와 이해가 도움이 될 수 있다. 하이페츠 외 연구진(Heifetz et al.)은 "같은 의미를 지닌 동일한 단어를 사용하기 시작하면, 이슈에 대한 유의미한 차이점을 고심하면서도 더 효과적으로 의사소통하고 오해를 최소화하며 같은 페이지에 있다는 느낌을 얻게 된다"고 지적했다. 2009년). 본 문헌 검토의 목적은 의료 전문직 평가에서 인간 판단의 공정성과 관련된 요소, 정의 및 핵심 질문에 대한 학문적 지식 종합과 이해를 도출하는 데 있었으며, 공정한 인간 판단에 대한 아이디어를 명시적으로 제시하려고 시도했다.
When faced with a multi-dimensional, complex construct without a simple definition, a shared language and understanding can be helpful. Heifetz noted “When people begin to use the same words with the same meaning, they communicate more effectively, minimize misunderstandings, and gain the sense of being on the same page, even while grappling with significant differences on the issues” (Heifetz et al. 2009). The aim of this literature review was to produce a scholarly knowledge synthesis and understanding of the factors, definitions and key questions associated with fairness in human judgement in health professions assessment, attempting to make ideas about fair human judgement explicit.
이러한 복잡한 구조, 범주 및 결과 개념적 프레임워크를 추가로 관리하는데 도움을 주기 위해, 추가적인 연구를 알리고, 공정한 인간 판단에 대한 커뮤니케이션과 토론을 강화하며, 평가 프로그램의 전문가 판단의 재제시에 도움을 주기 위해 개발되었다.
To further help manage this complex construct, categories and a resulting conceptual framework was developed, with a view to informing further research, enhancing communication and discussions about fair human judgement and provide assistance in the re-instatement of expert judgement in assessment programs.
방법 Methods
설계 Design
이 리뷰의 목적을 달성하기 위해, 우리는 해석적hermeneutic 문학 리뷰를 실시했다. 인간의 판단의 공정성을 이해하려면 서로 다른 분야와 관점의 증거를 검토하고 취합하며, 고유한 맥락과 복잡성을 고려하고, 많은 다른 이해당사자들에 대한 함의를 검토해야 한다. 놀랄 것도 없이, 이 문헌은 방대하고, 이질적이며, 무작위적으로 통제된 실험에서 나온 일치된 답변이 없다. 헤르메뉴틱 접근법은 선형 프레임워크가 아닌 주기적 프레임워크로 사용하며 해석적 이해를 생성하는 과정과 관련이 있다. 논문은 문헌에서 나온 다른 논문의 맥락에서 해석되며, 새로운 논문이 읽힐 때마다 이해에 영향을 받는다(Boell and Ccez-Kecmanovic 2010). 체계적 검토 방법론을 통해 합성할 수 없는 이질적 문헌으로부터 통찰력을 창출하는 가치가 있고 그렇지 않으면 결론에 도달하지 않는 결과를 산출할 수 있기 때문에 헤르메뉴틱 리뷰의 인기가 높아지고 있다(Greenhalgh and Shaw 2017).
To achieve the aim of this review, we undertook a hermeneutic literature review. Understanding fairness in human judgement requires reviewing and compiling evidence from different disciplines and perspectives, considering unique contexts and complexity, and reviewing implications for many different stakeholders. Not surprisingly, this literature is vast, heterogeneous and without consensus answers from randomised controlled trials. A hermeneutic approach uses as cyclical rather than linear framework, and is concerned with the process of creating interpretive understanding. Papers are interpreted in the context of other papers from the literature and understanding is influenced by each new paper read (Boell and Cecez-Kecmanovic 2010). The popularity of a hermeneutic review is increasing as it has value in generating insights from heterogenous literatures which cannot be synthesised through systematic review methodology, and would otherwise produce inconclusive findings (Greenhalgh and Shaw 2017).
검토에는 두 가지 주요한 연속적인 순환 과정이 있었다. 즉, 그림 1(Boell and Cecez-Kecmanovic 2014)에서 입증된 주장을 전개하기 위해 입수한 기사의 검색 및 획득과 분석과 해석이다. 검토 내내 기존 문헌을 의미 있게 종합하고 비평하기 위해 해석적 접근법을 사용했다(Boell and Ccez-Kecmanovic 2014). 이러한 접근방식과 일관되게, 우리의 문헌 검색은 엄격했지만 유연하고 반복적이었으며, 아이디어가 지도화, 분류, 비판적으로 평가되고 증거의 성격이 더욱 명백해짐에 따라, 연구 질문의 추가적인 정교화가 이루어졌다(Boell과 Cecz-Kecmanovic 2010).
There were two main continuous cyclical processes in the review: the search and acquisition of articles and the analysis and interpretation of the articles obtained to develop an argument as demonstrated in Fig. 1 (Boell and Cecez-Kecmanovic 2014). Throughout the review an interpretive approach was used to meaningfully synthesize and critique the existing literature (Boell and Cecez-Kecmanovic 2014). Consistent with this approach, our literature search was rigorous but flexible and iterative, and as ideas were mapped, classified and critically assessed and the nature of the evidence became more apparent, there was further refinement of the research question (Boell and Cecez-Kecmanovic 2010).
그림 1 문헌 검토를 위한 프레임워크로서의 헤르메뉴틱 서클 (Boell and Ccez-Kecmanovic 2014)
Fig. 1 The hermeneutic circle as a framework for the literature review (Boell and Cecez-Kecmanovic 2014)
리뷰의 초점
Focus of the review
그림 1에서 서술한 단계들을 헤르메뉴틱 리뷰의 모범 사례로 따라, 우리의 문학 리뷰는 초기 아이디어에서 시작되었다. 이것들이 우리의 초기 질문들을 형성했다:
Following the steps outlined in Fig. 1 as best practice for a hermeneutic review, our literature review started with initial ideas. These formed our initial questions:
검토 단계 Stages of the review
1단계: 증거 검색 및 획득
Stage 1: search and acquisition of evidence
2019년 7월 NV는 그림 2에 요약된 검색 전략으로 시작했다.
In July 2019 NV began with the search strategy outlined in Fig. 2.
2단계: 데이터 추출, 분석 및 해석
Stage 2: Data extraction, analysis and interpretation
3단계: 개념 모델 개발
Stage 3: Development of a conceptual model
문헌 검토 과정에서, 건강 전문직 평가에서 인간 판단의 공정성에 대한 정의의 개념적 모델이 문헌 검토를 기반으로 개발되었다(그림 3).
During the literature review process, a conceptual model of the definition of fairness in human judgement in health professions assessment was developed based on the literature review (Fig. 3).
결과 Results
우리의 모든 질문에 대한 '숙성' 과정은 90개의 논문이 포함된 후에 이루어졌다. 이것들은 표 1에 요약되어 있다.
The process ‘saturation’ on all our questions was reached after the inclusion of 90 papers. These are summarised in Table 1.
개요: 평가 시 인간 판단의 공정성
Overview: fairness in human judgement in assessment
공정성은 복수의 정의를 가진 복잡한 구인이다(Tierney 2012). 평가 문헌 내에서는 "편향과 차별이 없고 모든 학생에게 적합성 규칙과 표준을 요구하는 판단의 질"(Harden et al. 2015) 또는 "시험에서 측정하고자 의도한 구인을 보여주는demonstrate 것에 대하여, 모든 응시자에게 동등한 기회를 주도록 시험이나 평가 과정 내 편향이 부재한 것"등과 같이 공정성을 단순화하려는 시도가 있었다. (American Research Association et al. 1999) 또는 "기술적 정신측정학 용어가 아님"(Tierney 2012)에 대한 그들의 입장을 입증한다. 그러나 공정성은 또한 공정성, 일관성, 균형, 유용성 및 윤리적으로 실현 가능한 것과 같은 광범위한 평가 관련 품질과 연관되어 있다. 이러한 폭breath는 평가의 공정성이 다면적이며, 이분법적으로 결정되거나 단순한 정의(Tierney 2012)로 축소될 수 있는 것이 아님을 보여준다.
Fairness is a complex construct with multiple definitions (Tierney 2012). Within the assessment literature, there have been attempts to simplify fairness to “the quality of making judgements that are free from bias and discrimination and requires conformity rules and standards for all students” (Harden et al. 2015), or “absence of bias within the test or assessment processes that give all candidates an equal opportunity to demonstrate their standing on the construct the test is intended to measure” (American Research Association et al. 1999) or as “not a technical psychometric term” (Tierney 2012). However, fairness has also been associated with a wide range of assessment related qualities such as equitable, consistent, balanced, useful and ethically feasible. This breath demonstrates that fairness in assessment is multifaceted and not something which can be reduced to a number, determined dichotomously or a simple definition (Tierney 2012).
인간 판단의 공정성의 특성을 이해하는 데 도움을 주기 위해, 문헌 검토의 결과로부터 개념적 프레임워크(그림 3)를 도출했다. 공정한 인간 판단의 복잡한 구조는
공정한 인간 판단의 특성(해외, 경계, 전문성, 민첩성 및 증거)
에 의해 개념화되며, 이는 실제 구성요소로 인간 판단의 공정성을 변환하는 데 있어서,
개개인의 수준에서 실제 구성요소로 지원되고 번역되는 가치(확실성, 목적에 적합성, 투명성 및 방어성)와
시스템 수준에서 도움이 되는 절차 및 환경(일반적인 공정성, 문서화, 다중 기회, 복수의 평가자, 타당성 증거)
To assist in understanding the characteristics of fairness in human judgement, a conceptual framework was derived (Fig. 3) from the results of the literature review. The complex construct of fair human judgement could be conceptualised through
values (credibility, fit for purpose, transparency and defensibility)
which are supported and translated into practical components
at an individual level by characteristics of fair human judgement (narrative, boundaries, expertise, agility and evidence) and
at a systems level by procedures and environments (procedural fairness, documentation, multiple opportunities, multiple assessors, validity evidence) which help translate fairness in human judgement from concepts into practical components.
평가에서 공정한 인간 판단의 가치
Values of fair human judgement in assessment
문헌 검토에서 평가에서 공정한 인간 판단의 네 가지 가치, 즉 신뢰도, 목적에 대한 적합성, 방어성 및 투명성을 확인했다. 이 값들은 모두 겹쳐서 서로 관련된다. 때로는 값이 상충하는 것처럼 보여서 관리해야 할 긴장을 고조시킨다. 이것들은 아래에 더 자세히 설명되어 있다.
The literature review identified four values of fair human judgement in assessment: credibility, fitness for purpose, defensibility and transparency. These values all overlap and relate to each other. At times the values appear to be conflicting, raising tensions which need to be managed. These are described in more detail below.
신뢰도 Credibility
[믿을 만하다고 여겨지는 인간]의 판단은 공정하다고 보여진다. 학습자들에게는 특히 불확실한 시기에는, 공정성이나 정의감이 [결정의 신뢰성]에 열쇠가 된다(Van den Bos and Medema 2000; Lind and Van den Bos 2002). 신뢰성에 대한 명확한 정의는 없지만, 정의 전반에 걸친 중요한 관점이 신뢰성believability, 그리고 조사 결과의 '진실성'에 대한 자신감 또는 신뢰감(Govaerts and van der Vleuten 2013)으로 나타나고 있다
Human judgements which are seen as credible, are seen as fair. For learners, a sense of fairness or justice is key to the credibility of the decision, especially in times of uncertainty (Van den Bos and Miedema 2000; Lind and Van den Bos 2002). There is no clear definition of credibility however an overarching view across definitions appears to believability (Hilligoss and Young Rich 2008), and confidence or trustability in the ‘truthfulness’ of the findings (Govaerts and van der Vleuten 2013).
신뢰도 평가는 이분법적이지도 않고, 단 한 번에 일어나는 것도 아니다. 오히려, 정보 구상의 종단적 과정 전반에 걸쳐 이루어진 고려사항이다(Rieh와 Hilligoss 2008). 신빙성은 판단 자체뿐만 아니라 판단 당사자와도 관련이 있다(Chory 2007). [판단 그 자체의 신뢰성]과 그 [판단의 발단이 되는 사람] 사이의 상호작용이 된다(Chory 2007). [과거의 경험]은 신뢰도 판단에 영향을 미친다. 예를 들어, 학습자가 출처의 신뢰성에 의문을 제기하는 경우, 해당 출처의 모든 정보는 해당 시점(Rieh 및 Hilligoss 2008)에서 "두 번째 추측"된다.
Credibility assessment is a not dichotomous, nor does it occur at just one point in time. Rather, it is a consideration made throughout the longitudinal process of information seeking (Rieh and Hilligoss 2008). Credibility is related not only to the judgement itself but also to the person making the judgement (Chory 2007). It is an interplay between the credibility of the judgement itself and the person from whom it originates (Chory 2007). Past experience impacts credibility judgements. For example, if a learner questions the credibility of the source, all information from that source is “second guessed” from that point forward (Rieh and Hilligoss 2008).
[대인관계 또는 상호작용적 공정성]은 신뢰성과 공정성의 중요한 구성요소다(Rodabaugh 1996; Patterson et al. 2011). 대부분의 학습자들은 그들의 선생님을 존경하고 또한 존경받는 대우를 받기를 원했다(Rodabaugh 1996). 의료 교육에서 여러 연구의 주요 주제는 학습자의 신뢰성 판단에 있어 평가자 참여의 중요성이다. 연구에 따르면 학습자는 [평가자의 명백한 열정, 헌신, 가르치는 동기, 신뢰, 존중 및 호감]과 관련하여 학습자에 대한 분명한 느낌에 대해 신뢰성 있게 판단한다(Telio et al. 2016; Watling et al. 2008; Ginsburg et al. 2017a). [장기간의 관찰, 긍정적인 학습 문화,증거를 수집할 다수의 기회]는 이러한 신뢰성 판단의 발달을 지원한다(Watling et al. 2008; Watling 2014).
Interpersonal or interactional fairness, is an important component of credibility and fairness (Rodabaugh 1996; Patterson et al. 2011). Most learners respect their teachers and wanted to be treated with respect also (Rodabaugh 1996). A dominant theme of several studies in medical education is the importance of assessor engagement in learner’s credibility judgements. Studies have noted learners make credibility judgements regarding the assessors’ apparent enthusiasm, dedication and motivation for teaching, and their apparent feelings towards the learner in regards to trust, respect and fondness (Telio et al. 2016; Watling et al. 2008; Ginsburg et al. 2017a). Prolonged observation, a positive learning culture, and multiple opportunities for evidence support development of this credibility judgement (Watling et al. 2008; Watling 2014).
방어성 Defensibility
평가에서 판단 결정은 [학습자가 종종 주장claims의 기초를 형성하는 공정성의 개념으로 법적 보상을 요구할 수 있기 때문에] (법적으로) 방어할 수 있어야 한다(Colbert et al. 2017). 법적 용어로 판단judgement이란 어떤 증거를 가지고 또는 정당한 이유로 한 주장이다(reid 1850). 의료교육과 같이 복잡하고 불확실한 환경의 판단은 참 또는 거짓으로 분류하기 어렵고 확실성보다는 [신뢰성 또는 수용성]에 더 의존한다(Upshur and Colak 2003; Groarke 2019). 의학 교육 내에서는 평가가 어떻든 항상 불확실성이 있을 것이다. 어떤 평가 방법도 연습생이 모든 상황에서 의사라는 기대를 충족시킬 수 있다는 결정적인 증거는 결코 아니다. [절차적 공정성, 문서화, 전문성 및 경계]와 같은 개별적 특성과 시스템 절차는 판단의 방어성을 구축한다.
Judgement decisions in assessment need to be (legally) defendable as learners may seek legal redress with the concept of fairness often forming the basis of claims (Colbert et al. 2017). In legal terms, a judgement is an assertion made with some evidence or for good reason (Reid 1850). Judgements in complex, uncertain environments such as medical education are difficult to categorise as true or false and rest more on plausibility, or acceptability rather than certainty (Upshur and Colak 2003; Groarke 2019). Within medical education, no matter the assessment, there will always be uncertainty. No assessment method is ever conclusive proof that a trainee will be able to fulfil the expectations of being a doctor in all circumstances. Individual characteristics and system procedures such as procedural fairness, documentation, expertise and boundaries build the defensibility of judgements.
목적 적합성
Fitness for purpose
많은 저자들은 공정성이 사회적 구인이라고 주장해왔다(Stobart 2005; Ståhl et al. 2019; Wolf 1978; Eva 2015; Gipps and Stobart 2009). 지프스 외 연구진은 평가가 기술적 특성(Gipps 및 Stobart 2009; Stobart 2005)과 함께, 그것이 운영되는 사회문화적 맥락을 고려해야만 완전히 이해할 수 있는 [사회적으로 내재된 활동]이라고 주장한다. 의학 교육은 다양한 임상적 맥락에서 이루어지며, 진정한authentic 건강 관리 실천이라는 예측 불가능한 과제에 참여함으로써 생성되고 고유한 물리적, 사회적, 조직적 맥락에 의해 형성된다(Govaerts and van der Vleuten 2013).
Many authors have argued that fairness is a social construct (Stobart 2005; Ståhl et al. 2019; Wolf 1978; Eva 2015; Gipps and Stobart 2009). Gipps et al. argue that assessment is a socially embedded activity that can only be fully understood by taking account of the social and cultural contexts within which it operates, alongside the technical characteristics (Gipps and Stobart 2009; Stobart 2005). Medical education occurs in diverse, clinical contexts, with learning produced by engagement in unpredictable tasks of authentic health care practice and shaped by unique physical, social and organisational contexts (Govaerts and van der Vleuten 2013).
따라서 판단에서 무엇이 공정하고 신뢰할 수 있는지는 임상적 만남의 맥락과 환경 및 문화에 의해 결정되어야 하며, (다른) 증거의 존재만으로 결정되지 않아야 한다. 미국의 법률 시스템 내에서 처벌, 행정 편의 또는 자원의 예산 제약/이용 가능성과 같이 의도가 부적절할 경우 전문적 판단을 무시한다(Stefan 1993).
Therefore, what is fair and credible in a judgement must be determined by the context of the clinical encounter, and the environment and culture, not just by the existence of other evidence (Upshur and Colak 2003). Within the US legal system there is general consensus if the intent is inappropriate, such as punishment, administrative convenience, or budgetary constraints/availability of resources then the professional judgement is disregarded (Stefan 1993).
또한 공정한 판단 결정은 [의료전문가의 업무]와 [환자의 요구]와도 관련이 있어야 한다. 연구는 학습자들이 무엇보다도 임상적 관련성이 있다는 평가를 인지했다는 점에 주목했다(더필드와 스펜서 2002; 비니 외 2017). 맥락에 의존하고 목적에 맞는 공정한 판단은 총체적이다. 환자들은 측정 가능한 단위로 깔끔하게 분해되지 않으며 건강 전문가의 작업 또한 그렇지 않다. 통합 또는 전체론적 역량은 선별적으로 접근 가능한 증거를 옹호하며, 이는 역량이 추론되는 직장 및 환자 상황의 맥락에 민감하다(Beckett 2008).
Fair judgement decisions also need to relate to the work of a health care professional and the needs of the patient. Studies have noted that learners perceived assessment that, among other things, had clinical relevance was fair (Duffield and Spencer 2002; Viney et al. 2017). Context dependent and fit for purpose fair judgements are holistic. Patients are not neatly broken down into measurable units and neither can the work of a health professional. Integrated or holistic competence advocates a selective accessibly of evidence, which is sensitive the to the context of the workplace and patient situation, from which competence is inferred (Beckett 2008).
투명성 Transparency
문헌 전체에 걸쳐, 학습자와 공유된 이해를 구축하기 위해 개방성을 입증하는 공정한 평가를 강조한다(Dijksterhuis et al. 2009; Colbert et al. 2017; Van der Vleuten et al. 2015; Hays et al. 2015; Schuwirth et al. 2002), 일부 저자들은 투명성이 불공정한 평가에 대한 최선의 방어라고 주장한다(Gipps and Stobart 2009). 여기에는 [어떤 판단을 내릴 것인지, 누가 판단을 내릴 것인지, 판단의 목적, 기준 및 결과에 대한 명시적 의사소통]이 포함된다(Tierney 2012). 투명성을 개선하기 위한 의사소통 개입이 전체 공정성에 대한 candidate의 인식을 개선할 수 있다는 연구 결과가 나왔다(Patterson et al. 2011). 투명성은 판단 과정의 가치와 편견을 공개하고 이에 대한 영향에 대해 토론할 기회를 제공한다(Gipps와 Stobart 2009).
Throughout the literature, there is an emphasis on fair assessments demonstrating openness to build a shared understanding with learners (Dijksterhuis et al. 2009; Colbert et al. 2017; van der Vleuten et al. 2015; Hays et al. 2015; Schuwirth et al. 2002), with some authors arguing transparency is the best defence against unfair assessment (Gipps and Stobart 2009). This includes explicit communication about what judgements will be made, who will make them, the purpose, criteria, and results of the judgement decisions (Tierney 2012). Research has demonstrated communication interventions to improve transparency can improve candidate perceptions of overall fairness (Patterson et al. 2011). Transparency brings out into the open the values and biases of the judgement process and provides an opportunity for debate about the influences on this (Gipps and Stobart 2009).
투명성에는 수행능력 향상과 피드백에 초점을 맞춘 서술도 포함된다(Rodabaugh 1996; Colbert et al. 2017). 한 연구는 의대생을 대상으로 한 조사에서 '더 많은 피드백'이 공정성에 대한 일반적인 반응이라고 지적했다. 몇몇 의견제출자들은 적절한 피드백이 없다면, 미래에 계속해서 같은 실수를 저지를 수 있으며, 이는 불공평한 것으로 간주된다고 언급하였다(더필드와 스펜서 2002). 피드백을 제공하는 성과에 대한 고품질의 적절한 판단은 판단 결정의 신뢰성, 투명성 및 공정성을 구축한다(Tavares and Eva 2013; Govaerts and Van der Vleuten 2013).
Transparency also includes a narrative which focuses on performance improvement and feedback (Rodabaugh 1996; Colbert et al. 2017). One study noted ‘more feedback’ as a common response in a survey of medical students about fairness. Several respondents noted that without adequate feedback, they could continue to make the same mistakes in the future, and this was considered unfair (Duffield and Spencer 2002). High quality, appropriate judgements about a performance which provide feedback build the credibility, transparency and thus fairness of a judgement decisions (Tavares and Eva 2013; Govaerts and van der Vleuten 2013).
그러나 가치로서의 투명성은 공정성의 다른 가치와 상충될 수 있다(Tierney 2012). 예를 들어, 투명성은 학습자에게 프레임워크와 기대치에 대한 이해를 제공하지만, 이것은 더 신뢰할 수 있고 목적에 적합하며 방어할 수 있는 개별화된 [맥락적 평가의 기회를 제한]할 수 있다. 투명성은 컨텍스트-독립성을 목표로 하는 체크리스트, 루브릭 및 판단 보조 도구로 이어질 수 있기 때문이다.
However, transparency as a value can conflict with other values of fairness (Tierney 2012). For example, transparency provides learners with a framework and an understanding of expectations, but this can restrict opportunities for individualised, contextual assessment which is more credible, fit for purpose and defensible. Transparency can lead to checklists, rubrics and judgement aids which aim to be context independent.
와틀링(2014년)은 사전 결정된 평가 양식을 주목했는데, 평가자가 관찰되지 않거나 임상 상황의 맥락에서 광범위한 역량에 대해 판단하도록 강요받으면 평가자와 프로세스에 대한 학습자의 신뢰도가 떨어지고, 의미 없는 상투적인 산더미에서 잠재적으로 [신뢰할 수 있는 결정]을 숨길hide 수 있다. 게다가, 분명하게 표현할 수 없는 판단을 내릴 때 작용하는 많은 개별화된, 암묵적인 가치관과 개인적 특성이 있다. 투명성이 신뢰도, 방어성 및 인간 판단의 공정성에 [합목적적인 공생] 속에서 이뤄질 수 있도록 하기 위해서는 그림 3과 같이 전문가의 능력, 경계, 서술성, 평가자의 민첩성 등 많은 특성이 필요하다.
Watling (2014) noted predetermined assessment forms, where assessors are forced to make judgements on a wide range of competencies not observed or in context of the clinical situation can diminishes the learners’ trust in the assessor and process, and hides potentially credible decisions in a mountain of meaningless platitudes. Furthermore, there are many individualised, tacit values and personal characteristics which come into play when making judgements which cannot be explicitly expressed. To ensure transparency can occur in symbiosis with credibility, defensibility and fit for purpose in fairness in human judgement, many characteristics such as expert abilities, boundaries, narrative and agility of assessors are needed as demonstrated in Fig. 3.
개인 차원의 평가에서 인간 판단의 공정성을 창출하기 위해 필요한 것은 무엇인가?
What is needed to create fairness in human judgement in assessment at an individual level?
판단 결정이 평가에서 인간 판단의 공정성의 가치에 내재된 경우, 이러한 결정은 내러티브, 증거, 경계, 전문지식 및 민첩성을 포함한 개별적 수준의 구성요소에 의해 뒷받침되어야 할 것이다.
If judgement decisions are embedded in the values of fairness in human judgement in assessment, then these will need to be supported by components at an individual level, including narrative, evidence, boundaries, expertise and agility.
내러티브 Narratives
내러티브는 인간의 판단에 투명성, 신뢰성, 방어성, 맥락, 경계 및 관점을 제공한다. 내러티브는 의도적으로 수행능력의 맥락 특이적 측면을 잡아내기 때문에, 학습자가 어떠한 방식과 이유와 방법으로 평가받았는지를 정의할 수 있게 된다. 이로서, 비선형적non-linear 평가를 캡처할 수 있으며, 의미 구성을 허용하고 성찰을 장려하여, 평가의 방어성을 개선하고 판정이 목적에 적합하도록 보장할 수 있다.
Narratives provide transparency, credibility, defensibility, context, boundaries and perspective to human judgement. It intentionally captures context-specific aspects of performance (Govaerts and van der Vleuten 2013; Bacon et al. 2017; Ginsburg et al. 2015), allows for capturing of non-linear assessment by defining how, why and in what way a learner has been judged, allows for the construction of meaning and encourages reflection (Greenhalgh and Hurwitz 1999a, b) which can improve defensibility and ensure the judgements remain fit for purpose.
일부 저자들은 전문가의 주관적 내러티브 논평은 '총괄적 평가에서 신뢰할 수 있는 의사결정을 하는데 필수적'이며, 따라서 판단의 신뢰도에 필수불가결하다고 제안한다. 평가자가 자신의 생각을 명확히 표현할 수 있도록 허용하는 것은 평가가 평가자의 사고를 가리는 [수치적 점수에 의존할 때 발생하는 환원주의]보다 더 신뢰할 수 있고 방어할 수 있다(Govaerts and van der Vleuten 2013; McCready 2007). 평가에 서술적 내러티브를 사용하는 것은 위험 학습자를 조기에 식별하는 것으로 나타났다(Cohen et al. 1993; Durning et al. 2010; Ginsburg et al.2017b; Ginsburg et al. 2013). 내러티브는 또한 평가자들을 보다 전체적인 판단으로 이끌며(Bacon et al. 2017), [학습자들이 공정한 판단에 필요하다고 보는] 피드백을 허용한다(Rodabaugh 1996; Colbert et al. 2017; Duffield and Spencer 2002; Govaerts and van der Vleuten 2013; Tavares와 Eva 2013; Watling et al. 2008). 더욱이, return-to-work 문헌에서, 판단의 공정성에 대한 인식은 적어도 부분적으로 관련 전문가의 의사소통 능력에 의존했다(Sthl et al. 2019).
Some authors propose that expert subjective narrative comments are ‘indispensable for trustworthy decision making in summative assessments’, and thus credibility of judgements (Ginsburg et al. 2015; Marjan Govaerts and van der Vleuten 2013). Allowing assessors to articulate their thinking, may be more credible and defensible than reductionism which occurs when assessments rely on numerical scores which mask assessors’ thinking (Govaerts and van der Vleuten 2013; McCready 2007). The use of descriptive narratives in assessment has been shown to identify at-risk learners earlier (Cohen et al. 1993; Durning et al. 2010; Ginsburg et al. 2017b; Ginsburg et al. 2013) and contributes to predicting future performance or need for remediation (Cohen et al. 1993). Narratives also lead assessors to more holistic judgements (Bacon et al. 2017) and allow for feedback which learners see as essential for a fair judgement (Rodabaugh 1996; Colbert et al. 2017; Duffield and Spencer 2002; Govaerts and van der Vleuten 2013; Tavares and Eva 2013; Watling et al. 2008). Furthermore, within the return-to-work literature, perceptions of the fairness of the judgements was at least partly dependent on the communication skills of the professionals involved (Ståhl et al. 2019).
내러티브는 또한 [그룹 의사결정을 용이하게 하고, 평가자가 가정을 명확히 하고, 견해의 확정을 논하고, 다른 사람의 관찰로부터 배울 수 있도록 함]으로써 [시스템 수준]에서 방어성을 더한다(Bacon et al. 2017). 어떤 사람이 자신의 결정에 대한 이유를 명확하게 설명하기 위해 내러티브를 사용해야 할 때, 그들은 그들이 목적에 적합하도록 확실히 하기 위해 의사 결정에 더 집중하게 된다. (Daniels and Sabin 1997).
Narratives also add to defensibility at a systems level by facilitating group decision making, allowing assessors to articulate assumptions, discuss disconfirming views and learn from the observations of others (Bacon et al. 2017). When a person is required to use narratives to articulate the reasons for their decisions they become more focused in their decision making ensuring they remain fit for purpose (Daniels and Sabin 1997).
평가자의 언어는 모호하고 간접적일 수 있으며, 교직원과 학습자가 자신의 코멘트에 의해 의도된 평가자의 의도를 추측하도록 요구하는 경우('숨겨진 코드'를 찾음) 이 코드를 해석하는 데 있어 교직원과 학습자들 사이에 놀라운 일관성이 있다(Ginsburg et al. 2015, 2016, 2017a). 그러나, 체면 유지를 위한 '헷징'을 포함한 여러 요소들로 인해, 내러티브는 종종 학습자가 얼마나 열심히 일하느냐에 초점을 맞추는데, 이는 학습자가 노력의 이러한 인식을 공정하다고 보는 경우가 많지만, 성과 판단에 도움이 되지 않을 수 있다. 게다가, 일부 평가자들은 부정적인 메시지를 효과적으로 전달하기 위한 훈련과 내러티브가 부족하다고 느낀다. (Cleland et al. 2008)
Whilst assessors’ language may be vague and indirect, requiring faculty and learners to guess what assessors intended by their comments (finding a ‘hidden code’) there is surprising consistency amongst faculty and learners in interpreting this code (Ginsburg et al. 2015, 2016, 2017a). However, due to multiple factors, including ‘hedging’ to save face, narrative often focuses on how hard a learner works which can be unhelpful in judging performance (Ginsburg et al. 2016, 2017a), although learners often see this recognition of effort as fair (Rodabaugh 1996). Furthermore, some assessors feel they lack the training and narrative to give negative messages effectively (Cleland et al. 2008).
이러한 한계를 극복하기 위해 많은 사람들은 평가자에게 판단을 요청할 때 임상 실무에 적합한 서술법을 사용할 것을 요구하였다(Kogan et al. 2014; Crossley and Jolly 2012). 평가 척도를 임상적 독립성 또는 위임 구성에 맞춰 조정하면 점수 신뢰도와 평가자 차별성이 개선되는 것으로 나타났다(Crossley and Jolly 2012; Weller et al. 2014). 이것은 또한 임상적 증거가 [판단의 내러티브]의 기초가 될 수 있도록 하여 신뢰성을 향상시킨다 (Watling et al. 2012). 더욱이, (이러한) 판단은 평가 척도보다 고품질 임상 치료에 집중되기 때문에, 환자들에게도 더 공평하다(Kogan et al. 2014).
To overcome these limitations, many have called for narratives which fit clinical practice to be used when asking assessors to make judgement (Kogan et al. 2014; Crossley and Jolly 2012). Aligning rating scales to the construct of clinical independence or entrustment has been shown to improve score reliability and assessor discrimination (Crossley and Jolly 2012; Weller et al. 2014). This also allows for clinical evidence to be form the basis of the narrative of the judgement which improves credibility (Watling et al. 2012). Furthermore, it also is fairer to patients, as the judgements are focused on high quality clinical care rather than rating scales (Kogan et al. 2014).
근거 Evidence
근거는 판단을 뒷받침하는 수단으로 제공되며(Upshur와 Colak 2003), 타당성 논쟁을 일으키는데 필수적이다(Govaerts and van der Vleuten 2013). 근거가 없으면 판단이 아니라 추측이다(Downie and Macnaughton 2009). 근거 그 자체는 종종 주관적이다. 각 맥락에서 적용할 수 있는 증거를 판단하는 보편적 표준은 없으며, 따라서 필요한 근거의 유형은 그에 따라 달라질 것이다(Upshur와 Colak 2003). 또한 고부담 평가에서 [데이터 수집 단계와 수집된 증거]가 실제 판단 자체보다 더 자주 어려운 것임이 입증되었다(Southgate et al. 2001).
Evidence is offered as a means of supporting judgements (Upshur and Colak 2003), and is essential for creating a validity argument (Govaerts and van der Vleuten 2013). Without evidence, it is not a judgement but a guess (Downie and Macnaughton 2009). Evidence itself is often subjective. There is no universal standard to adjudicate evidence that can be applied in each context, and the type of evidence needed will therefore vary accordingly (Upshur and Colak 2003). It has also been demonstrated that in high stakes assessment, the data gathering phase and evidence collected is more often challenged than actual judgement itself (Southgate et al. 2001).
Watling 외 연구진(2012)은 [환자의 임상 결과 및 환자로부터의 피드백]과 같이, 학습자는 [의사의 실제 작업에 내재된 판단에 관한 근거]를 본질적으로 신뢰할 수 있는 것으로 보았다. 평가자로부터 [직접 관찰을 받음]으로서 판단 결정을 받는 것은 평가의 공정성에 대한 신뢰도와 인식에 기본적이며, 이러한 공정성에 대한 인식은 관찰이 장기간에 걸쳐 이루어질 경우 더욱 강화된다(Duffield 및 Spencer 2002; Bul).잠금 등 2019). 다양한 임상 환경에서 복수의 증거 출처를 갖는 것(삼각측량), 증거의 지속적인 수집 및 삼자 회의(피어 디브리핑 및 멤버 체크)와 같은 시스템 절차도 증거의 공정성에 대한 인식을 개선하기 위해 보인다(Webb et al. 2003; Bacon et al. 2017; Watling et al. 2013a).
Watling et al. (2012) noted evidence for judgements that were embedded into the actual work of a doctor, such as patient clinical outcomes and feedback from patients was seen by learners as being intrinsically credible. Having the opportunity to be directly observed by the assessor making judgement decisions is fundamental to the trustworthiness and perception of fairness of the assessment (Watling and Ginsburg 2019; Watling et al. 2013a; Watling et al. 2008), and this perception of the fairness is enhanced by prolonged observation (Duffield and Spencer 2002; Bullock et al. 2019). System procedures such as having multiple sources of evidence in a variety of clinical settings (triangulation), continuous collection of evidence and tripartite meetings (peer debriefing and member checks) is also seen to improve the perception of fairness of evidence (Webb et al. 2003; Bacon et al. 2017; Watling et al. 2013a).
경계 Boundaries
공정한 판단 결정은 경계가 있다고 볼 수 있다. 이것들은 판단에 도달하고, 판단 결과를 소통하는 과정에서
허용 가능한/허용되지 않는 것,
관련성이 있거나 없는 것,
목적에 적합한 것/부적합하지 않은 것 사이의 경계선이다.
Fair judgement decisions can be seen as having boundaries. These are boundaries between
what is acceptable/not acceptable,
what is relevant/not relevant or
what is fit for purpose/not fit for purpose in the process of arriving at and communicating a judgement.
경계는 사회적 구인으로서, [가치와 연결되고, 따라서 평가자는 서로 다른 장소마다 경계를 구성]한다. 본질적으로, [경계]는 모호하다. 학습자들은 경계가 어디에 있는지, 그리고 무엇이 "평가가능한지"에 대해 걱정한다. [지속적인 관찰]은 학습자에게 [모든 관찰은 체면을 잃거나 평가 결과에 영향을 줄 수 있는 기회]라는 것을 의미할 수 있다. 한 연구에 따르면 학생들은 인종, 성별, 연령에 기초하여 일부 학생에 대한 교수진의 편파성이 불공평하다고 느꼈으며, 많은 국가에서 이 또한 불법이라고 한다. 암묵적으로 공유된 가치, 표준 문서는 판단 결정을 위한 증거가 될 수 있는 것의 경계를 만드는 데 도움을 준다. 극단적인 관점을 갖는 것은 또한 그들이 내리는 사람과 판단의 신뢰성을 떨어뜨리는 경향이 있다(Kirkland 2012).
Such boundaries are social constructs, connected with values and thus assessors construct boundaries in different places (Houston 2002). By their very nature, boundaries are fuzzy. Learners are concerned about where boundaries lie, and what is “assessable” (Rees and Shepherd 2005). Continuous observation may mean every observation is an opportunity for learners to lose face and impact their assessment outcome (Watling and Ginsburg 2019). One study noted students felt a faculty member’s partiality to some students on the basis of race, gender or age was unfair, (Rodabaugh 1996) and in many countries this is also illegal. Implicit shared values, standard documents assist in creating boundaries of what is able to be evidence for judgement decisions. Holding extreme views, at the edge of boundaries also tends to lower the credibility of the person and the judgements they make (Kirkland 2012).
전문성 Expertise
의학 교육에는 임상 및 교육이라는 두 가지 유형의 전문지식이 있다(Jones 1999). 평가자는 평가자로서의 신뢰성을 갖추려면 전문 임상의로서의 신뢰성이 필요하다고 본다(Watling et al. 2012, 2013b; Telio et al. 2016; Berendonk et al. 2013). 의사결정 위원회는 또한 전문성을 중시하며, 공정성과 신뢰성을 확보하기 위해 교수의 [전문가로서 인지된 지위]에 의존한다(Hauer et al. 2016).
Within medical education, there are two types of expertise, clinical and educational (Jones 1999). Assessors perceive that credibility as an expert clinician is required if one is to have credibility as an assessor (Watling et al. 2012, 2013b; Telio et al. 2016; Berendonk et al. 2013). Decision making committees also value expertise, relying on faculty members’ qualifications via their perceived status as expert to help ensure fairness and credibility (Hauer et al. 2016).
학습자는 교육적 전문지식보다 임상적 전문지식을 중시한다(Watling et al. 2013b). 그러나 의료 교육 전문가들은 일반적으로 정보 및 정보 집합을 가지고 추론할 때 의미 있는 패턴 및 추상화를 더 많이 사용한다(Govaerts et al. 2011). 그들은 잘 발달된 개인 스키마를 가지고 있으며, 그들이 평가하고 있는 특정한 문제나 상황에 근거하여 사용하는 스키마를 선택할 수 있으며, 이것은 예측할 수 없는 맥락에서 판단을 용이하게 하는데 효과적이다(Watling et al. 2012; Govaerts et al. 2013; Marewski et al. 2010). 또한 그들은 다양한 맥락의 특정 정보를 의미 있는 패턴으로 결합하여 평가판단을 내릴 가능성이 더 높으며, 주로 그들이 본 것에 대한 문자적이고 피상적인 설명을 제공하는 초보자에 비해 연습생 성과에 대한 보다 풍부하고 해석적인 설명을 제공한다(Govaerts et al. 2011).
Learners value clinical expertise over educational expertise (Watling et al. 2013b). However, experts in medical education in general make more inferences on information, cluster sets of information into meaningful patterns and abstractions (Govaerts et al. 2011). They have a well-developed set of personal schemas, and are able to choose a schema used based on the specific problem or context they are assessing, which is effective for facilitating judgement in unpredictable contexts (Watling et al. 2012; Govaerts et al. 2013; Marewski et al. 2010). They also are more likely to make evaluative judgements, combining various context specific information into meaningful patterns, providing richer and more interpretive descriptions of trainee performance as compared to novices who mostly provide literal, superficial descriptions of what they had seen (Govaerts et al. 2011).
민첩성 Agility
Govaerts 외 연구진(2013년)은 평가자가 수행능력을 평가할 때 다양한 수행능력의 측면을 고려한다는 점에 주목했다. 예를 들어, 병력청취, 신체검사, 환자관리 중 성과를 평가할 때, 측정자들은 문제의 '의학-기술적' 측면을 적절히 다루는 학생들의 능력뿐만 아니라 의사소통, 대인관계, 시간관리 능력도 평가했다. 이와는 대조적으로 많은 평가 양식은 [맥락에 무관하게 독립적이며 임상 상황에 관계없이 모두 완료해야 하는] 별개의 독립된 실체로 성과 차원을 열거한다. 비록 이러한 방식은 투명하지만, 신뢰도가 낮거나 목적에 적합하지 않으며(Watling 2014; McCready 2007) [맥락적으로 적절하고, 전체론적이며 개별화된 판단 결정을 내릴 수 있는] 평가자의 민첩성을 인식하지 못한다(Govaerts et al. 2013). [지침이나 프로토콜을 엄격히 준수하는 것]과 [높은 "품질"]을 동일시하는 것은 보다 정교한 [전문성의 프로세스]에 대한 증거를 간과하는 것이다(Greenhalg et al. 2014).
Govaerts et al. (2013) noted that assessors consider multiple performance dimensions when assessing performance. For example, when assessing performance during history taking, physical examination or patient management, raters assessed not only students’ ability to adequately handle the ‘medico-technical’ aspects of the problem, but also communication, interpersonal and time management skills. In contrast, many assessment forms aim to be context independent and list performance dimensions as separate distinct entities which all need to completed regardless of the clinical situation. Although this is transparent, it is not credible or fit for purpose (Watling 2014; McCready 2007) and does not recognise assessors’ agility to make contextually appropriate, holistic and individualised judgement decisions (Govaerts et al. 2013). Equating “quality” with someone who strictly adheres to guidelines or protocols, is to overlook the evidence on the more sophisticated process of expertise (Greenhalgh et al. 2014).
공정성의 관점에서, 이러한 목적 적합하고 개별화된 전체론적 판단은 [여러 항목으로 된 체크리스트보다 더 낫지는 않더라도] 평가자 합의와 수행능력의 변별력을 입증하며, 사회적으로 더 공평하다. 왜냐하면 환자들은 상담의 '부분parts'를 할 수 있는 사람이 아니라, 심리학적으로 그들의 심리학적 환경에서 자신들에게 다가갈 수 있는 [전인적인whole person] 사람으로서 건강 전문가가 필요하기 때문이다.
From a fairness perspective, these fit-for-purpose, individualised holistic judgements demonstrate at least as much, if not more, assessor agreement and performance discrimination than checklists of actual items (Crossley and Jolly 2012; MacRae 1998; Sadler 2009) and are fairer to society because patients need a health professional who can approach them as a whole person, in their psychosocial environment, not one who can do ‘parts’ of an consultation.
법률적 관점에서, 의학에서는 [맥락]은 논쟁적합성의 판단에 강하게 영향을 미친다는 인식이 증가하고 있으며, 임상적 판단이 개별화되지 않은 경우에는 전문적 판단에서 벗어나는 것으로 간주된다(Stefan 1993).
From a legal perspective, in medicine there is increasing recognition that the context strongly influences the adjudication of argument adequacy and if a clinical judgement is not made on an individualised basis, it constitutes a departure from professional judgement (Stefan 1993).
나아가, [상담이 실시간으로 진화할 때만 문제가 드러나는] 불확실한 상황인 실생활real life에서 평가가 자주 일어나기 때문에, 평가자는 환자의 공정성과 안전을 보장하기 위해 실시간으로 판단해야 한다. 상황을 평가하고, 적절한 조치를 취하고, 결과를 재평가하기 위한 지속적인 모니터링 사이클이 필요하다. 이것은 민첩성을 필요로 한다. 이러한 민첩성과 전문지식이 결합되면, 연습생이 직장에 기반한 학습에 종사할 수 있게 되므로, 실제 환자들에 대한 임상 경험을 획득하여 환자 안전을 보장하면서도 학습을 극대화할 수 있다.
Furthermore, because assessment often occurs in real life, uncertain situations where issues only become apparent as the consult evolves in real time, assessors need to make judgements in real time to ensure patient fairness and safety (Katerndahl et al. 2010; Plsek and Greenhalgh 2001; Kaldjian 2010; Berendonk et al. 2013; Lipshitz et al. 2001; Flin et al. 2007; Epstein 2013). A continuous cycle of monitoring to assess the situation, taking appropriate actions and re‐evaluating the results is required (Flin et al. 2007). This requires agility. This agility, combined with expertise allows for trainees to engage in workplace based learning, gaining clinical experiences on real life patients to maximise learning whilst still ensuring patient safety (Flin et al. 2007).
시스템 수준에서 평가에서 인간 판단의 공정성을 창출하기 위해 필요한 것은 무엇인가?
What is needed to create fairness in human judgement in assessment at a systems level?
개별적인 평가판단은 독립적이지 않고 오히려 평가 시스템의 일부분이다. 시스템 사고의 관점을 활용하면 단순히 개별적인 수준의 공정성을 검사하는 것 보다 공정한 인간 판단의 개인 특성과 가치에 대한 보다 풍부한 검사가 가능하다(Colbert et al. 2015). 시스템 수준에서 공정성의 가치와 개별 특성을 지원할 수 있는 시스템과 환경에는 절차적 공정성, 문서화, 다중 기회, 복수의 평가자 및 타당성 증거가 포함된다.
Individual assessment judgements are not independent, rather they are part of an assessment system. Utilising a systems thinking lens enables a richer examination of individual characteristics and values of fair human judgement than would be possible from simply examining fairness at an individual level alone (Colbert et al. 2015). At a systems level, systems and environments which are able to support the values and individual characteristics of fairness include procedural fairness, documentation, multiple opportunities, multiple assessors and validity evidence.
절차적 공정성 Procedural fairness
절차적 공정성은 무정형의 개념이다. 교육 내에서는 절차적 공정성에 대한 명확한 정의가 없다. 그러나 이 비정형 개념의 중요성은 분명하다. 사람들은 결과를 결정하는 데 공정한 절차가 있다고 생각한다면 당국이 자발적으로 제공하는 결과를 받아들이고자 한다(Van den Bos et al. 1998; Van der Vleuten et al. 1991). 이는 실험실 실험, 조사 연구 및 실제 환경에서 발견되는 사회 심리학에서 가장 자주 복제되는 발견 중 하나이다(Van den Bos et al. 1997). 절차적 공정성은 후보자와 기관 모두에 대한 선발과 평가와 같은 고부담결정의 신뢰성에 중요한 역할을 한다(Burgess et al. 2014; Colbert et al. 2017).
Procedural fairness is an amorphous concept. There is no clear definition of procedural fairness within education. However, the importance of this amorphous concept is clear. People are more willing to voluntarily accept outcomes given to them by an authority if they perceive there is fair procedures in deciding the outcomes (Van den Bos et al. 1998; van der Vleuten et al. 1991). This is one of the most frequently replicated findings in social psychology, found in in laboratory experiments, survey studies and real world environments (Van den Bos et al. 1997). Procedural fairness plays an important role in the credibility of high stakes decisions such as selection and assessment, for both candidates and institutions (Burgess et al. 2014; Colbert et al. 2017).
절차적 공정성에 대한 인식에 긍정적인 영향을 미치는 것으로 보여지는 몇 가지가 있는데, 여기에는 판정이 이루어지는 과정을 명시적으로 기술하는 것(린드와 타일러 1988), 공식적이고 정기적인 판정 과정에 대한 포괄적 검토, 항소 절차의 제공(Hayes et al. 2015) 등이 있다. 또한 절차적 공정성을 위해 중요한 것은 학습자가 자신의 기대치와 이러한 [기대를 충족하지 못할 경우 요구되는 사항을 명시적으로 알려주도록] 하는 것이다(Colbert et al. 2017). 학습자에게 가능한 일찍 정보를 제공하는 것은 학습자가 자신의 의견을 말할 수 있게 해 주듯이 공정성에 대한 인식에 긍정적인 영향을 미치는 것으로 나타났다(Van den Bos et al. 1997). 평가 시기는 또 다른 관련 측면이다. 학습자가 자신의 행동을 바꿔볼 수 있는 기회가 없어 불공평하게 보이기 때문에 로테이션이 끝날 때 제공되는 판단은 잘 받아들여지지 않는다(Ramani et al. 2017; Watling et al. 2008).
There are several things which have been shown to positively influence the perception of procedural fairness which such as explicitly describing the process by which judgements are made (Lind and Tyler 1988), by formal, regular inclusive reviews of the judgement process, and provision of an appeals process (Hays et al. 2015). Also important for procedural fairness is to ensure the learner is explicitly told of their expectations and what else is required if they did not meet these expectations (Colbert et al. 2017). Providing learners with information as early as possible has been shown to positively impact perceptions of fairness, as has allowing learners to voice their opinion (Van den Bos et al. 1997). The timing of assessment is another relevant aspect; judgements provided at the end of a rotation are less well received, as there is no opportunity for learners to modify their behaviour which is seen as unfair (Ramani et al. 2017; Watling et al. 2008).
문서화 Documentation
[내려진 판단에 대한 풍부하고 의미 있는 정보의 문서화]와 [예상되는 가치와 표준의 문서화]는 외부 감사, 재구성, 평가 및 품질 보증과 투명성, 신뢰성 및 방어성을 허용한다(Govaerts and van der Vleeuten 2013; Webb et al. 2003; McCready 2007). 또한 위에서 설명한 절차적 공정성은 평가 정책과 절차를 요약한 명확하고 포괄적인 문서가 필요하다(Hays et al. 2015).
Documentation of rich, meaningful information about judgements made, and documentation of values and standards expected allows for external audit, reconstruction, evaluation and quality assurance and thus transparency, credibility and defensibility (Govaerts and van der Vleuten 2013; Webb et al. 2003; McCready 2007). Furthermore, procedural fairness as described above needs clear and comprehensive documentation outlining assessment policies and procedures (Hays et al. 2015).
필요한 문서의 세부사항은 상황에 따라 달라진다. 한 연구는 평가자가 글로벌 역량 등급만 제공했기 때문에 학습자가 판단의 신뢰성에 의문을 제기했다고 지적했다. 평가자가 의미 없이 체크박스를 하지 않았기 때문에 이것이 잠재적으로 더 신뢰할 수 있는 것으로 보일 수 있지만, 완전한 문서화의 결여는 반대의 효과로 이어졌다(Rees and Shepherd 2005).
The detail of the documentation required depends on the context. One study noted a learner questioned the credibility of a judgement because the assessor only provided a global competency grade. Although this could potentially be seen as more credible because the assessor did not meaninglessly tick boxes, the lack of complete documentation led to the opposite effect (Rees and Shepherd 2005).
다수의 기회 Multiple opportunities
질병은 [사물]이 아니라 [의사들이 징후, 증상, 진행을 해석하도록 요구하는 그림plots]으로 보여질 때 가장 유용하다(Hunter 1996). 마찬가지로, 단일 시점의 시간 평가 판단이 미래의 성과를 예측하기에 적절하지 않다고 제안되었으며, 지식, 기술 및 태도를 보다 지속적으로 평가할 수 있도록 종적 평가가 필요하다(Boulet and Durning 2019). 역량은 주어진 상황에 적용되는 일반적이고 안정적인 특성이 아니기 때문에, 다양한 직무 요구사항에 적응할 수 있는 개인의 성과와 능력을 심층적으로 이해하려면 광범위한 직무, 맥락 및 평가자가 필요하다(Govaerts and van der Vleuten 2013; Schuwirth et al. 2002; Van der Vleuten and Schuwirth 2005). 몇몇 저자들은 인간의 판단을 활용하는 공정하고 방어 가능한 평가 프로그램은 [종합적이고, 복합적이며, 사실에 입각한 지식, 직접 관찰의 충분히 큰 표본, MSF, 포트폴리오 등을 포함함으로써 학습 진행 상황을 모니터링하고 학습 계획과 자기 성찰을 개발할 수 있어야 한다]고 제안한다(Dijksterhuis et al. 2009년). 그러나 일부 교육 프로그램에서는 훈련생 평가에 대한 낮은 return rate가 드물지 않기 때문에 여러 가지 증거를 확보하는 것은 문제가 될 수 있다(Colbert et al. 2017).
Diseases are most useful when they are thought of not as objects but instead seen as plots that unravel over time requiring physicians to interpret signs, symptoms and progression (Hunter 1996). Similarly, it has been suggested a single point in time assessment judgement is not adequate to predict future performance, and longitudinal assessment is needed to allow for a more continuous evaluation of knowledge, skills and attitudes (Boulet and Durning 2019). Because competencies are not generic and stable traits that apply in any given situation, a broad range of tasks, contexts, and assessors are needed to gain an in-depth understanding of a person’s performance and capability to adapt to various task requirements (Govaerts and van der Vleuten 2013; Schuwirth et al. 2002; van der Vleuten and Schuwirth 2005). Several authors suggest that a fair and defensible assessment program utilising human judgement should be comprehensive, multimodal, incorporate factual knowledge, sufficiently large samples of direct observation, multisource feedback, and a portfolio to monitor progress and to develop learning plans and self-reflection (Dijksterhuis et al. 2009). However, obtaining multiple pieces of evidence can be problematic as in some training programs a low return rate for trainee assessment is not uncommon (Colbert et al. 2017).
평가에서 공정한 인간의 판단은 [기회 접근의 공정성]과 불가분의 관계에 있다(Stobart 2005). 감독자는 신체적 기회를 통해서 또는 학생 학습에 대해 한결같이 낮은 기대를 가질 때 학습자의 학습 기회 품질에 영향을 미칠 수 있다(Tierney 2012). 학생들의 공정감각은 [성적 상승 효과가 있는 점수의 수정 또는 조작]보다 [리뷰 세션이 학습지도요령 등 교육행동teaching practice으로 주어진 기회]와 더 밀접한 관계가 있는 것으로 나타났다(Rodabaugh 1996).
Fair human judgement in assessment is inseparable from fairness in access to opportunities (Stobart 2005). Supervisors are able to influence the quality of the learner’s opportunities to learn, both through physical opportunities, or when uniformly low expectations are held for student learning (Tierney 2012). Students’ sense of fairness has been found to be more closely related to opportunities afforded to them by teaching practices such as review sessions and study guides, than scoring modifications or manipulations that have the effect of raising grades (Rodabaugh 1996).
문헌에 따르면 모든 학습자는 주요 평가에 앞서 모든 평가 유형을 경험할 수 있는 기회를 가져야 하며, 특히 한 가지 평가 유형에서 불이익을 받는 사람에게는 전문성의 증거를 보여줄 수 있는 대체 기회를 주는 것이 특히 중요하다고 제안한다.9. 더욱이, 학습자들은 자신이 받은 피드백을 이해하고 통합했음을 증명할 기회를 가치 있게 여긴다(Watling et al. 2013a, 2008).
The medical literature suggests all learners should have opportunities to experience all assessment types prior to major assessments (Hays et al. 2015), and to allow learners alternative opportunities to demonstrate evidence of expertise, which is especially important for those who are disadvantaged on one type of assessment (Gipps and Stobart 2009). Furthermore, learners value opportunities to demonstrate they have understood and incorporated feedback they have received (Watling et al. 2013a, 2008).
공정성은 종종 '평등한' 대우나 관행으로 여겨져 왔다(Colbert et al. 2017). 그러나, 수많은 철학자와 수학자들은 평등한 대우를 한다고 해서 항상 공정성이 보장되는 것은 아니라고 주장해왔다(Eva 2015; Stobart 2005). 예를 들어, 에바는 '한 명은 편두통 때문에 결석한 반면 다른 한 명은 숙취로 인해 결석했을 때 의무 교육을 받지 못한 두 명의 의대생에게 동등한 치료를 주는 것이 공평한가'라고 묻는다. '중립성, 일관성, 편애 회피는 공정하지만, 모든 학습자를 사용하는 방법이나 피드백을 동일하게 취급하는 것은 다른 한편으로 불공평하다. 왜냐하면 그것은 일부 학생들의 학습 기회를 감소시키고 있기 때문이다(Tierney 2012).
Fairness has often been viewed as ‘equal’ treatment or practice (Colbert et al. 2017). However, countless philosophers and mathematicians have argued that equal treatment does not always ensure fairness (Eva 2015; Stobart 2005). For example, Eva asks: ‘is it fair to give two medical students equal remediation for missing a mandatory education session when one was absent because he had a migraine headache, whereas the other had a hangover (Eva 2015)?' Neutrality, consistency and avoidance of favoritism is one on hand fair, however, treating all learners the same be it in terms of the methods used, or the feedback given, is on another hand unfair because it is reducing the opportunity of some students to learn (Tierney 2012).
'중립성'은 맥락-독립적이며, 이런 의미에서 불공평하다. 예를 들어 병동 회진 중에 목소리를 내지 않는 조용한 학습자는 의료지식에 결함이 있는 것으로 잘못 추정될 수 있다(Colbert et al. 2017). 이는 보통 학습자들은 스스로 [공정성을 노력과 관련된 것]으로 본다는 점에서 더욱 상충된다. 예를 들어, 그들은 대부분의 학생들은 [투입과 성과는 반드시 일치하지 않고, [열심히 공부한 학생과 그렇지 않은 학생이 구별되지 않기 때문]에 모든 학생이 높은 점수를 받는 것은 불공평하다고 생각한다. 또는 판단이 학생들이 가져오는 입력과 일치하지 않기 때문이다(Wycliffe-Jones et al. 2018).
Neutrality is often context independent, and in this sense is unfair. For example, a quiet learner who does not speak up during ward rounds could be incorrectly inferred as having deficits in medical knowledge (Colbert et al. 2017). This is further conflicted by the fact that learners themselves see fairness as related to effort. For example they consider it unfair if most students receive high grades because input does not match output and no distinction is made between those who worked hard and those who did not (Rodabaugh 1996) or if judgements are not aligned with the inputs that the students brings (Wycliffe-Jones et al. 2018).
복수의 평가자가 평가하는 판단
Judgements assessed by multiple assessors
그룹 의사결정은 현재 전 세계 많은 국가에서 평가 결정을 위한 표준 메커니즘이 되었다(Hauer et al. 2016; Bacon et al. 2015; Govaerts and van der Vleuten 2013). 공개 숙의와 비판적 대화를 통해 증거를 비판적으로 검토하기 위한 그룹을 만드는 것은 [학습자에 대한 공유된 주관성shared subjectivity]의 개념을 통하여, 학습자와 평가자 모두에게 방어 가능하고, 신뢰할 수 있으며, 공정하다고 여겨진다. 2009; Hauer et al. 2015; Bacon et al. 2015; Govaerts and van der Vleuten 2013; Krefting 1991; Webb et al. 2003; Ham 1999).
Group decision making is now a standard mechanism for assessment decisions in many countries around the world (Hauer et al. 2016; Bacon et al. 2015; Govaerts and van der Vleuten 2013). Creating groups to critically review evidence through open deliberative and critical dialogue is seen as defensible, credible and fair by both learners and assessors because there is a concept of shared subjectivity about learners (Tochel et al. 2009; Hauer et al. 2015; Bacon et al. 2015; Govaerts and van der Vleuten 2013; Krefting 1991; Webb et al. 2003; Ham 1999).
대화는 다음의 것들을 가능하게 한다.
멤버 체크,
2차 평가자를 통한 검증,
검토 및 토론을 통한 평가 프로세스의 장기간 참여
서로 다른 해석이나 가정들의 표현,
증거와 분석의 삼각 측량
상충하는 증거와 판단의 조화
이 모든 것은 합의 이전에 다양성을 허용하며, 이는 전문적 판단의 방어가능성을 향상시키는 데 사용될 수 있다. 또한 이러한 정성적 증거 평가 방법은 [전문직업적 가치]와 같은 덜 유형적인tangible 학습 성과를 포착할 수 있게 한다.
Dialogue allows for member checking, verification with secondary assessors, prolonged engagement in the assessment process through review and discussion, articulation of different interpretations or assumptions, triangulation of evidence and analysis and reconciliation of disconfirming evidence and judgements. All of these things allow for diversity prior to agreement, which can be used to improve the defensibility of the professional judgements (Bacon et al. 2015; Govaerts and van der Vleuten 2013; Krefting 1991; Webb et al. 2003; Ham 1999). These qualitative methods of assessing evidence also allow for less tangible learning outcomes such as professional values to be captured (McCready 2007).
[그룹 구성원의 다양성]은 그룹 구성원이 고려하는 관점의 수를 증가시킴으로써 그룹 기능에 긍정적인 영향을 미칠 수 있다(Hauer et al. 2016). 이는 정보 공유를 촉진하고, 더 많은 그룹 구성원이나 가장 먼저 공유되는 정보에 우선 순위를 매기는 그룹의 경향을 극복하기 위한 전략과 연계될 필요가 있다(Hauer et al. 2016).
Diversity of group members can positively influence group functioning by increasing the number of perspectives considered by group members (Hauer et al. 2016). This needs to be coupled with strategies to facilitate information sharing, to overcome tendances of the group to prioritise information known to more group members or information shared first (Hauer et al. 2016).
그러나 여러 가지 다른 평가 도구에서 복수의 데이터 포인트를 광범위하게 사용할 수 있음에도 불구하고 평가 패널의 판단 결정은 소수의 근거 출처에만 초점을 맞출 수 있다는 점에 주목하였다(Hauer et al. 2015). 더욱이 일부 패널 결정의 검토에서, [우려의 부재]가 마치 [진급할 준비]처럼 해석되어서, 대다수 레지던트에 관한 데이터는 논의되지 않았다(Hauer et al. 2015).
However, it has been noted that judgement decisions from assessment panels may focus on only a few sources of evidence despite the widespread availability of multiple data points from multiple different assessment tools (Hauer et al. 2015). Furthermore, an absence of concern was taken to imply readiness for advancement in a review of some panel decisions, and often the data regarding a majority of residents wasn’t discussed (Hauer et al. 2015).
판단의 타당성 증거 Validity evidence for judgments
타당성 주장을 하려면 증거가 필요하다. 여러 출처와 맥락에서 광범위한 증거를 사용하는 것은 성능 평가의 타당성을 보장할 필요가 있다(Colbert et al. 2015). 판단 결정judgement decision은 관찰된 성과에서 결론과 결정에 이르는 일련의 추론과 가정을 포함한다. 본질적으로 타당성은 근거나 이론적 합리성에 의해 정당화될 수 있는, 해석이 적절하고 적절한 정도를 가리킨다(Govaerts and van der Vleuten 2013). 타당성 주장을 작성하기 위해 적절한 증거를 사용하여 평가자가 작성한 추론과 가정에 대한 타당성 평가가 필요하다(Govaerts and van der Vleuten 2013). 따라서 타당성 추론은 절차적인 측면에서 이루어지는 것이 아니라 판단과 의사결정의 전체 시스템에서 역할을 해야 한다.
Evidence is needed to create validity argument. Using a wide range of evidence from multiple sources and contexts is need to ensure the validity of performance appraisals (Colbert et al. 2015). Judgement decisions involve a series of inferences and assumptions leading from the observed performances to conclusions and decisions. In essence, validity refers to the degree to which the interpretations are adequate and appropriate, as justified by evidence or theoretical rationales (Govaerts and van der Vleuten 2013). Evaluation of the plausibility of the inferences and assumptions made by assessors using appropriate evidence is needed to create a validity argument (Govaerts and van der Vleuten 2013). Validity inferences are therefore not procedural per se, but must play a role in the whole system of judgement and decision-making.
고찰 Discussion
결과 요약 Summary of findings
평가에 인간의 판단을 계속 활용하기 위해서는 이러한 전문가 판단의 공정성을 고려할 필요가 있다. 이 문헌 검토는 공정성이 단순하게 정의될 수 없는 복잡한 구조임을 입증했다. 더욱이, '맥락'은 공정성을 결정하는 데 필수적이며, 어떤 하나의 정의도 여러 환경에 걸쳐 적합하지 않을 것이다. 전문성 문헌을 통해 배웠듯, 공정성이란 [체크리스트를 통해 해결할 수 있는 기술적 또는 단순한 문제]가 아니라 [복잡한 문제]로 프레임을 짜는 것이 중요하다. 전문성 평가에 대한 Ottawa 권고안은 복잡성을 수용했고, 전문성을 개인, 대인관계 및 거시사회(공용) 주제와 함께 다차원적인 것으로 간주했다(Hodges et al. 2011).
To continue to utilise human judgement in assessment, the fairness of these expert judgements needs to be considered. This literature review has demonstrated that fairness is a complex construct which cannot be simplistically defined. Furthermore, context is essential in determining fairness and no one definition will fit across different environments. Learning from the professionalism literature, it is important to frame the problem as the complex problem it is, rather than as a technical or simple problem which can be addressed through checklists (Lucey and Souba 2010). The Ottawa recommendations for the assessment of professionalism embraced complexity and considered professionalism to be multi-dimensional with intrapersonal, interpersonal and macro-societal (public) themes, and interactions between these themes (Hodges et al. 2011).
Greenhalgh와 Papoutsi (2018)는 보건전문직교육에는 역동적 상호작용과 내러티브를 예측하는 연구 설계와 방법이 필요하며, 시스템 전체가 어떻게 조합되는지에 주목해야 한다고 언급하면서, 이러한 [전체적인holistic 시스템 접근법]을 지지했다. 평가에서 공정한 인간 판단의 단순한 정의는 없지만, 공정성의 기초는 의학교육과 폭넓은 교육 문헌에서 유추된다. 이 검토에서 우리는 이러한 추론, 연구 및 관점을 종합하여 인간 판단의 공정성에 대한 추가 논의를 돕고 이 분야에서 연구와 탐구를 지도하는 데 도움이 되는 개념 모델을 만들려고 시도했다. 이 개념 모델은 복잡성을 수용하는 것을 목표로 하며, 평가에서 가치, 개별 특성 및 시스템 절차를 갖춘 다차원적 인간 판단을 제시한다. 이 모델은 공동 서술과 이해를 제공함으로써 평가에서 공정한 인간의 판단에 대한 기관과 학자들의 내외부 대화를 촉진하는 것을 목표로 한다. 무어는 [문제에 대한 이해당사자들 간에 공통된 이해를 만드는 것]이 핵심이라고 언급했다. 이는 반드시 완전한 합의여야 하는 것이 아니라, "문제에 대한 서로 다른 해석에 대해 지적인 대화를 할 수 있을 정도로 이해 당사자들이 서로의 입장을 잘 이해하고 있으며, 이를 어떻게 해결할 것인가에 대해 집단지성을 발휘하는"(Moore 2011) 것이다.
Greenhalgh and Papoutsi (2018) supported this holistic, systems approach, noting that health professions education needed research designs and methods which foreground dynamic interactions and narratives which paid attention to how systems come together as a whole from different perspectives. Whilst there is no simple definition of fair human judgement in assessment, the underpinning foundations of fairness are inferred in the medical education and broader education literature. In this review we have attempted to bring these inferences, studies and perspectives together to create a conceptual model which can be used as a guide to help further discussions of fairness in human judgement and guide research and exploration in this area. This conceptual model aims to embrace complexity, and present fair human judgement in assessment as multi-dimensional with values, individual characteristics and system procedures. The model aims to facilitate internal and external conversations by institutions and academics about fair human judgement in assessment by providing a shared narrative and understanding. Moore noted that creating shared understanding between stakeholders about the problem was key. This is not necessarily complete agreement, but that “the stakeholders understand each other’s positions well enough to have intelligent dialogue about the different interpretations of the problem, and to exercise collective intelligence about how to solve it” (Moore 2011).
긴장 Tensions
우리는 공정성의 복잡성을 가중시키는 이 개념 모델의 개발에서 몇 가지 긴장감을 드러냈다. 예를 들어, 공정성의 가치로서의 투명성은 신뢰도, 방어성, 목적에의 적합성과 같은 다른 가치와 충돌할 수 있다(Tierney 2012). 투명성은 평가를 학습자에게 알리고 미리 문서화해야 하지만 임상 작업은 예측이 불가능하고 완전한 투명성이란 어려운 일이다. 평가가 목적에 맞으려면, 변화하는 임상 상황에 대처하기 위해 민첩하고 유연하게 대처해야 하지만, 이는 투명성을 제한할 수 있다.
We have revealed several tensions in the development of this conceptual model which add to the complexity of fairness. For example, transparency as a value of fairness can conflict with other values such as credibility, defensibility and fitness for purpose (Tierney 2012). Transparency requires assessment to be known to learners and documented in advance, but clinical work is never predictable and so complete transparency is challenging. If assessment is fit for purpose, it needs to be agile and flexible to respond to the changing clinical situation, however this can limit transparency.
긴장감의 또 다른 예는 모든 학습자에게 '평등한' 치료를 제공하는 것이다. 중립성, 일관성 및 모든 학습자에게 동일한 기회를 제공하는 것은 한 편으로 공정하지만 중립성은 맥락에 따라 독립적이며 이러한 감각은 불공평하다(Eva 2015; Stobart 2005; Tierney 2012). 모든 학습자는 평가에서 동일한 퀄리티의 판단과 의사결정을 받을 권리가 있어야 하지만, 이것이 동일한 과정을 의미하는 것이어서는 안 된다.
Another example of a tension is providing ‘equal’ treatment to all learners. Neutrality, consistency and the providing the same opportunities to all learners is on one hand fair, however neutrality is context independent, and this sense is unfair (Eva 2015; Stobart 2005; Tierney 2012). Every learner is entitled to the same quality of judgement and decision making in their assessment, but this should not mean the same process.
추가적인 긴장은 여러 증거의 필요성과 전문가적이고 전체적인 판단의 균형을 맞추고 있다. 전문 평가인은 일반적으로 맥락적으로 적절하고, 총체적이며 개별화된 판단 결정(Govaerts et al. 2013)을 내리는데, 이는 공정성 관점에서 목적에 적합하다. 그러나 이러한 [총체적 판단]은 학습자의 진행에 대한 결정을 내리는 위원회에 제공할 수 있는 증거의 수가 줄어들 수 있으며, 이는 다른 한편으로는 불공평함을 의미한다.
A further tension is balancing the need for multiple pieces of evidence with expert, holistic judgements. Expert assessors typically make contextually appropriate, holistic and individualised judgement decisions (Govaerts et al. 2013) which from a fairness perspective are fit for purpose. However, these holistic judgements may provide fewer pieces evidence to a committee who are making decisions on a learner’s progression, which on the other hand is unfair.
때로는 환자에게 공평한 것과 학습자에게 공평한 것 사이에 긴장감이 감돌기도 한다. 인간 판단의 공정성에 관한 거의 모든 개인 및 시스템 구성요소는, 평가자, 특히 초보 평가자에게 시간과 훈련을 요구한다. 대부분의 평가자는 바쁜 임상의사여서 환자를 치료하는 데 시간이 걸릴 수 있다. 평가인을 위한 교육의 전문적 발전은 환자에게 영향을 미칠 가능성이 있는 임상적 전문성 개발에도 비용을 들일 수 있다.
At times, there is also a tension between what is fair to patients and what is fair to learners. Almost all individual and system components of fairness in human judgement require time and training for assessors, especially for novice assessors. As most assessors are busy clinicians, this can take time away from treating patients. Professional development in education for assessors can also come at a cost to clinical professional development which has the potential to impact patients.
이러한 긴장과 겉보기에 상충되는 가치나 구성요소를 관리할 필요가 있다. 고버트와 동료들은 평가 시스템이 긴장으로 가득 차 있고 평가에서 인간판단의 공정성도 다르지 않다고 지적한다. 그들은 이러한 긴장이 전통적인 '문제 해결 또는 해결책'에서 관리될 것이 아니라, 긴장을 이해하고 이에 관여하며 최대한 유리하게 활용할 수 있는 양극성polarities으로 볼 것을 제안한다(Govaerts et al. 2019).
These tensions and seemingly conflicting values or components need to be managed. Govaerts and colleagues note that assessment systems are rife with tensions, and fairness in human judgement in assessment is no different. They suggest that these tensions need to managed not in a traditional ‘fix the problem, either-or solutions’ but suggest understanding and engaging with the tensions and seeing them as polarities to be leveraged to maximum advantage (Govaerts et al. 2019).
기존 문헌과의 비교
Comparison with existing literature
우리는 문헌 검색에서 인간의 판단의 공정성에 대한 심층적인 조사를 찾지 못했다. 본 논문 전체에서 우리는 평가, 그 역할, 유익성 및 한계를 고려한 여러 연구와 관점을 인용했다. 우리는 광범위한 문헌을 통합한 리뷰를 만들기 위해 형식적이고 허황된 방법론을 사용하여 이 작품에 추가했다고 믿는다.
We found no in-depth examination of fairness in human judgement in our literature search. Throughout this paper we have cited multiple studies and perspectives which have considered human judgement in assessment, its role, benefits and limitations. We believe we have added to this work by using formal, hermeneutic methodology to create a review which incorporates a wide range of literature.
검토의 답변되지 않은 질문과 제한 사항
Unanswered questions and limitations of the review
이것은 철저한 문헌 검토가 아니라, 복잡한 구조의 패러디한 합성을 생산하려는 시도다. 또한 우리의 주제는 평가의 공정성이 아니라 평가에서 인간의 판단의 공정성에 국한되었다는 점에도 주목할 필요가 있다. 어떤 문헌 리뷰도 편견으로부터 자유롭지 못하다(Eva 2008). 그리고 우리는 이 리뷰도 마찬가지라고 주장하지 않는다. 실제로, 이 리뷰에는 리뷰 적용가능성을 제한할 수 있는 영어 논문만 포함되었다. 또한 이 문헌 검토는 문헌의 복잡성을 줄이는 것을 목표로 하는 것이 아니라, 우리가 수행하는 방식을 지속적으로 개선하고 평가에서 인간의 판단을 활용하려는 공동의 목표를 향해 전진하는 방법을 제공하는 데 도움이 된다.
This is not an exhaustive literature review, but rather an attempt to produce a parsimonious synthesis of a complex construct. It is also important to note that our topic was confined to fairness in human judgment in assessment not fairness in assessment in general. No literature review is free from bias (Eva 2008) and we do not claim this review is either. Indeed, this review only included English language papers which may limit the reviews applicability. This literature review also does not aim to reduce the complexity of the literature but rather help provide a way forward in our common aim of continuing to improve the way we undertake and utilise human judgement in assessment.
그는 "적절하게 복잡한 정책 문제에 필요한 모든 증거가 단일 학문으로부터 나오는 것은 드문 일이고, 단일 연구로부터 오는 것은 더 드물다"고 지적하며, 학자들이 정책 입안자와 기관에 제공할 수 있는 가장 유용한 제공물 중 하나는 기존 양적, 질적 정보에 대한 간결하고 통합적인 종합을 생산하여 주제 영역을 이해하도록 돕는 것이다 (Whitty 2015; Greenhalgh and Shaw 2017). 이것이 우리가 여기서 우리의 개념적 모델로 시도했던 것이다.
Whittly noted “it is rare that all the evidence needed for a moderately complex policy problem comes from a single discipline, and rarer still that it comes from a single study” and suggested one of the most useful offerings academics can make to policy makers and institutions is to produce a succinct and integrative synthesis of existing information, incorporating quantitative and qualitative, and make sense of the topic area (Whitty 2015; Greenhalgh and Shaw 2017). This is what we have attempted to do here with our conceptual model.
예상대로, 이 광범위한 검토에도 불구하고, 여전히 답하지 않은 많은 질문들이 있다. 첫째로, 이 분야의 이해당사자들은 문헌과 다른 관점을 가지고 있는가? 전문 평가자, 대학 학자들 그리고 다른 사람들은 현재 전 세계의 많은 평가 프로그램에서 인간의 판단력을 이용하는 방법을 모색하고 있다. 평가에서 문서화되거나 발표되지 않은 인간 판단에 대한 무언의 암묵적 지식이 있는가? 평가 프로그램 내에서 공정한 인간 판단의 실질적인 의미는 무엇인가? 그것은 문헌과 일치하고 그렇지 않다면 왜 안 되는가?
As is to be expected, despite this extensive review, there are still many unanswered questions. Firstly, do the stakeholders in this area hold a different perspective to that of the literature? Expert assessors, university academics and others are currently navigating the use of human judgement in many assessment programs round the world. Is there unspoken tacit knowledge about human judgement in assessment which is not documented or published? What are the practical implications of fair human judgement within their assessment program? Does it match the literature and if not, why not?
둘째, 직장에 기반한 평가의 복잡성을 감안할 때 어떻게 이 개념적 프레임워크를 실용적인 방법으로 사용할 수 있는가? 평가 프로그램이 평가에 인간의 판단을 더 많이 이용하는 경우, 이 개념적 프레임워크를 지침으로 사용할 수 있는가? 학습자, 기관 및 감독자에게 미치는 영향은 무엇인가?
Secondly, how can this conceptual framework be used in a practical manner given the complexity of workplace-based assessment? If assessment programs further utilise human judgement in assessment, then can this conceptual framework be used as a guide? What are the implications for learners, institutions and supervisors?
셋째, 서로 다른 가치들 사이의 긴장을 어떻게 조화시킬 수 있을까? 이러한 가치의 공생, 최대의 이익을 보장하기 위해 무엇이 필요한가? 학습자의 공정성을 달성하려고 노력하는 동시에 환자에게 공정성을 보장하는 방법은 무엇인가?
Thirdly, how can we reconcile the tensions between different values? What is needed to achieve symbiosis of these values, to ensure maximal benefit? How can we also ensure fairness to patients, whilst trying to achieve fairness for learners?
결론 Conclusion
2009년 Gipps와 Stobart는 이렇게 말하였다.
21세기 평가의 도전은 공정성에 대한 우리의 관점을 넓혀 사회문화적 맥락을 보다 충분히 고려하는 것이다. 그러나, 더 큰 사회적 문제들에서 한 발 물러나는 것은 어려운 일이고, 평가 그 자체에 집중하려는 유혹은 편향과 관련되어 있다.
In 2009 Gipps and Stobart said:
“The challenge for twenty-first-century assessment is to broaden our views of fairness to take fuller account of social and cultural contexts. The temptation, however, is to back away from the larger social issues because they are difficult, and to concentrate on the assessment itself, for example, in relation to bias” (Gipps and Stobart 2009).
공평성에 대한 우리의 관점을 학습자와 환자 둘 다에 관련되는 것처럼, 단지 객관성을 넘어, 평가에서 인간 판단의 모든 측면과 복잡성을 고려하도록 넓히는 것은 평가 프로그램에서 인간 판단의 지속적인 사용에 도움이 될 수 있다. 본 문헌 검토에서 우리는 [공정한 인간의 판단]을 가치, 개별적 특성 및 시스템 절차를 갖춘 다차원적 복합 개념으로 강조하였다. 이 모델은 이 분야에서 평가와 추가 연구에서 인간의 판단력을 구현하는 데 도움을 주기 위해 사용될 수 있다.
Broadening our view of fairness to consider fairness as it relates to both the learner and to the patient, to look beyond just objectivity and consider all facets and complexity of fairness in human judgement in assessment is likely to be beneficial in our ongoing use of human judgement in assessment programs. In this literature review we have highlighted fair human judgement as a multi-dimensional complex concept with values, individual characteristics and system procedures. This model can be used to help the implementation of human judgement in assessment and further research in this area.
Review
.2020 Oct 29.
doi: 10.1007/s10459-020-10002-1.Online ahead of print.
Fairness in human judgement in assessment: a hermeneutic literature review and conceptual framework
Human judgement is widely used in workplace-based assessment despite criticism that it does not meet standards of objectivity. There is an ongoing push within the literature to better embrace subjective human judgement in assessment not as a 'problem' to be corrected psychometrically but as legitimate perceptions of performance. Taking a step back and changing perspectives to focus on the fundamental underlying value of fairness in assessment may help re-set the traditional objective approach and provide a more relevant way to determine the appropriateness of subjective human judgements. Changing focus to look at what is 'fair' human judgement in assessment, rather than what is 'objective' human judgement in assessment allows for the embracing of many different perspectives, and the legitimising of human judgement in assessment. However, this requires addressing the question: what makes human judgements fair in health professions assessment? This is not a straightforward question with a single unambiguously 'correct' answer. In this hermeneutic literature review we aimed to produce a scholarly knowledge synthesis and understanding of the factors, definitions and key questions associated with fairness in human judgement in assessment and a resulting conceptual framework, with a view to informing ongoing further research. The complex construct of fair human judgement could be conceptualised through values (credibility, fitness for purpose, transparency and defensibility) which are upheld at an individual level by characteristics of fair human judgement (narrative, boundaries, expertise, agility and evidence) and at a systems level by procedures (procedural fairness, documentation, multiple opportunities, multiple assessors, validity evidence) which help translate fairness in human judgement from concepts into practical components.
Keywords:Assessment; Fairness; Health professions education; Judgement; Subjective.
본 논문은 2010년 오타와 콘퍼런스(이센베르크 2011)에 따른 컨센서스 성명 시리즈의 일환으로 AMEE(유럽의료교육협회)가 의뢰한 2011년 의료교사 성과평가 컨센서스 성명(Boursicot et al. 2011)부터 계속 업데이트하고 있다.
This paper continues from, and updates, the 2011 Performance Assessment Consensus Statement in Medical Teacher (Boursicot et al. 2011) which was commissioned by AMEE (Association for Medical Education in Europe), as part of the series of Consensus Statements following the 2010 Ottawa Conference (Issenberg 2011).
우리는 [학업 및 직장 환경 모두에서 기술과 행동에 대한 평가]로 정의되는 수행 평가를 다룰 것이며, Miller의 임상 역량 수준의 '어떻게 하는지'와 '어떻게 하는지' 수준에서 모범 사례를 다룰 것이다(Miller 1990).
we will address performance assessment, defined as the assessment of skills and behaviours, both in academic and workplace settings, and will address best practice in the ‘shows how’ and ‘does’ levels of Miller’s levels of clinical competence (Miller 1990).
2011년 이후 성과 평가와 관련된 개발 동향 개요
Overview of trends in developments related to performance assessment since 2011
평가 시스템
Systems of assessment
국제적으로, 단순히 개별 도구에만 초점을 맞추는 것이 아니라 평가 시스템을 설계하는 경향이 있었다(Eva et al. 2016; Norcini et al. 2018). 이러한 경향은 [학습 성과에 매핑된 평가 시스템]에 따라 연구 프로그램에 대한 명확한 학습 목표가 일치하면서 역량 또는 결과 기반 의료 교육으로의 세계적global 움직임과 병행되었다(Dijkstra et al. 2010; Lockyer et al. 2017).
There has been a trend internationally to design systems of assessment, rather than just focusing on individual tools (Eva et al. 2016; Norcini et al. 2018). This trend has paralleled the global move to competency or outcomes-based medical education, with clear learning goals for a programme of study being matched by a system of assessment mapped to the learning outcomes (Dijkstra et al. 2010; Lockyer et al. 2017).
지식 응용과 임상 및 의사소통 능력을 시험하기 위한 평가 시스템을 설계하는 것은 비교적 간단하지만, 밀러의 피라미드(Miller 1990)의 'Does' 수준을 시험하기 위한 시스템을 설계하는 것은 더욱 어려웠다. WBA의 사용은 여러 변수가 관련된 복잡한 사업(L€orwald et al. 2019)이다.
While designing a system of assessment for testing knowledge application and clinical and communication skills is relatively straightforward, it has been more challenging to design systems for testing the ‘does’ level of Miller’s pyramid (Miller 1990). The use of WBAs is a complex undertaking (L€orwald et al. 2019) with multiple variables involved.
평가를 위한 유효성 기준
Validity standards for assessment
'타당성 증거의 출처'가 정의된 케인 타당성 프레임워크(Kane 2013a)는 테스트/검사(예: OSCE)에 적용되었을 때 가장 유용하지만 WBA 세계에서도 영향력을 획득했다(Cook et al. 2016; Oudkerk Pool et al. 2018). 이는 특히 WBA에 관한 많은 문헌이 [수치 점수]에서 [학습 지원에 대한 피드백을 중심으로 질적 및 서술적 '점수']로 이동했기 때문에 가치가 높다(Yeates et al. 2015).
The Kane validity framework (Kane 2013a) with its defined ‘sources of validity evidence’ is most useful when applied to tests/examinations (e.g. OSCEs) but has also gained traction in the world of WBAs (Cook et al. 2016; Oudkerk Pool et al. 2018). This is particularly valuable as much of the literature on WBAs has moved from numerical scoring to qualitative and narrative ‘scoring’ with emphasis on feedback for supporting learning (Yeates et al. 2015).
평가자 인식
Rater cognition
역사적으로, '평가자 오류'와 '평가자 합의'의 결여에 대한 관점은 (비록 약간의 성공이 있었지만) 평가자의 판단이 좀 더 일관되도록 훈련하는 데 초점을 맞추는 결과를 가져왔다(Hodges and McIlroy 2003; Whlan et al. 2005). 지난 10년 동안, 연구는 OSCE 심사원들뿐만 아니라 WBA에서도 격차의 차이를 이해하려고 노력하고, 그러한 차이가 첫 번째 생각만큼 중요한지에 대해 의문을 제기하는 데 있어 더욱 미묘한 차이를 보이고 있다. 최근의 연구는 평가자 분산rater variance이 의미 있고 그러한 차이점을 통제하기 보다는 수용해야 한다고 제시한다(Gingerich et al., 2017; Govaerts et al., 2013; Chahine et al. 2016).
Historically, perspectives of ‘rater error’ and lack of rater agreement have resulted in a focus on training examiners to be more consistent in their judgements albeit with variable success (Hodges and McIlroy 2003; Whelan et al. 2005). In the last 10years, research has become more nuanced in trying to understand rater differences, not only for OSCE examiners but also in WBA, and questioning whether such differences are as important as first thought. Recent work suggests that rater variance is meaningful and such differences should be embraced rather than controlled (Gingerich et al. 2011, 2017; Govaerts et al. 2011, 2013; Chahine et al. 2016).
피드백 Feedback
피드백을 대화형 과정, 대화 또는 학습 대화로 보는 것은 이제 일반적이다(Ossenberg et al. 2019). 이 작품은 피드백 제공의 역학에서 벗어나, 관계(Ramani와 Krackov 2012)에 중점을 두고 피드백을 활용하여 학습을 촉진(Eva et al. 2016)했다. 피드백에 대한 학습자 행동learner action 확보(Hattie 및 Clarke 2018)과 교육, 평가 및 피드백 간의 연결의 중요성은 계속적으로 필수적이다(van der Lew et al. 2018; Watling and Ginsburg 2019). 이제 학습 문화와 피드백으로부터의 학습 사이의 연관성에 대한 관심이 높아지고 있다(Watling et al. 2014; Ramani et al. 2019). 대화를 통한 질적 피드백 기회(Tekian et al. 2017)와 (학습자에게) 의미 있는 피드백에 집중하는 기회가 강조된다(Voyer et al. 2016; LaDonna et al. 2018).
Viewing feedback as an interactive process, a dialogue, or a learning conversation is now common (Ossenberg et al. 2019). This work has shifted emphasis towards relationships (Ramani and Krackov 2012) and harnessing feedback to promote learning (Eva et al. 2016), away from the mechanics of providing feedback. Ensuring learner action on feedback (Hattie and Clarke 2018) and the importance of the connection between teaching, assessment, and feedback continue to be integral (van der Leeuw et al. 2018; Watling and Ginsburg 2019). There is now increased attention to the links between the learning culture and learning from feedback (Watling et al. 2014; Ramani et al. 2019). Opportunities for qualitative feedback through conversation (Tekian et al. 2017) and focus on meaningful (to the learner) feedback are emphasised (Voyer et al. 2016; LaDonna et al. 2018).
세계적으로 OSCE는 검사 환경에서 임상 및 통신 기술을 테스트하기 위한 평가 방법이 되었다(Khan et al. 2013; Harden 2016; Boursicot et al. 2018).
Globally, OSCEs have become the assessment method of choice for testing clinical and communication skills in an examination setting (Khan et al. 2013; Harden 2016; Boursicot et al. 2018).
섹션 1: OSCE의 의도된 용도 또는 목적에 대한 명확한 설명.
섹션 2: OSCE의 결과에 기초하여 이루어진 추론과 결정을 뒷받침하고 정당화할 수 있는 의미 있는 증거.
제3장: 내린 결정을 변호하기 위한 '논의' 또는 정당성.
Section 1: a clear statement of intended use or purpose for the OSCE.
Section 2: meaningful evidence to support and justify the inferences and decisions made on the basis of the outcomes of the OSCE.
Section 3: the ‘argument’ or justification for defending the decisions made.
섹션 1: 용도
Section 1: Intended use
OSCE는 임상 및 의사소통 기술을 시험하는데 사용되어야 한다. 이는 원래 설계 의도(Harden 및 Gleeson 1979년)였으며, 여전히 이 평가 형식(Harden 2016)의 사용에 기초하는 핵심 원리로 남아 있다.
OSCEs should be used to test clinical and communication skills. This was the original design intention (Harden and Gleeson 1979) and still remains a key principle underlying the use of this assessment format (Harden 2016).
OSCE의 목적 진술문purpose statement은 [설계와 전달에서 데이터와 결과의 분석까지] OSCE 프로세스의 모든 단계를 뒷받침해야 한다(Daniels and Pugh 2018). 어떤 평가 방법과 마찬가지로, OSCE의 목적은 예를 들어, 교수진, 후보자, 심사원, 고용주, 규제 기관 및 대중 등 모든 이해관계자에게 명시되어야 한다.
The purpose statement for the OSCE should underpin all stages of the OSCE process, from design and delivery, to analysis of the data and outcomes (Daniels and Pugh 2018). As with any assessment method, the purpose of the OSCE should be made explicit to all stakeholders: for example, faculty, candidates, examiners, employers, regulatory bodies, and the public.
제2장: 유효성 증거의 출처
Section 2: Sources of validity evidence
내용 Content
OSCE의 내용에 대해 명시적으로 설명해야 하며, 테스트의 내용이 테스트해야 할 내용을 적절하게 테스트할 수 있도록 해야 한다(Downing 2003). OSCE를 학습 목표/결과로 설계하는 것은 모든 시험을 계획하는 데 있어 필수적인 단계다(Coderre et al. 2009; Sales et al. 2010; Raymond and Grande 2019). 시험 대상과 학습 목표/결과 사이에 명확한 관계가 있어야 하며, 적절한 매핑(건설적 정렬)을 입증해야 한다(Biggs 1996). 블루프린팅은 코스 내용 영역이 적절히 테스트된다는 것을 증명할 뿐만 아니라 서로 다른 영역에 걸쳐 테스트되는 기술의 균형을 상세하게 설명해야 한다.
There should be an explicitly stated explanation for the content of the OSCE, to ensure that the content of the test does test appropriately what it is supposed to be testing (Downing 2003). Blueprinting an OSCE to learning objectives/outcomes is an essential step in the planning of any examination (Coderre et al. 2009; Sales et al. 2010; Raymond and Grande 2019). There should be a clear relationship between what is being tested and the learning objectives/outcomes, demonstrating appropriate mapping (constructive alignment) (Biggs 1996). Blueprinting should detail the balance of skills being tested across different domains as well as demonstrate that the course content areas are appropriately tested.
OSCE에서 시험해야 하는 일반적인 역량은 다음과 같다.
The typical competencies which should be tested in an OSCE are:
병력청취 기술
신체검사 기술.
설명/자문/협의형 커뮤니케이션 기술
실용적/테크니컬 스킬.
임상적 추론 기술(보여지는 환자와 관련됨)
History taking skills.
Physical examination skills.
Explanation/advice/consent type communication skills.
Practical/technical skills.
Clinical reasoning skills (related to the patient being seen).
OSCE에 (구조화된) 구두 토론, 객관식 질문(MCQ) 또는 단답형 질문(SAQ)을 포함시키는 것은 부적절하며 OSCE의 타당성에 심각한 위협을 가한다. 이는 임상 기술을 입증해야 하는 활동이 아니기 때문이다(Downing and Haladyna 2004).
The inclusion of (structured) oral discussions, Multiple Choice Questions (MCQs), or Short Answer Questions (SAQs) in an OSCE is inappropriate and poses a serious threat to the validity of an OSCE, as these are not activities which require the demonstration of clinical skills (Downing and Haladyna 2004)
내부구조
Internal structure
OSCE를 구성할 때는 충분한 샘플링 계획(스테이션 수, 스테이션 길이, 검사자)에 주의를 기울여야 한다. 이는 OSCE 블루프린트에서 입증되어야 한다. 불충분한 샘플링은 방어할 수 있는 합격/불합격 결정을 내리는 데 충분한 데이터를 제공하지 못할 것이다. 12개 스테이션 이하 및/또는 150분 미만의 테스트 시간으로 구성된 OSCE는 신뢰할 수 있는 결과를 산출하지 못할 것이다(Sandson 등 1999년).
When constructing the OSCE, attention should be paid to planning sufficient sampling (numbers of stations, length of stations, examiners). This should be demonstrated in the OSCE blueprint. Insufficient sampling will not provide sufficient data on which to make defensible pass/fail decisions. OSCEs consisting of less than 12 stations and/or less than 150min of testing time will not yield reliable results (Swanson et al. 1999).
적절한 표시/점수 체계를 선택해야 한다. OSCE가 처음 개발되었을 때는 체크리스트에 의해 점수가 매겨졌지만, 시간이 지남에 따라 [등급 척도rating scale]가 더 진보된 임상 학습자를 평가하는데 더 적합한 것으로 나타났다(Hodges et al. 1999; Ilgen et al. 2015). 그러나 일부 논쟁은 여전히 계속되고 있으며(Yudkowsky et al. 2014; Pugh et al. 2016; Wood and Pugh 2020) 적절한 경우 등급 척도와 체크리스트를 신중하게 결합할 수 있다(특히 기술력 테스트의 경우).
An appropriate marking/scoring scheme should be chosen. When OSCEs were first developed, the scoring was by checklists, but over time rating scales were shown to be more appropriate in assessing more advanced clinical learners (Hodges et al. 1999; Ilgen et al. 2015). However, some debate still continues (Yudkowsky et al. 2014; Pugh et al. 2016; Wood and Pugh 2020) and it is possible to carefully combine rating scales and checklists where appropriate, particularly for technical skills testing.
표준 설정의 경우, 2011년 컨센서스 성명(Boursicot et al. 2011)에서 논의한 바와 같이, 보더라인 회귀 분석 방법은 현재 OSCE의 표준 설정 방법(Hejri et al. 2013; McKinley and Norcini 2014; Yousuf et al. 2015)으로 간주되고 있다. 지원자의 수가 적을 경우 오류 발생원에 대한 보다 세심한 검토가 필요하다(Homer et al. 2016, 2020).
For standard setting, as discussed in the 2011 Consensus Statement (Boursicot et al. 2011), the Borderline Regression Method is currently regarded as the standard setting method of choice for OSCEs (Hejri et al. 2013; McKinley and Norcini 2014; Yousuf et al. 2015). With small cohorts of candidates, more careful consideration of sources of error are required (Homer et al. 2016, 2020).
적절한 정신측정학 분석을 수행해야 한다. OSCE에 대한 품질보증의 중요한 부분은 신뢰성과 스테이션 레벨 문제를 검사하기 위한 심리측정학 분석 수행이다(Pell et al. 2010; Fuller et al. 2013).
Appropriate psychometric analyses should be conducted. A crucial part of the quality assurance for OSCEs is the conduct of psychometric analyses to examine reliability and station level issues (Pell et al. 2010; Fuller et al. 2013).
응답 프로세스 Response process
채점 체계(또는 채점 일정)는 [평가하려는 임상 과제의 특성 측면]과 [평가자의 사고]에 맞춰야 한다(Daniels and Pugh 2018). 이 두 가지 측면 모두 세심한 배려가 필요하다. [체크리스트의 남용은 과제를 trivialize시킬 위험]을 유발할 수 있는 반면, [등급 척도의 남용은 신뢰도 저하로 이어질 수 있다는 우려]가 있었다(Wood and Pugh 2020). 후자의 우려는 위에서 설명한 바와 같이, 실제로 문제가 되는 것 같지는 않다. 채점 스킴을 구성하려면 다음 두 가지 측면을 고려해야 한다.
(1) 채점 체계 언어를 임상 사고에 맞추어 조정한다(Weller et al. 2009)
(2) 임상적 의사결정에 도달하기 위한 핵심 단계를 설명하고 채점 체계와의 정렬을 보장하는 핵심 기능을 사용한다(Pugh et al. 2016).
두 경우 모두 좋은 교육 설계는 [시험관 인지 부하를 줄일 수 있고, 단지 일상적인 행동으로 응시자에게 점수를 주지 않기 때문에] 진정성을 도울 수 있다.
Marking schemes (or scoring schedules) need to align to the aspects of the clinical task under scrutiny and to examiner thinking (Daniels and Pugh 2018). Both these aspects require careful consideration. Overuse of checklists can risk trivializing the task, while there has been concern that overuse of rating scales leads to poorer reliability (Wood and Pugh 2020). The latter concern, as outlined above, does not seem to be borne out in practice. Constructing marking schemes involves considering two aspects:
(1) aligning the marking scheme language to clinical thinking (Weller et al. 2009) and
(2) using key features whereby the key steps to reach a clinical decision are elucidated and then ensuring alignment with the marking scheme (Pugh et al. 2016).
In both cases, good instructional design can reduce examiner cognitive load, and help authenticity through avoidance of giving marks to candidates for just routine actions.
평가자 교육은 OSCE 구현의 중요한 부분으로 간주되어 왔다. 평가자 훈련이 효과적이라는 증거는 혼합되어 있으며(Hodges and McIlroy 2003; Pell et al. 2008; Schurouttpelz-Brauns et al. 2019; Yeates et al. 2019) '표준화된 평가자'의 생산을 시도하는 것은 아무런 결실도 없어 보인다. 대신에, 다수의 관측자가 다수의 관측을 하게 만듦으로써 더 큰 신뢰성이 발생할 수 있다. 이는 충분한 샘플링이 있는 경우 OSCE가 신뢰할 수 있는 이유 중 하나로 인식된다. 이제 시험관 다양성을 수용하는 것이 유리할 수 있으며, 평가자 가변성은 종종 스테이션 설계 문제와 채점 체계(Fuller et al. 2017)의 결과일 수 있다는 견해도 있다. 이러한 주장은 임상 작업이 복잡하고 다차원적이라는 인식에 근거한다. 이것은 서로 다른 평가자들은 서로 다른 차원을 잘 볼 수 있고, detractor가 아니라 타당성에 기여하는 것으로 보일 수 있다는 것을 의미한다. 평가자 훈련은 점점 더 심사관의 행동, 행동 및 의식과 무의식적인 편견의 인식에 초점을 맞추고 있다.
Examiner training has been considered an important part of OSCE implementation. The evidence that examiner training is effective is mixed (Hodges and McIlroy 2003; Pell et al. 2008; Sch€uttpelz-Brauns et al. 2019; Yeates et al. 2019) and it seems fruitless to attempt to produce ‘standardised examiners’. Instead, greater reliability can arise from using multiple observations by multiple observers. This is now recognized as one of the reasons that OSCEs are reliable, if there is sufficient sampling. There is now also a view that embracing examiner diversity could be an advantage, and that apparent examiner variability can often be the result of design issues in station and marking schemes (Fuller et al. 2017). This argument is based on the realization that clinical tasks are complex and multidimensional. This means that different examiners may well look at different dimensions from each other and can be seen as contributor to validity rather than a detractor. Examiner training increasingly focuses on examiner conduct, behaviours, and recognition of conscious and unconscious bias.
OSCE에 대한 시험 보안은 논쟁의 대상이 되어왔다. 임상 기술에 대한 평가는 지원자가 자신이 알고 있는 것에 기반하여 자신이 할 수 있는 것을 증명해야 한다. 기술을 수행하는 능력은 연습과 경험이 필요하다. 그러므로 그 일을 미리 알고 있는 것이 얼마나 후보자에게 실질적인 이점을 제공하는지 의문이다. 예를 들어, 24시간 전에 과제가 나쁜 소식을 전하는 것과 관련이 있다는 것을 아는 것은 후보자가 짧은 시간 내에 이 분야에서 그들의 기술을 향상시킬 수 있다는 것을 의미하지 않는다. 이는 OSCE에서 엄격한 시험 보안(예: '시퀀시스터' 또는 장기간 격리)의 필요성에 의문을 제기한다. 보고서는 상반된 결과를 주장하고 다른 제안을 제공한다(Cohen et al. 1993; Niehaus et al. 1996; Gotzmann et al. 2017). 그러나 보안이 위태로워졌을 때 그 영향은 미미해 보인다. 후보들에 대한 공정성 대책에는 모든 후보가 더 짧은 시간 내에 일련의 스테이션을 통과하도록 하는 스테이션 그룹화와 세션에 걸친 피평가자의 무작위 할당, 체계적 편차variation에 대한 데이터 분석 등이 포함될 수 있다(Ghouri et al. 2018).
Test security for OSCEs has been subject to debate. Assessment of clinical skills requires a candidate to demonstrate what they can do, underpinned by what they know. The ability to perform a skill requires practice and experience. It is therefore questionable the extent to which knowing the task in advance offers any substantial advantage to a candidate. For example, knowing 24h in advance that the task relates to breaking bad news is unlikely to mean a candidate could improve their skills in this area in a short time frame. This questions the necessity for stringent exam security in an OSCE (such as ‘sequestering’ or quarantining for long periods). Reports argue conflicting outcomes and offer different suggestions (Cohen et al. 1993; Niehaus et al. 1996; Gotzmann et al. 2017). However, when security has been compromised the effect seems minimal. Measures for fairness to candidates can involve grouping stations so all candidates pass through a set of stations in a shorter time frame, random allocation of candidates across sessions, and analysis of data for systematic variations (Ghouri et al. 2018).
다른 변수에 대한 관계
Relationship to other variables
OSCE의 수행 결과가 의대생(Wilkinson 및 Frampton 2004)의 임상 성과뿐만 아니라 국가 수준의 임상 시험 성과(Simon et al. 2002;)와 잘 상관관계가 있다는 증거가 증가하고 있다.
There is increasing evidence that the outcomes of performance in OSCEs correlate well with clinical performance of medical students (Wilkinson and Frampton 2004) as well as performance in national level clinical examinations (Simon et al. 2002;Pughetal.2016; Tannenbaum and Kane 2019).
평가에 대한 프로그램적 접근법을 취하는 것의 원칙 중 하나는 모든 개별 평가 에피소드 후에 반드시 판단을 내리는 것이 아니라, [body of evidence에 대해서 결정이 이루어져야 한다]는 것이다. 이는 평가방식별 의사결정이 아니라, 영역별 의사결정의 가능성도 열어준다. 예를 들어, 학습자가 병력청취 학습에 필요한 표준에 도달했는지 판단하는 것은 OSCE의 구성요소로서 병력청취, Mini-CEX의 구성요소에서의 병력청취 및 환자 의견 조사에서의 병력청취 등으로부터 가져올 수 있다. 의사결정에 정보를 활용할 때 이러한 데이터의 삼각측량을 [강력한 의사결정의 중요한 구성요소]로 본다.
One of the tenets of taking a programmatic approach to assessment is that decisions should be made on a body of evidence, not necessarily after every assessment episode. This also opens up the possibility of making decisions by domain rather than by assessment method. For example, determining if a learner has reached the required standard for history taking might draw on the history taking components of an OSCE, together with the history taking components of a Mini-CEX, and alongside the history taking components of a patient opinion survey. We see this triangulation of data in informing decisions as an important component of robust decision making (Torre et al. 2020).
결과들
Consequences
OSCE를 종합적 목적으로 사용할 경우, 합격/불합격 결정은 입증된 최선의 방법(Yousf et al. 2015)을 사용하여 표준 설정에 기초하여 결정이 견고하고 공정하며 방어할 수 있도록 하는 것이 중요하다. OSCE를 오로지 형성적 목적으로만 사용하는 경우에도 타당성 기준을 충족해야 생산되는 정보가 의미가 있다(Tannenbaum과 Kane 2019). OSCE를 실시할 때 중요한 측면은 이 평가 방법을 사용할 경우의 교육적 영향(즉, 학생들은 임상, 의사소통, 실무/기술적 기술을 수행하는 학습에 초점을 맞추게 된다)을 고려하는 것이다.(Pugh et al. 2018).
When OSCEs are used for summative purposes, it is important that pass/fail decisions are based on standard setting using the best evidenced method (Yousuf et al. 2015), to ensure that decisions are robust, fair, and defensible. Even when OSCEs are used solely for formative purposes, they should fulfil validity criteria so the information produced is meaningful (Tannenbaum and Kane 2019). An important aspect of conducting OSCEs is to consider the educational impact of using this assessment method: students will focus on the learning to perform clinical, communication, and practical/technical skills (Pugh et al. 2018).
궤적을 학습하고 수험생에게 의미 있는 피드백을 제공하는 데 중요한 동기 요소로 피드백의 효과를 과소평가할 수 없다(Humphrey-Murto et al. 2016; Tekian et al. 2017; Ossenberg et al. 2019).
The effect of feedback cannot be underestimated as a critical motivating factor in learning trajectories and producing meaningful feedback for test-takers should be routine (Humphrey-Murto et al. 2016; Tekian et al. 2017; Ossenberg et al. 2019).
제3장: '논의/명분'
Section 3: The ‘argument/justification’
모든 유효성 근거의 출처를 취합하여 시험 점수의 결과에 기초하여 내린 결정을 정당화해야 한다(Downing and Haladyna 2004; Kane 2013b). 이러한 분석에서 나타나는 취약 영역은 품질 개선을 알릴 수 있다. 시험 점수에 기초한 결정을 정당화하기 위한 점수-일반화-외삽-함의(Cook et al. 2015)의 적용은 OSCE의 품질 보증의 중요한 척도다.
All sources of validity evidence should be gathered to justify any decisions made based on the results of the test scores (Downing and Haladyna 2004; Kane 2013b). Areas of weakness which emerge from such analyses can inform quality improvement. Application of the scoring–generalisation–extrapolation–implications to justify the decisions based on the test scores (Cook et al. 2015) is an important measure of quality assurance for an OSCE.
OSCE에 대한 권장 사항
Recommendations for OSCEs
OSCE에 대한 권고사항은 표 1에 요약되어 있다. 2011 Consensus Statement에서 여전히 유효한 중요한 메시지에는 다음에 대한 권고사항:
The recommendations for OSCEs are summarised in Table 1. Important messages that are still valid from the 2011 Consensus Statement include recommendations for:
[시험의 목적을 정의]하고 OSCE를 사용하여 [임상 상호작용을 테스트]한다.
OSCE를 학습 목표/성과를 블루프린팅
OSCE에 (잘 인정받는) 준거참조 기준설정 방법 – Borderline Regression Method을 사용
OSCE의 콘텐츠가 충분한 스테이션과 테스트 시간을 통해 적절하게 샘플링되도록 보장한다.
Defining the purpose of testing and using an OSCE to test clinical interactions.
Blueprinting the OSCE to learning objectives/outcomes.
Using a recognized criterion referenced standard setting method appropriate for OSCEs – Borderline Regression Method.
Ensuring content in the OSCE is adequately sampled through sufficient stations and testing time.
2011년 이후 문헌에서 나타난 새로운 측면에는 다음과 같은 권고사항이 있다.
New aspects that have emerged from the literature since 2011 include recommendations to:
OSCE가 평가 시스템의 일부로 설계되었는지 확인하십시오.
타당성 프레임워크 기준을 준수하고 OSCE 점수 해석을 위한 증거를 수집하십시오.
등급 척도 대 체크리스트의 사용을 고려하여 적절한 표시 방식을 설계하고 채점 방식을 임상의 언어에 맞게 조정하십시오.
심사관의 판단을 표준화하기보다는 평가자의 수를 충분히 보장함으로써 평가자의 가변성을 수용한다.
그룹 스테이션에 대한 작업 설계 및 OSCE 회로 설계를 통해 테스트 보안을 처리한다.
OSCE는 MCQ를 사용한 테스트와 같은 다른 평가 방법과 비교하여 메트릭에 대한 다른 접근 방식을 요구하므로 적절한 메트릭스를 생성하십시오.
OSCE 데이터를 다른 평가와 삼각측량하여 중요도가 높은 의사 결정을 통보한다.
Ensure OSCEs are designed as part of a system of assessment.
Adhere to validity framework criteria and gather evidence for the interpretation of the OSCE scores.
Design an appropriate marking scheme by considering the use of rating scales versus checklists and align marking scheme to the language of clinicians.
Embrace examiner variability by ensuring sufficient numbers of examiners, rather than trying to standardize their judgements.
Handle test security through task design and OSCE circuit design to group stations.
Generate appropriate metrics given that OSCEs require a different approach to metrics compared to other assessment methods such as tests using MCQs.
Triangulate OSCE data with other assessments to inform high-stakes decision making.
Workplace-based assessments (WBAs)
WBA 도구 사용
Uses of WBA tools
WBA 도구 사용 방법은 중요하며 성공에 필수적이다. WBA 도구 또는 도구 세트의 '의도한 사용'과 WBA 데이터에서 이루어진 결정은 타당성 증거의 중요한 원천이다(Kane 2013a). 타당성이 도구 자체의 특성이 아니라는 점을 고려할 때(AERA et al. 2014), 단일 WBA 도구 안에서의 variation 간 비교보다는 도구가 사용되는 방법이 더 중요하다.
How WBA tools are used is important and integral to success. The ‘intended use’ of the WBA tool, or set of tools, and decisions made from WBA data are important, essential sources of validity evidence (Kane 2013a). Given that validity is not a property of the instrument itself (AERA et al. 2014), comparisons between variations in a single WBA tool design are not as critical as how the tool is used.
각 단일 WBA 도구는 통합되고 일관성 있는 WBA 세트의 일부로 설계 및 구현되어야 한다. WBA 세트는 더 넓은 평가 시스템에 내장되거나 그 자체로 평가 시스템으로 볼 수 있다. 따라서 좋은 평가 시스템의기준에 주의를 기울여야 한다. 그런 다음 WBA를 하나의 시스템(또는 시스템의 일부)으로 설계하면 평가의 프로그램적 접근방법에 따라 학습의 종적 측면, 도구들의 신중한 조합(Govaerts and Van der Vleuten 2013), 훈련 단계의 정렬에 대한 주의를 유발한다(Schuwirth and Van der Vleuten 2011).
Each single WBA tool should be designed and implemented as part of an integrated, coherent set of WBAs. The set of WBAs can be embedded in a wider system of assessment or seen as an assessment system in itself. Therefore, attention should be given to the criteria for et good systems of assessment (Norcini al. 2018). Designing WBAs as a system (or part of system) then triggers attention to the longitudinal aspects of learning, careful combination of tools (Govaerts and van der Vleuten 2013), and alignment to the stage of training, in keeping with theories of programmatic approaches to assessment (Schuwirth and Van der Vleuten 2011).
WBA의 목적
Purposes of WBAs
(시스템 또는 시스템의 일부로서) WBA 세트를 설계하는 것이 목적에 부합한다. 목적은 WBA 평가 시스템 내에서 서로 다른 단계에서 다를 수 있다.
예를 들어, 통합된 WBA 세트는 주로 [형성적 목적]을 위해 설계될 수 있다(학습 강화). 이 목적은 학습자가 피드백에 대해 조치를 취할 수 있는 서술적 피드백과 기회를 미리 파악한다.
이와 달리 [총괄적 목적]을 위해 설계된 WBA 세트(예: 다음 단계의 훈련 준비 상태에 대한 판단)도 있다. 이 목적은 충분한 데이터 지점의 생성(즉, 다중 관측), 심리학적 특성(평가의 의도된 사용에 적절한 경우), 사전 정의된 표준을 충족하기 위한 성과에 대한 방어 가능한 해석을 중요시한다.
프로그램적 접근방식은 학습 향상에 초점을 맞춘 일련의 낮은 이해도 WBA와 함께 연속적으로 설계된다. 종방향으로 수행되는 복수의 저위험 WBA는 궁극적으로 종합판정에 사용되는 정보를 제공할 수 있다(Schuwirth and van der Vleuten 2012; Torre et al. 2020).
The design of the set of WBAs (as a system or part of a system) will align with the purpose/s. Purposes may differ at different stages within the WBA system of assessment.
For example, an integrated set of WBAs might be designed primarily for formative purposes (to enhance learning). This purpose foregrounds narrative feedback and opportunities for learners to take action on feedback.
This is in contrast to a set of WBAs designed primarily for summative purposes (e.g. to make judgements about readiness for next stage of training). This purpose foregrounds the generation of sufficient data points (i.e. multiple observations), attention to psychometric properties (where appropriate for the intended use of the assessment), and a defensible interpretation of achievement to meet pre-defined standards.
Programmatic approaches are designed on a continuum, with a series of low stakes WBAs that focus on enhancing learning. Multiple low stakes WBAs conducted longitudinally can ultimately provide information used for a summative judgment (Schuwirth and van der Vleuten 2012; Torre et al. 2020).
학습 및 학습 행동에 미치는 영향
Effects on learning and learning behaviours
WBA의 피드백은 작업 방법(임상 기술), 학습 방법(학습에 대한 계정성) 및 느낌 방법(감정적 웰빙)에 따른 영향을 준다는 증거가 있으며, 교육생에게 다양한 영향을 미친다(Voyer et al. 2016). WBA는 감독자(Sabey and Harris 2011; Barrett et al. 2016)와의 접촉 시간을 늘리거나 보호하는 데 유용하고 피드백의 빈도나 품질을 개선하는 것을 포함하여 학습 과정에 바람직한 영향을 미친다(Weller et al.). 2009; Barrett 등 2016). 이러한 현상이 발생하는 학습 환경은 피드백과의 연관성에 상당한 영향을 미친다(BingYou et al. 2019). 연습자 기관, 소속 또는 존중에 [부정적인 영향을 미치는 분위기]는 피드백 효능을 저해할 가능성이 더 높다(Sargeant et al. 2009. 궁극적으로 피드백은 근무지에서의 학습과 관련된 것에 초점을 맞출 필요가 있다(van der Lew et al. 2018). 이것은 일반적으로 숫자/점수의 등급 척도를 포함하는 WBA가 학습자에게 직장에서 개선 방법을 알려주기에는 한계가 있는 부분이다(Hattie and Timperley 2007; Bing-You et al. 2017). 기술이 변화함에 따라 피드백에 대한 빅데이터 및 학습 분석(Tekian et al. 2017; Van der Schaaf et al. 2017)을 포함한 기술 사용 사례(Joynes Fuller 2016)가 점점 늘어나고 있다.
Feedback from WBAs has a range of effects on trainees, with some evidence of benefits accruing to ways of working (clinical skills), ways of learning (accountability for learning), and ways of feeling (emotional wellbeing) (Voyer et al. 2016). WBAs have desirable effects on the process of learning including being useful for increasing (or protecting) contact time with supervisors (Sabey and Harris 2011; Barrett et al. 2016) and improving the frequency or quality of feedback (Weller et al. 2009; Barrett et al. 2016). The learning climate within which this takes place significantly influences the nature of engagement with feedback (BingYou et al. 2019). A climate that negatively influences trainee agency, affiliation or esteem is more likely to undermine feedback efficacy (Sargeant et al. 2009). Ultimately, feedback needs to focus on what is relevant to the learning in the workplace (van der Leeuw et al. 2018). This is where WBAs that commonly include a rating scale with numbers/ scores have limitations for informing learners about how to improve (Hattie and Timperley 2007; Bing-You et al. 2017) in the workplace. As technologies change, there are of and increasing examples uses of technology (Joynes Fuller 2016) including big data and learning analytics for feedback (Tekian et al. 2017; van der Schaaf et al. 2017).
또한 WBA는 바람직하지 않은 학습 효과를 유발할 수 있다. WBA를 학습의 메커니즘이라기 보다는 [체크박스 연습에 지나지 않는다]고 보는 교육생들의 시각은 지난 10년 동안 지속적인 관심사로 남아 있다(Bindal et al. 2011; Barrettt et al. 2017). WBA에서 척도/숫자의 유행이 한 가지 원인이 되며, 등급 척도를 사용할 때 설계는 진정한 임상 성과를 반영하는 descriptor의 문구에 주의를 기울여야 한다(Crossley and Jolly 2012). 또 다른 요인은 WBA가 총괄적 목적으로 사용될 때 [관대한 평가자를 찾는 학습자의 전략적이고 바람직하지 않은 행동]을 유발하는 방식으로 사용되는 점이다. 예를 들어, 결과가 좋지 않거나 복잡도가 높은 환자 사례에 대한 논의를 회피하고, 필요한 최소 수의 WBA만 수행하고, 단계별 성과를 창출하며, 더 긍정적인 점수를 기대하면서 '널널한' 평가자를 찾는 학생/수련생이 이에 해당한다(빈달 외 2011; 매시 앤 알리 2016; 바렛 외 2017).). 이는 학습자 분석에서 병행되는 작업에 의해 반영되며, 단순한 '계측 및 측정counting and measuring'에만 초점을 맞추면 불안, 주의 산만 및 실패가 증가하면서 학습자 참여에 해로운 영향을 미칠 수 있다(Foster and Francis 2019; Archer and Prinsloo 2020).
WBAs can also induce undesirable learning effects. Trainees’ perspectives of WBAs as being no more than a tick-box exercise, rather than a mechanism for learning, has remained an ongoing issue of concern for the past decade (Bindal et al. 2011; Barrett et al. 2017). The prevalence of scales/numbers on WBAs is one contributing factor and when rating scales are used, design should pay attention to wording of descriptors that reflect authentic clinical performance (Crossley and Jolly 2012). Another factor is where WBAs are used primarily for a summative purpose in a way that encourages strategic, and undesirable, behaviours from learners who seek lenient assessors. These include, for example, students/trainees avoiding discussion of patient cases with poor outcomes or a high degree of complexity, undertaking only the minimum number of WBAs required, generating a staged performance, and seeking ‘friendly’ assessors, hoping for a more positive score (Bindal et al. 2011; Massie and Ali 2016; Barrett et al. 2017). This is mirrored by parallel work in learner analytics, where a focus on simply ‘counting and measuring’ assessment may also lead to detrimental effects on learner engagement, with increased anxiety, distraction and failure (Foster and Francis 2019; Archer and Prinsloo 2020).
다른 상황에서는, [평가자와의 권력 관계의 특성]이 피드백 획득에 대한 학습자의 신뢰도와 평가자의 성과 향상 약속에 대한 신뢰에 영향을 미친다(Yang and Carless 2013). 이를 통해 학습자가 자신보다 더 박식하다는 인상을 주려고 노력하는 '수행능력을 연기하는staging a performance'(LaDonna et al. 2017) 현상이 나타날 수 있는데, 이는 종합평가에서 자신들에게 불리할 수 있는 약점을 감추기 위한 것이다. 학습자가 encounter의
부담stakes이 낮다고 인식하는 경우, 더욱 '이 encounter에서 무엇을 배울 수 있는가'를 묻는 방식으로 접근할 수 있다.
부담이 높다고 인식되는 경우, '인상 관리'는 응답, 확립된 문헌 판단의 미러링 및 '인상 형성'에 대해 학습자 평가자가 더 가능성이 높다.
In other settings, the nature of a power relationship with an assessor influences learner confidence in obtaining feedback and their trust in the assessor’s commitment to enhancing their performance (Yang and Carless 2013). This can lead to the phenomenon of ‘staging a performance’ (LaDonna et al. 2017) where learners try to give the impression that they are more knowledgeable than they are, driven to hide weaknesses that may count against them in summative assessment.
Where learners perceive the stakes in an encounter to be low/none, they are more likely to approach the encounter asking ‘what can I learn from this encounter’.
If the stakes are perceived to be high, ‘impression management’ is the more likely learner assessor about response, mirroring established literature judgements and ‘impression formation’.
WBA 시스템의 설계는 학습 과정을 강조하고 학습자의 행동을 최소화하거나 제거하여 학습 비용을 절감하는 학습자 행동을 촉진해야 한다. 다양한 맥락에서, 그리고 평가되는 각 개인에 대해 풍부한 데이터를 제공하기 위해 복수의 평가자와 함께 WBA를 사용하는 것이 중요하다. 단일 WBA 인스턴스는 의미를 제공하지 않으며 성능 패턴에 대한 데이터를 생성하는 것이 목표여야 한다(Govaerts and van der Vleuten 2013; Hodges 2013). 전문적 판단의 주관적 성격을 맥락에서 회피하고, 이를 문제점으로 보기보다는 맥락을 설명하는 만큼 강점이 된다(Kogan et al. 2011).
Designs of WBA systems need to drive learner behaviours which emphasise the process of learning and minimise, or eliminate, learner behaviours to gain a performance outcome, at the expense of learning. It is valuable to use WBAs for range of tasks, in a variety of contexts, and with multiple assessors to provide rich data for and about each individual being assessed. Single WBA instances do not provide meaning and generating data about patterns of performance should be the aim (Govaerts and van der Vleuten 2013; Hodges 2013). Rather than avoid the subjective nature of professional judgement in context, and view it as problematic, it is a strength as it accounts for context (Kogan et al. 2011).
WBA의 평가/진행 결정
Assessment/progression decisions from WBAs
WBA는 진행과 같은 결과적 의사결정을 위한 WBA 집합으로 간주되어야 한다. 세트는 동일한 WBA 도구 또는 [필요한 도메인 전체에 걸쳐 샘플링]을 보장하기 위해 다양한 WBA 도구를 결합한 세트일 수 있다.
WBAs should be viewed as a set of WBAs for consequential decisions, such as progression. The set could be a number of the same WBA tool, or a set which combines a variety of WBA tools to ensure sampling across required domains.
다양한 설정과 다음을 포함한 다양한 컨텍스트를 관찰하기 위해 서로 다른 WBA 도구가 개발되었다.
Different WBA tools have been developed for different settings and for observing different contexts including:
1. 단일 환자 접점: 학습자와 환자 간의 임상적 상호작용이 관찰되는 경우: 예: Mini-CEX(Mini-Cleinical Evaluation Action, Mini-CEX) 또는 Direct(DOPS(절대 절차적 기술의 관찰) 외. 2011).
2. 다중 환자 접촉: 리더십 및 복잡성 관리에 초점을 맞춘 경우: OCAT(Ottawa Clinic Assessment Tool) (Kelleher et al. 2020).
3. 간접 환자 접점: 환자와 관련된 임상 활동에 초점을 맞추고 있지만 환자 상호작용이 관찰되지 않는 경우: 예: 사례 기반 토론(CBD) 또는 인도 도구(HAT) (RCGP 2020)
1. A single patient encounter: where a clinical interaction between learner and patient is observed: e.g. MiniClinical Evaluation Exercise (Mini-CEX) or Direct Observation of Procedural Skills (DOPS)(Pelgrimet al. 2011).
2. Multiple patient encounters: where the focus is on e.g. leadership and management of complexity: Ottawa Clinic Assessment Tool (OCAT) (Kelleher et al. 2020).
3. An indirect patient encounter: where the focus is on clinical activities that relate to a patient but the patient interaction is not observed: e.g. Case-based Discussion (CBD) or Handover Tool (HAT) (RCGP 2020).
다른 유형의 WBA에는 위탁 가능한 프로페셔널 활동(EPAs)이 포함된다(10 Cate 2005). EPA의 경우, 임상 감리자는 훈련자의 성과에 대해 특정 업무를 '위임'할 수 있는지에 대해 판단을 내린다(Hatala et al. 2019). 위임 결정에는 일반적으로 다음의 것들을 고려한다.
학생/교습자의 특성,
이전 감독 경험,
과거 평가 및 현재 역량에 대한 증거,
환자 및 사례 복잡성과 같은 맥락
연습생의 겸손과 성실성과 같은 속성을 포함한다(Duijn et al. 2018).
Another type of WBA includes Entrustable Professional Activities (EPAs) (ten Cate 2005). In EPAs, clinical supervisors make judgments on trainees’ performance about whether they can ‘entrust’ the trainee with specific tasks (Hatala et al. 2019). The entrustment usually requires several considerations:
characteristics of the student/trainee,
previous supervision experience,
past assessment and evidence of current competencies, and
context such as the patient and case complexity (Cianciolo and Kegg 2013).
Entrustment decision making also involves attributes such as humility and integrity of the trainee (Duijn et al. 2018).
WBA의 한 유형으로서 EPA의 핵심 요소는 [감독자의 일상적인 임상 작업 활동과 적절한 수준의 감독]에 맞춰 구성된 [위임가능도 평가 척도] 개발을 포함한다(Reckman et al. 2016). 이는 위탁 규모에 따라 임상 감독자들이 이상적인 훈련생 성과에 대한 추상적인 모델이 아닌 실제적인 판단을 하도록 장려하기 때문에 WBA의 형태로서 EPA의 의미를 강화한다(Reckman et al. 2016). [위임가능도 평가 척도 사용]에서 위탁을 결정하는 감독자의 역할인 위탁에 대한 상이한 이해로 인해 긴장이 발생하며, 위임이라는 것이 임상업무 학습의 종단적 성격과 감독자-연수자 관계로 인해 [discrete, point-in-time assessment가 아니라는 점]에서 발생한다.
A key element of EPAs as a type of WBA involves the development of entrustment scales which are construct-aligned with the day-to-day activities of clinical work of supervisors and the appropriate level of supervision (Rekman et al. 2016). This reinforces the meaning of EPAs as a form of WBA because the entrustment scales encourage clinical supervisors to make real-world judgments rather than an abstract model of ideal trainee performance (Rekman et al. 2016). Tensions in using entrustment scales arise from different understandings of entrustment, the role of supervisor in determining the entrustment, and that the entrustment is not a discrete, point-in-time assessment due to longitudinal nature of learning clinical tasks and supervisor–trainee relationships (ten Cate 2020).
WBA 유형에 관계없이, WBA의 단일 인스턴스는 성능 표준에 대한 방어적 판단에 불충분하다. 의학교육의 일부 관행은 consequence에 부합하지 않거나, 하나의 시험이 갖는 부담stakes의 복잡성을 과소평가한다(Tannenbaum and Kannenbaum, kane 2019). 한 예로 단일 WBA 인스턴스(또는 소수의 인스턴스)가 통과/실패 결정에 연결되는 경우를 들 수 있다. 요컨대, '개별 데이터 포인트는 높은 수준의 의사결정에 적합하지 않다'(van der Vleuten 2016 2016)는 것이다. 또 다른 하나는 작은 퍼센트가 단일 WBA에 첨부되고(지분이 낮다는 것을 의미함) 나중에 여러 인스턴스를 합산하여 종합 평가에 사용되는 비율을 형성하는 것이다. 이는 일련의 WBA(Tannenbaum and Kane 2019) 또는 정신측정학 문제에 걸친 결과의 프로파일을 설명하지 않는다. 서술적 데이터를 취합하고 해석하는 것은 방어할 수 있는 판단을 뒷받침할 수 있다(Oudkerk Pool et al. 2018). 의사결정에 위원회가 필요하다는 것이 보고된 바 있다.(Soleas et al. 2020; Thoma et al. 2020).
Regardless of the type of WBA, single instances of a WBA are insufficient for defensible judgements about standards of performance. Some practices in medical education are not consonant with consequences or underestimate the complexity of stakes in testing (Tannenbaum and Kane 2019). One example is where a single WBA instance (or a small number of instances) links to a pass/fail decision. In short, ‘individual data points are not very suitable for high-stakes decisions’ (van der Vleuten 2016). Another is where a small percentage is attached to a single WBA (to imply low stakes) and multiple instances are then later summed to form a percentage used for summative assessment. This does not account for the profile of consequences across a set of WBAs (Tannenbaum and Kane 2019)or psychometric issues. Aggregating and interpreting narrative data can support defensible judgements (Oudkerk Pool et al. 2018). The use of committees for decision making have been documented (Soleas et al. 2020; Thoma et al. 2020).
심리측정적 이슈
Psychometric issues
고부담 판단과 관련하여 WBA를 사용함으로써 여러 임상 현장에서 다양한 WBA 도구, 서로 다른 평가자를 사용한 판단의 신뢰성 또는 재현성에 대한 논쟁을 불러일으켰다. WBA 데이터를 사용한 일반적 타당성 분석의 경우 데이터에 적합한 모델은 시간이 지남에 따라 성장 가능성(연습생 기술 향상)을 허용할 필요가 있다. 그렇지 않으면 일반화 분석에서 측정 오차의 원인이 된다. 서로 다른 사이트의 데이터를 결합할 때 '연결성connectedness'에 주목하지 않는 한 심각한 정신측정학 문제가 발생할 수 있다. 연결성은 OSCE 문헌의 작업에서 등장햇는데, WBA분석에도 적용되어야 한다. 여러 유형의 WBA 도구를 결합할 때 신뢰성이 향상되었다는 증거가 있다(Moon-van Loon et al. 2013). WBA의 목적이 학습을 강조할 때 낮은 신뢰성은 문제가 되지 않는데, 그 이유는 타당성 증거가 학습 효과에 더 초점을 맞출 것이기 때문이다. 그러나 WBA를 종합적 목적 또는 높은 평가를 위해 사용할 경우, 심리측정적 특성에 대한 관심이 더욱 중요해진다(Norcini et al. 2018; Pearce 2020).
The use of WBAs in connection with high-stakes judgements has generated debate about reliability (in psychometric terms), or reproducibility, of judgements with various WBA tools, different assessors, in different clinical sites. For generalisability analyses using WBA data, the model fit to the data needs to allow for possibility of growth (improvement in trainees’ skills) over time. Otherwise, this will contribute to measurement error in generalizability analyses. Combining data from different sites generates serious psychometric issues unless there is attention to ‘connectedness’, a design requirement arising from work in the OSCE literature that should also be applied to WBA analyses (Swanson et al. 1999; Swanson and van der Vleuten 2013). There is evidence of gains in reliability when different types of WBA tools are combined (Moonen-van Loon et al. 2013). Low reliability is not a concern when the purpose of WBAs emphasises learning, as validity evidence will then focus more on learning effectiveness. However, when WBAs are used for summative purposes, or highstakes judgements, attention to psychometric properties becomes more critical (Norcini et al. 2018; Pearce 2020).
평가자 관점
Rater perspectives
WBA가 해결해야 할 과제 중 하나는 평가자들이 underperformance을 나타내는 정보 제공을 꺼리는 '실패-실패' 현상이다(Yepes-Rios et al. 2016). 이 문제는 특히 모든 WBA 에피소드 후에 종합판단을 하는 것과 관련이 있다. 일반적으로 평가자가 WBA에서 후보자의 성과를 확신하지 못할 때, 그 의심을 핑계로, 후보자를 '통과pass'시키는 경향이 있다. 이는 일련의 marginal performance들을 패스로 넘김으로써, 이들의 합성에 기초하여 높은 점수를 주는 결정을 내리게 할 수 있다. 가능한 경우, 각 WBA 종료 시 결정을 합격/불합격 결정이 아닌 서술적 논평(학습에 도움이 되는 의견)으로 제한하는 것이 도움이 될 수 있다(Cook et al. 2016; Oudkerk Pool et al. 2018).
One of the challenges for WBAs that remains is the ‘failure to fail’ phenomenon whereby assessors are reluctant to provide information that indicates underperformance (Yepes-Rios et al. 2016). This problem is particularly linked to making a summative judgement after every WBA episode. In general, when an assessor is unsure about a candidate’s performance on a WBA, they tend to give the benefit of the doubt and ‘pass’ the candidate. This can lead to a series of marginal performances all being conveyed as passes which then makes high-stakes decision based on the synthesis of such observations less robust. Where possible, restricting the decision at the end of each WBA to narrative comments (which aid learning) rather than a pass/fail decision can help (Cook et al. 2016; Oudkerk Pool et al. 2018).
저성능underperformance 에 대한 평가자 응답에는 불쾌한 메시지에 대해 침묵하는 것(Scarff et al. 2019), '헷징'(Ginsburg et al. 2017) 또는 예의를 지키는 것(BingYou et al. 2019)이 포함된다. 평가자는 훈련 초기에 학습자를 낙제시키는 것을 꺼리거나(개선할 시간이 있다고 가정해서), 다음 단계로 넘겨버린다(학습자와 공감하기 때문에). (다른 직업과 대조적으로) 의료계 내에서 비평, 피드백 및 감독자 역할에 대한 규범이 이러한 평가자 행동을 뒷받침하는 것으로 보인다. WBA의 BEME 리뷰에서 저성능underperformance을 식별하거나 교정하기 위한 최적의 구현 조건에 대한 혼합된 증거를 발견한 것은 여전히 우려로 남아 있다(Barrett et al. 2016).
Assessor/rater responses to underperformance include keeping quiet about unpleasant messages (Scarff et al. 2019), ‘hedging’ (Ginsburg et al. 2017), or being polite (BingYou et al. 2019). Assessors are reluctant to fail learners early in training (on an assumption there is time to improve) and advanced in training (due to sympathising with the learner). Norms for critique, feedback, and the supervisor role within the medical profession (in contrast with other professions) (Watling et al. 2014;Ginsburgetal.2017;Scarffetal.2019) appear to underpin these assessor behaviours in the workplace. It remains a concern that a Best Evidence in Medical Education (BEME) review of WBAs found mixed evidence about the optimal implementation conditions for identifying or remediating underperformance (Barrett et al. 2016).
해결되지 않은 이슈
Unresolved issues for WBAs
WBA 시스템 자체는 학습자와 평가자 사이의 만남에 어떤 영향을 미칩니까? (단일 만남의 피드백 학습자에게 미치는 영향과 대조적으로)?
모든 WBA 도구가 다른 수준의 교육에서 동등하게 효과적인가?
WBA를 가치있지만 복잡한 결과와 역량을 육성하는데 사용할 수 있는가?
WBA에 대한 프로그램적 접근이 WBA의 학습 효과를 개선할 수 있는가?
학습을 촉진하면서 강력한 의사 결정을 알리기 위해 WBA의 결과를 종합하는 가장 좋은 방법은 무엇인가?
What impact does a WBA system itself have on an encounter between learner and assessor (in contrast with the impact on the learner of feedback from a single encounter)?
Are all WBA tools equally effective at different levels of training?
Can or should WBAs be used to foster valued but complex outcomes and competencies?
Can a programmatic approach to WBAs improve the learning effects of WBAs?
What is the best way to synthesise results of WBAs to inform robust decisions, while still promoting learning?
WBA에 대한 권고 Recommendations for WBAs
WBA에 대한 권고사항은 표 2에 요약되어 있다.
Recommendations for WBAs are summarised in Table 2.
WBA와 학습의 통합.
WBA와 종단적으로 정기적으로 engagement
WBA의 목적을 명확하게 표현한다.
환자, 평가자 및 도구 전반에 걸친 광범위한 샘플링
Integration of WBA with learning.
Regular engagement with WBAs longitudinally.
Clear articulation of purpose of WBAs.
Broad sampling across patients, assessors, and tools.
2011년 이후 문헌에서 나타난 새로운 측면에는 다음과 같은 권고사항이 있다.
New aspects that have emerged from the literature since 2011 include recommendations to:
WBA를 통합되고 일관성 있는 WBA 집합으로 설계하고 평가 시스템 또는 시스템의 일부로 설계한다.
바람직한 학습 행동과 효과를 창출하기 위한 설계: 피드백에 초점을 맞추고, 학습 과정을 강조하고, '실패' 현상을 설명하십시오.
판단의 방어가능성을 뒷받침할 수 있는 타당성 증거를 확보. 다음 단계의 훈련으로 진행하기 위한 것과 단일 기술의 숙달 여부를 확인하는 것.
전체론적이고 직장에서의 여러 관찰로부터 데이터를 해석하여 판단을 내리십시오.
임상 실무에 대한 실제 description에 포함된 언어를 채택하는 채점 체계를 사용하십시오.
Design WBAs as an integrated, coherent set of WBAs, and as an assessment system or part of a system.
Design to generate desirable learning behaviours and effects: focus on feedback, emphasise process of learning, and account for ‘failure to fail’ phenomenon.
Ensure validity evidence to support the defensibility of judgements: progression to next stage of training versus identifying mastery of a single skill.
Make judgements that are holistic and require interpretation of data from multiple observations in the workplace.
Use marking schemes that adopt language framed in authentic descriptions of clinical practice.
결론 Conclusion
일반적으로 성과 평가에 대한 다음과 같은 권고사항으로 결론을 내린다.
We conclude with the following recommendations about performance assessment in general:
바람직한 학습 행동을 유도하고 바람직하지 않은/전략적 행동을 억제하는 시스템으로 설계 성과 평가
수행 평가에서 (i) 시간 경과에 따른 기술 증가, (ii) 복수 사이트 및/또는 (iii) 다른 수준의 훈련을 포함하는 경우 정신측정학 영향을 고려한다.
학습과 개선이 바람직한 곳에 서술적 피드백을 포함시키고 해석한다.
Design performance assessment as a system which drives desirable learning behaviours (and discourages undesirable/strategic behaviours).
Account for psychometric implications when performance assessment involves: (i) growth in skills over time; (ii) multiple sites; and/or (iii) different levels of training.
Include, and interpret, narrative feedback where learning and improvement is desirable.
Ghouri A, Boachie C, McDowall S, Parle J, Ditchfield CA, McConnachie A, Walters MR, Ghouri N. 2018. Gaining an advantage by sitting an OSCE after your peers: a retrospective study. Med Teach. 40(11): 1136–1142.
Daniels VJ, Pugh D. 2018. Twelve tips for developing an OSCE that measures what you want. Med Teach. 40(12):1208–1213.
Oudkerk Pool A, Govaerts MJ, Jaarsma D, Driessen EW. 2018. From aggregation to interpretation: how assessors judge complex data in a competency-based portfolio. Adv Health Sci Educ Theory Pract. 23(2):275–287.
Raymond MR, Grande JP. 2019. A practical guide to test blueprinting. Med Teach. 41(8):854–861.
Ossenberg C, Henderson A, Mitchell M. 2019. What attributes guide best practice for effective feedback? A scoping review. Adv Health Sci Educ Theory Pract. 24(2):383–401.
Tannenbaum RJ, Kane MT. 2019. Stakes in testing: not a simple dichotomy but a profile of consequences that guides needed evidence of measurement quality. ETS Res Rep Ser. 2019(1):1–16.
Wood TJ, Pugh D. 2020. Are rating scales really better than checklists for measuring increasing levels of expertise? Med Teach. 42(1): 46–51.
.2020 Oct 14;1-10.
doi: 10.1080/0142159X.2020.1830052.Online ahead of print.
Performance assessment: Consensus statement and recommendations from the 2020 Ottawa Conference
Introduction:In 2011 the Consensus Statement on Performance Assessment was published in Medical Teacher. That paper was commissioned by AMEE (Association for Medical Education in Europe) as part of the series of Consensus Statements following the 2010 Ottawa Conference. In 2019, it was recommended that a working group be reconvened to review and consider developments in performance assessment since the 2011 publication.
Methods:Following review of the original recommendations in the 2011 paper and shifts in the field across the past 10 years, the group identified areas of consensus and yet to be resolved issues for performance assessment.
Results and discussion:This paper addresses developments inperformance assessmentsince 2011, reiterates relevant aspects of the 2011 paper, and summarises contemporary best practice recommendations for OSCEs and WBAs, fit-for-purpose methods for performance assessment in the health professions.
The applicability of generalisability and bias to health professions education's research
Lara Varpio1 | Bridget O'Brien2 | Charlotte E. Rees3,4 | Lynn Monrouxe5 | Rola Ajjawi6 | Elise Paradis7
1 도입
1 | INTRODUCTION
HPE의 초기의 학자들은 객관적인 데이터 수집과 분석에 착수하면서 전형적으로 포스트 포시티브 패러다임에 의존했다(이 원고에 사용된 주요 용어의 정의는 표 1 참조). 다른 패러다임(예: 구성주의)에서 일하는 연구자들은 그들의 방법론과 방법의 정당성을 도입하고 옹호함으로써 이러한 조상에 직면해야 했다.1 그럼에도 불구하고, 이 유산의 영향은 여전히 널리 감지되고 있다.
HPE's founding scholars typically relied on the post-positivist paradigm, setting out to engage in objective data collection and analysis (see Table 1 for definitions of key terms used in this manuscript). Researchers working from other paradigms (e.g., constructivism) have had to confront this ancestry by introducing and defending the legitimacy of their methodologies and methods.1 And yet, the influence of this heritage is still widely felt.
구성주의
구성주의에서, 인간은 외부 현실에 대한 진실을 발견하거나 발견하는 것으로 생각되지 않고 대신, 사람들은 스스로 지식을 쌓거나 만든다. 사람들은 세상과 그들의 경험을 이해하기 위해 개념, 모델, 그리고 스키마를 만든다. 이 건축은 타인을 격리하여 이루어지는 것이 아니라, 개인이 타인과 공유되는 언어, 관행, 문화 등을 배경으로 의미를 구성한다.24
Constructivism Constructivism is a paradigm wherein humans are not conceived of as discovering or finding truths about external reality; instead, people build or make knowledge. People construct concepts, models and schemas to understand the world and their experiences. This construction does not happen in isolation of others; instead, individuals construct meaning against a backdrop of the languages, practices, cultures, etc. that are shared with others.24
인식론
인식론은 지식의 발달과 관련이 있다. 패러다임의 인식론을 이해하려면 '우리는 진짜가 무엇인지 어떻게 알까?' '지식의 본질은 무엇인가?'와 같은 질문에 대답할 수 있어야 한다. 인식론학은 '연구자들이 합법적이고 가치 있는 것으로 여겨질 지식을 개발하기 위해 연구에 어떻게 참여해야 하는지에 대해 성찰할 것을 요구한다.'2
Epistemology Epistemology is concerned with the development of knowledge. To understand a paradigm's epistemology, we must be able to answer questions like: ‘How do we know what is real?’ and ‘What is the nature of knowledge?’ Epistemology ‘requires us to reflect on how researchers should engage in inquiry to develop knowledge that will be considered legitimate and valuable’.2
방법론
방법론은 연구가 어떻게 수행되어야 하는지를 구체화하는 일련의 지침과 원칙이다. 그것은 '탐구inquiry에 대한 특정 접근방법의 가정, 원칙 및 절차에 대한 분석'.24(페이지 193)
Methodology Methodology is a set of guidelines and principles that shape how research should be carried out. It ‘involves analysis of the assumptions, principles, and procedures in a particular approach to inquiry’.24(pg. 193)
객관주의
객관주의는 단일의 외부 현실이 존재하며, 연구는 [중립적이고 분리된 방식으로 질문에 답하여, 개인 및 사회 현상에 대한 우리의 이해]에 기여하도록 노력해야 한다는 가정으로부터 작용한다.3,4
Objectivism Objectivism works from the assumption that a single, external reality exists and that research should strive to answer questions in a neutral and detached manner to contribute to our understanding of individual and social phenomena that exist.3,4
온톨로지
온톨로지(Ontology Ontology)는 현실 자체의 본질과 관련이 있다. 패러다임의 온톨로지(Ontology)를 이해하려면 '현실의 본질은 무엇인가?' '존재의 본질은 무엇인가?'와 같은 질문에 대답할 수 있어야 한다.2
Ontology Ontology is concerned with the nature of reality itself. To understand a paradigm's ontology, we must be able to answer questions like: ‘What is the nature of reality?’ and ‘What is the nature of being?’2
패러다임
쿤은 패러다임을 [과학자들이 문제를 어떻게 이해하고 연구해야 하는지에 대해 공유하는 믿음과 합의]로 정의했다.30 패러다임은 '과학에 대한 특정 접근방식을 정의하는 개념, 관행 및 언어'로 구성된다.2(pg. 687)
Paradigm Kuhn defined a paradigm as the beliefs and agreements that scientists share about how problems should be understood and studied.30 A paradigm consists of ‘the concepts, practices, and language that define a particular approach to science’.2(pg. 687)
후기실증주의
후기실증주의는 [인간이 지식을 발견하는 것]으로 착상되는 패러다임이다. 이 패러다임에서는 하나의 객관적 현실이 존재한다고 믿으며, 연구자들은 외부 현실의 진리를 알기 위해 노력한다. 포스트 실증주의는 연구자들이 그러한 진실을 포착하고 완전히 이해할 수 없다는 것을 인정한다; 대신에, 연구자들은 그들의 서술이 항상 불완전하다는 것을 알면서, 이 진실을 묘사하기 위해 끊임없이 노력한다.
Post-positivism Post-positivism is a paradigm in which humans are conceived of as discovering knowledge. In this paradigm, a single, objective reality is believed to exist, and researchers strive to know the truth of the external reality. Post-positivism acknowledges that researchers cannot capture and fully understand such truth; instead, researchers continually strive to describe this truth, knowing that their descriptions are always incomplete.
주관주의
주관주의는 사람들이 신념, 인식, 경험을 바탕으로 스스로 현실을 구축한다는 전제에서 작용한다. 연구자들은 사람들이 형성하는 개별적이고 특정한 현실에 대한 이해를 탐구하고 구성하고자 한다. 5,6
Subjectivism Subjectivism works from the premise that people build reality for themselves based on beliefs, perceptions, and experiences. Researchers seek to explore and compose understandings of the individual and particular realities that people build.5,6
저널 편집자와 리뷰어로서, 우리는 엄격한 정성적 연구 논문에서, 연구에 참여한 참가자가 소수임을 한탄하는 부분이 포함되어 있는 것을 보아왔다. 이러한 이해의 차이를 메우기 위해 많은 작업이 이루어졌지만, 이러한 브리징(다리놓기)은 각 연구 접근방식과 관련된 품질 측정에 대해 무심코 혼란을 야기했다. HPE 연구의 독자들은 각각의 원고를 면밀히 검토하여 패러다임 기반(즉, 온톨로지, 인식론, 방법론)2를 추론할 필요가 있다. 왜냐하면 어떤 특정한 연구에 대한 엄격함의 marker는 그들의 근본적인 철학적 가정에 따라 크게 다르기 때문이다. 요컨대, 한 HPE 연구에서 엄격함이 입증되는 방식이 반드시 다른 HPE 연구에서 미러링되는 것은 아니다.
As journal editors and reviewers, we have seen rigorous qualitative research papers include limitation sections lamenting the small number of participants engaged in the studies. Much work has been done to bridge such differences in understanding, but this bridging inadvertently generated confusion about the measures of quality associated with each research approach. Readers of HPE research are required to closely examine each manuscript to deduce its paradigmatic underpinnings (i.e., ontology, epistemology, methodology)2 because markers of rigour for any particular study vary greatly depending on their underlying philosophical assumptions. In short, the way rigour is demonstrated in one HPE study will not necessarily be mirrored in another;
우리는 지식과 연구에 대한 두 가지 다른 지향점 즉 객관주의와 주관주의를 중심으로 이 토론을 구성한다.
We construct this discussion around two different orientations towards knowledge and research—objectivist and subjectivist.
[객관주의 지향]은 단일의 외부 현실이 존재하고, 연구가 중립적이고 분리된 방식으로 질문에 답하여 현상에 대한 우리의 이해에 기여하도록 노력해야 한다는 전제하에 있다.3,4 객관주의 지향으로부터, 연구 과정은 [현실을 공정하게 이해하는 연구자의 능력을 모호하게 만드는] 내적 요인과 외적 요인을 측정하거나 설명할 수 있어야 한다.
An objectivist orientation rests on the premise that a single, external reality exists and that research should strive to answer questions in a neutral and detached manner to contribute to our understanding of phenomena.3,4 From the objectivist orientation, the research process must be able to measure or account for intrinsic and extrinsic factors that obscure a researcher's ability to understand reality impartially.
이와는 대조적으로 [주관주의 지향]은 사람들이 신념, 인식, 경험에 기초하여 스스로 현실을 구성한다는 전제에서 출발한다. 주관주의적 지향의 연구는 사람들이 형성하는 개별적이고 특정한 현실에 대한 이해를 탐구하고 구성하는 것을 목표로 한다.5,6 이에 상응하여, 개인과 사회 현상은 시간, 장소, 사람, 문화 등에 위치한situated 것으로 이해되어야 한다. 즉 내적 요인과 외적 요인은 진리를 이해하는 데 결정적이며 더 깊이 또는 보편적으로 경험하는 진리에 도달하기 위해 제거되거나 통제될 수 없다.
In contrast, a subjectivist orientation starts from the premise that people construct reality for themselves based on beliefs, perceptions, and experiences. Research from a subjectivist orientation aims to explore and compose understandings of the individual and particular realities that people build.5,6 Correspondingly, individual and social phenomena must be understood as situated in time, place, persons, cultures, etc. In other words, intrinsic and extrinsic factors are crucial to understanding truth and cannot be removed or controlled to reach a deeper or universally experienced truth.
우리는 일반성과 편견의 개념이 모든 HPE 연구의 엄격함을 확립하는 데 보편적으로 적용될 수 없다고 주장한다. 첫째, 우리는 객관주의 지향과 관련하여 일반성을 정의하며, 주관주의적 지향의 연구에 적용되었을 때 그것이 어떻게 다시 개념화되어야 하는지를 기술한다. 다음으로, 우리는 객관주의자들이 어떻게 편견에 대해 연구자의 주관성이 데이터를 오염시키는 사례로 생각하나 주관주의자들이 데이터의 구성 요소이기 때문에 편견을 수용하는 방법에 주목함으로써 편향을 다룬다. 이러한 주제를 설명하기 위해 박스 1에 사례 시나리오를 포함시키고 객관주의와 주관주의 지향성이 일반성과 편향성의 문제를 어떻게 다르게 다루는지 강조한다.
We argue that the concepts of generalisability and bias are not universally applicable to establish the rigour of all HPE research. First, we define generalisability in relation to an objectivist orientation, and we describe how it must be re-conceptualised when applied to research from a subjectivist orientation. Next, we address bias by attending to how objectivists conceive of bias as instances when researchers' subjectivities contaminate data but how subjectivists embrace bias because subjectivities are constitutive elements of data. To illustrate these topics, we include a case scenario in Box 1 and highlight how objectivist and subjectivist orientations would handle issues of generalisability and bias differently.
2 | 객관주의 및 주관주의 연구 접근법
2 | OBJECTIVIST AND SUBJECTIVIST RESEARCH APPROACHES
객관주의 대 주관주의 지향성이 일반성과 편향성에 미치는 영향을 설명하기 위해, 우리는 이러한 입장을 HPE 연구에서 일반적으로 사용되는 두 가지 패러다임인 [후기 실증주의]와 [구성주의]의 근본 요소로서 설명한다.
To illustrate the impact of an objectivist vs subjectivist orientation on generalisability and bias, we explain these positions as foundational elements of post-positivism and constructivism, two paradigms commonly used in HPE research.
후기실증주의가 채택하는 존재론(즉, 연구자들이 무엇이 진짜인지 어떻게 이해하는가)2는 [객관주의]적인 것이다. 후기실증주의는 '단일한, 객관적이고, 외적인, 유형적이고, 측정할 수 있는 현실'7이 존재하며, 이 현실은 한 명의 인간의 바깥에 존재하고, 영속된다persist고 주장한다.
이러한 존재론은 특정한 인식론(즉, 연구자들이 지식의 본질과 알 수 있는 것을 어떻게 상상하는지)을 낳는다.2 사후 추정론자들은 외부 현실의 진리를 아는 것이 가능하다고 주장하지만, 그러한 진리를 포착하고 이해하는 연구자들의 능력은 절대적이지 않다는 것을 인정한다.7 연구자들은 이 진리를 명확하게 설명하기 위해 끊임없이 노력하지만, 그것을 완전히 아는 것은 불가능하다는 것을 알고 있다.
7 이러한 인식론을 고려할 때, 사후 포시티브론자들은 현실의 근사치를 돕는 구체적인 방법론(즉, 현실을 알고 지식을 쌓는 방법)2을 고수하지만, 이러한 연구자들은 그들이 질문하는 방식, 즉 그 방법들을 인정한다. 그들이 설계하는 연구와 그들이 개발한 발견에 대한 해석은 그들의 사전 지식, 가치, 신념에 의해 영향을 받을 위험이 있다.7 그러므로 포스트 포시티브리스트들은 그들의 연구에 대한 주관성의 영향을 완화시키기 위해 노력한다. 후기실증주의적 연구의 엄격성은 주관성의 영향력을 최소화하고, 그럼으로써 객관성이 뒷받침되고 유지되는 정도에 의해 평가된다.7
The ontology (i.e., how researchers understand what is real)2 that post-positivism adopts is an objectivist one. Post-positivism maintains that there is ‘a single, objective, external, tangible, measurable reality’7 that exists outside of, and persists beyond, any single human.
This ontology gives rise to a specific epistemology (i.e., how researchers conceive of the nature of knowledge and what can be known).2 Post-positivists maintain that it is possible to know the truth of the external reality; however, they acknowledge that researchers' abilities to capture and understand such truth are not absolute.7 Researchers continually strive to articulate this truth, but know that it is impossible to ever fully know it.7
Given this epistemology, post-positivists adhere to specific methodologies (i.e., ways of knowing reality and building knowledge)2 that help them approximate reality, but these researchers acknowledge that the way they ask questions, the studies they design, and the interpretations of findings they develop are at risk of being influenced by their prior knowledge, values, and beliefs.7 Therefore, post-positivists work to mitigate the influence of their subjectivities on their research. The rigour of a post-positivist study is assessed by the extent to which that influence is diminished and that objectivity is supported and maintained.7
이와는 대조적으로, 구성주의자들의 주관주의적 지향은 극명하게 다른 개념화를 유지한다.
그들의 온톨로지(Ontology)는 '여러가지 정신구축, 사회적이고 경험적으로 기초하고, 지역적이고 구체적이며, 그들을 안고 있는 사람에 대한 그들의 형태와 내용에 의존한다'는 형태로 다중적인 현실multiple realities이 존재한다고 주장한다.8(pg 27) 현실은 개인이 살아 있는 경험을 통해, 그리고 그들의 사회적 맥락에서 다른 사람들과 연계하여 자신을 위해 건설하는 것이다.
무엇이 진짜인지 알고 현실을 구성하기 위해 구성주의자들은 주관성을 수용한다; 연구자들과 참여자들은 함께 연구되고 있는 현상을 이해하기 위해 의미와 데이터를 공동 구성한다.9 이 인식론은 '궁극적인 또는 "정확한" 알 수 있는 방법은 하나도 없다'고 주장한다.10 대신, 모든 개인은 현실에 대한 그들만의 독특한 이해를 가지고 있다.
이러한 관점을 고려할 때, 방법론적으로 구성주의자들은 종종 관찰과 인터뷰와 같은 질적인 방법에 의존하여 개인의 경험 설명과 현실구성을 이끌어낸다. 주관성은 구성론적 연구의 기본 요소이기 때문에, 그것을 제거하려는 어떠한 노력도 연구에는 반대antithetical되는 것이다. 왜냐하면, 이 패러다임에서 주관성은 현실과 그 현실에 대한 지식의 초석이기 때문이다. 따라서, 구성주의 연구의 엄격성은 [저자가 자신의 주관성에 대해 성찰하고 데이터를 성공적으로 사용하여 이러한 데이터로부터 창출한 설명을 서포트하는 정도]에 의해 평가된다.11
In contrast, constructivists' subjectivist orientation maintains starkly different conceptualisations.
Their ontology asserts that multiple realities exist in the form of ‘multiple mental constructions, socially and experientially based, local and specific, dependent for their form and content on the persons who hold them’.8(pg. 27) Reality is something that individuals construct for themselves through lived experiences and in conjunction with others in their social contexts.
To know what is real and to construct reality, constructivists embrace subjectivity; the researchers and participants co-construct meaning and data to make sense of the phenomenon being studied together.9 This epistemology asserts that ‘there is no one ultimate or “correct” way of knowing’.10 Instead, every individual holds their own unique understanding of reality.
Given these perspectives, methodologically, constructivists often rely on qualitative methods, such as observations and interviews, to elicit individuals' descriptions of experiences and their constructions of reality. Since subjectivity is a foundational component of constructivist research, any effort to remove it is antithetical to the research enterprise because, in this paradigm, subjectivity is the cornerstone of reality and knowledge of that reality. Therefore, the rigour of a constructivist study is assessed by the extent to which authors reflect on their own subjectivity and successfully use data to support the account that they have created from these data.11
요약하자면,
포스트 포시티브 연구자들은 보편적 진리가 바깥 세상에 존재하며(즉, 인간 사상과는 무관) 연구의 목적은 그 현실의 패턴(예: 일관성, 규칙성, 법칙)을 설명하는 것이라고 믿는다. 포스트 포시티브는 객관성을 인정하고 연구 샘플을 넘어 더 넓은 인구로 확장될 수 있는 연구 결과를 개발하기 위해 노력한다.
반면에 구성주의자들은 복수의 진리가 존재하며(즉, 인간구조에 의존함) 연구의 목적은 개별적인 사례(예: 특이성, 특수성)를 깊이 이해하는 것이라고 주장한다. 그러므로, 구성주의자들은 주관성에 특권을 부여하고 어떤 현상에 대한 다중적이고 다양한 해석을 옹호한다.12
To summarise,
post-positivist researchers believe that a universal truth exists out there (i.e., independent of human thought) and that the purpose of research is to explain patterns (e.g., consistencies, regularities, and laws) of that reality. Post-positivists prize objectivity and strive to develop research findings that can extend beyond a study sample to the broader population.
Constructivists, on the other hand, maintain that multiple truths exist (i.e., dependent on human constructions) and that the purpose of research is to deeply understand individual cases (e.g., idiosyncrasies, particularities). Therefore, constructivists privilege subjectivity and champion multiple, diverse interpretations of a phenomenon.12
3 일반화가능성
3 | GENERALISABILITY
[특정 효과를 적용할 수 있는 모집단, 설정, 치료 변수 및 측정 변수]로 정의되는 일반화가능성은 종종 엄격함의 필수적인 표시로 간주된다. 그러나 1993년의 획기적인 기사에서 파이어스톤은 연구자들을 초청하여 일반성에 대한 세 가지 다른 주장에 대해 생각해 보게 했다. 그는 이러한 주장이 연구자들이 불완전한 자료에서 확실한 결론으로 나아갈 수 있도록 하는 것이라고 주장했다. 이 세 가지 일반성 주장은 '
(a) 표본에서 모집단으로의 외삽,
(b) 이론을 이용한 분석 일반화 또는 외삽,
(c) 사례 대 사례 중개translation'이다.14
Defined as the populations, settings, treatment variables, and measurement variables to which particular effects can be applied,13 generalisability is often considered an essential marker of rigour. In a landmark 1993 article, however, Firestone invited researchers to think about three different claims to generalisability. These claims, he argued, are what allow researchers to go from imperfect data to solid conclusions. These three generalisability claims are ‘
(a) extrapolation from sample to population,
(b) analytic generalisation or extrapolation using a theory, and
(c) case-to-case translation’.14
표본에서 모집단으로의 확장인 첫 번째 주장은 통계적 일반성과 관련이 있다. 이러한 형태의 일반성은 특히 포스트 실증주의와 관련된 객관주의적 가정과 관련이 있지만, 구성주의적 연구의 주관주의적 가정과는 무관하다. 대부분의 구성주의적 방법론(종종 질적 연구와 관련됨)의 주관주의적 토대를 고려할 때, 통계적 일반성을 달성하는 것은 가능하지도 바람직하지도 않다.
The first argument—extrapolation from sample to population—relates to statistical generalisability. This form of generalisability is particularly relevant to the objectivist assumptions associated with postpositivism, but it is irrelevant for the subjectivist assumptions of constructivist research. Given the subjectivist foundations of most constructivist methodologies (often associated with qualitative research), achieving statistical generalisability is neither possible nor desirable.
두 번째 주장은 분석적 또는 이론적 일반화가능성이며, 여기서 연구자들은 [이론을 개발하거나 기존 이론에 기여함으로써 국소적인 발견을 일반화하는 것]을 목표로 한다.14,15 일반성에 대한 이러한 접근방식에서, 연구자들은 많은 연구 참여자들과 관련된 고차원적 추상화를 생성하기 위해 유도적이고 심층적인 데이터 분석에 참여한다. 이러한 추상화(연구 노력에 의해 개발되고 있는 이론이나 개념)는 일반화가능한 결과이다.따라서, 연구 설계가 통계적 일반성의 표준을 허용하지 않거나 도달하지 못함에도 불구하고, 연구는 이론적 또는 개념적 일반성을 달성할 수 있다. 많은 주관주의적 연구는 일반성의 개념화와 상당히 관련이 있다고 생각하지만, 연구자들은 그들의 지식 생산 노력을 지원하기 위해 [이론적 일반화가능성theoretical generalisability]이라는 용어를 거의 동원하지 않는다. 이론적 일반성은 '연구가 수행되는 조건과 다양한 이론multiple theories과의 관련성을 명시'함으로써 촉진될 수 있고, 이 작업은 많은 구성주의적 연구를 단단하게 뒷받침해주는 심층 분석적 작업deep analytic work와 유사한 과정이다.
The second argument is analytic or theoretical generalisability, where researchers aim to generalise local findings by developing theories or contributing to pre-existing theories.14,15 In this approach to generalisability, researchers engage in inductive, in-depth data analysis to generate higher-order abstractions relevant to many of their research participants. These abstractions—the theories or concepts being developed by the research effort—are the outcomes that are generalisable. Thus, despite research designs not allowing for—or reaching—the standards of statistical generalisability, research can achieve theoretical or conceptual generalisability. While much subjectivist research would find this conceptualisation of generalisability quite relevant, researchers seldom mobilise the language of theoretical generalisability in support of their knowledge production efforts. Theoretical generalisability can be facilitated by ‘specifying the conditions under which a study is done and their relevance to multiple theories’,14 a process akin to the deep analytic work undergirding much constructivist research.
마지막으로, Firestone의 세 번째 주장은 독자나 자연주의적 일반성과 유사하게 사례 대 사례 번역이다.16 Firestone은 이러한 종류의 일반성을 '한 세팅에 있는 사람이 다른 세팅에서 프로그램이나 아이디어를 채택하는 것을 고려하는 것'.을 의미한다14 이것은 링컨과 구바의 전달 가능성transferability 개념과 유사하다.17 Firestone의 case-to-case translation은 연구자들을 그들의 원고에 사례에 대한 두꺼운 설명thick description을 제공하도록 초청하여 다른 사람들이 연구의 통찰력이 그들 자신의 사례에 적용되는지 여부를 결정하는 데 필요한 정보를 얻도록 한다. 폴리트와 벡이 분명히 말했듯이, 이 노력은 저자와 독자에 의해 실현된 '협업적 사업collaborative enterprise'으로 가장 잘 이해된다.
Finally, Firestone's third argument is case-to-case translation, akin to reader or naturalistic generalisability.16 Firestone describes this kind of generalisability as instances when ‘a person in one setting considers adopting a program or idea from another one’.14 This is similar to Lincoln and Guba's concept of transferability.17 Firestone's case-to-case translation invites researchers to offer thick descriptions of cases in their manuscripts so that others have the necessary information to decide whether insights from research apply to their own cases. As Polit and Beck articulated, this effort is best understood as a ‘collaborative enterprise’,15 realised by author and reader.
우리가 이런 방식으로 일반성을 재구성할 때, 우리는 명확한 패러다임 차이를 볼 수 있다.
When we reframe generalisability in this manner, we can see clear paradigmatic differences.
객관주의적 성향과 추론 통계에 의존하는 포스트 실증주의 연구자들은 [개별 표본에서 더 큰 모집단으로 추론을 이끌어내기 위해 노력한다]. 이러한 추론에 대한 방어 가능한 주장을 구축하기 위해, 연구자들은 표본이 무작위로 선택되었고, 더 큰 모집단을 합리적으로 대표하며, 분석적 주장을 뒷받침할 만큼 충분히 검정력power이 크다는 것을 확인하려고 한다. 본질적으로, 표본으로부터 도출된 모집단에 대한 추론이 일반화된다는 가정은 현상이 다른 맥락에 복제될 수 있다는 것을 의미한다. 후기실증주의적 연구자들 또한 이론적 일반성과 사례 대 사례 번역에 도달하기 위해 노력할 수 있지만, 통계적 일반성이 객관주의적 기초의 핵심이다.
Post-positivist researchers relying on an objectivist orientation and inferential statistics endeavour to draw inferences from samples of individuals to larger populations. To build defensible arguments for these inferences, researchers seek to ensure that samples have been randomly selected, are reasonably representative of larger populations, and are sufficiently large to support, or ‘power’,18 analytic claims. In essence, the assumption that inferences made from samples generalise to the populations from which they are drawn means that phenomena are replicable to other contexts. Post-positivist researchers can also strive to reach theoretical generalisability and case-to-case translation, but statistical generalisability is a linchpin of their objectivist underpinnings.
이와는 대조적으로 주관주의적 지향성이 지배하는 구성주의적 패러다임에서 수행된 연구는 이론적 또는 자연주의적 일반성에 도달하기 위해 노력할 것이다. 위에서 논의한 바와 같이, 구성론적 연구와 같은 주관주의적 사고에 기반을 둔 연구는 일반적으로 개별 사례의 특수성에 초점을 맞추고, 관련 연구 참여자의 선별된 수를 식별하기 위해 목적적 샘플링을 채택한다. 그러한 목적적 표본의 결과의 목적은 더 넓은 집단에 일반화하는 것이 아니다. 그 대신, 그러한 연구는 [이론에 기여하는 통찰력을 제공하거나, 이론을 통한 다른 사례와 관련되거나, 전이성을 통해 다른 영역의 경험을 반영하는 것]을 목적으로 한다. 더욱이, 다중적 주관성multiple subjectivities에 특권을 주고서는privileging, 참가자들의 현실이 연구 표본 밖의 다른 사람들의 현실에 반드시 외삽가능하다고 주장하는 것은 이치에 맞지 않는다.19
In contrast, research carried out from a constructivist paradigm— where subjectivist orientations hold sway—might endeavour to reach theoretical and/or naturalistic generalisability. As discussed above, research grounded in subjectivist thinking—like constructivist research— typically focuses on the particularities of individual cases and employs purposive sampling to identify select numbers of relevant study participants. The aim of results from such purposive samples is not to generalise to broader populations. Instead, such research aims to provide insights contributing to theory, relating to other cases through theory, or echoing experiences in other domains through transferability. Furthermore, with a privileging of multiple subjectivities, it does not make sense that participants' realities would necessarily extrapolate to the realities of others outside of the research sample.19
후기실증주의적 사고의 잔재가 HPE에서 우위를 점할 때, 일반 가능성(특히 통계적 일반성)은 연구의 패러다임과 관계없이 모든 연구에서 예상되는 엄격성의 기준이 된다. 결과적으로, 구성주의 내 접근방식에서 수행된 것을 포함하여 주관적 연구에 대한 많은 HPE 원고 보고가 [이러한 형태의 일반성이 그들의 연구 설계에 대한 적절한 기대치가 아님에도 불구하고] 통계적 일반성의 결여를 한탄하는 '내 탓이로소이다' 식의 진술을 제공한다. (예를 들어, 본 연구의 결과는 모든 건강관리 학생을 대표할 수 없는 견해를 가진 한 의과대학의 소수의 의대생을 기반으로 한다. )
When remnants of post-positivist thinking hold sway in HPE, generalisability—particularly statistical generalisability—becomes an expected criterion of rigour for all research, regardless of a study's paradigm. Consequently, many HPE manuscripts reporting on subjectivist research, including those conducted from within constructivist approaches, offer mea culpa statements lamenting the lack of statistical generalisability (e.g., findings from this study are based on a small number of medical students from one medical school whose views may not be representative of all healthcare students), despite the fact that this form of generalisability is not an appropriate expectation for their research designs.19
따라서 일부 구성주의 연구자들은 연구목표로서의 일반성을 노골적으로 거부하며, 대신에 질적 데이터의 논리, 구조 및 의미에 대한 깊은 해석을 선호한다. 다른 (Firestone 포함)은 주관주의적 지향에 부합하는 적절한 개념으로 전달 가능성transferability(자연주의적 일반성에 대한 개념과 유사)으로 구별했다.17
Some constructivist researchers therefore reject generalisability as a research goal outright, instead favouring deep interpretations of the logic, structure, and meaning of qualitative data.20 Others (including Firestone) have identified transferability (akin to naturalistic generalisability) as a suitable concept aligning with subjectivist orientations.17
궁극적으로 어떤 종류의—일반성이 관련성이 있는지 결정하기 위해서는 연구의 존재론적 뿌리에 대한 세심한 고려가 필요하다.
연구가 객관적 현실과 관련된 보편적 진리를 설명하고자 하는 경우 통계적 일반성이 핵심이고,
연구가 개인이 구성한 주관적 현실을 사회적 상호작용을 통해 이해하고자 하는 경우 이론적 일반성 또는 자연주의적 일반성이 필요할 수 있다.
Ultimately, to decide what kind of—generalisability is relevant, careful consideration of a study's ontological roots is required.
If an investigation seeks to explain a universal truth associated with an objective reality, then statistical generalisability is key;
if a study seeks to understand subjective realities constructed by individuals and through social interactions, then theoretical and/or naturalistic generalisability may be necessary.
따라서, 주관적 HPE 연구(예: 구성주의적 연구)의 연구자와 독자들은 (통계적 일반성의 결여를 한탄하기보다는) 일반성의 다양한 형태를 더 잘 이해하고 연구의 패러다임적 토대를 바탕으로 그 타당성을 평가할 필요가 있다. 그들은 또한 그들의 연구를 ['사소하고, 대수롭지 않으며, 거의 가치가 없는' 것으로 변질시키거나, 그들 자신의 합법화 노력을 훼손하지 않도록] 보다 뉘앙스를 가지고 일반성의 개념에 관여해야 한다. 21
Therefore, instead of lamenting a lack of statistical generalisability, researchers and readers of subjectivist HPE research (eg, constructivist research) need to better understand the varied forms of generalisability and evaluate their appropriateness based on the paradigmatic underpinnings of the research. They also should engage with the concept of generalisability with more nuance lest they undermine their own legitimation efforts, turning their research into something that ‘is of little use, insignificant, and hardly worth doing’. 21
좀 더 구체적으로, 파이어스톤의 세 가지 주장 측면에서 일반성에 대해 생각하는 것은 HPE 연구자들이 그들의 발견의 중요성과 도달 범위를 더 잘 정당화할 수 있게 할 수 있다. 주관주의적 지향성을 가진 대부분의 프로젝트는 통계적 일반성을 달성할 수 없고, 달성하려고 노력해서는 안 되지만, 데이터와 이론과의 깊은 관계를 통해 분석적 기여와 전달 가능성 잠재력을 설명해야 한다.15
More concretely, thinking about generalisability in terms of Firestone's three arguments can enable HPE researchers to better justify the importance and reach of their findings. While most projects with subjectivist orientations will not be able to— and should not strive to—achieve statistical generalisability, they should describe their analytic contributions and transferability potential through deep engagement with their data and theory.15
4 편향 4 | BIAS
질적 연구의 Sage 사전에는 편향의 두 가지 정의가 나열되어 있다.24
첫째는 연구자가 데이터 수집이나 해석에 영향을 미침으로써 [연구 결정, 데이터 출처 및 판단을 편견을 갖게 하는] 견제받지 않는 관행이나 행동이라고 정의한다. 예를 들어, 연구자들이 연구 목적에 대해 참가자들에게 너무 많은 것을 드러내면, 참가자들의 반응은 연구자들을 기쁘게 하는 것을 목표로 하기 때문에 편향될 수 있다( 이른바 '사회적 만족도 편견')
두 번째 정의는 편견을 '개인의 선호, 성향 또는 중립성과 객관성을 막는 성향'으로 특징짓는다. 예를 들어, 연구자가 특정 요인이 특정 현상의 발현에 영향을 미친다고 가정할 경우(예: 계층 구조는 안전성 우려의 목소리를 내는 의지에 영향을 미친다), 그러면 그들은 다른 영향력 있는 요소(예: 불확실성, 문화적 규범)를 무시하거나 전체 참여자 관점을 도출하는 질문을 하지 않을 수 있다.
The Sage Dictionary of Qualitative Research lists two definitions of bias.24
The first defines bias as unchecked practices or actions where researchers influence data collection or interpretation and thus prejudice research decisions, data sources, and judgements.24 For example, when researchers reveal too much about a study's purpose to participants, participants' responses can be biased as they aim to please researchers (the so-called ‘social desirability bias’).25
The second definition characterises bias as ‘individual preferences, predispositions, or predilections that prevent neutrality and objectivity’.24 For example, if researchers assume that certain factors impact the manifestation of a particular phenomenon (e.g., hierarchy influences willingness to voice safety concerns), then they may ignore other influential factors (e.g., uncertainty, cultural norms) or fail to ask questions eliciting the full range of participant perspectives.
이 두 가지 정의는 연구의 편견이 [이원론]과 [객관주의]라는 두 가지 원칙의 위반을 구성한다는 주장과 일치한다.26
이원론은 연구에 관여하는 연구자와 연구 참여자를 분리하여 편견을 최소화해야 한다는 믿음(후기 실증주의 연구에서의 공통점)이다.7
객관주의는 앞에서 서술한 바와 같이 [연구자의 가치, 신념 또는 가정으로부터 야기될 수 있는 편견]이 연구에 없는 것을 말한다.7
These two definitions align with the claim that bias in research constitutes the violation of two principles: dualism and objectivism.26
Dualism is the belief (common in post-positivist research) that researcher and research participants involved in a study should be separated to minimise bias.7
Objectivism, as previously articulated, refers to the absence of bias in a study that could result from researchers' values, beliefs or assumptions.7
객관주의적 지향에서 일하는 사람들은 편견을 주관성과 부정적으로 동일시하는 경향이 있는 반면,
구성주의적 패러다임 내에서 일하는 사람은 일반적으로 연구자들의 행동, 선호도 및 성향은 연구 과정과 제품과 불가분하게 연관되어 있으며, 편견은 그 과정에서 제거될 수 없다는 것을 인식한다.
주관주의적 지향으로부터, 구성주의 연구자들의 주관성은 현실 자체의 본질과 그것으로부터 우리가 개발할 수 있는 지식에 기초하기 때문에 연구 과정 내내 그들의 학문적 노력을 알려준다. 간단히 말해서, 연구자들은 그들의 연구 과정을 통해 그들이 이해하는apprehending 현실을 구성한다.
While those working from an objectivist orientation tend to negatively equate bias with subjectivity,27
those working within a constructivist paradigm typically recognise that researchers' actions, preferences, and predispositions are inextricably linked with research processes and products; they cannot be removed from the process.
From a subjectivist orientation, constructivist researchers' subjectivities inform their scholarly efforts throughout the research process because subjectivity is foundational to the nature of reality itself and the knowledge we can develop from it. Put simply: the researchers construct the reality that they are apprehending through their research processes.
[구성주의 연구자들의 주관성]은 연구가 어떻게 설계되고, 데이터가 수집되고, 연구 결과가 분석되는지를 형성할 뿐만 아니라, 원고에 그들의 연구 결과를 어떻게 나타내는지에도 영향을 미친다. 예를 들어, 구성주의 연구자들은 종종 발췌한 데이터를 참여자의 목소리로 해석하는 근거에 포함시킨다. 이는 연구의 엄격함rigour을 보여주기 위해 권장되는 접근법이다. 11 면접, 초점 그룹 또는 관찰을 통해 생성된 데이터는 참여자와 연구자 간에 공동 구성된 것으로 보인다.이 경우에 데이터는 참가자의 목소리를 엄격하게 반영하지 않는다. 그보다, 이런 데이터는 연구자들에 의해 도출되고, 형성되고, 해석된 참가자의 목소리를 반영한다. 이러한 고려를 고려할 때, HPE의 구성주의적 연구의 많은 부분이 이원론자와 객관주의자가 보기에는 변명의 여지가 없을 정도로 주관적이거나 '편향적'이라는 것은 분명하다.
Constructivist researchers' subjectivities not only shape how research is designed, data are collected, and findings are analysed, but their subjectivities also affect how they represent their findings in manuscripts. For example, constructivist researchers often incorporate data excerpts into the findings of articles to ground their interpretations in participants' voices—an approach encouraged to show rigour.11 The data generated through interviews, focus groups, or observations are seen as co-constructed between participants and researchers. In this way, data do not strictly mirror the voices of participants; rather, data reflect the voices of participants as they were elicited, shaped, and interpreted by researchers. Given these considerations, it is clear that much of HPE's constructivist research is unapologetically subjective—or ‘biased’ in both the dualist and objectivist senses.
그러나 구성주의적 접근법을 통해 생성된 데이터가 주관적이라면, 어떻게 독자는 발견이 그들 자신의 맥락에서 추가적인 고려나 구현을 할 가치가 있는지 알 수 있는가? 주관주의적 연구 결과와 통찰력을 평가하기 위해, 우리는 엄격함에 대한 객관주의적 수단을 사용할 수 없다. 사실, 주관성을 수용하게 되면 [편견이 없는 연구]에 대한 어떠한 기대도 터무니없는 것으로 만든다.
But if data generated through constructivist approaches are subjective, how then does the reader know if findings merit further consideration or implementation in their own context? To evaluate subjectivist research findings and insights, we cannot use objectivist measures of rigour. In fact, embracing subjectivity makes any expectation of bias-free research nonsensical.
한 가지 진일보한 방법은 연구자 자신의 개인적 존재론적 및 인식론적 입장과 연구 과정에 미치는 영향을 탐구하는 것을 목표로 하는 성찰적 실천reflexive practices을 통해 연구 중 작용하는 역동dynamics을 탐구하고 문서화하는 것이다.28 이를 위해 롤스턴과 쉘튼27은 세 가지 기법을 제안한다.
첫 번째 기법(주제론적 연구와 객관주의적 연구에 모두 적용됨)에서 조사자들은 연구의 이론적 기초와 연구 설계, 방법 및 행동 사이에 명확한 일치를 보장하기 위해 연구 설계를 성찰한다.
두 번째 기법은 연구자들에게 질문의 작성, 샘플링 선택, 연구 참여자와의 상호작용, 데이터 분석, 연구 결과의 제시를 포함한 연구 과정의 모든 단계에서 그들의 역할과 위치positioning를 검토examine하도록 요구한다.
세 번째 기법은 한 걸음 더 나아가 연구자들을 자신의 연구에 대해서 분석하는 것이다. 예를 들어, 연구 참가자들에게 제시된 질문을 체계적으로 검토하거나, 이런 질문에 연구자들의 관점을 어떻게 반영되었는지 검토하거나, 그 질문들이 어떻게 특정 유형의 반응을 고무시키거나 다른 사람들을 배제시켰는지를 고려한다.
One way forward is to explore and document the dynamics at play during research through reflexive practices aimed at exploring the researcher's own personal ontological and epistemological positions and their influence on the research process.28 To do this, Roulston and Shelton27 propose three techniques.
In the first technique (applicable to both subjectivist and objectivist research), investigators reflect on study designs to ensure clear alignment between studies' theoretical underpinnings, and their research designs, methods, and conduct.
The second technique asks researchers to examine their roles and positioning within every stage of the research process including crafting of questions, sampling choices, interaction with study participants, analysis of data, and presentation of findings.
The third technique goes a step further by engaging researchers in an analysis of their own work—for example systematically reviewing the questions posed to study participants, considering how these reflect researchers' own perspectives, and how the questions may have inspired certain types of responses or precluded others.
이러한 서로 다른 기법들은 성찰적 연구reflexive research 저널에 기록될 수 있고 연구 팀 내에서 논의될 수 있다. 집합적으로, 이러한 전략은 연구자들이 데이터가 어떻게 구성되는지에 대해 세심한 주의를 기울이고 연구 목적과 맥락에 기초하여 연구 과정에 대한 조정이 보장되는지 여부를 결정하는 데 도움이 되어야 한다. 연구팀이 연구 결과를 분석 및 작성하기 위해 협력할 때, 그들은 데이터와 관련하여 어떻게 스스로를 포지셔닝하는지에 주목하면서 이러한 반사성reflexivity을 계속해야 한다.29
These different techniques can be documented in reflective research journals and discussed within research teams. Collectively, these strategies should help researchers pay close attention to how data are constructed and decide whether adjustments to research processes are warranted based on study purposes and contexts. As research teams work together to analyse and write up study findings, they must continue this reflexivity, noting how they position themselves in relation to their data.29
연구자가 연구과정에 미치는 주관적 영향을 따지는 대신, 연구자와 검토자는 다음과 같은 질문을 할 수 있다.
이 연구의 가이딩guiding 이론과 가정은 데이터 해석에 어떤 영향을 미치고 있는가?
데이터 표현에서 이론과 가정은 어떻게 표현되는가?
조사 결과 발표에서 연구자와 참여자의 목소리는 어떤 관계인가?
제시된 자료는 저자들이 만든 더 넓은 주장을 설득력 있고 예증하고 있는가?
Instead of decrying the subjective influence of researchers on the research process, researchers and reviewers can ask:
How are the study's guiding theories and assumptions influencing data interpretations?
How are theories and assumptions represented in data representations?
What is the relationship between researchers' and participants' voices in the presentation of findings?
Are the data presented convincing and illustrative of the broader arguments made by the authors?
5 결론
5 | CONCLUSION
본질적으로 우리는 주관성을 수용하는 패러다임 내에서 일반성과 편견이 문제가 된다고 주장한다. 실제로 이러한 용어의 기원을 이해함으로써 주제론적 HPE 연구에서 엄격함을 달성하기 위한 대안적 접근법을 성찰하고 명확히 할 수 있다. 우리는 이러한 문제들을 무시하거나 사과하거나 위장하기 보다는, 우리의 선택을 드러내는 데 있어서 목적성purposiveness을 갖추기를 주장한다.27
Essentially, we argue that generalisability and bias are problematic within paradigms that embrace subjectivity. Indeed, by understanding the origins of these terms, we are able to reflect on and clarify alternative approaches to achieving rigour in subjectivist HPE research. Rather than ignoring, apologising for or camouflaging these issues, we instead argue for purposiveness in illuminating our choices.27
모든 HPE 연구에서, 연구자들은 특정 패러다임에서 그들의 연구를 뿌리내린다. 이것은 그 연구자들이 항상 같은 패러다임에서 일한다는 것을 의미하지는 않는다. 오히려 그 반대이다. 각각의 연구는 연구자들이 그들이 묻고 있는 질문의 유형, 그들이 만들고자 하는 지식의 종류, 그리고 그들이 조사하고 있는 현실의 성격을 고려하도록 요구한다. 한 연구에서 HPE 연구자는 사후 포시티브 지향 내에서 작업할 수 있으며, 다른 연구에서는 구성주의적 접근법을 채택할 수 있다. 하나의 패러다임이 다른 패러다임보다 우월한 것은 아니다. 그 대신, 그것들은 서로 다르다.
In every HPE study, researchers root their investigations in a specific paradigm. This does not mean that those researchers always work from that same paradigm. Far from it. Each study requires researchers to consider the types of questions they are asking, the kinds of knowledge they hope to build and the nature of the reality they are investigating. For one study, an HPE researcher might work from within a post-positivist orientation; for another, they may adopt a constructivist approach. One paradigm is not superior to the other; instead, they are importantly different from each other.
.2020 Aug 11.
doi: 10.1111/medu.14348.Online ahead of print.
The applicability of generalisability and bias to health professions education's research
Context:Research in health professions education (HPE) spans an array of topics and draws from a diversity of research domains , which brings richness to our understanding of complex phenomena and challenges us to appreciate different approaches to studying them. To fully appreciate and benefit from this diversity, scholars in HPE must be savvy to the hallmarks of rigour that differ across research approaches. In the absence of such recognition, the valuable contributions of many high-quality studies risk being undermined.
Methods:In this article, we delve into two constructs---generalisability and bias--that are commonly invoked in discussions of rigour in health professions education research. We inspect the meaning and applicability of these constructs to research conducted from different paradigms (i.e., positivist and constructivist) and orientations (i.e., objectivist and subjectivist) and then describe how scholars can demonstrate rigour when these constructs do not align with the assumptions underpinning their research.
Conclusions:A one-size-fits-all approach to evaluating the rigour of HPE research disadvantages some approaches and threatens to reduce the diversity of research in our field. Generalisability and bias are two examples of problematic constructs within paradigms that embrace subjectivity; others are equally problematic. As a way forward, we encourage HPE scholars to inspect their assumptions about the nature and purpose of research-both to defend research rigour in their own studies and to ensure they apply standards of rigour that align with research they read and review.
의학모델을 넘어서: 의학교육과 의학교육연구에 대하여 다르게 생각하기(Teach Learn Med, 2020)
Beyond the Medical Model: Thinking Differently about Medical Education and Medical Education Research
Gert J. J. Biestaa,b and Marije van Braakc
도입: 의료교육과 실천과 연구의 의료모델
Introduction: medical education and the medical model of practice and research
교육 연구와 실천의 광범위한 분야에서 교육의 역학관계에 대한 특정한 이해를 '의료 모델medical model'로 지칭하는 것이 상당히 보편화되었다.1~5 이 문구는 가르치는 것이 학생들에게 학습을 불러오기 위한 개입이라는 생각을 지칭하는 데 사용된다. 어떤 공식들은 심지어 [가르치는 것을 학습의 원인]이라고 말하고 교육을 측정 가능한 '학습 결과'의 생산에 불과하다고 본다.
In the wider field of educational research and practice it has become quite common to refer to a particular understanding of the dynamics of education as the ‘medical model.’1–5 This phrase is used to refer to the idea that teaching is an intervention to bring about learning in students. Some formulations even speak about teaching as the cause of such learning and see education as nothing but the production of measurable ‘learning outcomes.’
이러한 관점을 가진 연구에서, 초점은 가르치는 것이 의도된 학습 결과를 가져올 수 있는 가장 효과적인 방법을 찾는 데 있다. 여기서의 생각은 '무엇이 효과가 있는지'를 알아내야 하고, 교사들이 그러한 증거에 근거해야 한다는 것인데, 단순히 증거가 시키는 대로 따라 하거나 최근의 연구 증거에 의해 그들의 행동이 확실히 전달되도록 함으로써 말이다. 교육 분야 내에서 그러한 접근법의 가능성과 만족도에 대한 지속적인 논의가 이루어지고 있다.4–8
In this research, the focus lies on finding the most effective ways in which teaching can bring about intended learning outcomes. The idea here is that research should find out ‘what works’ and that teachers should base their classroom practice on such evidence, either by simply following what the evidence tells them to do or by making sure that their actions are informed by the latest research evidence. Within the field of education there are ongoing discussions about the possibility and desirability of such an approach.4–8
지난 20년 동안 의료 교육 및 관련 연구 분야도 의료 모델을 채택했다. 1,2,7,9 의학교육 관행은 어떤 식으로든 가르치는 것이 학습을 유발한다는 생각에 크게 의존한다. 이 견해에서, 가르침은 [학습 결과를 산출하는 개입]으로 이해된다(예를 들어, Smith11에 근거한 Fincher와 Work, 10(p293)에서 가르침의 정의는 "학습 촉진 활동의 설계 및 실행"임을 참고하라). 여기서의 관례적인 근거는 [더 나은 가르침은 더 나은 학습을 유발]하며, 이것은 [더 나은 환자 치료]를 제공하고, 결과적으로 [환자의 결과를 향상]시킨다(예: Chen, Lui, Martinelli;12 Harden et al.9 참조).
Medical education and its related research field have, over the past two decades, also adopted the medical model.1,2,7,9 Medical educational practice relies heavily on the idea that teaching in some way causes learning. In this view, teaching is understood as an intervention that produces learning outcomes (see for example the definition of teaching as “the design and implementation of activities to promote learning” in Fincher and Work,10(p293) based on Smith11). The customary rationale here is that better teaching causes better learning, which provides for better patient care, which in turn improves patient outcomes (see for example, Chen, Lui, and Martinelli;12 Harden et al.9).
[개입으로서의 가르침]의 개념과 그 개입의 의학 교육 연구의 효과로서 그 가르침의 개념을 준수하면서, 의료 모델의 논리에 따라, 개입과 결과 사이의 상관관계를 찾는다.13 현재의 의학 교육 연구는 주로 특정 교습 관행이 '작동한다work'이라는 증거를 제공하도록 설계되어 있다. 광범위한 맥락에서 응용을 육성하기 위한 「일반적인 단순성」을 목표로 한다. 교육적 맥락에서 제한된 중요성으로 인해 논란이 되고 있음에도 불구하고, 무작위 통제 실험은 여전히 의학 교육 연구에서 높이 평가되고 있다. 또한 학습에 대한 교수효과 분석을 기반으로 한 메타분석이나 체계적 검토 등이 향후 교육 상황에 대한 가이드라인으로 자주 제시되고 있다.
In keeping with notions of teaching as an intervention and learning as the effect of that intervention medical educational research, following the logic of the medical model, looks for correlations between interventions and outcomes.13 Current medical education research is predominantly designed to provide proof that particular teaching practices ‘work’. It aims for “generalisable simplicity” to foster application in a wide range of contexts.13(p31) Despite being contested for their limited significance in educational contexts,4–6,8,13,14 randomized controlled trials are still held in high regard in medical education research.3,15 Building on analyses of teaching effects on learning, meta-analyses, and systematic reviews are frequently presented as guidelines for future educational situations16,17
교육을 '의료 모델'로 보는 것은 어느 정도 그럴듯해 보인다. 결국, 선생님들은 그들의 가르침에 개입하고 그들은 학생들이 배우기를 원하는 좋은 이유로 그렇게 한다. 게다가, 만약 선생님들이 그들이 하는 일의 효과를 향상시킬 수 있다면, 학생들은 분명히 이익을 얻을 것이다. 피상적인 수준에서 이것은 말이 되겠지만, 면밀한 점검은 몇 가지 문제점을 드러내기 시작한다. 이 논문에서 우리는 의료 모델의 두 가지 주요 문제를 식별하는 것을 목표로 한다.
At one level the medical model of education looks quite plausible. After all, teachers do intervene with their teaching and they do so for good reasons as they want their students to learn. Moreover, if teachers can enhance the effectiveness of what they do, students definitely are to benefit. While at a superficial level this may make sense, a closer inspection begins to reveal several problems. In this paper we aim to identify two main problems of the medical model.
교육이란 무엇인가? 그리고 그것은 무엇을 위한 것인가?
What is education? And what is it for?
의료 모델이 교육의 역동성을 너무 단순하게 표현하는 것에 해당한다고 제안하는 것은, 이러한 역동성이 실제로 무엇인지, 그 이전에 교육이 실제로 무엇인지에 대한 의문을 제기한다. 흔히 '교수학습'이라는 단어가 된 것처럼 느낄 정도로 쉽게 사용되는 현재 유비쿼터스 언어인 '교수와 학습'은 교육이 무엇에 관한 것인지 간결하고 의미 있게 요약한 것 같다.
To suggest that the medical model amounts to a too simplistic representation of the dynamics of education, raises the question of what these dynamics actually are and, before that, what education actually is. The now ubiquitous language of ‘teaching and learning’– used so easily that it often feels as if ‘teachingandlearning’ has become one word – seems to be a concise and meaningful summary of what education is about.
그러나, 가르침이 학생들의 학습을 이끌어내기 위해 그곳에 있다는 제안의 한 가지 중요한 문제는 [학습]이라는 언어가 충분히 정확하지 않다는 것이다. 결국, 학생들은 그들이 교육적인 환경에 있을 때 많은 것을 배울 수 있는 것처럼, 그러한 환경 밖에서 많은 것을 배울 수 있다.
However, one key problem with the suggestion that teaching is there to bring about student learning is that the language of learning is not sufficiently precise. After all, students can learn many things when they are in educational settings, just as they can learn many things outside of those settings.
그러나 교육의 핵심은 학생들이 무언가를 배우도록 하는 것이 아니라, 무언가를 배우고, 이유가 있어서 배우고, 누군가로부터 배우도록 하는 것이다. 그러므로 교육은 항상 [내용, 목적, 관계], 즉 어떤 의미에서 교육을 구성하는 세 가지 '요소'에 대한 의문을 제기한다. 우리가 '교육과 학습'이라는 관점에서 교육을 묘사할 때, 이러한 질문들은 종종 빠져있다.
The whole point of education, however, is not to ensure that students learn, but that they learn something, learn it for a reason, and learn it from someone. Education thus always raises questions about content, purpose, and relationships – the three ‘elements’ that in a sense constitute education. These questions are often absent when we just describe education in terms of ‘teaching and learning’,
내용, 목적, 관계에 관해서는 [목적의 문제]가 실제로 다루어져야 할 첫 번째 질문이라고 주장할 수 있다. 어떤 특정한 교육 활동과 준비가 어떤 것인지 명확하게 설명할 수 없다면, 학생들이 어떤 컨텐츠에 참여해야 하고 어떤 종류의 관계가 자신이 성취하고자 하는 것에 가장 도움이 될 것인지를 결정할 수 있는 방법이 없다.
With regard to content, purpose, and relationships it can be argued that the question of purpose is actually the first question that needs to be addressed. If one is not able to articulate what particular educational activities and arrangements are for, there is no way in which one can decide which content students should engage with and what kind of relationships will be most conducive for what one seeks to achieve.
교육을 특히 흥미롭게 하는 것은 하나의 목적이나 목적을 지향하는 것이 아니라 모든 교육이 세 가지 '목적의 영역'에 관여해야 한다는 점이다.1(예: Biesta, 18 Bruner, 19 Egan, 20, Lam21 참조).
What makes education particularly interesting is that it is not oriented toward one purpose or domain of purpose, but that all education needs to engage with three ‘domains of purpose’1 (see, e.g., Biesta,18 Bruner,19 Egan,20 and Lamm21).
교육의 목적의 첫 번째 영역은 [자격요건]이다. 자격요건은 학생들에게 '뭔가' 할 수 있는 자격요건을 갖추는 것이다. 이러한 '뭔가'는 좁을 수 있다. 예를 들어, 의학교육 분야의 핵심인 특정 직업이나 직업에 대한 자격을 얻는 경우처럼, 또는 학교가 젊은이들에게 복잡한 현대 사회에서 그들의 삶을 살아가기 위한 지식, 기술, 이해를 제공하는 데 있어 수행하는 역할과 같이, 보다 광범위하게 구상될 수 있다. 사회
The first domain of purpose for education is that of qualification, which is about providing students with knowledge, skills, and understanding that will qualify them to do ‘something.’ This ‘something’ can be narrow, such as in the case of becoming qualified for a particular job or profession – which is, of course, key in the field of medical education – or it can be conceived more widely such as the role schools play in providing young people with the knowledge, skills, and understandings for living their life in complex modern societies.
그러나 교육의 목적은 자격에 국한되지 않는다. 교육은 또한 [사회화]의 영역에서 중요한 역할을 한다. 사회화는 학생들에게 직업과 전문 영역을 포함한 특정 분야나 영역에서 오리엔테이션을 제공하는 것이다. 그것은 학생들을 특정한 사회적, 문화적, 실용적, 또는 직업적 전통의 규범과 가치인 [존재와 행동의 방식]으로 유도하는 것이다. 이는 학생들에게 그러한 전통과 관행에 대한 방향감을 주고, 또한 특정한 전통과 관행에 속하게 함으로써 정체성을 발전시키는 데 기여하기 위한 것이다. 학생들이 규칙과 규정을 준수하고 연습이나 전통의 특정한 규범과 가치를 채택하도록 하는 것이 야망인 사회화의 더 강한 형태가 있다. 여기 정체성은 규범적이다.
The purpose of education is, however, not confined to qualification. Education also has an important role to play in the domain of socialization. Socialization is about providing students with an orientation in particular fields or domains including vocational and professional domains. It is about initiating students into the ways of being and doing, the norms and values of particular social, cultural, practical, or professional traditions. This is intended to give students a sense of direction in such traditions and practices and also contributes to developing a sense of identity by becoming part of particular traditions and practices. There are stronger forms of socialization where the ambition is to make sure that students follow the rules and regulations and adopt the particular norms and values of the practice or tradition. Here identities are prescriptive.
예를 들어, 일부 의학 전문가 그룹은 [특정한 행동 방식과 존재 방식]으로 알려져 있을 수 있다. 그러나 학생들에게 방향감각을 주되, 그러한 전통과 관행 안에서 그들 자신의 역할과 위치를 찾을 기회를 주는 것을 목적으로 하는 보다 ['개방적인' 형태의 사회화]도 존재한다.
Some medical specialist groups, for example, may be known for their specific ways of doing and being . There are, however, also more ‘open’ forms of socialization aimed at giving students a sense of direction, but giving them opportunities to find their own role and position within such traditions and practices.
자격요건과 사회화는 대체로 학생들에게 '하는' 행동이라고 주장할 수 있다. 이를 성공적으로 습득했는지 평가를 통해 학생들에게 지식, 기술, 이해 등을 가르치고 확인한다. 마찬가지로, 우리는 그들에게 특정한 관행을 행하고 있는 방법을 가르치고, 학생이 그것들을 성공적으로 받아들였는지 여부를 평가한다.
It could be argued that qualification and socialization are, to a large degree, done ‘to’ students. We teach students knowledge, skills, and understanding and check through assessment whether they have acquired this successfully. Similarly, we teach them the ways of doing and being of particular practices and assess whether they have adopted these successfully.
그러나 이것이 교육의 전부는 아니다. 우리는 우리 학생들이 지식, 기술, 가치관, 규범을 가진 물건으로 끝나는 것을 원하지 않는다. 우리는 항상 [그들이 그들 자신의 권리에 따라 주체로 끝나는 것]을 목표로 한다; 그들 자신의 생각을 결정하고, 그들 자신의 결론을 도출하고, 그들의 행동에 책임을 질 수 있는 개인으로서. 이것은 [주관화 영역]에서 포착된 것으로, 우리는 우리 학생들이 그들 자신의 행동의 주체가 될 수 있도록 격려하고 지원한다. 그러므로 주관화는 행위자성, 자율성, 책임과 같은 핵심 교육 이념과 관련이 있다.2
This, however, is not all there is to education. We do not want our students to end up as objects with knowledge, skills, values, and norms. We always aim for them to end up as subjects in their own right; as individuals who can make up their own mind, draw their own conclusions, and take responsibility for their actions. This is captured in the domain of subjectification where we encourage and support our students to become subjects of their own action. Subjectification thus has to do with key educational ideas such as agency, autonomy, and responsibility.2
[목적의 3개 영역]은 일반교육과 관련이 있을 뿐만 아니라, 의료교육을 포함한 전문교육의 목적에 관하여 더 높은 정확성을 갖추도록 돕는다. 따라서 '학습'에 대한 언급보다 훨씬 더 유용하고 정확한 담론을 제공한다. 학생들이 배우고 있는지 묻기보다는 그들의 교육이 세 가지 목적의 영역을 모두 다루고 있는지 물어 볼 필요가 있다.
three domains of purpose is not only relevant for general education, but also helps to get more precision visa-vis the purposes of professional education including medical education. It thus provides a much more helpful and precise discourse than the reference to ‘learning.’ Rather than asking whether students are learning, we need to ask whether their education addresses all three domains of purpose.
여기서 간단하지만 그럼에도 불구하고 도움이 되는 통찰력은 그러한 교육의 목적이 지식, 기술, 이해의 표현과 습득에만 국한되지 않는다는 것이다.
전문적 자격(유능한 의사가 되는 것) 외에도 전문 분야에서 오리엔테이션을 제공하고 성취하는 전문적 사회화가 필요하다. 의학의 전문적 사회화는 의료 전문가로서의 전문적 정체성(실제로 몇몇 사람들에 의해 의료 교육의 주요 목적이라고 설명되어 왔다)을 달성하는 것과 관계가 있다.23-26
또한, 의료 전문가들은 자격을 갖추고 사회화되어야만 하는 것이 아니라, 그들 자신의 행동의 주체가 되어야 한다. 즉, 어떤 상황에서 어떤 지식, 기술, 이해력을 활용해야 하는지 판단할 수 있어야 하며, 언제 규칙을 고수해야 하는지, 언제 규칙을 따질 것인지, 특정 상황이 이를 요구할 경우 이를 굽히거나 때로는 무시하는 경우도 있다.
The simple but nonetheless helpful insight here is that the purpose of such education is not confined to the presentation and acquisition of knowledge, skills, and understanding.
In addition to professional qualification (becoming a competent doctor), there is also a need for professional socialization: providing and achieving orientation in a professional field. Professional socialization in medicine has to do with achieving a professional identity as a medical professional (which actually has been described by some as the main purpose of medical education).23–26
Also, medical professionals do not just need to be qualified and socialized; they also need to become a subject of their own actions. That is, they need to be able to judge which knowledge, skills, and understandings need to be utilized in which situation and also when they should stick to the rules and when to question the rules or bend or sometimes even ignore them if a particular situation calls for this.
전문직업적 주체화에 초점을 맞추는 의료 교육의 필요성이 있다.
the need for medical education to focus on professional subjectification.
우리는 이제 의학 교육이 전문적인 자격, 전문적인 사회화, 그리고 전문적인 주제화를 목표로 할 필요가 있다고 말할 수 있다. 그것은 또한 이것들이 분리된 칸으로 남아있지 않고 실제로 전문가들에 대한 지식, 행동, 그리고 존재에 통합되도록 할 필요가 있다.
we can now say that medical education needs to aim for professional qualification, professional socialization, and professional subjectification. It also needs to make sure that these do not remain separate compartments but actually become integrated in the knowing, doing, and being of professionals.
그런 다음 이는 교육 과정에서 학생들이 접하고 함께 작업해야 하는 내용과 경험인 [커리큘럼 개발을 위한 프레임워크]를 제시한다. 여기에는 학생들이 '마주쳐야만 하는' 다양한 경험이 포함되어 있다 – 예를 들어, 치료의 한계, 최초 예상치 못한 환자의 사망, 높은 위험의 치료 결정의 모호성 또는 불확실성, 최초 안락사, 저항성(환자 또는 다른 의료인으로부터)을 접하는 것의 중요성을 생각할 수 있다. 독립적으로 만족스럽게 수행된 첫 상담 등
This then suggests a framework for the development of curricula – the content and experiences that students should encounter and work with during their education. This includes a range of experiences students should ‘meet’–one can think, for example, of the importance of encountering the limits of medical treatment, a first unexpected patient death, the ambiguity or uncertainty of a high stakes treatment decision, a first euthanasia, resistance (from patients or other medical professionals) to one’s medical decision, a first consultation carried out independently and satisfactorily, etc.
커리큘럼의 틀 외에도, 제안된 교육에 대한 견해는 의료 교사들이 전문적 자격, 사회화, 주체화를 촉진하기 위해 그들의 학생들과 참여하는 방법인 교육학의 발전을 위한 틀을 제시한다.
In addition to a framework for curricula, the proposed view on education also suggests a framework for the development of pedagogy – the ways in which medical teachers engage with their students in order to promote professional qualification, socialization, and subjectification.
교육은 어떻게 이루어지는가? 그리고 어떻게 하면 성공할 수 있을까?
How does education work? And how can we make it work?
교문 문제를 아직 해결하지 못하다 결국, 우리가 성취하고자 하는 것이 무엇인지에 대해 좀 더 정제된 이해를 갖게 되면, 우리는 세 영역 각각에 대해 어떤 교육 개입이 작용하는지 알아내는 데 연구 노력을 집중해야 한다고 주장할 수 있다. 이 결론은 일반적으로 '무엇이 효과가 있는가?'-질문은 사실 별로 의미가 없다는 것을 보여줄 정도로 도움이 된다. 그보다는 [특정한 교육전략이, 어떤 특정한 목적이나 목적의 영역에, 효과가 있는지]를 물어보는 것으로 시작할 필요가 있다.
not yet resolve the question of teaching. One could, after all, still argue that once we have a more refined understanding of what it is that we seek to achieve, we should focus our research efforts on finding out which teaching interventions work for each of the three domains. This conclusion is helpful to the extent that it shows that asking the general ‘what works?’-question is actually not very meaningful. Rather, we need to begin by asking for which particular purpose or domain of purpose a particular teaching strategy may work.
목적의 세 영역은 따로 존재하는 것이 아니라, 구체적인 교육 실천에 있어서 항상 세 영역 모두 존재한다.
the three domains of purpose do not exist separately but are always all three at play in the concrete practice of education.
동기부여 면담을 가르치는 것은 그 기술을 습득하는 것(자격)만이 아니다. 그것은 또한 해당 직군에서 그 기술의 중요성에 대해 소통하고(사회화) 동시에 학생의 행위자성에 영향을 미친다: 기술을 숙달함으로써 행동을 바꿀 수는 있는데, 이것은 언제 이 기술을 활용하는 것이 적절할 지와 그렇지 않을 때(주체화)에 대한 질문을 하게 만든다.
Teaching motivational interviewing is not just about acquiring that skill (qualification). It also communicates something about the importance of the skill in the profession (socialization) and simultaneously has an impact on the agency of the student: by mastering a skill one is able to act differently, which raises the question when it is appropriate to utilize this skill and when not (subjectification).
세 영역 사이에 시너지가 있을 수 있는 반면, 긴장감과 심지어 갈등도 있을 수 있다. 예를 들어, '시험에 대한 가르침'은 학생들이 책임감 있는 실무자가 되도록 지원하는 방법으로는 거의 도움이 되지 않고(주체화), 실제로 중요한 것은 시험에 합격하는 것(사회화)이라는 메시지를 전달하는 방법이 됨을 생각해 보라.
Whereas there can be synergy between the three domains, there can also be tensions and even conflicts. Think for example how ‘teaching to the test’ does very little in supporting students becoming responsible practitioners (subjectification) and also sends out the message that what really matters is passing the test (socialization).
그래서 우리의 교육 전략과 보다 넓은 교육적 배치 중 [어느 것이 '효과가 있는가work' 하는 문제는 사실 그것보다 훨씬 더 복잡]하다. – '효과가 있는 것'에 대한 질문이 세 가지 질문이기 때문만이 아니라, 목적의 한 영역과 관련하여 작용하는 것이 실제로 다르게 작용하거나 목적의 다른 영역에서는 전혀 작용하지 않을 수도 있기 때문이다.
So the question which of our teaching strategies or wider educational arrangements ‘work’ is actually much more complicated than that – not just because the question of ‘working’ is a threefold question, but also because what may work in relation to one domain of purpose may actually work differently, or may not work at all in another domain of purpose.
'무엇이 효과가 있는가'에 대한 증거를 만들어내려고 하는 많은 교육적 연구는 학생들에게 영향을 미치는 요소들의 측면에서 그 야망을 충족시킨다. [가르침이란 특정한 효과를 내는 개입]이라는 가정 하에 종종 메디컬 모델을 참조한다. 의학교육을 포함한 교육에서의 중요한 문제는 이러한 이해가 교육의 역동성을 포착하기에 적합한가 하는 것이다.
Much educational research that seeks to generate evidence about ‘what works’ couches its ambitions in terms of factors that impact on students. It is here that reference is often made to the medical model on the assumption that teaching is an intervention that produces particular effects. The important question for education, including medical education, is whether this understanding is adequate for capturing the dynamics of education.
이상적인 상황에서, 가르침이 원인이고 학습(또는 우리가 선호하는 언어로: 학생들의 전문성 형성)이 효과라고 가정할 수 있는가?
그리고 우리가 아직 교육적 '투입'(교육)과 교육적 '성과'(학습; 형성) 사이의 확실하고 확고한 연결고리를 확립하지 못했다는 사실이 단지 시간과 돈의 문제일까?
즉, 더 많은 연구에 대한 투자는 결국 우리에게 어떤 개입이 어떤 영향을 미칠지 말해줄 증거들로 이어질 것인가?
Can it be assumed that under ideal circumstances teaching is a cause and learning – or with the language we prefer: students’ professional formation27 – is the effect?
And is the fact that we have not yet established certain and secure connections between educational ‘input’ (teaching) and educational ‘outcome’ (learning; formation), just a matter of time and money?
That is, would investment in more research eventually lead us to the evidence that will tell us once and for all which interventions will produce which effects?
이것은 가능성이 낮다고 우리는 생각한다. 그 이유는 이러한 사고방식으로 가정되는 강한 인과관계가 실제로 [매우 한정적인 상황에서만 발생]하기 때문이다. 즉, 단방향으로 작동하는 폐쇄적이고 결정론적인 시스템을 말한다. 이 패러다임의 예시는 각 톱니바퀴가 다음 톱니바퀴를 움직이게 하는 시계장치를 들 수 있다. 만약 우리가 시계 장치의 초기 상황을 알고 톱니바퀴 사이의 모든 연결에 대한 완벽한 지식을 가지고 있다면, 우리는 기계가 어떻게 작동할지 100% 확신으로 예측할 수 있고, 영원할 때까지 계속 작동할 것이다. 그러나 이는 교육의 현실이 아니다.
This, we think, is unlikely. The reason for that lies in the fact that the strong causality that is assumed in this way of thinking actually only occurs in very specific situations: in closed, deterministic systems that operate in unidirectional ways. The paradigm case for this is the clockwork where each cogwheel puts the next cogwheel into motion so that, if we know the initial situation of the clockwork and have perfect knowledge of all connections between the cogwheels, we can predict with one hundred percent certainty how the machine will operate, and will continue to operate until eternity. This, however, is not the reality of education.28
여기서 가장 먼저 명심해야 할 것은 교육은 비교적 [개방된 시스템]이라는 점이다. 교육의 '내부'에서 일어나는 일은 교육의 '외부'에서 일어나는 일의 영향을 크게 받는다. 학생들은 교실 밖에서 삶과 경험을 가지고 있고 따라서 그들이 받는 가르침 이상의 영향을 받는다. 교실에서 일어나는 일은 [의도적이고 의도하지 않은 영향력이 드나드는 광범위한 사회적 맥락]의 일부분이다.
둘째로, 교육은 기계론적 '밀고 당기는'의 결정론적 시스템이 아니라, 소통과 해석의 수단으로 작용하는 기호학적 시스템이다. 간단히 말해서, 학생들은 교사들이 그들에게 말하거나 그들에게 제시하는 것을 이해할 필요가 있고 이것은 해석의 문제이지, 자극과 예측 가능한 대응의 문제가 아니다.
셋째, 시계와 같은 단방향성과는 달리, 교육시스템은 재귀적이기 때문에 제도상의 '구성요소(교사와 학생)'가 스스로 생각하고 스스로 마음을 정하며, 이를 바탕으로 여러 가지 다른 방식으로 행동하기로 결정할 수 있다. 시스템이 어떻게 진화하느냐가, 다시 말해서 시스템으로 다시 공급되는 것이다.
The first thing to bear in mind here is that education is a relatively open system. What happens ‘inside’ education is significantly influenced by what happens ‘outside’ of it. Students have lives and experience outside of the classroom and are therefore influenced by much more than just the teaching they receive. What happens in the classroom is part of a wider social context with intended and unintended influences flowing in and out.
Secondly, education is not a deterministic system of mechanistic ‘push and pull,’ but a semiotic system, that is, a system that works by means of communication and interpretation. Put simply, students need to make sense of what teachers tell them or present to them and this is a matter of interpretation, not of stimulus-and-predictable-response.
Thirdly, unlike the unidirectionality of the clockwork, education systems are recursive, which means that the ‘elements’ in the system (teachers and students) can think for themselves, make up their own minds, and, based on this, can decide to act in a number of different ways. How the system evolves does, in other words, feed back into the system.
교육이 개방적이고, 기호적이며, 재귀적인 시스템이라는 것을 인정하면, 교사들이 하는 일과 학생들이 그것을 통해 얻는 것 사이의 어떤 연관성이 성립될 수 있는지, 확보될 수 있는지에 대해 교육에서 어떤 것이든 전혀 통할 수 있는지 의아하게 생각할 수 있다. 통제할 수 없는 요소들이 많고 복잡하고 개방적인 역학관계가 너무 많기 때문에, 교육은 거의 불가능해 보인다.
Acknowledging that education is an open, semiotic, and recursive system may make one wonder whether anything can work at all in education in that whether any connection between what teachers do and what students take from it can be established or secured. With so many uncontrollable factors, and so many complex, open dynamics, it seems as if education is almost impossible.
하지만 우리가 외부의 영향을 완전히 차단하고, 우리 학생들에게 교과과정을 해석할 수 있는 올바른 방법은 오직 하나뿐이고, 생각하고, 행동하고, 있을 수 있는 올바른 방법 하나라고 말함으로써 이 모든 것에 너무 많은 노력을 한다면, 우리는 갑자기 [교육을 세뇌로 바꾼 것]이다. 이것이 [자격요건]과 강한 [사회화]의 관점에서 '효과적'일지는 몰라도, 세뇌는 주체화의 영역, 즉 우리 학생들이 궁극적으로 스스로 생각하고 행동하며 이에 대한 책임을 질 수 있도록 하기 위한 우리의 야망과 정반대되는 것이다. 우리가 교육 활동에서 구조와 집중을 만드는 것은 중요하지만, 학생들을 통제 대상으로 만들지 않는 것도 중요하다.
Yet if we go too far in all this by closing off the influences from the outside completely, telling our students that there is only one correct way to interpret the curriculum, and only one right way to think, act, and be, we have suddenly turned education into indoctrination. While this may be ‘effective’ from the perspective of qualification and strong socialization, indoctrination is the very opposite of what we should achieve visa-vis the domain of subjectification, that is, our ambition to make sure that our students can ultimately think and act for themselves and take responsibility for this. While it is of crucial importance that we generate structure and focus in our educational activities, it is also important that we never turn our students into objects of our control.
흥미롭게도, 개방성, 해석성, 재귀성을 줄이는 것이 바로 교육자들이 하는 일이다.
우리는 학생들의 관심을 집중시키기 위해 학생들을 교실이나 지정된 공부 공간에 우선적으로 배치함으로써 외부로부터의 간섭인 개방성을 줄인다.
커리큘럼은 학생들이 무엇을 중점적으로 해야 하는지, 무엇을 해야 하는지 구체적으로 명시해 개방성을 떨어뜨리는 한 단계 더 나아가는 과정이다.
마찬가지로, 해석도 어떤 의미에서 경계가 없지만, 평가의 전체 요점은 우리 학생들이 때때로 해석의 범위를 제한하여 그들이 그것을 절대적으로 올바르게 이해하도록 하고, 때로는 그것들이 의미 있는 것의 경계 내에 있도록 하는 것이다.
셋째로, 교육자로서 우리는 또한 우리 교실에서 일어나고 있는 재귀성에 영향을 미치려고 노력하는데, 기본적으로 우리 학생들이 특정한 방식으로 생각할 수 있도록 돕는다. 의학 교육에서, 우리는 우리 학생들이 의학 전문가로서 생각하도록 격려한다. 예를 들어, 우리는 이것을 어떤 방향으로든 내버려두기 보다는 특정한 맥락(의료 실무) 안에다 '프레임'하려고 한다.
Interestingly, reducing openness, interpretation, and recursivity is exactly what educators do.
We reduce openness, the interference from the outside, by putting students in classrooms or designated study spaces first and foremost in order to focus the attention of our students.
The curriculum is a further step in reducing openness by specifying what students should focus on and what they should be doing.
Similarly, while interpretation has, in a sense, no boundaries, the whole point of assessment is to limit the range of interpretations our students generate sometimes to make sure that they get it absolutely right, and sometimes to make sure that they remain within the boundaries of what is meaningful.
Thirdly, as educators we also try to influence the recursivity that is happening in our classrooms, basically by helping our students to think in particular ways. In medical education, we encourage our students to think as medical professionals,30 for example, we try to ‘frame’ this within a particular context (medical practice) rather than let it go in any direction.
가르침과 학습 사이에 인과 관계가 있다는 잘못된 가정 그런 연줄은 단순히 교육과 같은 사회제도에는 존재하지 않는다.
the mistaken assumption that there is a causal connection between teaching and learning. Such connections simply do not exist in social systems such as education.
우리의 교육적 노력은 모두 우리가 학생들과 함께 성취하고자 하는 것에 비추어 [더 많은 방향과 구조]를 모든 과정에 제공하는데 기여한다.
our educational endeavors all contribute to giving the whole process more direction and structure in light of what we seek to achieve with our students.
그러나 우리의 요점은, 교육을 개방적이고, 기호적이며, 재귀적인 시스템으로 보는 이러한 방식으로 교육의 역동성을 이해하는 것이 실제로 상당히 도움이 된다는 것이다. 왜냐하면 그것은 그러한 시스템을 보다 예측 가능한 방식으로 작동시키기 위해 무엇을 해야 하는지를 훨씬 정확하게 나타낼 수 있기 때문이다. 여기의 모든 것은 시스템의 '자유도'를 줄이는 데 있다:
시스템의 개방성(외부로부터의 영향)을 줄이는 것,
시스템의 기호성(해석의 기회)을 줄이는 것,
시스템의 재귀성(즉, 시스템이 자신에게 다시 공급되는 방식)을 줄이는 것
Yet the point we wish to make is that understanding the dynamics of education in this way – that is, seeing education as an open, semiotic, and recursive system – is actually quite helpful because it allows to indicate with much precision what needs to be done to make such a system work in a more predictable way. Everything here comes to reducing the ‘degrees of freedom’ of the system:
reducing the openness of the system (the influences from outside),
reducing the semiotics of the system (the opportunities for interpretation), and
reducing the recursivity of the system (that is, the way in which the system feeds back onto itself).
의료 교육 및 의료 교육 연구를 위한 교훈
Lessons for medical education and medical education research
위의 논의에서 의학교육 실천에 대한 한 가지 중요한 시사점은 [의학교육이 무엇을 위한 것인지에 대해 이야기할 때 훨씬 더 정제된 언어를 제공한다는 것]이다.
One important implication for medical education practice from the above discussion is that it provides a much more refined language for talking about what medical education is for
커리큘럼 설계의 경우 이 접근방식은 의료 교육 커리큘럼이 어떻게 보여야 하는지에 대한 유용한 질문을 제기한다. 의대생들의 전문자격, 전문사회화, 전문주제화를 위해 어떤 커리큘럼 콘텐츠가 필요한가? 어떻게 하면 이 콘텐츠가 통합적으로 세 가지 도메인에 모두 기여할 수 있도록 교육 활동을 설계할 수 있을까?
For curriculum design this approach raises helpful questions about what a medical education curriculum should look like. What kind of curricular content do we need to work toward the professional qualification, the professional socialization, and the professional subjectification of medical students? How can we design educational activities such that this content contributes to all three domains in an integrated fashion?
위의 논의는 단순히 학생들이 3개 영역과 관련하여 숙달해야 하는 특정 콘텐츠에 대한 문제뿐만 아니라, 의학교육 중 어떤 종류의 경험을 접해야 하는지에 대한 문제도 제기한다.
어떤 만남encounter이 전문적인 자격, 사회화, 주체화 측면에서 교육의 기회를 창출할 것인가? 커리큘럼 재설계는 또한 학생들의 진도를 세 가지 영역 각각에 비추어 확립하기 위한 다른 형태의 평가도 제공될 것이다.
사회화, 주체화뿐만 아니라 자격의 측면에서 발전을 다루는 방식으로 평가를 설계할 수 있는 방법은 무엇인가?
통합 평가에서 세 가지를 모두 다룰 수 있는가, 아니면 각각에 대해 별도의 평가가 필요한가?
The above discussion not just raises questions about particular content students should master in relation to the three domains, but also about what kind of experiences they should encounter during their medical education.
Which encounters would create educational opportunities in terms of professional qualification, socialization, and subjectification? With curricular redesign would also come other forms of assessment to establish students’ progress in light of each of the three domains.
How can we design assessment in ways that address development in terms of qualification as well as socialization and subjectification?
Can we address all three in an integrated assessment or do we need separate assessments for each?
게다가, 의대 교육에 대한 학생들의 평가는 세 가지 목적 영역 모두에 더 넓은 초점을 맞출 필요가 있을 것이다. 우리는 학생들에게 그들이 성취했을지도 모르는 지식과 기술, 그리고 이해에 대해 질문할 것이 아니라, 교육이 그들의 직업적 정체성 형성에 기여한 방법과 사려 깊은 판단과 의사 결정 능력에 대해서도 물어볼 필요가 있을 것이다.
In addition, student evaluations of medical education would require a broader focus on all three domains of purpose. We would need to not just ask students about the knowledge, skills, and understanding they may have achieved, but also about ways in which the education has contributed to their professional identity formation31 and their ability for thoughtful judgment and decision making.
이 논의의 두 번째 함의는 의학교육 실무에 종사하는 교사들이 특정 교수 개입이나 방법의 효과성에 대한 연구 결과를 신중하게 고려하는 것이다. 기존 연구는 자격, 사회화, 주체화라는 세 가지 영역 각각과 관련하여 어떤 말을 해야 하는가? 또한 특정 접근방식이 한 도메인이나 도메인의 측면에 대해 작동할 수 있다는 징후가 자동적으로 다른 도메인이나 그 측면에도 적용될 수 있다는 것을 의미하지 않으며 다른 도메인(의 측면들)에 대해서도 중립적이라는 것조차 의미하지 않는다.
A second implication of this discussion is for teachers in medical education practice to carefully consider any research findings about the supposed effectiveness of particular teaching interventions or methods. What does existing research have to say in relation to each of the three domains of qualification, socialization, and subjectification? Also, any indication that a particular approach may work for one domain or aspect of a domain does not automatically mean that it will also work for the other domains or aspects of them and also not that it will be neutral with respect to (aspects of) the other domains.
또한 한 환경(즉, 한 상황의 특정한 조건 하)에서 효과가 있었다고 알려진 것은 다른 조건 하에서 다른 환경에서 전혀 아무 것도 하지 않을 수 있다는 것을 잊지 않는 것이 중요하다. 교사는 현지의 우발적인 상황을 다루면서 연구 증거를 상황과 맥락에 따라 유연하게 번역하고 적용해야 할 제안으로 접근하지 않을 수 없지만, 그 이상도 이하도 아니다
it is crucial also not to forget that what allegedly has worked in one setting – which also means: under the particular conditions of that setting – may not do anything at all in a different setting, under different conditions.1,3,13,32 Dealing with the local contingencies of teaching, teachers cannot but approach research evidence as suggestions to be translated and applied flexibly according to circumstance and context, but as nothing more than that.5
의학교육 연구의 경우, 하나의 영역에만 초점을 맞추는, 그리고 세 가지 영역의 상호작용을 탐구해야 함을 '잊어버리는' 1차원적 연구를 넘을 필요가 있다는 것이 주요 교훈이다. 종종, 더 심각한 것은, '학습'이 무엇이어야 하는지에 관해서 특정하지도 않은 채로, '학습'에 관한 '영향'을 조사하는 것이다.
For medical education research, the main lesson is the need to move beyond one-dimensional research that either focus on just one domain and ‘forget’ to explore the interactions between the three or, even worse, that continue to investigate the ‘impact’ on ‘learning’ without specifying about and for what the learning is supposed to be.
게다가 위에서 설명한 아이디어들은 의료 교육 연구에 다른 초점을 두고 있음을 시사한다. '효과적인 요인'를 식별하기 위한 상관관계를 찾는 것이 아니라, 교육적 '생태학'의 구축에 대한 철저하고 사려 깊은 탐구를 말한다. 즉, 교육적 실천의 개방성, 반증, 재귀성 등을 정리함arrange으로써 어떻게 의미 있는 교육이 정착될 수 있는가에 대한 연구이다.
Moreover, the ideas outlined above suggest a different focus for medical education research – not a search for correlations in order to identify ‘effective factors,’ but rather a thorough and thoughtful exploration of the construction of educational ‘ecologies,’ that is, of how, through arranging the openness, semiosis, and recursivity of educational practices, meaningful education can be established.
그러한 연구는 우리에게 새로운 (또는 그 문제에 있어서 기성) 교육행위가 학생들의 성적에 영향을 미치는지 아니면 전문적 기준을 더 빨리 또는 효율적으로 충족시키는 데 도움이 될지를 알려줄 것이다(자격화). 또한 이러한 교육이 학생들이 적합한 유형의 전문가가 되고, 하고, 느끼는지(사회화), 의미 있고 책임감 있는 방식으로 행동하고 판단하는 능력에 도움이 되는지(주체화)에 있어 중요한 대한 통찰력을 줄 것이다.
Such research would not only tell us whether a new (or, for that matter, an established) practice would influence students’ grades or help them meet professional standards more quickly or efficiently (qualification). It would also give us insight into the ways that this practice helps students be, do, and feel like professionals of their sort (socialization) and is significant for their ability to act and judge in meaningful and responsible ways (subjectification).
결론 Conclusion
여기서 우리는 교육을 [폐쇄적이고 인과적인 시스템으로 이해하는 것]이 아니라 [소통과 해석 그리고 교사와 학생들의 사려 깊은 행동을 통해 작동하는 열린 시스템으로 이해하는 것]이 훨씬 더 타당하다고 제안했다. 그러한 관점에서, 교육, 커리큘럼, 평가, 평가는 더 이상 '결과'를 생산하기 위한 '요인'으로 등장하는 것이 아니라, 교육 과정을 특정한 목적을 향해 이끌기 위한 교육자들의 실천의 의미 있는 측면이 된다.
Here we have suggested that it makes much more sense not to understand education as a closed, causal system but as an open system that works through communication and interpretation and the thoughtful actions of teachers and students. In such a view, teaching, curriculum, assessment, and evaluations no longer appear as ‘factors’ to produce ‘outcomes’ but become meaningful aspects of the practice of educators to steer the educational process toward particular purposes
항상 지나친 조종은 의미 있는 교육을 문제적인 형태의 세뇌로 감소시킬 위험이 있다는 것을 명심한다.
always bearing in mind that too much steering runs the risk of reducing meaningful education to problematic forms of indoctrination.
.Aug-Sep 2020;32(4):449-456.
doi: 10.1080/10401334.2020.1798240.Epub 2020 Aug 15.
Beyond the Medical Model: Thinking Differently about Medical Education and Medical Education Research
Issue:In medical education, teaching is currently viewed as an intervention that causes learning. The task of medical education research is seen as establishing which educational interventions produce the desired learning outcomes. This 'medical model' of education does not do justice to the dynamics of education as an open, semiotic, recursive system rather than a closed, causal system.Evidence:Empirical 'evidence' of 'what works' - that is, what is supposed to affect 'learning' - has become the norm for medical educational improvements, where generalized summary outcomes of research are often presented as must-follow guidelines for myriad future educational situations. Such investigations of educational processes tend to lack an explicit engagement with the purposes of medical education, which we suggest to understand in terms of qualification (the acquisition of knowledge, skills, and understanding), socialization (becoming a member of the professional group) and subjectification (becoming a thoughtful, independent, responsible professional). In addition, investigations of educational processes tend to rely on causal assumptions that are inadequate for capturing the dynamics of educational communication and interaction. Although we see an increasing acknowledgement of the context-dependency of teaching practices toward educational aims, the currently prevailing view in medical education and educational research limits understanding of what is actually going on when educators teach and students participate in medical education - a situation which seriously hinders advancements in the field.Implications:In this paper, we hope to inform discussion about the practice of medical education by proposing to view medical education in terms of three domains of purpose (professional qualification, professional socialization, and professional subjectification) and with full acknowledgement of the dynamics of educational interaction and communication. Such a view implies that curriculum design, pedagogy, assessment, and evaluation should be reoriented to include and integrate all three purposes in educational practice. It also means that medical education research findings cannot be applied in just any teaching context without carefully considering the value of the suggested courses of actions toward the particular educational aims and teaching setting. In addition, medical educational research would need to investigate all three purposes and recognize the openness, semiotic nature, and recursivity of education in offering implications for teaching practice.
Keywords:Medical education; education as open system; language of learning; medical education research; medical model.
소크라테스는 Pimp가 아니었다: 의학교육에서 질문하기에 대한 패러다임 변화(Acad Med, 2015)
Socrates Was Not a Pimp: Changing the Paradigm of Questioning in Medical Education
Amanda Kost, MD, and Frederick M. Chen, MD, MPH
학습자에게 질문하는 것은 매일 임상 환경에서 일어나며 의료 교육에서 중심적이고 다면적인 역할을 한다. [질문하기]라는 개념은 단순한 실천처럼 보이지만, 많은 의학 교육자들은 공식적인 교육학 훈련이 부족하여 그들이 배운 방식대로 가르친다. 이러한 세대간의 교육법의 전달은 'pimping'이라는 속어로 알려진 질문의 방식을 초래했다.
Questioning learners occurs daily in the clinical environment and plays a central, multifaceted role in medical education. Although the concept of asking questions seems a simple practice, many medical educators lack formal pedagogical training and thus teach the way they were taught. This generational transfer of instruction has resulted in a method of questioning known by the slang term “pimping.”
교육학적 관행으로서의 핌핑
Pimping as a Pedagogical Practice
문헌의 뾰루지
Pimping in the literature
브란카티1은 1989년 기고문에서 "주치의가 인턴이나 학생에게 매우 어려운 질문을 던질 때마다"라고 정의하며 처음 Pimping을 묘사했다. 그는 "질문이 연속해서 빨리 오고 본질적으로 대답할 수 없는 것이어야 한다"고 제안한다. 20년 후, Detsky2는 Pimping을 다시 연구하여 그 속성에 대해 자세히 설명했는데, 그것은 "각급 교육생들이 교직원들과 함께 모여 환자를 검토하는 설정"과 "동료들 앞에서 개별 학생들에 대한 직접 질문"이다. 비록 이 작품들은 가벼운 편이지만, 둘 다 Pimping의 기본 목적을 강조한다: 팀의 권력 서열과 보다 구체적으로 말하면, 주치의가 제일 윗자리에 위치하기 위함이다.
Brancati1 first described pimping in a 1989 article, defining it as “whenever an attending poses a series of very difficult questions to an intern or a student.” He suggests that questions “should come in rapid succession and be essentially unanswerable.” Twenty years later, Detsky2 revisited pimping and elaborated on its attributes: that it “occurs in settings … in which trainees at various levels convene with a faculty member to review patients” and “involve(s) direct questioning of individual students in the presence of their peers.” Although these pieces are lighthearted, they both highlight the underlying purpose of pimping: to reinforce the power hierarchy of the team and, more specifically, the attending physician’s place at the top.
또한 벡3는 학생들이 Pimping으로부터 자신을 보호할 수 있는 방법을 묘사하고 있는데, 이는 피해야 할 경험임을 보여준다. 한 의대생은 자신의 불쾌한 Pimping 경험을 구체적으로 묘사한 시를 발표했는데, 그의 감정을 묘사하기 위해 "모욕indignity"을, 스승이 그에 대해 가지고 있는 인식을 묘사하기 위해 "쓸데없음worthless"이라는 단어를 사용했다.4 이 모든 작품들은 모두 Pimping에서 비롯되는 부정적인 학습 환경을 강조한다.
Further, Beck3 describes ways students can protect themselves against pimping, indicating that it is an experience to avoid. One medical student published a poem specifically describing his unpleasant experiences with pimping, using the words “indignity” to describe his emotions and “worthless” to describe the perception his teacher held of him.4 Collectively, these pieces all highlight the negative learning environment that results from the practice of pimping.
2005년에 Wear와 동료5는 Pimping에 대한 학생들의 견해를 조사했다. 학생들은 Pimping을 '묻지마 질문'으로 규정하고 "참석자와 레지던트가 학생들을 괴롭히지만 주치의도 레지던트를 괴롭힌다"는 계층성을 구체적으로 강조했다. 핌핑은 수술실, 회진 중인 환자들 사이의 병원 복도, 침대 머리맡에서 일어나는 보편적인 경험이었다. 학생들은 Pimping에 대한 교사들의 동기부여가 부족한 부분을 교정하기 위한 그들의 지식 기반을 평가하고 이전에 배운 지식을 임상 상황에 어떻게 적용하는지를 결정하는 것을 포함한다고 믿었다.
In 2005, Wear and colleagues5 examined student views on pimping. Students defined pimping as “asking questions” and specifically emphasized its hierarchical nature: “attendings and residents pimp students but attendings also pimp residents.” Pimping was a universal experience that occurred in operating rooms, in the hallways of hospitals between patients on rounds, or at the bedside. Students believed teacher motivation for pimping included assessing their knowledge base to remediate gaps and determining how students apply previously learned knowledge to the clinical situation.
학생들은 Pimping을 "좋은" 범주와 "악성적인" 범주로 나누었다.
"좋은 Pimping" 행동에는 학습 과정을 발전시키거나 향상시키는 것에 대한 질문이 포함되었고 또한 학생들이 학습에 대해 전향적으로 행동하도록 격려했다. 예를 들어, 학생들은 수술 전날 밤에 관련 해부학에 대해 읽곤 했다. 왜냐하면 그들은 다음날 그것에 대해 질문을 받을 것을 알았기 때문이다.
"악성 Pimping"은 학습자에게 모욕감을 주기 위해 고안된 자주 사용되는 기술이다. 이러한 기법에는 "내가 무슨 생각을 하고 있는지 파악"하는 질문이나 질문자만이 답을 알 수 있을 정도로 모호한 시험 지식이 포함되어 있었다.
Students divided pimping into “good” and “malignant” categories.
“Good pimping” actions included questioning that advanced or enhanced the learning process and also encouraged students to be proactive about their learning. For example, students would read about relevant anatomy the night before a surgery because they knew they would be asked about it the next day.
“Malignant pimping” frequently employed techniques designed to humiliate the learner. These techniques included “guess what I’m thinking” questions or testing knowledge so obscure that only the questioner would know the answer.
이 연구의 모든 학생들은 굴욕감을 어떤 종류의 Pimping의 결과라고 밝혔다. 좋은 Pimping조차도 답을 모르는 대중적인 당혹감 때문에 수치심의 요소를 가지고 있었다. 이러한 이유로, 그들은 또한 그 경험을 그들의 학습에 중요한 동기 부여 요소로 보았다. 게다가, 거의 모든 학생들이 나중에 주치의가 되면 "착한 Pimp"가 될 계획임을 시사했다. 학생들은 pimping이 "배움, 논리적 사고, 자신의 결정을 옹호하고, 빠른 회상, 자기 평가, 그리고 또래들과 잘 소통하는" 데 유용하다고 믿었다5
All students in this study identified humiliation as an outcome of any type of pimping—even good pimping had a component of shame because of the public embarrassment of not knowing the answer. For this reason, they also viewed the experience as a significant motivating factor for their studies. Furthermore, almost all of the students indicated that they planned to be “good pimpers” when they were attending physicians. They believed it was useful to “promote learning, logical thinking, defending one’s decisions, quick recall, self-assessment, and communicating well with one’s peers.”5
다른 방사선학 교수 양식에 대한 학생들의 인식을 조사한 또 다른 연구에서 참가자들은 [주치의가 그룹 내에서 한 사람을 선별하여 그 사람에게 반복적으로 질문을 하거나, 그 사람이 답을 알지 못하는 경우 다른 사람에게 질문을 던지는 것]으로 Pimping을 묘사했다. 93%의 학생들이 집단에게 제기되는 질문에 대한 자발적인 응답을 포함하는 교육 방식을 원했지만, 보다 적은 수(72%)만이 효과적인 학습 방법이라고 생각했다.5 대신에 학생들은 [질문에 자발적으로 답하고자 하는 학생들에 의존하는 작은 그룹에서의 대화형 소크라테스 대화]를 선호했다.6
In another study that examined student perception of different radiology teaching modalities, participants described pimping as when attending physicians singled out one person in a group and either repeatedly asked that person questions or asked a question and moved on to someone else if the person did not know the answer.5 Although 93% of students desired a teaching modality that involved voluntary responses to questions posed to a group, fewer (72%) felt pimping was an effective way to learn.5 Instead, students preferred an interactive Socratic dialogue in a small group that relies on students volunteering to answer questions.6
Pimping에는 기교로서나 용어로나 여러 가지 문제가 있다. 기존의 문헌은 현재의 Pimping이 학습자들에게 대체로 부정적인 경험이며 부정적인 학습 환경에 기여한다고 시사한다; 한 리뷰는 Pimping을 "협박에 의한 가르침"으로 정의했다.7 다른 교육자는 Pimping에 관한 브란카티의 기사에 대한 응답에서 주로 네 가지 부정적인 결과를 요약했다:
의료진의 "위계서열" 확립
"정직하고 자발적인 지적 질문이나 추구"를 억제
적대적 분위기 조성
"(의학 교육이 여태 비판을 받아온) 비인간화"를 영속시킴.
There are several problems with pimping, both as a technique and as a term. The existing literature suggests that the current practice of pimping is largely a negative experience for learners and contributes to a negative learning environment; one review defined pimping as “teaching by intimidation.”7 In a response to Brancati’s article on pimping, another educator outlined four mainly negative results of pimping:
establishing a medical staff “pecking order”;
suppressing “any honest and spontaneous intellectual question or pursuit”;
creating a hostile atmosphere; and
perpetuating “the dehumanization for which medical education has been criticized.”8
Pimping의 의미
Implications of pimping
핌핑은 학습 이론, 특히 성인 학습 실습을 알리는 이론의 맥락에서 검토할 때, 학습 환경과 학습자 모두에게 부정적인 영향을 많이 미친다. 학습자, 지식, 평가, 공동체 등 4가지 학습 측면에 대한 Pimping을 분석하면 의료 교육에서 자신이 수행하는 역할이 명확해진다.9 Pimping 문제는 종종 정확하거나 부정확한 해답을 가지고 사실에 근거한 지식을 요구한다는 점이다. 학습자가 많은 가능성 앞에서 어떻게 진단에 도달했는지와 같은 과정에 대한 질문에도 불구하고, 일반적으로 "올바른" 답변이 존재한다고 이해된다. 이 때 "올바른" 답변은 [특정 임상 시나리오에 대한 몇 가지 유효한 접근법이 있을 수 있음에도 불구하고] 질문자의 마음 속에 있는 답변이다. 이런 맥락에서, Pimping은 비판적 사고력의 개발을 서포트하지 않는다. 수치심이나 수치심을 유발하려는 근본적인 목적으로, Pimping은 학습자의 필요를 고려하지 않고 공동체를 형성하는 데 도움을 주지 않는다.
Pimping has many negative implications for both the learning environment and the learners when examined in the context of learning theory, especially those that inform adult learning practices. Analyzing pimping with respect to four aspects of learning—learner, knowledge, assessment, and community—clarifies the role that it plays in medical education.9 Pimping questions often ask for fact-based knowledge with answers that are either correct or incorrect. Even with questions about process, such as how a learner arrived at a diagnosis in the face of many possibilities, it is typically understood that a “right” answer exists—the one the questioner would choose despite the fact that there may be several valid approaches to a particular clinical scenario. In this context, pimping does not support the development of critical thinking skills. With its underlying purpose of inducing shame or humiliation, pimping neither considers the learners’ needs nor aids in community building.
학습자의 [적극적 학습자 비하]와 [적대적 학습 경험의 창출]은 성공적인 성인 학습에 세 가지 핵심 요소인 [상호 존중, 안전하고 지지적인 교육 환경, 그리고 위협적이지 않은 방법으로 학습자에게 도전하는 것]을 권장하는 여러 성인 학습 이론과 직접적으로 상충된다.10,11 성인 학습자는 환경이 disrespectful하거나 자존감을 떨어뜨릴 경우, 효과적으로 문제를 해결하는 데 어려움을 겪는다.12,13
This active degradation of the learner and creation of a hostile learning experience is at direct odds with multiple adult learning theories, which recommend three key components to successful adult learning: mutual respect; a safe and supportive educational environment; and challenging learners in a nonthreatening way.10,11 Adult learners may have difficulty effectively solving problems if their environment is disrespectful or decreases their self-esteem.12,13
의료 교육자들은 또한 임상 학습 환경에서 [위치적 인식situated cognition]의 역할을 검토하기 시작하고 있다. 이 이론에 따르면, [지식은 그 사람과 그 또는 그녀의 환경 사이의 상호 작용에서 나온다]고 가정하는데, 사람과 환경 두 가지 다 동등한 중요성이 주어진다.14 따라서, Pimping으로 만들어진 환경과 같은 부정적인 환경은 사고와 학습을 방해할 수 있다.
Medical educators are also beginning to examine the role of situated cognition in clinical learning environments. This theory postulates that knowledge comes from the interaction between the person and his or her environment, both of which are given equal importance.14 Therefore, a negative environment, such as the one created by pimping, may impede thinking and learning.
교육기법으로서 Pimping의 큰 결함은 (그냥 질문을 하는 것이 아니라) 의학적 패권을 유지하기 위한 수단으로서 학습자에게 불편을 끼치려는 의도로 질문하는 것이라는 개념에 있다. 더욱이 웨어와 동료에 의해 기술된 바와 같이, 임상 환경에서 5명의 일부 학습자와 교사들은 질문을 교습 기법으로 사용하는 것과 관련된 모든 경험은 Pimping으로 표시되어야 한다고 나타낸다. 어떤 용어로 묘사하는지가 중요하다. 질문의 용도가 어떻든, 경멸적인 은어로 라벨을 붙이는 것은 부정적인 의미를 갖는다. Pimp라는 단어는 고객에게 매춘부를 구걸하는 남자를 묘사하기 위해 가장 흔하게 사용된다. 이 단어는 부정적인 감정적 반응을 불러일으킬 수도 있고, 우리는 또한 의학 교육에서의 경험을 묘사하기 위해 그러한 경멸적인 용어를 사용하는 것이 전문직업적이지 않다고 주장할 것이다.
The main flaw with pimping as a pedagogical technique rests on the notion that it is not merely questioning but that it is questioning with the intent to cause discomfort in the learner as a means of maintaining medical hegemony. Furthermore, as described by Wear and colleagues,5 some learners and teachers in the clinical environment indicate that all experiences involving the use of questions as a teaching technique should be labeled as pimping. Descriptive language is important, and labeling every use of questioning with a derogatory slang term has negative implications. The word pimp is most commonly used to describe a man who solicits clients for a prostitute. This word may evoke a negative affective response, and we would also argue that the use of such a derogatory term to describe an experience in medical education is unprofessional.
용어로서의 Pimping과 교수법의 수많은 문제에도 불구하고, 그것은 적어도 25년 동안 지속되어 왔다. 이는 다음 네 가지 이유로 나타난다.
그것은 학습자에게 (비록 부정적일지라도) 동기를 부여하고,
Socratic 교수법을 반영하는 것으로 여겨지며,
그것은 학습 환경의 권력 구조를 유지시켜주고,
이것이 궁극적으로 교육학적으로 유용하다고 믿는 의사들의 세대를 걸쳐서 전수된다.
Despite the numerous problems with pimping as a term and teaching technique, it has been perpetuated for at least 25 years. This appears to occur for four reasons:
It successfully although negatively motivates the learner,
it is thought to reflect Socratic teaching methods,
it maintains the power structure in the learning environment, and
its transfer occurs through generations of teaching physicians who ultimately believe it to be useful pedagogically.1,2,5
아마도 지금까지 아무도 질문의 관행을 개선하고 대체하는 방법을 제안하지 않았기 때문에 핌핑이 지속되었을 것이다.
Perhaps pimping has persisted because thus far no one has suggested ways to improve the practice of questioning and alternatives to the slang term of pimping.
우리는 이 용어는 "의학 교육의 권력 서열 유지 수단으로서 수치심이나 굴욕과 같은 불편함을 유발하려는 명백한 의도를 가진 학습자에게 질문하는 것"과 같이 부정적인 함축적 의미를 갖도록 정의되어야 한다고 주장한다. Pimping에 대한 부정적인 칭찬과 더 광범위하고 교육학적으로 도움이 되는 질문 기법을 명확하게 구분하는 것은 두 가지를 성취한다.
첫째, 그것은 임상 학습 환경에 대한 Pimping의 부정적 영향을 명확하게 해명하고
둘째, 질문 관행을 개선할 수 있는 기회를 창출한다.
We argue that the term should be defined under its negative connotation to mean “questioning of a learner with the explicit intent to cause discomfort such as shame or humiliation as a means of maintaining the power hierarchy in medical education.” Definitively separating the negative pra ctice of pimping from the broader, pedagogically helpful technique of questioning accomplishes two things.
First, it clearly elucidates pimping’s negative implications for the clinical learning environment and,
second, it creates an opportunity to improve questioning practices.
아래에서는 소크라테스 교수법과 성인 학습 이론에 의해 알려진 임상 학습 환경의 질문 연습 개선을 위한 제안을 제공한다.
Below, we offer suggestions for improving questioning practices in the clinical learning environment, informed by Socratic teaching methods and adult learning theory.
소크라테스 교수법의 역사적·근대적 해석
Historical and Modern Interpretations of Socratic Teaching Methods
일부 의학 교육자들이 Pimping이 소크라테스 교수법의 표현이라고 믿는다는 점을 고려할 때, 5 소크라테스 교수법이 실제로 무엇을 포함하는지 검토하는 것이 중요하다. 질문을 사용하는 소크라테스 자신의 목적과 그의 교수법에 대한 현대적 해석을 이해하는 것은 의학 교육에서 도움이 되는 질문 관행을 알려줄 수 있다.
Given that some medical educators believe pimping is an expression of Socratic teaching methods,5 it is important to examine what Socratic teaching methods actually encompass. Understanding both Socrates’s own purpose in using questions and modern interpretations of his teaching methods can inform helpful questioning practices in medical education.
일부 학자들은 소크라테스 자신이 교육학을 기피하고 대신 궁극적으로 알 수 없는 진실에 대한 질문의 대화를 통해 비판적 사고의 행사에 다른 사람들을 참여시켰다고 주장한다. 그러나 소크라테스가 집단으로 개인에게 던진 질문은 두 가지 뚜렷한 목적에 기여했다.
Some scholars suggest that Socrates himself eschewed pedagogy and instead engaged others in an exercise of critical thinking through a dialogue of questions about ultimately unknowable truths.15,16 However, the questions Socrates posed to individuals in a group served two distinct purposes.17
첫째로, 그것들은 한 개인의 기존 신념을 면밀히 조사하여 궁극적으로 반박을 이끌어낼 수 있도록 의도되었다. 그리스인들에게 "엘런치우스"로 알려진 이 일련의 믿음들에 대한 교차검증은 그들이 상호 일관성이 있는지 여부를 평가했다.
믿음의 반박은 "아프리오리아"로 알려진 혼란과 의심의 상태로 이어졌다. Aproria가 뒤따르는 엘런초스의 궁극적인 목표는 그룹의 모든 사람들 사이에 공통점인 호기심 상태를 만드는 것이었다. 거기서부터 그 단체는 추가적인 논의를 통해 진실에 대한 집단적인 탐구를 시작할 수 있을 것이다.
First, they were meant to place a person’s existing beliefs under scrutiny that would ultimately lead to their refutation. Known by the Greeks as “elunchus,” this cross-examination of a set of beliefs assessed whether they were mutually consistent.
The refutation of beliefs led to a state of confusion and doubt, known as “aproria.” The ultimate aim of elunchus followed by aproria was to create a common ground—a state of curiosity—among everyone in the group. From there the group could begin a collective search for truth through further discussion.
초등학교부터 대학교까지 다양한 환경에 걸친 소크라테스 교수법에 대한 현대적인 해석은 다소 다른 목표를 가리킨다. 비록 각각의 설정에서 구현은 다르지만, 세 가지 요소는 일치한다:
그룹으로 협력하는 것,
구체적인 해답은 없지만 사전 지식을 활성화하는 해석적 질문 탐구, 그리고
토론에 대한 성찰.18-20
Modern interpretations of Socratic teaching methods across diverse settings, from elementary schools to universities, point to somewhat different goals. Although the implementation is different in each setting, three components are consistent:
working collaboratively in groups;
exploring interpretive questions that lack a specific answer but activate prior knowledge; and
reflecting on the discussion.18–20
이러한 독특한 요소들은 현대적인 소크라테스 원리로 묘사될 수 있었다. 모든 설정이 이러한 원칙을 성공적으로 구현하는 것은 아니라는 점에 유의해야 한다. 아마도 의과대학과 가장 유사한 로스쿨에 대한 설명은 이러한 이상에 부합하는 경험들이 학생들에 의해 유익하다고 인식되는 토론으로 귀결된다는 것을 나타낸다. 그러나 다른 로스쿨 경험은 소크라테스 교수법이 의대생들의 Pimping 경험처럼 학생들을 굴욕적으로 변모시키기 쉽다는 것을 시사한다. 추론 능력 대신 '정답'을 얻는 데 역점을 두고, 정당한 논의의 부재, 경험에 대한 반성의 공간이 없는 경우 등이 이런 현상이 나타나는 것으로 보인다.
These unique components could be described as modern Socratic principles. It is important to note that not all settings successfully implement these principles. Descriptions of law school, perhaps most similar to medical school, indicate that experiences adherent to these ideals result in a discussion perceived as beneficial by the students.16 However, other law school experiences suggest that it is easy for Socratic teaching methods to devolve into humiliating the students, similar to medical students’ experiences with pimping. This seems to occur if emphasis is placed on obtaining a “right answer” instead of reasoning skills, if there is an absence of legitimate discussion, and if there is no space for reflecting on the experience.
질문 방식 변경
Changing Questioning Practices
우리는 임상 환경에서 질문 관행의 패러다임을 바꾸기 위해 세 가지 광범위한 범주를 제안한다. 첫째, 질문은 목적적이어야 한다. 즉, 교육자는 질문을 통해 무엇을 성취하고자 하는지를 알고 있다는 뜻이다. 둘째, 교육자들은 역사적, 현대적 소크라테스 원리를 보다 충실하게 적용하려고 시도해야 한다. 마지막으로, 다양한 성인 학습 이론의 탐구는 성인 학습자에게 질문을 더 유용하게 만들기 위한 몇 가지 구체적인 제안을 제공한다.
We suggest three broad categories for changing the paradigm of questioning practices in clinical settings. First, questioning should be purposeful, meaning that the educator knows what he or she is hoping to accomplish with the question. Second, educators should attempt more faithful application of both historical and modern Socratic principles. Finally, exploration of various adult learning theories offers several concrete suggestions for making questions more useful to the adult learner.
목적적질문
Purposeful questioning
목적적 질문은 [학습자에게 던지는 각 질문의 기본 목표에 대한 교육자의 의도적인 고찰]이다. 이러한 방식에서, 교육자는 모든 질문을 의도적으로 검토하여 지식 중심, 학습자 중심, 평가 중심, 커뮤니티 중심 중 어느 정도인지 결정한다.9 대부분의 질문은 하나 이상의 범주에 속하지만, 교육자는 각 질문의 주요 목적을 알아야 한다. '이 질문의 목적이 무엇인가'에 대한 교육자의 성찰에 대해 학습자에게 불편을 끼치기 위한 요소가 포함되어 있다면, 가능한 한 문제를 수정하거나 포기해야 한다.
Purposeful questioning is the educator’s deliberate consideration of the underlying goal of each question asked of the learner. In this practice, the educator deliberately examines all questions to determine to what degree they are knowledge centered, learner centered, assessment centered, or community centered.9 Most questions will fall in more than one category, but the educator should be aware of each question’s primary purpose. If the educator’s answer to his or her reflection on “what is the purpose of this question?” is that it contains elements intended to cause discomfort in the learner, then the question must be reformulated if possible, or abandoned.
지식 중심 질문은 그들이 검토하고 있는 사실, 개념, 또는 기술에 초점을 맞춘다. 임상 설정의 많은 질문은 학습자의 지식 기반을 탐구하며, 이러한 질문의 목적은 당면한 자료를 가르치거나 검토하는 것이다.
학습자 중심의 질문은 학습자의 학습 경험을 조절하는 데 도움이 된다. 이에 대한 한 가지 예는 학습자가 개선이 필요한 영역을 포함하여 자신의 지식 기반 윤곽을 식별할 수 있도록 도와줌으로써 메타인지를 장려하기 위해 점진적으로 더 어려운 질문의 연속이다. 또 다른 예로는 질문이 학습자에게 자료에 대한 자신의 오해와 선입견을 식별하고 수정하는 데 도움을 줄 때 있다.
평가 중심적인 질문은 교육자가 자신의 지식 기반이나 지식의 적용에 대해 학습자에게 형성적 또는 총괄적 피드백을 제공할 수 있도록 한다.
학습자 커뮤니티 중심의 질문은 학습자가 정보를 파악한 후 교육자 주도형 또는 학습자 주도형 중 한 가지 더 많은 학습기회로 응답하는 수준을 평가하는 질문이 포함된다. 이러한 기회에는 간략한 교육적 요소 제공, 연구할 추가 자원 또는 자료 제공 또는 잘 이해되지 않는 내용에 대한 프리젠테이션을 준비하기 위한 소그룹 활동 할당 등이 포함될 수 있다.
Knowledge-centered questions are centered on the facts, concepts, or skills they are reviewing. Many questions in the clinical setting probe the learner’s knowledge base, and the goal of these questions is teaching or reviewing the material at hand.
Learner-centered questions aid the learner in modulating his or her learning experience. One example of this is a series of progressively harder questions to encourage meta-cognition by helping a learner identify the contours of his or her knowledge base, including areas that need improvement. Another example is when questions assist a learner in identifying and correcting his or her misconceptions and preconceptions about the material.
Questions that are assessment centered allow the educator to provide formative or summative feedback to the learner about his or her knowledge base or the application of that knowledge.
Questions that are centered on the community of learners include those that assess the level at which learners grasp the information and then respond with further learning opportunities, either educator driven or learner driven. These opportunities may include offering brief didactic components, providing additional resources or materials to study, or assigning a small-group activity to prepare a presentation about content that is not well understood.
소크라테스는 어떻게 할까?
What would Socrates do?
소크라테스는 질문의 사용을 개선하기를 바라는 의학 교육자들에게 어떤 충고를 할 것인가? 그의 질문과 그의 방법에 대한 현대적인 해석은 비판적 사고 기술을 활성화하기 위한 것이었다.17 임상 환경에서 이는 종종 학습자가 진단 및 치료 계획을 생성하기 위해 자신의 지식 기반을 특정 임상 시나리오에 적용하는 방법을 조사하는 질문을 통해 접하게 된다. 이 질문들은 하나의 정답이 없을 가능성이 높기 때문에 일반적으로 해석적이다. 여기에는 차등 진단 요청, 진단을 확인하는 데 도움이 되는 다양한 테스트와 절차의 적용, 증거 기반 연구와 환자 진료를 위한 선호도가 제시된 치료 옵션이 포함될 수 있다.
What advice would Socrates offer to medical educators hoping to improve their use of questions? His questions and modern interpretations of his methods were meant to activate critical thinking skills.17 In clinical environments, this is often encountered through questions that probe how learners apply their knowledge base to a particular clinical scenario to generate a diagnostic and therapeutic plan. These questions are typically interpretive because there is likely not one single correct answer. They may include requests for a differential diagnosis, the application of various tests and procedures to help confirm the diagnosis, and therapeutic options given evidence-based studies and patient preferences for care.
비판적 사고 능력에 대한 질문은 한 명의 학습자를 대상으로 할 수 있지만, Socratic 원칙 - 학습자 협업, 해석적 질문, 성찰 - 을 보다 충실하게 적용한다면 당면한 문제에 대한 보다 깊은 이해를 초래할 수 있다. 예를 들어, 교육자가 생성하거나 생성한 학습자 중 하나의 해석적 질문을 의료진에게 제시할 수 있다. 이에 따라 선행지식을 활성화하고, 학습자가 사례에 대해 가질 수 있는 오해를 파악 및 탐구하고, 문제에 대한 통찰력을 얻기 위한 논의가 뒤따를 것이다. 토론의 내용과 과정을 모두 검토하는 대화에 대한 집단 성찰이나 보고가 구성원의 사고를 명확히 하고, 학습자가 안전하고 지지적인 학습 공동체의 발전을 지원하면서 메타인지를 높이도록 장려하는 데 중요할 것이다.
Although questioning of critical thinking skills can be directed at a single learner, a more faithful application of Socratic principles—learner collaboration, interpretive questioning, and reflecting—may result in deeper understanding of the issues at hand. For example, an interpretive question, either learner generated or generated by the educator, could be posed to the medical team. This would be followed by a discussion seeking to activate prior knowledge, identify and explore misconceptions learners may have about the case, and gain insight into the problem. Group reflection or debriefing about the dialogue that examines both the content and the process of the discussion would be important to make the thinking of members clear, to encourage learners to increase their meta-cognition while aiding the development of a safe and supportive learning community.
성인학습이론 적용
Applying adult learning theory
교육자들의 질문 기법을 향상시키기 위한 실천방식을 보여주는 성인 학습 이론들이 많이 있다. 첫째로, situated cognition은 학습 환경 자체가 그 안에서 공유되는 지식과 기술만큼 중요하다는 것을 나타낸다.14 환경을 강화하기 위해 교육자는 개별 학습자의 필요성, 형성 및 총괄 평가 전략으로서 임상 지식을 가르치고 학습자 그룹 내에서 커뮤니티를 형성하는 데 있어 질문의 역할이 무엇인지 명확하게 논의해야 한다.
There is a multitude of adult learning theories that identify practices to improve educators’ questioning techniques. First, situated cognition indicates that the learning environment itself is equally as important as knowledge and skills shared within it.14 To enhance the environment, educators should clearly discuss the role that questioning has in teaching clinical knowledge as it relates to the needs of the individual learners, as a formative and summative assessment strategy, and in building community within the group of learners.21
앞에서 언급한 바와 같이, 학습자들은 질문에 대답할 때에도 안전함을 느끼고 존중과 지지를 받아야 한다. 교육자와 학습자의 명확한 역할을 식별하는 학습자와 건전한 관계를 형성하는 것이 핵심이다. 이상적으로, 이 관계는 상호 존중과 학습자가 교육자에게 질문하고 토론할 수 있는 이해에 기초할 것이다. praxis의 아이디어(학습은 계속적인 성찰, 행동, 그리고 정교화의 과정이라는 것.)를 토론하는 것은 학습자와 교육자 모두의 역할과 기대에 대한 토론에 도움이 될 수 있다.
As noted earlier, learners must feel safe, respected, and supported, even when answering questions.10,11 Forging a sound relationship with learners that identifies clear roles for educator and learners is key. Ideally, this relationship would be based on mutual respect and the understanding that learners can question and debate the educator.21 Discussing the idea of praxis—that learning is a continual process of reflection, action, and refinement—may aid in a discussion of roles and expectations of learners and educators alike.10,21
개별 질문을 개선하기 위해 교육자들은 여러 가지 도구를 마음대로 사용할 수 있다. 일반적으로 교육자는 학습자의 현재 능력을 넘어 도전적인 질의를 구성하는 것을 목표로 해야 한다.22 이전 경험을 조명하거나 학습자의 잘못된 가정이나 잘못된 인식을 명시적으로 식별하는 데 도움이 되는 질문은 다음 단계로 학습할 때 변형될 수 있다.23 블룸의 분류학에서 가장 적절한 수준의 질문을 해야 하는데, 이는 학습자가 [기억, 이해, 적용]과 같은 저차원의 사고력에서 [분석, 평가, 창조]과 같은 고차원의 사고력을 배우는 쪽으로 움직인다.24
To improve individual questions, educators have several tools at their disposal. In general, educators should aim to construct queries that are challenging just beyond the learner’s current ability.22 Questions that either illuminate prior experience or help explicitly identify a learner’s faulty assumptions or misconceptions can be transformative in taking learning to the next level.23 Questions should be asked at the highest appropriate level in Bloom’s taxonomy, moving as the learner does from lower-order thinking skills such as remembering, understanding, and applying to higher-order thinking skills such as analyzing, evaluating, and creating.24
학습자의 현재 [자신의 자기주도성 수준]을 결정하는 것은 교육자가 적절히 도전적이면서도 불가능하지는 않은 질문으로 응답하는 데 도움이 될 수 있다.25
1단계 의존적 학습자는 교육자가 전문가 역할을 맡아 지시적 질문을 사용하도록 요구하는 반면
2단계 관심 학습자는 질문을 통하여 학습자가 자신의 목표를 확인할 수 있도록 동기부여하는 교육자로부터 이익을 얻는다.
3단계 관련 학습자들은 각 구성원이 동등한 역할을 하는 토론을 촉진하는 질문이 필요한 반면,
4단계 진정으로 자기주도적인 학습자들은 학습 능력을 배양하는 데 도움이 되는 질문을 필요로 한다.
Determining a learner’s current level of self-direction can help the educator respond with appropriately challenging but not impossible questions.25
Stage 1 dependent learners will require the educator to take on an expert role and use directive questions, whereas
Stage 2 interested learners will benefit from an educator whose questions motivate them to identify their own learning goals.
Stage 3 involved learners need questions that facilitate a discussion in which each member has an equal role, whereas
Stage 4 truly self-directed learners require questions that help cultivate their ability to learn.
이 모델은 모든 의사가 의존하는 것에서 자율적으로 되는 것에 이르는 여정을 강조한다.26
This model highlights the journey that all physicians undertake from being dependent to becoming autonomous.26
임상적 역량에 대한 두 가지 이론은 또한 질문을 개선할 수 있는 방법을 제공할 수 있다. 첫 번째는 '의식 없는 무능'에서 '의식 없는 능력'으로 이어지는 길을 설명하는 모델이다.
Two theories of clinical competence can also offer ways to improve questioning. The first is a model that describes the path
from “unconscious incompetence”
to “conscious incompetence”
to “conscious competence”
to “unconscious competence.”27
이 모델을 염두에 둔 질문 전략은 학습자가 한 수준에서 다음 단계로 이동하는 데 도움이 될 것이다. 초기 질문은 학습자가 스킬을 개선해야 할 필요성을 인지하는 데 도움이 되는 반면, 후속 질문은 해당 스킬의 유능한 개발에 도움이 될 수 있다.
Questioning strategies with this model in mind would assist a learner in moving from one level to the next. Initial questions would help a learner become aware of the need to improve a skill, whereas subsequent questions could assist in the competent development of that skill.
마찬가지로 밀러의 '임상 역량의 피라미드'는 '알고 있다', '알고 있다', '보인다', '한다'의 각 수준에서 학습자에게 적합한 질문 유형을 제시한다. "knows" 수준의 학습자를 위한 질문은 지식기반fund of knowledge으로 향할 것이고, 반면에 "knows how" 수준의 질문은 그 지식의 해석과 적용에 대한 비판적 사고 능력을 평가할 것이다.
Similarly, Miller’s Pyramid of Clinical Competence suggests the type of questions appropriate for learners at each level of “knows,” “knows how,” “shows,” and “does.”28 Questions for learners at the “knows” levels will be more directed to a fund of knowledge, whereas questions at the “knows how” level will assess the critical thinking skills of interpretation and application of that knowledge.
결론
Conclusions
의학 교육자들은 전통적으로 질문을 통해 가르친다. 학습자에게 수치심을 주거나 권력 서열을 강화하기 위해 고안된 질문들은 무례한 문화에 기여하며, 용납되어서는 안 된다.29 이제 Pimping의 관행을 버려야 할 때다. 소크라테스식 교수법과 성인학습 이론을 고려한 목적적 질문은 Pimp식의 대안을 제시하는데, 이는 의료교육 중 학습자의 비판적 사고력 향상을 강조하는 것이다. 집단으로 질문을 받는 것은 어떤 사람들에게는 불안감을 자극하는 것으로 남을 수도 있지만, 질문 방법이 학대적이어서는 안 된다.
Medical educators traditionally teach through questioning. Questions designed to shame learners or reinforce the power hierarchy contribute to a culture of disrespect and should not be tolerated.29 It is time to abandon the practice of pimping. Purposeful questioning that considers Socratic teaching methods and adult learning theories offers an alternative to pimping that removes its negative aspects and emphasizes improving learners’ critical thinking during their medical education. Being called on to answer questions in a group may remain anxiety provoking for some, but the method of questioning should not be abusive.
[Pimping스러운 관행]을 목적, 소크라테스 원리, 성인 학습 이론을 고려하는 [질문의 관행]으로 바꾸는 것은 구조적이고 문화적인 변화를 요구하는 거대한 일이 될 것이다. 다른 분야에서도 기술한 바와 같이, 교수진 개발 활동, 의료부로부터의 매입, 소규모의 점진적인 행동 변화 전략이 핵심이 될 것이다. 질문 방식을 바꾸기는 어렵겠지만, 지역사회와 학습자의 성공을 향상시키는 개선된 환경에 대한 잠재적 배당금은 너무나 커서 우리는 의학 교육에서 질문의 새로운 패러다임을 채택하는 것을 미룰 수 없다.
Transforming the practice of pimping into a practice of questioning that considers purpose, Socratic principles, and adult learning theories will be an enormous undertaking, requiring structural and cultural change. As described in other disciplines, faculty development activities, buy-in from medical departments, and small, incremental behavior change strategies will be key.30 Though changing questioning practices will be difficult, the potential dividends with respect to an improved environment that enhances community and learner success are so great that we cannot afford to delay adopting this new paradigm of questioning in medical education.
.2015 Jan;90(1):20-4.
doi: 10.1097/ACM.0000000000000446.
Socrates was not a pimp: changing the paradigm of questioning in medical education
1Dr. Kost is assistant professor, Department of Family Medicine, University of Washington, Seattle, Washington. Dr. Chen is associate professor, Department of Family Medicine, University of Washington, Seattle, Washington.
The slang term "pimping" is widely recognized by learners and educators in the clinical learning environment as the act of more senior members of the medical team publicly asking questions of more junior members. Although questioning as a pedagogical practice has many benefits, pimping, as described in the literature, evokes negative emotions in learners and leads to an environment that is not conducive to adult learning. Medical educators may employ pimping as a pedagogic technique because of beliefs that it is a Socratic teaching method. Although problems with pimping have previously been identified, no alternative techniques for questioning in the clinical environment were suggested. The authors posit that using the term "pimping" to describe questioning in medical education is harmful and unprofessional, and they propose clearly defining pimping as "questioning with the intent to shame or humiliate the learner to maintain the power hierarchy in medical education." Explicitly separating pimping from the larger practice of questioning allows the authors to make three recommendations for improving questioning practices. First, educators should examine the purpose of each question they pose to learners. Second, they should apply historic and modern interpretations of Socratic teaching methods that promote critical thinking skills. Finally, they should consider adult learning theories to make concrete changes to their questioning practices. These changes can result in questioning that is more learner centered, aids in the acquisition of knowledge and skills, performs helpful formative and summative assessments of the learner, and improves community in the clinical learning environment.
Validity as a social imperative for assessment in health professions education: a concept analysis
Melanie Marceau,1 Frances Gallagher,1 Meredith Young2 & Christina St-Onge3
도입 INTRODUCTION
보건 전문직 교육(HPE) 내에서 평가의 역할을 재고하고 재편성해야 한다는 주장이 여러 차례 제기돼 왔다. 평가 요청의 현재 추세는 다음을 요구한다.
전통적인 학습의 평가에서 벗어나 학습을 위한 평가를 향한 변화,
대안적이고 진정한authentic 평가 전략의 지원 및 사용
성과에 대한 목적적합하고 적절한 표본 추출에 대한 증가하는 요구에 부합
모두 프로그램적 평가를 위한 접근방식이다.2
There have been several calls to reconsider and reshape the role of assessment within health professions education (HPE). Current trends in assessment call for
a shift towards assessment for learning away from the traditional assessment of learning,1
urge increased support for and use of alternative and authentic assessment strategies, and
echo a growing call for purposeful and appropriate sampling of performance,
all of which are approaches that translate to programmatic assessment.2
평가에 있어 가장 중요한 고려사항은 시행 중인 평가 전략이 최고 품질이어야 한다는 것이다. 평가의 품질은 전통적으로 그 타당성과 연관되어 왔으며, 이는 [평가 점수의 타당한 해석을 뒷받침할 증거를 축적하는 것을 목표]로 하는 엄격한 검증 과정을 통해 문서화된다.3–5
One consideration that remains paramount to assessment is that the assessment strategies put in place need to be of the highest quality. The quality of assessment has traditionally been associated with its validity, which is documented through rigorous validation processes that aim to accumulate evidence to support a valid interpretation of assessment scores.3–5
[Authentic 및 프로그램적 평가와 같은] 평가의 현재 추세에 대하여, [타당화에 대한 전통적인 접근법]에 대해서도 의문이 점점 커지고 있다.6–9 예를 들어, 문헌에는 평가자 분산rater variance이 전문가 판단을 반영할 수 있으므로 측정 오류로만 간주해서는 안 된다는 논의가 있다. 이러한 논의는 모든 평가자 분산을 측정 오류로 보고 전통적인 측정 모델을 적용하는 것은 적절하지 않음을 시사한다.10 또한, (authentic 또는 프로그램적 평가처럼) 복잡한 평가를 위한 타당화 프로세스에서 통계적 및 심리학적 근거에만 의존하는 것에 약간의 불편함이 있는 것으로 보인다. 이유는, 이 증거가 부적절해서가 아니라 평가의 품질에 대한 평가로서 불완전하기 때문이다.
The use of traditional approaches to validation for current trends in assessment, such as authentic and programmatic assessment, is increasingly questioned.6–9 For instance, there are discussions in the literature suggesting that rater variance may reflect expert judgement and therefore should not be considered solely as measurement error. These discussions suggest traditional measurement models cannot be applied as they consider all rater variance to be measurement error.10 Additionally, there appears to be some discomfort about relying solely on statistical and psychometric evidence in a validation process for complex assessment such as authentic or programmatic assessment, not because this evidence is inappropriate, but because it may give an incomplete evaluation of the quality of the assessments (e.g. Schuwirth and van der Vleuten,11 and Hodges12).
기존 심리측정학 모델을 복잡한 평가에 적용할 수 있는지에 대한 논쟁 외에도 HPE 커뮤니티에서는 타당성 자체에 대한 합의가 거의 없는 것으로 보인다. St-Onge 외 연구진들은 HPE 문헌에서 타당성이 어떻게 사용되는지를 조사하기 위해 담화 분석 방법론에 의존했다. 저자들은 HPE 문헌에서 타당성에 대한 세 가지 다른 개념을 식별하고 기술하였다.
(i) 시험 특성으로서의 타당성 (고전 유효성 'trinity'[내용, 기준 및 구성]에 대한 유효성);
(ii) 주장 기반 증거사슬로서의 타당성(메식스 13 및 케인의 14 프레임워크에서 선호하는 논쟁 기반 접근법과 유사)
(iii) 사회적 의무로서의 타당성.9
In addition to the debates about the applicability of traditional psychometric models to complex assessment, there seems to be little agreement in the HPE community regarding validity itself. St- Onge et al.9 relied on discourse analysis methodology to investigate how validity is used in the HPE literature. The authors identified and described three different conceptualisations of validity within the HPE literature:
(i) validity as a test characteristic (similar to the classic validity ‘trinity’ [content, criteria and construct]);
(ii) validity as an argument-based evidentiary chain (similar to the argument-based approaches favoured in Messick’s13 and Kane’s14 frameworks), and
(iii) validity as a social imperative.9
다른 개념론과 대조적으로, 사회적 의무로서의 타당성은 HPE 문헌에서 새롭게 대두되는 담론이며 [평가와 검증에 대한 보다 전체적인holistic 비전]을 반영하며, 특히 평가의 [더 넓은 개인(학습자)과 사회적 결과에 대해 고려할 것]을 강조한다. 예를 들어, '사회적 결과societal consequences'에 대한 고려는 보건 전문가 인증으로 이어지는 높은 수준의 평가 품질을 보장할 필요성을 포함했다.
By contrast with the other conceptualisations, validity as a social imperative is an emerging discourse in the HPE literature and reflects a more holistic vision of assessment and validation, specifically highlighting considerations for broader individual (learner) and societal consequences of assessment. For example, within the discourse analysis, consideration for ‘societal consequences’ included the necessity of assuring the quality of high-stakes assessments leading to the certification of health professionals.
사회적 의무로서의 타당성의 새로운 개념은 문학 전반에 걸쳐 제시되었고, 프로그램적 평가에 관한 논의를 반영하고 사회 내 [다른 이해관계자(예: 학습자, 평가자, 교육 프로그램, 더 넓은 대중)]에 대한 [평가의 잠재적 결과]에 대한 고려를 증가시켰다. 이 담론은 St-Onge 외 연구진에서 가장 덜 구체화되거나 조작화된 것으로, 아마도 그것의 창발적 성격 때문일 것이다.
The emerging concept of validity as a social imperative was represented across a body of literature and reflected discussions around programmatic assessment and increased consideration of the potential consequences of assessment for different stakeholders in society (e.g. learners, assessors, educational programmes, the broader public). This discourse is the least concretised or operationalised in St-Onge et al.’s work,9 probably because of its emergent nature.
방법 METHODS
개념분석(concept analysis)은 지식의 개발에 사용되는 방법론이다.15,16 체계적이고 엄격한 과정을 통해 개념을 구체화하고 다듬어 실전에 보다 효율적으로 사용할 수 있도록 할 수 있다.16 로저스에 의해 개발된 방법은 귀납적이며 데이터 분석에 대한 질적 접근법에 의존한다.16,17 로저는 그녀의 방법을 [나선형]이라고 묘사하였으며, 이는 반복적인 과정을 통해 개념의 끊임없는 진화를 보여주는 것이다. 이 끊임없는 진화는 우리의 목적과 잘 맞아떨어졌다.18,19
Concept analysis is a methodology used in the development of knowledge.15,16 Through a structured and rigorous process, this methodology can be used to clarify and refine a concept so that it can be used more efficiently in practice.16 The method developed by Rodgers is inductive and relies on qualitative approaches to data analysis.16,17 Rodgers illustrates her method as a spiral to show the constant evolution of a concept through an iterative process,16,17 and this constant evolution resonated well with our purpose.18,19
로저스는 진화 개념 분석을 완료하는 데 있어 6단계를 설명하고 있으며, 이는 비선형적 방식으로 수행될 수 있다.16 표 1은 이러한 단계와 보다 전통적인 연구 용어와의 정렬을 간략히 설명한다. 1~4단계는 방법 섹션과 가장 직접적으로 일치하지만, 6단계는 이 문서의 결론에 설명되어 있다. 5단계는 개념 진화evolving concept에 항상 포함되어 있는 것은 아니며, 우리 작업의 진행 상황을 고려할 때, 우리는 그것을 향후 작업의 길잡이로 포함하기를 선호해왔다.
Rodgers describes six steps in completing an evolutionary concept analysis, which can be performed in a non-linear fashion.16 Table 1 briefly describes these steps and their alignment with more traditional research terminology. Whereas Steps 1–4 align most directly with the methods section, Step 6 is described in the conclusion of this article. Step 5 is not always included for evolving concepts and, given the state of progress of our work, we have preferred to include it as an avenue for future work.
1단계. 관심의 개념 및 관련 표현 식별
Step 1. Identify the concept of interest and associated expressions
정의해야 할 개념에 라벨을 붙이는 데 사용되는 용어(단어나 단어 그룹)를 적절하게 선택하는 것이 필수적이다.16 처음에, [사회적 명령]으로서의 타당성의 새로운 개념은 HPE 문헌으로부터 개발되었다. 이 개념 분석의 실행에서, 우리는 맥락을 구체화하는 것이 중요하다는 것을 알게 되었다. 따라서, 이 연구의 핵심인 개념은 HPE의 평가에 대한 사회적 의무로서 타당성이 있다.
It is essential to appropriately select the terminology (word or group of words) used to label the concept that is to be defined.16 Initially, the emerging concept of validity as a social imperative9 was developed from the HPE literature. In the execution of this concept analysis, we found it important to specify the context; therefore, the concept that is the core of this study is validity as a social imperative for assessment in HPE.
2단계. 데이터 수집에 적합한 영역 식별 및 선택
Step 2. Identify and select an appropriate realm for data collection
St-Onge et al.,9에 의해 사용된 원래 용어로부터 그리고 학술 사서의 도움을 받아, (ii) 타당도, (iii) 사회적 의무, (iii) 평가, (iv) 보건 전문가(예: 의학, 간호 또는 물리치료 전문가)의 각 개념을 포함하는 논문를 대상으로 검색 전략을 개발했다.
Drawing from the original terms used by St-Onge et al.,9 and with the assistance of an academic librarian, a search strategy was developed to target articles that included each of the following concepts: (i) validity; (ii) social imperative; (iii) assessment, and (iv) health professional (e.g. medicine, nursing or physical therapy professional).
그림 1은 문서 선택 절차를 보여준다.
Figure 1 illustrates the document selection procedure.
3단계. 개념의 속성, 선행 조건 및 결과 식별과 관련된 데이터 수집
Step 3. Collect data relevant to identifying attributes, antecedents and consequents of the concept
3단계와 4단계를 별도로 제시하지만, 개념 분석 중에 데이터 수집과 관리는 반복적인 프로세스로 수행된다는 점에 유의해야 한다.16 데이터 수집과 분석은 개념을 명확히 하기 위해 팀원들 간에 몇 차례의 반복적인 토론이 필요했다.
We present Steps 3 and 4 separately; however, it is important to note that during concept analysis, data collection and management are performed as an iterative process.16 Data collection and analysis required several iterative rounds of discussion among team members to clarify the concept.
포함된 문서의 어떤 구성요소도 데이터의 출처로 간주될 수 있다: 초록, 도입, 방법, 결과, 토론 및 결론은 모두 사회적 의무로서 타당성 개념의 개선과 관련된 데이터를 생성할 수 있다.
Any component of an included document could be considered as a source of data: the abstract, introduction, methods, results, discussion and conclusion could all generate data relevant for the refinement of the concept of validity as a social imperative.
속성, 선행 조건 및 결과의 식별은 로저스가 설명한 개념 분석의 핵심 특징이다.17 이러한 중점 영역은 분석 전에 데이터를 수집, 정리 및 관리하는 데 도움을 주었다. 구체적으로는,
선행조건antecedents은 HPE에서 평가를 위한 사회적 의무로서 타당성의 개념보다 앞서는 것이다.
속성attributes은 개념을 정의하는 특성 또는 [HPE에서 평가에 대한 사회적 의무로서 타당성]을 다른 것과 구별짓거나 특징짓는 특성이다.
결과consequents는 개념의 직접적인 결과로 일어나는 것이다.16
The identification of attributes, antecedents and consequents is a key feature of a concept analysis, as described by Rodgers.17 These main areas of focus helped us to collect, organise and manage the data before the analysis. More concretely,
antecedents are what precedes the concept16 of validity as a social imperative for assessment in HPE.
Attributes are the characteristics that define the concept16 or what distinguishes or characterises validity as a social imperative for assessment in HPE.
The consequents of a concept are what happens as a direct result of the concept.16
4단계. 개념의 속성, 선행 조건 및 결과에 대한 데이터 분석
Step 4. Analyse data for the attributes, antecedents and consequents of the concept
개념 분석이 중요한 방법론적 프레임이었지만, 텍스트에서 수집된 데이터를 해석하기 위해 어떤 정성적 분석 접근법을 사용해야 하는지에 대해서는 규범적이지 않다. 여기서, 우리는 마일스 등이 기술한 정성적 분석 프로세스를 사용하기로 결정했는데, 이는 개념 분석의 구조를 감안할 때 로저스가 제안한 선행 코드, 속성 및 결과물을 포함하는 미리 정해진 코드 내에서 창발적 코드(귀납적 프로세스)를 식별할 수 있기 때문이다. 좀 더 구체적으로 말하면, 이 과정은 반복적으로 그리고 부수적으로concomitantly 진행되는 수행된 세 가지 동시적 분석 사이클로 구성되어있다 - [데이터 응축, 데이터 표시, 그리고 결론 도출 및 검증]
Although concept analysis was the overarching methodological frame, it is not prescriptive regarding which qualitative analysis approach should be used to interpret data gathered from texts. Here, we decided to use the qualitative analysis process described by Miles et al.20 because it allows for the identification of emerging codes (inductive process) within predetermined codes, which, given the structure of a concept analysis, includes antecedents, attributes and consequents as suggested by Rodgers.15,16 More specifically, this process consists of three concurrent analysis cycles performed iteratively and concomitantly: data condensation; data display, and drawing and verifying conclusions.
데이터 응축은 미리 결정되어있거나(예: 선행 조건, 속성 및 결과), 새롭게 부상한 코드(예: 유효성의 결과에 대한 논란 또는 점수 해석에 따른 결과에 대한 우려)를 사용한 데이터 분석이다.
Data condensation consists of data analysis using predetermined (i.e. antecedents, attributes and consequents) and emerging codes20 (e.g. controversy about consequences of validity or concern about consequences resulting from the interpretation of scores).
데이터 디스플레이는 데이터 시각화를 통해 우리의 결과를 더 잘 이해하고 나타낼 수 있게 했다.20 스키마를 이용하여, 연구팀은 코드의 시각적 표현을 얻었다.
Data display allowed us to better understand and represent our results through data visualisation.20 Using a schema, the research team obtained a visual representation of the codes.
모든 요소에 대한 이러한 개요는 문서의 발췌본이 속성인지 선행인지 결과인지를 판단하는 데 도움이 되었다.
This overview of all elements helped us to determine whether an excerpt of a document was an attribute, an antecedent or a consequent.
결론을 도출하고 검증하는 것은 데이터 응축과 데이터 표시에서 나타나는 결론의 개발과 검증과 관련이 있다.20 분석은 반복적인 과정이었기 때문에, 연구팀은 데이터와 코드 사이의 일치를 개선하기 위해 문서를 여러 번 다시 읽었다.
Drawing and verifying conclusions relates to the development and verification of conclusions that emerge from data condensation and data display.20 Because analysis was an iterative process, the team re-read the documents several times to improve the match between data and codes.
결과
RESULTS
총 67건의 문서가 선정되어 분석되었다.
A total of 67 documents were selected and analysed.
(Table 2).
(Table 3).
HPE의 평가에 대한 사회적 의무로서 타당성 개념의 확인된 선행 조건, 속성 및 결과의 개요는 그림 2에서 확인할 수 있다.
An overview of the identified antecedents, attributes and consequents of the concept of validity as a social imperative for assessment in HPE can be found in Figure 2.
선행자
Antecedents
사회적 기대에서 비롯되는 HPE의 변화
Changes to HPE that stem from societal expectations
전문기관과 고등교육기관이 [의료전문가의 역량취득을 측정하고 감시하는 방법에 대한 정보]에 대한 사회의 욕구가 증가하고 있다.21 예를 들어, 역량기반교육(CBE)의 핵심 원칙 중 하나는 전문직 종사자가 성취하도록 보장함으로써 환자를 보호하는 것이다. 일정 수준의 역량22–24이며 임상 환경의 현실에 더 잘 대비된다.25–27 전문 기관과 고등 교육 기관은 대상 역량에 걸쳐 학습자의 능력을 가능한 한 정확하게 측정하기 위해 평가 프로그램을 신중하게 계획하고 설계해야 한다.
There has been increasing desire on the part of society for information on how professional bodies and higher education institutions measure and monitor the acquisition of competencies by health care professionals.21 For example, one of the core tenets of competency-based education (CBE) is to protect patients by ensuring that professionals achieve a certain level of competency22–24 and are better prepared for the realities of the clinical setting.25–27 Professional bodies and higher education institutions must ensure that their assessment programmes are carefully planned and designed in order to measure the abilities of learners across targeted competencies as accurately as possible.
역량 있는 실무에 대한 기대치를 반영하고 부합하는 평가에 집중
Focus on assessment that reflects and aligns with expectations of competent practice
학습을 촉진하고 대중을 보호하기 위해서는 평가 관행을 조정할 필요가 있다.23 문헌은 전통적인 학습의 평가에서 학습을 위한 평가로 이동함을 나타낸다.1 우리는 또한 대안적이고 진정한alternative and authentic 평가 전략의 사용에 초점을 맞추었다. 이러한 평가는 [현실주의, 작업 상황의 시뮬레이션 또는 작업 상황 자체의 동원]으로 특징지어지며, [판단, 복잡한 작업, 피드백]에 초점을 맞추고 있다.28-30 '프로그램적 평가'라는 용어가 점점 더 많이 사용되고 있다.
To facilitate learning and protect the public, it is necessary to adjust assessment practice.23 The literature indicates a shift towards assessment for learning from the traditional assessment of learning.1 We also found a focus on the use of alternative and authentic assessment strategies, characterised notably by realism, simulations of the work context, or mobilisation of the work context itself, and a focus on judgement, complex tasks and feedback.28–30 There is a growing use of the term ‘programmatic assessment’,2
타당성에 대한 적절한 증거를 제공하는 것이 어려움
Difficulty in providing appropriate evidence of validity
비록 심리측정학 접근법이 여전히 중요하고 HPE에 관련되지만, 기존의 타당화 전략은 보다 현대적인 평가 관행에 이를 적용할 때 한계가 있다.11,33 현재 우리가 이용할 수 있는 측정 및 통계 분석 모델은 [개별 역량 평가 도구]의 품질을 문서화하는 데 적합하지만, [평가 프로그램]을 검증하는 데 수반되는 복잡성으로는 쉽게 확장되지 않는다. 현재 우리의 정신측정학 모델은 도구에 의해 생성된 점수의 검증에 잘 배치되어 있지만, [서술적 피드백]이나 HPE에서 점점 더 늘어나는 [질적 평가 데이터]에 적합한 접근법은 별로 가지고 있지 않다. 게다가, 실제로 [전체 평가 프로그램] 또는 [학습자의 전반적인 역량]의 타당화를 잘 처리할 수 있는 정신측정학 접근법은 거의 없다.
Although psychometric approaches are still valuable and relevant in HPE, traditional validation strategies have limits when it comes to applying them to more modern assessment practices.11,33 The measurement and statistical analysis models currently available to us are appropriate for documenting the quality of individual competence assessment tools, but are not easily extended to the complexities of validating a programme of assessment. Whereas our current psychometric models are well situated for the validation of scores generated by tools, we have few approaches that are appropriate for narrative feedback, or the more qualitative assessment data that are increasingly present in HPE.34 In addition, few psychometric approaches are, indeed, amenable to the validation of entire assessment programmes or the learner’s overall set of competencies.21
[사회적 필수요건]으로 타당성 측면에서의 [선행자]들은 [의료전문가의 훈련과 평가에 대한 지속적인 주요 변경사항], 특히 [교육과 평가에 대한 CBE 접근방식의 채택]과 align 되어있는 것으로 보인다.
The antecedents identified for validity as a social imperative seem to align with ongoing major changes to the training and assessment of health care professionals, most notably the adoption of CBE approaches to training and assessment.
특성
Attributes
평가 품질을 문서화하기 위해 사회가 신뢰할 수 있다고 간주하는 증거의 사용 시연
Demonstration of the use of evidence considered credible by society to document the quality of assessments
결과에 대한 해석은 [관리자의 결정(예: 성공 대 실패)]으로 이어질 가능성이 높다. HPE의 맥락에서, 평가 결과의 잘못된 측정 또는 잘못된 해석은 환자 안전에 큰 영향을 미칠 수 있다: 필요한 기술이나 역량이 없는 연습에 적합하다고 판단되는 학습자는 부적절한 환자 진료를 제공할 수도 있다.23,35
Interpretation of the results is likely to lead to a decision by the administrators (e.g. success versus failure). In the context of HPE, poor measurement or misinterpretation of assessment results can have a significant impact on patient safety: a learner who is deemed suitable for practice without the requisite skills or competencies may deliver suboptimal patient care.23,35
학습자의 success or failure는 [설득력 있는 평가 자료에 근거]해야, 준비되지 않은 연습생이 사회에 미칠 잠재적 부정적 영향을 줄일 수 있다.
A learner’s success or failure must be based on persuasive assessment data to decrease the potential negative impacts of an ill-prepared trainee on society.
즉, 고부담 평가(라이센스 검사 등)는 [환자에게 안전한 진료를 제공하기 위해 필요한 역량을 아직 숙달하지 못한 연습생]에게 진료할 수 있는 권한을 부여할 수 있다. 그러한 결과로, 학습자의 능력에 대한 판단을 담당하는 전문 기관과 고등 교육 기관은 [충분하고 신뢰할 수 있는 증거]를 가지고 [학습자의 역량 수준을 문서화]해야 한다.
In other words, high-stakes assessments (such as licensure examinations) may grant the right of practice to trainees who have not yet mastered the competencies required to provide safe care to patients. With such consequences, the professional bodies and higher education institutions responsible for making judgements about a learner’s abilities must document the learner’s level of competence with sufficient and credible evidence.37–40
점점 더 많은 전문 기관professional bodies들이 학습자 역량 평가에 대한 책임을 고등 교육 기관과 전문 훈련 프로그램에 이전하고 있다.26 따라서, [타당화 프로세스를 수립하고 평가 품질을 뒷받침하는 증거를 문서화하는 것]은 (프로그램 인증을 포함하여) 고등 교육 기관이 가지는 책임의 주요 측면이다. 평가가 종종 사회를 보호하기 위한 보호자로서 사용된다는 점을 고려할 때, 우리는 [평가 점수에 대한 해석의 타당성을 문서화하는 증거]를 사회가 이용할 수 있도록 해야 하며, [이용자들에게 신뢰성이 주어야 한다]고 주장한다. 이는 평가 과정에 대한 외부 관점을 필요로 한다.
Increasingly, professional bodies are transferring responsibility for assessing learner competency to higher education institutions and professional training programmes.26 Therefore, establishing validation processes and documenting evidence supporting the quality of assessment is a major aspect of responsibility for higher education institutions, including for programme accreditation. Given that the assessment is often used as a guard with which to protect society, we posit that the evidence to document the valid interpretation of assessment scores should be made available to society and credible to its users; this takes an external view of the assessment process.
고등 교육 기관과 전문 훈련 프로그램은 그들이 유능한 실무자임을 입증한 훈련생들만 졸업하거나 인증할 책임이 있으며, 그러한 결정을 뒷받침할 증거를 제공할 수 있어야 한다.
Higher education institutions and professional training programmes have a responsibility to society to ensure that they graduate or certify only those trainees who have demonstrated they are competent practitioners, and must be able to provide evidence to support those decisions.
평가 프로세스 및 점수 해석을 통해 포함된 검증
Validation embedded through the assessment process and score interpretation
검증은 지속적인 역동적 과정이다.41 개발 및 모니터링을 포함하는 평가에 참여하는 사람들은 평가 및 평가 프로그램의 개발, 평가 전략의 관리 및 결과의 해석 과정에서 평가의 품질(타당성)에 대한 지속적인 경계심vigilance을 보여야 한다.39
Validation is a continuous dynamic process.41 Those involved in assessment, which includes development and monitoring, must show constant vigilance for the quality (validity) of their assessments during the development of the assessment and assessment programme, the administration of assessment strategies, and the interpretation of results.39
평가 프로그램을 구성함에 있어, 타당화 프로세스의 모든 구성요소를 의도적으로 선택하면 결과의 해석이 더 신뢰할 수 있고 방어성이 더 높아진다.6 평가 과정 전반에 걸쳐 타당성을 구축하는 것은 평가 프로그램의 모든 측면의 품질을 개선하는 데 도움이 된다. 구체적인 용어로, 이것은 평가 책임자가 [타당화 전략](예: 심리측정학 분석, 측정자 인터뷰), [평가 관리 절차], [평가자가 요구하는 교육]을 미리 선택한다는 것을 의미한다.
During the construction of an assessment programme, the deliberate selection of all components of the validation process makes the interpretation of results more credible and more defensible.6 Building in validity34,42 throughout the assessment process helps to improve the quality of all aspects of the assessment programme. In concrete terms, this means that the person responsible for the assessment pre-selects the validation strategies (e.g. the psychometric analyses, interviews with raters), the assessment administration procedure and the training required by assessors.
결과적 타당성에 대한 고려는 검증 프로세스의 필수적인 부분이며 평가 개발 및 모니터링 프로세스 전반에 걸쳐 타당성을 구축하기 위한 노력에서 중요한 고려사항이 되어야 한다. 결과는 의도되거나 의도하지 않을 수 있고, 유익하거나 해로울 수 있다. 결과적으로, 관리자는 평가 프로그램에 포함된 모든 평가를 개발하는 동안 평가의 잠재적 결과를 고려하고 또한 모니터링해야 한다. 보다 구체적으로, 예상가능한 결과를 고려할 때에는 운영 및 결과 해석에서 발생하는 [모든 가능한 결과]가 포함되어야 하며, (일반적으로 검증에 대한 더 고전적인 접근방식처럼) 구인-무관 분산(CIV)에 국한되지 않아야 한다.
Consideration for consequential validity is an essential part of the validation process35 and should be an important consideration in an effort to build in validity throughout the assessment development and monitoring process. Consequences can be intended or unintended, beneficial or harmful.5,13,14,43 As a result, administrators should consider, and also monitor for, potential consequences of assessment during the development of all assessments included in an assessment programme. More specifically, the consideration of anticipated consequences should include all possible consequences arising from the administration and interpretation of the results,35 and not be limited to construct-irrelevant variance, as typically reported in more classical approaches to validation.
[의도적인 이익]은 종종 예측하고 측정하기 가장 쉬운 반면, [의도하지 않은 손해]는 종종 고려하고 감시하기 가장 어렵다.
Intentional benefits are often the easiest to anticipate and measure, whereas unintentional harms are often the hardest to consider and monitor.35
평가 결과의 조합 해석을 뒷받침하는 문서화된 유효성 증거
Documented validity evidence supporting the interpretation of the combination of assessment findings
검증 프로세스는 다른 시간에 서로 다른 출처로부터 수집된 학습자의 여러 '스냅샷' 형태로 상당한 양의 정보를 생성하는 프로그램 평가 접근법에서도 중요하다.21 프로그램 평가에서는, 평가 프로그램에서 생성된 점수(들)의 해석을 뒷받침하는 타당성 증거를 수집해야 한다.
The validation process is also important in a programmatic assessment approach that produces a considerable amount of information in the form of several ‘snapshots’ of the learner collected from different sources at different times.21 In programmatic assessment, validity evidence must be collected to support the interpretation of the score (s) generated by the assessment programme
평가 결과를 전체적으로 해석하려면, [이용 가능한 평가 데이터]를 조직하고 해석하기 위해 [한 명 또는 그 이상의 개인]의 판단이 필요할 수 있다.
This interpretation of the assessment results as a whole is likely to require the judgement of one or more individuals in order to organise and interpret available assessment data.
결과를 [산술적으로 단순히 합산만 하면 전체가 되는 작은 조각으로 나눌 수 없는 경우], 특히 평가 프로그램에서 [다양한 평가 유형의 정보를 결합해야 하는 경우], 정보를 수집하고 분석collate하기 위해 인간의 판단을 사용해야 한다.
‘If we cannot break down the results into little pieces that arithmetically add up to a total score, we need to use human judgement to collect and collate information, especially if – in a programme of assessment – information from various types of assessment needs to be combined (p. 481)’.32
평가 관리자가 평가 프로그램에 걸쳐 제시된 학습자의 성과에 대해 보다 방어가능한 결정을 내릴 수 있도록 타당성 증거를 문서화할 필요가 있다.21
Validity evidence needs to be documented in order to help assessment administrators make a more defensible decision about the learner’s performance, as represented across the programme of assessment.21
모든 평가 전략의 품질을 문서화하기 위한 다양한 증거(양적 및 정성적)의 정당화된 사용 시연
Demonstration of a justified use of a variety of evidence (quantitative and qualitative) to document the quality of all assessment strategies
평가 프로그램의 품질은 몇 가지 출처로부터의 타당도 증거에 기초해야 한다. 모든 평가 프로그램에 대해 포괄적인 검증 프로세스가 시행되도록 하기 위해 증거를 신중하게 선택해야 한다.26,41
The quality of the assessment programme must be based on evidence of validity from several sources.37,38,40 Evidence must be carefully chosen to ensure that a comprehensive validation process is put in place for any assessment programme.26,41
타당도 증거는 본질적으로 양적이든 질적이든 엄격한 접근법에 기초해야 한다.34,35 평가 프로그램의 감시를 책임지는 사람들은 이를 위해 타당화 실무를 할 때 [질적연구의 맥락에서 개발된 지식과 방법의 총체corpus]를 활용integrate할 수 있다.
Validity evidence, be it quantitative or qualitative in nature, must be based on a rigorous approach.34,35 To this end, those responsible for the monitoring of programmes of assessment could integrate the corpus of knowledge and methods developed in the context of qualitative research into their validation practices.
예를 들어, 평가를 담당하는 관리자는 서로 다른 유형의 증거에 대한 일관성을 찾기 위해 데이터를 삼각측량하거나, [포화 상태]에 도달하기 위해 학습자의 성과에 대한 정보를 축적하기 위해 서로 다른 전략을 사용할 수 있다.1,39 [평가 의사결정 과정과 관련된 엄격함을 개선하기 위해 '전체적overall' 판단을 내리는 사람]들로부터 [상세한 질적 데이터]를 포함하는 것도 고려할 수 있다. .12
As an example, administrators responsible for assessment could use different strategies to accumulate information about the learner’s performance in order to triangulate data to look for consistency across different types of evidence or attempt to reach saturation.1,39 We could also consider including detailed qualitative data from the individuals who are making ‘overall’ judgements in order to improve the rigour associated with assessment decision-making processes.12
결과
Consequent
검증 프로세스의 건전성 및 평가에 따른 결정의 신뢰
Belief in the soundness of the validation process and the decisions resulting from the assessment
사회적 의무로서의 타당성은 이제 떠오른emerging 개념이기 때문에, 그 결과의 주제에 대해 직접 보고하는 문헌은 거의 없다. 그러나 서로 다른 집단(전문 기관 및 고등 교육 기관의 관리자, 평가를 수행하는 평가자)에 의해 수행되는 [타당화 프로세스에서 사회에 대한 고려consideration for society]는 [평가 시스템, 평가 점수, 그리고 이 시스템에서 도출된 판단]에 대한 신뢰를 증가시킬 것으로 믿는다. 프로그램적 평가는 타당하고 다양하며 고품질 유효성의 증거를 사용하여 구성 및 모니터링할 필요가 있다.34
As validity as a social imperative is an emerging concept, there is little literature directly reporting on the topic of its consequents. However, we believe that the consideration for society in the validation processes conducted by different groups (administrators for professional bodies and higher education institutions, as well as the assessors conducting the assessment) will increase trust in the assessment system, in the assessment scores and in judgements resulting from this system. Programmatic assessment needs to be constructed and monitored with relevant, varied and high- quality evidence of validity.34
'[실천공동체에 의한 수행능력 가치]에 대한 논의에 참여하면 [무엇이 전문적 역량의 우수성을 구성하는지]와 [평가 시스템이 환자 치료의 질 향상에 어떻게 기여할 수 있는지]에 대한 논쟁을 더욱 부채질할 수 있다(1172 페이지).33
‘Engagement in discussion about performance values by communities of practice may further fuel the debate about what constitutes excellence in professional competence and how assessment systems may contribute to improving the quality of patient care (p. 1172)’.33
평가와 검증 프로세스의 프로그램은 계획되고 명시적으로 문서화되어야 한다. 따라서 평가 결과의 해석에서 발생하는 [결정은 더 쉽게 방어할 수 있고 사회를 포함한 모든 이해당사자들에게 투명하게 공개될 것]이다.
The programme of assessment and validation processes should be planned and explicitly documented; therefore, decisions arising from the interpretation of the assessment results will be more easily defensible and made transparent to all stakeholders, including society at large.
고찰 DISCUSSION
평가의 타당성에 대한 사회의 우려
Society’s concern about the validity of assessment
사회는 평가가 고품질의 평가가 될 것으로 기대한다; 이는 [고등 교육 기관(차세대 의료 사업자를 양성할 사회적 지시)의 평가]부터 [다양한 전문 기관의 평가(대중을 보호할 사회의 지시)]에 이르기까지 광범위한 평가에 적용된다. 몇몇 기관들은 이러한 사회적 책임을 충족시키고 평가에 대한 사회적 우려에 대응할 수 있도록 하기 위한 작업을 시작했다. 한 예로, 캐나다 의료 위원회(MCC)는 [허가 의무(즉, 캐나다에서의 의료행위)와 관련된 사회적 맥락과 관련된 니즈]를 식별하기 위한 프로세스에 투자했다. MCC는 최근 관련 이해관계자(전문가, 간호사, 약사, 의사, 일반인)와의 협의 결과를 참작하기 위해 평가 청사진을 수정했다.45 점수 해석에 따른 의사결정을 정당화하기 위해 [타당성 증거]가 필요하며, 특히 보건의료 전문직의 진입을 위한 핵심 결정 지점을 나타내는 입학, 면허 및 인증과 같은 고부담 평가에서 그렇다.
Society expects assessments to be of high quality; this applies to assessments ranging from those by higher education institutions (which have the social mandate to train the next generation of health care providers) to those of the various professional bodies (which have the social mandate to protect the public). Several institutions have initiated work to meet this social responsibility and to enable them to respond to societal concerns about assessment. As one example, the Medical Council of Canada (MCC) invested in a process to identify needs relevant to its societal context as relevant to its licensure mandate (i.e. medical practice in Canada). The MCC has recently adapted its assessment blueprint to take into account results from consultations with relevant stakeholders (experts, nurses, pharmacists, physicians and members of the public).45 Validity evidence is necessary to justify decisions resulting from score interpretations, especially in high-stakes assessments, such as admissions, licensing and certification, which represent key decision points for entry into the health care professions.
에바 외 연구진은 고부담평가 횟수가 증가했음에도 불구하고 미국의 [의료 오류 빈도]와 [질 낮은 건강 관리의 빈도]가 계속 증가하고 있음을 강조한다. 환자 안전에 대한 사회적 우려는 의료 분야에서 발생하는 사건(예: 부작용)에 대한 대중 매체의 관심이 높아짐에 따라 촉진되는 것으로 보이며, 이는 의료 사업자의 역량 수준을 반영하는 것으로 볼 수 있다.46 [프로그램적 평가 또는 평가자 기반 평가에 대한 의존도가 증가하고, HPE의 평가 가치에 대한 인식이 지속되고, 많은 평가 결정의 고부담 특성을 인정함에 따라], (개인의 역량에 관한 추론을 포함하여) [평가 점수에 근거한 추론]의 타당성을 결정하는 것은 여전히 과제로 남아 있다.
Eva et al.23 highlight that, even with the increased number of high-stakes assessments, the frequencies of medical error and poor quality health care in the USA continue to increase. Societal concerns about patient safety appear to be fuelled by the growing attention given by mass media to events occurring in the health care sector (e.g. adverse events), which could be seen as a reflection of the competency level of health care providers.46 With increasing reliance on programmatic or rater-based assessments, continued recognition of the value of assessment in HPE and an acknowledgement of the high-stakes nature of many assessment decisions, determining the validity of inferences based on assessment scores, including inferences regarding an individual’s competence, remains a challenge.
메식스의 통일된 타당성 이론은 평가 프로그램의 품질 문서화를 책임지는 사람들을 도울 수 있는 방식으로 아직 운영되지 않았다. 프로그램적 평가에 대한 평가 점수에 근거한 추론 검증에 대한 [케인의 주장 기반 접근방식]을 운용하려는 노력이 있었지만, 이 프레임워크는 [메식(Messick)처럼] 평가의 결과에는 초점을 맞추지 못하고 있다. 평가 프로그램에 대한 검증 관행을 지원하기 위해 HPE 평가의 현재 맥락에서 이러한 프레임워크에서 최선의 것들을 통합하기 위한 추가 작업이 필요하다.
Messick’s13 unified theory of validity has yet to be operationalised in a way that could help those responsible for the documentation of the quality of their assessment programmes.25,47 Although there have been efforts to operationalise Kane’s14,43 argument-based approach to the validation of inferences based on assessment scores for programmatic assessment, this framework does not have the same focus on consequences of assessment as that of Messick.13 Further work is required to bring the best of these frameworks together in the current context of HPE assessment in order to support validation practices for programmes of assessment.
개인과 사회에 대한 평가 결정의 결과에 대한 기대
Anticipation of the consequences of assessment decisions for individuals and society
평가자는 개인과 사회에 대한 평가 결정의 잠재적 결과를 예측하고 이를 최소화 또는 완화하기 위한 조치를 제안해야 한다. 그러나 타당화 과정의 잠재적 결과에 대한 고려는 여전히 논란의 여지가 있다.48,49 메렌스50과 팝햄,51과 같은 일부 저자들은 [평가의 결과]가 타당성이 아니라 사회정책과 관련이 있다고 주장해왔다. 그럼에도 불구하고 평가는 사회적 행위로서 사회적 결과를 가져온다. 쿡과 라인베리35는 결과적 타당성이 검증 과정에서 고려해야 할 가장 중요한 증거라고 주장하기까지 한다. 그들의 정당성은 우리의 분석에서 확인된 핵심 특징과 유사하다: 평가 결과에 기초하여 이루어진 모든 결정은 긍정적이거나 부정적으로 개인이나 사회에 영향을 미칠 수 있다.
Assessors must anticipate the potential consequences of assessment decisions on individuals and society, and propose measures to minimise or mitigate them. However, consideration of the potential consequences of the validation process remains controversial.48,49 Some authors, such as Mehrens50 and Popham,51 have argued that the consequences of assessment are associated with social policies and not with validity.4,5,44,49,52,53 Nonetheless, assessment is a social act and has social consequences. Cook and Lineberry35 go so far as to claim that consequential validity is the most important evidence to consider in a validation process. Their justification is similar to a core feature identified in our analysis: all decisions made based on the results of assessments can impact the individual or society, positively or negatively.
이러한 개념 분석의 결과에 기초하여, 결과를 단순히 귀납적으로a posteriori 관심을 가지거나 측정할 것이 아니라, 타당화 과정(평가 및 평가 점수의 준비, 관리 및 해석) 전체에 걸쳐 검토, 참석 및 완화해야 한다고 본다. 그러나 결과는 HPE에서 자주 측정되지 않는다. 우리는 '어떻게' 평가의 결과를 before, during, after에 측정할 수 있는지에 대한 몇 가지 설명들을 찾아냈다. 더욱이, 결과 측정measuring consequences은 [평가의 잠재적인 의도하지 않은 결과를 측정하기 위한 종적 연구와 같은] 상당한 노력이 필요한 도전적인 과정이다.5 결과적 타당성 보장이 어렵다는 점을 감안할 때, 결과적 타당성의 작동화에 대한 추가 연구가 필요하다.
Based on the results of this concept analysis, we believe that consequences should not simply be attended to or measured a posteriori, but considered, attended to and mitigated throughout the validation process (preparation, administration and interpretation of assessment and assessment scores). However, consequences are not frequently measured in HPE.1,23,35 We found few descriptions of ‘how’ one could measure the consequences of assessment before, during or after the said assessment. Furthermore, measuring consequences is a challenging process that requires substantial effort5 such as through longitudinal studies to measure the potential unintended consequences of assessment.23 Given the difficulty in assuring consequential validity, further studies on the operationalisation of consequential validity are required.
정성적 검증 전략의 중요성 증대
The increased importance of qualitative validation strategies
CBE로 HPE의 변화는 프로그램적 평가의 이행과 성과 기반 평가에 대한 의존도 증가와 같은 평가 실무의 변화를 가져왔다. 문헌은 점점 더 authentic하고 프로그램적인 평가와 같은 복잡한 평가에 대한 적절한 타당성 증거를 제공하는 것이 어렵다는 것을 시사하고 있다.
The shift in HPE towards CBE brought about changes in assessment practice, such as the implementation of programmatic assessment and the increased reliance on performance-based assessment. The literature increasingly suggests the difficulty of providing adequate validity evidence for complex assessment such as authentic and programmatic assessment.
호지스가 지적한 바와 같이, 정신측정학 접근법은 현재 진화하고 있다. [분석과 합성을 위한 정성적 접근법을 타당화 프로세스에 통합하는 것]을 포함하여, 복잡한 평가 전략의 합성과 품질 모니터링을 위한 해결책을 공동체로 찾을 필요가 있다.기존 타당도 프레임워크의 작성자(예: Messick13 및 Kane14)는 평가 점수의 유효한 해석을 지원하기 위한 정성적 데이터의 사용을 기각하지는 않지만, 이러한 데이터가 어떻게 보일 수 있고 타당화 과정에서 어떻게 고려될 수 있는지에 대해서는 거의 알려져 있지 않다.
As indicated by Hodges,12 psychometric approaches are currently evolving. We need, as a community, to find solutions for the synthesis and quality monitoring of complex assessment strategies, including integrating qualitative approaches for analysis and synthesis into the validation process. Although the authors of existing validity frameworks (e.g. Messick13 and Kane14) do not dismiss the use of qualitative data to support the valid interpretation of assessment scores, little is known of what these data might look like and how they might be considered in a validation process.13,44,53
정성적 타당도 증거에 대한 의존도를 증가시킬 수 있는 잠재적 위험으로는 [전통적인 정신측정학 접근법에 대한 의존도 감소]와 [전통적인 양적 방법론을 위한 장소의 제한] 등이 있을 수 있다. 일부 저자들은 질적 증거와 양적 증거를 결합할 필요성을 언급해왔다.
A potential risk for increasing the reliance on qualitative validity evidence may suggest a limited place for more traditional quantitative methodologies, with a reduced reliance on traditional psychometric approaches. Some authors have mentioned the need to combine qualitative and quantitative evidence.35,53,54
그러나 질적 근거와 양적 증거를 결합하는 목표에 부합하는 제안된 전략들은 제대로 정의되지 않았거나 운용되지 않은 채로 남아 있다. 서로 다른 유형의 증거 사이의 균형은 분석과 데이터 통합에 대한 혼합된 방법 접근법을 고려하는 데 어려움이 있을 수 있으며 이로울 수 있다.
However, the proposed strategies that would align with the goal of combining qualitative and quantitative evidence remain poorly defined or operationalised. The balance between different types of evidence may be difficult to establish and may benefit from the consideration of mixed-methods approaches to analysis and data integration.55,56
선택된 증거의 유형에 관계없이, 평가에 참여하는 개인은 프로그램적 평가의 품질을 보장하기 위해 최선의 증거를 선택하고 정당화해야 한다. 그러나 특히 접근 가능한 자원이 거의 없는 개인이나 기관에서 검증 접근방식의 전환을 달성하기는 쉽지 않을 것으로 보인다. 수집된 타당도 증거의 유형(질적, 양적 또는 혼합)에 관계없이, 이러한 증거에 근거하여 해석하고 결정을 내리는 인간의 판단이 필요하며, 항상 그러할 것이다.
Regardless of the types of evidence selected, individuals involved in assessment must choose and justify the best evidence to ensure the quality of their programmatic assessment. However, achieving a shift in validation approach is unlikely to be easy, especially for those individuals or institutions with few accessible resources. Whatever the type of validity evidence collected – be it qualitative, quantitative or mixed – there is, and will always be, a need for human judgement to interpret and make decisions based on these evidences.32,34
강점과 한계 Strengths and limitations
개념 분석에서, 모든 관련 문헌의 식별은 품질의 표식이 아니다. 오히려 개념 분석의 목적은 개념의 폭을 반영하는 대표적인 문헌을 식별하는 것이다.
In a concept analysis, the identification of all relevant literature is not a marker of quality; rather, the goal of a concept analysis is to identify a representative body of literature reflecting the breadth of a concept.
결론 CONCLUSIONS
이 개념 분석의 결과는 [평가의 품질에 대한 사회의 증가하는 우려]와 [새롭게 부상하는 평가 접근방식의 품질을 확립하기 위한 평가 책임자의 필요성]을 강조한다. 이제 개념을 명확히 했으므로, 추가 연구는 평가의 개발 및 모니터링에 관련된 개인에 따라 검증 접근법, 사회적 관심사 및 이 개념의 운영화 사이의 교차점을 설명하는데 초점을 맞출 수 있다. 학생, 심사원, 관리자, 평가 위원회 또는 전문 기관의 구성원 등.
Findings from this concept analysis highlight society’s growing concern about the quality of assessment and a need for those responsible for assessment to establish the quality of newly emerging assessment approaches. Now that we have clarified the concept, further research can focus on elucidating the intersections between validation approaches, societal concerns and the operationalisation of this concept according to individuals involved in the development and monitoring of assessment, such as students, assessors, administrators, and members of assessment committees or professional bodies.
23 Eva KW, Bordage G, Campbell C, Galbraith R, Ginsburg S, Holmboe E, Regehr G. Towards a programme of assessment for health professionals: from training into practice. Adv Health Sci Educ Theory Pract 2016;21 (4):897–913.
32 Schuwirth LWT, van der Vleuten CPM. Programmatic assessment: from assessment of learning to assessment for learning. Med Teach 2011;33 (6):478–85.
33 Govaerts M, van der Vleuten CPM. Validity in work- based assessment: expanding our horizons. Med Educ 2013;47 (12):1164–74.
34 van der Vleuten CPM, Schuwirth LWT, Scheele F, Driessen EW, Hodges B. The assessment of professional competence: building blocks for theory development. Best Pract Res Clin Obstet Gynaecol 2010;24 (6):703–19.
35 Cook DA, Lineberry M. Consequences validity evidence: evaluating the impact of educational assessments. Acad Med 2016;91 (6):785–95.
38 Colliver JA, Conlee MJ, Verhulst SJ. From test validity to construct validity ... and back? Med Educ 2012;46 (4):366–71.
39 Cook DA, Brydges R, Ginsburg S, Hatala R. A contemporary approach to validity arguments: a practical guide to Kane’s framework. Med Educ 2015;49 (6):560–75.
46 Carraccio C, Englander R, van Melle E, ten Cate O, Lockyer J, Chan M-K, Frank JR, Snell LS. International competency-based medical education collaborators. Advancing competency-based medical education. Acad Med 2016;91 (5):645–9.
.2018 Jun;52(6):641-653.
doi: 10.1111/medu.13574.
Validity as a social imperative for assessment in health professions education: a concept analysis
Context:Assessment can have far-reaching consequences for future health care professionals and for society. Thus, it is essential to establish the quality of assessment. Few modern approaches to validity are well situated to ensure the quality of complex assessment approaches, such as authentic and programmatic assessments. Here, we explore and delineate the concept of validity as a social imperative in the context of assessment in health professions education (HPE) as a potential framework for examining the quality of complex and programmatic assessment approaches.
Methods:We conducted a concept analysis using Rodgers' evolutionary method to describe the concept of validity as a social imperative in the context of assessment in HPE. Supported by an academic librarian, we developed and executed a search strategy across several databases for literature published between 1995 and 2016. From a total of 321 citations, we identified 67 articles that met our inclusion criteria. Two team members analysed the texts using a specified approach to qualitative data analysis. Consensus was achieved through full team discussions.
Results:Attributes that characterise the concept were: (i) demonstration of the use of evidence considered credible by society to document the quality of assessment; (ii) validation embedded through the assessment process and score interpretation; (iii) documented validity evidence supporting the interpretation of the combination of assessment findings, and (iv) demonstration of a justified use of a variety of evidence (quantitative and qualitative) to document the quality of assessment strategies.
Conclusions:The emerging concept of validity as a social imperative highlights some areas of focus in traditional validation frameworks, whereas some characteristics appear unique to HPE and move beyond traditional frameworks. The study reflects the importance of embedding consideration for society and societal concerns throughout the assessment and validation process, and may represent a potential lens through which to examine the quality of complex and programmatic assessment approaches.
Programmatic assessment and Kane’s validity perspective
Lambert W T Schuwirth1,2 & Cees P M van der Vleuten2
도입 INTRODUCTION
의학 교육 평가 문헌은 의료 [역량을 구성하는 각각의 개별 구조construct]에 대해 ['성배'라는 것이 존재할 것이라는 가정] 하에 (다른 모든 것에 비해) [하나의 평가 기구의 본질적인 우월성을 입증하려는 연구]에 의해 오랫동안 지배되어 왔다. 이 담론의 대표적인 예로는 의학 문제해결의 평가에서 [객관식 문항]보다 [개방형 문항]의 선천적 우월성을 입증하려고 시도한 많은 연구가 있다.1-4 그러나 점점 더 평가의 내용이 그 형식보다 훨씬 더 중요한 역할을 한다는 것이 분명해졌다.2-5 더 중요한 것은 이러한 성배가 존재할 가능성이 매우 낮으며, 심지어 다른 맥락까지 적용될 가능성이 낮다는 인식이 증가하고 있다는 점이다. 대신, 각 평가 방법의 효용성은 항상 품질의 다양한 측면 사이의 절충이라는 관념이 자리를 잡게 되었다.
The medical education assessment literature has long been dominated by studies that try to demonstrate the intrinsic superiority of one assessment instrument over all others on the assumption that such a ‘holy grail’ for each of the separate constructs that make up medical competence will exist. Typical examples of this discourse include the many studies that have attempted to prove the innate superiority of open-ended questions over multiple-choice questions in the assessment of medical problem-solving.1–4 Increasingly, however, it has become clear that the content of an assessment plays a far more important role than its format.2–5 More importantly, there is increasing awareness that it is highly improbable that such a holy grail exists and even less likely that it will be applicable across different contexts. Instead, the notion that the utility of each assessment method is always a compromise between various aspects of quality has gained ground.
[평가의 질]을 더 높은 수준에서 평가해야 한다는 것이 더 일반적으로 받아들여졌을 때 한 단계 더 나아갔다. 따라서 개별 평가 방법의 수준에서 평가를 평가하기보다는 방법에 따라 평가의 품질을 결정해야 한다.8.9 이 관점의 두 가지 결과가 중요하다.
첫째로, 어떤 상황에서든 하나의 도구가 완벽하지 않을 수 있다는 것을 깨닫게 한다(실제로 거의 모든 악기는 완벽하지 않다).
둘째로, 평가 도구의 강점은 평가 프로그램 구축을 통한 유연하고 맞춤화된 접근방식에서 비롯된다는 것을 암시한다. [(거의) 완벽한 도구의 조합]보다 아마도 [덜 완벽한 구성요소를 세심하게 결합한 세트]가 더 강력한 평가 프로그램을 만들 수 있다.
A further step was taken when it became more generally accepted that the quality of assessment should be evaluated at a higher level. Thus, rather than evaluating an assessment at the level of the individual assessment method, the quality of the assessment should be determined across methods.8,9 Two outcomes of this view are important.
Firstly, it makes us realise that in any situation a single instrument may not be perfect (in reality almost all instruments are less than perfect).
Secondly, it implies that strength derives from a more flexible and tailor-made approach to building a programme. A combination of (near-) perfect instruments may result in a weaker programme than a carefully combined set of perhaps less perfect components.
예를 들어, 역량 영역(예: 미국 대학원 의학 교육 인증 위원회[ACGME] 또는 캐나다 CanMEDS 도메인의 왕립 의사 및 외과의사 대학(Royal College of Occessors and Occessors of CanMEDS domains10,11)의 개발의 맥락에서, 전통적인 접근방식은 각 역량 영역에 대해 하나의 우수한 기기가 개발되어야 하는 평가 프로그램을 지시할 것이다. 그러한 프로그램은 [1개의 도구 대 1의 역량 영역 설계]를 따를 것이다. 프로그램적 접근방식에서 하나의 기구는 학생과 교사 모두에게 다양한 역량 영역을 알릴 수 있으며, 역량 영역은 다양한 출처의 정보를 사용하여 평가된다. 따라서 1 : 1 관계보다는 소위 n : n 관계를 얻는다.12
For example, in the context of the development of competency domains (such as those defined by the US Accreditation Council for Graduate Medical Education [ACGME] or the Royal College of Physicians and Surgeons of Canada’s CanMEDS domains10,11), the traditional approach would dictate an assessment programme in which one superior instrument would require to be developed for each of the competency domains. Such a programme would follow a one-instrument-to-one-competency-domain design. In a programmatic approach one instrument can inform both students and teachers on various competency domains and a competency domain is assessed using information from various sources. Thus, rather than a 1 : 1 relationship, a so-called n : n relationship is obtained.12
완벽한 단일 도구가 없고 각 도구가 장단점(또는 표시, 부작용 및 금지)을 가진 것으로 간주되는 경우, 이것은 신뢰도나 건설 타당성 부족으로 인해 기각된 방법의 필요한 재평가로 이어져야 한다 (바이바, 긴 케이스, 구술 시험 등). 전통적으로 평가 도구의 가치가 다소 이분법적인 방법(좋음 대 나쁘음)으로 판단되었던 반면에, 이제는 [평가 프로그램의 장단점] 또는 [빌딩 블록으로서의 부가가치added value 측면]에서 재평가되고 있다.
If there is no single perfect instrument and each instrument is considered to have its advantages and disadvantages (or indications, side-effects and contraindications), this leads to a necessary reappraisal of methods that had been dismissed because of lack of reliability or construct validity, such as the viva, the long case, the oral examination, and so forth. Whereas the value of an instrument was traditionally judged in a more or less dichotomous manner (as good versus bad), it is now reappraised in terms of its strengths and weaknesses or its added value as a building block in an assessment programme.
타당도에 대한 Kane의 관점
KANE ON VALIDITY
본질적으로 타당성은 [문제의 평가가 평가하고자 하는 역량이나 성과 측면을 실제로 포착하는지]의 문제와 관련된다. 따라서 의료교육의 경우 평가 프로그램은 기업의 '의료 역량'을 포착하는 것을 목표로 한다. 역량이라는 entity는 [존재한다고 가정하지만, 직접 관측할 수 없다는 점에서 construct]이다. 따라서 관찰된 행동에서 유추해야 한다.
In essence, validity pertains to the question of whether the assessment in question actually captures the aspect of competence or performance it purports to assess. Thus, in the case of medical education, the assessment programme aims to capture the entity ‘medical competence’. Such an entity is a construct in that it is assumed to exist yet it cannot be observed directly. Therefore, it must be inferred from observed behaviour.
Kane은 특정 구조에 대한 평가의 타당성을 유추하는 것은 주장을 구축하고 검증하는 (그리고 반증하려는) 지속적인 과정이라고 말한다.13–15
Kane states that inferring the validity of an assessment for a certain construct is an ongoing process of building and verifying (and trying to falsify) arguments.13–15
관찰에서 점수까지
From observation to score
문제해결 능력 평가에서 전형적인 접근방식은 학생들이 다양한 의학적 사례에서 어떻게 수행하는지 관찰하는 것이다. 점수는 학생들이 질문에 대한 '원raw' 대답에서 도출되어야 한다. 물론 우리는 병력청취에서 질문한 관련 질문의 수, 수행된 관련 신체 검사의 수, 그리고 주문된 관련 실험실 시험의 수를 세어 모두 합쳐서 총점을 줄 수 있다.
A typical approach in the assessment of problem solving skills is to observe how students perform on various medical cases. A score must be derived from the ‘raw’ answers students give to questions. We could, of course, just count the number of relevant questions asked in history taking, the number of relevant physical examinations performed and the number of pertinent laboratory tests ordered, and add them all up to give a total score.
그러나 의학문제해결 및 전문지식에 관한 이론은 [전문가는 결론을 내리기 전에 반드시 더 많은 정보를 수집하지 않으며, 그보다는 '효율적'으로 정보를 수집한다]고 기술하고 있다.16–18 또한, 어떤 정보를 수집하는가에 관한 전문가들 사이에 개별적인 차이가 있다(사람에 따라 고유하다). 따라서, 위에서 설명한 방식으로 점수를 매기는 것은 관찰 결과를 점수로 적절하게 변환하는 데 도움이 되지 않을 것이다.
However, theories on medical problem solving and expertise state that experts do not necessarily collect more information before they come to a conclusion, but that they collect information more efficiently.16–18 In addition, there are individual differences between experts with respect to which information they collect (idiosyncrasy).17–19 Therefore, scoring in the manner described above would not serve to properly translate observations to scores.
관측 점수에서 우주 점수까지
From observed score to universe score
일반적으로 한두 건의 케이스는 후보자의 문제해결 전문지식에 대한 일반적인 결론을 도출하는 데 충분한 증거를 제공하지 않는다고 알려져 있다. 인지심리학 연구는 문제해결 전문지식의 영역별 특수성domain specificity 현상을 반복적으로 보여 주었다.23,24 따라서 긴 사례의 작은 표본은 일반적인 문제해결 능력에 대한 추론을 지원하지 않는다.
It is generally known that one or two cases never provide evidence sufficient to support the drawing of general conclusions about a candidate’s problem solving expertise. Research in cognitive psychology has repeatedly demonstrated the phenomenon of the domain specificity of problem-solving expertise.23,24 Therefore, small samples of long cases do not support inferences on general problem-solving ability.
그 결과, key-feature(KF) approach 접근법이나 의료 의사 결정에 초점을 맞춘 확장 매칭 항목과 같이 더 많은 수의 더 짧은 사례에 기초한 방법이 설계되었다.25–27
As a result, methods based on larger numbers of shorter cases, such as in the key-feature approach or in extended-matching items focused on medical decision making, have been designed.25–27
우주 점수에서 대상 도메인까지
From universe score to target domain
간단한 점수 체계와 좋은(넓지만 더 피상적인) 표본 추출 접근법을 통해 관찰된 점수에서 우주universe 점수까지의 좋은 추론을 이끌어내지만, 그 점수가 [의료에서 의사결정 능력]을 포착하고 있는가? 일련의 연구는 그러한 시험의 점수가 예상에 따라 작용한다는 것을 입증하기 위해 사용될 수 있다.
Key-feature approaches with simple scoring schemes and good (broad but more superficial) sampling approaches lead to a good inference from observed score to universe score, but do they capture medical decision-making ability? A series of studies may be used to demonstrate that scores on such tests behave according to expectations.
따라서 [우주 점수에서 목표 영역(의료 의사결정 기술)까지]의 추론을 뒷받침하기 위해서는 [질문에서 확인한 결정이 정말로 필수적이거나 핵심 기능의 결정을 대표한다는 가정]을 뒷받침하는 정보를 수집해야 한다.28,30
Thus, in order to support an inference from universe score to target domain (medical decision-making skills), information in support of the assumption that the decisions for which the questions ask are really essential or represent key-feature decisions must be collected.28,30
대상 도메인에서 구성으로
From target domain to construct
마지막으로, 의료 문제 해결은 단순히 서류 기반 또는 컴퓨터화된 사례에 대해 올바른 결정을 내리는 것 이상의 것을 수반한다. 실제 생활에서는 환자로부터 정보를 유도하는 능력(예: 의사소통 능력)과 정보를 선별하고 관련 없는 정보와 관련성을 구별하는 능력과 같은 많은 다른 요소들이 역할을 할 수 있다.
Finally, medical problem solving entails much more than simply making the right decisions on paperbased or computerised cases. In real life many other factors may play a role, such as ability to elicit information from a patient (e.g. communication ability), and ability to sift through information and distinguish relevant from non-relevant information.
즉, [키-기능 접근방식을 이용한 문제해결능력의 평가]가 [의료역량이라는 construct에 어떤 것을 더하는지]를 판단하는 것이 중요하다. 그 방법의 장단점은 무엇인가? 추가 방법을 사용하여 약점을 해결하거나 보완할 수 있는 방법은 무엇인가? 예를 들어, [키-기능 접근 점수]와 [미니-임상시험(미니-CEX)] 점수 사이의 시너지는 무엇인가? 전자는 높은 양의 낮은 충실도 평가를 기반으로 하고 후자는 더 적은 수의 충실도 시험 표본에 기초하고 있다.
In other words, it is important to determine what the assessment of problem-solving ability, using key-feature approaches, adds to the construct of medical competence. What are the strengths or weaknesses of the method? How can the weaknesses be addressed or compensated for by using additional methods? What, for example, is the synergy between key-feature approach scores and scores on mini-clinical examinations (mini-CEXs), where the former is based on a high quantity of low-fidelity assessment and the latter on fewer samples of high-fidelity testing?
케인의 타당성 관점을 보여주는 의학적 예
A medical example of Kane’s validity perspective
의학에서 BP는 직접 관찰할 수 없는 구조의 좋은 예다. 혈압은 일반적으로 환자의 건강 평가에 도움이 되도록 복용한다.
In medicine, BP is a good example of a construct that cannot be observed directly. Blood pressure is normally taken to aid in the evaluation of a patient’s health.
관찰에서 점수까지
From observation to score
환자의 BP를 확인할 때 의사는 음향(코롯코우 소리) 신호와 스피모노마노미터의 시각적 판독값을 수치값으로 전환해야 한다. 추론은 의사가 언제 판독을 해야 할지 알고, 스피모노미터가 너무 빨리 또는 너무 느리게 흘러내리지 않게 하고, 오른쪽 커프를 사용하는 등의 가정에 근거한다. 절차의 모든 측면이 올바르게 수행되어야만 관찰부터 점수까지의 유효한 추론이 이루어질 수 있다.
When taking a patient’s BP, the doctor must convert acoustic (Korotkow sounds) signals and a visual reading of the sphygmomanometer to a numerical value. The inferences are based on the assumption that the doctor knows when to take the reading, does not let the sphygmomanometer run down too quickly or too slowly, and uses the right cuff, and so forth. Only when every aspect of the procedure is performed correctly can a valid inference from observation to score be made.
관측 점수에서 우주 점수까지
From observed score to universe score
다음 추론은 관측치가 가능한 모든 관측치를 충분히 대표하는지 여부를 가리킨다. 이 예에서 이것은 하나의 측정치가 진단을 기초로 할 충분한 데이터를 제공하는지 여부를 가리킨다. 예를 들어 네덜란드 가이드라인은 고혈압은 BP를 한 번의 상담에서 두 번 측정하고 두 번째 상담에서 반복 측정해야 진단할 수 있다고 규정하고 있다.32
The next inference refers to whether the observations are sufficiently representative of all possible observations. In our example, this refers to whether one measurement provides sufficient data on which to base a diagnosis. The Dutch guideline, for example, stipulates that hypertension can only be diagnosed if BP is taken twice during one consultation and is repeated during a second consultation.32
우주 점수에서 대상 도메인까지
From universe score to target domain
이제 BP 측정 결과는 [환자의 심혈관 상태]에 대한 결론을 도출하는 데 사용된다. 이를 위해서는 심장의 배양, 맥박 증식 및 기타 결과를 통합하고 결론이 유효하기 위해 결과를 삼각측량해야 한다.
Now the results of the BP measurements are used to draw conclusions about the cardiovascular status of the patient. This requires heart auscultation, pulse palpation and other results to be incorporated and the results triangulated in order for the conclusions to be valid.
대상 도메인에서 구성으로
From target domain to construct
환자의 심혈관 상태는 이제 [환자의 건강 상태]를 확립하는 데 사용될 수 있지만, 보다 일반적인 결론을 뒷받침하기 위해 다른 출처로부터 추가 정보를 얻고 삼각측량을 해야 한다.
The patient’s cardiovascular status can now be used to establish his or her health status, but further information must be obtained from other sources and triangulated to support a more general conclusion.
추론하기
MAKING INFERENCES
케인의 견해로는 추론은 [논거argument]에 근거한다. 이것들은 양적인 것일 수도 있고 질적인 것일 수도 있지만, 그것들은 항상 이론에 근거하고 해석적인 것이어야 하기 때문에 [고립된 논거]로 존재할 수는 없다. 물론, 어떤 논쟁도 괜찮지는 않을 것이다. 검증 과정의 논쟁은 명확하고 구체적이며 일관성이 있어야 하며 완전해야 하며 타당해야 하며 검증가능해야 하며 반증가능해야 한다.14
In Kane’s view, inferences are based on arguments. These may be quantitative or qualitative, but they must always be theory-based and interpretive and thus cannot serve as arguments in isolation. Of course, not just any argument will do. Arguments in the validation process must be clear, specific, coherent, complete, plausible, verifiable and falsifiable.14
모든 이해관계자나 연구자가 자신의 논리를 따를 수 있도록 하기 위해서는 논거argument가 명확해야 한다. 따라서 argument에는 충분한 구체적인 내용이 포함되어야 한다. 일관성은 관련 추론 네트워크가 최종 결론과 결정이 관찰된 성과로부터 타당하게 뒤따를 수 있도록 요구한다. 이를 위해서는 논거가 완전해야 한다.
Arguments are required to be clear in order to ensure that every stakeholder or researcher is able to follow their logic. Therefore, the argument must include sufficient specific details. Coherence requires that the network of related inferences is such that the final conclusions and decisions follow plausibly from the observed performance. This requires the argument to be complete.
어떤 주장의 타당성plausibility은 종종 주장 그 자체로 자명할 수 있지만, 일부 주장의 경우 경험적 기초에만 의존하기도 하며, 반면 다른 어떤 주장의 경우 신중한 문서화 및 절차 정밀도에 의존할 수도 있다. 이것은 연역적 추론이나 귀납적 추론뿐만 아니라 확률적 추론과 같은 다른 형태의 방어적 추론도 포함할 수 있다.
The plausibility of the argument may often be self-evident, but some arguments will rely on empirical underpinning (preferably by not only verification, but also by multiple failed attempts at falsification) and others will rely on careful documentation and scrutiny of procedures. This may involve the employment of not only deductive reasoning or inductive inferences, but also of other forms of defeasible reasoning, such as probabilistic reasoning.
방어가능한 주장은 어떤 전제presupposition를 담고 있지만 반론counterargument이 강할 경우 이것이 전복될 수도 있다는 것을 수용하는 주장이다. 확률에 근거한 주장은 무효로 할 수 있지만defeasible, 순전히 연역적 논리에 근거한 주장은 그렇지 않다. 비록 이것이 평가 개발자나 연구자가 자신이 필요로 하는 어떤 논쟁이든 사용할 수 있는 대단한 관용도를 가지고 있다는 인상을 줄 수 있지만, 이것은 사실이 아니다: 모든 논쟁은 그것이 타당성을 위한 최적의 증거를 제공하기 위해 전략적이고 프로그램적인 방법으로 신중하게 선택되어야 한다.
Defeasible arguments are arguments that contain a presupposition but accept that this may be overthrown if counterarguments are strong. Probability-based arguments are defeasible, whereas those based on sheer deductive logic are not. Although this may give the impression that the assessment developer or researcher has great latitude to use whatever arguments he or she needs, this is not the case: every argument must be carefully chosen in a strategic and programmatic way to ensure that it provides the optimal evidence for validity.
프로그램 평가 및 추론
PROGRAMMATIC ASSESSMENT AND INFERENCES
평가 프로그램은 다양한 평가 구성요소(도구)를 사용할 것이다. 우리는 각 평가도구의 품질은 동일한 (심리측정적) 접근법을 사용하여 결정할 수 없다고 믿는다. 대신에, 우리는 프로그램의 특정 구성요소에 따라 평가에 다양한 방법과 절차가 사용되어야 한다고 생각한다. 이들 각각의 선택은 [평가도구의 구성 요소와 평가 프로그램이 포착하고자 하는 구인construct]의 특성에 대한 명확한 개념에 기초해야 한다.
A programme of assessment will use various assessment components (instruments). We believe that the quality of each of these cannot be determined using the same (psychometric) approaches. Instead, we think that a variety of methods and procedures should be used in assessment depending on the specific component of the programme. The choice of each of these must be based on a clear notion of the nature of the construct the component and the assessment programme are trying to capture.
우리는 이 방법들 중 어떤 것도 그 자체로 좋거나 나쁘다는 것을 보여주고 싶지 않다. 반대로, 특정 방법의 가치와 유용성은 추론을 얼마나 서포트하는지로부터만 도출될 수 있으며, 따라서 [특정 구인에 대한 평가의 타당성]에 도달할 수 있다.
We do not wish to illustrate that any of these methods are either good or bad in themselves. On the contrary, the value and usefulness of a particular method can only be derived from the support it lends to an inference and thus to the validity of the assessment for a certain construct.
추론 1. 관찰에서 점수까지
Inference 1. From observation to score
문항 작성 규칙
Item construction rules
이는 주제를 숙지한 학생이 항목에 정확하게 답하고 숙달하지 않은 학생이 오답할 확률을 최적화하기 위한 것이다.33,34 다시 말해 학생이 거짓 부정 또는 거짓 긍정 응답을 할 가능성을 최소화하는 역할을 한다.
These are designed to optimise the probability that a student who has mastered the subject matter will answer the item correctly and those without sufficient mastery will answer incorrectly.33,34 In other words, they serve to minimise the chance that a student will give a false negative or false positive response.
예를 들어, 학생이 가장 긴 옵션을 선택했기 때문에 객관식 질문에 정확하게 답하거나, 또는 소위 '블런더부스' 기법을 성공적으로 적용했기 때문에 개방형 질문에 정확하게 답하는 경우, 이 학생이 획득한 점수는 [주제 숙달이 아니라] '시험-숙련성'에 기초하였기 때문에 무효다.
If, for example, a student answers a multiple-choice question correctly because he or she has chosen the longest option, or answers an open-ended question correctly because he or she has successfully applied a so-called blunderbuss technique, the scores this student obtains are invalid as they are based on ‘test-wiseness’ and not on subject matter mastery.
구술 시험에서의 시험 전략과도 관련이 있다(예: 시험관의 취미를 알아내고 그것을 활용한다).
it also pertains to test-taking strategies in oral examinations (e.g. find out the hobby horses of the examiner and capitalise on them).
평가의 구조화
Structuring of the assessment
모든 응시자가 평가에서 요구하는 과제와 유사하게 대응해야 하는 ATLS(고급 외상 수명 지원) 절차적 능력의 평가와 같이 관심대상 구조construct가 균일하다면, 평가를 구조화하면 관측치에서 점수로의 변환이 개선된다. 그러나 후보자와 당면한 문제(예: 직장에 의한 평가와 같이)의 [상호작용의 질]이 문제라면, 구조화는 잘 작동하지 않는다.
If the construct of interest is uniformity, such as in the assessment of advanced trauma life support (ATLS) procedural skills, in which all candidates should respond similarly to the tasks demanded by the assessment, structuring the assessment improves the conversion of observations to scores. However, if the quality of the interaction between the candidate and the problem at hand (e.g. as in workplace-based assessment) is an issue, structuring does not work well.
한 가지 예는 고도로 구조화된 초기 객관적 구조 임상 검사(OSCE)이다. 많은 심사관들은 개별 항목에 대한 모든 점수를 합산하는 것이 OSCE가 평가하고자 하는 역량의 능력을 실제로 나타내지 않는다고 불평했다. 구인의 구체적인 정의에 따라 평가의 구조화는 경우에 따라 타당성 주장을 강화하지만 다른 경우에는 약화시킬 수 있다.
This is exemplified by early objective structured clinical examinations (OSCEs), which were highly structured. Many examiners complained that adding up all the scores on the individual items did not really indicate ability in the competence the OSCE was intended to assess. Depending on the specific definition of the construct, structuring the assessment may strengthen the validity argument in some cases, but weaken it in others.
채점 규칙
Scoring rules
물론 채점 규칙의 결정이 중요한 역할을 한다. 추측guessing에 대한 벌점 적용 여부에 대한 광범위한 논쟁이 이를 잘 보여주는 예다.35
Of course, the determination of scoring rules plays an important role. The extensive debates about whether or not to apply a penalty for guessing are a good example of this.35
[학생의 지식을 하나의 구성]으로 담아내려고 한다면, [willingness to guess]는 [관찰부터 점수까지의 추론]에서 오류의 원인이 된다. 대조적으로, [학생이 실제로 어떤 지식을 사용하려고 하는지]를 평가하는 데 관심이 있다면, educated guess를 하려는 의지는 구조 관련 분산(CRV)의 원천으로 보여질 수 있다.
If one tries to capture the student’s knowledge as a construct in his or her head, willingness to guess is a source of error in the inference from observation to score. If, by contrast, one is interested in assessing which knowledge the student is willing to actually use, willingness to make an educated guess may well be seen as a source of construct-relevant variance.
또한, [더 복잡한 채점 방법]이 일반적으로 더 많은 분산을 도입하지만 (구인 관련 분산인 경우가 드물기 때문에) [단순한 1-0 접근법]보다 본질적으로 더 나은 것은 아니다. 이것은 'Granularity'와 관련된 문제다. 지나치게 상세한 채점은 구성과 관련된 분산을 증가시킬 수 있다. 논문의 경우 10점 만점에 7.35점이 있으면 단순히 존재하지 않는 정확도를 나타낸다.
Further, more complicated scoring methods are not inherently better than simple 1-0 approaches19 because although they generally do introduce more variance, this is seldom construct-relevant variance. This is an issue related to ‘granularity’. Overly detailed scoring can increase the construct-irrelevant variance: a mark of 7.35 out of 10 for a thesis suggests an accuracy that is simply not there.
문항 분석
Item analyses
[문항 분석]은 유효성에 부정적인 영향을 미칠 수 있는 항목을 식별할 수 있기 때문에 관찰에서 점수로 추론을 개선하는 데 사용될 수 있다. 그러나 이 능력은 평가에서 시험하고자 하는 구성에 따라 달라진다.
Item analyses can be used to improve the inference from observation to score because they can identify items that might have a negative influence on validity. However, this ability depends on the construct the assessment aims to test.
만약 구조물이 균질하고 안정적이라고 가정한다면, 문항 분석은 종종 항목들의 제거로 이어진다. 이것은 구성 무관련 분산(CIR)을 제거함으로써 시험의 측정적 특성을 개선한다.
If the construct is assumed to be homogeneous and stable, item analyses often lead to the elimination of items. This improves the measurement properties of the test by weeding out construct-irrelevant variance.
그러나 시험이 [본질적으로 의미 있고 관련성이 있는 항목의 집합]으로 보여지는 경우(ATLS 교육에서 사례 상황처럼) 문항분석 결과는 어떤 항목을 주의 깊게 검토해야 할 필요성을 보여주기 위한 것이다. 이를 통해서 그 문항이 실제로 구인과 관련이 있고, 모호하지 않으며, 의미있는지를 확인하게 된다.
If, however, the test is seen as a collection of intrinsically meaningful and relevant items (as in the case situations in ATLS training), item analysis results can only serve to flag up the need to carefully review an item and check whether it is actually as relevant, unambiguous and meaningful as it was thought to be on construction.
관련성 평가
Relevancy evaluations
항목이나 평가 부분이 관련되어야 한다는 완전한 합의가 있을 수 있지만, [관련성]이 정의되는 방법 역시 구인에 대한 이론적 개념에 달려 있다.
There is probably complete agreement that items or assessment parts need to be relevant, but how relevance is defined is again dependent on theoretical conceptions about the construct.
관련성은 대부분의 사람들이 알고 있는 것으로 정의될 수 있다. 그 경우에 높은 p-값(정답률)은 타당성 주장을 구성한다.
관련성을 역량 있는 사람이 알아야 할 것으로 정의된다면, 높은 항목-총 상관관계(Rit)와 함께 낮은 p-값이 타당성에 대한 더 나은 주장이 될 것이다.
관련성을 모든 사람들이 알아야 할 것으로 정의된다면, p-값(정답률)과 총점-문항 상관관계(Rit)는 관련성에 유용한 매개변수가 아니다. 이 경우, 어떤 항목의 관련성에 대한 질적 논거가 필요하다. 예를 들어, 학생이 갑상선의 생물피드백 메커니즘과 그 호르몬을 이해하지 못한다면, 실험실 결과를 잘 해석하지 못할 것이다.
Relevance can be defined as what most people know. In that case high p-values would constitute an argument for validity.
If relevance is defined as what competent people need to know, low p-values in conjunction with high item–total correlations (Rit) would be a better argument for validity.
By contrast, if relevance is defined as what all people should know, p-values and Rit are not useful parameters for relevancy. In this case, qualitative arguments for the relevancy of an item need to be made: for example, if a student doesn’t understand the biofeedback mechanism of the thyroid gland and its hormones, he or she will not interpret laboratory results well.
보고 및 요약
Reporting and summarising
구두 평가, 포트폴리오 및 직장 기반 평가에서 [보고 및 요약]하는 것은 정보를 '점수'로 변환하는 한 방법이다. 평균, 표준 편차 등은 정량적 방법에서 많은 양의 데이터를 점수로 변환하는 표준 방법을 나타내는 반면, 정성적 평가에서 전문가 요약은 이러한 역할을 한다.
Reporting and summarising in oral assessments, portfolios and workplace-based assessments is one way of converting information to ‘scores’. Whereas means, standard deviations and so forth represent standard ways of converting large amounts of data into scores in quantitative methods, in qualitative assessment an expert summary plays this role.
정량적 평가에서 뒷받침되는 증거는 정확한 (통계적) 기술 기법과 정확한 계산의 적용에 기초한다. 정량적 평가에서 supporting evidence는 평가자의 전문지식과 그것의 발전(교사 훈련)에 기초한다.
In quantitative assessment methods the supporting evidence is based on the application of the correct (statistical) descriptive techniques and correct calculations. In the qualitative context it is based on examiner expertise and its development (teacher training).
평가도구의 사용가능성
Feasibility of the instrument
사용자는 평가 도구를 사용하는 데 완전히 익숙해야 한다. 그렇지 않고서야 어떻게 자신의 관측을 정확하게 점수로 환산할 수 있을까? 사용자가 평가 도구를 사용하여 관찰을 채점하는 방법이나 특정 관찰을 채점하는 위치에 대해 확신할 수 없는 경우 관찰에서 점수까지의 추론 강도는 심각하게 제한된다. 또 다른 상황은 평가 도구가 사용하기에 너무 복잡하여(예: 60항목 OSCE 양식) 관측자의 '인지 부하'가 [수행능력을 관찰하고 판단]하기보다는 [평가도구를 관리하는 방법을 알아내는 데 이용되는 경우]에 존재한다. 따라서 [관찰에서 점수까지의 타당한 추론은 평가도구가 충분히 사용자 친화적이거나 시험관이 훈련을 통해 도구에 세심하게 숙지된 경우]에만 할 수 있다.
The user must be fully comfortable with using the assessment instrument. How else can he or she correctly translate his or her observations into scores? If the user is unsure about how to score an observation using the instrument or where to score certain observations, the strength of the inference from observation to score is seriously limited. Another such situation exists if the instrument is so complicated to use (e.g. a 60-item OSCE form) that the observer’s ‘cognitive load’ is occupied by finding out how to manage the instrument rather than by observing and judging the performance. A valid inference from observation to score can therefore only be made if the instrument is sufficiently user-friendly or the examiner has been carefully familiarised with the instrument through training.
요약하면, 관찰에서 점수까지의 모든 추론에 대해 타당성 인수는 다음을 기반으로 한다.
측정 도구제작에 사용되는 품질 절차,
사용자 및 사용자의 전문성
양 요인 간의 상호 작용
In summary, for all inferences from observation to score, validity arguments are based on
the quality procedures used to construct the measurement instrument,
the expertise of the user and
the interplay between both factors.
우리는 각 (타당도) 주장의 강도가 [주장이 구인의 이론적 개념을 지지하는 정도]에 의해 결정된다는 것을 충분히 강조하고자 한다.
We cannot stress enough that the strength of each argument is determined by the extent to which it supports the theoretical notions of the construct.
추론 2. 점수에서 우주 점수까지
Inference 2. From scores to universe scores
이 두 번째 추론은 종종 '신뢰성'이라고 불린다. 이 개념은 [신뢰할 수 없는 시험은 절대 타당할 수 없다]는 격언의 기초가 된다. 그러나 그 관계는 그것보다 더 미묘한 뜻이 있다. 관측된 점수로부터 우주 점수로의 추론은 [관측된 점수의 집합이 가능한 모든 점수의 우주를 충분히 대표한다는 주장]에 근거한다.
This second inference is often referred to as ‘reliability’; this notion is the basis for the adage that unreliable tests can never be valid. However, the relationship is more nuanced than that. The inference from observed scores to universe scores is based on the argument that the observed set of scores is sufficiently representative of the universe of all possible scores.
그러므로 이 '유니버스'의 본질에 대한 생각은 필수불가결한 것이다.
예를 들어, 테스트-재테스트 상관관계는 유니버스(대상 영역 또는 구성물)가 [내부적으로 일관성이 있거나 동질적이라는 가정] 하에 우주 표현에 대해서만 유효한 추론이다.
만약 ['유니버스'가 이질적인 것으로 가정]한다면, 높은 시험-재고 상관관계를 찾는 것은 논리적이지도 않고 그럴듯하지도 않을 것이다. 이 경우 시험-보정 신뢰성은 양호한 우주 일반화보다는 불량함을 나타낼 수 있다.36
An idea of the nature of this ‘universe’ is therefore indispensible.
For example, test–retest correlations are only valid inferences for universe representation under the assumption that the universe – the target domain or the construct – is internally consistent or homogeneous.
If the ‘universe’ is assumed to be heterogeneous, it will be neither logical nor plausible to find high test–retest correlations. In this case test–retest reliability would indicate poor rather than good universe generalisation.36
고전 시험 이론
Classical test theory
크론바흐의 알파 공식과 쿠더-리처드슨 공식과 같은 고전적 시험 이론(CTT)에 기초한 절차는 시험-재시험 상관관계의 개념을 참조한다. 실제로 그들은 시험 결과의 내부 일관성을 결정한다. 물론 우리가 [유니버스 자체가 너무 동질적이어서, 독립적으로 채취한 두 표본이 동일한 결과를 초래할 것으로 예상할 수 있다고 가정]한다면, 시험-재시험 상관관계는 우주의 일반화에 유용한 접근법일 것이다. 이러한 가정에서는, 관측치 사이의 모든 변동이 일반적으로 구성 관련 분산(CIR)으로 처리된다는 결론을 얻는다.
Procedures based on classical test theory (CTT), such as Cronbach’s alpha and Kuder–Richardson formulas, refer to the notion of a test–retest correlation. In fact, they determine the internal consistency of the test results. Of course a test–retest correlation is only a useful approach to universe generalisation if we assume that the universe itself is so homogeneous that two independently taken samples can be expected to lead to the same results. A consequence of this assumption is that all variation between observations is generally treated as construct-irrelevant variance.
또 다른 가정은 관측 중에 측정 개체가 변하지 않는다는 것이다. 우리가 이전에 사용한 BP와 지능의 예에서 우리는 전자가 시시각각으로 변하고 후자가 안정감을 유지할 것으로 기대한다. 만약 우리가 낮 동안 두 가지 측정을 반복하고 대상 내에서 완벽한 일치와 대상들 간의 체계적 차이를 찾는다면, 우리는 이것을 지능 테스트의 타당성과 BP 측정의 타당성을 지지하는 주장으로 간주할 것이다.
Another assumption is that the object of measurement does not change during the observations. In the examples we used before, of BP and intelligence, we expect the former to change from moment to moment and the latter to remain stable. If we were to take repeated measurements of both during the day and were to find perfect agreement within subjects and systematic differences between subjects, we would regard this as an argument in favour of the validity of the intelligence test and against that of the BP measurement.
단수성이나 동질성이 구조에 관한 이론의 일부가 아니거나 질적 데이터가 수집되는 경우 CTT는 잘 작동하지 않는다.
In cases in which unidimensionality or homogeneity are not part of the theory about the construct or where qualitative data are collected, CTT does not work well.
일반성 이론
Generalisability theory
일반화가능도 이론(GT)은 훨씬 유연하다. 사용자가 어떤 분산 요소를 구성 관련 요소로 간주하고 구성 관련 요소로 간주해야 하는지 정확하게 정의해야 한다. 그러나, 그것은 여전히 하나의 우주 점수가 있고 이것은 함축성을 가지고 있다는 개념에서 출발한다. 예를 들어 OSCE에 있는 관측소의 총 점수에 대해 일반적 타당성 분석을 수행하는 경우, [기본적인 가정은 '스킬'의 특성이 [소생 스테이션의 점수]와 [복부 검사 스테이션의 점수]를 결합하는 행위를 방어할 수 있으며, 이 두 가지를 서로 교환할 수 있다는 것이다]. 또 다른 예로는 미니 CEX가 있는데, 여기서 일반 가능성 분석은 역사 학습 기술이 인문학적 특성과 완전히 상호 호환된다는 자동 가정을 해야 한다. 이런 가정하에, [어리석은 질문을 하지만 숙련된 의사소통 방식으로 그렇게 하는 사람]은 [불쾌한 방식으로 올바른 질문을 하는 사람]과 동일한 정도로 유능하다.
Generalisability theory (GT) is much more flexible. It requires the user to define exactly which elements of variance are to be seen as construct-relevant and which as construct-irrelevant. It still, however, starts from the notion that there is one universe score and this has implications. If, for example, a generalisability analysis is performed on the total scores of the stations on an OSCE, the underlying assumption is that the trait ‘skills’ is such that it is defensible to combine the scores on a resuscitation station with those on an abdominal examination station, and that both are interchangeable. Another example is the mini-CEX, where a generalisability analysis must make the automatic assumption that history-taking skills are completely interchangeable with humanistic qualities. On this assumption, someone who asks stupid questions but does so in a skilled communicative manner is as competent as someone who asks the right questions in an unpleasant manner.
누가 옳다는 말은 없지만, 구성 요소인 '기술'의 성격에 대해 크게 다른 견해가 있는 것은 분명하다.
There is no saying who is right, but it is clear that there are hugely different views on the nature of the construct ‘skills’.
확률론적 접근법
Probabilistic approaches
또 다른 이슈는 모든 상황이 동일한 양의 샘플링을 필요로 하는지에 관한 것이다. 7개의 미니 CEX 관측에서 매우 형편없거나 매우 잘한 후보자는 정말로 여덟 번째가 필요한가?
Another issue concerns whether every situation requires the same amount of sampling. Does the candidate who has performed very poorly or extremely well on seven mini-CEX observations really require an eighth?
하나의 이론은 [지식이 하나의 특성의 구인]이라는 가정으로부터 출발할 수 있는데, 이 가정은 [학습자의 능력이 높을수록 정답을 맞출 확률이 균일하게 증가할 것]이라는 것을 암시한다(예를 들어, 학생이 좌심장 장애에 대해 좋은 지식을 가지고 있다면, Frank-Starling 메커니즘과 심장 생리학에 대해서도 알고 있다고 가정해도 무방할 것이다). 그러한 이론적 맥락에서 [문항 반응 이론(IRT) 모델은 일반화의 유용한 수단]이다.
One theory may start from the assumption that knowledge is a construct of a single trait which implies that there will be a uniform increase in the probability that a candidate will give a correct answer with increasing ability (e.g. if a student has good knowledge about left-sided heart failure, it will be safe to assume that he or she knows about heart failure, about Frank–Starling mechanisms and about heart physiology). In such a theoretical context, item response theory (IRT) models are useful means of generalisation.
그러나 지식의 소유가 [서로 관련 없는 일련의 항목]으로 보이는 상황에서(예를 들어, 학생이 계면활성제가 제2형 폐렴구에 의해 생산된다는 것을 안다면, 이것은 그가 발광기 테레스 근육의 종이와 삽입이 무엇인지 자동적으로 안다는 것을 의미하지는 않는다), IRT는 덜 유용하고 이항 모델과 같은 다른 모델들은 덜 유용할 수 있다. 좀 더 적용이 되다37
In a situation in which the possession of knowledge is seen as an unrelated set of items (e.g. if a student knows that surfactant is produced by type II pneumocytes, this does not automatically mean that he or she knows what the origo and insertion of the pronator teres muscle are), IRT is less useful and other models, such as binomial models, may be more applicable.37
정보의 포화도
Saturation of information
정보 접근법의 포화상태는 정성적 연구 방법론에서 온 것이다. 만약 우리가 [구인이 이질적이고 비차원적]이라고 가정하거나 이론화한다면, [내부 일관성 측정은 일반화를 위한 최선의 방법이 아니다]. 정보의 포화상태는 기본적으로 새로운 관찰이 이미 획득한 정보에 중요한 새로운 정보를 추가하지 않는다는 것을 의미한다. 이는 추가 진단이 진단이나 치료 작용을 바꾸지 않으면 명령해서는 안 된다는 진단 격언과 견줄 만하지만, 하나의 진단만 할 수 있다고 규정하지는 않는다.
Saturation of information approaches originate from qualitative research methodologies. If we assume or theorise the construct to be heterogeneous and non-dimensional, internal consistency measures are not the best way to generalise. Saturation of information basically means that new observations do not add important new information to that already obtained. This is comparable with the diagnostic adage that if additional diagnostics do not change the diagnosis or the therapeutic actions, they should not be ordered, but it does not stipulate that only one diagnosis can be made.
특히 학습을 위한 평가 접근방식에서 침상 예절을 목표로 하는 평가 구성요소를 설계하고자 한다면, 모든 관측치를 점수로 변환하고 일반적 타당성 계수를 계산하는 것은 실제로 그러한 복잡한 현상의 평가에 대한 정의가 되지 않을 것이다. [새로운 관찰]이 [후보가 어떻게 하고 있는지]에 대한 [정보의 만화경]에 어떤 것을 더해줄 것인지에 대해 추측하는 것은 훨씬 더 유용하고 정보가 풍부하다.
If one wants to design an assessment component aimed at bedside manners, especially from an assessment-for-learning approach, converting all observations to a score and calculating the generalisability coefficient would not really do justice to the assessment of such a complex phenomenon. Making assumptions about whether a new observation would add anything to the kaleidoscope of information about how a candidate is doing is much more useful and information-rich.
신뢰도
Credibility
비록 권위에 기반한 주장이 현재 유행하고 있지는 않지만, 물론 [신뢰성]의 문제는 유니버스의 일반화에 역할을 한다. 진단 전문지식에 대한 연구는 경험 많은 전문가들이 진단과 치료에 대한 유효한 결정에 도달하기 위해 정보가 덜 필요하다는 것을 보여준다. 이것은 평가 분야에도 쉽게 적용될 수 있다. 관찰에서 유니버스 점수에 이르는 추론을 함에 있어서, 많은 맥락에서 [전문가가 초보 평가자보다 더 적은 수의 관찰을 필요로 하는 것]이 일반적일 가능성이 높다. 따라서 관찰된 대 우주 점수 추론 주장은 초보자가 추론을 하는 것보다 [전문가 평가자가 추론을 하는 경우]에 더 강력하다.
Although authority-based arguments are not in vogue at present, the issue of credibility does, of course, play a role in universe generalisation. Research in diagnostic expertise shows that experienced experts need less information to reach valid decisions about diagnosis and treatment. This can be easily translated to the assessment field. It is highly likely – and, in many contexts, normal – that an expert requires fewer observations than a novice assessor to make the inferences from observation to universe score. Therefore, the observed-to-universe-score inference argument is stronger if the inference is made by an expert assessor than by a novice.
샘플링 스키마
Sampling schemas
샘플링 스키마(예: 청사진)는 샘플링할 도메인과 우주에 대한 관찰 샘플(항목, 미니-CEX 등)의 [대표성]을 바탕으로 한 인수에 의한 우주 일반화 추론을 지원한다.
Sampling schemas – such as blueprinting – support the universe generalisation inference by arguments based on the domain to be sampled and the representativeness of the sample of observations (items, mini-CEXs, etc.) for the universe.
우주를 동질적으로 보더라도, 표본 추출은 모든 원치 않는 분산원을 평균화할 수 있을 만큼 충분히 넓어야 한다.
이와는 대조적으로 우주를 이질적인 것으로 보는 경우, 표본 추출은 우주의 모든 측면이 표본에 포함되도록 해야 한다.
Even if the universe is seen as homogeneous, sampling must be broad enough to average out all unwanted sources of variance.
By contrast, if the universe is seen as heterogeneous, sampling must be such that all aspects of the universe are included in the sample.
추론 3. 우주 점수에서 대상 도메인까지
Inference 3. From universe score to target domain
프로세스 중 어느 시점에서 [대표 결과]는 [대상 영역에 대한 결론]을 도출할 수 있는 방식으로 [결합]되어야 한다. 평가 프로그램에서 이것은 다양한 계측기의 결과를 조합할 것을 요구한다.
At some point during the process the representative results must be combined in such a way that conclusions about the target domain can be drawn. In a programme of assessment this requires that the results of various instruments be combined.
이는 표준이 무엇인지뿐만 아니라 다양한 도구로부터 얻은 결과(특히 양적 정보와 질적 정보를 결합한 경우)를 어떻게 결합할지에 대해서도 의사결정을 내릴 것을 요구한다.
This demands that decisions be made not only about what the standards are, but also on how to combine the results of various instruments (especially if they combine quantitative and qualitative information).
표준설정
Standard setting
표준 설정은 평가에서 크게 논의되는 사안이다. 이는 타겟 영역에 대한 [이분법적 yes/no 결정에 도달하기 위해 많은 측정 정보를 줄이는 최적의 방법]에 관한 것이기 때문이다. 다시 한번 추론의 유형과 주장의 강도는 대상 영역의 이론적 개념에 따라 달라진다.
Standard setting is a heavily debated issue in assessment. This is logical because it concerns the optimal way to reduce much of the measurement information to arrive at a dichotomous yes ⁄ no decision about the target domain. Again, the type of inferences and the strength of the argument depend on the theoretical notion of the target domain.
[특정 시점에서 숙달되어야 하는 모듈형 대상 영역](예: 무릎 검사 수행 능력)의 경우, 일반적으로 표준 설정은 [최소 허용 수준의 숙달성]을 정의하기 위해 사용된다.
[종단적 구성 요소](예: 진행률 테스트)는 전체 기간life 동안 지속적으로 개선되는 특성을 평가한다. 이 경우 상대적 또는 투입적ipsative 표준(훈련 단계나 또래 집단 또는 후보자의 과거 성과에 상대적)이 더 적용된다.
For modular target domains (e.g. ability to perform an examination of the knee), which should be mastered by a certain time-point, standard setting is typically used to define the minimally acceptable level of mastery.
Longitudinal components (e.g. progress testing) assess characteristics that constantly improve during life. In these cases, relative or ipsative standards (relative to the phase of the training or a peer group or relative to the candidate’s past performance) are more applicable.
역학 또는 기준 기반 접근 방식
Epidemiological or criterion-based approaches
[수치적 결과]가 대상 영역의 기준으로 정의될 수 있는 경우, 이 세 번째 추론의 주장은 양성 또는 음성 예측 값과 승산비에 기초할 수 있다. 이러한 경우, 수신기 작동 특성(ROC) 곡선을 사용하여 추론 주장을 뒷받침할 수 있다.
In cases in which a numerical outcome can be defined as a criterion for the target domain, the arguments in this third inference can be based on positive and negative predictive values and odds ratios. In such cases, receiver operating characteristic (ROC) curves can be used to support the inference argumentation.
그러나 수치적 접근만이 역학 논쟁의 혜택을 볼 수 있는 것은 아니다. 몇몇 더 [이론적인 역학 개념]도 유용하다. 긍정적인 예측가치에 대한 아이디어는, 논리적으로, 고학년 학생들은 저학년 학생들과는 다른 유급률failure rate을 보여야 한다. 왜냐하면 간단히 말해서, 지속적으로 이뤄진 선발 과정으로 인해 역량이 부족한 학생이 수업에 남아있을 가능성이 감소하였기 때문이다. 따라서 1년차 코호트에서 25%의 failure rate가 허용된다고 간주되는 경우, 이는 최종 학년 그룹에서 동일한 failure rate가 허용된다는 것을 의미해서는 안 된다.
However, not only numerical approaches can benefit from epidemiological arguments. Some more theoretical epidemiological concepts are also useful. The idea of the positive predictive value gives us to understand that, logically, senior year classes should show dissimilar failure rates to more junior classes, simply because the ongoing selection process has decreased the a priori probability that an incompetent student will remain in the class. Thus, if a failure rate of 25% is considered acceptable in a first-year cohort, this should not mean that the same failure rate is acceptable in a final-year group.
보정, 연결 및 데이터 정렬
Compensation, conjunction and collation
대상 영역에 대한 좋은 추론을 도출하기 위해서는 서로 다른 평가 요소들을 결합해야 한다. 그러나 정보를 결합하는 특정 방법을 무작위로 선택하는 것은 논쟁의 강력한 근거를 제공하지 못한다.
In order to arrive at a good inference about the target domain, separate assessment elements must be combined. However, randomly choosing a certain method of combining information does not provide a strong basis for argumentation.
내용이 같을 경우 형식이 다르더라도 사물things이 잘 일반화된다는 견실한 연구에도 불구하고 2,3,5 우리는 의미 있는 내용보다는 형식이 비슷한 경우(예: 복부 검사와 무릎 검사의 OSCE 스테이션)에 요소들을 결합하는 경우가 많다.
Despite the robust finding that things generalise well across formats if the content is the same and vice versa,2,3,5 we often combine elements because they are of the same format (e.g. OSCE stations on abdominal examination and knee examination) rather than because they have similar meaningful content.
이것은 본질적으로 스킬이란 것을 [관련성이 있는 관찰된 능력의 선별된 집합]이 아니라 [단차원적 특성]으로 보는 암묵적 개념에 기초한다. 후자(단차원적 특성)에서는 보상compensation이 대상 영역에 추론을 하는 가장 좋은 방법이며, 전자(본질적으로 관련있는 관찰된 능력의 집합) 에서는 결합conjunction이 가장 좋은 방법이다.
This is based on the implicit notion of skills as a unidimensional trait, rather than as a selected set of intrinsically relevant observed abilities. In the former, compensation is the best way of making an inference to the target domain; in the latter conjunction is.
다양한 출처 또는 평가 요소의 정보가 결합되어야 하는 경우(예: 무릎 검사에 관한 OSCE 스테이션과 무릎 해부학에 초점을 맞춘 서면 검사의 부분), 결합collation과 삼각 측정이 논쟁에 더 적합한 기초가 된다. 여기서 [삼각측량을 행하고 해석하는 사람의 인간의 판단과 전문지식]은 추론의 완전성과 타당성의 기초를 형성한다 (이는 마치, 거의 같은 방식으로, 나트륨 수치와 갈증 불만사항의 조합에 의미를 부여하기 위해서는 의사의 전문지식과 필요한 것과 같다). 9,38,39
If information from various sources or assessment elements needs to be combined (e.g. an OSCE station on knee examination and the part of a written examination that focuses on knee anatomy), collation and triangulation are more suitable bases for argument. Here, human judgement and the expertise of the person doing and interpreting the triangulation formthe basis for the completeness and plausibility of the inference (in much the same way as the expertise of the doctor is needed to make meaning of the combination of information on sodium level and a thirst complaint).9,38,39
(Collate: to bring together different pieces of written information so that the similarities and differences can be seen:)
회원조회
Member checking
멤버 체크는 평가 과정에 대한 다양한 기여자의 견해만 포함하는 평가 프로그램의 모든 프로세스를 의미하지만(예: 360도 접근 방식), 또한 다음의 것들을 지속적으로 평가할 수 있도록 설계된 내부 단계도 포함한다.
대상 영역에 관한 중간 및 최종 결론이 이러한 기여자contributor의 견해와 일치하는지 여부
이러한 관점에 기초하여 작성된 추론이 유효한지 여부.
Member checking refers to all processes in an assessment programme that not only includes the views of various contributors to the assessment process (such as in a 360-degree approach), but also includes in-built steps designed to continually evaluate
whether the intermediate and final conclusions with respect to the target domain accord with the views of these contributors and
whether inferences made on the basis of these views are valid.
따라서, 멤버 체크는 대상 영역에 관한 최종 결정과 결론에 대한 [모든 행위자actor의 소유권ownership을 지지]하고, 따라서 추론의 타당성을 지지한다.
As such, member checking supports the ownership of all actors of the final decisions and conclusion with respect to the target domain and thus to the plausibility of the inference.
이러한 추론을 위해 양적 방법과 질적 방법 모두 이용할 수 있다.
순수하게 양적인 결과를 조합할 필요가 있을 때에는, 보상compensation과 연계conjunction, 예측 가치predictive value 등의 문제가 더 설득력을 갖는다.
질적 결과(질적 결과만 또는 양적 결과와 연계하여)를 사용할 때에는, 인간의 판단력이 역할을 하므로, [판단을 내리는 사람들의 전문성(교사 훈련)과 신뢰성]이 주장argument의 필수 요소다.
For this inference, both quantitative and qualitative methods are available.
Whenever purely quantitative results need to be combined, issues such as compensation and conjunction, and predictive values, are more convincing.
Whenever qualitative results are used (either in isolation or in conjunction with quantitative results), human judgement plays a role, and thus the expertise (teacher training) and credibility of the people making the judgements are necessary elements of the arguments.
추론 4. 대상 도메인에서 구성으로
Inference 4. From target domain to construct
기본적으로 앞의 두 가지 추론에 사용된 것과 동일한 방법과 절차를 사용하여 [대상 도메인에서 구성으로] 추론한다. 의료 역량competence의 구성을 위해, 특히 이 construct을 일련의 역량competency 영역으로 보는 현재 통용되는 관점에 비추어 볼 때, 이러한 [역량 영역competency domains이 최종 구인final construct을 구성하는 방법]에 대한 이론적이고 실질적인 개념을 갖는 것이 중요하다.
Basically the same methods and procedures used in the previous two inferences are used to make inferences from target domain to construct. For the construct of medical competence, especially in the light of the currently popular view of this construct as a set of competency domains, it is important to have a theoretical and practical notion of how these competency domains make up the final construct.
최종적인 비유로서의 건강은 세계보건기구 40에 의해 '... 육체적, 정신적, 사회적 복지가 완전한 상태일 뿐 질병이나 병약함의 부재는 아니다.'40 건강에 대한 이러한 정의는 이론적으로 유용한 구인이지만, 어떤 실제 환자에서도 거의 달성되지 않을 것이기 때문에 의료실무에서는 무용지물이다. 실제 현장에서는, [건강]은 [환자와 의사 모두 그 과정의 결과에 만족하고 있으며, 더 이상의 행동이 필요하지도, 바라지도 않는다고 결정했다는 의미]로 더 자주 이용된다.
Health as a final analogy is defined by the World Health Organization40 as: ‘...a state of complete physical, mental and social well-being and not merely the absence of disease or infirmity.’40 This is a useful theoretical construct, but it is useless in medical practice because it will almost never be attained in any real patient. In practice, health is more often used in the sense that both the patient and doctor are satisfied about the outcome of the process and have decided that further actions are neither needed nor wanted.
[CanMEDS 및 ACME 역량에 정의된 것과 같은] 역량 영역은 이론상 유용하지만, 현재로서는 평가 목적으로 무언가를 해결해주기보다는 더 많은 문제를 일으키는 구인construct을 형성한다.
어떤 정보를 어떤 역량에 매핑해야 하는가?
서로 다른 역량에 매핑되는 정보를 어떻게 처리해야 하는가?
한 가지 역량에 매핑되는 서로 다른 정보 소스를 어떻게 관리해야 하는가?
역량이 서로 보상할 수 있는가, 아니면 서로 결부적으로 다루어야 하는가?
Competency domains, such as those defined in the CanMEDS and ACGME competencies, are useful in theory, but, for assessment purposes, they form a construct that currently creates more problems than it solves.
What information should be mapped onto which competency?
How should we deal with information that maps onto different competencies?
How should we manage different sources of information that map onto one competency?
Can competencies compensate for one another or should they be treated conjunctively?
또 다른 논의의 쟁점이 훨씬 더 중심적일 수 있다. 의료 역량은 [모든 상황]에서 프로토콜에 부합하는 방식으로 행동할 수 있는 능력인가, 아니면 진단, 의사소통 및 치료 결정을 [각 상황에 최적으로 적용할 수 있도록 충분히 유연한 방식으로 행동]할 수 있는 능력인가? 전자에서는 추론에 대한 더 구조화된 접근법이 더 그럴듯하다. 후자에서는 좀더 해석적인 주장이 나와야 한다. 우리는 우리가 [평가하고자 하는 구인이 충분히 명확하고 그것에 대한 모든 이론적 개념이 충분히 구체적일 때에만 타당성확인의 주장이 만들어질 수 있다]는 것을 충분히 강조하고자 한다.
Another issue of discussion may be even more central. Is medical competence the ability to act in a manner that accords with protocol in every situation or is it the ability to be act in a manner that is sufficiently flexible to allow for the optimal adaptation of diagnostic, communicative and therapeutic decisions to each situation? In the former, more structured approaches to inferences are more plausible. In the latter, more interpretative arguments must be made. We cannot stress enough that the arguments of validation can only be made if the construct we want to assess is defined clearly enough and when all theoretical notions about it are sufficiently concrete.
결론 CONCLUSIONS
우리는 여기서 의료 역량의 평가의 타당성은, 특히 평가 프로그램에 기초하는 경우, 각각은 일관성이 있어야 하지만, 또한 일관되고 일관성 있는 하나의 주장 시리즈를 형성하는 데 최대 기여해야 하는 추론 프로그램에 기초해야 한다고 주장해왔다.
We have argued here that the validity of the assessment of medical competence – especially if it is based on a programme of assessment – is based on a programme of inferences, each of which must be coherent, but which must also contribute maximally to the forming of one consistent and coherent argumentation series.
.2012 Jan;46(1):38-48.
doi: 10.1111/j.1365-2923.2011.04098.x.
Programmatic assessment and Kane's validity perspective
Context:Programmatic assessment is a notion that implies that the strength of the assessment process results from a careful combination of various assessment instruments. Accordingly, no single instrument is superior to another, but each has its own strengths, weaknesses and purpose in a programme. Yet, in terms of psychometric methods, a one-size-fits-all approach is often used. Kane's views on validity as represented by a series of arguments provide a useful framework from which to highlight the value of different widely used approaches to improve the quality and validity of assessment procedures.
Methods:In this paper we discuss four inferences which form part of Kane's validity theory: from observations to scores; from scores to universe scores; from universe scores to target domain, and from target domain to construct. For each of these inferences, we provide examples and descriptions of approaches and arguments that may help to support the validity inference.
Conclusions:As well as standard psychometric methods, a programme of assessment makes use of various other arguments, such as: item review and quality control, structuring and examiner training; probabilistic methods, saturation approaches and judgement processes, and epidemiological methods, collation, triangulation and member-checking procedures. In an assessment programme each of these can be used.
A Road Map for Attending to Medical Students’ Professionalism Lapses
Marianne C. Mak-van der Vossen, MD, Anne de la Croix, MA, MEd, PhD, Arianne Teherani, PhD, Walther N.K.A. van Mook, MD, PhD, Gerda Croiset, MD, PhD, and Rashmi A. Kusurkar, MD, PhD
학부 의대생들의 전문직업성 실수에 관심을 갖는 것은 교육자들에게는 어렵고 시간이 많이 걸리는 일이다.1 프로페셔널리즘의 오류를 관리하는 방법은 가르쳐지지 않으며, 전문직업성은 쉽게 얻어지지 않는다.2
Attending to professionalism lapses of undergraduate medical students is a demanding and time-consuming task for educators.1 How to manage professionalism lapses is not taught, nor does expertise come easily.2
[전문직업적 실수의 관리]에 대한 지식은 기관에 학생에 대한 결정을 내릴 수 있는 증거 기반 도구(즉, 학생의 졸업 허용 여부)를 제공할 것이다.
Knowledge about managing professionalism lapses will provide institutions with evidence-based tools by which to make decisions about their students (i.e., whether a student should be allowed to graduate).
학부 의학 교육의 전문직업성을 가르치고, 모델링하고, 모니터링하는 것은 미래의 의사들에 의한 좋은 환자 진료의 전달에 매우 중요하다.3–8 이전의 연구는 학생들의 전문성 결여가 4개의 영역, 즉 관여, 성실성, 상호작용, 자기성찰의 4가지 영역에서 발생한다는 것을 보여준다.9
Teaching, modeling, and monitoring professionalism in undergraduate medical education are crucial for the delivery of good patient care by future physicians.3–8 Previous research shows that students’ professionalism lapses occur in four domains, the so-called 4 I’s: lapses in involvement, integrity, interaction, and introspection.9
기여 요인은 종종 [인식, 기술 및 태도의 결핍과 같은 개인적 영향]과 [학습 환경에서의 상황적 영향]의 조합이다.15–17 전문적이지 않은 행동에 대한 이해도가 증가함에도 불구하고, 교육자들이 보고하기를 꺼려하기 때문에 더 나은 식별identification과 재교육이 잘 이뤄지지 않는다.18–21 교육교사들은 종종 전문직업적 실수의 교정조치가 어렵고 효과적이지 않다고 생각한다.18,22–24 또한 전문직업성 교정조치 practice에 관한 학교들 간의 큰 변동성을 관찰할 수 있다.25,26 교육자들은 전문직업성 실수의 관리방침와 그러한 관리방침이 학습자에게 갖는 영향력이 명확할 경우에 전문직업성 실수에 대해 보고할 의사가 더 높아질 수 있다.
Contributing factors are often a combination of individual influences such as deficits in cognition, skills, and attitude,13,14 and contextual influences from the learning environment.15–17 Despite a growing understanding of (un)professional behavior, better identification and remediation is hampered by educators’ reluctance to report it.18–21 Educators often consider remediation of lapses difficult and ineffective.18,22–24 Also, a wide variability among schools regarding professionalism remediation practices can be observed.25,26 Educators would be more willing to report professionalism lapses if policies regarding the management of professionalism lapses and the effects such management has on the learner were clearer to them.18
전문성 오류를 관리하는 모델은 여러 이론 논문에서 설명되어 왔다. 이러한 모델은 [특정 전문성 문제를 대상으로 하는 모델]과 [지식, 기술 또는 태도 문제에 적용되는 일반적 모델]의 두 가지 유형으로 구성된다. 6,8,27–30 표 1 참조
Models for managing professionalism lapses have been described in several theoretical papers. These models are of two types: specific models that target professionalism concerns, and general models that are applicable to knowledge, skills, or attitude problems.6,8,27–30 See Table 1
기존 모델은 학습자의 수준(이하)에 따라 다르다. 각 모델에서, 다른 수준들은 문헌이 적절하게 설명하지 못하는 특정한 행위자, 규칙, 그리고 규정들을 가지고 있다. 아직까지는 수준 사이의 임계값을 구성하는 것이 무엇인지 불분명하다.
Existing models are based on different levels of (under)performance of learners. In each model, the different levels have specific actors, rules, and regulations that the literature does not adequately describe. So far, it is unclear what constitutes the thresholds between the levels.
방법
Method
연구 설계 Study design
우리는 이 연구를 진행하기 위해 근거이론 접근법을 채택했다. 31,32 그것은 우리가 이해를 발전시킬 수 있게 해주었고, 전문성 실수의 관리에 관한 이론적 모델을 제안했다.
We employed a grounded theory approach to conduct this study,31,32 as it allowed us to develop an understanding, and propose a theoretical model regarding the management of professionalism lapses.
근거이론 접근법은 종종 귀납적인 방법으로 사용되지만 기존의 지식을 더 쌓는 데도 사용될 수 있다.33 본 연구에서 데이터 수집 및 분석은 이전 연구의 결과에 의해 주도되었다.10,34
A grounded theory approach is often used as an inductive method but can also be used to build further on existing knowledge.33 In this study, the data acquisition and analysis was guided by findings from our previous research.10,34
성찰성 Reflexivity
우리는 [지식은 인간의 상호작용과 관계의 결과로서 능동적으로 구성되고 공동생산되는 것]으로 간주되는 구성주의적 패러다임을 사용했다.35
We used a constructivist paradigm, in which knowledge is seen as actively constructed and cocreated as a result of human interactions and relationships.35
절차와 참가자 Procedures and participants
2016년 10월부터 2018년 1월까지 미국 13개 의과대학 전문가 19명을 대상으로 23명의 공개 심층면접을 통해 반복적으로 질적 데이터를 수집했다. 모두 최소 3년 동안 학교에서 전문성을 위한 교정조치 과정을 감독해야 하는 과제를 안고 있었으며, 이 글에서 "전문성 교정조치 감독관"(PRS)이라고 언급되었다.
Between October 2016 and January 2018, we iteratively collected qualitative data through 23 open-ended in-depth interviews with 19 experts from 13 medical schools in the United States. All had, for at least three years, the task of supervising the remediation process for professionalism in their school and will in this article be referred to as a “professionalism remediation supervisor” (PRS).
M.M.이 인터뷰를 실시했는데, 이 인터뷰에서는 이전 연구에서 나온 결과가 전문성 결여 관리에 대한 아이디어 교환의 출발점으로 사용되었다(추가 디지털 부록 1, 2는 http://links.lww.com/ACADMED/A618 참조).
M.M. conducted the interviews, in which findings from a previous study were used as a starting point for an exchange of ideas about managing professionalism lapses (see Supplemental Digital Appendices 1 and 2, available at http://links.lww.com/ACADMED/ A618).
자료 분석 Data analysis
초기 코딩 단계에서는 파일럿 면접에서 비롯되는 초기 코딩 방식을 사용했으며, 이는 읽기, 코딩 및 토론의 지속적인 비교 과정에서 진화했다. 초기 발견에 기초하여 우리는 추가 샘플링을 채택했다. 이러한 추가 데이터를 분석한 후, 코드와 범주의 최종 세트가 확립되고, 예비 모델이 초안되었다. 두 번째 코딩 단계의 경우, M.M.은 다른 코더들과 애로사항을 논의하면서 최종 코드 세트를 사용하여 모든 대본을 다시 작성했다. M.M.과 A.C.는 세 번째 자료를 통해 특히 예비 모델에 도전할 만한 사례를 찾아보았다. 분석 과정 동안 우리는 아이디어를 모으기 위해 메모, 다이어그램, 회의록 등을 사용했다. 우리는 전체 연구팀과 토론을 통해 그 결과를 범주적 수준에서 개념적 수준으로 끌어올렸다.
For the initial coding phase we used an early coding scheme originating from the pilot interview, which evolved in a constant comparative process of reading, coding, and discussing. On the basis of the initial findings we employed additional sampling. After analyzing these additional data, a final set of codes and categories was established, and a preliminary model was drafted. For the second coding phase, M.M. recoded all transcripts using the final set of codes, discussing difficulties with the other coders. M.M. and A.C. went through the data a third time to especially look for any cases that would challenge the preliminary model. During the analytic process we used memos, diagrams, and minutes of research meetings to collect ideas. We raised the results from the categorical to the conceptual level through discussions with the full research team.
결과 Results
인터뷰를 바탕으로 교육자들이 3단계 과정으로 학생들의 전문성 실수에 어떻게 참여했는지를 시각화했다.
1단계는 "탐구와 이해"로 특징지어졌다.
2단계는 "재교육"이었고,
3단계는 "해임에 대한 명백한 증거"였다.
On the basis of the interviews, we visualized how educators attended to students’ professionalism lapses as a three-phase process.
Phase 1 was characterized as “explore and understand,”
phase 2 was “remediate,” and
phase 3 was “gather evidence for dismissal.”
1단계와 2단계 사이의 임계치는 [실수의 근본 원인]에 의해 구성되는 것으로 보였다.
2단계와 3단계 사이의 임계치는 학생의 [성찰도와 개선](또는 개선 부족)에 의해 구성되는 것으로 보였다.
The threshold between phases 1 and 2 appeared to be constituted by the underlying causes for the lapse.
The threshold between phases 2 and 3 appeared to be constituted by the student’s reflectiveness and (lack of) improvement.
세 가지 단계는 각각 달성해야 할 목표, 관련된 개인, 수행된 활동의 유형, 그리고 의사결정의 이면에 있는 추리에서 달랐다.
Each of the three phases differed in the goals to be achieved, the individuals involved, the type of activities undertaken, and the reasoning behind decisions that were made.
참가자들이 교정조치에 관여하고 있다고 설명한 개인은 (부)학장, 책임교수, 정규(임상) 교사, 교정(임상) 교사, 학교 밖 전문가, 진급위원회 위원, 때로는 학생명예위원회 위원이었다.
Individuals that the participants described as being involved in remediation were the (associate) dean, course directors, regular (clinical) teachers, remedial (clinical) teachers, experts outside the school, members of promotion committees, and sometimes members of Student Honor Councils.
각 단계에 대해 이 개인은 서로 다른 역할을 수행했다. 1단계에서 이 개인은 관련 교사, 2단계에서 지원 코치의 역할을 수행했으며 3단계에서는 해당 직업의 문지기 역할을 수행했다.
For each phase these individuals fulfilled different roles. In phase 1 these individuals had the role of a concerned teacher, in phase 2 that of a supportive coach, and in phase 3 they became gatekeepers of the profession.
1단계: 탐색 및 이해
Phase 1: Explore and understand
PRS는 한 학생이 프로페셔널리즘 실수에 대해 언급된 후, 그 학생과 대화를 갖는다고 보고했다. PRS는 처음에 무슨 일이 일어났는지와 실수에 대한 감정에 대해 학생들이 어떻게 이해하는지를 알아보고자 했다.
After a student had been cited for a professionalism lapse, PRSs reported holding a conversation with the student, in which the PRS initially sought the student’s understanding of what happened and the emotions regarding the lapse:
이 단계에서 PRS는 [어떤 개인적 또는 맥락적 요인이 행동에 영향을 미치는지] 이해하기 위해 수행되었다.
In this phase the PRS was tasked to understand what personal or contextual factors influenced the behavior:
한 PRS는 초창기 대화의 추가적이고 중요한 목표가 [학교가 전문직업성을 중요하게 여긴다는 것을 보여주는 것]이라고 인식했다. PRS는 학생들이 실수로 비전문적으로 행동할 수 있는 의사를 개발하고 있다고 생각했다. 따라서, 1단계에서, PRS는 학생들을 [처벌하는 것이 아니라, 지지하고 돕는 것을 목표]로 하는 관련 교사의 역할을 맡았다.
One PRS recognized that an additional and important goal of the initial conversation was to show that the school takes professionalism seriously. PRSs felt that students are developing physicians who can accidentally behave unprofessionally. Hence, in phase 1, the PRS assumed the role of a concerned teacher who aims to support and help, not to punish the student,
이 단계에서 PRS는 학습자를 "진단"할 수 있도록 허용하는 것에 대해 종종 이해 상충을 겪는다.
In this phase, PRSs reported often encountering a conflict of interest about being allowed to “diagnose” a learner:
면접 응답에 따르면 PRS와 학생은 이상적으로 개인, 외부, 대인관계 또는 맥락으로 분류된 [전문직업성 실수의 기여 요인]에 대해 상호 이해하게 될 것이다. 목록 1 참조
Interview responses show that the PRS and the student would ideally arrive at a mutual understanding about the contributing factors for the professionalism lapse, which were classified as personal, external, interpersonal, or contextual. See List 1
PRS와 학생 모두 [실수는 우발적이었고, 더 이상 반복을 의도적으로 막을 필요가 없다는 의견]인 경우, 참가자들은 학생이 정상적인 교과과정에서의 교육을 계속하였음을 시사했다.
두 사람이 학생이 [추가 지원이 필요하다고 동의한 경우(예: 지식 격차를 채우거나 특정 기술을 개발하기 위해)], 해당 학생은 교정 조치를 제안받고 2단계가 시작되었다.
In the case that both the PRS and student were of the opinion that the lapse was accidental, and there was no further need to prevent repetition, participants indicated that the student continued her or his education in the normal curriculum.
If both agreed that the student needed further support (e.g., to fill in a knowledge gap or to develop certain skills), the student was offered remediation, and phase 2 commenced.
불법행위의 경우 학생이 곧바로 3단계로 이동하는 경우도 있었다. 그러한 즉각적인 해고는 예외적으로 드문 일이었고 극한 사건의 경우에만 고려될 것 같았다.
In the case of unlawful behaviors, the student sometimes immediately moved to phase 3. It seemed that such immediate dismissal was exceptionally rare and would only be considered in the case of an extreme event.
2단계: 재교육
Phase 2: Remediate
이 단계의 목표는 학생들의 [성찰 능력을 향상]시키고, 학생들이 전문성 실수에 기여하는 확인된 [지식, 기술 및 역량의 부족을 극복]하는 것이었다. 따라서, 참여자들은 이러한 문제들이 해결하기 어렵다는 것을 인정했지만, 어려운 개인적 요인이나 실수에 대한 외부적인 기여 요인에 대해서는 개별적인 지원이 제공되었다. 학생과 협력하여 학생의 개인적 필요에 맞춘 개입을 기술하는 재교육 계획을 세웠다. PRS는 재교육 개입을 설계할 때 창의성이 필요함을 설명했고, 구체적인 목표에 맞는 선택지를 고려했다.
과제: 전문성의 지식 기반을 개선하고 (의사)의사 및 환자 치료에 대한 비전문적 행동의 결과를 명확히 하기 위한 과제
스킬 훈련: 특정 기술을 개선하고 자신의 수행에 대한 학생의 인식을 높이기 위한 기술 훈련 또는
일대일 멘토링: 가치관을 가르치고 경험에 대한 지도적 성찰을 제공하기 위한 일대일 멘토링
The goal of this phase was to improve students’ ability to reflect, and for students to overcome identified deficiencies in knowledge, skills, and competencies that contributed to the professionalism lapses. Therefore, individual support was offered for difficult personal factors or external contributing factors for the lapse, although participants acknowledged that these issues were hard to solve. In collaboration with the student, a remediation plan was set up that described interventions tailored to the student’s personal needs. PRSs described creativity in designing remediation interventions, and considered different options, each with its specific goal:
assignments to improve the knowledge base of professionalism and to clarify the consequences of unprofessional behavior for (aspiring) physicians and patient care;
skills training to improve specific skills and create the student’s awareness about own performance; or
one-to-one mentoring to teach values and offer guided reflection on experiences.
이 단계에서 PRS와 교정 교사들은 [지지적 코치]로 묘사되었다. [개선해야 할 시기]와 더불어 [목표에 도달하지 못할 때의 기대와 결과]는 명확하게 제시되었다.
In this phase the PRS and remedial teachers were described as supportive coaches. The expectations and consequences of not reaching the goals were set out clearly, including a time frame in which improvement must be reached:
참석자들은 전문직업성 재교육의 의도하지 않은 효과를 언급했다. 일부 학생들은 '게임을 하는 것'을 보였다. 이는 [프로페셔널리즘의 가치를 내재화하지 않은 채 참가자들이 교육자를 만족시키기 위해 원하는 행동을 보여주는 것]을 의미한다.
Participants mentioned an unintended effect of professionalism remediation. Some students seemed to “play the game,” which was described by the participants as displaying desired behaviors to satisfy their educators, without having internalized the values of professionalism:
이런 종류의 비전문적인 행동은 면접자들에 의해 설명되었지만, 데이터에서 "게이밍" 학생을 어떻게 다룰지에 대한 생각은 나오지 않았다.
This type of unprofessional behavior was described by the interviewees, yet no ideas on how to deal with the “gaming” student came forward from the data.
3단계: 해고를 위한 증거 수집
Phase 3: Gather evidence for dismissal
교정 교육에도 불구하고 문제가 지속되는 것으로 보이거나 학생이 부정직하거나 심지어 불법적인 행동을 보이면 2단계와 3단계 사이의 문턱을 넘었다. 이 경우 환자안전이 위협받는 것으로 간주되었다.
The threshold between phases 2 and 3 was crossed if the problem appeared to persist despite remedial teaching, and if the student displayed dishonest or even unlawful behaviors. In these cases, patient safety was deemed to be threatened:
때때로 참가자들은 자신의 행동이 [의료 환경에서 일하는 것]에 미치는 결과에 대한 통찰력이 부족한 학생을 보고했다. 결과적으로, 그 학생은 직업적 기대치에 도달하려고 하거나 도달할 수 없었다. PRS에 따르면, 이는 [개별화된 재교육에도 불구하고 개선 없이 반복적인 전문직업성 상실]을 초래할 수 있다.
Sometimes participants reported a student lacking insight into the consequences of his or her behavior for working in a medical environment. Consequently, the student was not willing or able to reach the professionalism expectations. According to PRSs, this could result in repetitive professionalism lapses without improvement, despite individualized remedial teaching:
3단계에서 PRS는 추가 교정조치가 더 이상 효과적이지 않을 것이라는 의견이었다.
In phase 3, PRSs were of the opinion that further remediation would not be effective anymore.
다음과 같은 매우 명확한 절차를 통해 해고를 위한 강력한 증거를 확보해야 했다.
Strong evidence had to be obtained for dismissal, through very clear processes:
연구를 계속하기로 결정한 책임은 PRS의 손에 있는 것이 아니라 진급위원회에 있었다. 진급 위원회는 학생을 해고하는 어려운 결정을 내리는 것을 꺼릴 수 있다.
The responsibility for deciding about continuing the studies was not in the PRS’s hand but, rather, belonged to a promotion committee. Promotion committees could be reluctant to take the tough decision to dismiss a student:
나는 의대를 네 군데 다녔는데 그 모든 학교에서는 문화가 똑같아. 일단 의대에 입학하면 학생들을 해고하는 것을 정말 꺼린다. 의과대학에 있는 것보다 다른 많은 학업 프로그램에서 학생들을 해고하는 것에 대한 거부감이 훨씬 덜하다. (P9)
I’ve been in four medical schools and the culture is the same in all those schools. There’s a real reluctance to dismiss students once they’re admitted to medical school. There’s a lot less reluctance to dismiss students from lots of other academic programs than there is in medical school. (P9)
3단계에서 PRS는 1단계와 2단계에서와는 완전히 다른 역할을 수행한다고 보고하였다. 그들은 의료계의 문지기 노릇을 했다. 그들은 이 역할을 진지하게 받아들였지만, 학생이 의사가 되는 것을 허용해서는 안 된다는 결론을 내리는 것은 어려운 일이었다. PRS는 해고를 정당화하기 위해 의대추진위원회에 정보를 통보해야 했다. 협력자에서 상대방으로 넘어가는 PRS는 학생의 관심사와 의료 및 환자의 관심사 중 하나를 선택하는 데 있어 갈등을 경험했다고 설명했다.
In phase 3, PRSs reported taking up a completely different role than in phases 1 and 2: They became the gatekeepers of the medical profession. Although they took this role seriously, they found it difficult to conclude that a student should not be allowed to become a doctor. PRSs had to notify the medical school promotion committee with information to justify dismissal. Going from collaborator to opponent, PRSs described experiencing a conflict in choosing between the interest of the student and the interest of health care and patients:
또한 참여자들은 교정조치가 [여러 교수들이 나누어 맡아야 하는 부담스러운 과제]라는 점을 인정하였다.
Furthermore, participants acknowledged that remediation is a demanding task that has to be shared among a group of teachers:
내가 15년 넘게 이 자리를 지켜온 슬픈 부분은 내가 아는 각 학교가 이 일을 잘 한다는 것이다. 계속해서 반복적으로 "잘 하는 교수"만 이 일을 맡지 않게 하도록 주의해야 한다. 우선, 그것은 그들을 지치게 한다. 그러면 당신은 이것을 어떻게 하는지 배울 기회가 있을 때 다른 사람들에게 다시 기회를 주는 것이다. (P1)
The sad part of what happens is—I have had this position now for over 15 years—that I find that each school the people I know that are good at this … I have to be careful not to just continually use them repeatedly. First of all, it tires them out. You also then are giving other people opportunity back when there’s opportunity to learn how to do this. (P1)
로드맵 모델
The road map model
자료를 분석하고 관련시키면서 의대생들의 프로페셔널리즘 실수에 대한 참여 과정을 설명하는 로드맵 모델을 개발하게 되었다. 그림 1은 이 로드맵을 그리고 있다.
Analyzing and relating the data prompted us to develop a road map model that describes the process of attending to professionalism lapses of medical students. Figure 1 depicts this road map.
표 2는 각 단계에 깔끔하게 들어맞는 두 가지 예시와 그렇지 않은 두 가지 예시 등 단계별 학생 사례에 대한 참가자의 인용구를 보여준다.
Table 2 shows participants’ quotes delineating examples of student cases per phase: two examples that fit neatly into each phase, and one that does not as well.
고찰
Discussion
1단계와 2단계 사이의 문턱값은 실수의 인식된 기여 요인에 기초하여 교정 교육이 필요하다는 PRS와 학생의 상호 이해에 의해 결정된다. 교정적 가르침에도 불구하고 계속되는 실수 패턴에서 입증되었듯이 성찰성과 적응성의 부족은 3단계로 진행해야 하는 이유로 보여지며, 따라서 2단계와 3단계 사이에 임계값을 형성한다.
The threshold between phases 1 and 2 is determined by the mutual understanding of the PRS and student that remedial teaching is necessary, based on the perceived contributing factors of the lapse. A lack of reflectiveness and adaptability, as evidenced by an ongoing pattern of lapses despite remedial teaching, is seen as a reason to proceed to phase 3, and thus forms the threshold between phases 2 and 3.
이 연구에서 기존 모델에 추가하는 사항
What this study adds to existing models
우리가 1단계로 지정한 것은 힉슨과 동료들이 제안한 "커피 한 잔" 대화와 유사하다.27 우리의 연구 결과는 1단계 및 2단계에서 재교육 접근방식은 [행동에 대한 기여 요인]과 [학생이 피드백에 어떻게 반응하는가]에 의해 달라진다는 것을 보여준다. 이 발견은 기존 모델이 [전문직업성 실수의 심각성 인식]에 기초하는 대조된다. 또한, 이전의 연구에 따르면, 직업적 결손 때문에 학교를 그만두는 이유로 행동의 심각성을 가장 많이 꼽고 있다. 교정 개입에도 불구하고 학생이 성적 향상을 보이지 않을 경우 교정조치가 확대된다는 것을 확인한다. 원인 불문하고 반복되는 전문성 실수는 3단계를 가리킨다.
What we designate as phase 1 resembles the first phase in all previous models: the “cup of coffee” conversation as proposed by Hickson and colleagues.27 Our findings indicate that in phases 1 and 2, the approach to remediation is guided by the contributing factors for the behavior, and how the student responds to feedback. This finding contrasts with existing models in which the phases are based on the perceived severity of the professionalism lapse.6,8,27–30 Also, according to previous research, severity of the behavior is most often cited as the reason for dismissal from school for professionalism deficits.24 We do confirm that remediation is scaled up if the student does not show improvement of performance, despite remedial interventions: Recurrent professionalism lapses, regardless of the cause, point to phase 3.
이와는 대조적으로, 본 연구의 결과에 따르면, 프로세스의 마지막 단계에서는 [행동의 심각도]와 [원인 요인] 모두 중요하지 않은 것 같다. 우리는 학생의 [통찰력 부족]과 [개선 결여]가 마지막 3단계로 가는 문턱을 결정한다는 것을 발견했다. 학생이 [성찰성]과 [적응성]의 발전된 모습을 보여주지 않으면, 더 이상 실천 공동체의 문화에 흡수되지 않을 것이다. 이것은 해고로 이어질 수 있다. 이러한 결과는 기존 모델에 추가된다.6,8,27–30
In contrast, according to the findings in our study, in the last phase of the process neither the severity of the behavior nor causal factors seem to be important. We found that a student’s lack of insight and improvement determines the threshold to the last phase. If a student does not show progress in reflectiveness and adaptability, she or he will no longer be absorbed into the culture of the community of practice. This can lead to dismissal. These findings add to existing models.6,8,27–30
Kalet과 동료 37은 재교육이 교과과정의 일부가 되어야 한다고 주장하는데, 이는 우리의 연구 결과에 의해 뒷받침된다. 교정조치 전략은 2단계에서 적용되는 바와 같이 본질적으로 일반적인 교수법과 다르지 않다. 차이점은 PRS가 "평균 이상의" 기술을 가져야 한다는 것이다. 본 연구의 PRS 참여자들은 재교육은 (상당한 에너지를 소비하는 일이기 때문에0, [재교육을 하는 교사들은 정성들여 뽑아야 하고, 이들에게 서포트를 제공해야 하는 까다로운 과제]라는 것을 확인했다.1 분명히, 교수진들은 그들의 경험을 공유하고 의과대학에서의 전문성을 향상시키기 위해 함께 일함으로써 이익을 얻을 수 있다.2
Kalet and colleagues37 advocate that remediation should be a part of the curriculum, which is supported by the findings of our study. Remediation strategies, as applied in phase 2, do not in essence differ from normal teaching methods. The difference is that the PRS needs to have “above average” skills. PRS participants in this study confirmed that remediation is a demanding task for which they need to handpick teachers, and give support to these individuals because their work can be energy consuming.1 Clearly, faculty could benefit from working together to share their experiences and improve expertise in the medical school.2
정상적인 교육과정에 맞춰, 참가자들은 때때로 학생들의 "시스템 길들이기" 행동에 주목했는데, 이는 학생들이 [부족한 전문직업적 가치를 통합하지 않은 상태로 교수가 기대하는 행동만을 보이는 것]을 의미한다. 아마도, 행동과 직업적 발달에 초점을 맞추면 전통적 미덕에 대한 관심이 감소될 수 있다.26 이 발견은 직업적 가치의 지식 기반이 기초라는 것을 확인하고, 그러한 행동을 예방하기 위해 학생들의 직업적 가치를 향상시키기 위한 활동과 결합되어야 한다는 것을 확인한다.5,6
Congruent to the normal curriculum, participants sometimes noticed “gaming the system” behavior by their students, meaning that students show desired behaviors without having incorporated the lacking professional values. Possibly, the focus on behaviors and professional development diminishes the attention for traditional virtues.26 This finding confirms that the knowledge base of professionalism values is foundational, and that skills training has to be combined with activities to improve the student’s professionalism values to prevent such behavior.5,6
단계와 실천 공동체
The phases and the community of practice
놀라운 통찰력은 서로 다른 교정조치 단계를 실행 커뮤니티의 프레임워크를 사용하여 전문성 결여에 대한 참여에 더 많은 통찰력을 추가하기 위해 해석할 수 있다는 것이었다.38
A surprising insight was that the different remediation phases could be interpreted using the framework of communities of practice to add further insights to attending to professionalism lapses.38
의료행위를 실천의 공동체로 본다면 의대에서 학생의 여정은 [합법적인 주변 활동]에서 [완전한 참여와 성원권]으로 진행되어 공동체의 핵심에 점점 더 가까워진다. 전문적 행동은 핵심인 경쟁력 있는 의사들에 의해 실행된 공동체의 공통 가치로 볼 수 있다. 그러나 비전문적인 행동은 공동체의 기준이 될 수 없으며, 학생이 지역사회로의 여정에 도움이 필요하다는 신호가 될 수 있다.
If we view medical practice as a community of practice, the student journey at the medical school progresses from legitimate peripheral activities to full participation and membership, coming closer and closer to the core of the community. Professional behavior can be seen as a common value of the community, practiced by those in the core—competent physicians. Unprofessional behavior, however, is not the standard in the community, and can be a signal that a student needs help in his or her journey into the community.
우리의 3상 모델에서, 1단계는 학생이 아직 공동체의 참여 과정에 있다고 가정한다. 프로페셔널리즘에 실수가 있었지만, 학생에게 친절하고 개방적이며 지지적으로 접근해야 한다. 교정조치에 관여하는 개인은 학생들을 지역사회에 포함시키기 위해 일치된 노력을 기울이며, 그들의 역할은 관심 있는 교사나 동료 중 한 명이다.
In our three-phase model, the first phase assumes that the student is still in the process of joining the community. There has been a lapse in professionalism, yet the approach to the student is friendly, open, and helping. The individuals involved in remediation make a concerted effort to include students into the community, and their role is one of a concerned teacher or colleague.
2단계에서는 학생이 지역사회에서 머물기 위한 기술을 기꺼이 개발하고 발전시킬 수 있다는 것을 증명할 필요가 있기 때문에, 의도성이 서서히 변화해 가는 것처럼 보인다. 학생들을 다시 실습 커뮤니티로 안내하기 위해 참가자들은 멘토링과 역할 모델 매칭의 형태에 대해 언급했다. 우리의 로드맵은 실제로, 그 학생이 여전히 지역사회에 머무를 수 있는 자격이 있다고 접근하는 것이 목표지만, 그 자격을 부여받을 조건이 생기는 것이며, 그 학생은 그 조건을 충족시킬 필요가 있다는 것을 분명히 보여주고 있다.
In the second phase, the intention seems to slowly shift, as in this phase the student needs to prove that he or she is willing and able to develop the skills to stay in the community. To steer the student back onto the journey into the community of practice, participants mentioned forms of mentoring and matching the student to role models. Our road map shows that indeed, while the goal is to approach the student as still being eligible for staying in the community, conditions are being laid out, and it is made clear that the student needs to meet the requirements.
그러나 3단계에서는 학생이 더 이상 주변으로부터 중앙으로 이동하지 않고, 예상된 관행을 따르지 않음으로써 다른 방향으로 이동한다. 이 단계에서는 의료계의 핵심 가치들이 위협받고 있다. 이것이 우리가 역과정의 시작을 볼 수 있는 부분이다: 이 단계의 노력은 해당 학생을 실천 공동체로부터 이끌어내기 위한 것이다.
In phase 3, however, the student no longer moves from the periphery to the center, but in the other direction, by not adhering to the expected practices. In this phase, core values of the medical community are threatened. This is where we see the initiation of a reverse process: Effort is put into guiding the student out of the community of practice.
함의 Implications
실천 공동체의 개념에 따르면, 한 개인을 공동체의 핵심으로 끌어들이기 위해서는 사회적 관계가 중요하다.38 재교육이 정규 교육적 맥락 밖에서 이루어질 때, 그것은 학생의 고립을 초래할 수 있다. 이것은 학생들이 지역사회에 들어가는 것을 더욱 어렵게 만들 수 있다. 이는 교정조치 궤적 중 다른 학습자 및 교육자와의 연결 필요성에 주의를 기울여야 함을 의미한다.
According to the concept of communities of practice, social relations are important to bring an individual into the core of a community.38 When remediation takes place outside the regular educational context, it can lead to isolation of the student. This can make it even more difficult for the student to enter the community. This implies that, during remediation trajectories, attention should be given to the need for connection with other learners and educators.
맥락은 행동에 영향을 미치며, 이 연구에서 다시 확인되었다.15–17 PRS는 전문직업성 실수에 대한 맥락적 기여 요인에 대해 정보를 제공받고, 그들은 의대생의 향후 실책을 예방하기 위해 제도적 문화를 변화시키는 데 그 정보를 사용할 수 있다.
Context influences behavior, which is confirmed again in this study.15–17 PRSs are informed about contextual contributing factors for professionalism lapses, and they can use that information to make changes in the institutional culture to prevent medical students’ future lapses.
한계 Limitations
게다가, 미국에서 의학을 공부하는 것에 대한 사법적, 재정적 측면들이 다른 나라들과 다른 경우, 그 발견은 미국에 특정적이며 다른 맥락에서 시험되어 다른 나라에 일반화되도록 할 필요가 있다.
Furthermore, where judicial and financial aspects of studying medicine in the United States differ from those in other countries, the findings are specific for the United States and need to be tested in other contexts to make them generalizable to other countries.
Future investigations
Conclusions
.2019 Apr;94(4):570-578.
doi: 10.1097/ACM.0000000000002537.
A Road Map for Attending to Medical Students' Professionalism Lapses
1M.C. Mak-van der Vossen is general physician, coordinator of professional behavior, and PhD student, Department of Research in Education, VUmc School of Medical Sciences, Amsterdam University Medical Centers, Amsterdam, The Netherlands; ORCID: https://orcid.org/0000-0001-7810-6575. A. de la Croix is assistant professor, LEARN! Academy, Vrije Universiteit, and researcher, Department of Research in Education, VUmc School of Medical Sciences, Amsterdam University Medical Centers, Amsterdam, The Netherlands. A. Teherani is professor of medicine and education researcher, Center for Faculty Educators, School of Medicine, University of California, San Francisco, San Francisco, California. W.N.K.A. van Mook is internist/intensivist, Department of Intensive Care Medicine, postgraduate dean, Maastricht University Medical Center, and professor of medical education, Maastricht University, Maastricht, The Netherlands. G. Croiset is professor of education and training, Health and Life Sciences, and dean of education and training, University Medical Center Groningen, Groningen, The Netherlands. R.A. Kusurkar is associate professor of medical education and head, Department of Research in Education, VUmc School of Medical Sciences, Amsterdam University Medical Centers, Amsterdam, The Netherlands; ORCID: https://orcid.org/0000-0002-9382-0379.
Purpose:To develop a road map for educators attending to medical students' professionalism lapses, aiming to offer an empirical base for approaching students who display such lapses.
Method:Between October 2016 and January 2018, 23 in-depth interviews with 19 expert faculty responsible for remediation from 13 U.S. medical schools were conducted about the way they handle students' professionalism lapses. Three researchers independently completed three rounds of coding. Data collection, coding, and analysis were performed in a constant comparative process. A constructivist grounded theory approach was used to develop an explanatory model for attending to students' professionalism lapses.
Results:Based on participants' descriptions, the authors developed a three-phase approach for attending to professionalism lapses. In phase 1, experts enacted the role of concerned teacher, exploring the lapse from the student's perspective. In phase 2, they functioned as supportive coach, providing feedback on professionalism values, improving skills, creating reflectiveness, and offering support. In phase 3, if the student did not demonstrate reflectiveness and improvement, and especially if (future) patient care was potentially compromised, participants assumed an opposite role: gatekeeper of the profession.
Conclusions:An explanatory model for attending to professionalism lapses that fits in the overarching "communities of practice" framework was created. Whereas phase 1 and 2 aim at keeping students in the medical community, phase 3 aims at guiding students out. These findings provide empirical support to earlier descriptive, opinion-based models and may offer medical educators an empirical base for attending to students who display professionalism lapses.
전문직업적 역량과 정체성 발달 및 비전문직업적 행동을 재교육을 위한 실용적 프레임워크(Med Teach, 2019)
A practical framework for remediating unprofessional behavior and for developing professionalism competencies and a professional identity
Pieter C. Barnhoorna, Mirjam Houtlosserb, Marleen W. Ottenhoff-de Jongea, Geurt T. J. M. Essersc, Mattijs E. Numansa and Anneke W. M. Kramera
도입
Introduction
비전문적 의사 행동은 환자-의사 관계뿐만 아니라 환자 안전 및 의료 품질에도 영향을 미친다(Hickson et al. 2002; Rosenstein 2011, 2015). 학부 및 대학원 의과대학에서의 비전문적 행동과 의사가 된 이후에서의 비전문적 행동 사이에 명확한 연관성이 연구 결과 드러나면서 의료실무에서의 전문적 행동에 대한 관심이 탄력을 받게 되었다(파파다키스 외). 2004, 2005, 2008). 이러한 연관성은 가능한 한 일찍 비전문적인 행동을 다루는 것의 중요성을 강조한다.
Unprofessional physician behavior affects patient–doctor relationships as well as patient safety and quality of care (Hickson et al. 2002; Rosenstein 2011, 2015). Interest in professional behavior in medical practice gained momentum when research showed a clear association between unprofessional behavior in undergraduate and postgraduate medical school and unprofessional behavior in later practice (Papadakis et al. 2004, 2005, 2008). This association underscores the importance of addressing unprofessional behavior as early as possible.
비록 소수의 학생들만이 비전문적인 행동을 보이지만(Mak-van der Vossen et al., 2016; Barnhoorn et al. 2017), 비전문적인 행동은 환자와 의료전문직에 대한 그들의 신뢰에 해를 끼칠 수 있다(Hickson et al. 2002; Rosenstein 2011, 2015; Ellaway et al. 2017). 그러나 비전문가의 평가와 행동 교정조치는 여전히 어려운 과제로 남아 있다.
Although only a small number of students display unprofessional behavior (Mak-van der Vossen et al. 2016; Barnhoorn et al. 2017), unprofessional behavior can harm patients and their trust in the medical profession (Hickson et al. 2002; Rosenstein 2011, 2015; Ellaway et al. 2017). However, assessment and behavior remediation of unprofessional remain difficult tasks
박스 1
(Box 1).
상자 1. 의대생이 전문 행동 위원회에 회부되었다.
Box 1. A medical student referred to the professional behavior board.
Sara는 22세의 의대 학생으로, 의대 전문 행동 위원회에 회부되었다. 간단한 소개서에는 "의사가 되기 위한 올바른 역량의 부족"이 언급되어 있다. 담당 의사에게 전화 한 통을 받은 결과, 산부인과에서 일하는 동안 그녀의 상사들이 사라에게 "너무 적게 참여한다"거나 심지어 "일부 동안 어딨는지 알 수 없다"는 피드백을 줬다는 사실이 밝혀졌다. 반복된 피드백에도 불구하고, 사라는 계속 표준 이하로substandardly 출석했는가? 전문 행동 위원회의 두 멤버와의 회의에서, 사라는 왜 주어진 피드백에 따라 행동하지 않았는지 물었다. 그녀는 대답하였다. "나는 내가 할 수 있는 곳이면 어디든지 임상실습 일에 참여하려고 한다. 하지만 박사 과정으로 인해 시간을 효율적으로 보내야 하기 때문에 앞으로의 진로와 관련된 부분만 참석할 계획이라고 말했다.
Sara is a 22-year-old medical student who has been referred to the professional behavior board of her medical school. The brief referral letter mentions a “lack of the right competencies to become a doctor”. A phone call to the referring doctor reveals that her supervisors during the clerkship gynecology have given Sara feedback on “participating too little” or even “being untraceable for parts of the day”. Despite repeated feedback, Sara continued to participate substandardly? In a meeting with two members of the professional behavior board, Sara asked why she did not act upon the given feedback. She answered: “I try to participate in the clerkships wherever I can. But due to my PhD trajectory I have to spend my time efficiently, so I plan to attend only the parts of the clerkship that are relevant for my future career”.
비전문적 행동의 교정조치는 전문성에 대한 서로 다른 관점과 이러한 관점을 연결하는 어려움으로 인해 방해받는다(Birden et al. 2014; Irby and Hamstra 2016; Smith et al. 2017). 최근까지 전문성 담론에서는 두 가지 관점이 두드러졌다.
The remediation of unprofessional behavior is hampered by the different perspectives on professionalism and by difficulties in bridging these perspectives (Birden et al. 2014; Irby and Hamstra 2016; Smith et al. 2017). Until recently, two perspectives were prominent in the professionalism discourse.
한편으로, 우리는 실용적이지만, [전문적 행동]에 대한 좁은 초점을 발견한다. 그러나 [행동에 대한 초점]은 관찰과 평가가 가능하고 바람직한 행동에 대한 기대는 비교적 쉽게 설정할 수 있다는 장점이 있다(Barnhoorn과 van Mook 2015).
On the one hand, we find a pragmatic, but narrow focus on professional behavior. The focus on behavior, however, has as the advantage that it can be observed and assessed and expectations for desirable behavior can be set relatively easily (Barnhoorn and van Mook 2015).
한편, 성격 특성, 태도, 미덕 및 가치관(반 묵, 드 그레이브, 등)을 언급하면서 전문성에 중점을 두는 경우도 있다. 2009; 반 무크, 반 루이크, 기타. 2009; Banhoorn 및 Van Mook 2015). 이 두 번째 초점은 학생들에게 동기를 부여하고 영감을 주는데 도움이 되지만, 평가하기는 어렵다(Barnhoorn and van Mook 2015; Irby and Hamstra 2016).
On the other hand, there is a focus on professionalism, referring to character traits, attitudes, virtues and values (van Mook, de Grave, et al. 2009; van Mook, van Luijk, et al. 2009; Barnhoorn and van Mook 2015). This second focus helps to motivate and inspire students, but it is difficult to assess (Barnhoorn and van Mook 2015; Irby and Hamstra 2016).
두 관점 모두 전문의가 되는 과정의 중요한 측면을 포착하지만, 두 관점 모두에서 빠진 것은 [전문직이 되는 과정]에 대한 보다 넓은 관점이다(Holden et al. 2015). 따라서 초점은 "전문적 정체성 형성"(PIF)의 관점으로 옮겨갔다. PIF는 "오랜 시간에 걸쳐 단계적으로 달성되는 자아상representation으로서,의료계의 특성, 가치관, 규범이 내면화 되어 개인이 의사처럼 사고, 행동, 느낌을 갖게 되는 것"을 형성하는 과정으로 정의할 수 있다(Cruess et al. 2014).
Both perspectives capture important aspects of the process of becoming a professional physician, but what is missing in both is a broader view on the process of developing into a professional (Holden et al. 2015). The focus, therefore, shifted to the perspective of “Professional Identity Formation” (PIF). PIF can be defined as the process of forming “a representation of self, achieved in stages over time during which the characteristics, values, and norms of the medical profession are internalized, resulting in an individual thinking, acting and feeling like a physician” (Cruess et al. 2014).
여러 저자들이 서로 다른 관점의 요소들을 결합하는 비전문가적 행동을 다루기 위한 프레임워크를 제안했다.
Several authors have proposed frameworks to address unprofessional behavior that combine elements from the different perspectives
프레임워크는 행동, 태도, 프로세스 요소를 기술하지만, 이들 요소 사이의 상호관계를 탐구하는 것은 없다.
The frameworks describe behavior, attitude, and process elements, but none explores the interrelationship between these elements.
행동, 태도 또는 과정 중 어느 한쪽의 관점을 넘어 비전문적인 행동을 논하기 위해서는 종합적인 프레임워크가 필요하다(Boileau et al. 2017). 이런 틀의 부재는 교사들에게 비전문적인 행동을 효과적으로 다루기엔 역부족이라는 인식을 심어준다.
A comprehensive framework is needed to discuss unprofessional behavior beyond the perspective of either behavior, attitude, or process (Boileau et al. 2017). The absence of such a framework feeds the perception of teachers that they are ill-equipped to address unprofessional behavior effectively.
다수준 프로페셔널리즘 프레임워크
The multi-level professionalism framework
다단계 전문성 프레임워크가 성찰과 발전의 틀이 될 수 있는 만큼 다양한 직업, 특히 의료계, 의료교육에 있어 가치가 있을 것으로 기대한다. 코타겐은 환경, 행동, 역량, 신념, 정체성, 그리고 모델의 중심에서 미션(코타겐 2004)의 6단계로 구성된 모델을 개발했다. 이 모델은 좋은 교사의 본질적인 자질이 행동이나 역량의 측면에서만 설명되어야 하는 것이 아니라, 더 많은 측면을 고려해야 한다는 것을 보여준다. 예를 들어, 역량은 행동의 잠재력으로 볼 수 있지만, 어떤 역량이 실행에 옮겨질 것인지는, 어떻게 옮겨질 것인지는 환경에 의존적이다 (Kortagen 2004).
We expect the multi-level professionalism framework to be of value for various professions, in particular for the medical profession, and medical education, as it can serve as a framework for reflection and development. Korthagen developed a model consisting of six levels: environment, behavior, competencies, beliefs, identity, and, at the model’s center, mission (Korthagen 2004). The model shows that the essential qualities of a good teacher should not only be described in terms of behavior or competencies; more aspects should be taken into account. Competencies, for example can be seen as potential for behavior, but which competencies will be put into practice and how depends on the environment (Korthagen 2004).
(see Figure 1),
환경: 여기가 어디지?
Environment: Where am I?
환경 수준이란 의대생이 생활하고 일하고 배우는 다양한 맥락과 그 행동에 영향을 미치는 상황을 말한다.의학 교육의 영역 내에서, 그것은 다음의 두 가지이다.
[학술적academic 학습 환경] (숨겨진 커리큘럼과 공식적인 커리큘럼), 그리고
[임상적 환자 관련 환경]이다(Hafferty 1998; Franco et al. 2017; Hawick et al. 2017).
[학생의 개인 환경]은 가정에서의 문제, 신체적 또는 정신 질환, 개인 이력 등 자신의 사생활과 상황을 가리킨다(Mak-van der Vossen et al. 2016). 이것들은 학생의 행동과 발전에 영향을 미친다.
The environment level refers to the diverse contexts in which the medical student lives, works and learns, and which influence his or her behavior. Within the realm of medical education, it describes the academic learning environment: both the hidden and the formal curriculum, as well as the clinical, patient-related environment (Hafferty 1998; Franco et al. 2017; Hawick et al. 2017). The personal environment of the student refers to his or her personal life and circumstances, such as problems at home, physical or mental illness and personal history (Mak-van der Vossen et al. 2016). These influence the student’s behavior and development.
따라서, 환경은 또한 좁든 넓든 방식으로 학생의 전문적인 수행에 지대한 영향을 미칠 수 있다. 학생의 행동은 상황, 즉 환경이 해석에 포함될 때만 이해할 수 있다(Kortagen 2004; Jha et al. 2016; Franco et al. 2017; Mason 2017).
Therefore, the environment can also have a profound influence on a student’s professional performance, both in a limiting and an expanding way. Student behavior can only be understood when the context, i.e. the environment is included in the interpretation (Korthagen 2004; Jha et al. 2016; Franco et al. 2017; Mason 2017).
행동: 내가 뭘 하는 거지?
Behavior: What am I doing?
행동 수준의 초점은 [학생의 퍼포먼스]로, 직접 관찰하고 평가할 수 있다. 실제 환자와의 만남은 물론 학생과 교직원, 학생과 또래와의 만남이 이뤄지는 것도 이 정도 수준이기 때문에 행동이 많은 관심을 끈다. 환경과는 별개로 행동이란 [(프레임워크의 내면에 표현되어 있는) 사람 내부의 다양한 힘]에 의해 동기가 부여된다.
The focal point at the behavioral level is the performance of the student, which can be directly observed and assessed. Behavior attracts much attention, because it is at this level that actual patient encounters take place, as well as encounters between students and faculty, and students and peers. Apart from the environment, behavior is motivated by various forces within the person, which are represented in the inner circles of the framework.
역량: 내가 무엇을 할 수 있을까?
Competencies: What can I do?
역량은 전문적 행동을 가능하게 하는 지식, 기술 및 태도의 통합체로 정의할 수 있다(Stoof et al. 2002). 이들은 의료 교육 분야에서 확고한 기반을 얻었다(Hunderfund et al. 2017). 마찬가지로 전문성 프로그램도 역량 측면에서 편성되는 경우가 많다(Royal College of Occessors and Occessors in Canada 2017). 역량은 행동과 밀접하게 연관되어 있으며 행동의 잠재력을 나타낸다. 그러나 역량이 실행에 옮겨질지는 무엇보다도 상황이나 환경, 그리고 기초적인 신념, 가치관, 정체성, 미션에 달려 있다. 학생들은 자신의 행동을 당면한 상황에 맞출 수 있도록 자신의 역량을 언제, 어떻게 실천에 옮겨야 하는지에 대한 성찰이 필요하다.
Competencies can be defined as an integrated body of knowledge, skills, and attitudes (Stoof et al. 2002) that make professional behavior possible. They have gained a strong basis in medical education (Hunderfund et al. 2017). Likewise, professionalism programs are often formulated in terms of competencies (Royal College of Physicians and Surgeons in Canada 2017). Competencies are closely connected to behavior, they represent a potential for behavior. However, whether competencies are put into practice depends, the among other things, on circumstances or environment, and on underlying beliefs, values, identity, and mission. Students need to reflect on when and how to put their competencies into practice, in order to be able to match their behavior to the situation at hand.
신념과 가치: 내가 뭘 믿어?
Beliefs and values: What do I believe in?
믿음과 가치관의 수준은 의대생이 [의료전문직]과 [그 안에서의 자신의 위치]와 관련하여 가지고 있는 개념과 신념을 다룬다. 예를 들어, 학생들은 [질병에 초점을 맞춘 신념]이나 [좀더 환자 중심적인 믿음]을 가질 수 있다. 학생들이 가지고 있는 신념은 특정 역량을 개발하려는 학생의 동기에 영향을 미친다.
의학전문가의 핵심 역할이 질병 치유라고 믿는 학생이 있다면 기술역량 개발에 집중하는 경향이 있을 것이다.
학생이 대신 환자를 돌보는 것이 의학의 중심이라고 믿는다면 의사소통 역량을 키워야 할 강력한 동기를 기대할 수 있다.
The level of beliefs and values deals with the conceptions and convictions a medical student holds true regarding the medical profession and his or her place in it. For instance, students can adopt a disease-focused belief or a more patient-focused belief. The beliefs students hold influence a student’s motivation to develop certain competencies:
If a student believes that the main role of the medical professional to be curing disease, there will be a tendency to focus on developing technical competencies.
If a student instead believes caring for patients is central to medicine, a strong motivation to develop communication competencies can be expected.
하지만, 반대로 행동과 역량은 학생들의 믿음에 영향을 미친다. 예를 들어, 의사소통 능력을 개발하는 것은 학생의 면접 방식을 더 효과적일 뿐만 아니라, 의사소통에 대한 기본적인 믿음을 바꿀 수도 있다. 예를 들어, 따뜻하고 공감하는 것뿐만 아니라, 어떤 경우에는 커뮤니케이션이 약을 처방하거나 수술을 하는 것보다 더 효과적일 수 있다.(Jenkins and Fallowfield 2002).
However, also the other way around, behavior and competencies influence student’s beliefs. For example developing communication competencies does not only make the student’s interviewing style more effective, it may also alter underlying beliefs about communication, for instance that it is not only about being warm and empathetic, but also that in some instances in medical care communication may be more effective than prescribing pills or operating (Jenkins and Fallowfield 2002).
정체성: 나는 누구인가?
Identity: Who am I?
정체성은 [직업의 특성, 가치관, 규범을 포함하여 특성, 가치관, 규범 측면에서 자신을 정의하는 방식]이라고 설명할 수 있다(Kortagen 2004; Cruess et al. 2014). 예를 들어 '나는 누구인가', '나는 어떤 의사가 되고 싶은가' 등의 질문에 성찰을 하면서 자신에 대해 더 많이 배울수록 자신의 정체성이 행동에 어떤 영향을 미치는지 더 잘 알게 된다. 정체성 평가에 대한 상세한 가이드는 베보, 파버랑겐덴(2014년)이 제공했다.
Identity can be described as the way one defines oneself in terms of characteristics, values, and norms, including the characteristics, values, and norms of the profession (Korthagen 2004; Cruess et al. 2014). The more students learn about themselves, for example by reflecting on questions such as “who am I?” and “what kind of doctor do I want to be?”, the more they are aware of how their identity influences their behavior. A detailed guide for the assessment of identity has been provided by Bebeau and Faber-Langendoen (2014).
사명: 왜 내가 하는 일을 하지?
Mission: Why do I do what I do?
여기서 문제는 무엇이 한 학생으로 하여금 지금 하는 일을 하게 만드느냐는 것이다. 사명 레벨은 '의사가 되고 싶은 목적이 무엇인가' '의사로서 나의 개인적인 소명은 무엇인가' 등 고도의 개인적인 질문에 대한 대답에 관한 것이다. 코스타겐에 따르면, 이 수준은 사람들의 원동력driving force을 묘사한다; 우리가 지금 하는 일을 하도록 움직이게 하는 것은 내면 깊은 곳의 무엇일까. 그것은 더 큰 전체 안에서 자신의 존재에 의미를 부여한다(Kortagen 2004). 미션과 정체성의 차이점은, 정체성이의대생의 자아상self-image에 대한 것이라면, 미션은 의대생이 다른 사람과의 관계에 있어서 자신의 역할을 무엇으로 보는가에 관한 것이다.
The question here is what moves a student to do what he or she does. The mission level is about answers to highly personal questions, such as “to what end do I want to become a doctor?” and “what is my personal calling as a doctor?”. According to Korthagen, this level describes people’s driving force; what is it deep inside us that move to do what we do. It gives meaning to one’s own existence within a larger whole (Korthagen 2004). The mission level differs from the identity level in that refers to medical students’ self-image, whereas the mission level is about what role the medical student sees for himor her-self in relation to others.
재교육에 다수준 전문직업성 프레임워크 적용
Applying the multi-level professionalism framework to remediation
이제 우리는 다단계 전문성 프레임워크가 어떻게 의료 교육자들이 학생들을 전문적 행동의 발달에 지원하도록 도울 수 있는지 알아보기 위해 이 사례를 다시 살펴본다.
We now revisit the case in order to explore how the multilevel professionalism framework can help medical educators to support students in developing professional behavior.
사건 재조사 1
The case revisited 1
새라의 행동(참여 부족)은 선생님들에게 인정받지 못했다. 그녀가 미래의 의사를 위한 올바른 능력이 부족하다고 말함으로써, referring doctor는 "미래 의사를 위한 올바른 능력"과 같은 것이 있다는 것을 암시한다. 그러나 사라는 자신이 어디로 가고 있는지 이미 알고 있기 때문에 임상실습의 모든 부분에 참여할 필요는 없다고 생각한다.
Sara’s behavior (her lack of participation) was not appreciated by her teachers. By stating that she lacks the right competencies for a future doctor, the referring doctor implies there is such thing as the “right competencies for a future doctor”. Sara, however, believes she does not need to participate in every part of the clerkship, knowing already where she is heading.
이번 논의는 다단계 전문성 프레임워크(Box 3)를 활용해 구성된다.
This discussion will be structured using the multi-level professionalism framework (Box 3).
사건 재조사 2
The case revisited 2
위원회는 우선 비전문가로 낙인찍힌 행동에 대해 사라와 합의를 볼 필요가 있었다. 사라는 대부분의 임상실습중 많은 부분이 그녀의 흥미를 끌지 못한다는 것과 그녀가 놓칠 수 있을 때 안과에서 박사학위 궤적을 연구한다는 것에 동의한다.
환경과 관련하여, 사라씨는 몇몇 전문가들이 임상 전 기간 동안의 강의에서 최고점에 도달하기 위해 초점의 중요성을 강조했다고 말한다.
그녀는 "만약 목표가 있다면, 그것을 고수하라!"라는 자신의 모토를 따라 산다. 게다가, 사라는 자신이 좋은 의사가 되기 위해 필요한 기본적인 능력을 이미 갖추고 있다고 생각한다.
그녀는 자신에게 있어 [대부분의 임상실습은 불필요한 존재]라는 믿음을 공유하고 있다고 말한다. 결국, 그녀는 자신이 무엇이 되고 싶은지 이미 알고 있고, 박사 학위 취득에 시간을 보내는 것이 낫다고 믿고 있다.
궁극적으로 위원회는 사라의 전문직업적 정체성에 대해 이야기하기를 원했다. '어떤 의사가 되고 싶으냐'는 질문에 대한 새라의 대답은 [안과의 절대적 정상]에 오르고 싶다는 것이다.
사명의 차원에서 사라는 '왜 일류 안과 의사가 되고 싶은가'라는 질문에 초특급 안과의 사회적 지위가 자신에게 어필하며 안과의 실용적이고 기술적인 측면이 자신이 선호하는 주요 이유라고 말한다.
The board first needed to reach consensus with Sara about the behavior that has been labeled as unprofessional. Sara agrees that large parts of most clerkships do not interest her, and that, when she can be missed, she works on her PhD trajectory in ophthalmology.
Concerning the environment, Sara says that several specialists, in their lectures during her pre-clinical years, as well as supervisors during some clerkship stressed the importance of focus in order to reach the top.
She lives by her motto: “If you have a goal, stick to it!” Besides, Sara thinks she already possesses the basic competencies needed to become a good doctor.
She says she shares the belief that most of the clerkships, for her, are redundant. After all, she already knows what she wants to become and believes that she better spend her time on her PhD trajectory.
Ultimately, the board wanted to talk to Sara about her professional identity. Sara’s answer to the question “what kind of doctor do you want to become?” is that she wants to reach the absolute top in ophthalmology.
At the level of mission, when asked “why do you want to become a top ophthalmologist?”, Sara states that the societal status of a superspecialist appeals to her and that the practical and technical aspects of ophthalmology are the main reasons for her preference.
고찰
Discussion
최근 의학교육 목표를 전문직업성을 가르치고 평가하는 것에서 전문직 정체성 형성으로 바꾸자는 제안도 비전문적 행동이 어떻게 다뤄질지 시사하는 바가 있다(Cruess et al. 2014). 비전문가적 행동의 교정조치는 다르게 접근될 수 있지만 여전히 도전적인 것으로 남을 것이다(Bebeau 및 Faber-Langendoen 2014; Arnold et al. 2016). 행동, 태도 또는 프로세스 기반에 관계없이 프로페셔널리즘에 대한 각각의 일반적인 관점은 비프로페셔널한 행동을 다르게 보고 결과적으로 서로 다른 교정조치 전략을 권고한다(Irby와 Hamstra 2016).
The recent proposal to change the goals of medical education from teaching and assessing professionalism to the formation of a professional identity also has implications for how unprofessional behavior will be addressed (Cruess et al. 2014). Remediation of unprofessional behavior can be approached differently, but will remain challenging (Bebeau and Faber-Langendoen 2014; Arnold et al. 2016). Each of the prevailing perspectives on professionalism, whether behavior-, attitude-, or process-based, views unprofessional behavior differently, and consequently, different remediation strategies are recommended (Irby and Hamstra 2016).
[행동 기반 관점]에서 보면, 의학교육의 목표는 [전문적으로 행동하는, 사회에 유능한 의사]를 전달하는 것이다. 행동은 측정할 수 있는 것으로 보이며, 의대생의 행동이 비전문적이라고 판단되면 교정조치가 적용된다. 여기에는 종종 행동 식별, 행동 논의, 교정조치 계획 수립, 교정조치 계획 준수 여부 모니터링이 포함되며 때로는 보호관찰 또는 학생의 해고를 포함한다(Domen 2014; Irby and Hamstra 2016; Banhoorn et al. 2017).
From the behavior-based perspective, the goal of medical education is to deliver competent doctors to society who behaves professionally. Behavior is seen as measurable, and if behavior of a medical student is judged as unprofessional, remediation is applied. This often involves identifying behavior, discussing behavior, developing a remediation plan, monitoring compliance to the remediation plan and sometimes includes probation, or the dismissal of the student (Domen 2014; Irby and Hamstra 2016; Barnhoorn et al. 2017).
[태도 기반 관점]에서 의료 교육의 목표는 좋은 의료 실천에 필요한 덕목과 가치를 기르는 것이다. 미덕과 가치는 측정하기 어렵다. 프로페셔널하지 못한 행동의 경우 교정조치는 성찰 과제와 피드백을 포함한다(Irby and Hamstra 2016).
From the attitude-based perspective, the goal of medical education is fostering the virtues and values needed for good medical practice. Virtues and values are difficult to measure. In case of unprofessional behavior, remediation involves reflection assignments and feedback (Irby and Hamstra 2016).
[프로세스 기반 관점]에서 의료 교육의 목표는 전문적 정체성의 형성이다(Cruess et al. 2014). 이러한 전문적 정체성은 시간 경과에 따라 단계적으로 달성된다(Cruess et al. 2014). 프로답지 못한 행동은 다음 발달 단계로 나아가는 데 실패한 것으로 볼 수 있다. 이러한 관점에 따르면 교정조치는 발달 단계에 맞게 조정되어야 하며, 학생들이 "그들이 누구인지, 그들이 누가 되고 싶은지 알아내기 위해" 지속적이고 오랜 시간에 걸쳐 도움을 필요로 한다(Cruess et al. 2014).
From the process-based perspective, a goal of medical education is the formation of a professional identity (Cruess et al. 2014). This professional identity is achieved over time, in stages (Cruess et al. 2014). Unprofessional behavior can be seen as a failure to progress to the next developmental stage. According to this perspective, remediation must be tailored to the developmental stages, and involves helping students, continuously and over a long period of time, “to find out who they are, who they are becoming and who they wish to become” (Cruess et al. 2014).
그러나 다단계 전문성 프레임워크는 전문성에 대한 서로 다른 관점을 연결시키는 데 있어서 독특한 것은 아니다. 크루세스 외 행동 기반 관점을 밀러의 "수정된 피라미드"(Cruess, Cruess, Steinert, et al. 2015)에서 PIF-persentive와 연결했다. 그들은 원래의 피라미드 외에도 피라미드의 꼭대기(Cruess, Cruess, Steinert, et al. 2015)에 있는 추가적인 수준의 "의사처럼 생각하고 행동하며 느끼는 것"("Is")을 제안한다. 그들은 전문적 정체성에 대한 평가 도구로 제시된 모델에서 PIF(Cruess et al. 2016)의 평가에 대한 관점을 만드는 데 도움이 된다고 제안한다. 그러나, 그것은 교육자들이 비전문적인 행동을 다룰 수 있는 도구를 제공하지 않는다. 반면에 제안된 다단계 전문성 프레임워크는 전문성과 관련된 여러 수준 사이의 비계층적 상호작용을 설명한다.
The multi-level professionalism framework, however, is not unique in linking different perspectives on professionalism. Cruess et al. have linked the behavior-based perspective to the PIF-perspective in Miller’s “Amended Pyramid” (Cruess, Cruess, Steinert, et al. 2015). In addition to the original pyramid, they propose an extra level of “thinking, acting and feeling like a physician” (“Is”) at the apex of the pyramid (Cruess, Cruess, Steinert, et al. 2015). Presented as an assessment tool for professional identity, they suggest that the model helps in creating a perspective on assessment of PIF (Cruess et al. 2016). However, it does not provide tools for educators to address unprofessional behavior. The proposed multi-level professionalism framework, on the other hand, describes the nonhierarchical interplay between the different levels relevant to professionalism.
다단계 프로페셔널리즘 프레임워크는 프로페셔널리즘에 대한 다양한 관점을 연결하는 교정조치에 대한 실질적인 지침을 제공한다.
The multi-level professionalism framework offers a practical guidance for the remediation which bridges the various perspectives on professionalism.
다단계 프로페셔널리즘 틀은 프로페셔널리즘의 청사진을 나타내는 척도 하지 않고 프로페셔널리즘의 '본질'을 포착하는 척도 하지 않는다. 프로페셔널리즘에서 중요한 관점을 다루면서, 그것은 학생들과 교사들에게 행동의 수준 그 이상의 것에 대해 성찰하도록 한다. 프레임워크로 작업하는 것은 더 깊은 학습이 이루어질 수 있음을 시사한다.
The multi-level professionalism framework neither pretends to denote a blueprint for professionalism, nor pretends to capture the “essence” of professionalism. Addressing the important perspectives in professionalism, it invites students and teachers to reflect on more than just the level of behavior itself. Working with the framework suggests that deeper learning can be attained.
Barnhoorn PC, Youngson CC. 2014. Defining professionalism: simplex sigillum veri! Med Teach. 36:545. XXX
Bebeau MJ, Faber-Langendoen K. 2014. Remediating lapses in professionalism. Remediation in medical education. Berlin, Germany: Springer. p. 103–127.
Barnhoorn PC, van Mook WN. 2015. Professionalism or professional behaviour: no reason to choose between the two. Med Educ. 49:740. XXX
Kalet A, Guerrasio J, Chou CL. 2016. Twelve tips for developing and maintaining a remediation program in medical education. Med Teach. 38:787–792.
The relatively new term "Professional Identity Formation" (PIF) complements behavior-based and attitude-based perspectives on professionalism. Unprofessional behavior and its remediation should also be addressed from this perspective. However, a framework is needed to guide discussion and remediation of unprofessional behavior, which can encompass behavior-based, attitude-based, and identity-based perspectives on professionalism. To this end, the authors propose a multi-level professionalism framework which describes, apart from professional behavior, more levels which influence professional performance: environment, competencies, beliefs, values, identity, and mission. The different levels can provide tools for educators to address and discuss unprofessional behavior with their students in a comprehensive way. By reflecting on all the different levels of the framework, educators guard themselves against narrowing the discussion to either professional behavior or professional identity. The multi-level professionalism framework can help educators and students to gain a better understanding of the root of unprofessional behavior, and of remediation strategies that would be appropriate. For despite the recent emphasis on PIF, unprofessional behavior and its remediation will remain important issues in medical education.
의과대학에서 학생의 비-전문직업적 행동(UPB)를 어떻게 발견, 대응, 보고할 것인가? (Med Teach, 2019)
How to identify, address and report students’ unprofessional behaviour in medical school
Marianne Mak-van der Vossena , Arianne Teheranib , Walther van Mookc,d , Gerda Croiseta‡ and
Rashmi A. Kusurkara
도입
Introduction
의사의 전문직업성은 의료의 질에 매우 중요하다. 의사에게 있어 전문가로서의 행동은 바람직한 조건일 뿐만 아니라 환자 안전을 보호하고 환자 치료 결과 개선에 필요한 것이다(Martinez et al. 2017). 이것은 의과대학과 관련이 있는데, 의과대학들은 학생들이 의사로서의 미래의 역할에 대비하기 때문이다.
Professionalism of doctors is crucial for the quality of health care. For a physician, behaving as a professional is not just a desirable condition, but also a requirement to safeguard patient safety and improve patient care outcomes (Martinez et al. 2017). This is relevant for medical schools, since they prepare students for their future roles as physicians.
파파다키스 외 2005년 학부 의학 훈련 중 비전문적인 행동이 의사로서의 비전문적 행동을 예측한다는 것을 보여주는 파파다키스의 정석적인 연구는 학부 교육에서 비전문주의에 대한 관대한 접근은 용납될 수 없다는 것을 분명히 한다.
Papadakis’s seminal study displaying that unprofessional behaviour during undergraduate medical training is predictive of unprofessional behaviour as a physician, makes clear that a permissive approach to unprofessionalism in undergraduate education is unacceptable (Papadakis et al. 2005).
의료 교육자는 전체 학생의 최대 20%에서 비전문적인 행동을 관찰하지만, 3–5%만 보고한다(Papadakis et al. 2005; Van Mook et al. 2010; Mak-van der Vossen et al. 2014). 이러한 불일치는 전문성 평가의 어려움을 반영하며, 종종 '실패' 현상으로 표시된다(Yepes-Rios et al. 2016).
Although medical educators observe unprofessional behaviour in up to 20% of all students, they only report 3–5% (Papadakis et al. 2005; van Mook et al. 2010; Mak-van der Vossen et al. 2014). This discrepancy reflects the difficulty in evaluating professionalism, and is often denominated as the ‘failure to fail’ phenomenon (Yepes-Rios et al. 2016).
Failure to fail의 이유로는 다음이 있다.
전문직업성에 대한 개념적 명확성의 결여
자기 판단의 주관성에 대한 우려
학생의 평판을 해칠까 봐 두려움
적절한 교수 개발의 부족,
재교육 프로세스 및 그 결과에 대한 불확실성(Zing et al. 2018).
Probable reasons for the latter are:
a lack of conceptual clarity about (un)professionalism in medical school,
concern for the subjectivity of one’s judgment,
fear of harming a student’s reputation,
lack of appropriate faculty development, and
uncertainty about the remediation process and its outcomes (Ziring et al. 2018).
학부 의대생의 비전문적 행동은 개인, 대인관계, 맥락적 또는 외부적 원인에 기인하여 동료 학생, 교사, 의료팀 및 환자에게도 영향을 미칠 수 있다(Lesser et al. 2010). 전문직업성 실수는 학습의 한 부분이기 때문에 교육자들은 이를 다룰 준비를 해야 한다(Levinson et al. 2014). 의학교육에서 암묵적이고 숨겨진 교과과정은 형식과 비공식적인 교과과정보다 전문성을 가르치는 데 더 강력하다(Hafferty 1998). 그러므로 교육자들은 (암묵적으로, 그리고 명시적으로) 학생들에게 비전문가주의를 다루는 법을 가르쳐야 한다.
Unprofessional behaviour of undergraduate medical students, either originating from personal, interpersonal, contextual or external causes, can have an impact on peer students, teachers, health care teams and also patients (Lesser et al. 2010). As professionalism lapses are a part of learning, educators should be prepared to deal with them (Levinson et al. 2014). The implicit, hidden curriculum in medical education is more powerful in teaching professionalism than the formal and informal curricula (Hafferty 1998). Thus, educators need to (both implicitly and explicitly) teach their students how to handle unprofessionalism.
더욱이, 비전문성 때문에 학생에게 unsatisfactory라는 평가가 내려졌다더라도, 이러한 행동을 교정하기 위해 무엇을 할 수 있는지 명확하지 않다(Papadakis et al. 2012). 그런 학생의 지도는 교직원의 자원, 시간, 노력에 타격을 준다. 의과대학은 명확한 전략을 채택하여 그러한 지침을 최적화할 수 있다.
Moreover, if an unsatisfactory evaluation has been given to a student because of unprofessionalism, it is not clear what can be done to remediate this behaviour (Papadakis et al. 2012). The guidance of such a student takes a toll on the resources, time and effort of faculty. Medical schools can optimize such guidance by adopting a clear strategy
의학 교육에서 '전문적이지 못한 행동'이란 무엇인가?
What is ‘unprofessional behaviour’ in medical education?
의료 전문직업성에 대한 다양한 정의의 본질은 [의사들이 환자의 신뢰를 얻기 위해 높은 윤리적, 도덕적 기준을 고수해야 하는 필요성]이다(스윅 2000).
The essence of the various definitions of medical professionalism is the necessity for physicians to adhere to high ethical and moral standards, in order to gain the trust of their patients (Swick 2000).
전문직업적인 행동을 보여주기 위해서는 특정한 상황에서 발생하는 딜레마를 다루기 위한 지식, 기술, 판단이 필요하다(van Luijk et al. 2010; Irby and Hamstra 2016).
Showing professional behaviour requires knowledge, skills, and judgment to deal with dilemmas that occur in specific situations (van Luijk et al. 2010; Irby and Hamstra 2016).
비전문직업적인 행동은 전문적인 정체성이 형성되는 이 과정에서 학생의 지도에 대한 필요성의 표시일 수 있다.
unprofessional behaviour may be a sign of the student’s need for guidance in this process of professional identity formation.
행동은 정의하고 관찰할 수 있기 때문에 전문직업성을 평가하는 가장 빈번한 방법은 전문적 행동을 관찰하는 것이다. 전문직업적 행동에 대한 평가 방법으로는 결정적 사건 보고서와 학생들의 행동에 대한 직접적인 관찰에 기초한 일상적인 평가가 있다.
As behaviours can be defined and observed, the most frequent way of assessing professionalism takes place through observing professional behaviour. Assessment methods for professional behaviour are critical incident reports, and routine evaluations based on direct observations of students’ behaviour,
교육자나 또래 학생들이 작성한 중대 사건 보고서를 사용하여 조치를 보증하는 비전문적 행동을 식별할 수 있다. 이 조항은 성희롱, 협박, 표절 또는 공식 기록의 위조와 같은 추악하고 불법적인 행위에 필요하다. 그러한 행동은 보호관찰이나 해고와 같은 징벌적 대응을 요구한다.
Critical incidents reports by educators or peer students can be used to identify unprofessional behaviours that warrant action. This provision is necessary for egregious and unlawful behaviours, such as sexual harassment, intimidation, plagiarism or falsifying official records. Such behaviours call for punitive responses like probation or dismissal.
예정된 교육 활동 중 평가의 경우, 형태 형성적 접근법과 총괄적 접근법을 결합하는 것이 권장된다(van Mook et al. 2010).
For assessments during scheduled educational activities, a combined formative and summative approach is recommended (van Mook et al. 2010).
형성적 평가를 사용하는 이유는 학생과 교육자 모두에게 부담stakes을 낮추기 위함이다. 전문적 행동을 형성적으로 처음 평가하는 또 다른 이유는 [행동의 관찰자 및 맥락 의존성]이다. 다른 맥락에서 학생의 관찰에 근거한 다른 평가자들의 의견을 결합하는 것, 즉 평가의 삼각측량은 타당한sound 총괄적 평가를 보장할 수 있다(van Mook et al. 2010).
A reason to use formative assessments is to lower the stakes for both the student and the educator. Another reason to initially assess professional behaviour formatively is the dependence of behaviour on observer and context. Combining the opinions of different assessors based on observations of the student in different contexts, so-called triangulation of assessments, can ensure a sound summative evaluation (van Mook et al. 2010).
학생의 비전문적 행동에 대한 설명자
Descriptors of students’ unprofessional behaviours
학부 의대생을 대상으로 한 영국의학총회(GMC)의 최근 지침은 학생의 전문직업성과 관련한 주요 관심분야에 대한 설명자를 제공한다(2016년 의총). 이 지침은 의료계에서 환자와 사회의 신뢰를 해칠 수 있는 학생 행동의 예를 설명한다. 주요 관심 분야는 다음과 같다.
지속적인 부적절한 태도 또는 행동
GMP을 보여주지 못하는 경우
약물 또는 알코올 오용
부정행위 또는 표절 행위
부정직 또는 사기
공격적이거나 폭력적이거나 위협적인 행동
The recent version of the United Kingdom’s General Medical Council (GMC) guidance for undergraduate medical students provides descriptors of key areas of concern regarding students’ professionalism (General Medical Council 2016). The guidance describes examples of student behaviours that will undermine the trust of patients and society in the medical profession. The key concern areas are:
persistent inappropriate attitude or behaviour;
failing to demonstrate good medical practice;
drug or alcohol misuse;
cheating or plagiarizing;
dishonesty or fraud; and
aggressive, violent or threatening behaviour.
이 지침은 의대 학생들은 의대 내부뿐만 아니라 외부에서도 전문적인 행동을 보여야 한다고 강조한다.의과대학 밖에서의 비전문적 행동의 사례에는 술과 약물의 오남용이 있다.
The guidance stresses that medical students must display professional behaviour not only inside the medical school, but also outside. Examples of unprofessional behaviour outside the medical school refer to the misuse of alcohol and drugs.
'4 I'로 표시된 네 가지 고유한 범주 다음이 부족하다. 관여, 무결성, 상호작용 및 내성(Mak-van der Vossen et al. 2017) (그림 1 참조)
four distinctive categories, denominated as ‘the 4 I’s’. These are lack of: Involvement, Integrity, Interaction, and Introspection (Mak-van der Vossen et al. 2017) (see Figure 1).
비전문적 행동에 기여하는 요인
Factors contributing to unprofessional behaviour
비전문적 행동의 발생에 대한 트리거는 개인 문제, 대인관계 문제, 외부 요인 및 상황적 요인에서 발생할 수 있다(Hickson et al. 2007; Levinson et al. 2014). 기여 요인의 예는 표 1을 참조하십시오.
Triggers for the occurrence of unprofessional behaviour can originate from personal issues, interpersonal issues, external factors and contextual factors (Hickson et al. 2007; Levinson et al. 2014). See Table 1 for examples of contributing factors
표 1. 비전문적 행동의 발생과 관련된 요인의 예.
Table 1. Examples of factors involved in the occurrence of unprofessional behaviour.
인적 요인
역량결손 (Levinson 등 2014)
학습 장애(Hays et al. 2011, Guerrasio et al. 2014)
정신 건강 문제(예: 우울증, 자폐 스펙트럼 유형 증상, 성격 장애(Bennett et al. 2005; Hickson et al. 2007; Hays et al. 2011; Levinson et al. 2014)
신체 건강 문제(Parker et al. 2008; Levinson et al. 2014)
약물 남용 (Bennett et al. 2005; Hickson et al. 2007; Guerrasio et al. 2014; Levinson et al. 2014)
의대에 대한 동기부여 부족(테헤라니 외). 2009)
충족되지 않은 니즈(피로, 배고픔) (Levinson 등 2014)
Personal factors
Competency deficits (Levinson et al. 2014)
Learning disabilities (Hays et al. 2011, Guerrasio et al. 2014)
Mental health issues (e.g. depression, autism spectrum type symptoms, personality disorders (Bennett et al. 2005; Hickson et al. 2007; Hays et al. 2011; Levinson et al. 2014)
Physical health issues (Parker et al. 2008; Levinson et al. 2014)
Substance abuse (Bennett et al. 2005; Hickson et al. 2007; Guerrasio et al. 2014; Levinson et al. 2014)
Lack of motivation for medical school (Teherani et al. 2009)
Unmet needs (fatigue, hunger) (Levinson et al. 2014)
대인관계 요인
다른 문화적 기대치(Parker et al. 2008; Hays et al. 2011; Banhoorn et al. 2017)
위계 (Levinson 등 2014)
역할 및 책임에 대한 이해 부족(Parker et al. 2008; Hays et al. 2011; Levinson et al. 2014)
의사소통 부족 (Guerrasio et al. 2014; Levinson et al. 2014)
언어 장애(Levinson et al. 2014; Banhoorn et al. 2017)
열악한 조직화 능력(Hayes et al. 2011; Guerrasio et al. 2014)
Interpersonal factors
Different cultural expectations (Parker et al. 2008; Hays et al. 2011; Barnhoorn et al. 2017)
Hierarchy (Levinson et al. 2014)
Poor understanding of roles and responsibilities (Parker et al. 2008; Hays et al. 2011; Levinson et al. 2014)
Poor communication (Guerrasio et al. 2014; Levinson et al. 2014)
Language difficulties (Levinson et al. 2014; Barnhoorn et al. 2017)
Poor organizational skills (Hays et al. 2011; Guerrasio et al. 2014)
외부 요인
심리사회적 스트레스 요인(Hickson et al. 2007; Parker et al. 2008; Hays et al. 2011; Guerrasio et al. 2014)
가족 문제(Hickson et al. 2007; Hays et al. 2011; Levinson et al. 2014)
재정적 어려움 (Parker et al. 2008; Hays et al. 2011; Levinson et al. 2014)
External factors
Psychosocial stressors (Hickson et al. 2007; Parker et al. 2008; Hays et al. 2011; Guerrasio et al. 2014)
Family problems (Hickson et al. 2007; Hays et al. 2011; Levinson et al. 2014)
Financial challenges (Parker et al. 2008; Hays et al. 2011; Levinson et al. 2014)
맥락적 요인
불분명한 표준 (Hickson 등 2007)
관료적 조직(Hickson et al. 2007; Levinson et al. 2014)
높은 기대치, 높은 작업 부하(Hickson et al. 2007; Levinson et al. 2014)
전문성을 장려하지 않는 학습 환경 (Hickson et al. 2007).
부적절한 감독 (Levinson 외 2014)
부적절한 롤모델링 (Hickson et al. 2007)
나쁜 행동에 보상하는 문화 (Hickson et al. 2007; Levinson et al. 2014)
Contextual factors
Unclear standards (Hickson et al. 2007)
Bureaucratic organization (Hickson et al. 2007; Levinson et al. 2014)
High expectations, high workload in medical school (Hickson et al. 2007; Levinson et al. 2014)
Learning environment does not encourage professionalism (Hickson et al. 2007)
Inadequate supervision (Levinson et al. 2014)
Poor role modeling (Hickson et al. 2007)
Culture that rewards bad behaviour (Hickson et al. 2007; Levinson et al. 2014)
교육자들은 전문직업적 실수를 보여주었다고 해서 그 학생을 '전문성이 없는' 사람으로 낙인찍는 데 사용되어서는 안 된다는 것을 명심할 필요가 있다. 대부분 선한 학생들도 일시적으로 눈앞의 전문직업적 도전을 관리할 수 있는 기술이나 태도가 부족하거나, 그들이 운영하는 맥락은 전문성을 장려하거나 촉진시키지 않는다(Lucey and Suba 2010). 구조적인 비전문성은 훨씬 덜 흔하지만, 삼각형 평가의 프레임워크를 사용하여 더 긴 기간에 걸쳐 학생들을 종방향으로 평가할 때 드러날 수 있다(van Mook et al. 2010).
Educators need to keep in mind that the display of a professionalism lapse should not be used to label a student as an ‘unprofessional’ person. Mostly, students with good intentions temporarily lack the skills or attitudes to manage the professionalism challenge in front of them, or the context in which they operate does not encourage or facilitate professionalism (Lucey and Souba 2010). Structural unprofessionalism is thus far less common, but can be revealed when assessing students longitudinally over longer periods of time, using a framework of triangulated assessments (van Mook et al. 2010).
비전문적 행동에 대한 프로파일
Profiles of unprofessional behaviour
의료 전문성은 행동을 관찰함으로써 평가할 수 있다. 다양한 연구자들이 이러한 행동을 범주나 패턴으로 분류해 왔다.
Medical professionalism can be assessed by observing behaviours. Various researchers have grouped such behaviours into categories or patterns
따라서 전문적이지 않은 행동을 그룹화하면 독특한 행동 프로파일을 얻을 수 있다. 학생 행동의 연구 결과 프로파일은 학생의 성찰성과 적응성의 두 가지 요인에 기초한다(그림 2 참조).
Grouping unprofessional behaviours thus yields distinctive behavioural profiles. Research-generated profiles of student behaviours are based on two factors: the student’s reflectiveness and their adaptability (see Figure 2).
성찰적 행동( 피드백과 이를 미래 행동에 포함시킬 의지와 능력에 대한 경청)은 이러한 프로파일의 기초가 되는데, 이는 교육자들이 denominate하는 흔한 참여 행동common engagement behavior보다 학생의 미래 전문성을 더 잘 예측하기 때문이다(Mak-van der Vossen et al. 2016; Hoffman et al. 2016; Krzaniak et al. 2017). 아인스워스와 스조터 2018).
Reflective behaviour (listening to feedback and willingness and ability to incorporate it in future behaviour) is the basis of these profiles, as it predicts the future professionalism of a student better than the common engagement behaviours educators tend to denominate (Mak-van der Vossen et al. 2016; Hoffman et al. 2016; Krzyzaniak et al. 2017; Ainsworth and Szauter 2018).
비전문적 행동에 대한 교육자의 대응을 촉진하는 방법
How to facilitate educators’ responses to unprofessional behaviour
Barron에 의한 기대-가치-비용 모델은 특정 행동을 하거나 하지 않는 동기는 다음의 균형에 근거한다고 설명한다.
그 과업에서 성공할 수 있는 기대치 (내가 할 수 있는가?)
업무에 관여하는 것으로 인식되는 가치(내가 하고 싶은가?)
작업에 참여하는 데 드는 비용(내가 하지 못하게 만드는 장벽이 있는가?) (Barron et al. 2015).
The Expectancy-Value-Cost model by Barron describes that a person’s motivation to engage or not engage in a certain task is based on the balance of
the expectancy of being successful in that task (Can I do it?),
the perceived value of engaging in the task (Do I want to do it?) and
the costs of engaging in the task (Are there barriers that prevent me from doing it?) (Barron et al. 2015).
(표 2 참조).
(see Table 2).
이 모델이 학생들의 비전문적 행동에 대응하려는 교육자들의 동기에도 적용된다고 가정하면, 교육자들이 학생들의 비전문적 행동에 대응하도록 하기 위한 두 가지 주요 전략은 다음과 같다.
(i) 교수 개발을 통해 교육자의 개인적 능력과 자질을 강화해야 한다.
(ii) 조직 정책을 강화하여 평가 절차를 완화하고 교정조치 결과를 개선한다.
Assuming that this model also applies to educators’ motivation to respond to unprofessional behaviour of students, The two main strategies to facilitate educators to respond to unprofessional behaviour of students are
(i) strengthening educators’ personal skills and qualities through faculty development, and
(ii) strengthening organizational policies to mitigate the assessment procedure and improve remediation outcomes.
의대생들의 비전문적인 행동에 대해 교육자들은 어떻게 대응해야 하는가?
How should educators respond to medical students’ unprofessional behaviour?
보고된 비전문적 행동에 대한 대응은 이론적으로 Vanderbilt '파괴적 행동 피라미드'(Hickson et al. 2007)와 같은 졸업된 접근방식으로 설명된다. 최근 의대생들의 성공과 실패의 5개 영역(Ellway et al. 2018)이 제시되고 있다. 그러한 모델의 기본 철학은 학생들이 성장하고 발전하고 있으며, 때로는 실패하기도 한다는 것인데, 이것은 그들에게 도움이 필요하다.
Responding to reported unprofessional behaviour is theoretically described as a graduated approach, e.g. in the Vanderbilt ‘disruptive behaviour pyramid’ (Hickson et al. 2007). Recently, five zones of success and failure for medical students have been presented, including failure in professionalism (Ellaway et al. 2018). The basic philosophy of such models is that students are growing and developing, and sometimes fail, for which they need help.
징벌적 조치는 교정조치에도 불구하고 학생이 개선되지 않는 상황까지는 유보된다(Lucey and Souba 2010). 비전문성 처리를 위한 로드맵은
(i) 탐색과 이해,
(ii) 교정,
(iii) dismissal를 위한 증거 수집(Mak-van der Vossen et al. 2019)의 3단계로 구성된다(그림 3 참조).
Punitive actions are reserved for those instances in which a student does not improve, despite remediation (Lucey and Souba 2010). A road map for handling unprofessionalism includes three phases:
(i) Explore and understand,
(ii) Remediate, and
(iii) Gather evidence for dismissal (Mak-van der Vossen et al. 2019) (see Figure 3).
탐색 및 이해
Explore and understand
한 학생이 비전문적 행동으로 지목된 후에는 전문직업성 교정 감독관(PRS)이 해당 학생을 초청해 실수에 대한 대화를 나눈다. Jha는 학생들의 비전문적 행동을 탐구하고 이해하는 데 계획적 행동 이론을 사용할 수 있음을 증명했다(Jha et al. 2016). 이 이론은 학생의 궁극적인 행동이 다음에 의해 영향을 받는다
행동과 그 결과 대한 의도와 신념
주관적 규범, 그리고
인지된 행동 통제
After a student has been cited for unprofessional behaviour, a professionalism remediation supervisor (PRS), invites the student for a conversation about the lapse. Jha demonstrated that the Theory of Planned Behaviour can be used to explore and understand students’ unprofessional behaviour (Jha et al. 2016). This theory encompasses that a student’s ultimate behaviour is influenced by
intentions and beliefs about the behaviour and its outcomes,
the subjective norm, and
the perceived behavioural control.
'양파 모델'은 환경, 행동, 역량, 신념, 정체성, 그리고 중심에서 임무(Barnhoorn et al. 2019)의 계층으로 구성된다. 이러한 모델을 바탕으로 학생과의 대화에서 출제해야 할 10가지 질문을 요약한다(표 3 참조).
the ‘Onion model’,consisting of the following layers: environment, behaviour, competencies, beliefs, identity, and, in the center, mission (Barnhoorn et al. 2019). Based on these models, ten questions to be posed in a conversation with the student are summarized (see Table 3).
대부분의 학생들에게, 이 접근방식은 미래의 비전문적인 행동을 예방하기에 충분하다. 더욱이, 이러한 대화들은 학생들의 비전문적 행동에 대한 (숨겨진) 조직적 및 상황적 원인에 대한 중요한 정보를 제공할 수 있으며, 조직은 다시 이 정보를 활용할fed back 수 있다(Lesser et al. 2010; Rougas et al. 2015).
For most students, this approach is sufficient to prevent future unprofessional behaviour. Furthermore, these conversations can yield important information about (hidden) organizational and contextual causes for students’ unprofessional behaviour that can be fed back into the organization (Lesser et al. 2010; Rougas et al. 2015).
교정
Remediate
이 단계는 [반복적인 비전문적인 행동을 보일 때] 또는 학생과 PRS 모두 [미래의 비전문적인 행동을 막기 위해 특정한 결함을 채우기 위해 추가적인 가르침이 필요하다는 것을 인정할 때] 시작된다. (비록 때로는 비공식적 또는 공식적 경고나 보호관찰과 같은 징벌적 조치가 필요하다고 생각되지만), 대체로 접근방식은 교육적이다(Howe et al. 2010). PRS는 학생과 협력하여 근본 원인에 대한 가정과 학생의 역량에 맞춘 교정조치 계획을 수립한다.
This phase starts when the unprofessional behaviour appears to be repetitive, or when both student and PRS acknowledge that additional teaching is needed to fill in certain deficiencies to prevent future unprofessional behaviour. The approach is mainly pedagogical, although sometimes also punitive actions are deemed necessary, such as an informal or formal warning, or probation (Howe et al. 2010). The PRS, in collaboration with the student, creates a remediation plan that is tailored to the supposed underlying cause, and the student’s capacities.
재교육 방법으로는
재교육 과제 또는 커리큘럼,
(스스로 선택한) 역할 모델에 매칭
개인 멘토링 및 코칭/컨설팅
시뮬레이션된 상황에서 의도적인 연습과 피드백
반복적인 부분/전반적인/반복적인 관계
사회봉사.
정신 건강 평가/평가
pedagogical measures from
remediation assignments or curricula,
matching to a (self-chosen) role model,
individual mentoring and coaching/counseling,
deliberate practice and feedback in simulated situations,
repeating part/all of course/clerkship,
community service, up to
mental health evaluation/treatment (Bennett et al. 2005; Levinson et al. 2014; Guerrasio et al. 2014; Ziring et al. 2015; Kalet et al. 2016).
모든 대책은 학생이 [학습목표에 도달]하도록 지원하고, [전문지식과 (상호)개인적 능력을 향상]시키며, [전문성 가치에 대한 통찰력을 창출]하기 위한 것이다. 이것은 가급적 학교 내의 전문 교수진 또는 학교 밖의 전문가들에 의해 개별적인 관계를 통해 이루어진다. 때로는 교정조치가 의무적으로 이루어지는 것이 바람직해 보이기도 하지만, 이는 학생이 행동하기로 결정하거나 하지 말아야 하는 사람이기 때문에 달성하기가 어렵다. 그러므로, [기대수준이 명확하게 제시]되어야 하며, 잘 해봐야 [기대치를 달성할 수 있는 강력한 조언을 주는 정도]일 수 있다. 궁극적으로 교정조치의 효과는 주어진 시간 내에 정규 교육과정에서의 추가 평가에 의해 확인established되어야 한다(Bennett et al. 2005; Guerrasio et al. 2014; Kalet et al. 2016). 시간 경과에 따른 학생의 진도는 PRS에 의해 모니터링되어야 한다(Zing et al. 2015).
All measures are intended to support the student in reaching his/her learning objectives, to improve professionalism knowledge and (inter)personal skills, and to create insight into professionalism values. This is preferably done through an individual relationship by specialized faculty within the school, or by specialists outside the school. Although it sometimes seems desirable that remediation measures are mandatory, this is difficult to accomplish, since the student is the one who should decide to act or not. Thus, expectations must be set out clearly and at most a strong advice can be given how to attain them. Ultimately, the effect of the remediation has to be established by further assessment in the regular curriculum, within a given time frame (Bennett et al. 2005; Guerrasio et al. 2014; Kalet et al. 2016). The student’s progress over time should be monitored by the PRS (Ziring et al. 2015).
전문성 교정조치는 학문적 지식과 기술 부족의 교정조치보다 훨씬 더 많은 교직원의 시간과 노력을 필요로 한다(Guerrasio et al. 2014). 이것은 재교육 조치 교사들을 위한 특정한 교수진 개발을 요구한다.
Professionalism remediation takes far more faculty time and effort than remediation of academic knowledge and skills deficits (Guerrasio et al. 2014). This calls for specific faculty development for remediation teachers.
해고를 위한 정보 수집
Gather information for dismissal
모든 학생이 직업적 정체성을 강하게 발달시키는 것은 아니다. 교정조치에 refer된 전체 학습자의 2% 미만인 소수의 학생들은 반성과 개선을 충분히 보여주지 못하는 것으로 나타나고, disavowing behavior에 해당하는 행동을 보여준다.
Not every student develops a strong professional identity. A handful of students, less than 2% of all learners referred for remediation, appears to insufficiently demonstrate reflectiveness and improvement, showing the profile of disavowing behaviour, as evidenced by a structural pattern of unprofessional behaviour despite remedial teaching (Bennett et al. 2005; Guerrasio et al. 2014).,
특히 (미래) 환자 진료가 위태로울 경우 교직원은 의료계의 게이트키퍼 역할을 해야 한다. 이때 기관 정책 문서에 명시된 매우 명확한 절차를 통해 [해고를 위해 강력한 증거를 모아야 하는 최종 단계]가 시작된다. 이 단계에서는 교정조치가 계속될 수 있지만, 이 때 노력의 주된 목표는 학생을 의료계로 인도하는 것에서 학생을 의료계 밖으로 인도하는 것으로 전환된다.
Especially if (future) patient care is potentially compromised, faculty must take their role as gatekeepers of the medical community. That’s when the final phase commences, in which strong evidence has to be gathered for dismissal, through very clear processes that are specified in the institutional policy documents. Although remediation may continue in this phase, the main goal of the effort has changed from guiding the student into the medical community to guiding the student out of it.
따라서 평가 결과는 신중하게 문서화되어야 한다. 이해 상충을 피하기 위해, 이 최종 단계에서 학생의 과정과 지도에 대한 책임은 교정조치 교사에서 전문성 진행 위원회(Mak-van der Vossen et al. 2019)와 같은 기관 내의 다른 사람으로 옮겨져야 한다.
Therefore, assessment outcomes have to be documented carefully. To avoid conflicts of interest, in this final phase the responsibility for the process and guidance of the student should be shifted from remediation teachers to other people within the institution, e.g. a Professionalism progress committee (Mak-van der Vossen et al. 2019).
실무에 대한 의미
Implications for practice
실수는 학습의 일부분이며, 교사와 학생 사이의 실수에 대해 논하는 것은 학생들의 직업적 정체성 형성을 효과적으로 향상시킬 수 있다(Lucey and Suba 2010). 따라서 미래의 실수를 방지하기 위해 비전문적 행동에 대응하는 것은 정상적인 교육 과정의 일부가 되어야 한다(Kalet et al. 2017).
Lapses are a part of learning, and discussing lapses among teachers and students can effectively enhance students’ professional identity formation (Lucey and Souba 2010). Thus, responding to unprofessional behaviour to prevent future lapses should be part of the normal curriculum (Kalet et al. 2017).
학생뿐만 아니라 교사들도 프로답지 못한 행동을 보일 수 있다. 그렇기 때문에 이상적으로는 교육자와 학생이 협력하여 전문성 가치가 개발된다(O'Brien et al. 2017). 두 그룹에 대한 프로페셔널리즘 기대치가 일치한다면 학생의 프로페셔널리즘과 교사의 프로페셔널리즘은 같은 기준으로 평가할 수 있다.
Not only students, but also teachers may display unprofessional behaviours. That’s why, ideally, professionalism values are developed in collaboration between educators and students (O’Brien et al. 2017). If professionalism expectations for both groups align, professionalism of students, and professionalism of teachers can be evaluated using the same standards.
특히 '시스템 길들이기' 행태는 더 많은 연구가 필요하다. 그것은 학습 과정의 한 단계인가? (Neve et al. 2016). 아니면 가치관이 아닌 행동에 광범위하게 초점을 맞춘 결과인가?
Especially, ‘gaming the system’ behaviour needs further research. Is it a phase in the learning process? (Neve et al. 2016). Or is it a result from an extensive focus on behaviours, instead of on values?
결론
Conclusion
부적절한 전문직업적 행동은 증상이지 진단이 아니다. 서로에게 피드백을 주고, 비전문주의에 대해 이야기함으로써 학생과 교육자 모두 잠재적으로 배울 수 있다. 비전문성은 (미래) 환자 치료에 부정적인 영향을 미치기 때문에 용납되지 않는다는 것을 학생들은 배울 수 있다. 교육자들은 교육적 맥락에서 의대생들의 전문적인 행동을 지원하기 위해 어떤 요소들이 영향을 받아야 하는지를 배울 수 있다.
Poor professional behaviour is a symptom, not a diagnosis. By giving feedback to each other, and talking about unprofessionalism both students and educators can potentially learn. Students can learn that unprofessionalism is not tolerated, since it has a negative effect on (future) patient care. Educators can learn which factors in the educational context need to be influenced to support professional behaviour of medical students.
Barnhoorn PC, Houtlosser M, Ottenhoff-de Jonge MW, Essers G, Numans ME, Kramer AWM. 2019. A practical framework for remediating unprofessional behavior and for developing professionalism competencies and a professional identity. Med Teach. 41(3): 303–308.
Byyny, R. L., Papadakis, M. A., Paauw, D. S. editors 2015. Medical professionalism: best practices. Cambridge (MA): Alpha Omega Alpha Honor Medical Society.
Ellaway RH, Chou CL, Kalet AL. 2018. Situating remediation: Accommodating success and failure in medical education systems. Acad Med. 93(3):391–398.
O’Brien BC, Bachhuber MR, Teherani A, Iker TM, Batt J, O’Sullivan PS. 2017. Systems-oriented workplace learning experiences for early learners: three models. Acad Med. 92(5):684–693.
Kalet A, Chou CL, Ellaway RH. 2017. To fail is human: remediating remediation in medical education. Perspect Med Educ. 6(6): 418–424.
Mak-van der Vossen MC, de la Croix A, Teherani A, Van Mook W, Croiset G, Kusurkar RA. 2019. A roadmap for attending to medical students’ professionalism lapses. Acad Med. 94(4):570–578.
.2020 Apr;42(4):372-379.
doi: 10.1080/0142159X.2019.1692130.Epub 2019 Dec 27.
How to identify, address and report students' unprofessional behaviour in medical school
This AMEE guide provides a research overview of the identification of, and responding to unprofessional behaviour in medical students. It is directed towards medical educators in preclinical and clinical undergraduate medical education. It aims to describe, clarify and categorize different types of unprofessional behaviours, highlighting students' unprofessional behaviour profiles and what they mean for further guidance. This facilitates identification, addressing, reporting and remediation of different types of unprofessional behaviour in different types of students in undergraduate medical education. Professionalism, professional behaviour and professional identity formation are three different viewpoints in medical education and research. Teaching and assessing professionalism, promoting professional identity formation, is the positive approach. An inevitable consequence is that teachers sometimes are confronted withunprofessional behaviour. When this happens, a complementary approach is needed. How to effectively respond to unprofessional behaviour deserves our attention, owing to the amount of time, effort and resources spent by teachers in managing unprofessional behaviour of medical students. Clinical and medical educators find it hard to address unprofessional behaviour and turn toward refraining from handling it, thus leading to the 'failure to fail' phenomenon. Finding the ways to describe and categorize observed unprofessional behaviour of students encourages teachers to take the appropriate actions.
의료인문학은 세계 여러 곳에서 의학 교육에서 점점 더 인기 있는 교수 양식으로 부상했다. 이 프로필이 상승하면서 이 방법을 사용하는 것의 효과와 효용을 증명해야 한다는 압력이 생겼다. 의학 인문학 교육에 대한 세 가지 주요 리뷰는 인문학이 의학 교육에 통합되는 긍정적인 장기적 영향에 대한 증거가 부족하다고 보고했다. 이들 리뷰는 '의학 교육 내의 다른 커리큘럼 활동과 마찬가지로, 의학 인문학과의 교습은 원칙적으로 그 효과의 증거로 그 존재를 정당화할 수 있어야 한다'고 요구한다.
The medical humanities have emerged in many parts of the world as an increasingly popular teaching modality in medical education.1–3 With this rising profile has come pressure to prove the efficacy and utility of using this method.4–8 Three major reviews of medical humanities teaching reported a lack of evidence on the positive long-term impact of integrating humanities into medical education.5,6,8 Such reviews demand that teaching of and with the medical humanities, ‘like any other curricular activity within medical education, should in principle be able to justify its existence with evidence of its effectiveness’.5
이러한 리뷰의 결론은 의료인문학계의 비난을 불러일으켰다. 그 리뷰 문헌은 방법론에서 의료인문학에 대한 많은 수의 질적 연구를 배제한 것에 대해 비난을 받았다.
These findings sparked criticism from the medical humanities community. The review methodology was censured for its dismissal of the large body of qualitative work on medical humanities,2,9,10
이 작품은 또한 환원주의, 모호한 그룹화, 지나치게 넓은 정의, 잘못된 비교를 통해 '애초에 존재하지 않는 의료인문학에 대한 동질성'을 강요했다는 비판을 받았다. 이러한 문제들은 학습의 과정보다는 결과물에만 좁은 초점을 두었고, 근거 없는 결론을 지지하는 것으로 간주되었다.12,13
The work was also criticised for imposing ‘a homogeneity on the medical humanities that does not exist’11 through its reductivism, ambiguous groupings, overly broad definitions and fallacious comparisons. Such problems were viewed both as allowing a narrow focus on learning products rather than process, and as supporting unwarranted conclusions.12,13
따라서, 의학 인문학 교육의 효과와 효용성에 대한 탐구는 난관에 봉착한 것으로 보인다: 최근의 리뷰는 '증거가 희박하다'고 보고했고, 이러한 결론을 비판하는 사람들은 '증거가 있지만 당신은 그것을 놓쳤다'고 반박한다.
Thus, exploration of the efficacy and utility of medical humanities teaching appears to have reached an impasse: the recent reviews5,6,8 report that ‘the evidence is sparse’ and their detractors retort that ‘it is there, but you missed it’.
앞으로 두 가지 방법이 가능하다. 첫 번째는 예를 들어, 지배적인 증거 아이디어를 재구성하거나 의료인문학이 무엇을 하고 어떻게 하는지에 대한 보다 [질적인 조사를 수용함으로써, 9,10 평가적, 근거-기반 지향에서 완전히 벗어나자는 제안]이다.14
Two ways forward are possible. The first is a proposed departure from the evaluative, evidence-based orientation altogether,9,10 for example, by reframing dominant ideas of evidence, or embracing more qualitative inquiry into what the medical humanities do and how they do it.14
우리는 이 방향에 공감한다.15,16 그러나, 우리는 또한 교육과정 개혁의 시기에 근거 기반의 의사결정과 비용/편익 평가,17–19 효과 문제를 회피하는 것은 헛되고 어쩌면 위험할 수 있다는 것을 인식한다.
We are sympathetic to this direction.15,16 However, we also recognise that, in times of curriculum reform, evidence-based decision making and cost/ benefit assessments,17–19 it may be futile and possibly dangerous to sidestep the efficacy question.
두 번째 방법은 이 분야에서 효능과 효용 판단의 기초를 형성한 [평가 연구들에 대한 보다 미묘한 분석]에 착수하는 것이다. 20,21 이 논문은 두 번째 길을 택한다.
The second way forward is to embark on a more nuanced analysis of the body of evaluation studies that have formed the basis of efficacy and utility judgements in this field.20,21 This paper takes the second path,
방법
METHODS
우리는 이 질문들을 탐구하기 위해 scoping review에 착수했다. scoping review는 주어진 주제에 대한 문헌을 체계적으로 검토하고 매핑하는 과정이다. 그 목적은 체계적인 검토에서처럼 연구의 '품질'이 아닌 광범위한 연구 질문과의 관련성에 근거하여 차별화를 만들면서 문헌에 대한 종합적인 그림을 제공하는 것이다. scoping review의 과정은 반복적이다; 연구 질문과 방법을 유연한 상태로 유지하고, 문헌에 대한 새로운 이해와 상호작용을 통해 지속적으로 개선된다.
We undertook a scoping review in an effort to explore these questions. A scoping review is a process of systematically reviewing and mapping the literature on a given topic.22–24 Its purpose is to provide a comprehensive picture of the literature while making discriminations based not on the ‘quality’ of the studies, as in systematic reviews, but on their relevance to a broadly based research question.22 The scoping review process is iterative; research questions and methods remain flexible and are refined through interaction with an emerging understanding of the literature.
우리의 scoping review는 광범위하게 정의되는 [의료인문학을 사용한 성과에 대한 정량적 연구]를 검토한다.25 우리의 범위 지정 검토는 광범위하게 정의된 의료 인문학 사용의 결과에 대한 정량적 연구를 검토한다. 이러한 범위 검토의 목적과 단순한 정의에서 그 분야의 복잡성을 포착하는 것에 대한 많은 다른 논쟁에도 불구하고, 우리는 의료인문학을 '[의학적 교육 목표를 추구하기 위하여, 문학, 예술, 창조적 글쓰기, 드라마, 영화, 음악, 철학, 윤리적 의사 결정, 인류학, 역사학 등 다양한 분야의 창조적, 지적 강점을 끌어내는 학제적 분야]'로 폭넓게 정의하기로 선택했다. 한다.26
Our scoping review examines quantitative studies on the outcomes of the use of medical humanities, broadly defined.25 For the purpose of this scoping review and notwithstanding the many different debates about capturing the complexity of the field in a simple definition, we chose to define the medical humanities broadly, as an interdisciplinary field ‘that draws on the creative and intellectual strengths of diverse disciplines, including literature, art, creative writing, drama, film, music, philosophy, ethical decision making, anthropology, and history, in pursuit of medical educational goals’.26
자료 수집
Data collection
자료 분석
Data analysis
첫 번째 분석 단계는 서술적 분석으로 구성되었다. 내용 및 주제 분석27의 방법을 다음과 같은 광범위한 질문에 따라 사용하였다.
무엇을 하였는가?
어떤 목표를 가지고?
누구에게?
얼마나 오래?
어떻게 측정되었는가?
The first stage of analysis consisted of a descriptive analysis. We used methods from content and thematic analysis27 guided by broad questions such as: what was done? With what goal? To whom? For how long? How was it measured?
이 두 번째 분석은 예술과 인문학 기반의 교육 및 학습에 대한 다양한 개념 및 인식론적 이해를 식별하고 지도화하고자 하였다.
This second analysis sought to identify and map studies’ varying conceptual and epistemic understandings of arts and humanities-based teaching and learning.
가이딩 질문 포함:
교육 개입의 원인이 되는 가정은 무엇인가?
예술과 인문학에 기반을 둔 가르침은 무엇으로 가정되고 있는가?
어떤 종류의 지식을 추구하며, 이러한 유형의 교육을 통해 어떻게 생성된다고 가정하는가?
Guiding questions included:
what assumptions framed the teaching intervention?
What is arts and humanities-based teaching assumed to be and do?
What type of knowledge is sought and how is it assumed to be generated through this type of teaching?
우리는 의학과 관련하여 예술과 인문학이 어떻게 분산적으로 위치하는지를 파악하고 지도화하는 것을 목표로 제3차 분석을 실시하기로 했다.
We decided to carry out a third analysis, aiming to identify and map how the arts and humanities were discursively positioned in relation to medicine.
분석적 질문의 지침:
샘플에서 예술과 의학 사이의 관계는 무엇인가?
의학과 관련된 예술은 무엇인가?
의학에 대한 예술의 가치가 형성되는 맥락은 무엇인가?
Guiding analytical questions were: what relationship between the arts and medicine is constructed in the sample? What is the arts in relation to medicine? What are the contexts in which the value of art for medicine is constructed?
결과
RESULTS
의학 교육에서 예술과 인문학에 기반한 교육에 대한 양적 연구는 '어떻게 생겼는가'?
What does the body of quantitative research on arts and humanities-based teaching in medical education ‘look like’?
우리는 예술과 인문학을 가르치는 형태와 수업의 영향을 측정하는 방법에서 현저한 다양성을 발견했다. 이 다양성은 단지 기술 범주(방법, 학습 목표, 결과 등)를 사용하여 [의미 있게 묘사하고 합성할 수 없었다].
We found striking variety in the forms that teaching the arts and humanities took and in the ways in which the impact of the teaching was measured. This variety could not be depicted and synthesised meaningfully using merely descriptive categories (such as method, learning objective, outcome, etc.).
많은 연구들이 다양한 형태의 인문학적 가르침, 때로는 독특한 조합으로 채택되었기 때문에 이러한 서술적 방법으로 깔끔하게 분류되는 것을 거부하였다. 그들은 유사한 방법을 매우 다르게 채택했고, 넓은 범위의 결과와 차원에 걸쳐 측정을 수행했다.
Many studies resisted being neatly classified in these descriptive ways because they employed various forms of humanities teaching, sometimes in unique combinations; they employed similar methods very differently, and they took measurements across a broad spectrum and dimensions of outcomes.
예를 들어, '쓰기'를 사용한 연구에서 학생들은 다음과 같은 다양한 장르의 쓰기를 했다.
저널링,33
성찰문,34-36
포트폴리오 작성,37
중대 사건 보고서 작성,38
대화형 반사 웹 블로그 쓰기,39
시와 수필, 33,40,41
리머릭 글,42
학술 편지 쓰기,43
관점 쓰기 대 임상적 추론 쓰기,41
연극 훈련 내 서술적 글쓰기, 44 그리고
그림에 대한 반응으로 1인칭 원근법 쓰기45
For example, in studies that used ‘writing’, students engaged in a variety of different genres of writing, such as
journaling,33
reflective writing,34–36
portfolio writing,37
critical incident report writing,38
interactive reflective web blog writing,39
poem and essay writing,33,40,41
limerick writing,42
academic letter writing,43
point-of-view writing versus clinical reasoning writing,41
narrative writing within theatre training,44 and
first-person perspective writing in response to a painting.45
학생들은 또한 그들의 글쓰기를 매우 다른 문제에 집중하고, 다음과 같은 다른 질문들에 응답하도록 요구 받았다.
환자의 이야기를 하는 것,44
기능 해부학 과정 내용 캡처,42
감정 표현,45
개인적인 문제, 진로 계획 및 강의실 토론에 대한 반응 기록, 33 또는
임상에서 발생한 사건 및 경험에 대한 성찰,
지역 사회 교육
Students were also asked to focus their writing on very different issues and to respond to different prompts, such as by
telling a patient’s story,44
capturing functional anatomy course content,42
expressing feelings and emotions,45
recording personal issues, career planning and reactions to classroom discussions,33 or
reflecting on incidents and experiences during clinical38,39 and
community-located learning.
의학 인문학 교육의 이러한 다양성이 전통적인 체계적 검토 방법론에는 문제를 제시하지만, 그것은 그 현상의 독특하고 필수적인 특징이다. 따라서 우리의 첫 번째 핵심 발견은 의학 인문학을 단순한 서술적 범주에 기초하여 쉽게 체계화할 수 없다는 것이다.
Although this variety in medical humanities teaching presents a problem for traditional systematic review methodologies, it is a unique and vital feature of the phenomenon. Therefore, our first key finding is that the medical humanities as a whole cannot be easily systematised based on simple descriptive categories.
의학교육에서 예술과 인문학에 기반을 둔 가르침의 기초가 되는 가정은 무엇인가?
What underlying assumptions frame arts and humanities-based teaching in medical education?
우리의 두 번째 분석은 예술과 인문학으로 가르치고 배우는 방법에 대한 서로 다른 개념적 가정을 탐구했는데, 이것을 인식론적 기능이라고 불렀다.
Our second analysis explored the different conceptual assumptions about how teaching and learning with and through the arts and humanities occurs, which we called its epistemic functions.
(그림 2). 우리의 틀은 내용 중심에서 프로세스 중심적 용도에 이르는 연속체를 묘사하고 있으며, 의학교육에서 예술과 인문학의 세 가지 주요 초점을 지도화한다.
(Fig. 2). Our framework depicts a continuum that extends from content- to process-oriented uses and maps three main foci of the arts and humanities in medical education:
확인된 초점과 그 인식 기능은 고정 범주가 아닌 연속체에서의 방향을 표시한다. 즉, 어떤 연구는 두 가지 주요 지향 사이에 배치될 수 있다.
The identified foci and their epistemic functions mark orientations on a continuum, not fixed categories. That is, some studies could be placed between two main orientations,
전체 골격은 표 1에 나타나 있으며, 아래에 설명되어 있다.
The full framework is shown in Table 1 and described below.
표 2는 프레임워크를 사용하여 연구를 매핑할 수 있는 방법에 대한 예를 제공한다.
Table 2 provides an example of how studies can be mapped using the framework.
전문 기술로서의 예술: 기술 마스터
Art as expertise: mastering skills
이 첫 번째 그룹의 논문은, [시각적 기술을 배우기 위한 시각적 예술]이나 [신체 언어와 의사소통 기술에 대해 배우기 위한 연극]과 같이, 의대생들이 배워야 하는 특정한 기술이나 전문지식을 개발하는 데 도움이 되는 고유한 성격을 가진 것으로 언급되었다.
This first grouping of papers referred to a particular art form as having an inherent quality that is helpful in developing a certain skill or type of expertise that medical students need to learn, such as the visual arts to learn visual skills, or theatre to learn about body language and communication skills.
이 사용에서 예술은 [의사에게 중요한 특정 기술 집합과 지식을 쉽게 가르칠 수 있는 특정한 교수 도구 또는 기법]으로 이해된다. 예는 다음과 같다.
'예술에 기반한 관찰력 훈련'
'사례 발표 스킬 향상을 위한 연극 훈련'
'의대생들의 시각 진단 능력 향상을 위한 미술관찰 훈련'
해부학 과학에서 '지각적 기술'을 가르치기 위한 '도안 모델링 및 그리기 활동'
In this use, art is understood to be a specific teaching tool or technique that facilitates the teaching of a particular skill set and knowledge that is represented as important for physicians to possess. Examples included:
‘arts-based observational skills training’,48
‘theatre training to improve case presentation skills’,44
‘formal art observation training [to improve] medical students’ visual diagnostic skills’46 and
‘plasticine modelling and drawing activities’49 to teach ‘metacognitive skills’49 in anatomical sciences.
이 그룹에 대한 교육적 개입은 종종 '숙련된 마스터'(즉, 전문 배우, 작가, 비주얼 아티스트) 또는 특별한 전문지식의 장소(뮤지엄, 연극학과)와의 학제간 협업을 포함하는데, 이는 고품질의 교육적 개입을 암시하는 데 사용된다.
Teaching interventions in this grouping often involved interdisciplinary collaboration with ‘skilful masters’ (i.e. professional actors, writers, visual artists) or places of special expertise (museum, theatre department), which is used to imply a teaching intervention of high quality.
예를 들어, 연극 교수들은 의대생들에게 '신체적 표현력, 신체 언어, 성악적 존재감'을 가르쳤는데, 학생들이 '임상적 공감 기술'을 배울 수 있도록 하기 위해서 말이다.50
For instance, theatre professors taught medical students ‘skills in physical expressiveness, body language, and vocal presence’50 in order that the students might learn ‘clinical empathy techniques’.50
예술을 전문지식으로 도입하는 것은 학생들이 예술로부터 특정 내용과 전문지식을 습득함으로써 '최상'의 방식으로 관찰, 추론, 보고 또는 의사소통하는 방법을 배우게 된다고 가정한다. 습득한 기술은 일반적으로 눈에 잘 띄고 개인이 소유할 수 있으며 합의된 기준, 객관적 지표 및 규범에 기초한다(예: '최상의' 관찰은 존재하는 모든 것을 관찰하는 것이다).
Invocation of art as expertise assumes that students, through engaging with art, learn how to observe, reason, report or communicate ‘best’ by adopting a particular content and expertise. Acquired skills are typically visible, can be possessed by an individual and are based upon agreed standards, objective indicators and norms (e.g. observing ‘best’ is observing ‘all’ things present).
대화로서의 예술: 상호작용, 투시 및 관계 목적
Art as dialogue: interaction, perspective taking and relational aims
두 번째 논문은 교육에 활용할 수 있는 예술의 관계적, 의사소통적, 관점적 측면에 초점을 맞췄다. 이러한 그룹에 예술을 참여시키는 것은 '관점 바꿔보기'를 지원하고, 학생들이 자신과 환자의 경험에 대한 통찰력을 얻고, 관련을 맺고, 성찰할 수 있도록 하는 능력을 촉진하는 것으로 설명되어 있다.
The second group of papers focused on relational, communicative and perspective-based aspects of arts that can be harnessed for teaching. Engaging in art in this grouping is described as supporting ‘perspective taking’ and facilitating students’ ability to gain insight into, relate to and reflect upon their own and patients’ experiences in order to create attitudinal shifts.
특히 환자의 질병 경험과 일상 세계에 대한 이해와 통찰력을 얻는 데 중점을 둔다. 예를 들어, 작가들은
의대생들이 문학 고전 단편 소설의 프리즘을 통해 정신 분열증에 대한 이해를 돕기 위해 예술을 사용했다.
'정신과 레지던트들을 위한 미국 문화 강좌의 기초로서 필름을 사용하는 것'에 대해 보도되었다.
'농촌 의사들이 쓴 많은 문헌 자료들'은 농촌 실천의 도전에 대한 토론과 성찰을 촉발한다.
Particular emphasis is placed on gaining understanding and insight into the patient’s illness experience and life world. For example, authors
used art to help ‘medical students understand... psychosis through the prism’51 of a literary classic short story,
reported on ‘the use of film as the basis of an American culture course for psychiatric residents’,52 or
‘used literary sources, many written by rural physicians, to trigger discussion and reflection’40 about the challenges of rural practice.
이 그룹의 연구에서 배움의 주안점은 개인의 능력보다는 인간관계에 있었다. 여기서 예술은 대화적 질dialogical quality과 관련하여 사용된다. 예술은 환자나 자기자신과 같은 특정 관점에 대한 인식을 높이고, (종종 성찰을 통해서) engage하게 된다. 예술에 engage한다는 것은,
생물의학 지식을 완성시키고, 성찰과 전체적인holistic 이해를 증진시켜서, 학생들이 공감하고, 전문적이고, 문화적으로 민감하고, 자상한 의사가 되도록 촉진한다. 이러한 의사는 '전인적 진료를 하는 사람'이며, 따라서 결과적으로 환자를 '단순히 진단 및 치료적 도전으로 환원시키지 않고' 환자와의 관계를 더욱 개선시킬 것이다.
In this group, the main focus of learning was on relationships rather than individual skills. Art here is used with regard to its dialogical quality: it is used to increase awareness of and to relate to a particular perspective such as the patient or the self, and then to engage with it, often through reflection. Engaging with arts is seen as
completing biomedical knowledge, enriching reflection and holistic understanding, and, thus, facilitating students to become empathic, professional and culturally sensitive and caring physicians, who ‘engage in whole-person care’53 and, as a result, will have improved relationships with their patients ‘rather than simply reducing them to a diagnosis or treatment challenge’.54
이 그룹 내에서 두드러진 교육 목표는 의대생들이 함께 일하기 어렵거나 보상받지 못할 정도로 선입견을 가질 수 있는 환자 그룹에 대한 연민을 이끌어내는 것이었다.
Within this grouping, a prominent teaching objective was to elicit compassion for a patient group that medical students might preconceive as difficult or unrewarding to work with.
표현과 변혁으로서의 예술: 개인의 성장과 행동주의
Art as expression and transformation: personal growth and activism
세 번째 그룹에서, 예술을 교육에 사용하는 것은 [학생들이 자신의 감정에 접근, 표현, 탐구 및 대처할 수 있도록 돕고, '공개적으로 논의되는 일이 거의 없는' 이슈를 위한 공간을 만들어 의료 문화를 변화시키기 위한 것]이었다. 예술은 감정적 학습을 자극하는 경험을 제공하고, 학생들이 전문직으로 성장하는 과정에서 [자아 인식, 자아 발견, 개인적 성장]을 가르치는 데 도움이 된다고 가정되었다.
In a third grouping, the use of art in teaching was intended to help students access, express, explore and deal with their emotions, and to transform medical culture by creating space for issues that ‘are seldom discussed openly’.59 Art was assumed to provide experiences that stimulate emotional learning and to be beneficial in teaching students self-awareness, self-discovery and personal growth on their way to becoming professionals.
개인의 성장과 통찰이라는 본질적 가치 외에도, 이 연구 그룹에서 예술을 사용하는 것은 또한 [의사가 되는 과정에서의 어려움이나 억압되는 측면을 토론하고 처리하는 공간을 만드는 것]으로 설명된다. 예를 들면 죽음과 죽어감, 고통, 자신의 실수와 자신의 취약점, 그리고 의학의 한계 등에 대처하는 것 같은 것.
In addition to the intrinsic value of personal growth and insight, the use of art in this group of studies is also described as creating space in which to discuss and process difficult and often suppressed aspects of being a physician, such as dealing with death and dying, suffering, one’s mistakes and own vulnerabilities, and medicine’s limitations.59,60
그러므로, 이 그룹의 많은 논문들은 예술을 해방적 목표를 가지고 있으며, 의사 소진, 스트레스 및 공감 감소와 같은 체계적인 문제에 더 잘 대처하기 위해 필요한 정서적 회복력을 학생들에게 부여하는 수단으로 설명한다. 예술을 이용하는 것은 학생들이 '의학의 의미와 목적'을 찾고 보호하도록 돕는 방법으로서도 그려지고 있으며, 전통적 위계구조와 무너뜨리고, '공유된 인류애shared humanity를 강조하는 쌍방향 학생-수용자 협업 학습 노력'을 촉진함으로써 의학교육을 개혁하는 방법으로도 그려지고 있다.60
Thus, many papers in this grouping describe art as having emancipatory goals and as providing a means of equipping students with the emotional resilience they require to better face systematic problems, including physician burnout, stress and decreasing empathy. The use of art is also portrayed as a way to help students find and protect ‘meaning and purpose in medicine’59 and as a way to reform medical education by breaking with traditional hierarchies61 and facilitating a ‘bidirectional student–preceptor collaborative learning effort that emphasises a shared humanity’.60
논쟁적 맥락: 의학과 관련하여 예술과 인문학은 어떻게 구성되고 배치되는가?
Discursive contexts: how are the arts and humanities constructed and positioned with regard to medicine?
표3
Table 3.
내재적인 것으로 보는 관점
Positioning as intrinsic
일부 논문은 예술과 인문학을 [의학의 본질적이고 자연적인 부분](예: 48,61,62,62)으로 구성하고 배치했으며, 때로는 [의학이나 의학의 일부를 예술 그 자체로 구성]하기도 했다.33,63 이 담론은 [예술과 인문학은 항상 의학의 본질적인 부분이었기 때문에, 예술, 인문학을 기반으로 하는 가르침은 새로운 것도 아니고, 잠깐 하고 말 유행도 아니라는 것]을 암시한다. 오히려 의학교육에서 예술과 인문학을 이용하는 것은 객관적이고 역사적 사실, 그리고 그 학문 창시자들의 권위에 의해 뒷받침될 수 있는 진지한 토대와 뿌리를 가지고 있다. 이러한 논리에 따라, 의학교육에서 예술과 인문학을 사용하는 쪽으로의 전환(re)turn은 합리적이고 논리적인 단계로 그려진다. 예술과 인문학을 의학의 본질로 위치시키는 것은 의료인문학이라는 학문분야를 잃어버린 혹은 버림받은, 그러나 자연스럽고 본질적이며 내재적인 부분으로 본다.
Some papers constructed and positioned the arts and humanities as an intrinsic and natural part of medicine (e.g.48,61,62), at times framing medicine or parts of it as an art itself.33,63 This discourse implies that, as the arts and humanities have always been an essential part of medicine, arts and humanities-based teaching is neither something new nor a potentially short-lived, fashionable teaching trend. Rather, using the arts and humanities in medical education has serious foundations and roots that can be backed up by the authority of objective, historical facts and the discipline’s founders. Following this rationale, a (re)turn to the use of the arts and humanities in medical education is portrayed as a reasonable and logical step. Positioning the arts and humanities as intrinsic to medicine constructs the discipline as a lost or abandoned, but natural, essential and inherent part of medicine.
따라서 의학과 의료인문학의 관계는 의료인문학을 의학에 '입양'하기 위한 새로운 무언가가 아니라, 회복, 재발견 또는 활성화하기 위한 어떤 것으로 구성된다.
the relationship between the two is constructed not as something new to ‘bring into’ medicine, but rather as something to reclaim, rediscover or revitalise.
첨가적인 것으로 보는 관점
Positioning as additive
두 번째 담론은 예술과 인문학을 [의학 및 임상 실습의 현대적 맥락과 도전에 대응하기 위하여, 의학이 끌어낼 수 있는 가치 있는 것]으로 구성했다. 예술과 인문학은 현재의 의학을 새로운 시각과 중요한 부가적 지식으로 보완하고, 보다 광범위한 사회문화적, 정치적 변화에 대응할 수 있는 유용한 자원으로서 강조되고 있다.
A second discourse constructed the arts and humanities as something of value upon which medicine can draw in response to contemporary contexts and challenges of medicine and clinical practice. The arts and humanities are emphasised as supplementing current medicine with new perspectives and important additional knowledge, and as a useful resource to respond to broader socio-cultural and political changes.
이 담화에는 일반적으로 두 가지 주요 합리성이 채택되었다.
첫째, 예술과 인문학을 사용하여 non-technical 또는 soft skill(의사소통 기술 등)과 관련된 임상 실습의 중요한 역량을 가르칠 수 있으며, 이런 것을 현재 인증 기관과 전문 기관(예: 53,64–66)이 강조하여 요청하고 있다.
둘째로, 예술과 인문학은 의학의 생물학적 지식 기반을 확장시키는 지식을 가르치는 데 이용될 수 있다. 이러한 확장은 의학의 사회정치적 맥락의 변화로 인해 점점 더 필요한 것으로 묘사되고 있으며, 치료의 질을 향상시키는 것으로 가정된다.
Two main rationales were typically employed in this discourse.
Firstly, the arts and humanities can be used to teach important competencies for clinical practice that relate to non-technical or soft skills (such as communication skills), which are currently emphasised and requested by accreditation bodies and professional organisations (e.g.53,64–66).
Secondly, the arts and humanities can be used to teach knowledge that extends medicine’s biomedical knowledge base. This extension is portrayed as increasingly necessary as a result of changes in medicine’s socio-political contexts and is assumed to improve the quality of care.
예술과 인문학을 첨가물additive로 이해한다면, 의료인문학은 의학 자체로는 갖지 못한 가치 있는 것을 제공하는 역할로서 강조될 수 있다. 의학 교육에 있어서 다른 강력한 담론을 이용하는 것은 예술과 인문학을 의학의 내부(into)로 들여올(bring) 수 있는 문이 열린 것을 나타내는 것 같다.
Positioning the arts and humanities as additive makes it possible to emphasise the arts and humanities as offering something valuable that medicine does not have on its own. Drawing upon other powerful discourses in medical education seems to represent the opening of a door through which to ‘bring’ the arts and humanities ‘into’ medicine.
비록 이 이론이 예술과 인문학이 의학에 가치 있는 무언가를 제공하는 것으로 윤곽을 잡지만, 그것은 [은연중에 예술은 의학의 '외부'에 있어서, 의도적으로 '가지고 들여와야' 하거나, 의학이 호의적으로beneficially 끌고 들어오게 되는 어떤 것]으로 위치하도록 한다. 여기서 예술과 인문학은 자원으로 [구성]되나, 의학이라는 학문분야의 핵심으로 자리 잡거나, 그렇게 고려되지 않는다.
Although this rationale outlines the arts and humanities as offering something valuable to medicine , it implicitly positions the arts as something ‘outside’ medicine and as something that needs to be ‘brought (in)to’ or can be beneficially drawn upon by medicine. Here, the arts and humanities are constructed as a resource, but not positioned and considered as a core part of the discipline.
치료적인 것으로 포지셔닝
Positioning as curative
제3의 담론은 현재의 의학과 [의학 교육의 적자, 결핍, 병폐를 해결할 수 있는 의학의 구제책]으로 예술과 인문학을 구성한다. 이 담화에는 두 가지 주요한 합리성이 사용된다.
A third discourse constructs the arts and humanities as a remedy for medicine that can address the deficits, lacks and ills of current medicine and medical education. Two main rationales are used in this discourse.
첫째, 예술과 인문학은 의사들이 자신의 인간성과 더 많이 접촉할 수 있도록 돕고, 의학의 '인간적인 면'을 위한 공간을 만들어줌으로써 의학을 보다 '인간적'으로 만드는 힘을 가진 것으로 구성된다. 예술과 인문학이 죽음과 실패와 고통의 인간 경험을 다루기 때문에, 그들은 임상의료에서 침묵된 한계와 현실을 다룰 수 있는 학습을 허용한다고 생각된다.
Firstly, the arts and humanities are constructed as having power to make medicine more ‘human’ by helping doctors become more in touch with their own humanity and by creating space for the ‘human side’ of medicine. As the arts and humanities address the human experiences of death, failure and suffering, they are thought to allow learning that can deal with the silenced limitations and realities of clinical practice.
둘째, 예술과 인문학은 '힐링'으로 구성되는데, 의료인문학은 의학 교육에서 지배적이고 전통적인 권력 구조를 비판하고, 과학기술-과학 성공 서사 안에서 억압된 문제에 대해 [대안과 대조constrasting를 제공]하고, [목소리를 줌으로써] 의학과 의학 교육을 심화시킬 수 있기 때문이다.
Secondly, the arts and humanities are constructed as ‘healing’ and as furthering medicine and medical education by critiquing dominant and traditional power structures in medical education, and by providing alternatives and contrasting and giving voice to issues suppressed within a technico-scientific success narrative.
예를 들어 예술은
의료 훈련을 'revitalise'할 수 있는 것이다.
의학적인 일에 의미와 인본주의적인 가치관을 보존하고, 되돌리도록 한다.
위계적인 의과대학의 전통과 결별하는 것이다.
과도하게 '팩트와 숫자'에 기반한 교육에 '숨쉬는 삶'을 가져오는 것이다.
Art is, for instance,
described as able to ‘revitalise’ medical training,
‘preserving’ and ‘bringing back’ meaning and humanistic values into medical work,59,70
‘breaking with’ hierarchical medical school conventions, and
‘breathing life’ into learning that is overwhelmingly devoted to a ‘facts and figures’-based education.61
이 담론에서 지적하는 의학과 의학 교육의 '잘못'과 '질환'은 다음과 같다.
잠재 교육과정, 39,71,72
의사가 되는 과정의 위험(예: 공감, 소모, 우울증 감소)
비인간적이거나 비인간적인 노동 조건,
현 의학교육의 비평과 단점
Authorities and reference points in this discourse are the ‘wrongs’ and ‘ills’ of medicine and medical education, such as
the hidden curriculum,39,71,72
the risks of being a physician (e.g. decreasing empathy, burnout, depression),59,70,73
the inhumane or dehumanising working conditions,59 and
the critiques and shortcomings of current medical education.61,74
이 담론에서, 예술과 인문학은 의학과 의학문화를 '개선하는better' 데 사용될 가치를 부각시키고, 현저한 기술-과학적 교육을 '반대'하며, 전통적 권력구조를 비평하는 것도 이러한 '잘못된 것'을 분명히 하고, 가시화시키는 수단이 될 수 있다.
In this discourse, highlighting the value of using the arts and humanities to ‘better’ medicine and medical culture, ‘countering’ a prominent technical–scientific education, and critiquing traditional power structures may also be a means of articulating these ‘wrongs’ and of making them visible.
예술과 인문학이 치료적 지위를 갖는 것은 [(내부로부터의) 비평의 자세와 변화의 의제]에서 출발한다. 그것은 인문학을 종종 암묵적인 문제에 대한 치료와 해결책으로 바라보며, 그리고 변혁적인 정치적 잠재력을 가지고 있는 것으로 구성한다. 종종, 예술과 인문학은 기술 중심 과학 의학과 의학 교육의 우위에 대항할 수 있는 반대로 자리 잡는다. 이 담론은 현재의 의학에 대한 비평으로서, 그리고 예술과 인문학의 강점을 입증하기 위해 의학과 의학 교육에 대한 '부족 관점deficit perspective'을 취하기 때문에, 이러한 결손을 형성하는 다른 조건들에 대한 주의를 흐리게 할 수 있다.
Positioning the arts and humanities as curative starts from a position of critique (from within) and an agenda of change. It constructs the humanities as a remedy and solution to (fight) an often implied problem and as having transformative political potential. Often, the arts and humanities are positioned as an opposite that can counteract the dominance of techno-scientific medicine and medical education. Because this discourse takes a ‘deficit perspective’ on medicine and medical education to demonstrate the strength of the arts and humanities and as a critique of current medicine, it may obscure attention paid to other conditions that frame these deficits.
예술에 대한 지나친 강조는 의료와 의료 교육의 광범위한 맥락을 형성하거나 기여하는 다른 힘을 모호하게 할 수 있다.
overemphasis on the arts as a ‘solution’ may obscure other forces that form or contribute to the broader contexts of health care and medical education.
고찰
DISCUSSION
우리의 범위 지정 검토 결과 의대 인문학 수업의 형태와 측정의 양 측면에서 현저한 차이를 발견했다.
Our scoping review found striking variety in both the form and the measurement of medical humanities teaching.
우리는 의학 인문학 교육에 대한 검토가 카테고리화를 통한 일련의 전통적인 접근방식을 취했을 때, 마스킹이나 균질화가 생기는 것에 대해 신중해야 한다고 주장할 것이다.
We would argue that reviews of medical humanities teaching should be cautious about masking or homogenising the array of conventional approaches through descriptive categorisation.
우리의 개념적이고 변칙적인 분석적 결과의 추구는 [의료인문학 교육이 효과적인가] 하는 질문에서 벗어나, [의료인문학의 가르침은 무엇에 대하여, 왜 효과를 내고자 하는가]라는 무엇인가 하는 질문을 향해야 함을 보여준다.
The thrust of our conceptual and discursive analytical results indicates that we should turn away from the question of whether medical humanities teaching is effective5,6 to the question of what medical humanities teaching is trying to effect, and why.
우리는 의학교육에서 예술과 인문학의 인식론적 기능을 다음과 같이 정의하기를 제안한다:
예술과 인문학으로부터, 예술과 인문학과 함께, 그리고 예술과 인문학을 통해(from, with, through) 배우는 방법에 대한 가정, 가치, 믿음이다. 다음과 관련이 있다.
어떤 교육은 예술과 인문학의 어떤 기능을 적용invoke 시키는지,
어떤 종류의 지식이 생성되고 학습되어야 하는지,
주요 교육 및 학습 주안점(내용 또는 프로세스 지향)이 어디에 있는지
We propose to define the epistemic functions of the arts and humanities in medical education as:
the assumptions, values and beliefs about how learning from, with and through the arts and humanities occurs in terms of
which functions of the arts and humanities the teaching invokes,
which types of knowledge are to be generated and learned, and
where the main teaching and learning focus lies (content- or process- oriented).
이 연속체는 흥미롭게도 후기실증주의, 사회 구성론자, 비판론 연구 방법론의 연속적인 연구 방법론과 병행된다(그림 3.75). 두 연속체 사이의 대응은 왜 지배적인 연구 방법론이 의학 인문학 교육의 일부 기능을 가시화시키지만 다른 것들은 보이지 않게 만드는지를 설명할 수 있다.
This continuum, interestingly, runs parallel with the continuum of research methodologies from post-positivist, social constructivist and critical theory research methodologies (Fig. 3).75 The correspondence between the two continua may explain why dominant research methodologies make some functions of medical humanities teaching visible, but render others invisible.
예를 들어, 예술과 인문학의 [프로세스 지향적 사용](연속자의 오른쪽)은 학습자와 지식 사이에 대화적이고 상호작용적이며 변형적인 과정을 유발하는 것을 추구한다. 이러한 접근방식은 지식, 학습 과정 및 결과가 학습자와 분리되지 않는다고 가정한다. 학습 성과를 가능한 한 개인으로부터 객관적이고 독립적으로 측정하는 것을 목표로 하고, 학습자를 표준화하고 계량화할 수 있는 결과를 측정하고자 하는 지배적인 포스트 실증 연구 방법론은 프로세스 지향 의학 인문학 강의의 기본적인 인식론적 가정과 상충한다.
For example, process-oriented uses of the arts and humanities (the right side of the continuum) seek to invoke a dialogical, interactive and transformative process between the learner and the knowledge. These approaches assume that the knowledge, the learning process and the outcomes are not separate from the learner. Dominant post-positivist research methodologies, which aim to measure learning outcomes as objectively and independently from the individual as possible, and which seek to standardise learners and measure quantifiable outcomes, conflict with basic epistemological assumptions of process-oriented medical humanities teaching.
이와는 대조적으로, 예술과 인문학의 [내용 지향적 사용](연속체의 왼쪽)은 (동일한 인식론적 토대에 기반한) 전통적인 후기 실증주의적 체계적 검토 방법론의 측정 요건을 보다 쉽게 충족시킬 것이다. 우리의 샘플에서, '더 높은 수준의 증거'(예: RCTs)를 전달하는 것으로 일반적으로 간주되는 결과 연구는 일반적으로 특정 기술을 향상시키기 위해 예술이 사용되는 연속체의 왼쪽에 있었다.
By contrast, content-oriented uses of the arts and humanities (the left side of the continuum) will meet the measurement requirements of traditional post-positivist systematic review methodologies more readily because they are based on the same epistemological foundations. In our sample, outcome studies that are commonly considered to deliver a ‘higher level of evidence’ (such as RCTs), typically fell on the left side of the continuum in which art is used to improve a particular skill set.
검토된 문헌에서 우리의 세 가지 담론적 위치 - 본질적, 부가적 또는 치료적 위치 - 에 대한 연구 결과는 '효과성 질문'에 추가적인 빛을 비추어준다. 비에스타가 말했듯이 '무엇을 효과적인 것으로 간주할 것인가는 교육적으로 바람직한 것이 무엇인가에 대한 판단에 결정적으로 달려 있다.'76 이 scoping review는 [의학 교육에서 교육적으로 바람직한 것은 가치중립적이지 않으며, 의학이라는 학문에서 보다 광범위하게 중요하다고 여겨지는 것에 의해 추진되고 형성된다]는 것을 시사한다. 따라서 의학과 예술과 인문학의 관계가 어떻게 형성되는지가 중요하다.
Our findings of three discursive positions in the reviewed literature – medical humanities teaching as intrinsic, additive or curative – shine additional light on the ‘effectiveness question’. As Biesta states, ‘What counts as ‘effective’ crucially depends on judgements about what is educationally desirable.’76 This scoping review suggests that what is educationally desirable in medical education is not value-free and neutral, but is driven and shaped by what is considered important to the discipline of medicine more broadly. Therefore, it matters how the relationship between medicine and the arts and humanities is constructed.
우리가 파악한 세 가지 입장은 각각 의학을 위한 의학 인문학 가치에 대한 다른 생각을 구성하며, 다른 조치를 취해야 한다고 요구한다. 잃어버린 뿌리를 되찾아야 하는가, 현대 의학의 사회정치적 맥락에 대응할 수 있는 의학인문학의 잠재력을 부각시켜야 하는가, 아니면 의학인문학을 교과과정에 접목시켜 의료문화 내부의 근본적인 변화를 창출하는 것을 목표로 삼아야 하는가? 이처럼 서로 다른 가치적 위치value position를 명시한다면 '효과성 질문'이 가치 중립적이고, 맥락의존적이지 않다는 가식을 피할 것이다. 그리고 이것이야말로 이 영역에서 '효과적인' 탐구에 대한 생산적 논쟁을 촉진하기 위한 필수 전제 조건이다.
Each of the three possible positions we identified constructs different ideas about the value of medical humanities for medicine and calls for different actions to be taken. Should we reclaim lost roots, highlight the potential of the medical humanities to respond to contemporary medicine’s socio-political contexts, or aim to integrate the medical humanities into the curriculum to create fundamental change within medical culture? Making these different value positions explicit will avoid the pretence that effectiveness questions are value- and context-free – a necessary precursor to fostering productive debate about the ‘effectiveness’ quest in this domain.
의학 인문학사를 검토하며, Bleakley 는 최근 의료 인문학 가치에 대한 서로 다른 아이디어와 입장들의 존재(그리고 이들 사이의 경쟁)에 대한 우리의 발견에 반향을 일으키는 분야 발전 내의 다른 파장을 개념화했다.3 예를 들어, Bleakley 는 제2의 물결로서, 의학 인문학이 현재 부상하고 있다고 본다. Bleakley에 따르면 의료인문학은 '중요한 교육적 개입으로... 환원적인 생의학적 과학의 대척점으로서' 존재하며, 이는 이번 연구에서 추적한 의료인문학의 '치료적' 위치와 부합한다.
Reviewing the history of medical humanities, Bleakley recently conceptualised different waves within the field’s development which resonate with our findings of the existence of – and competition among – different ideas and positions about the value of medical humanities.3 For instance, Bleakley sees a second wave of medical humanities as currently emerging, which promotes ‘the medical humanities as a critical educational intervention... as a counterpoint to reductive biomedical science’,3 which resonates with the ‘curative’ position traced in our selected sample.
결론
CONCLUSIONS
의학 인문학 교육은 효과와 효용 면에서 그 자체를 설명해야 한다는 목소리가 높아지고 있다. 우리는 성과에 기반한 의학 교육의 시대에 이 소명의 힘을 인정한다. 그러나 우리는 의료인문학이 무엇이고 무엇을 하려고 하는지에 대한 이해가 없는 상태로 의학 인문학 교육이 효과적인지 질문하는 것에 대한 의문을 제기하였다.
Medical humanities teaching is increasingly called to account for itself in terms of effectiveness and utility. We acknowledge the power of this call in an era of outcomes-based medical education. We do, however, call into question the relevance of asking whether medical humanities teaching is effective before first understanding what medical humanities teaching is and what it is trying to do.
9. Wilkinson TJ, Wade WB, Knock LD. A blueprint to assess professionalism: results of a systematic review. Acad Med. 2009; 84: 551–558. https://doi.org/10.1097/ACM.0b013e31819fbaa2 PMID: 19704185
19. Goldie J. Assessment of professionalism: a consolidation of current thinking. Med Teach. 2013; 35: e952–956. https://doi.org/10.3109/0142159X.2012.714888 PMID: 22938675
Review
.2016 Mar;50(3):285-99.
doi: 10.1111/medu.12812.
Rethinking research in the medical humanities: a scoping review and narrative synthesis of quantitative outcome studies
Objectives:The rise of medical humanities teaching in medical education has introduced pressure to prove efficacy and utility. Review articles on the available evidence have been criticised for poor methodology and unwarranted conclusions. To support a more nuanced discussion of how the medical humanities work, we conducted a scoping review of quantitative studies of medical humanities teaching.
Methods:Using a search strategy involving MEDLINE, EMBASE and ERIC, and hand searching, our scoping review located 11 045 articles that referred to the use of medical humanities teaching in medical education. Of these, 62 studies using quantitative evaluation methods were selected for review. Three iterations of analysis were performed: descriptive, conceptual, and discursive.
Results:Descriptive analysis revealed that the medical humanities as a whole cannot be easily systematised based on simple descriptive categories. Conceptual analysis supported the development of a conceptual framework in which the foci of the arts and humanities in medical education can be mapped alongside their related epistemic functions for teaching and learning. Within the framework, art functioned as expertise, as dialogue or as a means of expression and transformation. In the discursive analysis, we found three main ways in which the relationship between the arts and humanities and medicine was constructed as, respectively, intrinsic, additive and curative.
Conclusions:This review offers a nuanced framework of how different types of medical humanities work. The epistemological assumptions and discursive positioning of medical humanities teaching frame the forms of outcomes research that are considered relevant to curriculum decision making, and shed light on why dominant review methodologies make some functions of medical humanities teaching visible and render others invisible. We recommend the use of this framework to improve the rigor and relevance of future explorations of the efficacy and utility of medical humanities teaching.
Problems No One Looked For: Philosophical Expeditions into Medical Education
Mario Veena,b and Anna T. Ciancioloa
의학교육에는 또한 진흙투성이의 실천 영역, 그 자체의 비정형적인 발표, 의도하지 않은 결과, 그리고 설명해야 할 구조적 이상이 있다. 복잡성과 불확실성의 이러한 영역은 우리 중 많은 이들에게 친숙하게 느껴질 것이다.
Medical education also has its muddy zones of practice, its own atypical presentations, unintended outcomes, and structural abnormalities for which to account. These areas of complexity and uncertainty likely feel familiar to many of us:
의사의 전문적 판단을 분석해보면, 수행능력과 환자 결과가 최적이 되려면, 의사들이 상황을 인지하고 당면한 문제를 재구성하고 그에 따라 조치를 취해야 하는 ["복잡한 실천 영역"의 인식 및 "속도 늦추기" 능력]에 달려 있음을 시사한다.1 외과의사들 사이에서는 수술실에서 배경음악을 끄고, 수다를 잠재우고, 재집결하기 위해 잠시 멈추는 등의 느린 조짐이 나타나고 있다.2 또한 속도를 늦추는 것은 시술 및 환자 특유의 복잡성과 불확실성에 대한 의사의 예상에 의해 촉발된 능동적인 계획일 수 있다.2
Analysis of physicians’ expert judgment suggests that optimal performance and patient outcomes depend on physicians’ ability to recognize “muddy zones of practice,”2(p.1019) and “slow down” to attend to the situation, reframe the problem at hand, and take action accordingly.1 Among surgeons, signs of slowing down include turning off background music in the operating room, silencing chatter, and pausing to regroup.2 Slowing down also may be proactively planned, prompted by the surgeon’s anticipation of procedure- and patient-specific complexities and uncertainty.2
하지만 의학 교육에서 "필요시 속도를 늦추는 것"은 어떤 모습일까?
But what does “slowing down when we should”1 look like in medical education?
철학은 우리가 [새로운 방식으로 사물을 보고(그리고) 할 수 있도록] [겉보기에는 명백해 보이는 실천에 대한 기본적인 질문을 하기 위해] [복잡하고 불확실한 시기에 잠시 멈추는 근본적인 접근법]이라고 볼 수 있다. 우리가 그것을 알고 있든 몰랐든 간에, 우리가 의학 교육에 사용하는 기본 개념은 철학으로 추적될 수 있다.
Philosophy can be seen as the fundamental approach to pausing at times of complexity and uncertainty to ask basic questions about seemingly obvious practices so that we can see (and do) things in new ways. Whether we are aware of it or not, basic concepts we use in medical education can be traced to philosophy.
예를 들어,
의학이나 교육에서 우리가 하는 일은 '원인'과 '효과'가 확인되는 체계적인 경험적 연구에 기초해야 한다는 생각은 흄과 로크.5로 거슬러 올라갈 수 있다.
지식, 기술, 태도 면에서 학습자에 대해 생각하는 것은 플라톤과 아리스토텔레스로 거슬러 올라갈 수 있다.
Kolb's,6과 같은 성찰 모델들은 그의 연구를 헤겔의 철학에 기초했던 7세의 John Dewey로 거슬러 올라갈 수 있다.
For example,
the idea that what we do – in medicine or in education – should be based on systematic empirical research whereby ‘causes’ and ‘effects’ are identified can be traced back to Hume and Locke.5
Thinking about learners in terms of knowledge, skills, and attitudes can be traced back to Plato and Aristotle.
Models of reflection, such as Kolb’s,6 can be traced back to John Dewey,7 who in turn based his work on Hegel’s philosophy.
이 글에서는 의학 교육의 속도를 늦추는 철학적 접근법을 설명하며, 철학적으로 상황을 보는 것이 어떻게 우리의 주의를 집중시키기 위해 잠시 멈추고, 당면한 문제를 재구성하고, 그에 따른 조치를 취하는 데 도움이 되는지 보여 준다.
In this article, we illustrate a philosophical approach to slowing down in medical education, demonstrating how viewing a situation philosophically helps us pause to focus our attention, reframe the problem at hand, and take action accordingly.
레지던트 문제에 대한 철학적인 접근은 반격한다.
A philosophical approach to the problem of resident teach back
내과 레지던트 프로그램 책임자가 문제에 직면했다고 상상해보라: 관찰에 근거한 평가를 해보니, 검사실을 떠나기 전에 전공의들은 계속해서 "teach back"에 실패한다. 즉, 자기가 맡은 환자가 [자신의 상태 또는 다음 치료단계]에 대한 이해 수준을 가늠하지 못한다.
Imagine an internal medicine residency program director faced with a problem: observation-based assessments reveal that before leaving the examination room, residents consistently fail to “teach back,” or gauge their patients’ understanding of their condition and what the next steps in their treatment plan will be.8
프로그램 감독이 개입하기로 결정한다.
the program director decides to intervene.
프로그램 감독이 선택하는 개입은 그들이 당면한 문제를 어떻게 공식화formulate했느냐에 달려 있다.
The intervention the program director chooses depends on how they have formulated problem at hand.
그 개입은 티치백 방법에 레지던트 컨퍼런스에 할애하는 것과 공식적으로 티치백 기술을 개발하기 위한 모의 환자 만남을 관리하는 것으로 구성된다고 하자. 이 경우 문제는 지식격차로 진단되었다: 'Trainee는 어떻게 하는지를 모르기 때문에 못 하는 것이다.' 그러나 그 개입이 성공적이지 못하고, 주민들은 여전히 반성을 하지 않으며, 프로그램 디렉터는 그 문제를 동기부여적 결함으로 재구성한다: 'Trainee들이 방법은 알고 있지만, 그들은 그것을 하도록 동기부여가 되지 않는다; 그들은 그것이 왜 중요한지 이해하지 못한다.'
Let us say that the intervention comprises dedicating a resident conference to the teach back method and administering a simulated patient encounter to formally develop teach back skills. In this case, the problem has been diagnosed as a knowledge gap: ‘Trainees do not know how.’ But imagine that the intervention is not successful, residents still do not teach back, and the program director re-formulates the problem as a motivational deficit: ‘Trainees know how, but they are not motivated to do it; they do not understand why it is important.’
지금까지 본 예에서 프로그램 디렉터는 전공의들이 의사-환자 커뮤니케이션을 제대로 하지 못하는 것은 지식, 기술, 태도의 부족 때문이라고 보았다. 이것은 명백해 보인다. 하지만 철학적인 것은 명백한 것에 의문을 제기하는 것이니까, 여기서 함께 그렇게 해서 무슨 일이 일어나는지 봅시다. 레지던트들은 어떻게 teach back이라는 업무를 경험하고 있는가? 그들은 문제를 인식하고 있는가? 만약 그렇다면, 어떻게 정의내리고 있는가?
In our example so far, the program director has seen residents’ failure to enact satisfactory doctor-patient communication as a lack of requisite knowledge, skills, and attitudes. This seems obvious. But being philosophical is about questioning the obvious, so let us do that together here and see what happens: How does the resident experience the task of teaching back? Do they see a problem, and if so, how do they define it?
레지던트는 학습자이자 실무자로서 잠재적으로 상충할 수 있는 여러 역할을 갖는 시험실에 들어가는 것으로 보일 수 있다. 환자에 대한 그들의 관계와 이것이 다시 가르치는 데 도움이 되는지 여부는 그들이 이러한 역할을 어떻게 탐색하느냐에 따라 달라질 수 있다. 예를 들어, teach back을 하려면, 전공의는 환자의 치료에 대한 주인의식을 느낄 필요가 있을 수 있다. 하지만 전공의들은 실제로는 궁극적으로 책임을 지는 주치의에게 무엇을 해야할지 확인받아야 한다는 것을 알고 있다. 게다가, 주치의는 더 경험이 많은 의사로서, 전공의의 계획에 동의하지 않을 수도 있다.
The resident may be seen as entering the exam room embodying multiple, potentially conflicting roles: learner and practitioner. Their relationship to the patient and whether this is conducive to teach back may depend on how they navigate these roles. For instance, in order to teach back, the resident may need to feel ownership of the patient’s care,11 yet residents know they must verify what they do with the attending, who is ultimately responsible. Moreover, the attending is the more experienced practitioner, who may disagree with the resident’s plan.
이런 맥락에서, 특히 나중에 계획이 수정될 필요가 있다면, teaching back은 역할의 경계를 위반하는 것으로 구성될 수 있다: 실제로는 연습생인데, 책임질 의사처럼 행동하는 것이다. 만약 teaching back 문제가 [역할 갈등]의 하나라면, 그것은 [역할 경계를 명확히 하고 탐색하는 것]을 목표로 하는 개입을 요구한다; 지식이나 동기를 목적으로 하는 개입은 효과가 없을 것이다.
In this context, teaching back, especially if the plan later needs correcting, may constitute a breach of role boundaries: acting like a practitioner when one is in fact a trainee. If the problem of teach back is one of role conflict, it calls for an intervention aimed at clarifying and navigating role boundaries; intervention aimed at knowledge or motivation would not work.
이 문제에 접근하는 방식은 고전적인 철학적 움직임인 프로그램 디렉터의 참조 프레임을 교란시킨다는 점에서 이전과는 다르다. 레지던트를 더 이상 지식, 기술, 태도의 집합체로서가 아니라, 사고하고 행동하는 존재로서 접근하며, 다음에 무엇을 해야 할지를 함의해준다. '우리는 개입이 필요하다'는 결론을 내리는 대신 프로그램 책임자는 한발 물러서서 '왜 전공의들은 teach back을 하지 않을까', 더 일반적으로는 '어떻게 하면 전공의가 양질의 환자 소통을 할 수 있도록 도울 수 있을까'라는 의문을 제기하며 문제를 재조명할 수도 있다.
This way of approaching the problem differs from the previous one in that it disrupts the program director’s frame of reference, a classic philosophical move. The resident is no longer approached as an assemblage of knowledge, skills, and attitudes, but as a thinking, acting being, which has implications for what to do next. Instead of concluding ‘We need an intervention,’ the program director may step back and reimagine the problem, wondering ‘Why don’t residents teach back?’ and, more generally, ‘How can we help residents achieve high quality patient communication?’
우리는 왜 전공의들에게 기대되는 행동이 일어나지 않는지에 대해 세 가지 가능한 설명을 가지고 있다. 이러한 각각의 설명은 의사소통 지식/기술의 결핍, 동기부여 문제, 역할 갈등 등 특정한 방식으로 문제를 정의한다. 우리는 이러한 정의들 중 어느 것도 반드시 다른 정의보다 더 진실하지 않다는 것을 알 수 있다; 문제를 봄에 있어서, 명백하고 명료해보이는 문제에 의문을 갖고, 철학자들은 '올바른' 렌즈나 틀을 찾으려는 생각을 재빨리 부인하거나, 렌즈나 틀 없이 '있는 그대로' 세상을 볼 수 있는 것처럼 행동한다.
We now have three possible explanations for why a behavior expected of residents does not take place. Each of these explanations defines the problem in a certain way: as a communication knowledge/skill deficit, a motivational issue, and a role conflict. We may note that none of these definitions is necessarily truer than the other; after questioning the obvious and disentangling a problem from how it is viewed, philosophers are quick to disown the idea of finding the ‘right’ lens or framework, or to pretend that we can see the world ‘as it is’ without a lens or framework.
아무도 찾지 못한 새로운 문제들
(Some) new problems no one looked for
teach back의 장벽을 식별하고 이를 해결하기 위한 대응을 형성함에도 불구하고 전공의에 대한 관찰적 평가는 그들의 행동이 여전히 기대에 미치지 못한다는 것을 보여준다고 (아마도 쉽게) 상상해 보자.
Let us imagine (perhaps readily) that despite identifying barriers to teach back and forming a response to address them, observational assessment of residents shows that their behavior still fails to meet expectations.
언어를 통해 지식은 힘을 제공한다.
Through language, knowledge serves power
푸카울디안 렌즈15,16은 당면한 문제를 볼 수 있는 권위에 대한 두 가지 새로운 관점을 도입할 것이다.
첫 번째 관점은 누가 무엇을 말할 수 있는지, 누가 진단과 치료 계획과 같은 의사와 환자 관계의 핵심 요소를 정의할 수 있는지를 구속하는 것으로서 [언어적 용어로서의 권위]를 보는 것을 포함한다.
두 번째 관점은 권위를 [(누군가가 가진 것이 아니라) 누군가가 하는 것]으로 보는 것이다. 그리고 이것은 그가 사용할 수 있는 지식과 정보의 종류에 달려있다.
이러한 관점에서 우리는 전공의, 환자, 주치의를 권력지식 네트워크 내에 위치해 있다고 본다; 지식은 [말해질 수 있는 것과 말할 수 있는 사람]에 의해 제정되는 것이다.
A Foucauldian lens15,16 would introduce two new perspectives on authority from which to view the problem at hand.
The first perspective involves viewing authority in linguistic terms, as something that constrains who gets to say what and who can define key elements of the doctor-patient relationship, such as the diagnosis and the treatment plan.
The second perspective involves viewing authority not as something one has, but something one does, and this depends on the kind of knowledge and information one can use.
From this perspective we see the resident, patient, and attending as situated within a power-knowledge network;15 knowledge is power enacted through what can be said and by whom.
공유 의사결정 프레임워크는 의료 서비스를 의사와 환자의 공유 프로젝트로 정의하지만, 예시한 전공의의 상황에서는 주치의도 참여한다. 이 그룹의 커뮤니케이션을 들여다보면 환자-전공의-주치의가 모두가 방에 있을 때 주치의가 상호작용을 주도하는 사람임을 알 수 있다. 주치의는 교류의 지속 기간(예: "안녕"을 처음으로 말하는 사람)과 교류의 대상이 되는 주제(예: 질문을 하는 사람)를 정의하는 사람이다. 이러한 상호작용을 푸콜디안적 관점에서 보면 프로그램 책임자가 현 문제의 프레임을 '전공의가 teach back을 하려면 우리가 어떻게 개입할 수 있을까' 또는 '전공의는 왜 teach back 하지 않는가?'에서 '전공의는 권력power이 없는데, 이런 상황에서 teach back주지 않는 것이 정말 문제일까?'로 전환시킬 수도 있다.
the Shared Decision-Making framework,17,18 defines health care as a shared project of doctor and patient, but in the resident’s situation the attending also participates. Examination of this group’s communication may reveal that the attending physician is the one who leads the interaction when all three parties are in the room, defining how long the exchange lasts (e.g., by being the first person to say “goodbye”) and what topics it covers (e.g., by being the one to ask questions). Viewing these interactions from the Foucauldian perspective may prompt the program director to shift the problem frame from ‘How can we intervene to make residents teach back?’ or ‘Why does the resident not teach back?’ to ‘Why is it even a problem that residents, who lack power in this situation, do not teach back?’
평가 또는 학습?
Assessment or learning?
철학적 입장을 취하면서 프로그램 책임자는 '우리는 전공의의 teach back을 평가할 것인가?'라는 질문도 할 수 있다. 왜냐하면 teach back은
(1) 그것은 질 높은 환자 진료를 보장하고,
(2) 환자-소통 역량 개발을 촉진시키며
(3) 이용 가능한 도구로 쉽게 평가할 수 있는 주민 행동을 보여주기 때문이다.
Taking a philosophical stance, the program director also may ask: ‘Do we assess residents’ teach back because it
(1) ensures quality patient care;
(2) facilitates the development of patient-communication competency; or
(3) describes a resident behavior that we can evaluate readily with available instruments?’
이 질문은 전공의가 단순히 공감적이라고(이 경우 효과적인 의사 소통자라고 보기에) 충분하지 않을 수 있음을 암시한다. 그러나 전공의는 그렇게 보여야 하며, 그렇게 '보이기' 위해서 전공의는 평가자가 관찰할 수 있는 방식으로 행동할 경우에만 그렇게 보일 수 있다. 심지어 그것조차도 충분하지 않다; 평가자는 관찰한 바를 평가 양식의 미리 정의된 구조로 번역해야 한다.20 이 점에서 우리는 의사와 환자의 의사소통 (전공의가 배우기를 원하는 것)과 그것에 대한 평가(전공의가 그것을 배웠다고 어떻게 알 수 있는지)의 두 담론 사이의 경쟁을 본다.
This question implies that it may not be enough for residents to be empathetic doctors,19 or, in this case, effective communicators. They have to be seen as such, and this can only occur if they act in a way that is observable to the assessor. And even that is not enough; the assessor must translate their observations into the predefined structure of an assessment form.20 In this, we see the competition between two discourses, that of doctor-patient communication (what we want the resident to learn) and that of assessment (how we know the resident learned it).
'도구적 사고' 21,22의 철학적인 개념은 여기서도 관련이 있다. 철학자들은 크게 두 가지 주요 사고방식을 구분했다: 도구적 합리성과 가치적 합리성.
도구적 합리성은 가능한 한 효율적으로 달성되어야 할 목적의 관점에서 세상을 볼 것을 요구한다.
가치적 합리성은 우리를 좀 더 총체적인 의미에서 세계와 관련지을 것을 요구한다. 이러한 사고방식은 우리가 어떻게 생각하는지뿐만 아니라 어떻게 느끼고 행동하는지 결정하면서 근본적으로 다른 세상과의 관계 접근방식을 나타낸다
The philosophical concept of ‘instrumental thinking’21,22 is relevant here. Philosophers have broadly distinguished two main ways of thinking: instrumental (or technical) rationality and value rationality.
Instrumental rationality calls us to see the world in terms of ends that should be achieved as efficiently as possible.
Value rationality, by contrast, calls us to relate to the world in a more holistic sense. These ways of thinking represent fundamentally different approaches of relating to the world, determining not just how we think but also how we feel and act.
우리의 프로그램 디렉터의 질문은 어떻게 도구적 사고와 가치적 합리성이 충돌할 수 있는지를 보여준다; teach back은 [환자 치료에 대한 보다 전체적인 개념을 반영]할 수 있지만, teach back의 평가는 [연습생을 효율적으로 평가하기에 적합한 teach back의 구성요소]에 제약을 가할 수 있다.
Our program director’s question illustrates how instrumental thinking and value rationality may clash; teach back may reflect a more holistic notion of patient care, but its assessment may impose constraints on what constitutes teach back in order to evaluate trainees efficiently.
우리는 평가 렌즈가 평가 기구에 의해 포착된 관찰 가능하고 측정 가능한 행동이 아니기 때문에, [환자와의 의사소통]과 [기술 개발] 사이에서 균형을 잡게 되는 전공의의 행동practice이 걸러지는filter 것을 발견할 수 있다.23 가치적 합리성의 관점에서 teach back을 바라본다면, 프로그램 책임자에게 'teach back의 궁극적인 목적은 무엇인가, 그리고 훈련 중인 의사들이 이 목표를 달성하기 위해 사용할 수 있는 다른 연습이 있는가?' '우리 전공의들이 이미 teach back을 하고 있지만, 다만 평가도구를 사용하여 그것을 보지 못하는 것인가?' 라는 새로운 질문을 숙고하게 할 수 있다.
We may discover that an assessment lens filters out resident practices that balance patient communication and skill development because they are not observable, measurable behaviors captured by assessment instruments.23 Approaching teach back from a value rationality perspective may prompt the program director to ponder new questions: ‘What is the ultimate purpose of teach back, and are there other practices that doctors in training can use to accomplish this goal?’‘Are our residents already doing these practices, but we fail to see it using our assessment instruments?’
과학의 합리성과 역사성
[최무영의 과학이야기] <12> 과학의 성격 <하>
최무영 서울대 교수 | 기사입력 2008.02.22. 01:00:00
과학의 합리성
객관성 다음으로 생각해 볼 성격으로 합리성을 들 수 있습니다. 과학이론이 '합리적'이라고 생각하나요? 왜 합리적이라고 생각해요? 과학이론이 합리적이라는 말의 뜻은 무엇인가요? 과학이론이 어떻다는 건가요?
우리가 '합리적'이라고 말하는 의미도 몇 가지로 나눠 생각할 수 있습니다. 그중 하나는 '도구적 합리성(instrumental rationality)'이라고 부르는 겁니다. 이것은 말 그대로 도구적 관점인데, 결국 주어진 목적을 잘 달성할 수 있으면 합리적이라는 겁니다. 자연과학의 목적은 자연현상의 이해이므로, 자연현상을 이해하는데 도움이 되면 합리적이라는 거지요. 이것으로 충분하다는 것인데, 사실은 그것으로는 불충분할 수도 있습니다. 왜냐하면 주어진 자연 현상을 이해하게 하는 이론 체계가 하나가 아니라 여러 가지가 있을 수 있습니다. 예를 들어 행성의 운동을 설명할 때, 지구중심설과 태양중심설이라는 서로 다른 이론 체계가 존재하지요. 두 가지 모두 행성의 운동 이해라는 주어진 목적을 잘 달성할 수 있습니다. 따라서 이런 경우에는 도구적 목적의 의미로만 합리성을 얘기할 수 없습니다. 그러면 어떻게 해야 될까요? 어떤 기준으로 합리성을 생각해야겠어요?
이에 대해 앞에서 간단하게 논의를 했습니다. 이른바 '좋은 이론'이라고 부르는 판단 기준이 있었지요. 이를 테면 '경험적 적합성'이라고 지칭하는 것입니다. 그러나 '좋은 이론'이라는 판단도 쉬운 문제는 아닙니다. 어떤 현상을 얼마나 정밀하게 설명해 주느냐를 생각해 볼 수 있고, 또는 정밀성은 좀 떨어지더라도 더 넓은 범위를 설명해 줄 수 있느냐를 중요하게 생각할 수도 있습니다. 예를 들어 A라는 이론과 B라는 이론이 있는데 A라는 이론은 어떤 현상은 기막히게 잘 설명하지만 다른 건 설명하지 못하고, B라는 이론은 이런 거 저런 거를 모두 설명하지만 정밀하지 않다고 합시다. 둘 중에 어느 것이 더 좋은 이론일까요? 문제가 그렇게 간단하지 않네요.
또는 설명의 능력과 예측의 능력이 다르면 어떻게 하겠습니까? 어떤 이론은 지금 이 현상을 잘 설명하는데, 이에 반해 어떤 다른 이론은 지금 현상에 대한 설명은 좀 떨어지지만 예측을 훨씬 잘 할 수 있다든가. 하여튼 여러 가지가 서로 대립할 때 어떻게 판단하는가 하는 쉽지 않은 문제들이 있습니다. 따라서 경험적 적합성으로 판단할 수 없는 경우도 있다는 거지요.
결국 이론의 합리성에 관해서 도구적인 합리성을 받아들이기는 어려우며, 경험적인 적합성으로도 불충분할 수 있습니다. 결국에 가서는 과학 활동의 사회적 요소들, 가치와 의미의 문제 등을 생각하게 되는 경우가 많다는 겁니다. 합리성도 그렇게 간단한 문제는 아니라는 거고요.
과학의 역사성
다음에는 역사성이라는 문제입니다. 역사성은 두 가지 관점에서 생각할 수가 있습니다. 하나는 자연과학은 역사성, 쉽게 말하면 전개과정이나 역사 관계가 없다는 겁니다. 전개 과정과 무관하다는 것, 곧 어떻게 출발했던 간에 결론은 하나로 도달한다는 이야기입니다. 출발점에 관계없이 동일한 결론이 나온다는 것이 한 가지 관점이고, 다른 하나는 역사에 의존한다는 것인데, 전개과정이 어떻게 되는지에 따라 달라진다는 이야기입니다. 어떤 우발성(contingency)의 역할이 있다고 믿는 거지요. 이 두 가지에 대해 어떻게 생각해요?
예를 들면 산꼭대기에 올라가는데 꼭대기는 하나니까 어느 쪽으로 올라가도 다 똑같다는 얘기입니다. 그렇게 될 것이라는 것이 한 가지 생각이고, 그렇지 않고 어느 쪽에서 출발하느냐에 따라 모두 다른 데로 가게 되고, 과학이 다르게 발전할 것이라고 믿는 게 다른 한 가지입니다.
하나만 얘기하고 끝내겠습니다. 페미니즘의 관점이 이런 것입니다. 자연과학, 특히 물리학은 앞에서 한 번 얘기했지만, 분명히 남성 중심으로 발전했습니다. 지금도 물리학을 전공하는 사람들을 보면 대부분 남학생입니다. 물리학자도 대다수가 남자입니다. 생물이나 화학에 비해서도 압도적으로 남자가 많습니다. 그래서 물리학 사회가 매우 남성 중심적인 지금의 모습이 됐다고 생각하는 겁니다. 다시 말해서 만약에 여자들이 물리학을 주도했다면 지금 물리학 모습이 완전히 달라졌을 것이라고 생각하는 거지요. 그럴지, 아니면 여자들이 했어도 결국 물리학의 모습은 지금과 똑같을지, 어느 쪽이겠냐는 겁니다. 두 가지 의견이 있겠네요. 어떻게 생각해요?
학생: 같을 거라고 생각해요.
어떻든 간에 동일한 결론이 나올 거라고 생각하나요?
학생: 물론 발달 정도에 차이는 있겠지만, 곧 어느 쪽은 더 발달하고 어느 쪽은 덜 발달하는 건 있겠지만, 결과적으로 끝까지 가면 같을 것 같아요
다들 그렇게 생각해요? 여자들이 주도해서 물리를 했어도 내용은 지금과 마찬가지일 거라고. 혹시 그렇지 않게 생각하는 학생 있어요?
학생: 저는 1년 전 쯤에 어떤 책을 읽었거든요? 물리학이 처음 유럽 고대에서 중세 시절에 자연철학으로 발전했고 그때 자연철학이 세계를 이해하는 방식이 종교와도 연관이 있었죠. 종교에서는 흔히 남성은 상위에 두면서 좋게 평가하고, 여자는 좀 안 좋은 쪽으로 평가를 한 걸로 기억해요.
그러니까 실제로 인류의 생각이 고대에서 근대로 넘어오면서 여성 중심에서 남성 중심으로 바뀌었다고 생각하는 겁니다. 여성적인 대지, 곧 지구의 여신 가이아(Gaia)에서 남성적인 태양의 신 아폴로(Apollo)로 중심이 바뀌면서요. 그건 타당성이 있지만, 만일에 여자가 중심이 됐다면 과학의 내용이 바뀌었을까요? 사실 여러 가지 엇갈린 의견이 있을 수 있습니다. 정답이 있는 건 물론 아니고, 두 가지 답이 다 일리가 있겠습니다.
앞에서 강조했듯이 과학자도 인간이고 과학은 인간의 활동이기 때문에, 사회의 여러 가지 관념체계의 영향을 안 받을 수는 없습니다. 그렇게 생각하면 역사성이 없을 수는 없겠네요. 그러나 또한 반대 면이 있습니다. 자연과학은 자연을 해석하는 것이므로 자연이라는 아주 강력한 구속 조건이 있습니다. 우리가 자연현상의 관측을 통해서 적어도 어림이라고 하는 일관성(consistency), 일치를 얻어야 하는데, 이는 상당히 강력한 구속 조건입니다. 그것이 자연과학이 다른 분야와 완전히 다른 특별한 형식을 가지는 원인이라고 할 수 있지요. 결국 두 가지 면이 다 있습니다. 강력한 구속 조건이 있지만, 이것만 갖고 한 가지로 결정된다고 보긴 어렵습니다. 거기에 사회적 요소가 개입될 여지는 분명히 있습니다.
의학 교육에는 모호성을 (훈련 시스템이 작동하지 않는다는 징후가 아니라) 의사가 되는 것의 일부로서 받아들이도록 격려하는 움직임이 있다.24,25 드 보부아르와 같은 현대 철학자들은 모호성을 [인간 존재의 잠재적으로 본질적인 긍정적인 자질]로서 받아들였다.26
There is a movement in medical education encouraging us to accept ambiguity as a part of becoming a doctor, rather than a sign that our training system is not working.24,25 Modern philosophers like De Beauvoir have embraced ambiguity as a positive quality, potentially fundamental to human existence.26
실제로 의학교육에서 애매모호함을 다루지 않는 순간은 드물고, 이를 용인하는 능력이 심리적인 안녕과 긍정적으로 관련이 있다고 의심할 만한 이유가 있다.27
Indeed, in medical education there is rarely a moment when we do not deal with ambiguity, and there is reason to suspect that one’s ability to tolerate it is positively related to psychological well-being.27
왜 의학교육이 그대로인가.
why medical education is the way it is
우리가 제안하는 첫 번째 철학적 실천은 어떤 일이 일어나고 있는지에 주의를 기울이고 설사 경험이 있다 하더라도 초심자의 마음을 상정하는 것이다. 이것은 잘 알려진 속담(흔히 소크라테스에게 잘못 인용된 말)에서 예시된다. "내가 아는 것은 아무것도 모른다는 것뿐입니다." 이 첫 번째 실천은 숙달하기 보다는, 전문지식의 특징인 복잡성이나 불확실성 앞에서 "속도를 낮추어야 함"을 촉구하기 위한 것이다.1 우리의 예에서 관찰평가로부터, 개입에도 불구하고 전공의들이 teach back을 제대로 하지 못하고 있다는 것을 계속 보여주었을 때, 프로그램 디렉터는 이것이 [사실 지식, 기술, 동기부여의 결손에 기인하는 것인지]에 대해 의문을 잠시 멈추고, [무엇이 이 '문제'를 애초에 문제가 되게 하였는지]에 대한 의문을 제기하게 되었다. 또 다른 예로, '이 새로운 프로그램을 어떻게 평가할 것인가?'라는 질문을 하기 전에, (초심자처럼 생각하자는) 이 철학적인 움직임은 우리에게 '이 프로그램을 평가하기를 원하는가, 그리고 만약 그렇다면 왜인가?'라고 물을 수 있는 공간을 제공한다.
The first philosophical practice we suggest is to pay attention to what is happening and assume a beginner’s mind, even if one is experienced. This is exemplified in the well-known saying (often misattributed to Socrates) “All I know is that I know nothing.” Rather than achieving mastery, this first practice is aimed at the urge to “slow down” in the face of complexity or uncertainty, a hallmark of expertise.1 In our example, when observational assessments continued to show, despite intervention, that residents were failing to teach back, the program director paused to question whether this was in fact attributable to knowledge, skill, or motivational deficits, and later, to question what made this ‘problem’ a problem in the first place. As another example, before asking the question ‘How will we assess this new program?’ this philosophical move—thinking like a beginner—gives us the space to ask ‘Do we want to assess this program, and, if so – why?’19
두 번째 철학적 관행은 [문제를 가장 근본적인 설명으로 돌려서] 가정assumption들이 스스로를 드러내도록 유도하는 것이다. 만약 우리의 프로그램 책임자가 지식, 기술, 태도 면에서 계속해서 학습자들을 봐왔다면, 그들은 전공의들이 주치의-전공의 관계에서 환자 관리의 소유권을 갖지 못하게 할 수도 있는 힘의 역학을 발견하지 못했을 것이다. 이 실천의 지침서는 델루제(Deleuze)와 과타리(Guattari)가 철학의 제1원칙이라고 부르는 것이다: "우주는 아무것도 설명하지 않는다. 스스로 설명되어야 한다."28(p.6) 만일 개입하는 이유가 그저 그것이 '좋기' 때문이라면, 그것이 '증거에 기반한다'거나 학생들이 '배운다'는 식으로 철학을 하는 것은 다음과 같은 질문을 수반한다. '좋은 것', '증거' 또는 '배움'이 무슨 뜻인가? 이렇게 해서 우리가 의학교육에서 가지고 있는 가장 분명하고 기본적인 개념은 그 자체로 분석의 대상이 될 수 있다. 이 [기본으로 돌아가자getting back to the basics]라는 철학적 관행은, '질문을 하는 사람으로서, [나를 포괄하는involve 어떤 질문]이 만들어질formulated 수 있을까?'라는 질문으로 제정될 수도 있다. 예를 들어, '어떻게 하면 연습생들을 배우게 할 수 있을까?'라는 질문을 철학적으로 바꾼다면 '나는 교육자로서 나를 어떻게 보고있는가? 그리고 배움에 대한 나의 관점이 갖는 함의는 무엇인가?'
A second philosophical practice is to lead a problem back to its most fundamental description, prompting assumptions to reveal themselves. If our program director kept seeing learners in terms of knowledge, skills, and attitudes, they would not have discovered the power dynamics in attending-resident relationships that might prevent residents from taking ownership of patient care. A guide in this practice is what Deleuze and Guattari call the first principle of philosophy: “Universals explain nothing, but must themselves be explained.”28 (p.6) If a reason for intervening is because it is ‘good,’ because it is ‘evidence-based,’ or because that is how students ‘learn,’ doing philosophy involves asking: What do you mean by ‘good,’ by ‘evidence,’ or by ‘learning?’ In this way, the most obvious and basic concepts we have in medical education can become objects of analysis in themselves. This philosophical practice—getting back to the basics—could also be enacted by asking: ‘What question can be formulated that involves me, the questioner?’ For instance, the question ‘How can I get my trainees to learn?’ if asked philosophically could become: ‘How do I see myself as an educator and what are the implications of my perspective for what learning is?’
앞의 두 사람이 섬기는 세 번째 관행은 frame of reference를 교란하는 것이다. (다른 사람의 눈을 통해 문제가 어떻게 생겼는지 상상하든, 전혀 다른 시력을 가진 사람과 대화하든 간에) 관점을 달리 해서 어떤 것을 보는 것은 자신의 가정이나 기본 렌즈를 드러낼 수 있다. 예를 들어 플라톤이 묘사한 소크라테스 대화 중 하나에서 소크라테스는 아버지를 기소하려고 하는 에우티프로와 이야기를 나눈다. 에우티프로가 자신의 사례를 당연한 것으로 제시하지만, 일련의 질문을 통해 소크라테스는 [무지의 태도]를 가정하고 "모든 문제에 대한 정확한 지식"을 주장하는 에우티프로로 하여금 소크라테스를 "가르치게끔" 유도한다.29(p.6) 이것은 에우티프로의 frame of reference을 교란시켜 정의와 같은 가치관을 설명하는 것에 문제가 없다는 식의 일상적인 태도에서 전환할 수밖에 없게 하였다. 우리의 teach back 사례에서 프로그램 디렉터가 관점을 바꿔보고, 전공의의 관점을 찾아내고, 마지막으로 커뮤니케이션을 직접 관찰하도록 유도할 수 있었던 것은 문제가 해결되지 않고지속되었기 때문이다. 그 결과, PD의 참조 틀은 여러 번 붕괴되었다:
전공의를 객체로 보는 것에서 주체로 보는 것으로,
권위를 어떤 사람이 가진 것에서 어떤 사람이 하는 것으로
teach back의 문제를 PD가 멀리 떨어져 관조하는 것에서, 관점에 따라 달라지는 것으로
The third practice, served by the preceding two, is to disrupt frames of reference. Viewing something from a different perspective—whether by imagining what a problem looks like through someone else’s eyes or by talking to someone with completely different sight—can reveal one’s own assumptions or default lens. For example, in one of the Socratic Dialogs described by Plato, Socrates speaks with Euthypro, who is about to prosecute his father. Euthypro presents his case as obvious, but through a series of questions Socrates assumes an attitude of ignorance and invites Eurthypro, who claims “accurate knowledge of all such matters,” to “teach” him.29(p.6) This disrupts Euthypro’s frame of reference, forcing him to switch from a routine attitude in which values such as justice are taken as unproblematic to having to explain them. In our teach back example, it is the persistence of a problem that prompts the program director to take on different perspectives, to seek out residents’ points of view, and finally to observe communication directly. Consequently, frames of reference were disrupted multiple times:
from the resident as an object to a subject;
from authority as something one has to something one does; and finally,
from teach back as a problem the program director observes from a distance, to one that is shaped by their own views.
철학적이기
Being philosophical
"문제에 대한 철학자의 치료는 마치 병에 대한 치료와 같다."30(제255조)
“The philosopher’s treatment of a question is like the treatment of an illness.”30 (§255)
철학은 자신에게 중요한 것을 이해하려는 욕망과 현재의 사고방식에 대한 불만족이나 심지어 좌절감에서 시작된다. 이와 같이 철학은 과학과 기술 발전의 근원이기도 한 그러한 인간성human qualities의 연장선상에 있다. 그러나 철학은 물음에 가까운 상태로 남아, 격렬하고 어린아이 같은 호기심과 이해하고자 하는 열망으로 살아 있게 한다. 예를 들어, '좋은 교육이란 무엇인가?'라는 질문에 대해서 철학자는 교육적, 심리적, 신경학적 관점을 발동하여 교육적, 심리학적, 신경학적 관점을 연구할 수도 있지만, 나아가 'good'과 'educational'이라는 용어를 정치적, 역사적, 언어적, 논리적, 그리고 심지어 영적 관점으로 고찰할 수도 있다. 철학은 어떤 렌즈나 규율에도 얽매이지 않는 일종의 탐구라고 볼 수 있다. 그런 의미에서 철학은 우리가 의학 교육에 수입해 온 다른 관점들 사이에서 중개자 또는 협상자 역할을 할 수 있으며, 우리를 다시 기본적인 가정으로 이끌며, 반대되는 견해들 간의 논쟁을 부추기기 보다는 생각의 공통점을 제공한다.
Philosophy begins with the desire to understand something that is important to oneself, and with a dissatisfaction or even frustration with current ways of thinking. In this way, philosophy is an extension of those human qualities that are also at the root of scientific and technical advancement. However, philosophy remains close to questions, keeping them alive with intense, childlike curiosity and desire to understand. For example, in addressing a question such as ‘What is good education?’ a philosopher might invoke educational, psychological, neurological perspectives to consider instructional strategies, but then also go on to examine the terms ‘good’ and ‘educational’ from political, historical, linguistic, logical, and even spiritual perspectives. Philosophy can be seen as a form of inquiry that is not bound to any one lens or discipline. In this sense, it can act as a broker or negotiator between the different perspectives we have imported to medical education, leading us back to basic assumptions, providing common ground to think from rather than fueling debate between opposing views.
플라톤의 동굴의 알레고리는 우리의 가정들의 사슬chains of our assumptions로부터 해방되는 것이 어떻게 중요한 역할을 할 수 있는지를 보여준다.31 이 우화에서 죄수들은 동굴 벽에서 세상적인 형태가 춤추는 것을 보면서 평생 동안 동굴 안에서 사슬로 묶여 있었다. 죄수들은 자신이 투영하는 것을 보고 있다는 것, 뒤에 있는 불 앞에서 운반되는 물체의 그림자를 보고 있다는 것을 깨닫지 못한다. 그들에게 그림자는 물건이다. 죄수들은 그들이 쇠사슬에서 풀려나 불을 발견하기 위해 돌아설 때, 그리고 그들이 본 그림자의 세계를 볼 때만이 환상이라는 것을 배운다.31 철학적 의학 교육자가 되기 위해서 우리는 일어서고, 돌아서고, 우리가 교육으로 새로운 목표를 달성하려고 하는 것을 보게 해야 한다.
Plato’s Allegory of the Cave illustrates how being liberated from the chains of our assumptions can be instrumental.31 In this allegory, prisoners have been chained inside a cave for their entire lives, watching worldly forms dance on the cave wall. The prisoners do not realize that they are watching a projection, that they are seeing the shadows of objects being carried in front of a fire behind them. For them, the shadows are the objects. The prisoners learn that the world of shadows is an illusion only when they are released from their chains, turn around to discover the fire, and see the actual objects whose shadows they watched.31 Being philosophical medical educators should prompt us to stand up, turn around, and see what objective we are trying to accomplish with education anew.
철학적 존재가 되는 목적은 이론이나 윤리적 체계와 같은 '철학'을 생각해 내는 것이 아니다. 철학은 [문제를 창조하는 접근법]이며, 철학의 방법은 분석이어서, 우리가 세상을 보는 렌즈를 통해 [프레임을 바꾸거나] [(나 자신을) 분석의 대상으로 변화시키는] 끊임없는 과정이다. 철학적이 된다는 것은 [대답할 수 없는 질문]을 하고 [그것에 대답하기 위한 방법을 탐구하는 것]을 포함한다. 이 과정이 '해답'에 도달하는 순간 프로젝트는 또 다른 학문의 책임이 된다.
The aim of being philosophical is not to come up with ‘a philosophy,’ such as a theory or an ethical system to live by. If anything, philosophy is a problem creation approach, and its method is analysis, a constant process of shifting frames and turning into objects of analysis the lenses through which we see the world. Being philosophical involves asking unanswerable questions and exploring ways in which one might go about answering them. The moment this process arrives at ‘an answer,’ the project becomes the charge of another discipline.
많은 사상가들은 철학이 어떻게 생각의 "통로"인가를 상상하는데 일생을 바쳤다. 철학은 한 가지 이론적 또는 개념적 틀에서 생각이 "중단되지 않는" 것을 의미한다.
Many thinkers have devoted their life to imagining how philosophy is a “pathway”21(p.445) for thinking, thinking that “does not come to a halt”22(p.278) in a theoretical or conceptual framework.
그러나 끊임없는 질문도 함정이 될 수 있다. 우리는 끊임없이 철학적 태도를 취할 수 없고 동시에 실용적일 수 없다. 니체 자신이 썼듯이, "내가 숨을 쉴 때마다 숨쉬는 가장 깊은 이유를 공식화해야 한다면 나는 죽을 것이다."32(p.21)
However, constant questioning also is a pitfall. We cannot constantly assume a philosophical attitude and be practical at the same time. As Nietzsche himself wrote: “I would die if I had to formulate the deepest reason for breathing before each breath I take.”32(p.21)
앞으로
Moving forward
현재 5개의 테마가 향후 논의를 위해 계획되어 있다.
Five themes are currently planned for future discussion.
결론
Conclusion
의학 교육은 오랫동안 철학과 관계가 있었다. 철학적 접근법은 복잡성과 불확실성 앞에서 속도를 늦추고, 오래된 문제를 새로운 방식으로 보고, 생산적인 행동을 취하도록 도와줌으로써 오늘날 의학 교육을 진전시킬 수 있다. 철학을 하는 것은 초심자처럼 생각하고, 기본을 되찾고, 참고의 틀을 깨는 것을 포함한다. 철학은 '철학'을 창조하는 것, 즉 세상을 정리할 수 있는 유용한 개념적 틀에 안주하는 것이 아니다. 오히려 '쉬지 않고' 생각하는 길이다.
Medical education has long had a relationship with philosophy. A philosophical approach can advance medical education today by helping us slow down in the face of complexities and uncertainty, see old problems in new ways, and take productive action. Doing philosophy involves thinking like a beginner, getting back to the basics, and disrupting frames of reference. Philosophy is not about creating ‘a philosophy,’ i.e., settling on a useful conceptual frame with which to organize the world. Rather, it is a “pathway” for thinking that “does not come to rest.”
그러나 의학 교육의 철학은 단순히 질문을 위해 끊임없이 질문하는 것이 아니다. 대신에, 철학과 함께 하는 것은 도움이 될 것이다; 그것은 진보를 하지 못하는 불만족스럽거나 심지어 좌절감을 주는 습관적인 사고 방식과 가정으로부터의 해방에 관한 것이다. 궁극적으로 철학적 존재가 되는 것은 경이로움과 강렬함, 아이 같은 호기심, 우리 모두가 공유하는 인간의 자질에 관한 것이다. 아무도 찾지 못한 문제를 파악하는데 있어서 철학은 우리에게 2천 5백 년 동안 우리 자신을 탐색할 수 있는 힘을 주었다.
Yet, philosophy in medical education is not meant to question constantly simply for the sake of questioning. Instead, engaging with philosophy is meant to be helpful; it is about liberation from habitual ways of thinking and assumptions that underlie dissatisfying or even frustrating inability to progress. Ultimately, being philosophical is about wonder and intense, childlike curiosity, human qualities we all share. In identifying problems no one looked for, philosophy has empowered us for two and a half millennia to search ourselves.
24. Tonelli MR, Upshur R. A philosophical approach to addressing uncertainty in medical education. Acad Med. 2019;94(4):507–511.
27. Hancock J, Mattick K. Tolerance of ambiguity and psychological well-being in medical training: A systematic review. Med Educ. 2020;54(2):125–137. Febdoi:10.1111/medu.14031.
Issue:Medical education has "muddy zones of practice," areas of complexity and uncertainty that frustrate the achievement of our intended educational outcomes. Slowing down to consider context and reflect on practice are now seen as essential to medical education as we are called upon to examine carefully what we are doing to care for learners and improve their performance, professionalism, and well-being. Philosophy can be seen as the fundamental approach to pausing at times of complexity and uncertainty to ask basic questions about seemingly obvious practices so that we can see (and do) things in new ways.Evidence:Philosophy and medical education have long been related; many of our basic concepts can be traced to philosophical ideas. Philosophy is a problem-creation approach, and its method is analysis; it is a constant process of shifting frames and turning into objects of analysis the lenses through which we see the world. However, philosophy is not about constant questioning for the sake of questioning. Progression in medical education practice involves recognizing when to switch from a philosophical to a practical perspective, and when to switch back.Implications:In medical education, a philosophical approach empowers us to "slow down when we should," thereby engaging us more directly with our subjects of study, revealing our assumptions, and helping us address vexing problems from a new angle. Doing philosophy involves thinking like a beginner, getting back to basics, and disrupting frames of reference. Being philosophical is about wonder and intense, childlike curiosity, human qualities we all share. Taking a philosophical approach to medical education need not be an unguided endeavor, but can be a dialog through which medical educators and philosophers learn together.
The History of Medical Education in Europe and the United States, With Respect to Time and Proficiency
Eugène J.F.M. Custers, PhD, and Olle ten Cate, PhD
CBME(역량 기반 의료 교육)의 도입으로 교육자와 규제 기관은 [의사가 면허를 받고 감독받지 않은 실습을 시작하기 위해 훈련해야 하는 시간]에 대한 근거부족을 인식하고, 습득한 역량에 따라 [훈련 시간 변동]을 허가해줄 것을 제안했다.1–5g 교육과 훈련의 길이는 역사적으로 결정되었고, 의료행위에 대한 준비성도는 적절하게 검사되었다기보다는, 그저 충족된 것으로 가정되었다.6 의학 학위medical degree의 성격도 시간이 지남에 따라 극적으로 변했고, 많은 나라에서 감독 없이 의료행위를 할 수 있는 자격증으로서의 지위를 잃었다.7
With the introduction of competency-based medical education (CBME), educators and regulatory bodies have recognized the lack of a rationale for the time physicians must be in training to receive a license and start unsupervised practice, and they have suggested allowances for variations in training time, dependent on acquired competence.1–5 Training length has been determined historically, and the readiness of residents for practice has been assumed rather than adequately tested.6 The nature of the medical degree also has dramatically changed over time and has lost its status in many countries as a license to practice without supervision.7
의학 교육의 역사를 현대 발전의 선구자적 관점에서 해석하는 것은 항상 시대착오적 사고를 초래할 위험을 수반한다. 대부분의 역사에서 '역량competency'이라는 개념 전체가 존재하지 않았거나 암묵적으로만 존재했기 때문에 졸업생들이 '의학을 실천할 역량이 충분'하였는지에 대한 문제는 명확하게 답할 수 없다. 공식적인 기술 테스트나 심지어 어떤 종류의 인증도 없을 때, 의사의 평판은 그의 능력을 대신하는 것으로 사용되었다. 마찬가지로, 공식적인 커리큘럼이나 면허 규정이 없는 경우, 수세기 동안 "변동적인 시간"은 사실 당연한 것이었다. 만일 그렇게 할 이유가 없었다면, 훈련 시간을 "고정"하게 만드는 일이란 절대 일어나지 않았을 것이다.
Interpreting the history of medical education in terms of precursors of contemporary developments always entails the risk of constructing an anachronism. For most of history, the question of whether graduating students were “competent to practice medicine” cannot clearly be answered, as the whole concept of “competency” did not exist or existed only implicitly. In the absence of formal skills testing or even any kind of certification, the reputation of a physician was used as a proxy for his competence. Similarly, in the absence of formal curricula or licensing regulations, for many centuries, “variable time” has had a matter-of-fact status; it would not have occurred to anyone to make training time “fixed” if only because there was no reason to do so.
유럽의 의료 교육, 1100–1800
Medical Education in Europe, 1100–1800
유럽의 공식적인 의료 교육 시스템은 중세 말기에 시작되었고, 현재 북이탈리아에 있는 대학들의 부상과 함께 시작되었다. 대략 1100년경부터 19세기 중반까지, 두 단계의 의학전문가가 존재했다: (1) 학술의사와 (2) 실질적으로 훈련된 외과의사들(이발사-서스턴, 여행의사, 배의사, 치아추출기 등을 포함한 의사들의 잡동사니 모음으로 구성되었다).
Europe’s formal medical education system started in the late Middle Ages, with the rise of the universities in what is now Northern Italy. From approximately ad 1100 until the mid-19th century, two tiers of medical practitioners existed:
(1) academic doctors and
(2) practically trained surgeons (which consisted of a motley collection of practitioners, including barber–surgeons, traveling practitioners, ship’s surgeons, tooth extractors, etc.).
학술의사들은 학식 있는 신사들이었고, 그들의 훈련은 약물 준비의 기술을 배우는 것 외에는 전적으로 이론적이었다. 학술 의료 교육에는 정해진 시간표가 없었다. 대학들은 고정 강좌보다는 강의 프로그램을 제공했다. 레이든 대학(네덜란드 1575년 설립)에서 학생들은 약 2년간의 준비 공부를 했고, 그 후 2년간의 의학적 연구를 거쳐 이 프로그램을 완성했다. 졸업식은 지원자의 이론지식을 평가하는 박사시험과 히포크라테스나 갤런의 작품을 바탕으로 한 이론적 지식을 디펜스해야 하는 공개적 의식public ceremony의 두 부분으로 구성되었다. 18세기에 들어서면서 (소)논문을 디펜스하는 절차가 점점 더 일반화되었는데, 이는 후보자가 수행한 연구의 보고였다.
Academic doctors were learned gentlemen, and their training was exclusively theoretical, except maybe for learning the skill of drug preparation. There was no fixed time schedule for academic medical education: Universities offered programs of lectures rather than fixed courses. At Leiden University (established in 1575 in the Netherlands), students took approximately two years of preparatory study, followed by two years of medical study to complete the program. The graduation ceremony consisted of two parts: a doctoral examination, in which the theoretical knowledge of the candidate was assessed; followed by a public ceremony in which the candidate had to defend theorems, often based on the works of Hippocrates or Galen. In the 18th century, it became increasingly more common to defend a (small) dissertation, which was a report of a study performed by the candidate.
1815년이 되자 (비록 응시자가 여전히 12개의 이론들을 디펜스해야 하지만) 의사 학위를 취득하기 위해 이러한 유형의 논문을 준비하는 것이 의무화되었다.9,10 다른 시험은 없었다. 시험의 압박은 배우고 가르치는 자유의 학문적 개념이나, teacher보다는 educator의 교수역할과 상충되는 것으로 느껴졌기 때문이다.
By 1815, it became mandatory to prepare this type of dissertation to acquire the degree of medical doctor, though the candidate was still required to defend 12 theorems.9,10 There were no other examinations, for the pressure of examinations was felt to be in conflict with the academic concepts of freedom to learn and teach and the role of professors as educators, rather than teachers.11,12
어떤 특정한 수행 요건이나 학습 목표의 부재와 학생들의 enculturation에 대한 강조는 학업 교육academic education의 특징이었다. 이는 (19세기 초까지)의학 교육을 묘사하는 "차 우려내기"에 잘 맞는다.학식 있는 신사가 되기 위해 학생들은 단지 학문적인 맥락에서 시간을 보내야만 했다. 많은 학생들이 잠시 강의를 듣고 나서 졸업하지 못하고 대학을 나왔다. 학위증서는 대부분 외국에 나가려는 학생들에게나 유용했고 그들의 교육에 대한 증거가 필요했다; 일반적으로, 그들의 실무자들에게 학위증서를 소지하라고 요구하는 직업들은 거의 없었다.
The absence of any specific performance requirements or learning objectives and the emphasis on students’ enculturation were the hallmarks of academic education (until the early 19th century), which fits the description of medical education as “tea steeping.”13 To become a learned gentleman (the essence of an academic physician), students just had to spend time in an academic context. Many students attended lectures for a while, and then left the university without graduating. Academic certificates were mostly useful for students who wanted to go abroad and needed evidence of their education; in general, few professions required their practitioners to possess academic diplomas at all.
2급 외과의들의 훈련은 대부분 실습 중심적이었고, 이론적 교육은 그 수준이 다양했다. 일부 프로그램은 엄격하게 운영되어서, 마스터 외과의들을 사용하여 견습생을 감독하고 이론적 교훈을 제공했다. 예를 들어 암스테르담 외과의 길드에서는 5년 동안 훈련을 계속하여 견습생이 랜싯을 제작하고 혈소판과 두개골 트레패닝의 기술을 입증해야 하는 시험으로 끝을 맺었다.14 실기시험에 합격하기 위해서는 응시자가 먼저 이론적인 시험을 통과해야 하는데, 이 시험은 학술적 의사academic physician이 통과해야 하는 것과 유사했다. 레이든에서 후보 외과의는 이사회 앞에서 여러 논문(학술 교수, 길드 학장, 그리고 두 명의 명장 외과의사 포함)에 대해 심문을 받았다.
The training of second-tier surgeons was predominantly practical, with variable levels of academic training, although some programs were rigorous, using master surgeons to supervise apprenticeships and provide theoretical lessons. In the Amsterdam Guild of Surgeons, for example, the training lasted five years and concluded with an examination for which the apprentice had to construct lancets and demonstrate the skills of bloodletting and skull trepanation.14 To be admitted to the practical examination, the candidate first had to pass a theoretical examination, similar to the academic physician: In Leiden, the candidate surgeon was interrogated about several theses in front of a board (including an academic professor, the dean of the guild, and two master surgeons).
길드는 교육 기관이 아닌 관련 장인의 이익을 위해 봉사하는 전문적 트러스트였다. 따라서 시험 요건뿐만 아니라 견습 시간도 상당히 다양했다. 교육 요건보다는 경제적, 실용적인 관심이 중심이었다. 역량 면에서는 길드의 정식 회원이 되고자 하는 선진 견습생들은 학문의사들보다 훨씬 까다로운 시험에 합격해야 했다. 일반적인 믿음과는 대조적으로, 외과의사들은 그들의 장인 정신의 한계를 알고 있었다; 대부분의 활동은 비교적 안전한 외부 치료(예: 골절, 붕대, 연고 투여)에 관한 것이었다. 절단, 석회암, 종양 제거와 같은 주요 외과수술은 거의 다른 의사들이 기피하는 위험을 기꺼이 감수할 수 있는 마스터 외과의사master suegeons에 의해서만 독점적으로 수행되었다.15
The guilds were professional trusts that served the interests of the associated craftsmen, rather than educational organizations; as such, apprenticeship time as well as examination requirements varied considerably. Economic and practical concerns outweighed educational requirements. In terms of competencies, advanced apprentices who wanted to become full members of the guild had to pass a much more demanding examination than academic physicians. In contrast to common beliefs, surgeons were aware of the limits of their craftsmanship; most activities concerned relatively safe external treatments (e.g., setting fractures, bandaging, and administering ointments). Major surgical operations, such as amputations, lithotomies, and removing tumors, were performed almost exclusively by master surgeons, who were willing to take risks other physicians avoided.15
유럽의 의료 교육, 1800–1950
Medical Education in Europe, 1800–1950
19세기 전반의 의학 교육 체계는 점차적으로 그러나 크게 변화하였다. 프랑스 혁명은 길드의 해체로 이어졌고, 몇 가지 예외를 제외하고는 의학교육은 독점적으로 학술적 업무exclusively academic affair가 되었다. 주 당국은 의사 교육의 품질 관리를 담당했는데, 주 당국은 의사의 이익을 위해 봉사하기보다는 공공 보건의 보장 및 개선을 주요 목표로 삼았다. 예를 들어 네덜란드는 1815년 법령으로 학술의학 교육과정의 구조를 정립하고 포함되어야 할 학문을 열거했지만, 과목의 내용에 대해 규정되어 있는 것은 하나도 없었고, 내용은 개별 교수들이 교사이자 평가자로서 결정하였다.
In the first half of the 19th century, the medical education system gradually but profoundly changed. The French Revolution led to the dissolution of the guilds, and medical education, with a few exceptions, became an exclusively academic affair. Quality control of physician education was taken over by state authorities, whose primary aim was to ensure and improve public health rather than to serve the interests of physicians. In the Netherlands, for example, an 1815 decree established the structure of the academic medical curriculum and listed the disciplines to be included,16 but nothing was stipulated about their content, which was determined by individual professors, being both teacher and examiner.
학생들이 학식이 있는 신사가 될 수 있도록 교육하고 교육하는 이상은 선도적인 원칙으로 남아 있었다. 실질적인 임상과정은 필요없었고, 의학을 실천하는 데는 학문적 학위만이 필요충분조건이었다. 20세기까지 의료행위medical practice를 위하여 학생들을 준비시키는 것은 학문적인 책임으로 여겨지지 않았다.17 반면에 과학 의학을 위한 학생들을 준비하는 것은 점점 더 중요해졌고 관찰과 같은 과학 기술은 점점 더 커리큘럼에서 강조되었다. 점차 심리학, 정신의학, 사회 의학 등의 학문적 학문이 실무적 훈련practical training의 대체물로 도입되었으나, 여전히 실제 환자와의 접촉은 없는 상황이었다.19 의과대학medical faculties은 clerkship 중 병원과 가정의학과 의사에게 실무적 훈련을 남겨주는 것에 만족하고 있었다.
The ideal of educating and cultivating students to become learned gentlemen remained a leading principle. No practical clinical courses were required, and the academic degree was both necessary and sufficient to practice medicine. Preparing students for medical practice was not considered an academic responsibility until well into the 20th century.17 Preparing students for scientific medicine, on the other hand, became increasingly more important, and scientific skills, such as observation,18 were emphasized in curricula more and more. Gradually, academic disciplines, such as psychology, psychiatry, and social medicine, were introduced as substitutes for practical training, but they remained without real patient contact.19 Medical faculties were happy to leave practical training to hospitals and family physicians during clerkships.
1865년 네덜란드의 새로운 법률은 학생들이 의료행위를 하기 위해서는 국가가 관리하는 실제 시험에 합격하도록 요구하였다. 이것은 네덜란드의 의학 교육에 역량의 개념을 도입했다. 신체 검사를 수행하고 특정 사소한 수술 절차를 시연하는 것은 면허 검사의 일부가 되었다.20 당국은 학생이 자신의 지식과 기술을 [어떻게 어디서 습득하는지에 관심이 없었기 때문에], 원칙적으로 학업이나 실기 국가고시 준비를 위한 정해진 시간에 대한 필수 사항은 없었다.21,22
New legislation in the Netherlands in 1865 required students to pass a state-controlled, practical examination to practice. This introduced the idea of competence into Dutch medical education. Performing a physical examination and demonstrating certain minor surgical procedures became part of licensing examinations.20 As the authorities were not interested in how and where the student acquired his (or her) knowledge and skills, there were, in principle, no fixed time requirements, either for academic studies or for preparation for the practical state examination.21,22
요약하자면, 1865년부터 1965년까지 네덜란드 의학 교육의 시간적 변동성은 대부분 엄격한 학문적 규제가 없었던 것의 결과였다. 예를 들어, 1920년대까지는 필수과목이 거의 없었고 임상 전 교육과정이 일부만 등급이 매겨져 있었기 때문에, 학생들은 그들 자신의 속도로 커리큘럼을 통해 진보하는데 큰 관용을 허용받았다. 빠듯한 예산에 시달리던 학생들은 이 유연성latitude를 이용하여 그들의 과정을 가속화시켰는데, 1년이라는 기간 동안 2, 3년의 요구 조건을 충족시키는 학생들에 대한 일화가 보고되기도 한다. 그러나, 이 학생들은 예외였다. 그리고 1920년대에 네덜란드의 의대를 방문한 아브라함 플렉스너는 학생들은 선택과목의 기회가 없이, 모두 동일한 강의를 들어야 했고, 따라서 그는 "개개인성individuality은 전혀 찾아볼 수 없었다"고 결론지었다.
In short, time variability in Dutch medical education from 1865 to 1965 was largely a consequence of a lack of strict academic regulations. For example, because there were few mandatory courses and the preclinical curriculum until the 1920s was only partially graded, students were allowed great latitude in advancing through the curriculum at their own speed. Students who were on a tight budget took advantage of this latitude to accelerate through their courses, with anecdotal reports about students fulfilling the requirements of their second and third years in the time span of one year.23 However, these students were exceptions,24 and Abraham Flexner,25 who visited Dutch medical schools in the 1920s, noted that students were expected to attend the same lectures, with no opportunity for electives, and hence he concluded that “individuality [did] not disclose itself.”
시간 변동성은 주로 반대 방향으로 작동했다. 특히나 해로웠던 것은 학생들이 실패하면 끝없이 시험을 반복할 수 있는 자유였다. 수십 년간의 지속적인 의료 교육과정 내용 확장과 함께, 1950년대 후반과 1960년대 초반의 중위권 의대생들은 졸업하는데 약 8.5년이 걸렸고, 약 30%는 졸업하지 못했다. 20세기 초와 비교했을 때, 이것은 평균 학생에게 1.5년의 증가를 의미했다.31 공식적인 커리큘럼 길이는 아니지만 커리큘럼 부하가 몇 년 동안 상당히 증가했기 때문에 뒤처지는 것lagging behind는 흔히 발생하는 일endemic이 되었다.32
On the other hand, time variability worked mostly in the opposite direction of accelerated advancement. Particularly harmful was students’ freedom to endlessly repeat examinations if they failed. Together with decades of continuous expansion of the content of the medical curriculum, it took the median medical student in the late 1950s and early 1960s about 8.5 years to graduate, and approximately 30% never did.26–30 Compared with the first decades of the 20th century, this represented an increase of 1.5 years for the average student.31 Lagging behind became endemic because the curricular load, but not the formal curricular length, increased considerably over the years.32
1865년 졸업생들의 역량을 보장하기 위해 도입된 실기 국가시험은 로지스틱적으로 까다로운 것으로 밝혀졌으며, 1960년까지 [완성된 필수 사무원 자격증 모음]을 작성하는 것 이상이 없었다. 이 상황은 본질적으로 변하지 않았다. 네덜란드 학부 의학 교육은 아직도 국가 시험이 없다.오랫동안 임상실습은 명확한 교육목표와 시험이 부족했고, '고정된 시간 원칙'에 기초하고 있었다. 학생들은 "한 진료 과목에서 다른 진료 과목으로 뛰어드는" 것으로 묘사되는 시스템에서 "그들의 시간을 제공했다served"33. 교직원들은 임상실습 중에 일어난 일에 거의 관심을 보이지 않았고, 학생들은 종종 구경꾼에 불과했다. 실제 경험은 대개 "쓸모없는 일"이었다: 환자 섭취 또는 일상적인 랩 테스트.
The practical state examinations, introduced in 1865 to guarantee graduates’ competence, turned out to be logistically demanding and, by 1960, involved little more than compiling a collection of certificates of completed mandatory clerkships. This situation has essentially not changed—Dutch undergraduate medical education still has no national exams. For a long time, clerkships lacked clear educational objectives and examinations, and they were based on a fixed-time principle: Students “served their time” in a system that was described as “jumping from one clinic to the other.”33 Faculty showed little interest in what happened during clerkships, and students were often mere spectators. Hands-on experience was usually “scut work”: patient intakes or routine laboratory tests.
이 점에서 네덜란드와 독일의 의학교육제도는 비슷했지만, 이 방식은 실제 임상교육이 더 두드러진 영국, 프랑스의 제도와는 확연히 달랐다.34
In this respect, the Dutch and German medical education systems were similar,25 but they differed sharply from the British and French systems, in which practical clinical education was more prominent.34
그럼에도 불구하고, 영국에서는 1968년까지의 의학교육의 명시적 목표는 "의과대학을 졸업하자마자 독립적으로 의학을 실천할 수 있는 졸업생을 배출하는 것"이었다.35 실습이 부족했기 때문에, 졸업생들이 의학을 독립적으로 실천할 수 있는 능력을 보여주는 유일한 것은 그렇다는 "주장" 뿐이었다. "커버라이티스coverities"은 모든 중요한 주제들이 적어도 이론적인 과정에서는 심층적인 연구와 선택과정의 희생으로 교과과정에 의해 다뤄져야 한다는 믿음이다.36 커버라이티스는 19세기 옴니버스 알리피드("모든 것을 조금씩 다") 개념의 자연스러운 계승자였다.37
Nonetheless, in the United Kingdom, the explicit aim of medical education until 1968 was to produce a “graduate fit to practice medicine independently directly upon leaving medical school.”35 As practical training was deficient, medical faculties could only maintain claims about graduates’ ability to independently practice medicine by submitting to “coveritis,” the belief that every topic of importance must be covered by the curriculum, at least in theoretical courses, at the expense of in-depth study and electives.36 Coveritis was the natural successor of the 19th-century notion of omnibus aliquid (“a little bit of everything”).37
미국의 의학교육 발전방향
The Development of Medical Education in the United States
미국의 의학교육은 대학에서 시작된 것도 아니고 길드에 의해 규제된 것도 아니었다. 그것은 항상 유럽의 의학 교육보다 더 많은 과정과 결과의 가변성을 가지고 있었다. 일부 의과대학과 교수진(예: 1766년 설립된 펜실베이니아 대학의 의과대학)이 존재했지만, 19세기 중반까지의 미국 의학교육의 주된 형식은 연장된 견습extended apprenticeship이었다.15,38
Medical education in the United States did not originate at universities, nor was it regulated by guilds. It has always had more process and outcome variability than European medical education. Though some medical schools and faculties existed (e.g., Medical College of the University of Pennsylvania established in 1766), the predominant format of U.S. medical education through the middle of the 19th century was an extended apprenticeship.15,38
이론을 배우는 것은 미미했다; 대부분의 교사들이 교과서를 거의 제공하지 않았고 학생들에게 불규칙적으로 퀴즈를 내었다. 19세기 중반까지 "교육과정이 짧았던 만큼 요구사항이 느슨한" 사립학교가 급증했다.39
Coverage of theoretical material was weak; most teachers provided few current textbooks and quizzed students on an irregular basis. Proprietary (for-profit) schools, “with requirements as lax as their curricula were brief,” proliferated in the first two-thirds of the 19th century.39
시간이 흐르면서 북미와 이후 미국의 영국 식민지에서의 평균 의료 커리큘럼의 길이는 [견습에 기반하든 기관에서 운영하든] 17세기에서 20세기까지 꾸준히 증가했다(1810년까지 미국은 의과대학이 3개밖에 없었다).40 19세기 말, 최고의 의과대학들은 3년제 교육과정을 규정했지만, 대부분의 학교는 여전히 2년밖에 되지 않았다.41 게다가 수준이 더 높은 학교들은 더 까다로운 입학 요건까지 가지고 있었기 때문에 결과의 차이는 훨씬 더 컸다.
Timewise, the length of the average medical curriculum in the British colonies in North America and later in the United States, whether apprenticeship based or institutional, steadily increased from the 17th until the 20th century (until 1810, the United States had but three medical schools).40 At the end of the 19th century, the best medical schools prescribed a three-year curriculum, but most schools still had only two years.41 The differences in outcomes were even larger because the better schools also had more demanding admissions requirements.
하지만 학생들은 최단기간에 학위를 수여하는 의과대학에 몰려들었다.42 1847년 미국의학협회(AMA)의 선구자는 학기를 6개월로 표준화하고 졸업생은 2개의 강의를 듣고, 자격을 갖춘 지도교수qualified preceptor로부터 받은 견습생 증명서를 제시하라고 권고했다. 그러나 이것들은 권고사항일 뿐, 20세기까지는 병원에 발을 들여놓지 않고 의대를 졸업하는 것이 가능했다.42
Students, on the other hand, flocked to the medical schools that offered degrees in the shortest period of time.42 In 1847, a precursor of the American Medical Association (AMA) recommended that the academic term be standardized to six months and that graduates be required to take two courses of lectures and present evidence of an apprenticeship with a qualified preceptor. But these were only recommendations, and until the 20th century, it was possible to graduate from medical school without ever setting foot in a hospital.42
19세기 후반까지 주 정부는 의학 교육의 내용이나 기간에는 관심이 없었다.15 윌리엄 오슬러(1849–1919)는 존스 홉킨스 병원에 구조화된 대학원 레지던트 훈련을 최초로 수립했다. 이 모델의 중요한 특징은 피라미드 구조였다: 많은 인턴들, 적은 거주자, 그리고 맨 위에 7~8년 동안 머무를 수 있는 단 한 명의 치프 레지던트. 교직 병원의 의료진은 점점 더 훈련 중인 의사들로 구성되었다. AMA는 1919년까지 인턴십 프로그램에 대한 교육 기준을 정하지 않았는데, 이는 길이가 다를 수 있다. 1930년대 중반에는 대부분 12개월, 4분의 1은 24개월, 몇 개는 36개월이었다.15
Until the late 19th century, state governments were not interested in the content or length of medical education.15 William Osler (1849–1919) was the first to establish structured postgraduate residency training at Johns Hopkins Hospital. An important feature of this model was its pyramidal structure: many interns, fewer residents, and at the top a single chief resident, who could remain for up to seven or eight years. Increasingly, a teaching hospital’s medical staff consisted of doctors in training. The AMA did not establish educational standards for internship programs until 1919, which could vary in length. In the mid-1930s, most were 12 months, one-fourth were 24 months, and a few were 36 months.15
하버드대 졸업생 루이스 토머스(43)는 자신의 직업 생활에 대한 자서전을 수록한 책 '가장 어린 과학'(1983)으로 18개월간의 인턴십(1937–1938)을 마쳤다.
Harvard graduate Lewis Thomas,43 whose book The Youngest Science (1983) includes an autobiography of his professional life, fulfilled an 18-month internship (1937–1938).
그의 인턴십의 두 번째 기간(9개월)은 "첫 번째 9번째 기간에 대한 보상, 즉 주문을 받는 대신 주는 특권"을 포함했다. 그는 지난 3개월 동안 인턴이 가정주치의 역할을 하면서 서열 상위에 머물렀다고 썼다. "15개월의 근무 후에 자동적으로 하원이 되었다." 시험이 없었고, 사고나 질병, 또는 다른 개인적인 상황을 제외하고는 인턴쉽에서 낙제할 수 없었다. 토마스의 인턴십에서 역량 테스트는 다음과 같은 암묵적인 것이었다. "폐렴을 잘 치료했다면, 당신은 미래를 가질 수 있었을 것이다. 그렇지 않다면 그렇지 않을 것이다."43 다시 한번, 인턴은 평가를 받는 것은 아니었지만(not earn a grade), 이 기간 동안 명성을 얻을 수 있었다(또는 잃을 수도 있다).
The second period (nine months) of his internship “contained the reward for the first nine: the privilege of giving … orders instead of taking them.” The last three months, he wrote, the intern spent at the top of the hierarchy in the role of house physician; “one became House automatically after fifteen months of duty.” There was no examination, and one could not fail the internship (except through accidents, diseases, or other personal circumstances). In Thomas’s internship, competency testing was implicit: “[I]f your lobar pneumonia cases were well handled, you were likely to have a future; if not, not.”43 Again, the intern did not earn a grade, but he (or she) could earn a reputation (or lose it) during this time.
오슬러의 대학원 훈련 모델은 점차 전국과 국제적으로 퍼져나갔다. 의대 졸업생들이 졸업 후 수련과정을 밟는 것이 점점 일반화되면서, 이 제도는 제2차 세계대전 이후 표준이 되었다. 로테이션식의 인턴십은 졸업생들이 의사로서 성숙하고, 시야를 넓히고, 전문성을 선택할 수 있도록, 절실히 필요한 일반 훈련의 한 해를 제공했다. 인턴제도는 1970년경 미국에서 폐지되었으며, 이는 새로 졸업한 의사들이 어떤 전공에서 레지던트를 할지 결정하기 전에 추가적인 경험을 쌓는 것을 박탈했다.15
Osler’s postgraduate training model gradually spread around the country and internationally. As it became increasingly common for medical graduates to go on to postgraduate training, this system became the standard after World War II. A rotating internship provided a badly needed year of general training, enabling graduates to mature as physicians, gain breadth in perspective, and choose a specialty. This year was abandoned in the United States around 1970, depriving newly graduated doctors from acquiring additional experience before deciding on which residency to pursue.15
1950년 이후 유럽과 미국의 학부 의학 교육
Undergraduate Medical Education in Europe and the United States After 1950
1950년대와 1960년대에 유럽과 미국에서 의학 교과과정에 대한 불만이 증가했다. 교육과정 과부하가 만연해 수업을 더욱 실용적으로more practical 편성하려는 모든 노력을 막았다. 틀에 박힌lock-step 커리큘럼의 문제, 선택 과목은 거의 없고, 개별적인 표현을 위한 기회가 부족한 문제 등은 이미 플렉스너가 지적한 바 있었고, 좋은 교육에 대한 상식적인 믿음과 점점 더 상충되고 있다. "4년짜리 타임카드에 확인을 받은punched 개인"을 낳은 "프로크루스테스 침대와 같은의료 훈련"는 더 이상 변호될 수 없었다.
During the 1950s and 1960s, dissatisfaction with the medical curriculum increased in Europe and the United States. Curricular overload was rampant and prevented all efforts to make the course more practical. The problem of the lock-step curriculum,44 almost devoid of any electives and with a lack of opportunity for individual expression, already noticed by Flexner,25,45 increasingly conflicted with commonsense beliefs about good education. “The Procrustean treatment of medical training in the bed of time” which delivered “an individual with a punched four-year time-card”46 could no longer be defended.
[t]행정적으로 결정되었지만 인위적인 상황의 결과로 생화학에 10주가 할당되고 …수술에 15주가 할당될 것이며, 학생들이 우리 프로그램의 하위 프로그램을 떠나는 상황, 그리고 역량은 물론 총체적 교육 프로그램 자체에서 매우 광범위한 부족한 부분을 남기고 상황을 초래하게 된다.…시간을 일정하게 했지만, 성취는 가변적이 되었다. 우리가 지향해야 할 가장 성숙한 교육 프로그램은 목표를 충분히 명확하게 명시하여 성취가 일정하게 이루어질 수 있도록 하며, 이는 결국 시간이 변수가 될 것을 요구한다.
[t]he consequence of our administratively determined but artificial situation that, … ten weeks will be allocated for biochemistry and … fifteen weeks will be allocated for surgery, creates a situation where students leave the sub-parts of our programs and the total professional program itself with a very wide range of deficiencies as well as competencies. … By making time a constant, we make achievement a variable. The most mature educational programs, toward which we should be aiming, specify objectives sufficiently clearly so that achievement can be made a constant, which in turn requires that time be made a variable.
성과를 상수로 만들겠다는 목표는 졸업생들이 '의료행위에 적합하다'는 막연한 주장이 더 이상 받아들여지지 않는다는 것을 암시한다. 오히려 기술, 성격특성, 사회·경제적 문제, 시민으로서의 책임 측면에서 현대 의사의 특성과 자질에 대한 상세한 분석이 필요하다고 여겨졌다.44 그 후 수십 년 동안 선도적인 의료진에 의해 보다 구체적인 교육목표가 구체화되었고, 그 결과 학생 평가에 현대적 심리 측정 기법을 적용한 교육 부서들을 확립하게 되었다. 점차적으로, 최근에 졸업한 의사들을 평가할 수 있는 기준으로서의 [역량]은 학생이 [미리 정해진 연수 기간 중 몇 주 또는 몇 년을 채우는 것 만으로도 졸업할 수 있다]는 기존의 믿음을 대체하였.1 그러나, 「목표를 충분히 명확하게 구체화하는 것」은 말하기는 쉽지만, CBME의 움직임과 함께, 이러한 명확성을 달성하는 방법에 대한 논의는 오늘날에도 계속되고 있다.47
The goal of making achievement a constant implies that vague claims about graduates “being fit to practice” are no longer acceptable. Rather, a detailed analysis of the characteristics and qualifications of the modern physician was deemed necessary, in terms of skills, personality traits, social and economic problems, and responsibility as a citizen.44 In the decades that followed, more concrete educational objectives were specified by leading medical faculties, which also established educational departments that applied modern psychological measurement techniques to student assessment. Gradually, competencies as a standard against which recently graduated physicians could be assessed replaced the earlier belief that a student could graduate just by fulfilling a predetermined number of weeks or years in training.1 However, to “specify objectives sufficiently clearly” is easier said than done, and the discussion on how to achieve this clarity continues today with the CBME movement.47
보다 넓은 시각에서 볼 때, 의학 교과과정의 길이는 시간이 지나면서 꾸준히 증가해왔다. "플렉스너 혁명" 이후, 미국의 학부 의학 교육은 그 동안 거의 그대로 유지되었지만, 입학 요건의 증가는 예비 의학 및 기초 과학의 많은 부분을 준비preparatory 연도로 이동시켰다. 1942년 LCME 의학교육 연락위원회가 만들어지면서 학부 의학교육의 질과 규제에 대한 국가적 통제가 점차 활기를 띠게 되었다.
From a broader perspective, the length of the medical curriculum has steadily increased over time. After the “Flexnerian revolution,” undergraduate medical education in the United States remained approximately the same in duration, but increasing entrance requirements moved much of premedical and basic sciences to the preparatory years. In 1942, when the Liaison Committee on Medical Education was created, national control of the quality and regulation of undergraduate medical education gradually came to life.
유럽에서는 교육과정 개편과 기간억제로 효율성이 높아졌다. 이 이득은 학생들의 학업적 자유를 희생하여 얻은 것이다. 현대의 커리큘럼은 통합되고, 중앙에서 조정되고, 더 많은 문제를 기반으로 하며, 보다 수직적으로 통합되었다. 즉, 초기 임상 경험은 점차적으로 환자 치료에서 의대생들의 책임을 쌓아가지만, 대부분 유럽연합 규칙에 의해 결정되는 고정된 길이로 되어 있었다.49
In Europe, efficiency was gained by restructuring and tightening the curriculum. This gain came at the expense of students’ academic freedom. Modern curricula became integrated, centrally coordinated, more problem based, and more vertically integrated— that is, with early clinical experience gradually building up the responsibilities of medical students in patient care,48 but with a fixed length, largely determined by European Union rules.49
1950년 이후 유럽과 미국의 대학원 의학 교육
Postgraduate Medical Education in Europe and the United States After 1950
2003년에, 그리고 또 다시 2011년에 ACME가 레지던트 근무 시간을 주 80시간 이하로 제한했을 때, 몇몇 프로그램, 특히 외과 전문의가 있는 프로그램들이 레지던트들의 이용가능성availability 저하를 한탄하며, 현재 훈련 시간이 좋은 외과의사를 배출하기에 충분하지 않다는 우려를 제기했다. 최근 미국의 한 비교 연구는 환자의 사망률과 합병증, 전반적인 교육 질에 대한 만족도, 피로와 웰빙에 관하여 수술 훈련의 [고정-기간 체제]와 [다른 길이로 특징지어지는 유연-정책 체제] 사이의 차이점을 거의 보여주지 않았다.55
When the ACGME restricted resident duty hours in 2003, then again in 2011, to no more than 80 hours per week,54 several programs, in particular those in the surgical specialties, lamented the decreasing availability of residents and raised concerns that time in training was now insufficient to produce good surgeons. A recent comparative study in the United States showed little evidence of differences between a standard regime of surgical training and a flexible-policy regime featuring different shift lengths, with regard to patient mortality and complications, satisfaction with overall educational quality, and fatigue and well-being.55
세부전문과목이 만들어지면서 이것은 generalist 훈련 시간의 단축으로 이어졌다. 예를 들어, 1970년대 일반 내과의 전체 훈련 시간을 거의 절반으로 단축시켰으며, 다른 분야에서도 비슷한 추세를 보였다. 또한 이러한 감축의 목적은 더 많은 제너럴리스트를 배출하는 것이었다. 즉, 훈련 시간이 짧으면 일반 내과가 더 매력적일 것이다.15 전문 협회, 관리 기관(예: 의과대학), 의회, 인가 기관 및 궁극적으로 입법자들은 모두 대학원 교육의 기간에 영향을 미치기 위해 그들의 힘을 사용했다. 자기들 이익에 최선을 다하는 거야
The creation of subspecialty training led to a reduction in generalist training time—for example, almost halving the total training time in general internal medicine in the 1970s, with similar trends in other disciplines. A purpose of this reduction was also to produce more generalists—that is, a shorter training time would make general internal medicine more attractive.15 Specialty associations, governing bodies (e.g., medical colleges), councils, accrediting bodies, and ultimately legislators all used their powers to influence the length of postgraduate education to best serve their own interests.
1980년대에 들어서야 미국의 대학원 의료교육 인증위원회(ACGME)가 설립되면서 비로소 미국의 졸업후 의료교육이 길이, 내용, 자격을 결정하는 강력한 국가기구에 의해 지배되기 시작했다. ACME는 캐나다 왕립의과대(Royal College of Canada)와 함께 21세기 초를 전후하여 역량 기반(대학원) 의료 교육의 이동을 시작함으로써 임상 훈련의 시간적 가변성을 현장의 관심에 가져왔다.3
Only in the 1980s, when the Accreditation Council for Graduate Medical Education (ACGME) was established, did postgraduate medical education in United States start to be governed by a powerful national body determining length, content, and qualifications. The ACGME, along with the Royal College of Physicians and Surgeons of Canada, initiated the movement of competency-based (postgraduate) medical education around the turn of the 21st century, bringing time variability in clinical training to the attention of the field.3
2000년 Long은 교육자들이 "교육 연수를 정한 현재의 레지던트 교육에 대한 접근방식을 각 레지던트가 필요한 지식과 기술을 갖추고 독립적으로 적용할 수 있다는 것을 증명할 때까지 훈련하는 역량 기반 훈련으로 대체한다"고 제안하였고, 이러한 요구는 반복적으로 나타났다.
In 2000, Long51 suggested that educators “replace the current approach to residents’ education, which specifies a fixed number of years in training, with competency-based training, in which each resident remains in training until he or she has been shown to have the required knowledge and skills and can apply them independently,” which was echoed by Carraccio, ten Cate, and others.3,4,52,53
오슬러의 졸업후 훈련 프로그램은 매우 선별적이고 과학적으로 지향적인 소수의 졸업생들을 모집한 반면, 20세기 중반에 미국의 의과대학 졸업자라면 누구나 대학원 훈련을 계속할 수 있는 자격이 주어졌다. 이전에는 다양한 길이와 회전 콘텐츠로 이루어진 인턴십이 전공specialty 교육의 원년이 되었다. 전공 선택 시장specialty choice market의 긴장을 해소하기 위해 1951년 졸업생과 병원의 선호도에 따라 배치를 규제하기 위해 미국 국립 인턴 매칭 프로그램이 만들어졌다.50 대학원 교육의 기간은 역사적으로 다소 자의적이었지만, 이제는 더 많은 규제를 받게 되었다.
While Osler’s postgraduate training programs were highly selective and recruited small numbers of scientifically oriented graduates, halfway through the 20th century, any U.S. medical school graduate became eligible to continue with postgraduate training. Internships, previously of varying length and rotational content, became the first year of specialty training. To address tensions in the specialty choice market, the U.S. National Intern Matching Program was created in 1951 to regulate placements based on graduates’ and hospitals’ preferences.50 While the duration of postgraduate education historically was somewhat arbitrary, it now became more regulated.
외과수술 훈련 결과에 대한 국제 비교 연구는 근무 시간의 차이에도 불구하고 상당한 차이를 드러내지 않았다.56 거주자 간의 근무 시간 및 프로그램의 근무 시간 제한을 적용하는 유연성에 대한 논쟁은 향후 몇 년 동안 여전히 중요할 것으로 보인다.
An international comparative study on surgical training outcomes did not reveal substantial differences despite duty hours differences.56 The debate about duty hours among residents and flexibility in applying duty hours restrictions in programs will likely remain vital in the coming years.
유럽에서는 전문인력의 국제시장 확립을 목적으로 1975년 유럽연합(EU) 지침이 졸업후 의료교육 프로그램의 최소 길이와 명칭을 결정하게 되었지만, 의사practitioner의 필수 역량은 명시하지 않았다.
In Europe, the aim of establishing an international market for professionals resulted in a 1975 European Union directive determining the minimum length and nomenclature of postgraduate medical education programs,57,58 but it did not specify the required competencies of practitioners.
네덜란드는 CBME 운동 이후, 개별 시간 변동성은 예외적이라기보다는 규칙에 가까웠다. 그러나 이는 [의대 졸업에 걸리는 차이]와 [레지던트의 시작 기간의 학년간 차이], 의대 졸업생들이 학부와 졸업후수련 사이에서 시간을 보내는 습관 때문이다.
In the Netherlands, following the CBME movement,61 individual time variability has been more rule than exception, if only because of varying moments of graduation from medical school and commencement of residency across the academic year and the habit of medical graduates to take time between undergraduate and postgraduate training.62
그러나 최근 전반적인 건강관리 비용을 줄이기 위한 시도로 대학원 의료훈련 비용의 대부분을 부담하는 네덜란드 정부는 훈련 기간을 유럽연합 최소 기간에 가깝게 줄이기 위한 프로그램을 강제하기로 결정했다. 이는 의료전문가연맹이 일반적으로 훈련시간을 단축하기보다는 위탁 가능한 전문활동의 개념을 이용하여 개별화된 역량 기반의 가변성을 구현하는 계기가 되었다4.63
Recently, however, in an attempt to reduce the overall cost of health care, the Dutch government, which pays most of the costs of postgraduate medical training, decided to force programs to reduce training length to closer to European Union minimum durations. This caused the Federation of Medical Specialists to implement individualized, competency-based variability using the concept of entrustable professional activities4 rather than to generally cut time in training.63
결론
Conclusion
중세 길드부터 오늘날까지 의학적 훈련은 항상 학문적 접근과 실제적 접근 사이의 긴장을 경험해 왔다. 유럽에서는, 19세기에 이르기까지, 학문적으로 훈련된 "학습된 신사"와 실제적으로 훈련된 외과의사들 사이에 뚜렷한 차이가 있었다. 결국 학술의학은 '2급'의 외과의사들을 폐지하는 데 성공했지만 대가는 치렀다. 실제 기술practical skills의 중요성이 증가했지만, 대학들은 대체로 학생에게 이 skill을 훈련시키는 것을 의무사항의 일부로 고려하기를 거부했다. 임상 훈련의 내용은 교육보다는 환자 진료를 주된 목적으로 하는 병원에 오랫동안 맡겨져 있었다.
Medical training, from the medieval guilds to today’s residencies, has always experienced a tension between academic and practical approaches. In Europe, until well into the 19th century, there was a sharp distinction between academically trained “learned gentlemen” and practically trained surgeons. In the end, academic medicine succeeded in abolishing the “second tier” surgeon practitioners, but at a cost. Whereas the importance of practical skills increased, universities largely refused to consider training students in these skills to be part of their mandate. The content of clinical training was long left to hospitals that had a primary aim of patient care rather than education.
처음에 단독 의과대학에 의해 주로 의학교육이 실시되었던 미국에서, AMA는 레지던트를 위한 공식적인 규정을 개발했지만, 여전히 실제 병원 현장의 일에 대한 영향력은 제한적이었다. 환자 진료가 우선순위가 높고 훈련 내용이 기관의 재량에 맡겨지는 이런 맥락 속에서, 훈련생이 정해진 기준을 언제 충족하는지 판단하기 위한 면밀한 모니터링은 수월하지 않다.
In the United States, where medical education initially was predominantly provided by stand-alone medical schools, the AMA developed formal regulations for residency but still had limited influence on what actually happened in the hospitals. Such a context in which patient care has high priority and the content of training is left to an institution’s discretion is not conducive to the close monitoring of trainees to determine when they meet set standards.
이러한 상황에서는 역량 기반의 유연한 시간 접근법이 쉽게 작동하지 않을 수 있다. 그 때문에 최소한의 훈련 기간(예: "일반 내과 3년 경험")이 '역량있음'의 대리 역할을 해 왔다. 또한 의료행위의 복잡성 증가, 입원기간 단축, 관리형 환자진료 등의 경제적 압박은 일반적으로 역량개발에 대한 최적의 지침 없이 하위 전문화를 통한 연수기간을 가중시켰다. 이러한 발전은 미국과 네덜란드에서 모두 안전한 치료를 위해 훈련을 최적화하기 위해 훈련 시간과 면허 트랙을 제한, 재구성 및 개별화하는 노력이 필요한 현재의 시스템을 초래했다.
In such circumstances, a competency-based, flexible-time approach may not easily work. For that reason, a minimum time span for training (e.g., “three years’ experience in general internal medicine”) has served as a proxy for “being competent.” In addition, the increased complexity of medical practice, shorter hospital stays, and the economic pressure of managed patient care, has generally added to the length of training time through subspecialization, without optimal guidance on developing competence. These developments have resulted in our current system, in which efforts are needed to constrain, restructure, and individualize training time and licensing tracks to optimize training for safe care, both in the United States and the Netherlands.
.2018 Mar;93(3S Competency-Based, Time-Variable Education in the Health Professions):S49-S54.
doi: 10.1097/ACM.0000000000002079.
The History of Medical Education in Europe and the United States, With Respect to Time and Proficiency
1E.J.F.M. Custers is researcher in medical education, Center for Research and Development of Education, University Medical Center Utrecht, Utrecht, The Netherlands. O. ten Cate is professor of medical education, Center for Research and Development of Education, University Medical Center Utrecht, Utrecht, The Netherlands.
In this article, the authors present a historic overview of the development of medical education in the United States and Europe (in particular the Netherlands), as it relates to the issues of time (duration of the course) and proficiency (performance requirements and examinations). This overview is necessarily limited and based largely on post hoc interpretation, as historic data on time frames are not well documented and the issue of competence has only recently been addressed.During times when there were few, if any, formal regulations, physicians were primarily "learned gentlemen" in command of few effective practical skills, and the duration of education and the competencies acquired by the end of a course simply did not appear to be issues of any interest to universities or state authorities. Though uniform criteria gradually developed for undergraduate medical education, postgraduate specialty training remained, before accreditation organizations set regulations, at the discretion of individual institutions and medical societies. This resulted in large variability in training time and acquired competencies between residency programs, which were often judged on the basis of opaque or questionable criteria. Considering the high costs of health care today and the increasing demand for patient safety and educational efficiency, continuing historic models of nonstandardized practices will no longer be feasible. Efforts to constrain, restructure, and individualize training time and licensing tracks to optimize training for safe care, both in the United States and Europe, are needed.
이 논문에서는 문화적 신화를 살펴볼 것이다: 필요한 지적, 도덕성, 경험을 가진 사람이 의학이라는 천직으로 호출된다. 그 지위에 오르기를 원하는 사람들은 그들의 결단력과 능력을 보여줄 필요가 있을 뿐이며, 그들은 인정을 받을 것이다. '가장 뛰어나고 명석한 사람'이 과업task에 배정되면, 사회에 대한 전문직의 의무가 충족돼어, 전문직과 사회 사이의 사회적 계약을 지지할 것이다.
This is the cultural myth examined in this paper: persons with the requisite intellect, moral character and experiences are called to the vocation that is medicine. Those who wish to rise within its ranks need only demonstrate their determination and ability, and they will achieve recognition. When the “best and the brightest” are assigned to tasks, the profession's obligations to society are met, underpinning the social contract between the profession and society.
독자들은 왜 의학에 있어서의 능력주의 개념이 '신화'로 여겨져야 하는지에 대해 물을지도 모른다. 기술, 속성, 동기 등의 조합을 통해 특정 업무(예: "의학의 실천" 또는 "의학 내의 지도력")에서 성공할 가능성이 더 높은 개체가 있으며, 이러한 성공 가능성은 잘 짜여진 접근법을 통해 평가할 수 있다는 개념에 대해서는 문제를 제기하지 않는다. 우리는 관찰된 성과, 개인적 속성 및 동기에서 "수월성"이 어떻게 구성되는지, 그리고 이 "측정된 것"에 대한 문제를 제기할 것이다.
The reader might ask why the concept of the meritocracy in medicine should be considered a “myth”. We have no issue with the notion that there are some individuals who—through a combination of skills, attributes and motivations—are more likely to succeed at particular tasks (such as “the practice of medicine” or “leadership within medicine”), and that this likelihood to succeed can be assessed through well-designed approaches. We do have issues with how “excellence” in observed performance, personal attributes and motivations is constructed, and from this “measured”.
예를 들어, 우리는 "심폐소생 시나리오 내 리더십"의 속성에 대해 "6" 또는 "7"점을 선택해야 하는 상황에서, [성과 평가 시트에 리커트 척도 평가 점수]와 [관찰된 행동의 사회적 판단을 통해 평가자가 학습자의 인격("인성", 리더십)을 어떻게 파악하는지] 사이의 연결을 그릴 수 있는 조건을 제시하기를 희망한다.
To give an illustrative example, we hope to set the conditions by which the reader might be able to draw a link between a Likertscale assessment on a performance evaluation sheet, where a choice is made to give a “6” or a “7”, say, for the attribute of “leadership within a resuscitation scenario”, and how the learner's personhood (his or her “leadership”) is apprehended by the assessor through the social judgement of observed behaviours.
그렇다면 여기서 myth라는 용어를 사용하는 것은 [능력을 평가하는 것]이 신화라고 진술하는 것이 아니라, 그 내러티브가 우리의 담론과 의사결정 과정에서 우수성이 어떻게 구성되는가를 안내하는 것이라고 가정하는 것이다. 내러티브 렌즈를 통해 그러한 구조를 분석하는 것은 탁월함에 대한 더 나은 그리고 더 포괄적인 이해를 만드는 데 도움이 될 수 있다.
The use of the term “myth” here, then, is not to state that assessing merit is a myth, but rather to postulate that narratives guide how excellence is constructed in our discourse and decisionmaking processes. Analysing such constructs through the lens of a narrative can be helpful in creating better and more inclusive understandings of excellence.
만약 능력주의가 평가와 선발의 공정성에 달려있다면, 공정성은 "타당성", 특히 "심리측정적 타당성"의 개념에 달려 있다. "타당성"이란 무엇인가?
If the meritocracy depends upon fairness within assessment and selection, then fairness depends upon the notion of “validity”, in particular “psychometric validity”. What is “validity”?
타당성을 단순히 시험의 특성으로 이해된다면, "시험"은 내용과 맥락에 독립적이다.
타당성을 일련의 해석의 근거사슬로 본다면, 타당성은 특정 맥락 내에서의 과정에 더 가깝다.
타당성을 사회적 의무사항imperative으로 간주된다면, 평가 과정의 타당성에 있어서 '성과를 둘러싼 의사결정에 수반되는 결과'가 중요해진다.
저자들은 역량 기반 교육 내에서 위탁성 척도와 같은 새로운 형태의 평가는 사회적 판단을 활용하여 결정을 내리는 복잡한 구조로 학습자에게 긍정적이거나 부정적인 결과를 초래한다고 지적한다.
If validity is understood simply as a test characteristic, then “tests” are content and context independent.
Conversely, if validity is seen as part of an evidentiary chain of interpretation, then validity is more of a process within a particular context.
Finally, if validity is seen as a social imperative, then the consequences of decision making around performance also become important in the assessment processes’ validity.
The authors point out that newer forms of assessment, such as entrustability scales within competency-based education, are complex constructs that utilise social judgement to make decisions, with positive or negative consequences for the learner.
보건직에서 수행평가 내에서 사회적 판단은 어떻게 작용하는가? Gingerich et al2,3는 사회적 인식 이론을 사용하여 건강 직업의 평가자 기반 평가를 "사회적 판단"으로 분석하였다.
How does social judgement operate within performance assessment in the health professions? Gingerich et al2,3 have analysed rater-based assessments in the health professions as “social judgements”, using social cognition theory.
저자들은 백그라운드 노이즈로서 평가자 간 차이의 상당 부분이 [사회적 인식 차이]와 [참가자 자신의 주관성]으로 설명될 수 있다는 것을 보여주었다.
The authors showed that much of the background noise of interrater differences could be explained through social cognition differences and the rater's own subjectivity.
[성과 기반 평가]에서 "우수함" 또는 "능력"을 판정하기 위하여 [사회적 판단]이 작용한다면, 그렇다면 "능력"이란 것은 또한 [복잡한 사회적 방법으로 구성될 가능성]이 높다. 사회적 구성으로서, "능력"의 형태는 평가자가 속한 집단에 기초하여 배제적 결정(exclusionary practices)에 영향을 받기 쉽다(인종, 민족, 성별 등).
If social judgement operates within performance-based assessment for the assignation of “excellence” or “merit”, then it is quite likely that merit is also constructed in complex social ways. As social constructs, forms of merit are then susceptible to exclusionary practices based upon the group the assessee belongs to (race, ethnicity, gender and the like).
모든 문화 시스템에는 신화가 있다: 신화는 선택과 상호작용을 가이드하는 뿌리깊은 상징적 서술이다. 의학에서, 능력주의 신화는 의학이 "최고로 명석한 사람"을 위한 직업이라고 암시한다. 6 "능력"은 성취를 뜻하지만, 그 성취에 대해 칭찬할 가치가 있다는 의미도 있다.
All cultural systems have myths: deep symbolic narratives that guide choices and interactions. In medicine, the meritocracy myth suggests that medicine is a profession for “the best and the brightest”. 6 “Merit” means achievement, but it also means to be worthy of praise for that achievement.
위 자킨테의 이야기는 태스크포스(TF)의 구성원을 뽑는 일상적인 행동에서 '능력주의'와 같은 상징적 내러티브가 어떻게 나타날manifest 수 있는지를 잘 보여준다. 부서장은 태스크포스를 구성할 때, 높은 인지도를 가진 사람을 중심으로, 태스크포스 구성원을 선정하는데 "객관적인" 능력 기준을 사용해야 한다고 강조하였다. 이러한 기준은 어떻게, 그리고 누구에 의해 결정될 것인가?
Jacinthe's story above serves to illustrate how a symbolic narrative such as “meritocracy” can manifest itself in the mundane action of selecting members of a task force. The department chair has underlined that the task force will be high profile and that “objective” merit criteria should be used to select task force members. How will these criteria be determined, and by whom?
능력에 대한 기준을 개발하는 것은 무엇이 우수성인지 이름을 붙이고, 그 이름을 추상적이고 사회적으로 구성하여 측정할 수 있는 "무엇"으로 구체화하는 힘을 발휘하는 것이다. 이 우수성이 명명되고 있는 것처럼 교차점(백인 또는 남성)은 어떻게 힘을 나타냅니까? 우수성의 구조를 결정하는 데 있어서 사회적 네트워크와 사회적 자본, 즉 논의될 수도 있고 논의되지 않을 수도 있는 만남의 역할은 무엇인가?
To develop merit criteria is to exert the power to name excellence and to reify it from that which is abstract and socially constructed into a measurable “thing”. How do intersectionalities (being white or male) manifest power as this excellence is being named? What is the role of social networks and social capital—meetings where one might or might not be talked over—in determining constructs of excellence?
2. 방법
2 | METHODS
3 | 사일러스: "능력주의" 내의 특권을 표시하는 독자
3 | SILAS: MARKING THE PRIVILEGE WITHIN THE “MERITOCRACY”
사일라스는 의대 복도를 둘러보고 있었는데, 그들 모두가 얼마나 비슷한지, 그의 반에 새로 들어온 의대생들, 즉 젊고, 밝고, 착하고, 건강한, 백인, 그리고 (나중에 배운) 교육을 잘 받은 중상류층 부모의 아들과 딸들이 모두 얼마나 비슷한지 새삼스럽게 생각되었다. 그들은 모두 높은 점수로 고등학교를 졸업했고 모두 자연과학을 좋아했다. 뭐, 거의 다.
Silas was looking around the hallway of the medical school and it struck him how similar they all were, all the new medical students in his class: young, bright, nice, fit, white and (he later learned) sons and daughters of well-educated upper-middle-class parents. They all graduated from high school with high marks and they all liked natural science. Well, almost all.
학생들이 의대에 입학하면 의학이라는 문화적 시스템의 일부가 된다.7-9 사일라와 그의 급우들은 고등학교와 대학에서 높은 성적을 거두었다. 이것은 많은 일이 필요했지만, 그는 부모님의 지원(숙제 도움 포함)이 있었고, 공부하기에 좋은 조건(자신의 방, 컴퓨터, 방과후 근무할 필요 없음 등)이 있었기 때문에 그것을 성취했다. 평등주의적인 스칸디나비아 국가에서도 중산층 이상의 상위 계층의 아이는 노동자 계층의 아이보다 의대에 진학할 확률이 30배 이상 높다.11,11 사일라와 그의 또래들은 스스로의 노력을 통해 능력을 성취하지만, 동시에 의대에 들어오기에 아주 유리한 위치에 있기도 했다well positioned for.
When students enter medical school, they become part of the cultural system of medicine.7-9 Silas and his classmates have achieved high grades in high school and college. This has taken much work, but he achieved it because he had the support of his parents (including help with homework), and he had good conditions for studying (his own room, computer, no need to work after school, etc.). Even in an egalitarian Scandinavian nation state, a child from upper middle class is more than 30 times more likely to go to medical school than a child from the working class.10,11 Silas and his peers achieve merit through their work, but they are also well positioned for it.
봉사활동과 같은 과외활동이 의대생 입학기준에 포함되는 경우가 많다. 본질적으로, 자원봉사는 이타적 능력의 대리 표시로 사용된다. 그러나 기계적으로 보면, 봉사활동은 계급에 기반을 둔 것으로 보여진다: 누군가가 봉사활동을 할 수 있다는 것은, 유급 근로의 기회를 포기할 수 있는 수단이 있어야 함을 의미한다. 이는 의과대학생 선발에서 관찰되는 계급 편향의 메커니즘이다.
Extracurricular activities, such as volunteering, are often included in medical student admission criteria. Essentially, volunteering (community or international work to give examples) is used as a proxy marker for altruistic capacity. Mechanistically, volunteer activities have been shown, however, to be class based:12 one can only volunteer if one has the means to relinquish paid work opportunities, providing a mechanism for an observed class bias in medical student selection.
능력의 메커니즘은 종종 명시적으로 선언되지 않는다. 이것은 능력을 가진 사람에게 능력이란 자연스럽고 타고난 것처럼 보이게 하는 "능력에 대한 객관성"의 아우라를 촉진시킨다. 그러나 이는 다양한 "평가"에서 뛰어난 모습을 보이게끔 하는 개인의 능력에 계급과 같은 사회구조가 기여하는 바는 덮어두는obscuring 방식으로 이뤄진다.
Mechanisms of merit are not often declared explicitly. This facilitates an aura of objectivity about merit that makes it look natural and innate to the person holding it, when obscuring the contribution of social structures such as class to an individual's ability to be perceived as performing well in various “assessments”.
4 | 루이즈: 성별과 누가 영웅이 되는가
4 | LOUISE: GENDER AND WHO GETS TO BE A HERO
루이스는 내과에서 저녁 근무조의 인턴이었다. 그녀는 환자를 위해 실험실 결과를 검토하며 병동에 있었는데, 그녀의 남자 동료가 도착하여 간호사들에게 새로운 환자의 오더와 치료 계획을 재빨리 설명했다. 그리고는 급히 가버렸다. 그가 떠나자 간호사들은 그녀에게 고개를 돌려 새 환자에게 해야 할 모든 관찰에 대해 불평했다: '이것은 네가 처리해야 한다. 우리는 이것을 지지하지 않을 것이다. 그래서 그녀는 그렇게 했다. 다 처리했어.
Louise was an intern on evening shift in the Department of Internal Medicine. She was on the ward going through laboratory results for a patient, when her male colleague arrived and quickly explained the orders and treatment plan for a new patient to the nurses. He then rushed off. When he left, the nurses turned to her and complained about all the observations they had to perform on the new patient: ‘You have to take care of this. We will not stand for this’. And so she did. Took care of it all.
루이즈의 경험은 독특하지 않다. 의료 교육 및 실습에서의 성별 차이에 대한 연구는 [여성이 더 적은 도움을 받음에도, 더 넓은 범위의 업무와 문제를 처리할 것으로 기대된다는 것]을 일관되게 보여준다. 여성들이 남성들이 하지 않는 일을 하기에, 상대 남성들은 더 많은 이점을 얻고, 의료라는 계층에서 직업과 발전에 도움이 되는 활동에 자유롭게 참여할 수 있다. 따라서, 비록 여성들이 의과대학에 입학생의 대다수를 차지하지만, 그들이 더 높은 수준의 교수직, 지도적 지위, 그리고 외과 전문 분야에서 낮은 대표성을 유지하고 있다는 것은 놀라운 일이 아니다.13
Louise's experience is not unique. Studies of gender differences in medical education and practice show consistently that women are expected to take care of a wider spectrum of tasks and problems, when getting less help to do so. When women do the things men do not, their male counterparts are free to engage with activities that gain more merit and benefit their career and advancement in the medical hierarchy. Thus, it is not surprising that although women make up the majority of those entering medical classes, they remain underrepresented at higher levels of professorial rank, in leadership positions and in surgical specialties.13
일task 분배와 성취에서 관찰되는 성별 간 차이는 의료 능력주의 신화에 대한 도전장을 내민다. 의학의 장점이 그들이 열심히 그리고 잘 일해야 한다는 것을 받아들이는 모든 사람들에게 본질적으로 얻어질 수 있다면, 여성들은 남성들보다 더 높은 순위를 차지할 것이다. 연구들은 여성 의사들이 더 열심히 일하고 더 오래 일한다는 것을 보여주었고, 14명의 더 넓은 범위의 건강 문제를 관리했다.15 여성들은 더 많이 듣고 더 많은 시간을 환자와 함께 보낸다.13 여성들이 최신의 의학 연구 결과를 더 잘 활용한다는 것을 보여주는 연구들이 있다. 여성들은 진단 도구를 정확하게 사용하고 언제 더 잘해야 할지 더 잘 결정한다는 것을 보여준다. 또한, 그들은 팀에서 더 잘 일하고 복잡한 문제들을 더 효율적으로 관리한다.15 의학의 모든 중요한 척도로, 그들은 더 높은 장점을 얻어야 한다.
Observed gender differences in task distribution and attainment represent a challenge to the myth of medical meritocracy: if merit in medicine was essentially obtainable to all who accept that they have to work hard and well, women would outrank men. Studies have shown that female doctors work harder and longer,14 managing a wider spectrum of health problems.15 Women listen more and spend more time with patients.13 There are studies showing that women are better at making use of updated medical research findings,16 better at using diagnostic tools correctly17 and better at deciding when to operate on a patient.18 In addition, they work better in teams19 and manage complex problems more efficiently.15 By all important yardsticks in medicine, they should attain higher merit.
어떤 사람들은 성별의 차이를 출산과 양육에 대한 암묵적인 "세금" 때문으로 보고 있는데, 이것은 여성들에게 불균형적으로 부담이 된다. 그러나 최근 학계에서의 커리어를 상세히 기술한 연구는 다음과 같은 사실을 보여주었다: 자녀가 있는 남자라면 자녀가 없는 남자보다 교수 직급이 높을 가능성이 높다. 자녀가 없는 여자는 그 뒤를 따르며, 그리고 나서, 가장 뒤쪽에, 자녀가 있는 여자가 있다. 여기에는 분명, 임신, 출산, 양육이라는 세금 외에 그 이상의 무언가가 있음을 보여준다. 그렇지 않다면 여기서 순서가 달라졌어야 한다.
Some ascribe observed gender differences to an implicit “tax”20 on childbearing and rearing, the burden of which disproportionately falls on women, but a recent study detailing career paths for academics showed the following: if you are a man with children, you are more likely to hold higher professorial rank than a man without children, followed by a woman without children, and then, at the rear, by women with children.21 Clearly, something more is at play here than childbearing and rearing tax or else the group order in terms of academic success would have been different.
일부 질병과 특정 의학 전문분야에서 일하는 것에 따라오는 높은 명망higher prestige이 있으며, 반대로 다른 질병과 전문분야의 명망이 낮은 경우도 있다.
There is higher prestige in working with some diseases and within certain medical specialties, and correspondingly low prestige in other diseases and specialties.
이러한 "명망"의 위계는 [영웅의 여정과 일맥상통하는 임상적 일화와 이야기를 통해서] 시니어에서 주니어로 전달transfer된다.
The prestige hierarchy is transferred from senior to junior doctors through the telling of clinical anecdotes and stories that have a basic structure that aligns with the trope of the hero's journey
루이스의 경험을 이해할 수 있다: 의사들은 성별이 남성과 여성에 대해 서로 다른 기대와 규범을 설정하는 사회적 지표로 어떻게 사용되는지 알지 못할 수도 있다. 능력주의 신화 아래에는 영웅의 여정 이야기가 있으며, 이 영웅은 남자로 의인화personified되고, 질병과 전공의 위신/명망의 위계 지탱하는 내러티브로부터 지속적으로 영양을 공급받고 있다.
Louise's experience now makes more sense: doctors may not be aware of how gender is used as a social marker that sets up different expectations and norms for men and women. Beneath the myth of meritocracy is the story of a hero's journey, personified in the male doctor, continually nourished from the narratives that sustain the prestige hierarchies of diseases and specialties.
5 | IMTIAZ: 문화적 모호성 속에서 번창할 수 있는 능력을 보여주는 경험에 가치를 두는 독자
5 | IMTIAZ: VALUING EXPERIENCES THAT SHOW THE ABILITY TO THRIVE IN CULTURAL AMBIGUITY
임티아즈는 파키스탄에서 자랐지만 10대 때 어머니와 함께 스칸디나비아로 이주했다. 어떻게 하면 두 나라의 아이가 될 수 있을까, 어떻게 하면 어울릴 정체성을 만들어낼 수 있을까에 대한 그의 성찰은 매혹적이었지만, 대학에서 차로 한 시간 거리 내에 도시적 환경에서 자라난 나머지 우리들에게도 이질적이었다. 그는 의약과 전통적인 동양의료 체계 사이의 격차를 해소하는 것을 꿈꿨다. '거기에는 우리가 그리워하는 것이 있다. 하지만 어쩌면 우리는 그곳에 가기 위해 우리의 생각 중 일부를 포기해야 할지도 모른다'고 그는 말했다. 특히 힘든 일련의 시험이 끝난 뒤에야 그가 의과대학을 떠났다는 사실이 밝혀졌다.
Imtiaz grew up in Pakistan but moved to Scandinavia with his mother as a teenager. His reflections about how to be a child of two countries and how to create an identity to match were fascinating, but also alien to the rest of us, who had grown up in urban settings within an hour's drive from the university. He dreamed of bridging the gap between biomedicine and traditional Eastern health care systems. ‘There is something there that we miss. But maybe we have to give up some of our ideas to get there’ he said. It was only after a particularly tough series of examinations that it was discovered that he had left medicine.
서로 다른 사회 집단(성별, 인종, 민족 등)에서 온 사람들 사이에서 발생하는 차이differential attainment는 일반적으로 의학, 학술 의학 및 학계에 잘 문서화되어 있다.30-33 이것은 주로 두 가지 주요 구성 요소로 제시된다:
과소대표된 집단이 경험하는 결여사항deficiencies과 장벽을 해결함 (지원자에게 초점이 맞춰져 있다면, 지원자는 다양한 형태의 우수성을 입증해야 "능력있음meritorious"으로 보일 수 있다.)
선발 단계에서의 편견에 직면함 (선발자의 선발 방법에 초점이 맞춰져 있는 경우).
Differential attainment for persons from different social groups (gender, race, ethnicity and the like) is well documented within medicine, academic medicine and academia in general.30-33 This is usually presented in two dominant constructs:
addressing deficiencies and barriers experienced by underrepresented groups (if the focus is on the applicants, who must demonstrate various forms of excellence in order to be seen as “meritorious”) and
confronting biases in selection (if the focus is on how the selectors select).
문화 역량은 지난 20년간 의료 커리큘럼에서 어느 정도 주목을 받았지만, 다음의 것들에 대한 의지보다는 실력이나 지식으로 제시되는 경우가 많다는 지적이 있다.
문화적 모호성을 안고 살아가려는 의지
양립할 수 없어 보이는 관점을 통합하려는 의지
반대 쪽 끝에 대해 호기심을 가지려는 의지
문화는 의학 지식의 추가된 무엇인가가 아니라, 건설적인 모호성의 프레임워크로서 중요하다.
Cultural competence has received some attention in medical curricula in the last two decades, but critics point out that it is often presented as a skill or knowledge pool rather than—what Imtiaz represents—a willingness to live with a cultural ambiguity, to integrate seemingly incompatible perspectives, and to be able to stay curious about the other end of a relationship. Culture is important not as an addition to, but as a framework of constructive ambiguity for, medical knowledge.
의료행위는 매우 다른 인식론적 토대를 가진 다른 종류의 지식의 합성을 창조하는 것으로 구성된다. 모든 임상적 만남은 [실천적 통합practical synthesis]을 창조하는 것에 관한 것이다.
Medical practice consists of creating a synthesis of different kinds of knowledge with very different epistemological underpinnings. Every clinical encounter is about creating a practical synthesis,
관점을 바꾸는 능력은 어른이 되어 자신과 매우 비슷한 사람들과 함께 공부하면 얻기 어렵다. 의료계에서 능력merit 에 대한 구체적인 사고방식에 대한 의문이 던져지지 않는 경우에도 어렵다. '능력'에 대한 서열이 있다면, 그것은 쉽게 문화의 서열이 되며, 의사(최고 공로, 가장 진실된 지식, 최고의 문화를 가진)와 환자(도움을 찾아 우러러보는 사람) 사이에서 끊임없이 스스로를 재생산하는 가부장적 관계가 된다.
The ability to change perspective is difficult to attain if one grows up and studies with people very much like oneself. It is also difficult if a specific mindset about merit in medicine goes unquestioned. If there is a hierarchy of merit, it easily becomes a hierarchy of culture as well as a continually self-reproducing patriarchal relationship between the doctor (with the highest merit, the truest knowledge and the best culture) and the patient (who looks up for help).
6 | 클라라: 관찰된 양적 차이에서 그 이유로의 전환
6 | CLARA: MOVING FROM THE OBSERVED QUANTITATIVE DIFFERENCES IN ATTAINMENT TO WHY
클라라는 키가 그리 크지는 않았지만 눈에 띄었다. 아주 세심하고 대화에서 최고를 이끌어내는 데 아주 능숙하다. 그래서 모두가 그녀와 이야기를 나누고 싶어했고, 그녀는 모임을 조직하고, 볼만한 좋은 연극을 주창하고, 공원에서의 소풍을 제안하는 등. '나는 해부학보다 철학이 더 도움이 된다고 생각한다'고 그녀는 말했고, 그녀는 음악을 사랑했다. 의대를 시작한 지 1년이 지난 지금, 그녀는 갑자기 더 이상 그곳에 없었다. 만약 다른 누군가가 떠난다면 클라라는 그에게 전화를 했을 것이다. 나는 아무도 그녀를 불렀다고 생각하지 않는다.
Clara was not very tall, but she stood out. Very attentive and very good at bringing out the best in a conversation. So, everyone wanted to talk to her, and she was the one who organised meetings, advocated the good play to see, suggested the picnic in the park, etc. ‘I think philosophy is more helpful than anatomy, really’ she said, and she loved music. A year after starting medical school, she was suddenly not there anymore. If it had been anyone else leaving, Clara would have called him or her. I do not think anyone called her.
세상을 보는 방법을 형성할 때, 능력주의 신화의 권위authoritativeness는세상을 볼 수 있는 다른 가능한 방법들을 흐리게 한다. 클라라의 이야기는 그러한 다른 방법들 중 몇 가지를 시사한다: 그녀는 인간으로서 그리고 균형 잡힌 전문가로서 의사들에게 분명히 중요한 자질들의 대표자다. 이러한 자질은 오늘날 많은 의과대학에서 전문적 발전의 학습 흐름의 일부분이지만, 커리큘럼에 상당히 새로운 추가로서 조직 구조나 교직원의 의사 결정에서 거의 보이지 않는다. 이것은 이러한 자질들을 의학적인 문제에 관여하기 위한 역동적인 사고방식보다는 의학 지식과 기술 풀에 취약한 부가물로 만든다. 핵심 코스 리더들이 대학을 떠나면 이런 자질은 줄어든다.
When creating the way to see the world, the authoritativeness of the meritocracy myth also obscures other possible ways to see the world. Clara's story suggests some of those other ways: she is an exponent of qualities that are clearly important for doctors as human beings and as balanced professionals. These qualities are part of learning streams of professional development in many medical schools today, but as a fairly new addition to the curriculum and rarely visible in the organisational structure or in faculty members’ decision making. This makes these qualities a vulnerable addition to the medical knowledge and skill pool, rather than a dynamic mindset from which to engage with medical problems. If key course leaders leave the university, these qualities are diminished.
클라라의 선택은 그녀가 가르치는 의대생들에게 영향을 미친다. 이미 많은 특성을 공유하고 있는 그들은 지속적인 선택과 사회화 과정을 통해 훨씬 더 동질적이 된다. 균질 집단도 몇 가지 이점을 가질 수 있지만, 이질적 집단이 의사결정, 생산성, 적응성 및 집단지성에 있어서 종종 우위에 있다, 35-37 그러나 집단 내에 효과적인 집단 내 의사소통을 촉진하는 사람이 있는 경우에만, 클라라를 잃음으로써, 그 집단은 이러한 특성들 중 일부를 잃을 위험이 있다.
Clara's choice has an impact on the medical students she teaches. Already sharing many characteristics, they become even more homogenous through the continuing process of selection and socialisation. A homogenous group may have some advantages, but a heterogenous group is often superior in decision making, productivity, adaptability and collective intelligence,35-37 but only if there are persons within the group who facilitate effective in-group communication.38,39 By losing Clara, the class risks losing some of these qualities.
더 깊은 차원에서, 클라라는 왜 대학을 떠났을까? 문헌에서, 우리는 "진리"의 이해를 가능하게 하는 지식-권력 관계를 규제하는 담론을 보는 작품을 보게 되는데, 이것은 클라라의 이탈에 잠재적으로 기여하는 구조적 문제를 이해하는 데 도움이 될 수 있다. 교수진들의 기여도를 평가하는 담론의 '진리truth'의 한 예는 [기초과학자이면서 유전학을 가르치는 교수]가 [의료인문학에 관심이 있고 연구를 하는 교수]보다 의대생 교육에 본질적으로 더 가치 있는 기여를 한다는 것일 수 있다.
At the deeper level, why did Clara leave the university? In the literature, we see work that looks at the discourses regulating the knowledge–power relationships that enable understandings of “truth”, which may be helpful in understanding the structural issues potentially contributing to Clara's departure. An example of a “truth” in the discourses of valuing faculty members’ contributions might be that a member who is a basic scientist and teaches genomics has an inherently more valuable contribution to medical students’ education than one whose interests and scholarship lie within the medical humanities.
7 | 능력에 대한 비판: 우수성 기준을 사회적 결과와 직접 연계할 수 있는 용기 개발
7 | CRITIQUING MERIT: DEVELOPING THE COURAGE TO DIRECTLY LINK EXCELLENCE CRITERIA TO SOCIETAL OUTCOMES
수월성excellence의 기준들이 사회적으로 구성되고, 평가자와 평가자 모두가 의미 있고, 경험하는 것처럼, 그것들은 물리적 세계와 연결된다. 의사 직업에는 잘 하는 사람과 덜 잘 하는 사람이 있다. [물리적 세계에서 우수성]은 [우수성의 사회적 구성]과 어떤 연관성이 있는가? 핵심은 이러한 구조contruct들을 관련된 사회적 결과와 일치시키는 것이다. 이것을 말하기는 쉽지만, 성취하기는 훨씬 어렵다
Even as excellence criteria are socially constructed, made meaningful and experienced by both the assessor and the person assessed, they are linked to the physical world. In the job of doctoring, there are persons who do it well and those who do it less well. What is the link between the social construction of excellence and excellence in the physical world? The key is alignment of these constructs with relevant societal outcomes. To say this is easy, to accomplish it much harder.
예를 들어, 의과대학과 관련된 사회적 결과가 제너럴리스트적 실천에 더 초점을 맞추고, 우리는 제너럴리스트적 실천에 집중하는 사람들이 사회성과 학업성취도 면에서 더 균형잡힌 경향이 있다는 것을 알고 있지만, 경쟁이 치열한 의과대학 응용 프로그램 코호트 내에서 반드시 학업성취도가 최고는 아닐 수 있다. 그렇다면 왜 평균 점수를 기준으로 후보 순위를 매기는가?
To give an example, if a relevant societal outcome for a medical school is greater focus on generalist practice, and we know that those focusing on generalist practice tend to be more wellrounded in social skills and academic performance, but may not necessarily be the top academic achievers within highly competitive medical school application cohorts, then why rank candidates based upon grade point average?
논리적으로, 이것은 더 많은 신청자 파일이 더 높은 정밀도를 받을 자격이 있고 비용이 많이 들 수 있다. 초점을 "가장 우수하고 뛰어난"에서 벗어나 "학문의 문턱threshold을 달성한 사람들"로 바꾸는 것은 [수월성의 construct에 담론적 불협화음을 발생시킬 수도 있고, 이는 위협적으로 느껴질 수도 있다. 그러나 그러한 대화들은 정책 입안자들과 평가 대상자들에게 높은 수준의 비판적 반사성을 개발하도록 요구하지만, 그러한 담론적 긴장을 유지하는 것은 중요하다.
Logistically, this might result in many more applicant files deserving higher scrutiny, which could be costly. To change the focus from “the best and the brightest” to “those that have achieved an academic threshold” might also introduce a discursive dissonance into the construction of excellence that may be experienced as threatening. However, working through such discursive tension is important, even though such conversations require the development of a high degree of critical reflexivity in policymakers and the people who assess.
우리는 모든 성취가 본질적으로 구조적인 것이라고 말하는 것이 아니라, 개인의 행위자성agency에만 의존하는 것이 아니라, 우수성이 어떻게 구성되고 있으며 그러한 관념이 어떻게 다양한 형태의 우수성에 대한 우리의 감상을 구속할 수 있는지를 비판하는 습관을 길러야 한다고 제안하고 있다.
We are not suggesting that all accomplishment is structural in nature, never depending on an individuals’ agency, but rather that we must develop the habit of critiquing how excellence is being constructed and how such notions might constrain our appreciation of diverse forms of excellence.
8 | 다양성 대 장점 또는 다양성과 장점?
8 | DIVERSITY VERSUS MERIT OR DIVERSITY AND MERIT?
능력과 수월성의 구인에 대한 인식론의 바로 밑바탕에는 "인구집단population"라는 개념이 있다. 인구집단은 그 집단이 공유하는 것에 의해 정의된다: 경제적 이유로 여름 휴가 동안 자원봉사를 할 수 없었던 구속력 있는 경험을 공유하는 인구는 의과대학에 계속 지원한다는 것이 하나의 예다. 한 집단의 다양성을 간단히 말하면, 그 집단의 구성원들이 공유하지 않는 다른 특성들이다.
At the very basis of epistemologies of merit and constructs of excellence lie notions of “populations”. Populations are defined by what they share: the population that shares the constraining experience of not being able to volunteer over summer holidays for economic reasons is an example, to continue with our thread of applications to medical school. A population's diversity is simply the different qualities that members within it do not share
이러한 개인차이의 가치는 무엇인가?
What is the value of these individual differences?
첫 번째 주장은, 많은 다른 맥락에서, 사회적으로 다양한 집단이 다양한 업무를 더 잘 수행한다는 것이 증명되었다.
The first argument, in many different contexts, it has been demonstrated that socially diverse groups are better at accomplishing various tasks.41,42
직업의 「내부」가 「외부」에 조금 더 가까워 보일 수 있다는 「표현」의 가치도 텔레그래피적으로 존재한다. 여기에 그려질 문헌의 말뭉치는 시골 출신이나 under-represented 배경을 가진 사람들이 (의학에서) 소외된 농촌 또는 under-represented 인구집단에 봉사할 가능성이 있다는 것을 더 높음을 보여주는 자료를 포함한다.
There is also the value teleologically of “representation”, that the “inside” of the profession might look a little more like the “outside”. The corpus of literature to draw on here includes data showing that persons from rural or under-represented backgrounds are more likely to serve underserved rural or under-represented populations (in medicine).44,45
두 번째 주장은 [권력의 개념]과 [knowing과 무엇이 known인지]와 권력 사이의 관계에 근거를 두고 있다. 우수성이 공적으로 평가되는 몇 가지 다른 맥락에서, 평가자의 사회적 다양성을 증대시키는 것이 입학, 승진 및 채용에서 더 큰 다양성으로 이어진다는 것이 증명되었다.46,47 이것이 일어나고 있는 메커니즘은 무엇인가? 다양한 위원회 멤버쉽에 대한 사회적 관점의 차이는 다른 결정으로 귀결된다.
The second argument is rooted in notions of power and its relationship to ways of knowing and what can be known. In several different contexts in which excellence is assessed for merit , it has been demonstrated that augmenting the social diversity of the assessors leads to greater diversity in admission, promotion and hiring.46,47 What is the mechanism by which this is occurring? clearly the differing social perspectives of diverse committee membership result in different decisions being made.
세 번째 주장은 [우수성을 정의하기 위해 사용되는 구성의 포괄성]에 대한 심층적인 의문을 추구하며, 이러한 구성들이 필요하지 않을 때 사회 집단 규범(예: 행동에 대한 절제된 기대치)에 의해 관련 없이 교차되는지를 묻는다. 예를 들어 리더십 문헌에서는, 효과적인 리더들이 주장성과 (종종 경멸적인 의미로 쓰이는) "부드러운 기술"(소통 기술, 대인관계 인식, 공감 등)이라고 일컫는 두 가지 모두를 보여주어야 한다는 것을 보여주었다. 강한 주장성assertiveness은 종종 남성적으로 보여지는 반면, "부드러운 기술soft skill"은 여성적으로 보여지는 경우가 많다. 리더 선정을 위한 수행평가 루브릭이 주장성 측면을 강조하고 대인관계 능력 측면을 덜 강조하는 것은, 효과적인 리더가 되기 위해 필요한 것의 반을 날려버림으로써 편향성을 도입할 위험을 무릅쓰는 것과 같다.48,49
The third argument seeks a deeper questioning of the inclusiveness of the constructs being used to define excellence and asks if these constructs are intersected extraneously by social group norms (such as gendered expectations of behaviour) when they need not be. In the leadership literature, for example, it has been shown that effective leaders are required to demonstrate both assertiveness and those skills often somewhat pejoratively referred to as “soft skills” (communication skills, interpersonal awareness, empathy, etc.). Assertiveness is often seen as male, whereas “soft skills” are often seen as female. If the performance evaluation rubric for selecting a leader emphasises the assertiveness side and de-emphasises the interpersonal skills side, then the construct is missing one half of what it takes to be an effective leader and runs the risk of introducing bias.48,49
9 | 포용적 리더십을 통한 포괄적 가치관 개발
9 | DEVELOPING INCLUSIVE NOTIONS OF MERIT THROUGH INCLUSIVE LEADERSHIP
위에 제시된 의사들과 의사들의 이야기로부터 우리는 무엇을 얻을 수 있을까? 아마도 의학용어를 쓰자면 그럴듯한 진단일 것이다. 의학적 성과주의 신화로 성장한 영웅의 여정 이야기는 과거에는 유용한 지침이 되었겠지만, 이제는 해결책의 일부라기보다는 문제의 일부가 되어가고 있다. 이제 "치유"를 목표로 하는 것은 유혹적이다.
What can we gain from the stories of the doctors and wouldbe doctors presented above? Maybe, to use a medical term, a plausible diagnosis. The hero's journey story that grew into a myth of medical meritocracy may have been a useful guide in the past, but it is now becoming part of the problem rather than part of the solution. It is tempting now to aim for a “cure”.
우리는 잠시 멈추고, "미분differential"을 기억해야 하며, 의학 문화 시스템에서 가능한 "co-morbitities와 multi-morbidities"를 고려해야 한다. 이를 복잡한 문제로 이해해야 하며, 복잡한 문제는 고치기fixing보다는 관여와 탐색management and probing을 통해 관리하는 것이 최선이다.50
we must pause, remember “the differential” and consider possible “co-and multi-morbidities” in the cultural system of medicine. We need to understand this as a complex problem, and complex problems are best managed through engagement and probing rather than fixing.50
[현재의 과정이 충분히 잘 작동하는 것으로 보는지]는 한 사람의 사회적 위치에 달려 있다고 생각한다. 우리가 의학적 및 의학적 수명 주기의 서로 다른 단계에서 의학의 우수성 버전 전체에 있어서 뛰어난 개인을 인정하고, 졸업시키고, 장려하는 것은 사실이다. 이런 관점에서 변화의 필요성이 무엇인지 물을 수 있다. 하지만, 이것은 이야기의 절반을 놓친다. 성과에 대한 논의에서 마찬가지로 중요한 것은 [누구의 우수성이 담론에서 배제되고], [누가 성과에 기반한 형태의 경쟁에 참여하지 못하게 제지되고 있는가] 하는 것뿐만 아니라, 그들의 [우수성이 인정된다면 직업 내에서 누가 빛날 것인가] 하는 것이다.
We posit that viewing current processes as working well enough is dependent on one's social positioning. It is true that we admit, graduate and promote exceptional individuals in medicine and throughout its versions of excellence at different stages of the physician life cycle. From this perspective one could ask what the need for change is. However, this misses half of the story. Equally important in the discussion of merit is whose excellence gets excluded from the discourse and who is being held back from participating in meritbased forms of competition, as well as who would shine within the profession if their excellence were appreciated.
리더십은 조직적 작업이다.51 쇼어 외 연구진은 조직적 행동과 관련하여 포함의 두 가지 주요 축을 정의했다.52 포괄적 조직은 첫 번째 축(개별 구성원의 고유성 인식)과 두 번째 축(모든 개인에 대한 소속감 증진)을 능숙하게 협상한다.52
Leadership is organisational work.51 Shore et al have defined two major axes of inclusion with respect to organisational behaviour.52 Inclusive organisations skillfully negotiate the first axis (recognition of individual members’ uniqueness) and the second axis (promotion of a sense of belongingness for all individuals).52
구체적으로, 우리는 우수성 평가의 모든 능력 기반 프로세스에서 다음과 같은 주요 조치를 제안할 것이다.
Concretely, we would suggest the following key actions in all meritbased processes of excellence assessment.
1. 사회적 판단과 평가자의 주관성이 평가 과정에 내재되어 있음을 인식하고, 사회적으로 다양한 개인이 우수성 기준의 개발 및 평가에 참여한다. 그렇게 하는 것은 예를 들어, 회원 풀을 다양화하기 위해 검색 위원회에 더 많은 후배가 참여하거나 학년 외적인 참여를 하는 등 프로세스를 변경하려는 의지를 수반한다.
1. Participation of socially diverse individuals in the development and assessment of excellence criteria, recognising that social judgements and assessor's subjectivities are inherent in the process of assessment. Doing so involves a willingness to change processes; for instance, having greater junior or outside-of-discipline participation on search committees, in order to diversify the member pool.
2.우수성 평가의 모든 프로세스에 대해 "평등도 검사"를 내장시킨다. 구체적으로, 이것은 특정한 기준이 다양한 개인들의 우수성 평가에 어떻게 영향을 미치는지에 대한 선험적인 논의를 의미할 것이다. 예를 들어, 의과대학생 선발에서 배의 선장 역할을 맡아야 하는 시뮬레이션을 사용하여 리더십 기술을 평가하는 것이 포함된다. 이러한 상황은 계급적 편견을 내재하고 있을 수 있다.
2. A built-in “equity check” for all processes of excellence assessment. Specifically, this would mean explicit a priori discussion of how criteria affect the appreciation of excellence in diverse individuals. An example includes assessing leadership skills for entry into medicine using a simulation where the candidate must take on the role of a captain of a sailing ship, which may contain inherent class biases.
3. 특정 용도에 대해 우수성과 공적이 어떻게 구성되고 있는지에 대한 기초 가치와 가정에 대한 명시적 논의가 필요하다. 예를 들어, 특정 과의 과장을 평가함에 있어서, 과장은 임상 및 교육 임무에서도 비전적 기술을 발휘함에도 불구하고, 임상 또는 교육적 리더십에 대한 언급이 없고, 그저 우수한 연구자여야 하는 것은 적절하지 않다.
3. Explicit discussion of the underpinning values and assumptions behind how excellence and merit are being constructed for specific uses. An example here might include clinical department chair excellence criteria where the ideal candidate must be a lauded researcher, with no reference to clinical or educational leadership, even though the department chair must display visionary skills in clinical and educational missions as well.
그러나 진정한 변혁적 결과는 능력적 성과meritorious work나 행동이 어떻게 인식되고 가치 있게 평가되고 있는가의 근간이 되는 스토리에대해 질문을 제기할 수 있는 공간이 만들어져야만 일어날 것이다. 만약 우리가 모든 형태의 우수성 평가에서 원하는 사회적 성과에 대한 공로 기준을 의도적으로 일치시키려 한다면, 우리는 여러 다양한 영웅들을 포함하는 이야기를 개발하는 데 먼 길을 갈 것이다.
True transformative outcomes, however, will only occur if space is made for the questioning of the stories underlying how meritorious work or behaviour is being perceived and valued. We would go a long way in developing stories inclusive of multiple diverse heroes if we were to seek the deliberate alignment of merit criteria to desired societal outcomes in all forms of excellence assessment.
그 해답은 빛나는 창을 가진 한 명의 영웅이 아니라, 의학계의 지저분한 문제들과 씨름하기 위한 집단적인 노력에서 나올 것이다. 해결책이 나올 수 있을 만큼 서로를 강하게 만들 때 올 것이다.
The answer will not come from single heroes with shining lancets, but from a collective striving to grapple with the messy issues in medicine. It will come when we make each other strong enough for solutions to emerge.
2. Gingerich A, Regehr G, Eva KW. Rater-based assessments as social judgments: rethinking the etiology of rater errors. Acad Med. 2011;86(10 Suppl):S1-S7.
44. O'Connell T, Ham S, Hart T, Curlin F, Yoon J. A national longitudinal survey of medical students’ intentions to practice among the underserved. Acad Med. 2018;93 (1):90-97.
1Department of Pediatrics and Centre for Medical Education, McGill University, Montreal, Quebec, Canada.
2Department of Community Medicine, Faculty of Health Sciences, UiT The Arctic University of Norway, and Norwegian Centre for E-health Research, Tromso, Norway.
3Department of Psychiatry, Faculties of Medicine and the Ontario Institute for Studies in Education, University of Toronto, Toronto, Ontario,, Canada.
4Family Medicine, Centre for Medical Education, McGill University, Montreal, Quebec, Canada.
Background:We examine the cultural myth of the medical meritocracy, whereby the "best and the brightest" are admitted and promoted within the profession. We explore how this narrative guides medical practice in ways that may no longer be adequate in the contexts of practice today.
Methods:Narrative analysis of medical students' and physicians' stories.
Results:Hierarchies of privilege within medicine are linked to meritocracy and the trope of the "hero's story" in literature. Gender and other forms of difference are generally excluded from narratives of excellence, which suggests operative mechanisms that may be contributory to observed differences in attainment. We discuss how the notion of diversity is formulated in medicine as a "problem" to be accommodated within merit, and posit that medical practice today requires a reformulation of the notion of merit in medicine, valorising a diversity of life experience and skills, rather than "retrofitting" diversity concerns as problems to be accommodated within current constructs of merit.
Conclusions:Three main action-oriented outcomes for a better formulation of merit relevant to medical practice today are suggested: (a) development of assessors' critical consciousness regarding the structural issues in merit assignment; (b) alignment of merit criteria with relevant societal outcomes, and (c) developing inclusive leadership to accommodate the greater diversity of excellence needed in today's context of medical practice. A reformulation of the stories through which medical practitioners and educators communicate and validate aspects of medical practice will be required in order for the profession to continue to have relevance to the diverse societies it serves.
HPE 교육과 실천에서 앎과 함 단절(Adv Health Sci Educ Theory Pract, 2020)
The disconnect between knowing and doing in health professions education and practice
Renate M. Kahlke1,2,3 · Meghan M. McConnell4 · Katherine M. Wisener5 · Kevin W. Eva6
도입
Introduction
보건직 교육은 일반적으로 일단 자료가 학습하면, 학습자와 실무자들이 실무에서 행동할 때 그들의 지식을 바탕으로 결정을 내리는 것을 당연하게 여긴다. 그러나 의료 환경은 복잡성으로 가득 차 있으며, 어떤 상황에서는 전문의가 환자에게 가장 이익이 되는 것에 대한 지식과 신념에 부합하는 방식으로 행동하는 것이 어려울 수 있다. 전문직 종사자들이 배운 것에 기초하여 그들의 관행을 바꾸는 사례들이 인상적으로 많지만, 지식이 항상 행동으로 옮겨지는 것은 아니라는 상당한 증거도 있다(Ginsburg et al. 2014; Grimshaw et al. 2002; Kennedy et al.). 2004; Légaré et al. 2015; May et al. 2009; Mazmanian 외 1998). 예를 들어, 항생제 과다처방과 관련된 정책 입안자 등은 증상의 원인이 바이러스일 가능성이 높고 항생제가 해로울 수 밖에 없다는 것을 알면서도 의사가 항생제를 처방하는 빈도(Fleming-Dutra et al. 2016)에 대해 오랫동안 우려해 왔다. 항생제 처방 시기 및 과다 처방 시 유해한 효과에 대한 전문가 지식을 높이기 위한 캠페인만 실시되었다(Meeker et al. 2014).
Health professions education generally takes for granted that, once material is learned, learners and practitioners will make decisions based on their knowledge when acting in practice. However, healthcare environments are laden with complexity, and in some circumstances it can be difficult for professionals to act in ways that are consistent with their knowledge and beliefs about what is in the best interests of their patients. While there are an impressive number of instances in which professionals do alter their practice based on what they have learned, there is also considerable evidence that knowledge does not always translate into action (Ginsburg et al. 2014; Grimshaw et al. 2002; Kennedy et al. 2004; Légaré et al. 2015; May et al. 2009; Mazmanian et al. 1998). For example, policy makers and others concerned with antibiotic over-prescribing have long been concerned about the frequency with which physicians prescribe antibiotics (Fleming-Dutra et al. 2016) even when they know the cause of symptoms is likely viral and that antibiotics can only do harm. Campaigns solely intended to increase professionals’ knowledge about when to prescribe antibiotics and the detrimental effects of over-prescribing have had limited effect (Meeker et al. 2014).
이 기사는 대부분의 전문가들이 증거를 알고 있고 대부분 가이드라인에 동의하지만, 그러한 사실들이 예상할 수 있는 만큼 준수compliance 수준이 높지 않은 상황을 다루고 있다.
This article addresses situations like these, in which it appears that most professionals are aware of the evidence and most agree with the guidelines, yet compliance is not as high as those facts would lead one to expect.
아는 것과 행동하는 것 사이의 그러한 "gap"의 의미는 건강 전문 교육의 핵심이다; 지식과 기술을 전달하는 데는 성공하지만, 그 지식과 일치하는 방식으로 학습자가 행동하도록 지원하는support 데는 도움이 되지 않는 교육은 거의 쓸모가 없다.
The implications of such “gaps” between knowing and acting are core to health professional education; education that is successful in imparting knowledge and skills, but not in supporting learners to act in a way that is congruent with that knowledge is of little use.
"지식 대 행동 격차"를 조사하는 많은 증거들은 지식 구현에 대한 구조적 장벽에 초점을 맞추고 있다(Kennedy et al. 2004). 항생제 처방 사례에서 대화 중 상당 부분은 항생제를 찾는 환자를 효과적으로 상담할 수 있는 시간이 부족하거나 원하는 항생제를 받지 못할 경우 환자가 관행을 이탈할 염려와 같은 구조적 장벽에 초점을 맞추었다(Rodrigues et al. 2013). 그러나 구조적 장벽이 유일한 이유는 아닐 것이다. 만약 그러한 장벽이 있다면, 같은 맥락에서 다른 전문가가 행동을 취하는 동안, 왜 다른 전문가는 행동하지 못 하는지를 설명하기는 어려울 것이다. 따라서 전문직 종사자들이 지식과 신념에 부합하는 방식으로 행동할 가능성에 영향을 미치는 인지 및 사회적 과정이 존재해야 한다(Cabana et al. 1999; Légaré et al. 2006; Martin and Mazmanian 1991; Redelmeier and Shafir 2015).
Much of the evidence that examines the “knowledge-to-action gap” focuses on structural barriers to implementing knowledge (Kennedy et al. 2004). In the antibiotic prescribing example, a good part of the conversation has centered on structural barriers, such as the lack of time available to effectively counsel patients seeking antibiotics or a fear of patients leaving the practice if they do not receive antibiotics they desire (Rodrigues et al. 2013). Such structural barriers are, however, unlikely to be the only forces at play; if they were, it would be difficult to explain why one professional might fail to act, while another, in the same context, takes action. Thus, there must be other, less easily identified, cognitive and social processes that impact the likelihood that professionals will be willing and able to act in ways that are congruent with their knowledge and beliefs (Cabana et al. 1999; Légaré et al. 2006; Martin and Mazmanian 1991; Redelmeier and Shafir 2015).
여기서 실행과학implementation science 분야는 어느 정도 방향을 제시한다. 이 분야의 학자들은 [모범 사례 구현]의 문제에 대해 오랫동안 행동 변화 이론을 제기하려고 노력해왔다.
Here, the field of implementation science offers some direction. Scholars in this field have long sought to bring theories of behavior change to bear on problems of best-practice implementation.
감각화 도구sensitizing tools는 특정 순간에 지식의 구현(또는 그 결여)에 영향을 미칠 수 있는 광범위한 이론 영역의 메뉴를 제공한다. 그러나 이러한 프레임워크의 옹호자들이 지적한 바와 같이, 연구자들은 종종 특정 실무 문제에 대한 각 이론의 경계와 관련성을 파악하는데 수십 년을 소비한다는 점을 고려할 때, 그러한 광범위한 "메뉴"의 한계는 여기까지일 수 밖에 없다(Francis et al. 2012).
Sensitizing tools offer a menu of broad theoretical domains that might influence implementation of one’s knowledge (or lack thereof) at a given moment. However, as advocates of these frameworks have noted, such broad “menus” can only go so far, given that researchers often spend decades untangling the boundaries and relevance of each theory to particular practice problems (Francis et al. 2012).
방법
Methods
이러한 현상을 알릴 수 있는 잠재력이 있는 다양한 분야의 여러 문헌을 통합하고자 하였다. 이러한 통합적 초점은 비판적 검토 방법론을 특히 가치 있게 만든다. 비판적 리뷰에서, 저자들은 어떤 하나의 관점에 대한 포괄적인 리뷰를 제공한다고 주장하지 않고, 오히려 복수의 문헌의 샘플링, 각 영역의 관련 핵심 이슈에 대한 비판적 분석, 관심 현상에 영향을 줄 수 있는 메커니즘에 대한 통찰력을 제공한다(Grant and Boots 2009; Eva 2008). 이와 같이, 우리는 이 문제를 다룰 수 있는 다른 분야의 기존 프레임워크와 이론적 관점을 찾기 위해 여러 문헌을 반복적으로 자문했다(2016년 쿡) 우리가 다루려고 했던 특정 문제에 대해 가장 관련성이 높은 이론과 발견사항에 대한 정보에 입각한 의사결정을 목표로 한다.
We sought to integrate multiple literatures from diverse fields that have potential to inform this phenomenon. This integrative focus makes critical review methodology particularly valuable. In critical reviews, authors do not claim to offer a comprehensive review of any one perspective; rather, they offer a sampling of multiple literatures, a critical analysis of relevant core issues in each area, and insight into the mechanisms that might impact the phenomenon of interest (Grant and Booth 2009; Eva 2008). As such, we iteratively consulted multiple literatures in an effort to find existing frameworks and theoretical perspectives from other fields that might address this issue (Cook 2016) with the goal of making informed decisions about the most relevant theories and findings for the particular problem we sought to address.
비판적 리뷰의 재귀적 성격을 통해 연구자들은 문제 공간을 지속적으로 다듬는 한편, 문헌으로 돌아와 새로운 이론 영역을 탐색할 수 있다(Cook 2016; Grant and Boots 2009). 이와 같이, 첫 번째 저자는 임상의사와의 상담, 다양한 이론적, 방법론적 관점을 가진 보건직 교육 연구자들과의 상담, 그리고 동시에 문제를 다듬고 문헌으로 돌아가는 반복적인 순환을 했다.
The recursive nature of critical reviews allows researchers to continuously refine the problem space, while returning to the literature to explore new theoretical territories (Cook 2016; Grant and Booth 2009). As such, the first author engaged in an iterative cycle that involved: consulting with clinicians, consulting with health professions education researchers with diverse theoretical and methodological perspectives, and concurrently refining the problem and returning to the literature
예를 들어, 의료 교육에서 학습자가 자신이 배운 정보를 기억하는 조건(Kullier et al. 2008; Norcini et al. 2011)에 유의미한 주의를 기울였지만, 그러한 정보는 제외되었다. 그것은 분명히 배움의 기본이지만, 그 지식이 결코 행동으로 전환되지 않는다면 기억은 거의 쓸모가 없다. 우리도 마찬가지로 학습 전이의 이론은 배제했는데, 우리가 다루려는 문제가 지식이 성공적으로 새로운 맥락으로 옮겨진 순간들에 대한 것이지만, 아직 행동에 관한 한 격차gap가 있기 때문이다. 대신에, 우리는 전문가들이 특정한 행동을 취해야 하는 것을 알지만, 실제로는 다른 행동을 해야 한다고 믿는 순간들에 영향을 미칠 수 있는 인지적, 사회적 메커니즘을 이해하는데 그들의 잠재적인 기여에 기초한 이론적 관점을 포함시켰다.
For example, although significant attention has been paid in medical education to the conditions under which learners remember the information they have been taught (Kulier et al. 2008; Norcini et al. 2011), such information was excluded. It is obviously fundamental to learning, but memory is of little use if the knowledge is never converted to action. We likewise excluded theories of learning transfer because our problem is specific to moments where knowledge has been successfully transferred to the new context, yet there is still a gap when it comes to action. Instead, we included theoretical perspectives based on their potential contribution to understanding the cognitive and social mechanisms that might impact the moments when professionals believe they ought to take one course of action, but instead follow another.
결과
Results
행동의 의도 설정하기
Setting an intention to act
현대의 동기 이론가들은 행동 동기가 관련 행동에 대하여 다음 네 가지가 어떻게 교차하는가에 달려 있다고 주장한다.
개인의 인식 능력("내가 할 수 있을까?")
개인의 자율성("결과에 대한 통제권을 내가 가지고 있는가?"),
결과적 보상의 예상 가치("가치 있는가?"),
개인과 그들의 사회적 맥락 사이의 상호작용의 성격 ("그 맥락이 나를 행동가능하게enable 하는가?") (Cook and Artino 2016).
Contemporary motivational theorists argue that motivation to act is dependent on how the associated behavior intersects with an
individual’s perceived competence (“Can I do it?”),
their sense of autonomy (“Do I have control over the outcome?”),
the anticipated value of the resulting reward (“Is it worth it?”), and
the nature of the interactions between an individual and their social context (“Does the context enable me to act?”) (Cook and Artino 2016).
전문가와 학습자는 [직무에 대해 역량이 있고, 결과에 대한 소유권을 가지며, 직무와 관련된 가치 있는 인센티브가 있고, 사회적 맥락에서 그들의 의도를 뒷받침할 때] 행동할 가능성이 가장 높다(Deci et al. 1999).
Professionals and learners are most likely to act when they feel competent in performing a task, they assume ownership for the outcome, there is a valued incentive related to the task, and the social context supports their intention (Deci et al. 1999).
네 가지 조건이 모두 충족되지 않을 때, 사람들은 여전히 행동에 대한 의욕을 가질 수 있지만, 그들이 그 일에 접근하는 질과 헌신은 후속 작업에 불충분할 수 있다. 그러나 동기부여는 이분법적binary이지 않다. 개인을 "동기화" 또는 "동기화되지 않음"으로 깔끔하게 분류할 수 있는 경우는 거의 없다. 그 대신, 동기부여력은 개인이 그 일을 맡을 때 자신이 가지고 있다고 인식하는 자율성의 정도에 따라 달라진다.
덜 자율적인 형태의 동기 부여는 일반적으로 처벌 위협이나 보상의 약속과 같은 외부 요인에 의해 더 많이 추진된다.
보다 자율적인 형태의 동기부여는 개인의 가치체계와 통합된다(예: 이것이 좋은 의사가 되는 것을 의미하기 때문에 행동할 의욕이 생긴다). 자율적인 형태의 동기부여는 활동이 더 큰 질과 헌신을 가지고 수행되는 경향이 있기 때문에 더 바람직한 것으로 보인다(Gillet et al. 2010; Ryan and Deci 2000).
When all four conditions are not met, people may still be motivated to act, but the quality and commitment with which they approach the task can be insufficient for follow-through. However, motivation is not binary—individuals can rarely be neatly classified as “motivated” or “not motivated.” Instead, motivational forces vary in the degree of autonomy the individual perceives him/herself to have in taking up the task.
Less autonomous forms of motivation are generally driven more by external factors, such as the threat of punishment or promise of reward.
More autonomous forms of motivation are integrated with an individual’s value system (e.g. I am motivated to act because this is what it means to be a good physician); autonomous forms of motivation are seen as more desirable because activities tend to be undertaken with greater quality and commitment (Gillet et al. 2010; Ryan and Deci 2000).
개인의 동기부여가 얼마나 자율적인지의 정도는 전문가가 다른 사람이 아닌 어떤 경우에는 지식을 바탕으로 행동하는 이유를 설명하는 데 도움이 될 수 있다. 전문가에게[지식에 부합하는knowledge-aligned 행동]의 가치가 완전히 내재화되고 가치 체계와 통합되는 경우(높은 자율성), [외부에서 부과하는 행위(낮은 자율성)]로 보는 경우보다 더 큰 지속력을 보일 것으로 예측한다(Ryan and Deci 2017).
The degree to which an individual’s motivation is autonomous may help to explain why professionals act on knowledge in some cases and not others. In cases where the value of the knowledge-aligned behavior is fully internalized and integrated with their value system (high autonomy), the model predicts that professionals will show greater perseverance than they would for actions that they see as externally imposed (low autonomy) (Ryan and Deci 2017).
항생제 처방의 경우에 이러한 원칙을 적용하면, 개입이 [자율성과 역량의 감정]을 촉진한다면 자율적인 동기부여를 강화하는데 더 성공할 가능성이 높다. 준수성을 높이기 위해 의무 처방 지침을 따르도록 임상의에게 강요하는 것은 통제 또는 능력이 충분하지 않다는 신호로 인식될 수 있으며, 이는 바이러스성 증상에 대한 처방을 줄이려는 동기를 실제로 낮출 수 있다. 또는 [전문가 자신의 가치를 자극]하고 [자율의식을 고취함]으로써 처방을 감소시키는 접근방식은 해당 과제task의 내면화를 촉진하고 불필요한 처방을 감소시킬 가능성이 높다. 이러한 원칙에 기초하여, 가이드라인은 엄격한 규칙을 정의하거나 감시를 통해 규칙을 집행하기 보다는, 의사들이 미묘하고nuanced 독립적인 임상 결정을 할 수 있도록 지원할 때 자율적인 동기 부여를 강화할 가능성이 높다.
Applying these principles to the case of antibiotic prescribing, interventions are likely to be more successful in enhancing autonomous motivation if they promote feelings of autonomy and competence. Trying to force clinicians to comply with mandatory prescribing guidelines in an attempt to increase adherence may be perceived as controlling or as a signal that their competence is not sufficient, which may actually lower their motivation to reduce prescribing for symptoms that are likely viral. Alternatively, approaches that encourage reduced prescribing by tapping into the professional’s own values and promoting a sense of autonomy would likely facilitate internalization of the task and decrease unnecessary prescribing. Based on these principles, guidelines are likely to enhance autonomous motivation when they support physicians in making nuanced, independent clinical decisions, rather than defining rigid rules or enforcing rules through surveillance.
[강한 의도strong intention]를 갖도록 만든다면 어려운 조건에서도 전문직 종사자들이 지식과 신념에 따라 행동하도록 오래동안 유도할 수 있다. 그러나, 전문가들은 또한 시간이 지남에 따라 그러한 의도를 유지해야 한다. 이것이 어떻게 이루어지는지(혹은 왜 그렇지 않은지를) 고려하기 위해, 문헌은 우리에게 개개인의 행동을 일반적으로 단념시키는 다양한 인지적, 감정적, 사회적 장벽을 검토하도록 이끌었다.
Setting a strong intention can go a long way toward supporting professionals to act on their knowledge and beliefs, even under conditions where this is difficult. However, professionals must also maintain that intention over time. To consider how this is done (or why it is not), the literature led us to examine various cognitive, affective, and social barriers that commonly deter individuals from acting.
인지적, 감정적, 사회적 행동 장벽 극복
Overcoming cognitive, affective, and social barriers to action
인지적 자율규제 프로세스
Cognitive self‑regulatory processes
일단 의도가 정해지면, 전문가들은 그것이 행동으로 전환되기 위해 그 의도를 시간이 지남에 따라 유지해야 한다. 그러나, 상황이 변화하여 개인이 그 의도를 갖도록 이끌고 간 동기적 힘이 덜 의미 있게 될 수도 있고, 새로운 기회 또는 다른 선택지distractor가 나타나서 가장 강력한 의도에까지 영향을 미치기 시작할 수도 있다(Ecles and Wigfield 2002).
Once an intention is set, professionals must maintain that intention over time for it to be converted into action. However, context changes such that motivational forces that drove the individual to set an intention can become less meaningful as emerging opportunities and distractors begin to waylay even the strongest intentions (Eccles and Wigfield 2002).
예를 들어, 학업적으로 동기가 부여된 의대생은 자신이 특히 어렵다고 생각하는 주제에 대해 읽도록 학습 목표를 설정할 수 있다. 단지 그때 그녀가 최근에 이수한 일렉티브와 특별히 관련이 있는 새로운 연구 논문을 우연히 보게 되었기 때문이다. 그녀는 더 즉각적인 만족을 가져다 주는 특별한 관심의 주제에 대해 더 많이 읽어야 한다는 새로운, 더 매력적인 목표를 추구하기 위해 본래의 의도를 유지하고 있는가?
As an example, an academically motivated medical student might set a study goal to read about a topic that she finds particularly difficult only to then stumble upon a new research paper of particular relevance to an elective she recently completed—does she maintain her original intention or abandon it to pursue the emergent, more attractive goal of reading further on a topic of special interest that brings more immediate gratification?
[의도의 유지]에 대해서는 장애물이나 방해물에도 불구하고 지속적인 노력을 통해 업무를 추진하는데 필요한 의지력 또는 "의지의 힘"이라고 하는 경우가 많다(Corno 1993). 그 개념은 원래의 동기 및 의도가 시간이 지남에 따라 유지되는지 여부를 설명함으로써 동기 부여에 관한 문헌에 기초한다. 인지적 관점에서 자기조절은 목표 설정(목표가 암묵적이거나 명시적인 경우), 추구, 달성/폐기의 사이클을 포함한다(Maes and Karoly 2005).
The maintenance of intention is often referred to as volition or the “strength of will” required to pursue a task through sustained effort, in spite of obstacles or distractions (Corno 1993). The concept builds on the literature on motivation by addressing whether or not the original motivations and related intentions are maintained over time. From a cognitive perspective, self-regulation involves cycles of goal setting (where goals are either implicit or explicit), pursuit, and attainment/disengagement (Maes and Karoly 2005).
자율조절이론은 종종 자기통제를 [제한된 자원]으로 본다; 개인이 주어진 상황에서 자기 통제를 행함에 따라, 그들은 그 자원을 고갈시킨다(Vohs et al. 2014). 항생제 처방 사례에서 이는 전문의가 항생제를 요청하는 [여러 환자와 연달아 교류]하거나, [항생제를 끈질기게 요청하는 한 명의 환자와 교류]할 경우, 처방을 제한하려는 본래의 의도에서 끈기 있게 버티기가 매우 어려울 수 있음을 시사한다. 다른 이론가들은 자기조절이 복잡하고, 지속적이며, 적응적인 과정으로 더 잘 이해될 수 있다고 제안한다(Kotabe and Hofmann 2015; Nigg 2017). 일단 목표가 설정되면, 달성 여부는 피드백의 가용성과 업무의 복잡성을 포함한 상황적 변수에 의해 영향을 받을 수 있다(Maes and Caroly 2005).
Self-regulation theories often treat self-control as a limited resource; as an individual exerts self-control in a given situation, they deplete that resource (Vohs et al. 2014). In the antibiotic prescribing example, this suggests that if a professional interacts with several patients in a row who request antibiotics, or a single patient who persistently requests antibiotics, it may be very difficult to persevere with the original intention to limit prescribing. Other theorists suggest that self-regulation might be better understood as a complex, ongoing, and adaptive process (Kotabe and Hofmann 2015; Nigg 2017). Once a goal is set, attainment can be impacted by contextual variables including the availability of feedback and the complexity of the task (Maes and Karoly 2005).
[맥락적 요인]을 조사하는 것 외에도, 자율 규제에 관한 문헌은 개인의 목표와 의도를 달성하는 능력에 영향을 미칠 수 있는 [개인 내부의 요인]을 강조한다. 일례로 쾰의 행동 통제 이론(Kuhl과 Beckmann 1985)은 의도 유지를 위해 필요한 정보 처리 전략을 설명하는 것을 목적으로 한다.
능동적 행동 통제는 다른, 더 매력적인 대안이 출현하는 상황에서도 목표를 의식적으로 지속하는 것이다.
수동적 행동 통제는 의식적으로 적용되지 않으며, 더 매력적인 옵션이 등장할 때(Corno and Kanfer 1993; Kuhl 1987), 비록 (더 어려운) 본래의 의도가 전반적으로 더 바람직할 때라도 개인들이 자신의 의도를 바꾸도록 이끄는 것이다.
In addition to examining contextual factors, the literature on self-regulation emphasizes factors internal to the individual that may impact their ability to attain their goals and intentions. As an example, Kuhl’s Action Control Theory (Kuhl and Beckmann 1985) aims to explain the information processing strategies required to maintain an intention.
Active action control is the conscious persistence toward a goal in situations where other, more attractive alternatives emerge.
Passive action control is not consciously applied, and leads individuals to shift their intention when a more attractive option emerges (Corno and Kanfer 1993; Kuhl 1987), even when the more difficult original intention is more desirable overall.
이러한 변화가 발생하는 이유는 수동적 행동 통제가 개인을 자동적이고 선택적으로 처리하도록 이끌기 때문이다. 이는 [새롭고, 더 즉각적으로 바람직한 옵션(예: 단맛의 달콤한 맛)]과 [원래 의도된 목표(예: 결과로 발생하는 배고픔)]에 내재된 부정적인 면에 초점을 맞추고 있다. (Kuhl 1987).
Such shifts can occur because passive action control leads individuals to automatically and selectively process information, focusing on the positives inherent in the new, more immediately desirable, option (e.g., the sweet taste of a sugary treat) and the negatives inherent in the originally intended goal (e.g., the hunger that arises as a result of trying to lose weight) (Kuhl 1987).
이 연구 라인의 이론가들은, 상충하는 욕망이나 우선 순위에 직면하는 순간에 개인을 [수동적 행동 통제]에서 [능동적 행동 통제]로 전환시킴으로써, 자발적인 통제 전략이 효과적인 개입을 제공할 수 있다고 제안한다. 이 전략을 활용하기 위해서는 [주의집중]이나 [동기 부여적 통제motivational control]가 필요하다. 즉, 개인이 원래의 목표에 집중하고 가치를 두도록 촉진한다. 예를 들어, 그들은 원래의 의도가 포기될 경우 어떤 결과가 일어날지 생각하도록 유도될 수 있다(항체 내성균의 증가나 지속적인 체중 관련 건강 문제 등). 또는 목표가 달성될 경우 긍정적인 결과를 생각하도록 유도될 수 있다(Kuhl 1987). 또 다른 전략에는 목표를 달성하고 장애물을 극복하는 데 중요한 행동을 다루는 명시적인 계획을 세우는 것이 포함된다(Gollwitzer 1993; Kuhl and Beckmann 1985; Maes and Karoly 2005).
Theorists from this line of research suggest that volitional control strategies can offer effective interventions by shifting individuals from passive to active action control, particularly at moments when the individual is faced with a competing desire or priority. Some such strategies involve attention or motivational control—prompting the individual to focus on and value the original goal. They might, for example, be prompted to think about what consequences will happen if the original intention is abandoned (such as the rise of antibiotic resistant bacteria or continued weight-related health issues) or to think about the positive outcomes if the goal is attained (Kuhl 1987). Another strategy involves creating an explicit plan to address the actions that are critical to attaining a goal and overcoming obstacles (Gollwitzer 1993; Kuhl and Beckmann 1985; Maes and Karoly 2005).
예를 들어, 항생제 처방에 대한 압력을 다루기 위해, 전문가들은 처방의 확실성을 결정하는 임계선, 동료들과 상의하기 위한 메커니즘, 그리고 항생제 원하는 듯 보이는 환자와 항생제에 대해 논의하는 접근법에 대해 명확한 계획을 수립함으로써 이익을 얻을 수 있을 것이다. 즉, 가이드라인이나 교육 개입을 '처방'할 때, [전문적인 자율성]과 [발생할 수 있는 장애물에 대한 계획]을 함께 촉진한다면 더 성공적일 가능성이 높다.
For example, to deal with pressures toward antibiotic prescribing, professionals would likely benefit from creating a clear plan regarding what they consider to be the threshold for certainty in prescribing, mechanisms for consulting with colleagues, and approaches to discussing antibiotics with patients they perceive as antibiotic-seeking. In other words, prescribing guidelines and educational interventions are likely to be more successful if they both promote professional autonomy and planning for obstacles that might be encountered.
정서적 자기조절 프로세스
Affective self‑regulatory processes
우선 순위가 서로 상충하는 고부담 또는 개인적으로 중요한 상황에서, 우선 순위 사이의 긴장이 어떻게 해결되는지에 있어 무드와 감성이 중요한 역할을 한다. 결과적으로, 이러한 영향을 이해하는 것은 이러한 조건 하에서 어떻게 의사결정이 이루어지는지, 그리고 전문가들이 그들이 가장 좋다고 생각하는 것과 일치하도록 지원하는 개입을 구축하는 방법을 푸는 데 매우 중요할 것 같다.
In high stakes or personally important circumstances where there are competing priorities, mood and emotion play a key role in how tensions between priorities are resolved. As a result, understanding this influence is likely to be critical to unpacking how decisions are made under these conditions and how to build interventions that support professionals to act in congruence with what they believe is best.
감정에 대한 연구는 [부정적인 감정 상태가 더 고의적이고 체계적인 정보 처리와 관련]이 있는 반면, [긍정적인 상태는 더 관계적이고 유연한 처리와 관련]이 있다는 것을 보여준다. (블랑슈테와 리차드 2010; 브람스펠트와 가스퍼 2008; 마틴과 클로어 2013; McConnell and Shore 2011; Vanlessen et al. 2016) 거의 20년 전 엘스바흐와 바(1999)는 개인의 구조화된 의사결정 프로토콜에 대한 집착에 대한 기분의 영향을 조사하는 실험을 했다. (긍정적인 분위기의 개인에 비해) 부정적인 기분에 있는 사람들은 프로토콜의 모든 단계를 올바른 순서로 신중하게 실행할 가능성이 더 높았다(Elsbach and Barr 1999). 그 이후로, 다양한 연구는 부정적인 감정 상태에 있는 개인들이 긍정적인 상태에 있는 개인들보다 특정한 순차적 단계를 고수해야 하는 지식에 더 많이 행동할 가능성이 있다는 제안을 지지했다(de Vries et al. 2012; Pham 2007).
Research on emotion suggests that negative affective states are associated with more deliberate, systematic processing of information, while positive states are associated with more relational, flexible processing (Blanchette and Richards 2010; Bramesfeld and Gasper 2008; Martin and Clore 2013; McConnell and Shore 2011; Vanlessen et al. 2016). Nearly 20 years ago, Elsbach and Barr (1999) conducted an experiment to examine the influence of mood on individuals’ adherence to structured decision protocols. Relative to individuals in positive moods, those in negative moods were more likely to carefully execute all the steps of a protocol in the correct order (Elsbach and Barr 1999). Since then, a variety of research has supported the suggestion that individuals in negative affective states are more likely to act on knowledge that requires adherence to specific, sequential steps than those in positive states (de Vries et al. 2012; Pham 2007).
예를 들어, 의사가 바이러스 질환에 대해 가장 흔히 (항생제를) 처방한다면, 부정적인 감정상태에서 의사들은 구조화된 루틴에 따라 처방할 가능성이 더 높아지게 된다. 만약 그들이 일반적으로 처방하는 것으로 끝나지 않는 길을 따른다면, 그들은 부정적인 기분 상태에 있을 때 이러한 구조화된 일과를 따를 가능성이 더 높을 수 있지만, [부정적인 감정상태가 리스크에 대한 내성을 낮출 수 있다는 것]을 시사한 연구도 고려해야 한다(블랑슈테와 리차드 2010). 즉, 불안은 마치 위협이 있다고 생각하게 하여, 의사들을 애매한 단서까지도 해결하게끔 유도하는 경향이 있으며, 이는 위험 내성을 낮추고 (항생제) 처방이 정상적인 루틴이 아닐지라도 항생제를 처방하려는 경향을 더 높게 할 수 있다.
For example, if a physician most commonly prescribes for viral conditions, then negative emotions may make it more likely that they would pursue that structured routine over others. If they commonly follow a pathway that does not end in prescribing, they may be more likely to follow these structured routines when in a negative mood state, but such tendencies must also be considered in relation to research that suggests that negative affect can lower risk tolerance (Blanchette and Richards 2010). That is, anxiety tends to lead individuals toward resolving ambiguous cues by assuming threat, which lowers risk tolerance and might make the tendency to prescribe more likely even if prescribing is not one’s normal routine.
반대로, 긍정적인 감정은 더 큰 [관계적 처리(즉, 현재 문제의 측면을 알려진 것과 관련)], 창의적인 문제 해결, 정보에 대한 개방성과 관련이 있다(Bolte 및 Goschke 2010; Clore and Huntsinger 2007; Davis 2009). 연구에 따르면 긍정적인 상태에서는 [새로운 아이디어와 대안적 사고와 행동을 위한 기회]를 더 많이 탐구할 가능성이 있다(예: 볼트 외 2003; 드레즈바흐와 고슈케 2004). 상충하는 가치가 있을 때, 하나가 다른 하나를 반드시 "눌러버리는" 것으로 끝난다고 보기보다([처방을 거부하고 지침을 준수하는 것] vs [환자의 기대에 부합하는 것]), 긍정적인 감정 상태에 있는 전문가는 환자가 항생제를 요구하는 이유를 이끌어내고 그러한 문제에 대한 환자와의 문제 해결을 유도할 가능성이 더 높다. 그들은 처방 지연, 추가 조사 또는 증상 관리 계획을 협상할 수 있다. 다시 말해, 긍정적인 감정 상태에 있는 전문가는, 어떤 경우에는, 여러 가지 상반되는 동기 부여 동기를 만족시키는 방법을 찾는데 더 창의적일 수 있다.
In contrast, positive affect is associated with greater relational processing (i.e. relating aspects of a current problem to what is known), creative problem solving, and openness to information (Bolte and Goschke 2010; Clore and Huntsinger 2007; Davis 2009). Research has shown that individuals in positive states are more likely to explore new ideas and opportunities for alternative thoughts and actions (e.g. Bolte et al. 2003; Dreisbach and Goschke 2004). Rather than seeing the values conflict as necessarily ending in one value “winning out” over another (prescribing to comply with patient expectations versus refusing the prescription and complying with guidelines), a professional in a positive emotional state might be more likely to elicit the reasons that the patient is requesting antibiotics and to problem-solve with the patient around those issues. They may negotiate delayed prescribing, further investigations, or a plan for symptom management. In other words, a professional in a positive emotional state may, in some cases, be more creative in finding ways to satisfy multiple conflicting motivational drivers.
부정적인 감정 상태가 그 순간 프로페셔널의 행동에 영향을 미칠 수 있고, 프로토콜에 더 엄격하게 집착하게 할 수도 있지만, 미래에 부정적인 감정을 기대하는 것 또한 행동에 영향을 줄 수 있다. 즉시 만족이 기대되는 유혹을 추구하는 경향 외에도, 사람들은 이전의 경험에 근거하여 부정적인 감정을 만들어내기 쉬운 상황을 피하는 경향이 있다. 이 "자기 보호"는 [예측 가능한 감정 상태]에 영향을 받으며, 이는 주어진 순간에 [실제로 어떻게 느낄 것인가]와 무관하게 [개인이 어떻게 느낄 것으로 생각하는가]를 의미한다. 예상되는 부정적인 감정을 피하는 것은 학습자와 전문가가 지식을 바탕으로 행동하는지 여부에 영향을 미칠 수 있다.
While negative emotional states can influence professionals’ behavior in the moment, and might cause them to adhere more rigidly to protocols, anticipation of negative emotion in the future can also impact behavior. In addition to a tendency to pursue temptations that are anticipated to be immediately satisfying, people tend to avoid situations that, based on previous experiences, are likely to produce negative emotions. This “self-protection,” involves anticipatory emotional states—that is, how individuals think they will feel, as opposed to how they will actually feel at a given moment. Avoidance of anticipated negative emotions may influence whether or not learners and professionals act on knowledge.
예를 들어, 전문가들은 좌절감이나 불안감을 유발할 것으로 예상되는 진료행위의 변화를 피하게 될 가능성이 높다(Baumeister et al. 2007). 항생제 처방 예시에서, 전문가들은 [항생제를 찾는 것으로 보이는 환자와의 어려운 대화를 하는 것을 피하고 싶어]할 수 있으며, 환자와의 충돌을 피하기 위해 항생제 처방을 기본으로 할 수도 있다.
For example, professionals are likely to avoid making practice changes that are expected to generate feelings of frustration or anxiety (Baumeister et al. 2007). In the antibiotic prescribing example, professionals might avoid having difficult conversations with patients they perceive as antibiotic seeking and, in order to avoid conflict, default toward prescribing.
여러 연구에서 의료 제공자가 환자를 관리하는 방식에 [두려움]이 영향을 미친다는 것을 시사했다(Coudeyre et al. 2006; Rodrigues et al. 2013).
Several studies have suggested that fear influences how healthcare providers manage patients (Coudeyre et al. 2006; Rodrigues et al. 2013).
다시 말해, 의사들이 때때로 in situ decision을 내리는 것은, (비록 그러한 결정이 자신이 최선의 결정이라고 믿는 것과 다르더라도) 그러한 사건들이 부정적인 감정과 관련될 가능성이 높은 미래 예상 사건에 대한 두려움 때문이다.
In other words, physicians sometimes make in situ decisions because of fear of an anticipated future event when those events are likely associated with negative emotion, even though those decisions are incongruent with what they believe to be the best decision in that situation.
다행히도, 개인이 자신의 감정 상태를 인식하게 되면 기분과 감정의 영향을 효과적으로 조절할 수 있다고 믿을 만한 이유가 있다. 연구는 일단 개인이 감정의 잠재적인 영향을 인식하게 되면, 그들은 그러한 감정들을 스스로 조절할 수 있고 감정이 그들의 수행에 영향을 미치는 범위를 제한할 수 있다는 것을 보여주었다(Gasper와 Clore 2002). 결과적으로, 의사들이 그들의 감정 상태를 유념하도록 훈련시키는 것은 지식과 행동 사이의 연결을 용이하게 하는데 도움이 될 수 있다.
Fortunately, there is reason to believe that the influence of moods and emotions on performance can be modulated effectively once individuals are made aware of their emotional state. Research has shown that once individuals are made aware of the potential effects of emotion, they are able to self-regulate those emotions and limit the extent to which emotion influences their performance (Gasper and Clore 2002). Consequently, training physicians to be mindful of their emotional states may help facilitate the connection between knowledge and action.
사회적, 문화적 규범
Social and cultural norms
어떤 사람이 [자신이 가진 지식에 따르면 사회나 문화적 규범에 반하는 것이 적절하다고 믿을 때] 발생하는 더 큰 종류의 문제 중 하나는 [자신의 행동에 대해 다른 사람들이 부정적인 반응을 할 수 있다는 우려]이다. 사람은 보통 대부분의 경우, 그들이 옳다고 믿는 것과 어울리지 않는 행동이더라도, 반-규범적 행동을 피하는 방향으로 사회화된다.
Concern about the negative reactions others might have in response to our actions is one form of a larger class of issues that arise when one’s knowledge leads them to believe it is appropriate to act against social or cultural norms. Individuals are socialized to, for the most part, avoid counter-normative behavior, even if it means acting incongruently with what they believe to be right.
예를 들어, [빠른 환자 턴어라운드 시간]이 표준인 상황에서 학습자가 환자의 필요를 옹호하는 것을 피할 수 있는 반면, advocacy-oriented한 맥락에서는 학습자가 환자-옹호 활동을 더 기꺼이 수행할 수 있다. 지식-부합 행동이 규범에 반하는 순간, 사회적 규범은 행동에 대한 중요한 장벽을 형성할 수 있다. 사회문화 이론은 개인이 사회 규범에 대해 배우는 과정과 그 규범들이 어떻게 행동을 지배하게 되는지 설명하는 데 도움을 주는 렌즈를 제공한다.
For example, learners might avoid advocating for what they think their patient needs in contexts where quick patient turn-around times are the norm, whereas in contexts that are advocacy-oriented, the learner might be more willing to take on these activities. In moments when knowledge-congruent actions are counter-normative, social norms can form a significant barrier to acting. Sociocultural theories offer a lens to help explain the processes through which individuals learn about social norms, and how those norms come to govern behaviour.
사회문화 이론은 특히 암묵적 학습을 통해 루틴(언어적, 물질적)에 대한 참여가 개인을 사회화하는 데 어떻게 기능하는지에 초점을 맞춘다(Kahlke et al. 2018). 학습자들과 전문가들은 끊임없이 사회적 맥락 안에서 그리고 그들의 사회적 맥락에 대한 [암묵적 학습에 참여한다. 예를 들어, 실천 공동체 이론에 따르면, 개개인은 공동체에서 받아들여지는 언어와 실천을 유창하게 집행할 수 있는 맥락에 사회화된다(Lave and Wenger 1991; Wenger 1998). 이 일상적인 행동enactment을 통해, 실천practice이 평범하고 자연스러워진다; 학습자들은 그 공동체 안에서 합법성legitimacy과 포용inclusion을 증가시킴으로써 공동체의 관습과 가치를 배우고 영속시키는 것에 대해 보상을 받는다. 결과적으로, 개인이 주어진 공동체 내에서 합법적인 성원권membership얻게 되면, 개개인은 어떤 행동 때문에 자신이 배제되거나 지위를 잃게 될 수 있기 때문에, 집단 규범에 벗어난 행동을 피하는 경향이 있다.
Sociocultural theories focus on how participation in routines (both linguistic and material) functions to socialize individuals, particularly through tacit learning (Kahlke et al. 2018). Learners and professionals constantly engage in tacit learning within and about their social context. In Communities of Practice theory, for example, individuals are considered socialized into a context when they can fluently enact the language and practices accepted within that community (Lave and Wenger 1991; Wenger 1998). Through this routine enactment, practices become normal and natural; learners are rewarded for learning and perpetuating the practices and values of a community by gaining increasing legitimacy and inclusion within that community. As a result, when an individual gains legitimate membership within a given community, they tend to avoid actions that are outside of group norms because such action may result in exclusion or loss of status.
항생제 과다처방과 관련하여 근무지 문화는 과처방이 발생하는 주요 이유로 언급되어 왔다(Descheper et al. 2008). 최근의 연구는 의사들이 [항생제 처방을 낮추기로 약속하는 공공 선언문을 게시]하도록 하거나 (Meker et al. 2014) [낮은 항생제 처방을 "최고 의사"로 분류하고, 상대적으로 얼마나 항생제를 처방하는지를 보여주는 비교 데이터를 전송]함으로써 처방의 문화에 영향을 미치는 개입을 조사했다(Meker et al. 2016). 의사들이 그들의 신념에 부합하지만 문화 내에서 역규범적인 방식으로 행동하도록 영향을 주기 보다는, 이러한 개입은 문화 자체에 대한 의사들의 인식과 맥락에서 작용하는 사회적 규범에 대한 이해에 영향을 미치려고 했다. 이러한 개입은 처방 행동을 바꾸는 데 효과가 있는 것으로 밝혀졌다.
With respect to antibiotic overprescribing, workplace culture has been cited as a key reason why over-prescribing occurs (Deschepper et al. 2008). Recent studies examined interventions to influence prescribing culture by having physicians post public statements committing to lowering their prescribing (Meeker et al. 2014) or sending physicians data comparing them to their peers who are categorized as “top performers” in low prescribing (Meeker et al. 2016). Rather than influencing physicians to act in ways that are in alignment with their beliefs but are counter-normative within the culture, these interventions sought to influence physician perceptions of the culture itself and their understanding of the social norms operating in their context. These interventions were found to be effective in altering prescribing behaviour.
사람들이 자신의 지식에 따라 행동하는 속도를 높이기를 원한다면, 특정 맥락의 특징이 보편적이지 않다는 것을 인식하는 것은 유용하다. 그 결과, [개인들이 자신의 지식에 따라 행동할지 여부나 혹은 어떻게 행동할지를 결정할 때], 실행 규범(또는 기본 가치)의 단일 세트single set가 운용되는 경우는 드물다.사회문화적 이론의 렌즈로 본다면, 규범norm의 이동성mobility과 불안정성instability은 반규범적 행동을 위한 생산적인 기회로 볼 수 있다(Engeström 1987; Fenwick et al. 2011). 개인이 보유한 지식을 바탕으로 행동할 수 있도록 하는 것은 대체 규범에 의존함으로써 역규범화 될 수 있는 상황에서 촉진될 수 있으며, 따라서 행동을 정당화한다.
It is useful for those wishing to increase the rate at which people act on their knowledge to recognize that the features of any given context are not universal. As a result, there is rarely a single set of practice norms (or underlying values) in operation when individuals are determining whether or how to act on their knowledge. Through the lens of sociocultural theory, mobility and instability in norms can be viewed as a productive opportunity for counter-normative action (Engeström 1987; Fenwick et al. 2011). Enabling individuals to act on the knowledge they possess in a context in which doing so would be counter-normative may be facilitated by drawing on alternative norms, thereby legitimating the behaviour.
예를 들어 긴즈버그 외 연구진(2014년)은 의사들이 왜 "잘못된" 행동을 취할 수 있는지를 합리화하는 경우(즉, 지식이나 신념이 일치하지 않는 행동), 그러한 행동이 다른 방식으로는 "올바른" 것(align)으로 이해했기 때문에 종종 그렇게 했다는 것을 발견했다. 다른 말로 하면, 모든 일련의 행동은 서로 상충하는 규범이나 가치관이 있을 경우, 어떤 규범과는 일치하는 동시에 다른 규범과는 불일치할 수 있다. 이와 같이, 왜 어떤 사람이 그들의 신념과 일치하지 않는 방식으로 행동하게 되는지를 이해하려면, 우리는 (하나의 사회적 맥락 또는 여러 사회 맥락으로부터 도출된) [행위자의 (지식과 다른) 행동과 부합하거나, 그 행동이 우선되는 다른 신념]을 가지고 있는지 여부를 고려할 필요가 있다.
For example, Ginsburg et al. (2014) found that when physicians rationalized why they might take actions they consider “wrong” (i.e., actions that are not knowledge or belief-aligned), they often did so because they understood those actions to be “right” in another way (aligned). In other words, any course of action might be simultaneously congruent and incongruent with different, competing norms and values. As such, to understand why one might act in a way that is inconsistent with their beliefs we need to consider whether or not the actor has other beliefs (drawn from within or across social contexts) that are consistent with the action and are given priority.
긴즈버그 외 연구진에서는, 환자와의 관계를 형성하거나 유지하는 것이 "맞다"고 믿었기 때문에, 그것이 "잘못됐다"는 것을 알면서도 과잉 처방을 시인한 의사들이 그렇게 하는 것을 분명히 했다. 그러므로 사회문화 이론에 따르면, 의사결정이 이루어질 때는 복잡한 현실 속에서 서로 다른 힘이 반대 방향으로 작용할 가능성을 염두에 두어야 한다. 즉, [지식이 작용하는 속도를 향상시키기 위한 개입]을 할 때는 [(지식이 아니라) 상황에 맞는] 행동을 하게 만드는 명백한 "실패"의 근본 원인을 고려해야만 한다.
In Ginsburg et al.’s study, physicians who admitted to over-prescribing despite knowing that it might be “wrong” articulated doing so because they also believed it was “right” to build or maintain their relationship with the patient. Thus, sociocultural theory helps one be mindful of the possibility that decision-making takes place in a complex reality in which different forces can act in opposing ways such that interventions to improve the rate at which knowledge is acted upon must take into account the root cause of any apparent “failure” to act in a context-appropriate manner.
의사 결정 과정에 대한 탐구가 인지과학의 영역이었기 때문에 사회문화적 맥락과 그 함의 사이의 그러한 교차점은 의학 교육에서 충분히 검토되지 않았다. 그러나 다음을 경험적으로 볼 필요가 있다.
학습자와 전문가가 어떻게 그러한 사회적 모순을 관리하는지,
모순에 대한 경각심을 높여 전문직 종사자들이 그들의 지식과 일치하도록 행동할 수 있는 정도
반-규범적 행동이 시간이 흐름에 따라 주어진 맥락에서 의사결정의 규범을 바꿀 수 있는 가능성.
Such intersections between sociocultural contexts and their implications have been under-examined in medical education, as exploration of decision-making processes has largely been the domain of cognitive science. However, there is a need to look empirically
at how learners and professionals manage such social contradictions,
at the extent to which raising awareness of such contradictions can enable professionals to act in alignment with their knowledge, and
at the possibility that counter-normative actions might shift decision-making norms in a given context over time.
[모순에 대한 이론]과 [규범의 변화 이론]은 특정 유형의 행동에 대한 어포던스(및 제약)가 만들어질 때 정체성과 가치가 어떻게 "활성화"되고 협상되는지를 프레이밍하는데 유용하다.교육학적으로 볼 때 학습자와 전문가가 의도적으로든 의도적이든 의도하지 않게든 어떻게 선택하는지, 어떤 지식을 실천할 것인지 검토할 필요가 있다.
While theories of contradiction and change in norms are useful to frame how identity and values are “activated” and negotiated to create affordances (and limitations) for particular kinds of action, from a pedagogical perspective there is a need to examine how learners and professionals select, intentionally or unintentionally, what knowledge to implement at any given moment in practice.
고찰
Discussion
분야로서 보건직 교육은 지식이 어떻게 생성되고, 기억되고, 어떻게 응용되는지를 이해하고자 하는 풍부한 역사를 가지고 있다. 그러나 HPE는 지식을 행동으로 옮기는 데 내재된 복잡성을 과소평가했을 수도 있다. 학습자와 전문직 종사자들이 자신이 무엇을 해야 하는지에 대한 명확한 감각을 가지고 있을 때 조차도 왜 종종 특정한 행동을 실행하는 데 어려움을 겪는지 이해하려면 다르게 생각할 필요가 있다.
As a field, health professions education has a rich history of seeking to understand how knowledge is generated, remembered, and applied. It may, however, have under-estimated the complexities inherent in converting knowledge into action. There is a need to think differently if we are to understand why learners and professionals alike often have difficulty executing certain actions, even when they have a clear sense of what they ought to do.
학습자는 반드시 가능한 진단(바이러스 또는 박테리아 감염)을 생성하는 데 필요한 지식을 가지고 있어야 한다. 그러나 그들은 또한 자신의 지식을 기꺼이 전달할communicate 수 있어야 하며, 상충하는 우선순위를 극복해야 하고, 잠재적으로 해로운 감정적 상호작용이나 사회적 파장을 피하려는 경향을 극복해야 한다. 즉, 전문직 종사자들이 [일상적으로 자신의 지식을 실행에 옮기는 것을 곤란해하는 순간]은 어려운 순간이며, 이 순간에는 수많은 자기 규제와 사회적 기술이 요구된다.
Learners must certainly have the knowledge required to generate a probable diagnosis (viral or bacterial infection). They must also, however, be willing and able to communicate their knowledge, and to overcome competing priorities and the tendency to avoid potentially detrimental emotional interactions or social repercussions. In other words, the moments where professionals routinely have trouble putting their knowledge into action are difficult ones, requiring a host of self-regulatory and social skills.
학습자와 전문직 종사자가 알고 있는 것을 실천할 수 있도록 지원하기 위해서는, 의사에게 whole task(지식을 행동과 일치시키는 데 필요한 광범위하고 복잡한 기술)에 대해 가르쳐 지식을 전수한 후에도,[지식의 습득이 당연히 행동에 반영될 것이라고 믿기보다는] 공통적으로 실행을 어려워하는 행동들을 더 많이 식별해야 한다.
To support learners and professionals in acting on what they know, we need to identify more actions that are commonly difficult to implement even after relevant knowledge has been gained and teach to the whole task—the broad and complex skills required for aligning knowledge with behavior—rather than trusting that knowledge gains will be reflected in action.
어떤 개입이 특정 신념에 대한 전문적인 행위를 돕는 데 가장 효과적일 수 있는지를 결정하는 것은 맥락에 대한 헌신적인 탐구를 필요로 할 가능성이 높다; 여기에서 제공된 프레임워크는 그러한 탐구를 지원하기 위해 만들어졌다.
determining which interventions might be most effective in helping a professional act on a particular belief is likely to require dedicated exploration of the context; the framework provided here has been created to support such explorations.
결론
Conclusions
다양한 문헌에 대한 신중한 탐구를 통해 우리는 지식과 행동의 괴리에 대한 다양한 관점을 밝혀냈다. 이러한 관점은 결코 상호 배타적이지 않다. 전문가의 행동은 동기부여, 자율규제, 또는 사회문화적 맥락의 렌즈로만 설명될 것 같지 않다. 대신 이런 요소들과 렌즈는 밀접하게 얽혀 있다. 예를 들어, 주어진 공동체 내에서 정당화되지 않은 관행에 관여하는 결정은 감정적인 영향을 미칠 가능성이 높다. 마찬가지로, 동기 부여는 예상되는 감정 상태에 의해 영향을 받을 가능성이 높다. 전문가가 행동 과정에서 오는 만족을 예상한다면 동기 부여는 더 강해질 가능성이 높다. 만약 부정적인 감정을 예상한다면 동기 부여는 경쟁 우선순위에 직면하여 더 낮아지고 덜 견딜 가능성이 있다.
Through deliberate exploration of a variety of literatures we have uncovered varied perspectives on the gap between knowledge and action. These perspectives are by no means mutually exclusive. Professionals’ behavior is unlikely to be explained solely through the lenses of motivation, self-regulation, or sociocultural context. Instead, these factors and lenses are intimately intertwined. For example, decisions to engage in practices that are not legitimated within a given community are likely to have emotional repercussions. Similarly, motivation is likely to be affected by anticipated emotional states—if a professional anticipates satisfaction resulting from a course of action, motivation is likely to be stronger; if he or she anticipates negative emotion, motivation is likely to be lower and less likely to endure in the face of competing priorities.
이러한 렌즈를 (개별적으로 또는 결합하여) 활용함으로써, 프로페셔널이 알고 있는 것을 어떻게 그리고 왜 그들이 하는 것과 연결시키는지(또는 그들의 지식에 따라 행동하지 않는지)에 대한 통찰력을 제공할 수 있다. 연구자들과 교육자들은 어떤 상황에서 그리고 어떤 교육적인 문제에서 하나의 렌즈가 더 유용하다는 것을 발견할 수 있다. 그러나 지식 구현을 이해하는 다양한 방법을 고려하여 연구 및 교육용 렌즈를 지속적으로 조정할 필요가 있을 것으로 보인다. 이 문제는 너무 복잡해서 단 하나의 정갈한 이론으로 해결될 수 없을 것 같지만, 다양한 관련 이슈를 분리하기 위해 이곳에서 행해진 노력은 교육자, 연구자 및 전문가들이 지식과 행동의 격차에 영향을 미치는 요소들을 의미 있는 전체 맥락으로 재조립하는 것을 돕기 위한 출발점을 제공한다.
Engaging these lenses, either in combination or individually, can offer insight into how and why professionals link what they know to what they do (or fail to act on their knowledge). Researchers and educators may find a single lens more useful in some circumstances and for some educational problems. However, there is likely to be a need to continually adjust research and educational lenses to account for multiple ways of understanding knowledge implementation. The problem is likely too complex to ever be resolved into a single tidy theory, but the effort made here to tease apart a variety of relevant issues offers a start towards helping educators, researchers, and professionals reassemble the factors affecting the gap between knowledge and action into a meaningful whole in context.
Review
.2020 Mar;25(1):227-240.
doi: 10.1007/s10459-019-09886-5.Epub 2019 Mar 23.
The disconnect between knowing and doing in health professions education and practice
Safe and effective healthcare requires that new knowledge or skills, once learned, are incorporated into professional practice. However, this process is not always straightforward. Learning takes place in complex contexts, requiring practitioners to overcome various motivational, systemic, emotional, and social barriers to the application of knowledge. This paper explores the mechanisms through which individuals translate knowledge into action to provide insight into why disconnects between knowledge and action can arise. As a critical review, the aim was to draw on key literature from multiple fields to analyse and synthesize existing schools of thought and lay a strong conceptual foundation on which knowledge to action gaps might be considered. We iteratively consulted clinicians and experts in various fields to guide literature searches focused on theoretical perspectives that could inform educational and research efforts around knowledge-to-action gaps. Key theoretical perspectives on motivation address when and how individuals decide to take action. Literatures from cognitive science address how clinicians and learners self-regulate to (sometimes) overcome barriers to action. Sociocultural theories examine the ways in which action might be prevented by social norms that conflict with what the individual knows and believes, potentially also giving rise to counter-normative action. No single perspective will entirely explain how health professionals and learners implement knowledge in practice. As a result, the authors offer multiple lenses through which to view the problem, and then propose how each of these lenses might better guide educational and research efforts to untangle this challenging but important issue.
Thinking Sociomaterially: Why Matter Matters in Medical Education
Anna MacLeod, PhD, and Rola Ajjawi, PhD
의사들을 교육하는 것은 복잡하고 난해한 도전이다. 우리의 일은 일련의 사람들과 사물들에 의존하고 있으며, 우리의 분야는 도구, 기술, 아이디어, 전문지식, 가이드라인으로 가득 차 있다.
우리들 중 일부는 건강 전문가들이다. 하지만 우리는 모두 같은 유형의 건강 전문가는 아니다.
우리들 중 일부는 과학자들이다. 하지만 우리는 모두 같은 유형의 과학자는 아니다.
우리는 모두 선생님이다. 하지만 우리는 모두 다른 관점으로 교육에 접근한다.
Educating doctors is an intricate and convoluted challenge. Our work relies on an array of people and things, and our field is replete with tools, technologies, ideas, expertise, and guidelines.
Some of us are health professionals—but we are not all the same type of health professional.
Some of us are scientists—but we are not all the same type of scientist.
We are all teachers— but we all approach education from different perspectives.
우리는 교실과 클리닉, 스위트룸과 커뮤니티 센터, 시골 가정의학과 사무실, 도시 교육 병원에서 일을 한다. 우리는 심지어 때때로 우리의 직감까지도 눈과 귀를 사용한다; 하지만 우리는 또한 핸드폰, 노트북, 그리고 교과서를 사용한다. 우리들 중 일부는 레이저와 백만 달러짜리 고도로 공학적, 촉감이 가능한 시뮬레이터를 사용하기도 한다. 사람이 의학 교육의 중심인 것은 분명하지만, 우리의 일은 순전히 인간의 노력 그 이상이다. 가장 간단히 말하면, 우리는 의학 교육을 의사들을 교육하는 과정으로 묘사할 수 있지만, 우리는 의학 교육이 무언가를 성취하려면, 사실, 인간과 비인간들의 네트워크를 필요로 한다는 것을 알고 있다. 우리가 성취한 것 중 일부는 의도된 것이지만, 우리가 성취한 것 중 일부는 의도된 것이 아니다(예: 원하는 레지던시 프로그램에 맞지 않는 졸업생의 수가 증가하는 것). 의학 교육에 관여하는 인간과 비인간들의 다양성을 인정하는 방식으로 우리의 학문적 연구를 어떻게 수행하고 있는가? 우리는 사회 물질적 접근법이 발전하는 길이라고 믿는다.
We do our work in classrooms and
clinics, operating suites and community centers, rural family doctor’s offices, and urban teaching hospitals. We use our eyes and ears,
even sometimes our intuition; but we also use cellphones, notebooks, cadavers,
stethoscopes, laptops, and textbooks. Some of us even use lasers and million-dollar
highly engineered, haptic-enabled simulators. While people are certainly the
central focus of medical education, our work is more than purely a human
endeavor. In its simplest form, we may describe medical education as the
process of educating physicians; however, we recognize that it requires, in
fact, a network of humans and nonhumans coming together to accomplish things.
Some of the things we accomplish are intended (e.g., candidates successfully
passing licensing exams), but some of the things we accomplish are not intended (e.g.,
increasing numbers of graduates not matching to their desired residency
program). How do we conduct our scholarly work in a manner that acknowledges
the diversity of humans and nonhumans involved in medical education? We believe
that sociomaterial approaches are a way forward.
소시오머티리얼 (Paradigm)
The Sociomaterial (Paradigm)
사회 물질성은 "[물질과 사회적 실천] 사이의 [복잡하고 지저분하고 비선형적인 관계]를 더 깊이 탐구할 수 있도록, 인간을 연구의 초점으로 두는 것에서 벗어나는decentering 것에 공통의 관심을 공유하는" 일련의 연구 접근방식의 총칭이다.2 따라서 사회 물질 접근방식으로 운영되는 연구자들은 물질성의 중요성(즉, 비인간적인 것)을 전면에 두며, 의학 교육 내에서 사람과 사물의 관계를 탐구한다.
Sociomateriality is an umbrella term for a set of research approaches that “share a common interest in decentering the human as the focus of study to allow for a deeper exploration of the complex, messy and non-linear relationships between materials and social practices.”2 Researchers operating from a sociomaterial approach therefore foreground the importance of materiality (in other words, nonhuman things) and explore the relations between people and things within medical education.
사회 물질성은 전통적인 의미에서는 패러다임이 아니다. 1994년 구바와 링컨3에 의해 확인된 것과 다르다. 그러나, 구바와 링컨에 의하면 패러다임의 정의는 "그것을 가진 사람에게, ['세계'의 본질, '세계' 안에서의 개인의 위치, 그 세계와 그 부분과의 가능한 관계의 범위]를 규정하는 세계에 대한 관점"이다.3 사회 물질성이 진화하면서, 덴진이나 링컨은 "새로운 지평으로서 떠오르는 새로운 패러다임"으로 물질주의를 배치했다. 물질주의는 해석주의적 전통에 대체로 부합한다고 보았다.
Sociomateriality is not a paradigm in the traditional sense—it is not like those identified by Guba and Lincoln3 in 1994. However, staying with Guba and Lincoln,3 the definition of paradigm is a “worldview that defines, for its holder, the nature of the ‘world,’ the individual’s place in it, and the range of possible relationships to that world and its parts.”3 As sociomateriality evolved, Denzin and Lincoln positioned such new materialisms as “a new paradigm … on the horizon,”4(p8) one that broadly fits within the interpretive tradition.
의학교육에 관한 사회 물질적 연구는 다음과 같은 것들을 포함하며 늘어났다.
(1) 분산된 의학교육의 비교가능성에 대해 당연하게 여겨진 가정을 비판하는 연구
(2) 객관적 구조화 임상시험 관행의 네트워크 내에서 노드 전반에 걸쳐 점검표와 그 변환(및 파열)을 추적하는 연구
Sociomaterial research in medical education has increased to include studies that
(1) critique the taken-for-granted assumptions of comparability of distributed medical education5,6 or
(2) trace the checklist and its translations (and ruptures) across nodes within the network of objective structured clinical examination practices.7
어떤 이들은 임상 작업장에서 전문가들 간의 조립을 탐구했다.8-10 따라서, 우리는 사회 물질성을 뒷받침하는 기본적 신념을 좀 더 드러낼unpacking 가치가 있다고 믿고 있으며, 다음 절에서 그렇게 한다. 사회 물질과 관련된 용어 및 정의 목록은 표 1을 참조하고, 주제에 대한 권장 리소스 목록은 상자 1을 참조하십시오.
Others have explored
interprofessional assemblages within the clinical workplace.8–10 We believe the basic
beliefs underpinning sociomateriality are therefore worth unpacking, and we do
so in the following sections. For a list of terms and definitions related to
sociomateriality, see Table 1; for a list of recommended resources on the
topic, see Box 1.
Table 1 Key Terms Related to the Research Paradigm of Sociomateriality
대리점.
Agency
네트워크를 통해 사람과 사물에 분산되는, 행동하거나 힘을 발휘할 수 있는 능력
The ability to act and/or exert power, which is distributed across networks to people and things
조립체
Assemblage
자연, 기술, 인간 및 비인간적 행위자의 이종(異種) 및 지속적인 진화
Heterogeneous—and constantly evolving—gatherings of natural, technological, human, and nonhuman actors
출현.
Emergence
사물, 심지어 개인까지도, 끊임없이 진화하는 행위자 모임 사이의 일련의 협상을 통해 미리 형성된 물질이 아니라 표면화된 물질이다.
Objects, and even individuals, are not preformed substances but rather surface through a series of negotiations between an ever-evolving assemblage of actors
연습
Practice
일상 속 말, 행동, 그리고 사람들이 일상 생활에서 하는 것을 구성하는 사물과의 관계
Everyday sayings, doings, and relations with objects that make up what people do in their everyday lives
대칭.
Symmetry
인간과 인간이 아닌 행위자는 우리의 분석에서 동등하게 고려되어야 한다는 생각
The idea that human and nonhuman actors should be equally considered in our analyses
온톨로지: 현실의 본질
Ontology: The nature of reality
사회물질성을 뒷받침하는 존재론적 원칙이나 현실의 본질에 대한 아이디어는 무엇인가? 사회물질주의자는 세계(사람, 사물, 관행)가 인간과 비인간적인 요소의 조립이나 이질적인 얽힘으로 구성된다고 믿는다. 따라서, 조립은 분석의 중심 단위다. 우리는 사회적 물질적 접근방식의 존재론적 토대와 관련하여 고려해야 할 3가지 원칙을 강조한다: 출현, 대리점 및 대칭성.
What are the ontological principles, or ideas about the
nature of reality, underpinning sociomateriality? Sociomaterialists believe the
world—
people, things, practices—is constituted through
assemblages or heterogeneous entanglements of human and nonhuman elements.
Hence, the assemblage is a central unit of analysis. We highlight 3 principles
to consider with respect to the ontological foundations of sociomaterial
approaches: emergence, agency, and symmetry.
출현
Emergence.
사회 물질학자들은 사물, 사람, 실천 등의 모든 것은 구별되고 미리 형성된 실체가 아니며, 자연, 기술, 인간, 비인간적인 행위자들의 모임gathering을 통해 [출현]하는 것으로 간주한다.11 핵심 생각은 사회와 물질은 깊이 얽혀 있고, 심지어 분리할 수 없으며, 함께 작용하여 일상적 세계을 만든다는 것이다.
Sociomaterialists consider all things—objects, people, and practices— not as distinct, preformed entities, but rather as emergent through gatherings of natural, technological, human, and nonhuman actors.11 The idea here is that the social and material are deeply entangled, even inseparable, and work together to produce the everyday world.12
다르게 말하면, 즉 인간, 비인간, 하이브리드 등 모든 것이 존재로서 수행되며performed into existence, 사람과 사물 사이의 활동과 연결의 결과로 [출현]한다. 의학 교육의 맥락에서 이것은 가르치고 배우는 것을 뚜렷하고 개별화된 인간의 행동이나 인식의 행위로서 개념화하기보다는 연구 중인 실천, 활동, 행동 또는 현상을 가져온 인간과 비인간 관계의 얽히고설킨 얽힘을 푸는 데 초점을 맞춘다는 것을 의미한다.
In other words,
all things—human, nonhuman, or hybrid—are performed
into existence, emerging as the result of activity and connections between
people and things. In the context of medical education, this means that, rather
than conceptualizing teaching and learning as distinct, individualized, human
actions or as acts of cognition, we focus instead on unraveling the tangle of
human and nonhuman relations that brought about the practice, activity, action,
or phenomenon under study.
대리인
Agency.
대리인, 즉 행동이나/또는 힘을 발휘할 수 있는 능력은 인간에게만 국한되지 않고 "세계의 계속적인 재구성"의 속성으로 개념화된다.11(p818) 이러한 관점에서 agency는 사람과 사물의 네트워크에 분산되어 있으며, 관계적인 것이다. 사물은 인간의 활동이 이루어지는 배경이 아니라, 사물은 그 자체로 생산적인 것으로 간주된다. 사물은 허용, 배제, 고무, 좌절, 허가, 영향, 방해 등등 수많은 것을 할 수 있다.
Agency, or the ability to act and/or exert power, is conceptualized as something that is not limited only to humans but is an attribute of “the ongoing reconfigurings of the world.”11(p818) From this perspective, agency is seen as distributed across networks of people and things and as relational.13 Rather than being considered the backdrop against which human activity takes place, things are considered productive—they can permit, preclude, inspire, discourage, authorize, influence, hinder, and much more.1
이것은 웃기려고 하는 말이 아니다. 명백히, 전자 건강 기록(EHR)이라고 하는 물체는 스스로 작용하지 않고, 살아나고, 인간의 생산성에 의도적으로 간섭한다. 그러나 많은 의료 전문가들은 환자 회의에 참여하기 위해 HER의 정보에 접근할 필요가 있는 경험을 가지고 있다. EHR의 인터페이스로 실험실 보고서나 간호조무서에 접근하기 어려울 경우, 회의 참여에 영향을 미친다. EHR은 인간에 의해 사용되고 통제되는 중립적인 요소가 아니며, 그 자체로 agentic하다.
This is not intended to sound ridiculous.
Surely, an object—say an electronic health record (EHR)—does not act on its own, springing to life and willfully interfering
with human productivity. However, many health professionals have had the
experience of needing to access information in the EHR to participate in a
patient meeting. If the EHR’s interface makes it
difficult to access lab reports or nursing notes, participation in the meeting
is influenced. The EHR is not a neutral element to be used and controlled by
humans. It is agentic.
대칭성
Symmetry.
출현과 비인간적 물질의 agency에 대한 사회 물질적 관점에서 보자면, 경험적 작업에서 비인간은 인간과 똑같이 생산적이고 중대한productive and consequential 것으로 간주할 수 있다. 인간과 비인간 모두에게 동등한 관심을 기울이면 연구 중인 연습이나 시나리오의 복잡성에 대한 자세한 설명이 가능하다. 사회물질성에서 사람과 사물의 균등성을 대칭이라고 부른다. 그러나, 대칭성이 사회물질접근법에서 동일성identicalness을 의미하지는 않는다는 것을 명확히 하는 것이 중요하다.14 우리는 비인간들이 힘을 발휘하고 대리인을 가지고 있다는 것을 인식하지만, 비인간 agency는 인간 agency와 동일하게 정밀한 방식으로 작동하지는 않는다. 즉, 사회 물질주의자들은 기관agency과 의도intent를 동일시하지 않는다. 따라서, 사회 물질적 연구는 일반적으로 [의도된 것]보다 [일어난 것]에 초점을 맞춘다.
Given sociomaterial perspectives on emergence and
nonhuman agency, it follows that we consider nonhumans equally as productive
and consequential as humans in our empirical work. Paying equivalent attention
to both humans and nonhumans allows for detailed descriptions of the complexity
of the practice or scenario under study. We refer to this equivalence between
people and things as symmetry. It is important to clarify, however, that
symmetry does not mean identicalness in sociomaterial approaches.14 While we
recognize that nonhumans exert force and have agency, this agency does not
operate in the same precise ways in which human agency does. In other words,
sociomaterialists do not equate agency with intent. Hence, sociomaterial
research typically focuses on what happens rather than what is intended.
인식론: 지식의 본질
Epistemology: The nature of knowledge
인식론(Epistemology)은 지식인knower과 알려진 것known 사이의 관계를 가리킨다. 그러나, 사회 물질성은 그 성격상 인식론과 존재론을 분리하지 않는 경향이 있다. 이러한 관점에서는, 주로 agency는 인간만의 특권이 아니기 때문에, knower와 known의 구분은 없다.4 온톨로지(Ontology)와 인식론(epistemology)은 "목표, 사건, 정체성 및 지식은 사회적, 물질적 관계를 통해 존재로 이행되는 것으로 이해되기" 때문에, 서로 얽혀 있다. 15 그 결과, "물질과 담론은 복잡하고 변화되는 배열arrangeement로 공동-연루co-implicate되어있고, 이로부터 세계가 출현한다."16
Epistemology refers to the relationship between the knower and the known; however, sociomateriality by its nature tends not to separate epistemology and ontology. Within these perspectives, there is no separation between the knower and the known, primarily because agency is not the prerogative of humans alone.4 Ontology and epistemology are intimately entwined, as “objects, events, identities and knowledge are understood to be performed into being through these social and material relations.”15 As a result, “matter and discourse are co-implicated in complex and shifting arrangements from which the world emerges.”16
이렇게 존재론과 인식론을 구분하지 않는 경향이 있지만, 출현, 대리, 대칭이라는 아이디어는 우리가 사회적 물질적 연구를 통해서 어떻게 지식을 쌓는가를 형성한다. 사회 물질학자로서 우리의 작업은 인간과 비인간적인 요소들이 연구 중인 시나리오를 제자리에 고정시키기 위해 모이는 방법을 탐구하는 것을 포함한다. 개별적인 사람이나 사물에 집중하기보다는 (덧없는(한 순간의 시간)이든 안정된(장기적인 실천)이든 간에) [사람과 사물의 관계와 이러한 관계를 통해 이루어지고 있는 것]을 추적한다.17,18
Despite this lack of separation, ideas about emergence, agency, and symmetry shape how we build knowledge in sociomaterial research practices. Our work as sociomaterialists involves exploring the ways in which human and nonhuman elements are assembling to hold in place the scenario under study. Rather than focusing on individual people or things, we trace the relationships between people and things and what is being accomplished through these relations—whether fleeting (a moment in time) or stable (a long-term practice).17,18
이러한 존재-인식론적 관점은 사회 물질 연구에서 연구자의 위치positioning에 영향을 미친다. 좀 더 인간 중심적인 지향을 갖는 경우, 연구자의 업무는 [데이터가 구성된다는 것을 인정]하면서, 일련의 사회적 관행을 문서화하는 것이다. 즉 사회적 실천은 연구자와 참여자에 의해 구성된다(인간-인간 구성). 확실히, 연구자의 존재는 그러한 관행에 영향을 미치지만, 그것들은 연구자와는 분리된 것으로 개념화된다.
This onto-epistemological perspective influences the positioning of the researcher in sociomaterial studies. In more human-focused orientations, the work of the researcher is to document a set of social practices acknowledging that the data are constructed; that is, the social practices are constructed by the researcher and the participants (a human–human construction). Certainly, the presence of a researcher influences those practices,19 but they are largely conceptualized as separate from the researcher.
이와는 대조적으로, 사회 물질 인식론들은 연구자의 역할을 사람과 사물의 비정적nonstatic 결합을 문서화하는 것(텍스트든, 사진이든 다른 형식이든)으로 간주한다.
In contrast, sociomaterial epistemologies position the
researcher’s role as documenting—whether in text,
photograph, or some other form—a nonstatic assemblage
of people and things.
여기서 중요한 차이점은 연구자(및 기록 장비, 노트, 메모 등)가 연구 중인 조립품assemblage의 구성적이고 생산적인 요소로 간주된다는 것이다. 즉, 연구자는 조립체assemblage 내의 행위자actant이자 노드로서, 연구대상이 되는 조립체는 연구자와 독립적으로 존재하지 않는다. 관찰자로서 우리는 객관성을 추구하지 않으며, 관찰 대상으로부터의 거리를 없는 것 취급하지 않는다. 대신 연구자와 연구 대상 사이에 어떤 거리가 필요한지, 그리고 어떤 목적의 거리가 필요한지 묻는다. 데이터를 수집하는 행위는 관찰되고 있는 세계와의 동적인 관계를 갖는다. 연구자의 시선은 "이미 존재해있는 사회 권력의 관행에 위치하고 있다"고 한다. 현상 내에서 연구자의 이러한 존재-인식론적 위치는 [연구자의 행동이 연구 중인 현상을 생산 및 재생산하기 위해 지속적으로 작용하고 있음]을 의미한다.21
A key difference here is that the researcher (and the
recording equipment, notes, memos, etc.) is considered a constitutive and
productive element of the assemblage under study. In other words, the
researcher is an actant/node within the assemblage, and therefore, the
assemblage we are studying does not exist independent of the researcher. As
observers we do not seek objectivity or erase distance from the observed.
Instead we ask, what kind of distance is needed between the researcher and the
object of research, and to what end? The act of collecting data involves
dynamic engagement with the world being observed. The research gaze is “situated in already existing practices of social power.”20(p528) This onto-epistemological positioning of the researcher
within the phenomenon means that the researcher’s
actions are continuously working to produce—and
reproduce—the phenomenon under study.21
공리학: 가치가 연구과정에 어떻게 영향을 미치는가
Axiology: How values influence the research
process
공리학은 특정 패러다임과 관련된 가치와 판단을 말한다. 출현, 대리, 대칭이라는 사회 물질적 존재-인식론적 원리를 고려할 때 중요한 공리학적 고려는 인간의 관심사, 나아가 인간성humanity 그 자체까지도 대칭성에 대한 관심에 의해 가려질 수 있는 위험이 있다는 점이다. 우리는 이러한 위험을 인정하면서도, 그러한 가능성을 "대칭적 불합리"라고 묘사한 맥클린과 하사드, 22세의 의견에 동의한다. 의학 교육의 맥락에서 사회 물질적 연구의 요점은, 연구에서 인간의 의미, 주관성, 욕망 및 가치를 흐릿하게 만드는 하는 것이 아니라, 자연, 기술, 그리고 인류에게 스며들고 스며드는 모든 종류의 사물들의 중요한 영향을 인식하는 것이다.
Axiology refers to the values and their related judgments associated with a particular paradigm. Given the sociomaterial onto-epistemological principles of emergence, agency, and symmetry, an important axiological consideration is the risk that human concerns, and even humanity, may be obscured in the interest of symmetry. While we acknowledge this risk, we concur with McLean and Hassard,22 who described such a possibility as “symmetrical absurdity.” The point of sociomaterial studies in the context of medical education is not to obscure human meaning, subjectivities, desires, and values from our analyses; instead, we recognize the important influences of nature, technology, and all manner of things that infuse and imbue humanity.
또 다른 우려는 사회적 물질적 접근방식의 [위치적situated 및 발생적emergent 특성]과 관련이 있다. 의학 교육은 전통적으로 [교육의 인간적 측면]에 초점을 맞추었지만, [물질-인간의 집합체]의 생산적인 역할을 예견함으로써 배울 것이 많다. 사회 물질 연구의 가치는 의학 교육의 일상 세계의 복잡성에 대해 구매하기 위해 흔히 배제되는 것에 초점을 맞추는 것이다.
Another concern is related to the situated and emergent properties of sociomaterial approaches. While medical education has traditionally focused on the human side of education, there is much to be learned by foregrounding the productive role of material–human collectives. The value of sociomaterial research is in focusing on what is commonly excluded to gain purchase on complexity of the everyday world of medical education.
인간-비인간 관계를 풍부하게 이해하기 위해서는 물질성의 적극적인 역할을 인정하고 이론화해야 한다. 의학 교육은 기본적으로 사람에 관한 것이다. 즉, 학습자가 의학을 전공할 수 있도록 준비하거나, 그들의 교육적 실천을 위해 교사medical teacher를 준비하는 것이다. 우리가 의학 교육을 [예측 불가능하고 심지어 통제할 수 없는 방식으로 지속적으로 조립(그리고 분해)하고 있는 사람과 사물의 집합체]로서 개념화하면, 관점은 변화한다. 의학교육에 관련된 사람들은 더 이상 그들의 환경에서 무수한 자료들을 완전히 통제하고 있다고 여겨지지 않는다. 그러한 관점은 이러한 [다양하게 분포된 인간과 비인간적인 물질들]이 어떻게 힘을 [발생시키거나, 통합하거나, 저항하는지]를 이해할 수 있게 해준다. Agency를 [인간 및 비인간 조립체의 거미줄을 통해 생산되는] 관계적 및 분산적 agency로 이해할 때 아마도 의학교육에 대한 보다 현실적이고 책임감 있고 반응성이 높은 접근법이 가능할 것이다.
To richly understand the human– nonhuman relationships,
we must acknowledge and theorize the active role of materiality. Medical
education is fundamentally about people: preparing learners for work in
medicine or preparing medical teachers for their teaching practices. When we
conceptualize medical education as an assemblage of people and things that are
continually assembling (and disassembling) in ways that are unpredictable and
even uncontrollable, perspectives shift. The people involved in medical
education are no longer assumed to be masterful and fully in control of the
innumerable materials in their environments. Such a perspective allows us to
understand how these variously distributed human and nonhuman materials
collectively generate, consolidate, or resist power. When agency is understood
to be relational and distributed—produced through webs
of human and nonhuman assemblages— perhaps a more
realistic, responsible, and responsive approach to medical education is
possible.
방법론: 연구 수행 방법
Methodology: How research is conducted
어떻게 사회 물질학자들이 의학 교육을 탐구하는 데 있어서 이러한 존재론적, 인식론적, 공리학적 원리를 실제로 활성화할 수 있을까? 우리가 관여하기 위해 선택하는 연구 도구는 무엇인가?
How do sociomaterialists actually activate these ontological, epistemological, and axiological principles when it comes to exploring medical education? What are the research tools we choose to engage?
전통적으로 의료 교육 연구 내에서 사용되는 많은 방법들이 "인간 중심"이었다(예: 인터뷰, 조사). 반면, 사회 물질 조사는 대칭적인 장소에서 시작된다. 그것은 우리가 연구 분야, 즉 주제를 사람과 사물 사이의 협상과 관계의 진화의 산물로 끊임없이 떠오르고 있는 사회적 물질적 집합체로 인식하고 있다는 것을 의미한다.
Traditionally, many methods used within medical education research have been “human centric” (e.g., interviews, surveys). Sociomaterial investigations, in contrast, begin from a place of symmetry. That means we recognize the field, or topic, of study as a social and material assemblage that is constantly emerging as the product of evolving negotiations and relationships between people and things.
사회 물질적 조사는 일반적으로 물질적 요소가 [의도된 것이든 아니든] 우리가 관심을 갖고 탐구할 가치가 있는 일을 하고 있다는 사실에 주목함으로써 시작된다. 이 물질적인 요소는 학생들을 웃게 하는 시뮬레이션 마네킹, 상세한 노트 필기를 방지하는 바쁜 파워포인트 슬라이드, 적절한 쓰레기 처리를 방해하는 클리닉의 넘쳐나는 쓰레기통, 또는 그 밖의 많은 것들이 될 수 있다. 요소가 무엇이든, 일단 파악되면, 우리의 일은 우리가 연구하고 있는 상황을 만들어 내고 있는 다양한 사회적 물질적 요소들을 드러낼unravel 방법을 찾는 것이다. 그리고, 이것이 비교적 간단해 보이지만, 실제로는 다양한 데이터 포인트의 수집과 분석을 수반하는 상당히 복잡한 과정이 될 수 있다.
A sociomaterial investigation begins generally by taking note of the fact that a material element is doing something— intended or not—that is worthy of our attention and inquiry. This material element could be anything: a simulation mannequin that makes students laugh, a busy PowerPoint slide that prevents detailed note taking, an overflowing garbage bin in a clinic that discourages proper disposal of waste, or any number of others. Whatever the element(s), once identified, our job is to find a way to unravel the various social and material elements that are producing the situation we are studying. And, while this sounds relatively straightforward, in practice, it can be quite a messy process, involving the collection and analysis of a variety of data points.
사회 물질적 방법은 종종 민족지학의 방법과 유사하며, 문서와 유물/물체 분석, 관찰 수행 및 인터뷰의 모든 조합을 포함할 수 있다. 일반적으로 말해서, 사회 물질적 관점에서 활동하는 연구자들은 자연 환경에서의 현상을 주목하면서 현장에서 상당한 시간을 보낸다. 우리의 일은 의료 교육의 일상적 세계를 생산하기 위해 함께 오고 갈라지는 협상, 타협, 적응을 추적하여 문서화하는 것이다. 예를 들어, 우리는 특정 정책 문서나 지침이 어떻게 집행enact되는지를 이해할 수 있다. 또는 실제 환자를 대할 때 환자 치료 가이드라인의 이상적인 설명을 다루거나 작업하기 위해 관계 네트워크를 통해 사람과 사물이 어떻게 결합되는지를 이해하기 위해 관찰할 수 있다.
Sociomaterial methods often mirror those of ethnography23 and can include any combination of analyzing documents and artifacts/objects, conducting observations, and interviewing. Generally speaking, researchers operating from a sociomaterial perspective spend a significant amount of time in the field, taking note of phenomena in natural settings. Our work is to follow—and document—the negotiations, compromises, and adaptations that come together, and come apart, to produce the everyday world of medical education. For example, we might seek to understand how particular policy documents or guidelines are enacted. Or, we might observe to understand how people and things come together through networks of relations to work around or tinker with the idealized descriptions of patient treatment guidelines when facing an actual patient.
우리의 조사의 초점이 무엇이든 간에, 우리는 인간의 동기나 의도를 분별하려고 시도하기보다는 실제로 어떤 일이 일어나는지 이해하기 위해 다양한 도구를 사용한다. 이것을 성취하기 위한 방법의 선택은 반복적이고 비상하다.
Whatever the focus of our inquiry, we use a variety of
tools to understand what actually happens rather than attempting to discern human motives
or intent. The choice of methods to accomplish this is iterative and emergent.
이씨의 사례
The Case of Lee: A Sociomaterial Take
실제로 사회 물질은 어떤 모습일까? Lee (Box 2)의 사례와 나르칸의 잘못된 복용량은 우리가 어떻게 출현, 대리, 대칭의 사회 물질적 사상을 작용에 투입할 수 있는지를 보여주는 실제적인 예를 제공한다.
What does sociomateriality look like in practice? The case of Lee (Box 2) and the incorrect dosage of Narcan provides a practical example of how we might put sociomaterial ideas of emergence, agency, and symmetry to work.
실수를 범하는 개인 거주자로서 이씨에게 초점을 맞추기보다는, 사회 물질학자들은 시나리오를 [human and nonhuman actor들의 집합을 통한 창발]로서 개념화하는 것으로 시작한다. 조립품에는 물론 이씨가 포함되지만, 예를 들어 의학 지식(정상적인 활력징후, 일반 경로), 나르칸의 바이알(일반적인 0.4mg이 아닌 [2mg의 바이알]에서 나르칸의 보통 양에서 벗어난 것), 그 모양과 크기, 라벨, 글씨체), 휘에 있는 방 등 수많은 다른 기여 요소들도 포함된다.ch 시나리오는 (그리고 가구, 전기, 조명 등을 포함한 실내의 모든 요소들), 주사를 투여하는데 사용되는 도구들, 환자의 몸, 이씨가 일하고 있는 넓은 맥락(거주량, 자기 의심의 감정, 서두를 필요성 등) 그리고 수많은 다른 요소들이 일어난다. 사회물질에 의해 정통한 연구자는 대칭성의 위치에서 리의 시나리오를 바라보면서 기술된 시나리오를 가져오는 데 있어 재료의 생산적인 역할을 탐구한다. 이로서, 우리가 개개인이나 비난의 장소(즉, 리가 나쁜 짓을 했다)를 넘어 복잡성의 장소(즉, 시나리오에 기여하는 다양한 요소)로 나아갈 수 있다는 점이 금방 명백해진다.
Rather than focusing on Lee as an individual resident who makes an error, sociomaterialists begin by conceptualizing the scenario as emergent through an assemblage of human and nonhuman actors. The assemblage, of course, includes Lee, but also an innumerable number of other contributing factors, including, for example: medical knowledge (normal vital signs, general paths), the vial of Narcan (an out of the ordinary amount of Narcan in the vial [2 mg rather than the typical 0.4mg], its shape and size, the label, the font), the room in which the scenario takes place (and all of the elements in the room, including furnishings, electricity, lighting, etc.), the tools used to administer the injection, the patient’s body, the broad context in which Lee is working (demands of residency, feelings of self-doubt, a need to rush, etc.), and countless others. A researcher informed by sociomateriality looks at Lee’s scenario from a position of symmetry, exploring the productive role of materials in bringing about the scenario described. What becomes quickly apparent is we are able to move beyond a place of individualization or blame (i.e., Lee did something bad) to a place of complexity (i.e., a variety of factors contributed to the scenario).
위에서 설명한 것처럼, 사회 물질적 연구는 종종 어떤 일을 하거나 유발하는 것처럼 보이는 물질에 주목하는 것으로 시작한다. 이 경우 대리점 재료가 많지만, 이 예제의 목적을 위해 나르칸 자체의 바이알이라는 한 가지 구체적인 요소에 초점을 맞추겠다. 리가 나르칸의 바이알의 라벨을 잘못 읽었거나, 어쩌면 간과한 것 같다.왜일까? 방이 어두웠니? 인쇄물이 작았니? 방해물이 있었나? 리는 시간에 쫓기는 기분이었을까? 방이 불편하셨나요?
As described above, sociomaterial studies often begin by taking note of a material that seems to be doing or causing something. In this case, there are many agentic materials, but for the purposes of this example, we will focus on one specific element: the vial of Narcan itself. Lee seems to have misread, or perhaps overlooked the label on the vial of Narcan. Why? Was the room dark? Was the print small? Was there a distraction? Was Lee feeling pressed for time? Was the room uncomfortable?
나르칸 바이알의 중요성은 시나리오를 어떻게 이끌어내고 있는가? 더 많은 것을 배우기 위해, 우리는 문서를 수집할 수 있다: 아마도 이씨가 제출한 것과 같은 사건 보고서들, 그러나 다른 보고서들 또한 매뉴얼을 처방하는 것을 포함하여, 또는 아마도 이씨의 교육 단계에서 처방하는 것에 대한 적절한 기대와 관련된 학습 목표를 포함한 관련이 있을 것이다. 우리는 오류가 발생한 방을 방문하여, 그것을 묘사하기 위해 현장 메모를 하고, 어쩌면 사진을 찍을 수도 있다. 우리는 일상적인 압박이 어떻게 행동에 영향을 미칠 수 있는지 보기를 바라면서 이씨의 일상적인 업무를 추적할 수도 있다. 우리는 (시나리오에 대한 반응이나 그에 대한 그들의 감정/인식을 이해하기 위해서가 아니라) [시나리오에 기여하는 사회 및 물질적 행위자들을 더 잘 이해하려고 노력하기 위해] 리씨 또는 환자나 교사를 인터뷰할 수도 있다. 우리는 병원 시스템을 통해 나르칸의 바이알을 추적하여 (서비스 및 교육을 위한) 다양한 번역의 노드와 파열rupture이 발생할 수 있는 곳을 이해할 수 있다.
How is the materiality of the vial of Narcan bringing about the scenario? To learn more, we may collect documents: perhaps incident reports like the one filed by Lee, but others may be relevant as well, including prescribing manuals, or perhaps learning objectives related to appropriate expectations around prescribing at Lee’s stage of education. We may visit the room in which the error occurred, taking field notes to describe it, perhaps photographing it. We may shadow Lee engaged in everyday work, hoping to see how routine pressures might influence actions. We may interview Lee, or perhaps the patient (if possible), or a teacher—not to get their reactions to the scenario, or their feelings/ perceptions about it, but rather to try to better understand the contributory social and material actors. We may trace the vial of Narcan through the hospital system to understand the various nodes of translations (for service and education) and where ruptures may occur.
우리가 선택하는 방법의 조합이 무엇이든지 간에, 그 목적은 '인간 오류'에 초점을 맞추는 시점을 넘어, [시나리오를 생성하게 된 사회적 물질적 복잡성의 조립]을 조명하는 것이다.
Whatever the combination of methods we choose, the aim is
to move beyond a point of focusing on “human error” to
illuminating the social and material complexity assembling to produce the
scenario.
결론
Conclusion
사회적 물질적 감수성은 인간을 중심에서 분산시킨다decenter. 이 패러다임 내의 연구는 의학 교육을 개인의 머리나 신체보다는 사람, 활동, 사물의 잠정적 네트워크로 확장적이고 예측할 수 없으며 위치하는 것으로 이론화한다. 교육을 사회적, 인지적 또는 개인적 개념이 아닌 다른 것으로 개념화하면 우리가 원하는 아이디어를 방해할 수 있으며, 그러한 방해에는 다른 것을 보고, 생각하고, 다르게 할 수 있는 기회가 있다고 믿는다.
A sociomaterial sensibility decenters the human subject.
Research within this paradigm theorizes medical education as expansive,
unpredictable, and located in provisional networks of people, activities, and
things rather than in individuals’ heads or bodies. Conceptualizing education as something
other than social, cognitive, or personal allows us to interrupt
taken-for-granted ideas—and in those interruptions, we
believe there is opportunity—for seeing, thinking, and
doing things differently.
Review
.2020 Jun;95(6):851-855.
doi: 10.1097/ACM.0000000000003143.
Thinking Sociomaterially: Why Matter Matters in Medical Education
1A. MacLeod is professor and director, Education Research in Continuing Professional Development, Faculty of Medicine, Dalhousie University, Halifax, Nova Scotia, Canada. R. Ajjawi is associate professor, Educational Research, Centre for Research in Assessment and Digital Learning, Deakin University, Melbourne, Victoria, Australia.
Sociomaterial perspectives in research are those that encourage researchers to focus their inquiry on the relationships between people (social) and things (material), rather than focusing solely on people. The unique possibility of sociomaterial perspectives is increasingly recognized in health professions education scholarship. In an effort to support those who may be interested in engaging with the principles of sociomaterialism in their own work, the authors have developed a primer on this paradigm of research. This Invited Commentary-one of several exploring different philosophies of science-offers an overview of the ontological, epistemological, axiological, and methodological foundations of sociomateriality. The authors then put these ideas into action, highlighting the philosophical foundations of sociomaterial perspectives in a sample case study that tells the story of Lee, a resident involved in a medical error.
Re-visioning Academic Medicine Through a Constructionist Lens
Charlotte E. Rees, MEd, PhD, Paul E.S. Crampton, MSc, PhD, and Lynn V. Monrouxe, PhD
우리는 의식적으로 거의 생각하지 않지만, 세계에 대한 우리의 경험은 순전히 [표상의 집합]이다.
우리가 사용하는 단어는 우리 주변의 개념, 관계, 실체를 표상한다.
우리 앞에 보이는 의자는 그 의자의 망막 표현일 뿐이다.
그리고 우리가 그것을 만질 때, 우리가 느끼는 감각은 그 의자를 촉각적으로 표현한 것이다.
게다가, 우리는 서로 다르기 때문에, 때로는 신체적 차이(예: 색맹)로 인해, 다른 때에는 경험적 차이(예: 사회화, 훈련)로 인해, 각자가 사용하는 표상도 역시 그러하다. 예를 들어, 방사선사는 엑스레이를 보고 GGO를 볼 수 있지만, 환자는 반점을 볼 뿐이다.
We rarely consciously think about it, but our experiences of the world are purely clusters of representations. The words we use represent concepts, relations, and entities around us. That chair we see in front of us is merely a retinal representation of that chair. And when we touch it, the sensation we feel is a tactile representation of that chair. Furthermore, because we differ from each other, so too do our representations, sometimes due to physical differences (e.g., color blindness), other times due to experiential differences (e.g., socialization, training). For example, a radiologist might look at an X-ray and see ground-glass opacity, whereas the patient sees speckles.
무엇이 진짜이고(존재론적 질문)와 우리는 어떻게 알 수 있는가(인식론적 질문)? 사회 구성주의, 즉 간단히 말해서 구성주의는 이러한 존재론적, 인식론적 문제들을 정면으로 다룬다. 구성주의는 이론적 지향성, 메타-이론 또는 사회 이론으로 다양하게 설명되어 왔다.1~3 사회학, 언어학, 철학, 심리학을 통합한 다학제적임에도 불구하고, 1,3 구성주의는 교육에 대해 당연하게 여겨지는 가정에 의문을 제기하고 어떻게 교육이 문화 및 역사 의존적인지를 드러내기 위하여 학술 의학에 점점 더 많이 채용되고 있다.1 구성주의는 문화적 맥락 안에서 경험, 사회적으로 창조되고 공유된 의미, 그리고 그러한 의미가 권력 관계를 유지하는 데 어떻게 기여하는지에 대한 다중적 해석에 초점을 맞춘다.1
What is real (the ontological question) and how can we know (the epistemological question)? Social constructionism, or simply constructionism for short, tackles these (and other) ontological and epistemological questions head-on. Constructionism has been described variously as a theoretical orientation, meta-theory, or social theory.1–3 Although multidisciplinary, incorporating sociology, linguistics, philosophy, and psychology,1,3 constructionism is increasingly employed in academic medicine to question taken-for-granted assumptions about education and to expose how education is both culturally and historically dependent.1 Constructionism focuses on multiple interpretations of experience within cultural contexts, privileging socially created and shared meanings, and how those meanings serve to maintain power relationships.1
이 글에서는 구성주의가 무엇인지, 구성주의의 존재론적, 인식론적, 공리학적 토대, 그리고 구성주의 렌즈를 통해 연구를 수행하는 데 사용되는 일반적인 방법론을 설명한다. 마지막으로, 사례 연구를 사용하여 이러한 구성주의적 접근방식의 요소를 설명한다(상자 1 참조). 우리의 희망은 이 연구 접근법에 대한 더 깊은 이해를 얻는 것이 독자들이 구성주의자의 렌즈를 통해 학문적 의학을 재비전할 수 있게 하는 것이다.
In
this article, we explain what constructionism is; the ontological, epistemological,
and axiological underpinnings of constructionism; and the common methodologies used
to conduct research through a constructionist lens. Finally, we explicate these
elements of the constructionist approach using a case study (see Box 1). Our
hope is that gaining a deeper understanding of this research approach enables
readers to re-vision academic medicine through a constructionist lens.
구성주의란 무엇인가?
What Is Constructionism?
학술 의학 문헌에서 구성주의(-nism)와 구성주의(-vism)라는 용어는 흔히 서로 바꾸어 쓰지만, 그것들은 같지 않다(용어의 용어 해설은 표 1 참조). 구성주의는 그 중심에서 다음 4가지 가정 중 하나 이상에 의해 특징지어진다.
(1) 세상과 우리 자신을 이해해온 방식accepted ways을 비판함
(2) 이해는 시간 및 장소에 따라 형성됨
(3) 지식은 사회적 상호작용, 특히 언어를 통해 구성됨
(4) 세계에 대한 서로 다른 구성은 서로 다른 행동을 이끌어냄
While the terms constructionism and constructivism are often used interchangeably in the academic medicine literature,4,5 they are not the same thing (see Table 1 for a glossary of terms). Constructionism is characterized, at its heart, by one or more of 4 assumptions:
(1) criticism of accepted ways of understanding the world and ourselves;
(2) understandings being shaped by time and place;
(3) knowledge being constructed through social interaction, especially language; and
(4) different constructions of the world eliciting different behaviors.1,6
이와는 대조적으로, 구성주의(-vism)는 개인이 사건으로부터 어떻게 인지하고 그들 자신의 의미를 창조하는지에 관한 것이다. 그러므로 구성주의(-vism)는 개인이 구성과정을 통제하는 것으로 특권을 부여한다. 그러나 구성주의(-nism)는 의미구축에서 상호 작용과 구조적 과정에 초점을 맞춘다.
In contrast, constructivism is concerned with how individuals perceive and create their own meanings from events.1,2 Constructivism, therefore, privileges the individual as controlling the construction process. Constructionism, however, focuses on the interactional and structural processes in the construction of meaning.1,2,7–13
사회구성주의의 두 가지 주요한 형태가 존재하고 학술의학 연구에서 명백하다.
미시-구성주의라고 불리는 첫번째는 사회적 상호작용을 통해 사용되는 일상적인 대화에 초점을 맞추고 있다.11은 다른 교육적 접근법 안에서 언어 사용을 탐구하는 연구에서 볼 수 있다.14,15
거시-구성주의라고 불리는 두 번째 것은 대신에 사회와 물질적 구조, 관계, 제도적 관행에 기초한 언어의 "생산적 힘"에 초점을 맞추고 있으며, 학문적 의학을 뒷받침하는 더 광범위한 담론을 탐구하는 연구에서 볼 수 있다.16,17
Two major forms of social constructionism exist and are apparent in academic medicine research.
The first, called micro-constructionism, focuses on everyday talk employed through social interaction,1 and can be seen in research exploring language use within different educational approaches.14,15
The second, called macro-constructionism, instead centers on language’s “productive power” based on social and material structures, relations, and institutional practices,1 and can be seen in research exploring broader discourses underpinning academic medicine.16,17
이러한 건설주의의 이해는 우리가 오디오 일지 형식(상자 1)으로 제시해 온 리의 표본 사례와 어떻게 연결될 것인가?
How do these understandings of constructionism link to the sample case of Lee, which we have presented in an audio-diary format (Box 1)?
우리는 이씨의 오디오 일기를 의학 오류에 대한 연구(즉, 그녀의 공유 이유)에 대한 이씨의 연구 참여의 일환으로 만들어진 서사로 생각할 수 있다.15 구성주의적 관점에서 보면, 이씨의 서술은 의미구축을 위한meaning-making 장치, 즉 사고와 행동을 변화시키기 위해 사건을 처리하는work through 수단으로 여겨질 수 있다. 다만 구성주의적인 시각에서 보면 이씨가 자신을 특정 방식으로 내세우려는 목적, 즉 권력 행사enacting power를 목적으로 사건를 어떻게 구성하느냐에 초점이 맞춰져 있다.
첫째, 미시건주의 관점에서 보면, 우리는 리의 서사의 [언어적 특징과 언어에 의해 제공되는 기능]에 주목할 수 있다. 예를 들어, 리는 그녀의 이야기를 "말할 수 있는" 것으로 정당화하는데, 여기에는 "그런데 갑자기, 나는 바이알을 확인 중이었어."라는 예기치 않은 사건을 알리는 것과 같은 많은 언어학적 깃발linguistic flag이 들어 있다. 이러한 언어적 단서들을 통해, 리는 이 사건을 이야기의 형태로 구성한다.18 구성주의자는 합법적으로 "이씨가 자신의 말로 무엇을 하고 있으며, 어떤 주장을 하고 있는가?"라고 물을 수도 있다.
거시적인 건설주의적 관점에서 본다면, 비난에 관한 이씨의 담론과 같은 이야기를 뒷받침하는 더 광범위한 담론에 귀를 기울일 수 있다.19 이씨는 이 사건을 "심각한 오류"로 구성한다. 실제로 이씨가 이 사건을 구성할 때, '비난'은 개인의 수준에 놓여있으며, (안전을 근무지에서의 집단적 책임으로 바라보는) 환자안전의 문화를 비난하지 않는다..
We can think of Lee’s audio-diary as a narrative generated as part of Lee’s participation in a research study on medical errors (i.e., her reason for sharing).15 From a constructivist perspective, Lee’s narrative might be considered a meaning-making device—that is, a means through which she can work through events to change her thinking and action. However, from a constructionist perspective, the focus is on how Lee constructs the event for the purpose of presenting herself in a particular way, or of enacting power, and so on.
First, from a microconstructionism perspective, we can attend to the linguistic features of Lee’s narrative and the functions served by language. For example, Lee justifies her story as one that is “tellable,” containing a number of linguistic flags to this end, such as signaling an unexpected event: “But then, all of a sudden, I was checking over the vial….” Through these linguistic cues, Lee constructs the event in the form of a story (“But … all of a sudden”).18 A constructionist might legitimately ask, what is Lee doing with her words and what claims are being made?
To answer these questions using a macro-constructionist perspective, we might attend to the wider discourses underpinning the narrative, such as Lee’s discourse of blame.19 The event is constructed as a “serious error” by Lee. Indeed, Lee’s construction of events places “blame” at the level of the individual, rather than on patient-safety cultures, a perspective that would view safety as a collective responsibility in the workplace.
구성주의의 근간
The Underpinnings of Constructionism
온톨로지: 현실의 구성주의적 특성
Ontology: A constructionist nature of reality
얼핏 보면, 구성주의는 외부 세계가 그것의 우리의 표상에 기초하여만 존재한다고 주장하는 상대론적 존재론적 입장을 채택하는 것으로 보인다.1 따라서 표상은 진실성이나 정확성의 어떠한 객관적 측정에 대해서도 평가할 수 없다.1,20 다시 말해서, 현실은 복수로 존재하고, 「최종적 진리의 부재」가 있다.1(p93) 실제로, 이른바 급진적, 강건적 또는 엄격한 구성주의는 객관적인 현실을 알 수 없다는 것을 암시한다. 즉 어떤 것도 우리가 그것을 이해하기 위해 사용하는 언어 말고는 존재하지 않는다. 1,10,11,21
At first glance, constructionism appears to adopt a relativist ontological position asserting that the external world only exists based on our representations of it.1 Thus, representations cannot be evaluated against any objective measures of truthfulness or correctness.1,20 In other words, multiple realities exist, and there is an “absence of an ultimate truth.”1 (p93) Indeed, the so-called radical, strong, or strict constructionism suggests that it is not possible to know an objective reality—that nothing exists outside of the language we use to understand it.1,10,11,21
그러나, 많은 사회 구성론자들(일반적으로 매크로 접근법을 채택하는 사람들)은 그러한 입장과 투쟁한다. 대신에 그들은 어떤 현실감각sense of reality은 [담론 밖에 존재할 수 있다]는 [비판적 현실주의] 입장을 채택한다.1,10,20 비판적 현실주의자들은 일반적으로 인식은 현실에 의존하지만, 다만 인식은 현실의 근사치일 뿐임을 받아들인다. 실제로, 현실주의자, 온건적 구성주의, 맥락적 구성주의는 일부 사물에 대한 현실은 인식과 언어에 독립적이라고 보면서도(예: 지진), 또 다른 것들은 담론에 의해 형성된다는 것을 인정한다(예: 젠더).1,8,22
However, many social constructionists (typically those adopting macro approaches) struggle with such positions; instead, they adopt the critical realist stance that some sense of reality can exist outside of discourse.1,10,20 Critical realists typically accept that perceptions are dependent on reality but that they are only ever approximate to reality.1 Indeed, realist, moderate, or contextual constructionism can allow for the reality of some things independent of cognition and language (e.g., an earthquake) but acknowledge that other things, such as gender, are shaped by discourse.1,8,22
흥미롭게도, 일부 비판적 현실주의자들은 현실주의를 유지하면서 다원적인 관점을 수용한다.1 예를 들어, Liebrucks는 사건을 바라보는 사람들마다 (다양한 배경과 경험 때문에) 다른 것을 볼 가능성이 있지만, 그들의 다른 관점은 똑같이 진실일 수 있다고 제안한다.22 어떻게 구성주의에 대한 이러한 존재론적 이해는 이 대통령의 오디오 다이어리와 연결되는가?
Interestingly, some critical realists accept a plurality of perspectives while maintaining realism.1 For example, Liebrucks suggests that different people looking at events are likely to see different things (because of their diverse backgrounds and experiences) but that their different perspectives can be equally true.22 How do these ontological understandings of constructionism link to Lee’s audio-diary?
이씨의 서술은 진실, 즉 이씨의 주관적인 진실로 구성되어 있다. 특정 사건(오류), 특정 사람(탐지자)에게 전달하고, 특정 상황(일반적으로 단독으로, 스마트폰을 사용)에서 내레이션을 하며, 특정 이유(다른 사람이 유사한 오류를 피하도록 돕기 위해, 불쾌한 사건을 이해하도록 하기 위해)에 대해 특정한 구성이다. 그런 만큼 이씨가 사건을 구성하는 것은 사건 그 자체와는 다르다. 구성주의자에게 있어 이씨가 이 사건을 어떻게 다른 사람들에게 이야기narrate 하느냐가 가장 의미 있는 부분이다. 따라서 맥락이 중요하다. 이씨는 다른 맥락에서, 다른 시기에, 이 사건들을 다르게 서술할 것이다. 이 내러티브는, 그것의 구체적인 맥락에서, 이씨가 자신과 자신의 세계를 어떻게 인식하는지(예: 이씨의 정체성, 사회적 힘, 책임감 등)와 같은 문제들을 보여준다.
Lee’s narrative comprises a truth—that is, Lee’s subjective truth. It is a particular composition of events (error), told to a particular person (researcher), narrated in a particular setting (typically alone, using a smartphone), for a particular reason (to help others avoid similar errors, to make sense of unpleasant events, etc.). As such, Lee’s construction of events is not the same as the events themselves. For a constructionist, how Lee narrates this event to others is the most meaningful aspect. Consequently, context matters: Lee will narrate these events differently in different contexts and at different times. This narrative, in its specific context, sheds light onto issues such as how Lee perceives herself and her world (e.g., Lee’s identities, social forces, responsibilities, etc.).
구성주의를 비판하는 사람들은 "하지만 이 씨의 이야기는 사실인가?" "이씨가 내레이션을 한 사건들이 실제로 일어났는지 어떻게 알 수 있을까?"라는 가시 돋친 존재론적 질문을 던질 수도 있다. 상대론자들은 사건의 물질성은 받아들일 수 있지만(예: 환자는 나르칸의 전체 바이알을 받았고 그의 바이탈은 개선되었다), 그들은 여전히 [언어를 통하는 것만이 이 현실에 접근하는 유일한 방법]이라고 주장할 것이다.1 그리고 결과적으로 다음과 같은 여러 가지 현실이 존재하는 것으로 생각된다. 이씨의 사건 현실은 환자의 현실과, 간호사의 현실과, 주치의의 현실과 다를 가능성이 높다. 비판적 현실주의자들은 이러한 다양한 관점을 받아들일 수 있지만, 그러한 다른 관점은 똑같이 사실이라고 생각할 수 있다.
Constructionist
critics might ask thorny ontological questions: “But is
Lee’s story true?” and “How can we know that the events narrated by Lee actually happened?” While relativists can accept the materiality of events (e.g., the
patient received the full vial of Narcan and his vitals improved), they would
still maintain that the only way to access this reality is via language.1 And,
consequently, multiple realities are thought to exist: Lee’s reality of events is likely to differ from the patient’s reality, from the nurse’s reality, and
from the attending’s reality. Critical realists might accept
this multiplicity of perspectives but could consider those different perspectives
equally true.
인식론: 지식의 구성주의적 성질.
Epistemology: A constructionist nature of
knowledge
흥미롭게도, 구성주의자들이 [상대주의자-현실주의자 연속체] 상에서 매우 다른 위치에 자리할 수 있음에도, 많은 사람들은 존재론적인 질문들을 전적으로 회피하고, 대신에 [인식론으로서의 구성주의]에만 초점을 맞추고 있다.1,8 구성주의는 [우리가 어떻게 세상을 알게 되었는가는 사회적 상호작용을 통해 만들어지는 것]이라고 주장한다. 구성주의는 [주관적 의미형성]에 특권을 부여하며, 진실을개인들 간의 대화적 거래로 본다.
Interestingly, while constructionists might sit at very
different places on the relativist–realist continuum, many dodge ontological questions
entirely, instead focusing on constructionism as epistemology.1,8 Constructionism,
from an epistemological standpoint, asserts that how we come to know the world
is constructed through social interaction.1 Constructionism privileges
subjective meaning making with truth seen as a dialogic transaction between
individuals.11
이렇기에, 진실은 언어와 신체적 행동에 존재한다. 그래서 우리가 "어떻게 알 수 있을까?"라는 인식론적 질문을 할 때, 우리는 반드시 언어, 담화, 육체에 의지한다.23 언어는 다음과 같은 의미를 지니고 있다. 그것은 특정한 사람이 되는 이상화된 방법, 특정한 구조를 개념화하는 방법, 그리고 세상을 보는 방법을 담고 있다. 통제권을 쥐고 있는 단일한 사람은 없다. 대신, 사회적 현실은 시간의 흐름에 따라 맥락적으로 나타난다.24
As such, truth exists in language and bodily action. So, when we
ask the epistemological question, “How can we know?”, we
necessarily turn to language, discourse, and the body.23 Language carries
meaning: It carries idealized ways of being a particular person, of conceptualizing
a particular construct, and of viewing the world. No one person is in control.
Instead, social realities emerge contextually over time.24
사회적 현실은 대화와 행동에 존재하는 가운데, 사회적 구성주의자는 [(무엇을 말해지는지, 어떻게 전달하는지 양쪽 모두에 대해서) 사회적 세계의 대화와 행동을 분석함으로써 "앎"에 이르게 된다].
미시-구성주의자의 관점에서 볼 때, 대화와 상호작용의 미니타이아가 중요하다.
거시-구성주의자의 입장에서 보면 기존의 사회적, 전문적, 문화적 담론, 그리고 그것들이 어떻게 회자되고 전용되는지가 관건이다. 건설주의에 대한 이러한 인식론적 이해는 이 대통령의 오디오 일지와 어떻게 연관되는가?
With social reality
existing in talk and action, the social constructionist comes to know through an analysis
of these aspects of the social world, attending to both what is said and how it is conveyed.
From
a microconstructionist perspective,
the minutiae of talk and interaction are important.
From a macro-constructionist
position, the existing societal, professional, and cultural discourses, and how
they are talked about and appropriated, are key. How do these epistemological understandings
of constructionism link to Lee’s audio-diary?
이씨의 서술은 말과 행동을 글로 옮긴 것이다. 말해진 구성(narrative)의 쓰여진 표상(transcript)인 것이다. "앎"을 위하여, 사회 구성주의자들은 그들이 "어떻게 알게 될 것인가"를 규정하는 것으로 시작한다.
미시구성주의자의 경우, 내러티브의 녹취록에는 언어의 표현방법에 대한 매우 상세한 정보가 담겨 있어야 하는데, 예를 들어, 일시 정지, 웃음, 잘못된 시작, 억양, 대화 속도 등이 있다("음, 음, 내가 심각하다고 하면, 음, 내 말은, 그게, 결국 괜찮다는 거야(웃음)" 등. 또한 녹취록에는 보고된 대화("봐, 환자의 바이탈은 정상이야, 괜찮아 보여")와 보고된 생각("맞아, 내가 나르칸을 빨리 주는 게 좋겠어") 같은 측면을 식별하는 표기법도 포함되어야 한다. 왜냐하면, 이것들이 세계와 그 안에서 자신의 입장을 제시하는 특정한 방법을 형성하고 있기 때문에 말이다.
거시구성주의자로서는 이씨가 나쁜 것(약물 오류)에서 도출된 좋은 것(환자가 회복되는 것)에 대한 '나쁜 것부터 좋은 것' 이야기를 내레이션하는 것으로 볼 수 있다. 이것은 말할 수 있는 이야기tellable story로서, 실패한 의사, 침착한 간호사, "힘든" 외과의사 등의 인물 비유character trope으로 완성된다.26 구성주의자는 이러한 줄거리, 비유trope, 담론을 통해서 "앎"에 이른다.
Lee’s narrative is a transcription of talk and action: a
written representation (transcript) of a verbal construction (narrative). To know, social constructionists
begin by defining how they will know.
For a microconstructionist, transcripts of narratives need to
contain very detailed information on process features of how verbal language is
presented, such as pauses, laughter, false starts, intonation, speed of talk,
and so on (“um, well, when I say serious, I mean, um, it actually ended up okay
(laughs)”). Transcripts should also contain notation
identifying aspects such as reported talk (“he said ‘look, the patient’s vitals are normal, he seems
fine’…”) and reported thought (“but thought ‘right, I’d better give him the Narcan pretty quick’…”)
as they form particular ways of knowing and of presenting the world and one’s position within it.
For a macro-constructionist, Lee can be seen as
narrating a “good from bad” story,25 when something good
(the patient recovers) comes from something bad (a drug error). This is a
tellable story, complete with character tropes: the failing doctor, the calm
nurse, the “hard” (joking)
surgeon.26 It is through these plotlines, tropes, and discourses that the constructionist
comes to know.
공리학: 건설주의 가치와 그것이 연구과정에 미치는 영향
Axiology: Constructionist values and how they
influence the research process
구성주의는 언어, 사회적 상호작용, 맥락을 중시한다.1,2,7 또한 자연과학에 의해 정형화된 법칙, 패턴, 일관성(nomothetic)보다는 개별적인 사례(idiographic)를 중시한다.13 [인식론, 방법론, 방법]의 정합성과 그 내부 일관성 사이의 공리학적 무결성은 구성론에서도 매우 중요하다.27,28
Constructionism values language, social interaction, and context.1,2,7 It also values individual cases (idiographic) rather than the laws, patterns, and consistencies typified by the natural sciences (nomothetic).13 Axiological integrity between epistemology, methodology, and methods and their internal coherence is also highly valued in constructionism.27,28
예를 들어,
인식론은 방법론과 방법을 통해 형성되고 밝혀진다.
방법론은 연구 질문 및 연구 설계를 가이드하고 가이드된다.
방법론은 샘플링, 데이터 수집 및 데이터 분석 방법을 권장한다.28
For example,
epistemology shapes and is revealed through methodology and methods;
methodology guides and is guided by research questions and study design; and
methodology recommends sampling, data collection, and data analysis methods.28
구성주의는 다음을 중시한다.
신뢰도(연구는 검증 가능한 방법으로 수행되었는가?)
진위 여부(연구가 정당하게 수행되었는가?)
신뢰도(연구자 해석은 신뢰할 수 있는가?)
확인가능성(연구자가 연구와 개인적 관계를 명확히 하고 있는가?)
반사성(연구자가 연구과정에 미치는 영향을 반영하였는가?)
이전 가능성(연구 결과를 다른 맥락으로 이전할 수 있는가?)
Constructionism values
dependability (was the research carried out in a verifiable way?),
authenticity (was the research carried out justly?),
confirmability (does the researcher make their personal relationship to the research clear?),
reflexivity (has the researcher reflected on their impact on the research process?), and
transferability (are research findings transferable to other contexts?).4,5,28,29
구성주의에서는 연구자와 연구대상 사이의 사회적 상호작용을 통해 발전하는 의미 만들기가 핵심이다.4 실제로, 구성주의자의 관점에서, 데이터 해석에 대한 연구자의 영향뿐만 아니라, 질문한 질문에 대한 연구자의 영향도 평가된다.4 그러나, 연구자들이 이러한 의미구축의 한 부분으로 참여함에도 불구하고, 그들은 데이터 수집 중 엄격한 윤리적 경계를 여전히 준수해야 한다. 이로서 권력 관계(특히 연구자와 참가자 사이의 힘의 불균형), 선험적 가정과 기대, 그리고 강요와 같은 잠재적인 윤리적 딜레마를 인식하는 것이다.
The meaning making that develops through social interaction between the researcher and the researched is key within constructionism.4 Indeed, from a constructionist perspective, the researcher’s influence over the questions asked, as well as the researcher’s impact on the data interpretation is valued.4 However, despite researchers being part of this sense making, they must still adhere to strict ethical boundaries during data collection to ensure they are cognizant of power relations (and specifically of imbalances of power between the researcher and participants), a priori assumptions and expectations, and potential ethical dilemmas such as coercion.30
구성주의에 대한 이러한 공리학적 이해는 이씨의 오디오 일지와 어떻게 연관되는가?
How do these axiological understandings of constructionism link to Lee’s audio-diary?
이씨의 서사는 레지던트들이 시간 경과에 따른 의료 오류에 대한 오디오 일지를 녹음하는 질적 종적 연구의 일부다. 함께 이씨의 종단적 오디오 일지 데이터는 하나의 사례로 볼 수 있다.
Lee’s narrative is part of a qualitative longitudinal
research study in which residents record audio-diaries about medical errors
over time. Together, Lee’s longitudinal audio-diary
data can be considered a single case.
연구자들은 연구 데이터로부터 묻고 싶은 질문을 신중히 고려했으며, 그들의 방법론과 방법에 맞추어 존재론적 및 인식론적 프레임워크의 측면에서 내부 일관성을 보장하도록 연구를 설계했다(공리적 무결성).
오디오 일지는 다음의 것들을 촉진한다
진정성: 사건 순간에 근접한 이씨의 스토리텔링,
공리적 무결성: 연구자들은 서술적 내용과 더불어 '어떻게' 말해지는지에 주목한다.
확인가능성: 그들은 해석의 차이점을 논의하기 위해 모이는 것
성찰성: 데이터에 대한 그들 자신의 영향을 염두에 두는 것
The researchers have carefully
considered the questions they want to ask from the study data and designed the
study to ensure its internal coherence in terms of their ontological and
epistemological frameworks, aligned with their methodology and methods (axiological
integrity).
The audio-diary facilitates
Lee’s storytelling close to the moment
(authenticity),
the researchers attend to the hows of telling alongside the
narrative content (axiological integrity), and
they come together to discuss
any differences in interpretation (confirmability),
being mindful of their own
influences on the data (reflexivity).
따라서 이 연구원이 직접 만나지는 않았음에도 불구하고, 연구자는 존재하며are present, 연구자는 그녀가 이야기를 발표하는 방식에 영향을 미친다.
"한 가지 사건에 대해 말씀드리고 싶었는데…"
"실패하여 지금 세상에 인정하고 있었는데, 지금 너에게 인정하고 있다!",
"들어줘서 고마워"
Thus, despite Lee not meeting face-to-face
with the researchers, the researchers are present and affect the way that Lee presents
her narrative31:
“I wanted to tell you about an event…,”
“I had failed and was now admitting it to the world, and now I’m admitting it to you!”, and
“thanks for listening.”
방법론: 건설업자가 연구를 수행하는 방법
Methodology: How constructionists conduct
research
앞에서 언급한 바와 같이, 언어는 구성주의의 핵심이다.1. 따라서 [개방적이고 비정형적인 경험의 설명account]를 수집하는 능력이 중요하므로, 질적 방법론과 방법이 중심이 된다.1,4 학술 의학 연구에서 구성주의는 대개 [이해]를 중심으로 한 해석주의적 접근법과 일치하지만, 때로는 [해방]을 중심으로 한 비판적 탐구 접근법과 관련될 수도 있다.13
As mentioned previously, language is key to constructionism,1 so qualitative methodologies and methods are central due to their ability to collect open and unstructured accounts of experiences.1,4 Constructionism in academic medicine research is usually aligned with interpretivist approaches focusing on understanding, but can sometimes relate to critical inquiry approaches centering on emancipation.13
학문 의학의 정성적 연구는 사례 연구, 민족학, 기초 이론, 헤르메뉴틱스, 서술적 탐구, 상징적 상호작용론, 현상학 등 다양성 방법론을 통합한다(이 방법론에 대한 설명은 상자 2의 권장 독서 참조).4,5,11 학술 의학 연구에서는 인터뷰, 관찰, 오디오 다이어리, 문서와 같은 자연주의적 데이터 수집 방법이 구성주의자의 접근방법에 흔히 사용된다.4,5,31,32 마지막으로 데이터 분석 방법은 언어를 강조하는데, 특히 담론 분석이나 대화 분석과 같이 단순히 사람들이 무엇을 말했는가보다 어떻게 말하는가를 검토하는 것이 구성주의에 필수적이다.1 이러한 구성주의적인 방법론과 방법들이 이 대통령의 오디오 일지와 어떻게 연결되는가?
Qualitative research in academic medicine incorporates eclectic methodologies, such as case study, ethnography, grounded theory, hermeneutics, narrative inquiry, symbolic interactionism, and phenomenology (for a description of these methodologies, see recommended reading in Box 2).4,5,11 Naturalistic data collection methods such as interviews, observation, audio-diaries, and documents are commonly used in constructionist approaches in academic medicine research.4,5,31,32 Finally, data analysis methods underscoring language, particularly examining how people speak rather than just what they say, like discourse or conversation analysis, are vital to constructionism.1 How do these constructionist methodologies and methods link to Lee’s audio-diary?
이씨의 서술은 서술적 조사 방법론을 채택한 연구의 일부로서, 종방향 오디오를 데이터 수집 방법으로 사용하고, 서술적 분석을 데이터 분석 방법으로 사용한다. 이러한 내부적으로 일관성 있는 방법론과 방법을 선택하여 다음의 것들에 대한 이씨의 사회적 구성을 중시하였다.
그녀의 오류 경험("심각한 오류", "나는 환자를 해칠 수도 있었다", "나는 그를 죽일 수도 있었다" 등)
그녀의 개인적이고 전문적인 정체성 개발("나는 매우 빠르게 행동했다", "나는 완전히 바보처럼 느껴졌다"), 그리고
다른 사람들의 정체성("간호사는 나보다 훨씬 침착해 보였다", "그들은 나와 농담을 하기도 했다")은 스토리텔링의 사회적 활동을 통해서이다.33
Lee’s narrative is part of a research study employing
narrative inquiry methodology, using longitudinal audiodiaries as a method of
data collection, plus narrative analysis as a method of data analysis. These
internally coherent methodologies and methods were selected to privilege Lee’s social construction of
her error experiences (“a serious error,” “I could have harmed the patient,”
“I could have killed him,” etc.),
her
developing personal and professional identities (“I
acted superfast,” “I felt like a total idiot”), and
others’ identities (“the nurse seemed a lot calmer than me,” “they
even joked with me”) through the social activity of
storytelling.33
궁극적으로, 건설주의 연구는 구성주의자 방식으로 질문을 던진다. 예를 들어,
미시 구성주의에서는 "이씨는 에러 내러티브에서 어떻게 그녀와 다른 사람들의 정체성을 구성할 것인가?"
거시 구성주의에서는 "에러 네러티브는 어떻게 '개인-비난'이라는 지배적인 담론을 재생산할 것인가?"
Ultimately, constructionist research asks constructionist-type
questions.
For example, micro-constructionism might ask of this narrative, how does
Lee construct her and others’ identities in error narratives?
Macro-constructionism, on
the other hand, might ask of this narrative, how do error narratives re-produce
dominant discourses of individual blame?
요약
Summary
구성주의는 중요하다. 그것은 우리를 당연하게 여겨지는 가정에 의문을 제기하고, 사회적, 역사적으로 의존적인contingent 의미에 주목하게 한다.
구성주의vism는 개인에게 특권을 주는 반면, 구성주의nism는 사회적인 것the social이 의미구축의 배후 조종자로서 특권을 갖는다고 본다.1
미시구성주의는 언어의 미니티아에 초점을 맞추는 반면, 거시구성주의는 사회와 물질적 구조와 관행을 통해 재현된 보다 넓은 담론에 초점을 맞춘다.
비록 사회구성주의자들이 (존재론적으로) 상대주의-현실주의 연속체의 다양한 지점에 자리할 수 있지만, 많은 구성주의자들은 (존재론보다는) 인식론으로서 건설주의에 초점을 맞추고 있다.1
인식론적 관점에서 보면, 구성주의는 우리가 어떻게 세상을 알게 되었는가는 사회적 상호작용을 통해 만들어지는 것이라고 주장한다.
그러므로 구성주의는 언어, 대화, 문맥뿐만 아니라 인식론, 방법론, 방법론 사이의 내적 일관성을 중시한다.
구성주의는 또한 신뢰도, 진정성, 신뢰성, 확인성, 반사성, 전이성을 중시한다.
또한 연구자-피연구자 관계를 중요시한다.
언어의 우월성을 고려할 때, 건축가 타입의 질문들은 사람들이 어떻게 말하는지에 초점을 맞추면서, 질적인 방법론과 방법은 건설주의의 중심이다.
Constructionism in academic medicine matters. It invites
us to question takenfor- granted assumptions and attend to socially and
historically contingent meanings.1
While constructivism privileges the individual, constructionism privileges the social
as the controlling force behind the construction of meaning.1
Micro-constructionism focuses
on the minutiae of language, whereas macro-constructionism centers on the broader
discourses reproduced through social and material structures and practices.1
Although
social constructionists might sit at any number of places on the relativist–realist continuum, many
constructionists focus on constructionism as epistemology rather than ontology.1
From an epistemological standpoint, constructionism asserts that how we come to know the
world is constructed through social interaction.1
Therefore, constructionism
values language, dialogue, and context, as well as internal coherence between epistemology,
methodology, and methods.
Constructionism also values dependability,
authenticity, credibility, confirmability, reflexivity, and transferability.
In
addition, it privileges the researcher–researched relationship.
Given the
supremacy of language, qualitative methodologies and methods are central to
constructionism, with constructionist-type questions focusing on how people
speak.
표 1 구성주의와 관련된 용어집
Table 1 Glossary of Terms Relating to Constructionism
구성주의 Constructionism
구성주의에 대한 합의된 정의는 존재하지 않지만, 그것은 하나 이상의 가정을 가진 이론적 지향으로 생각할 수 있다. (1) 자기 자신과 세계를 이해하는 데 있어, (2) 장소와 시간에 영향을 받는 이해, (3) 사회적 상호작용을 통해 구성되는 지식, 특히 언어, 그리고 (4) 다양한 행동을 이끌어내는 세계의 다양한 구성. 1,6
While no consensus definition of constructionism exists, it can be thought of as a theoretical orientation with one or more of the following assumptions:
(1) critique of taken-for-granted ways of understanding ourselves and the world;
(2) understandings being influenced by place and time;
(3) knowledge being constructed through social interaction, especially language; and
(4) diverse constructions of the world eliciting diverse actions.1,6
구성주의 Constructivism
전형적으로 피아제트의 인지 구성주의와 연관되어 있는 구성주의는 개인이 사건으로부터 자신의 의미를 이해하고 창조하는 방법과 관련된 이론적 지향이다.1 구성주의와 건설주의의 주요한 차이점은
구성주의는 개인에 초점을 맞추는 반면,
건설주의는 건설의 과정을 통제하는 것처럼 사회성에 초점을 맞춘다는 것이다.1,2
Typically associated with Piagetian cognitive constructivism, constructivism is a theoretical orientation related to how individuals understand and create their own meanings from events.1 The key difference between constructivism and constructionism is that
constructivism focuses on the individual, while
constructionism focuses on the social as controlling the processes of construction.1,2
미시구성주의
Micro-constructionism
미시구성주의는 일상적인 사회적 상호 작용에 사용되는 언어의 미니티아에 초점을 맞춘다.1
Micro-constructionism focuses on the minutiae of language employed in everyday social interaction.1
거시구성주의 Macro-constructionism
거시구성주의는 심리사회생활을 형성하는 데 있어 대규모 사회 언어구조의 역할에 초점을 맞춘다.1
Macro-constructionism focuses on the role of large-scale social and linguistic structures in shaping psychological and social life.1
급진적 구성주의
Radical constructionism
급진적이거나 강한 구성주의자들은 담론 외부에는 아무것도 존재하지 않는다고 주장하기 때문에, 예를 들어, 일반적으로 우리의 경험에 대한 어떠한 물질적인 기초도 부정한다.1
Radical or strong constructionism claims that nothing exists outside of discourse, thereby typically denying, for example, any material foundations to our experiences.1
온건한 구성주의
Moderate constructionism
온건한 구성주의는 어떤 것들(사회적, 물질적)에 대한 현실은 사상과 언어와는 독립적으로 존재한다고 허용한다.1
Moderate constructionism allows for the reality of some (social and material) things as existing independently of thought and language.1
상대주의
Relativism
상대주의는 [현실은 우리의 의식에 의존]하고 있으며 따라서 [(현실은) 언어를 통해 창조된다는 것을 암시]하는 존재론적 입장이다.1
Relativism is an ontological position suggesting that reality is dependent on our consciousness and thus created through language.1
비판적 사실주의 Critical realism
비판적 현실주의는 [우리의 인식은 현실의 근사치일 뿐이며, 우리의 인식은 실제 세계를 참조하고 있고, 전적으로 언어를 통해서만 생산되지는 않는다]고 주장하는 존재론적 입장이다.
Critical realism is an ontological position asserting that while our perceptions can only ever approximate reality, our perceptions do reference the real world and they are not entirely produced through language.1
Review
.2020 Jun;95(6):846-850.
doi: 10.1097/ACM.0000000000003109.
Re-visioning Academic Medicine Through a Constructionist Lens
1C.E. Rees was director, Monash Centre for Scholarship in Health Education (MCSHE), and director of curriculum (Medicine), Faculty of Medicine, Nursing and Health Sciences, Monash University, Clayton, Victoria, Australia, at the time this was written. She is now dean for research and innovation, College of Science, Health, Engineering and Education (SHEE), Murdoch University, Murdoch, Western Australia, Australia; ORCID: http://orcid.org/0000-0003-4828-1422. P.E.S. Crampton is lecturer, Health Professions Education Unit, Hull York Medical School, York, Yorkshire, United Kingdom; ORCID: https://orcid.org/0000-0001-8744-930X. L.V. Monrouxe was associate dean for work integrated learning, Faculty of Health Sciences, The University of Sydney, Lidcombe, New South Wales, Australia, at the time this was written. She is now head of work integrated learning, School of Health Sciences, Faculty of Medicine and Health, The University of Sydney, Camperdown, New South Wales, Australia; ORCID: https://orcid.org/0000-0002-4895-1812.
Constructionism in academic medicine matters. It encourages educators and researchers to question taken-for-granted assumptions, paying close attention to socially and historically contingent meanings. In this Invited Commentary, the authors explain what constructionism is; examine its ontological, epistemological, and axiological underpinnings; and outline its common methodologies and methods. Although constructivism favors the individual, constructionism privileges the social as the controlling force behind the construction of meaning. Where micro-constructionism attends to the minutiae of language, macro-constructionism focuses on broader discourses reproduced through material and social practices and structures. While social constructionists might situate themselves at any point on the relativist-realist continuum, many constructionists focus on constructionism as epistemology (the nature of knowledge) rather than ontology (the nature of reality). From an epistemological standpoint, constructionism asserts that how we come to know the world is constructed through social interaction. Constructionism thus values language, dialogue, and context, in addition to internal coherence between epistemology, methodology, and methods. Constructionism similarly values the concepts of dependability, authenticity, credibility, confirmability, reflexivity, and transferability. It also embraces the researcher-researched relationship. Given the privileging of language, qualitative methodologies and methods are key in constructionism, with constructionist-type questions focusing on how people speak. Here, the authors encourage the reader to develop an understanding of constructionism to re-vision academic medicine through a constructionist lens.
Being Edgy in Health Professions Education: Concluding the Philosophy of Science Series
Anna MacLeod, PhD, Rachel H. Ellaway, PhD, Elise Paradis, PhD, Yoon Soo Park, PhD, Meredith Young, PhD, and Lara Varpio, PhD
비록 건강직업교육(HPE)의 개별 학자들은 수많은 학문적 전통으로 훈련을 받았지만, 그들은 우리의 지식의 경계를 넓히기 위해 협력해야 한다. 우리 협력자들의 학문적 전통을 이해하고 높이 평가하기 위해, HPE 연구자들은 다른 패러다임과 연구 분야 내에서 생성된 지식을 뒷받침하는 기초 개념, 전제, 이론을 반성하고 정당화할 필요가 있다. 즉, 다학제 엣지 효과라고 불리던 것을 발생시키는 것은 정확하게 다른 연구 전통의 결합이다.1
Although individual scholars in health professions education (HPE) are trained in a multitude of disciplinary traditions, they must collaborate to push the boundaries of our knowledge. To understand and appreciate the scholarly traditions of our collaborators, HPE researchers need to reflect on and justify the foundational concepts, premises, and theories that underpin the knowledge generated within different paradigms and fields of inquiry. In other words, it is precisely the bringing together of different research traditions that gives rise to what has been called the multidisciplinary edge effect.1
패러다임 경계를 가로지르는 협업 연구의 힘은 적어도 부분적으로는 다학제 연구가 학자들이 [불안정한 사실]과 논쟁을 벌여야 한다는 사실에 있다. 우리가 연구에 종사하는지 방식에 있어서 '자연스러운natural'한 것은 아무것도 없다. HPE 조사관으로서 우리는 우리가 훈련받은 패러다임의 온톨로지, 인식론, 공리학, 방법론에 몰두하고 있다. 우리가 과학 연구에 참여하는 방법은 우리 학문의 규범과 이데올로기에 대한 수년간의 진화를 반영한다. 이러한 원칙들은 우리가 학자로서 누구인가, 세상을 어떻게 보는가, 그리고 그것을 어떻게 탐구하는가를 형성한다. 다원적 협력은 우리가 (자신과) [다른 패러다임 원칙과 접근방식을 타당하고 중요한 것으로 받아들였을 때 무엇을 배울 수 있는지] 잠시 멈추고 생각할 것을 요구한다. 새롭고 낯선 방식으로 지식, 방법, 가치를 도출하는 도전을 받아들였고, 공통점을 찾을 기회를 이용했다.
The power of collaborative research across paradigmatic boundaries lies, at least in part, in the fact that multidisciplinary research requires scholars to contend with an unsettling fact: There is nothing natural about how we engage in research. As HPE investigators, we are steeped in the ontologies, epistemologies, axiologies, and methodologies of the paradigms within which we have been trained. The ways in which we engage in scientific research reflect years of enculturation to the norms and ideologies of our disciplines. These principles shape who we are as scholars, how we see the world, and how we explore it. Multidisciplinary collaboration requires us to pause and think about what we might learn if we embraced other paradigmatic principles and approaches as valid and important; took on the challenge of conceiving of knowledge, methods, and values in new and unfamiliar ways; and took advantage of opportunities to find common ground.
초청된 논평의 과학철학 시리즈, 2–8 우리는 독자들에게 실증주의, 포스트 실증주의, 비판 이론, 구성주의, 사회 물질주의, 포스트모더니즘, 비판적 현실주의에 대한 간결하고 접근하기 쉬운 개요를 제공함으로써 7가지 다른 연구 패러다임의 기여를 고려하기 시작할 수 있는 도구를 제공했다. 그렇게 함으로써 우리는 각 패러다임의 존재론적, 인식론적, 공리학적, 방법론적 토대들에 대한 통찰력을 제공했다. 우리는 이것이 연구 패러다임의 포괄적 목록이 아니라는 것을 강조해야 한다; 대신에, 이들은 현대 HPE 연구에서 자주 사용되는 패러다임과 우리 분야에서 인기를 얻고 있다고 믿는 패러다임의 집합이다. 우리는 또한 자주 사용되지만 종종 오해 받는 개념을 해명하는 것을 목표로 이론, 이론적 프레임워크, 개념적 프레임워크9의 개념에 대한 개요를 포함시켰다.
Throughout the Philosophy of Science series of Invited
Commentaries,2–8 we provided readers with the tools to begin considering the
contributions of 7 different research paradigms by offering concise and
accessible overviews of positivism, postpositivism, critical theory,
constructionism, sociomaterialism, postmodernism, and critical realism. In doing so, we offered
insights about the ontological, epistemological, axiological, and
methodological foundations of each paradigm. We should stress that this is not
a comprehensive list of research paradigms; instead, it is a collection of the
paradigms frequently used in modern HPE research and those that we believe are
gaining traction in our field. We also included an overview of the concepts of theory, theoretical
framework, and conceptual framework9 with a goal of elucidating these frequently used, but often
misunderstood, concepts.
이번 시리즈에서, 우리의 의도는 이러한 초청된 논평들이 우리가 다룬 각 패러다임에 대한 궁극적인 자원으로 작용하는 것이 아니었다. 각 패러다임 안에서 존재론적·인식론적 기반, 공리학적 원리, 방법론적 전개에 대한 학문적 대화와 엄밀한 논쟁이 계속되고 있다. 우리는 또한 별도의 패러다임이 존재하는지 또는 대신 학자들이 이용할 수 있는 온톨로지, 인식론적, 공리학적, 방법론적 선택사항의 집합체나 레퍼토리가 있는지에 관한 더 넓은 철학적 논쟁에 주목한다.10 우리의 과학철학 시리즈는 (이러한 광범위한 deliberation를 탐구하기 보다는) HPE에 informing하는 핵심 패러다임의 기초적 요소들을 가시적으로 보이도록 설계되었다. — 우리가 지식을 개념화하는 방법, 아는 것knowing과 알려진 것의 관계, 이러한 아이디어와 관행을 뒷받침하는 가치, 그리고 데이터를 수집하기 위한 전략을 포함한다.
In offering this set of primers, our intent was not for these Invited Commentaries to serve as the ultimate resource on each paradigm we have covered. Within each paradigm, there is ongoing scholarly conversation and rigorous debate about ontological and epistemological foundations, axiological principles, and methodological developments. We also note the broader philosophical debate regarding whether separate paradigms exist or whether there is instead a collection or even repertoire of ontological, epistemological, axiological, and methodological options available to scholars.10 Rather than delving into these broader deliberations, our Philosophy of Science series was designed to make visible some of the foundational elements of key paradigms informing HPE —including the ways we conceptualize knowledge, the relationship between knowing and known, the values underpinning these ideas and practices, and strategies for collecting data.
우리가 반복적으로 리(Box 1)의 사례를 사용한 것은 HPE의 맥락에서 과학철학의 복잡성을 보여주는 사례로 작용했다. 시리즈 내내 각 기사는 이 사건을 특정 패러다임의 관점에서 어떻게 조사할 수 있는지에 대한 예를 제시했다. 동일한 사례를 다른 관점에서 볼 때, 다른 유형의 연구 질문, 다른 연구 목표, 다른 연구 설계 및 시나리오 자체의 다른 이해에 영감을 줄 수 있다.
Our recurring use of the case of Lee (Box 1) served as an
example of the complexity of the philosophy of science in the context of HPE.
Throughout the series, each article presented an example of how this case might
be investigated from a particular paradigmatic perspective. The same case, when
viewed from different perspectives, can inspire different types of research
questions, different research objectives, different study designs, and
different understandings of the scenario itself.
우리가 다룬 것은 medication의 예측하지 못한 성능을 조사하기 위한 가설을 시험하는 실증주의적인 실험부터
훈련생-교육생-감독 관계에서 작용하는 힘의 역학을 후기실증주의적으로 탐구하는 것
약병의 생산적 역할에 대한 사회물질적 조사로 이어졌으며,
이로부터 우리는 질문하거나 다루어야 할 연구목표는 대단히 풍부함을 알 수 있다.
Ranging from a positivist controlled experiment that tests hypotheses to investigate the unexpected performance of the medication,
to a postmodern exploration of the power dynamics at play in a trainee–attending supervisory relationship,
to a sociomaterial investigation of the productive role of the medication vial,
we can see that there is no shortage of questions to be asked or study objectives to be addressed.
오류를 공개하는 것이 역량에 대한 판단에 영향을 미치는지 여부를 조사하는 후기실증주의의 2-arm 실험에서부터
의료 오류의 한 부분으로 느낀다는 것은 무엇인지를 기록한 오디오 일지 성찰의 구성주의적 분석까지,
연구자들이 사례를 해석하는 데 사용할 수 있는 실제 도구는 다양하고 복잡하여 미묘한 통찰력이 나타날 수 있다.
With methods ranging from a postpositivist 2-armed experiment investigating whether disclosing an error influences judgment about competence
to a constructionist analysis of audio diary reflections on what it feels like to be part of a medical error,
the actual tools researchers could use to interpret the case are varied and complex, allowing for nuanced insights to emerge.
요컨대, HPE와 관련된 이슈를 조사할 수 있는 가능성을 제한하는 것은 오직 우리의 상상력뿐이다. 또는 보다 정확히 말하면, 우리의 home paradigm의 안과 밖에서 보고 생각하는 능력에 의해서 제한된다.
In short, the possibilities
for investigating issues relevant to HPE are limited only by our imaginations,
or, perhaps more accurately, by our abilities to see, and think, within and
outside of our home paradigms.
명확히 해야 할 것: 패러다임, 방법론, 방법
A Point of Clarification: Paradigms, Methodologies, and Methods
이는 HPE 연구에 존재하는 과학철학과 관련된 핵심 요점에 대한 검토라는 점에서, 우리는 결국 패러다임, 방법론, 방법의 관계로 회귀한다.
패러다임은 조사의 특정 접근방식을 형성하고 특정 학문의 담론 내에서 공유되는 철학적 공리와 가정이다.
방법론은 조사 행위를 수행하기 위한 구조적 접근법이다.
방법은 연구를 집행하는 구체적인 기법과 절차이다.
예를 들어
실증주의는 패러다임이고,
무작위화된 통제 실험RCT은 방법론이며,
다양한 데이터 수집과 분석 도구가 그 방법이다.
Given that this is a review of key points relevant to the philosophies of science at play in HPE scholarship, we return to the relationship between paradigms, methodologies, and methods.
Paradigms are the philosophical axioms and assumptions that shape a particular approach to inquiry and that are shared within a disciplinary discourse.
Methodologies are the structural approaches to conducting acts of inquiry.
Methods are the specific techniques and processes of enacting inquiry.
For example,
positivism is a paradigm,
a randomized controlled trial is a methodology, and
its various data gathering and analysis tools are its methods.
본 저널의 내용이 분명히 나타내듯이 HPE 연구에 활용할 수 있는 방법과 방법론은 풍부하다. 이 분야가 계속 발전함에 따라, 우리는 의심할 여지 없이 데이터를 수집하고 분석하기 위해 사용하는 도구와 접근방식과 관련하여 훨씬 더 많은 혁신을 보게 될 것이다. 과학철학 시리즈의 다양한 공헌에서 강조된 방법론과 방법 외에도, 다음과 같이 우리가 명시적으로 다루지 않은 방법론과 방법을 이용한 고품질 HPE 연구도 이루어지고 있다.
문헌 리뷰(자료 출처로서 문헌에 의존하는 방법론 집합체),
전문가 합의 방법 (합의문이나 베스트 프랙티스를 구축하는 것을 목표로 하는 일련의 방법들),
빅데이터(전체 모집단이 관심의 표본인 데이터 수집에 대한 접근법),
인공지능(데이터 최적화를 위한 일련의 방법들)
As the content of this journal clearly shows, there is no shortage of methods and methodologies that can be used in HPE research. As the field continues to evolve, we will undoubtedly see even more innovation with respect to the tools and approaches we use to gather and analyze data. In addition to the methodologies and methods highlighted in the various contributions of the Philosophy of Science series, high-quality HPE research is also happening using methodologies and methods we did not explicitly address, including
literature reviews (a set of methodologies relying on literature as a data source),
expert consensus methods (a set of methods with the goal of building consensus statements or best practices),
big data (an approach to data collection where an entire population is the sample of interest), and
artificial intelligence (a set of methods for data optimization), to name a few.
HPE의 학자가 사용할 수 있는 광범위한 방법을 설명하려고 시도하기보다는 [특정 방법이 특정 패러다임에 속하거나 하나의 특정 패러다임에만 속하지 않는다는 점]을 분명히 하고 싶다. 실험이 반드시 실증주의자들만의 것은 아니다. 관찰 작업이 단지 사회물질주의 학자에게만 속하는 것은 아니다. 패러다임은 많은 방법론을 가질 수 있고, 방법론은 많은 방법을 사용할 수 있으며, 방법론은 다른 패러다임에서 사용될 수 있으며, 방법은 다른 방법론에 동원될 수 있다(그림 1 참조).
Rather than attempting to describe the wide range of methods a scholar of HPE might use, we want to make clear that specific methods do not belong to or represent only one particular paradigm. Experiments are not necessarily the property of positivists. Observational work does not belong only to sociomaterialists. A paradigm may have many methodologies, a methodology may employ many methods, methodologies may be used in different paradigms, and methods may be mobilized in different methodologies (see Figure 1).
방법을 특정 패러다임의 상징으로 분류하려는 유혹에 빠질 수 있지만, 우리는 이 시리즈가 연구가 어떻게 수행되는지가 중요한 것만이 아니라는 것을 분명히 했기를 바란다. 사실, 연구 프로젝트를 뒷받침하는 철학적 입장도 마찬가지로 우리의 관심을 받을 가치가 있다.
While it might be tempting to classify methods as emblematic of a particular paradigm, we hope this series has made clear that it is not only how research is conducted that matters. Indeed, the philosophical positions underpinning the research project are equally worthy of our attention.
이 점을 설명하기 위해 literature review를 생각해 보자. 패러다임이나 방법론에 따라 포함할 문헌의 유형은 다양할 수 있다. 질적, 양적 또는 그 혼합물일 수 있으며, 동료 검토 저널 기사에 전적으로 의존하거나 다른 "회색" 출처를 포함할 수 있다. 연구자들이 [데이터로 고려하는 것]과 그러한 [데이터를 어떻게 고려하는지]는 메타분석에서 서술 분석에 이르기까지 문헌 기반 연구에 대한 서로 다른 방법론적 접근방식을 반영한다.
Meta analysis는 여러 과학 연구에서 얻은 효과를 통계적으로 합성하는 데 초점을 두며, 일반적으로 실증주의적 관점과 일치한다.
이와는 대조적으로, scoping review는 이해를 형성하기 위해 문헌을 지도화하는 것을 목표로 하며, 이는 일반적으로 구성주의와 밀접한 관련이 있다.
realist review는 개입의 영향과 메커니즘을 이해하는 것을 목표로 하며 현실주의 패러다임의 신념의 모범이 된다.
To illustrate this point, let’s consider literature reviews. Depending on the paradigm and/or methodology, the type of literature to be included can vary; it may be qualitative, quantitative, or some mixture thereof, and it may rely exclusively on peer-reviewed journal articles or it might include other “gray” sources. What the researchers consider data and how they consider those data reflect the different methodological approaches to literature-based studies, ranging from meta-analyses to narrative analyses.
Meta-analyses—which focus on statistically synthesizing effects from multiple scientific studies—are generally aligned with positivist perspectives.
Scoping reviews, in contrast, generally aim to map the literature to build an understanding, which is closely connected with constructionism.
Realist reviews aim to understand the impact and mechanisms of an intervention and are exemplary of the beliefs of the realist paradigm.
빅데이터라는 개념을 이용해 비슷한 사례를 만들 수 있다.
이러한 사용자 생성 데이터는 매우 큰 데이터 세트를 분석하여 패턴 인식으로부터 의미를 구축하고자 한다(피안타 수, 지리적 위치 추적 등을 통해 도출됨). 이러한 양적 접근법은 패턴을 도출하고 행동을 예측하는 데 초점을 맞추고 있는데, 이는 실증주의적 패러다임에 부합한다.
그러나 최근 빅데이터가 의료 접근과 전달에 있어 가시적인 체계적 불평등을 만들기 위해 사용되어 이러한 접근방식을 비판적critical 패러다임과 일치한다.
A similar example can be made using the idea of big data.
These user-generated data intend to build meaning from pattern recognition by
analyzing very large data sets (derived via extrapolating from number of hits,
tracking geographic location, etc.). These quantitative approaches are focused
on deriving patterns and predicting behavior, which aligns with a positivist paradigm.
However,
there are recent examples of big data being used to make visible systematic
inequities in health care access and delivery, aligning these approaches within
a critical paradigm.
우리는 철학적 진입점과 전체적인 의도에 따라 다르게 동원되는 방법과 방법론의 예를 계속 제공할 수 있다. 그러나 우리가 하고자 하는 요점은 특정한 방법이나 방법론이 특정한 패러다임 접근법을 나타내지 않는다는 것이다. 우리는 '어떻게'에 집중하기보다는 과학철학에 관심이 있는 사람들이 '왜'에 집중하도록 장려한다.
We could continue to provide examples of methods and methodologies that are mobilized differently depending on philosophical entry points and overall intent; however, the point we want to make is that a specific method or methodology is not indicative of a particular paradigmatic approach. Rather than focusing on the “how,” we encourage those with an interest in the philosophy of science to focus on the “why”?
다원적 관점: 경계 건너기
Multidisciplinary Perspectives: Working Across Edges
많은 학자들이 하나의 연구 패러다임 안에 embed 되어있다는 것은 이해할 수 있다. 우리의 패러다임 가정은 우리가 읽는 것, 우리가 생각하는 교육의 유형, 연구결과물을 공유하는 장소와 방법, 그리고 다른 많은 요소들을 포함하여 학자로서의 우리의 정체성에 영향을 미친다. 이러한 전통은 다른 패러다임이 제시하는 가능성의 세계를 보는 것을 어렵게 만들 수 있다. 특정한 방법에 대한 지나친 의존은, 그 방법의 가치나 약속에 대한 입증되지 않은 믿음이 더해지면, 복잡한 문제와 문제에 대해 비판적으로 생각하는 능력을 제한할 수 있다.11 우리가 이 시리즈의 서론에서 설명한 것처럼, 우리는 [다양한 관점과 다원적 관점]이 HPE 학자들이 직면하는 다양한 난제를 해결하는 데 도움이 될 것이라고 믿는다.
That many scholars become embedded within a single research paradigm is understandable. Our paradigmatic home influences our identities as scholars, including what we read, the types of education that we consider, where and how we share our scholarship, and many other factors. These traditions can make it difficult to see the world of possibilities offered by other paradigms. Overreliance on certain methods, accompanied by an unexamined belief in their value or promise, may restrict our ability to think critically about complex issues and problems.11 As we describe in the introduction to this series,1 we believe that diverse perspectives and multidisciplinarity will help scholars address the various challenges faced by HPE.
성공적인 다분야 협력에는 혼합 방법 연구 - 질문에 답하거나 주제를 탐구하기 위해 양적 데이터와 질적 데이터 모두에 의존하는 접근법이 포함될 수 있다.11 HPE 연구에서 혼합된 방법 접근법의 가능성은 명확하다. 세상을 보는 우리의 능력은 우리의 존재론적, 인식론적, 공리학적, 방법론적 원리의 산물이며, 이것은 각각의 패러다임이 강점을 가지고 있지만 중요한 맹점을 가지고 있다는 것을 의미한다. 혼합 방법 접근방식은 각 패러다임의 장점을 결합하기에 개별 패러다임의 한계를 극복할 수 있는 잠재력을 가지고 있다. 또한 더 넓은 범위, 깊이, 풍부함을 허용하기에, 연구결과의 보다 의미 있는 해석과 적용을 산출할 수 있는 잠재력을 가지고 있다.13
Successful multidisciplinary collaboration may involve mixed methods research—approaches that rely on both quantitative and qualitative data to answer a question or explore a topic.11 In HPE research, the potential for mixed methods approaches is clear. Our ability to see the world is a product of our ontological, epistemological, axiological, and methodological principles—and this means that each paradigm has strengths, but also important blind spots. Mixed methods approaches have the potential to overcome this, combining the strengths of each paradigm12 to allow for more breadth, depth, and richness, and thus have the potential to yield more meaningful interpretation and application of findings.13
그러나, 무비판적, 비성찰적으로 학제간 및 혼합적인 방법 연구를 하는 거은 경계해야 한다. 혼합방법의 인기가 올라감에 따라, 여러 방법을 결합하는 것에 대한 정교한 템플릿과 절차를 만들기 위한 경쟁이 있다. 이러한 열의를 높이 평가하지만, [다양한 방법들이 연구 문제와 방법론과 어떻게 관련되어 있는지에 대해 충분히 고려하지 않는다면], 혼합 방법 연구는 "그것이 실제로 전달할 수 있는 것보다, 더 많은 것을 (거짓) 약속하는 기술 중심 작업에 그치고 말 것이다."11(p210) 이번 시리즈 기사에서 기술한 바와 같이, 각각의 연구 방법론과 그와 관련된 방법은 특정한 철학적 근원에서 비롯된다. 연구 방법을 혼합할 때 이러한 패러다임적 뿌리를 고려하고 존중하는 것이 지극히 중요하다. 연구 질문과 맥락에 맞춰 방법과 방법론을 조정하고 다양한 전략의 철학적 토대가 함께 작동하도록 하는 것은 여전히 중심적인 중요성으로 남을 것이다.
However, we must be wary of engaging in interdisciplinary
and mixed methods research in uncritical, nonreflexive ways. In reaction to the
rise in popularity of mixed methods approaches, there is a race to create
elaborate templates and procedures for combining methods. While we appreciate
this enthusiasm, we caution that, without sufficient consideration for how
various methods relate to research problems and methodologies, mixed methods
research is at risk of becoming a “techniquesdriven enterprise that promises more than it
can deliver.”11(p210) As the Philosophy of Science
series articles describe, each research methodology, and its related methods,
arise from specific philosophical roots. It is vitally important that these
paradigmatic roots be considered and respected when mixing research methods.
Aligning methods and methodology to the research question and context, and
ensuring the philosophical foundations of the various strategies work together,
will remain of central importance.
맺음말
A Final Word
HPE의 실행은 복잡하고 우리의 도전은 다각적이다. HPE 연구 영역에 존재하는 여러 패러다임들은 우리를 comfort zone 바깥으로 나가게 한다. 그러나, 우리는 복잡성을 인정하고 여러 관점에서 HPE 문제를 조사할 때 HPE분야가 궁극적으로 이익을 얻을 것이라고 믿는다. 우리가 우리 자신과는 다른 패러다임에서 논문을 읽거나, 특정 주제에 대한 새로운 관점을 고려하거나, 협력적이고 다학제적인 프로젝트를 선택하든, 우리는 과학철학 시리즈가 낯선 패러다임에서 HPE 연구에 참여하는 것이 무엇을 의미하는지 여러분의 관심을 자극하기를 바란다.
The practices of HPE are complex and our challenges are multifaceted. The multiple paradigms working in the realm of HPE research can take us outside our comfort zones. However, we believe our field benefits when we acknowledge this complexity and investigate HPE issues from multiple perspectives. Whether we choose to read a paper from a different paradigm than our own, consider a new perspective on a particular topic, or engage in a collaborative, multidisciplinary project, we hope the Philosophy of Science series piqued your interest regarding what it means to engage in HPE research based in an unfamiliar paradigm.
다른 패러다임에서 기능하고 영감을 끌어내는 능력은 우리 분야의 과학철학을 보다 폭넓게 고려하는 데 중요한 이점이 된다. 예를 들어, 신경과전문의, 사회학자, 그리고 그 사이에 있는 모든 사람들의 관점을 종합하여 학문의 가장 중요한 부분이 겹칠 때, 우리는 창의성과 혁신의 입장에서 HPE의 가장 시급한 문제들을 다룰 수 있다.
The ability to function and draw inspiration from other paradigms is a key benefit of engaging in a broader consideration of the philosophy of science in our field. For instance, when the edges of disciplines overlap— bringing together the perspectives of neurologists, sociologists, and everyone in between—we can address HPE’s most pressing issues from a position of creativity and innovation.
그러나 우리는 여러 패러다임의 경계를 넘나드는 작업이 쉽지 않다는 것을 인정한다. 다양한 패러다임의 존재론적, 인식론적, 공리학적, 방법론적 가정을 가로질러 작업하는 것은 의도적인 반사성, 개방성, 그리고 대안적인 관점에 대해 깊이 그리고 또 다른 관점에서 깊이 배우고자 하는 욕구를 요구한다. 우리는 이 시리즈가 당신이 열린 마음으로 HPE 연구에 접근하는 데 도움이 되기를 바라며, 당신이 당신의 연구에 새로운 우위를 가지고 접근하도록 영감을 주길 바란다.
We do recognize, however, that cross-paradigmatic work is
not easy. Working across the ontological, epistemological, axiological, and
methodological assumptions of the various paradigms calls for deliberate
reflexivity, openness, and a desire to learn deeply about, and from, an alternate
perspective. We hope this series helps you to approach HPE research with an
open mind and inspires you to approach your research with a new edge.
.2020 Jul;95(7):995-998.
doi: 10.1097/ACM.0000000000003250.
Being Edgy in Health Professions Education: Concluding the Philosophy of Science Series
1A. MacLeod is professor and director of education research in continuing professional development, Faculty of Medicine, Dalhousie University, Halifax, Canada. R.H. Ellaway is professor, Department of Community Health Sciences, and director, Office of Health and Medical Education Scholarship, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. E. Paradis is assistant professor, status-only, University of Toronto, and a scientist, Wilson Centre, Toronto, Ontario, Canada. Y.S. Park is associate professor and associate head, Department of Medical Education and Director of Research, Office of Educational Affairs, University of Illinois College of Medicine, Chicago, Illinois. M. Young is associate professor, Institute of Health Sciences Education, McGill University, Montreal, Quebec, Canada. L. Varpio is professor, Department of Pediatrics, Uniformed Services University of the Health Sciences, Bethesda, Maryland.
The philosophy of science is concerned with what science is, its conceptual framing and underlying logic, and its ability to generate meaningful and useful knowledge. To that end, concepts such as ontology (what exists and in what way), epistemology (the knowledge we use or generate), and axiology (the value of things) are important if somewhat neglected topics in health professions education scholarship. In an attempt to address this gap, Academic Medicine has published a series of Invited Commentaries on topics in the philosophy of science germane to health professions educational science. This Invited Commentary concludes the Philosophy of Science series by providing a summary of the key concepts that were elucidated over the course of the series, highlighting the intent of the series and the principles of ontology, epistemology, axiology, and methodology. The authors conclude the series with a discussion of the benefits and challenges of cross-paradigmatic research.
The Distinctions Between Theory, Theoretical Framework, and Conceptual Framework
Lara Varpio, PhD, Elise Paradis, PhD, Sebastian Uijtdehaage, PhD, and Meredith Young, PhD
건강직업교육(HPE)에 종사하는 연구자들은 종종 다음과 같은 개념들 중 하나, 일부 또는 전부를 다루도록 권고받는다: 이론, 이론 프레임워크, 개념 프레임워크.
예를 들어, HPE의 학자들은 [이론]을 연구에 통합할 것을 권고한다.1–5
기관들은 프로젝트의 연구비 지원서에 [이론적 프레임워크]를 명확히 설명할 것을 요구한다.6
연구 보고서의 검토 기준은 리뷰어들에게 [연구의 개념적 프레임워크가 명시적으로 기술되고 정당화되는지 여부]를 평가하도록 촉구한다.7
Researchers working in health professions education (HPE) are often advised to address one, some, or all of the following concepts: theory, theoretical framework, and conceptual framework.
For instance, HPE scholars are advised to integrate theory into research.1–5
Granting bodies ask that a project’s theoretical framework be articulated in funding requests.6
Review criteria for research reports prompt reviewers to assess whether the study’s conceptual framework is explicitly described and justified.7
이러한 의무사항을 충족하려면 HPE 커뮤니티 구성원이 몇 가지 기본적인 질문에 대한 답을 알아야 한다.
이론이란 무엇인가?
이론과 이론의 틀은 어떻게 구별되는가?
개념 체계라는 용어는 이론이나 이론 체계와는 완전히 다른 것을 가리키는 것인가?
Meeting these mandates requires HPE community members to know the answers to some foundational questions:
What is theory?
How is a theory distinct from a theoretical framework?
Does the term conceptual framework refer to something altogether different from a theory or theoretical framework?
불행히도 이러한 질문에 대한 명확한 답을 쉽게 구할 수 없다. 문헌을 뒤져 본 결과 이러한 질문에 명시적으로 답하는 출판물은 거의 없다는 것을 깨닫고 실망했다. 더욱이 해답을 제공하는 출판물은 HPE 연구로 표현되는 다양한 연구 접근방식에 따라 정의가 어떻게 다를 수 있는지에 거의 관심을 기울이지 않는다. HPE 학자들이 이론, 이론적 프레임워크, 개념적 프레임워크를 효과적으로 활용하려면 이러한 용어를 명확히 할 필요가 있다.
Unfortunately, clear answers to these questions are not readily available. After searching the literature, we were disappointed to realize that few publications explicitly answer these questions. Furthermore, those publications that do provide answers rarely pay attention to how definitions can differ across the variety of research approaches represented within HPE scholarship. If HPE scholars are to effectively work with theory, theoretical frameworks, and conceptual frameworks, we need to clarify these terms.
HPE는 활기찬 다학제 및 패러다임적 절충 영역으로서, 학자들은 저마다의 다양한 학문적 전통과 어휘를 연구에 활용한다. 이론, 이론 프레임워크 및 개념 프레임워크는 패러다임 간에 서로 다른 해석과 응용을 가질 수 있기 때문에, 우리의 절충주의eclecticism는 때때로 교차-목적cross-purposes에서 일하는 HPE 학자들을 발견한다. 사실, 이러한 용어들 사이의 차이점에 대한 인식 부족은 해로운 결과를 초래할 수 있다.
명확하게 해두지 않는다면, 우리는 이 용어들에 대해서 같은 해석과 적용을 공유하고 있다고 착각할 위험이 있다.
사실은 연구 설계가 용어에 대한 서로 다른 패러다임과 해석 때문인데, 순진하게 일부 연구 설계에 결함이 있거나, 잘 실행되지 않거나, 엄격성이 결여된 것으로 잘 못 라벨링할 위험이 있다.
또한 패러다임을 초월하여 생성된 지식을 기반으로 하는 우리의 집단적인 노력을 방해할 위험이 있다.
다시 말해서, 명확하게 해두지 않는다면, 우리는 결과적으로 우리 분야에 해를 끼칠 위험이 있다. 따라서 본 논문에서는 용어 이론, 이론 체계, 개념 체계 간의 차이와 관계를 명확히 하기 위해 착수하였다.
HPE is a vibrant multidisciplinary and paradigmatically eclectic domain where scholars bring their varied disciplinary traditions and vocabularies to the research endeavor.8–10 Since the terms theory, theoretical framework, and conceptual framework can have different interpretations and applications across paradigms, our eclecticism sometimes finds HPE scholars working at crosspurposes. Indeed, a lack of appreciation of the differences between these terms can have detrimental consequences.
Without clarity, we risk falsely assuming shared interpretations and applications of these terms.
We risk naively labeling some research designs as faulty, poorly executed, or lacking in rigor, when in fact those designs are employing different paradigmatically informed interpretations of these terms.
We also risk impeding our collective efforts to build on the knowledge generated across paradigms.
In other words, without clarity, we risk doing consequential harm to our own field. Therefore, in this paper, we set out to clarify the differences and relationships between the terms theory, theoretical framework, and conceptual framework.
이러한 서로 다른 이해를 명확하게 하는 많은 방법들이 있다.
예를 들어, 우리는 각 용어의 정의와 적용이 시간에 따라 어떻게 발전했는지에 대한 역사적 설명을 제공할 수 있다. 그러나 이것은 더 현대적인 설명이 더 오래된 해석을 대체해야 한다는 잘못된 의미를 내포할 수 있다.
또는, 우리는 질적/양적 이분법에 걸쳐 우리의 설명을 프레이밍 할 수 있다. 그러나, 이 이분법은 이론, 이론적 프레임워크 또는 개념적 프레임워크를 언제 어떻게 사용해야 하는지를 유용하게 알려주기 보다는 수집되는 데이터의 유형만을 설명한다.
There are many ways to articulate these different understandings.
For instance, we could offer a historical description of how each term’s definition and application evolved over time; however, this could falsely imply that the more modern descriptions should replace older interpretations.
Alternatively, we could frame our descriptions across the qualitative/quantitative divide; however, this dichotomy describes only the type of data being collected rather than usefully informing when and how to use a theory, a theoretical framework, or a conceptual framework.
이러한 함정과 다른 함정을 피하기 위해, 우리는 패러다임 간의 유사성을 강조하면서도 중요한 패러다임 차이를 존중하는 이러한 용어들을 설명하는 방법을 구성했다. 우리는 HPE에서 일반적으로 사용되는 연구의 2가지 접근방식 즉 객관주의적 연역적 접근법과 주관주의적 귀납적 접근법을 중심으로 이 article을 구성할 것이다. 연구는 귀납에서 연역, 주관에서 객관에 이르기까지 연속체에 걸쳐 존재하지만, 이러한 연속체에 걸쳐서 설명을 제공하는 것은 이 글의 범위를 벗어난다. 그러므로, 우리는 우리의 설명을 더 쉽게 접근하기 위해 각각의 접근방식에 대해 원형적인archetypal 입장을 채택한다. 첫째, 용어 이론, 이론 체계, 개념 체계를 정의한다. 그런 다음 객관주의 연역 연구자와 주관주의적 귀납 연구자가 이러한 용어와 어떻게 관련되는지 설명한다.
To avoid these and other pitfalls, we
constructed a way of describing these terms that highlights the similarities
across paradigms but that also respects important paradigmatic differences. We
structure this article around 2 approaches to research commonly used in HPE:
the objectivist deductive approach and the subjectivist inductive approach.
While research exists across a continuum from inductive to deductive, and from
subjective to objective, offering descriptions across these continua is beyond
the scope of this article. Therefore, we adopt archetypal stances for each
approach to make our descriptions more accessible. First, we define the terms theory, theoretical framework, and conceptual framework. Then, we describe
how objectivist deductive researchers and subjectivist inductive researchers
engage with these terms.
용어 정의
Defining the Terms
이론
Theory
객관주의적 연역적 연구와 주관주의적 귀납적 연구 모두에서 이론이라는 용어는 대체로 같은 의미를 갖는다.이론은 [논리적으로 관련이 있는 명제의 집합으로, 여러 가지 다른 구성과 명제들 사이의 관계를 표현]한다.11 다시 말하면, 이론은 [우리가 세상을 이해하는 데 도움을 주는 개념들 사이의 관계를 추상적으로 설명]하는 것이다. 이론은 예비 데이터나 방대한 연구 기구에 의해 뒷받침될 수 있다. 이론을 뒷받침하는 데이터가 많을수록 이론은 더 강해진다.
In both objectivist deductive and subjectivist inductive research, the term theory holds largely the same meaning. A theory is a set of propositions that are logically related, expressing the relation(s) among several different constructs and propositions.11 In other words, a theory is an abstract description of the relationships between concepts that help us to understand the world. A theory can be supported by preliminary data or by a vast body of research—the more data supporting the theory, the stronger it becomes.
이론은
서술적(즉, 현상을 명명하고 특징짓는 것),
설명적(즉, 현상들 사이의 관계를 명확히 하는 것),
해방적(즉, 인구집단에 대한 억압의 표현),
파괴적(즉, 현존하는 지식의 확대 또는 반박하는 것), 또는
예측적(즉, 특정 입력에 근거한 결과를 예측하는 것)일 수 있다.
Theories can be
descriptive (i.e., naming and characterizing a phenomenon),
explanatory (i.e., clarifying the relationships between phenomena),
emancipatory (i.e., articulating the oppression of a people),
disruptive (i.e., extending existing knowledge or refuting it), or
predictive (i.e., predicting an outcome based on specific inputs).
이론은 또한 다른 수준의 설명력을 가질 수 있다. 있다
광범위 이론: 매우 추상적이고 광범위한 자연적 또는 사회적 패턴(예: 사회의 마르크스주의 이론),
중범위 이론: 인간 상호작용의 보다 구체적인 측면을 다룸 (예: 배우-네트워크 이론)
마이크로 이론: 개인 수준의 현상에 초점을 맞춤(예: 상징적 상호작용주의)
Theories can also have different levels of explanatory power. There are
grand theories that are highly abstract and that tend to be concerned with broad natural or social patterns (e.g., Marxist theories of society),
middle-range theories that address more specific aspects of human interactions (e.g., actor–network theory), and
micro-theories that focus on individual-level phenomena (e.g., symbolic interactionism).
종종 하나의 현상에 대한 우리의 이해를 알려주는 여러 이론들이 있다. 예를 들어, 인간 주체성agency에 대한 많은 이론이 있다(즉, agency는 개인의 개인적, 사회적 삶에 있어서 통제력을 발휘할 수 있는 범위라고 정의할 수 있다). 이러한 이론들은 개인이 agency를 가지고 있는지, agency가 어떻게 존재하는지, 어떻게 agency는 지지되거나 훼방되는지, 그리고 더 큰 사회적 맥락에서 개인의 agency가 어떻게 존재하는지에 대한 추상적인 개념화를 제공한다(예: 팀, 조직 또는 사회). 바르피오 등이 지적한 바와 같이 기든스, 부르디유, 버틀러, 맥나이, 반두라 같은 이론가들은 모두 agency의 다른 측면들을 다루었고 각각 현상에 대한 다른 통찰력을 제공했다. 이 사례에서 알 수 있듯이, 많은 학자들이 현상을 설명하기 위하여 여러가지 경쟁competing 이론을 제시한다. 따라서 HPE 연구자들은 자신의 연구를 특정 현상에 가장 잘 알릴 수 있는 이론을 선택하기 위해 폭넓게 읽어야 한다.
There are often multiple theories that inform our
understanding of a single phenomenon. For example, there are many theories of
human agency (i.e., agency can be defined as the
extent to which individuals are able to exert control in their personal and
social lives). These theories offer abstract conceptualizations of whether a
person has agency, how that agency exists, how it is supported and/ or
obstructed, and how an individual’s agency exists in a larger social context (e.g., in a
team, an organization, or a society). As Varpio et al12 point out, theorists
such as Giddens, Bourdieu, Butler, McNay, and Bandura have all addressed
different aspects of agency, each offering different insights into the
phenomenon. As this example illustrates, many scholars offer competing theories
explaining phenomena. Therefore, HPE researchers must read broadly to select
the theory that can best inform their research into a particular phenomenon.
이론적 프레임워크 Theoretical framework
이론적 프레임워크는 [(하나 이상의 이론으로부터 개발된) 논리적으로 개발되고 서로 연결된 개념과 전제의 집합]으로, 연구자가 연구의 기초를 다지기 위해 만든다.* 이론적 프레임워크를 창조하기 위해서, 연구자는
연구의 기초를 제공할 어떤 개념과 이론을 정의하고,
논리적인 연결을 통해 그것들을 통합하고,
이러한 개념들을 수행 중인 연구에 관련시켜야 한다.13
간단히 말해서 이론적 프레임워크는 주어진 연구에서, 연구자가 이론을 사용use하기 위해 관여engage하는 작업work의 반영reflection이다.
A theoretical framework is a logically developed and
connected set of concepts and premises—developed from one or more theories—that a researcher creates to scaffold a study.* To create a
theoretical framework, the researcher must
define any concepts and theories that
will provide the grounding of the research,
unite them through logical
connections, and
relate these concepts to the study that is being carried out.13
In short, a theoretical framework is a reflection of the work the researcher
engages in to use a theory in a given study.
개념적 프레임워크 Conceptual framework
개념적 프레임워크는 [주어진 연구가 수행되어야 하는 이유에 대한 정당성]이다. 개념적 프레임워크는,
(1) 일반적으로 문헌 검토를 통해 알려진 지식의 현재 상태를 설명하고,
(2) 현상이나 문제에 대한 이해의 차이를 식별하며,
(3) 연구과제의 방법론적 기초를 간략히 설명한다.
A conceptual framework is the justification for why a
given study should be conducted. The conceptual framework
(1) describes the
state of known knowledge, usually through a literature review;
(2) identifies
gaps in our understanding of a phenomenon or problem; and
(3) outlines the
methodological underpinnings of the research project.
개념적 프레임워크는 다음 2가지 질문에 답하기 위해 구성된다.
"왜 이 연구가 중요한가?",
"이 연구결과들이 이미 알려진 것에 어떤 기여를 할 수 있을까?"
It is constructed14 to
answer 2 questions:
“Why is this research important?” and
“What contributions might these findings make to what is already
known?”
어떻게 객관주의-연역적, 주관주의-귀납적 연구가 이 개념을 적용하는가
How Objectivist Deductive and Subjectivist Inductive
Research Approaches Apply These Concepts
용어 이론, 이론적 프레임워크 및 개념적 프레임워크는 서로 다른 연구 접근방법에 걸쳐 공통된 의미를 공유하지만, 용어 적용 방식은 객관주의적 연역적 접근법과 주관주의적 귀납적 접근법 사이에 크게 다르다. 우리는 이러한 용어와 그 용어에 걸친 주요 특징과 관계를 설명하기 위해 그림 1을 개발했다.
While the terms theory, theoretical framework, and conceptual framework share common meanings
across different research approaches, the ways in which they are applied vary
greatly between objectivist deductive and subjectivist inductive approaches. We
developed Figure 1 to illustrate key distinctions and relationships across
these terms and their applications.
객관주의-연역적 접근
The objectivist deductive approach to
research
연역적 연구는 일반적이고 추상적인 개념화에서 특정 맥락 안에서 관찰 가능하고 측정 가능한 데이터로 가는 것을 포함한다. 그것은 하향식 접근법이다. 추상적 개념화로부터 가설을 도출하고 시험한다. 발견은 개념을 반증, 지원, 세분화, 도전 또는 확장할 수 있다. 객관주의 연역적 접근법을 자주 사용하는 패러다임에는 실증주의와 후기실증주의가 포함된다.16
Deductive research involves going from general, abstract conceptualizations to observable and measurable data within a specific context. It is a top-down approach. From abstract conceptualizations, a hypothesis is derived and tested. Findings may falsify, support, refine, challenge, or extend the conceptualizations. Paradigms that often use an objectivist deductive approach include positivism15 and postpositivism.16
객관주의 연역 연구는 다음과 같은 가정에 근거한다.
(1) 외부 현실(즉, 연구자와 독립적으로 존재하는 현실 세계)이 존재한다.
(2) 그 현실에 대한 객관적이고 편견 없는 데이터를 수집함으로써 현실을 이해할 수 있다
Objectivist deductive research rests on the assumptions
that
(1) there is an external reality (i.e., a real world that exists independent of the
researcher) and
(2) reality can be understood by collecting objective, unbiased
data about that reality.
이 접근방식에서 연구자는 [세계의 인과적 작용에 대한 점점 더 나은 이해와 통찰력을 개발함으로써 지식을 쌓는다].† 객관주의적 연역적 작업에 대한 가장 일반적인 접근법 중 하나는 실험실에서든, 교실에서든, 자연주의에서든 실험의 사용이다. 이 접근방식의 연구 질문은 현상을 뒷받침하는 인과관계를 시험함으로써 어떤 것이 어떻게 작용하는지에 대한 기본적인 가정을 시험하는 데 초점을 맞추는 경향이 있다.
Research in this approach builds knowledge by
developing increasingly better understandings of, and insights into, the causal
workings of the world.† One of the most
common approaches to objectivist deductive work is the use of experiments—whether in a lab, in a
classroom, or naturalistic. Research questions in this approach tend to focus on
testing underlying assumptions about how something works by testing a cause-and-effect relationship underpinning a phenomenon.
†This is a general description of the objectivist epistemology.
It is more nuanced when it is used in individual research paradigms.
For example, positivists embrace a radical objectivist epistemology,15
while postpositivists embrace a relative objectivist epistemology.16
객관주의-연역적 연구가 어떻게 이론을 사용하는가
How objectivist deductive researchers use
theory.
연구자가 객관주의적 연역적 연구를 할 때 일반적으로 이론은 연구 프로젝트의 출발점이 된다. 이 이론은 예를 들어, 검토될 수 있는 인과관계, 운영화되어야 하는 개념 및 제어와 관련된 변수를 포함하는 시험 가능한 구성요소를 제공한다. 이러한 테스트 가능한 구성요소를 가지고연구의 기초가 되는 특정 가설을 생성한다. 이 접근법에서 중심적인 가정은 그 이론이 연구 대상의 일부라는 것이다. 즉 시험하고 있는 가설은 관심 이론의 한 단면이다. 따라서, 연구는 [이론에서 도출된 가설]과 [그 가설이 토대를 두고 있는 이론]을 동시에 시험하고 있다.
When a researcher engages in objectivist deductive research, a theory is generally the starting point for the research project. The theory offers testable components including, for example: the cause-and-effect relationships that can be examined, the concepts that should be operationalized, and the variables that are relevant to control. These testable components are used to generate specific hypotheses which are the foundation for a study. In this approach, a central assumption is that the theory is part of the object of research. In other words, the hypothesis being tested is an aspect of the theory of interest. Thus, the study is simultaneously testing a hypothesis derived from theory and the accompanying theory underlying that hypothesis.
객관주의적 연역적 접근방식에서 수행된 모든 연구에 의해 공유되는 이론의 두 가지 주요 특성이 있다: 이론은 (1) 시험가능해야 하며 (2) 반증될 수 있어야 한다. 이 접근법에서 좋은 이론은 전형적으로 이전 연구를 기반으로 한다. 한 연구는 이론을 지지, 정제 또는 반박하기 위해 또 다른 증거의 구성 요소를 추가함으로써 새로운 지식을 더한다. 연구에 대한 이러한 접근방식은 지식을 천천히 구축한다. 이론 지향적 작업구조의 프로그램에서 점진적으로 발전하는incremental 연구는 더 나은 미래 예측 및/또는 더 강력한 이론을 가능하게 하는 현상에 대한 이해를 더욱 정교하게 한다.
There are 2 key characteristics of theory shared by all research conducted from an objectivist deductive approach: a theory must (1) be testable and (2) be open to being falsified. A good theory, in this approach, typically builds on previous work. A study adds new knowledge by adding another building block of evidence to support, refine, or challenge a theory. This approach to research builds knowledge slowly—incremental studies in programs of theory-oriented work construct ever more refined understandings of phenomena, which allow for better future predictions and/or a more robust theory.
순전히 객관주의적 연역적 접근방식에서, 한 연구자는 단일 연구에서 여러 이론을 결합하는 일은 거의 없을 것이다. 여러 이론으로 시작하는 것은 이론에 근거한 하나의 가설을 만드는 것을 어렵게 한다. 이론의 결합은 연구 중인 관계의 특정한 인과관계를 식별하기 어렵게 하고 이론의 점진적인 시험과 정교함에서 이용할 수 있는 추론의 사슬을 끊게 할 것이다. 객관주의적 연역적 접근법에는 이론에서 가설 개발, 데이터 수집, 결과 해석, 이론의 정교화 또는 새로운 인과적 설명 생성에 이르기까지 따라야 할 [선형적 진행단계]가 있다. 연구를 통해 개발된 수정설이나 새로운 이론은 새로운 연구의 시작이 될 수 있다.
In a purely objectivist deductive approach, a researcher
would rarely combine multiple theories in a single study. Starting with
multiple theories makes the creation of a single, theory-informed hypothesis
difficult. The combination of theories makes it hard to identify the specific
causal nature of the relationship under study and would break the chain of
inferences available from the progressive testing and refinement of a theory.
In an objectivist deductive approach, there is a linear progression that needs
to be followed: from theory, to hypothesis development, to data collection, to
interpretation of findings, to the refinement of theory or the generation of
new causal explanations. The revised or new theory developed through research
can become the start of a new study.
객관주의-연역적 연구는 이론적 프레임워크를 사용한다.
How objectivist deductive researchers use a
theoretical framework.
객관주의 연역 연구자는 [연구의 이론적 틀을 구축할 이론을 식별]하는 것으로 시작한다. 연구자는 다음의 과정을 통해서 이론을 이론적 프레임워크라는 행동으로 옮긴다
현재의 맥락이 정당한 연구 영역인 이유를 기술하고,
관심 대상이 되는 구조를 형성하며,
연구 질문의 구체적인 언어와 가정을 기술하고,
관심 대상이 되는 변수와 조건을 식별하고,
이러한 접근법에 따라 분석방법을 정한다.
The objectivist deductive researcher begins by identifying the theory from which to build the study’s theoretical framework. The researcher puts the theory into action as a theoretical framework by:
articulating why the current context is a legitimate area of study for a given theory,
shaping the constructs of interest,
articulating the specific language and assumptions of the research question,
identifying the variables and conditions of interest, and
orienting the approach to analysis.
이것은 이론이 실행 가능하고, 시험 가능하며, 가설을 예측하고, 시험하거나 현상을 설명하는데 사용될 수 있도록 이론적 프레임워크가 독자들에게 제시하는 작품work이다.
This is the work the theoretical framework presents to readers to render a theory operational, testable, and able to be used to predict, test a hypothesis, or explain a phenomenon.
객관주의 연역적 전통에서 이론적 프레임워크는 일반적으로 데이터 수집 전에 구성되고 고정된다. 즉, 이론적 프레임워크는 연구 존재 앞에 쓰여지고 연구 과정 전반에 걸쳐 크게 변하지 않는다는 것을 의미한다. 이론을 선택한 다음에야, 연구자는 이론을 연구의 대상으로 바꾸는 이론적 프레임워크를 구축할 수 있다. 이러한 작업을 거쳐야만, 연구는 [이론을 시험하고, 연구 맥락에 걸쳐 연구 결과를 통합함으로써, 지식을 발전시킬 수 있는 위치]를 갖게 된다. 따라서, 당연히, 객관주의 연역 연구의 동료 검토자들은, 이론적 프레임워크가 명시적으로 드러나기를 바란다. 왜냐하면 그 프레임워크가 연구의 설계를 형성하고, 현재의 연구가 동일한 이론을 사용하여 수행된 선행연구의 계통lineage에 어떻게 결합하는지를 설명하기 때문이다.
In the objectivist deductive tradition, a theoretical
framework is typically constructed before data collection and is fixed—meaning that a
theoretical framework is written before the study beings and remains largely
unchanged throughout the research process. After choosing a theory, the
researcher can construct the theoretical framework that turns the theory into
the object of study. Thanks to this work, the study is well positioned to
advance knowledge because it puts the theory to the test and unites findings
across research contexts. Not surprisingly, then, peer reviewers of objectivist
deductive research look for a theoretical framework to be made explicit because
the framework shapes the design of the study and describes how the current
research joins a lineage of inquiry done using the same theory.
어떻게 객관주의-연역적 연구자가 개념적 프레임워크를 사용하는가
How objectivist deductive researchers use a
conceptual framework.
객관주의 연역연구에서 개념적 프레임워크는 일반적으로 다음을 포함한다.
관련 문헌의 설명,
관련 이론의 요약,
이 이론이 왜 이 맥락에 유익할 수 있는지에 대한 설명,
가설을 포함하는 구체적인 연구 질문,
채택된 연구 방법론의 근거,
그리고 관심 결과 또는 변수.
In objectivist deductive research, a conceptual framework
typically includes
a description of relevant literature,
a summary of the
relevant theory,
an explanation of why this theory could be informative to this
context,
a specific research question that likely contains a hypothesis,
a
rationale for the research methodology adopted, and
a series of outcomes or
variables of interest.
개념적 프레임워크는 연구 전에 확정되며 데이터 수집이 시작되면 거의 수정되지 않는다.
A conceptual framework is finalized before the study and
is rarely modified once data collection has started.
주관주의-귀납적 접근법
The subjectivist inductive approach to
research
귀납적 연구는 [특정 현상과 관련된 특정 데이터에서 출발하여, 그 현상의 일반적 또는 추상적 개념화로 가는 것]을 포함한다. 이는 상향식 접근방식(즉, 데이터에서 추상적 개념화까지 작업)이다. 주관주의적 귀납적 연구는 가설에서 시작되는 것이 아니라, 이 연구는 특정한 현상을 이해하거나 설명하려는 욕망에서 시작된다. 연구자는 이러한 현상에 대한 및/또는 데이터를 수집하고 데이터 전체에 걸쳐 패턴을 검색하여 현상에 대한 이해를 생성한다. 주관주의적 귀납적 접근법을 자주 사용하는 패러다임에는 구성주의와 비판 이론이 포함된다.18
Inductive research involves going from specific data relating to a particular phenomenon to a general or abstract conceptualization of the phenomenon. It is a bottom-up approach (i.e., working from data up to abstract conceptualizations). Subjectivist inductive research does not begin with a hypothesis; instead, this research begins with a desire to understand or explain a particular phenomenon. The researcher collects data of and/or about this phenomenon and searches for patterns across the data to generate an understanding of the phenomenon. Paradigms that often use the subjectivist inductive approach include constructionism17 and critical theory.18
주관주의적 귀납적 연구는 다음과 같은 가정에 있다.
(1) 현실은 사회적이고 경험적으로 구성된다(즉, 현실은 자연적이고 외부적인 현실이 있기 때문이 아니라 개인과 사회 집단이 현실에 대한 해석과 이해를 공유하기 때문에 존재하는 불안정한 사회적 구축unsteady social construction이다).
(2) 이러한 현실을 이해하기 위해, 연구자들은 개인과 집단에 의해 구성된 의미를 탐구할 필요가 있다.
이것은 지식이 주관적이라는 것을 의미한다. 한 사람이 어떤 현상을 이해하는 것은 다른 사람의 이해와 같지 않을 수도 있다.
Subjectivist inductive research rests on the assumptions that
(1) reality is socially and experientially constructed (i.e., reality is an unsteady social construction that exists not because there is a natural, external reality but because individuals and social groups share interpretations and understandings of reality) and
(2) to understand these realities, researchers need to explore the meanings constructed by individuals and groups.
This means that knowledge is subjective — one person’s understanding of a phenomenon may not be the same as another person’s understanding.
다수의 관점에서 데이터를 수집함으로써, 우리는 현상에 대해 더 풍부하고 미묘한 이해를 얻을 수 있다. 주관주의적 귀납적 연구에 대한 일반적인 접근방식은 종종 인터뷰, 초점 그룹 및/또는 관찰을 통해 특정 맥락에서 현상을 탐구하는 것을 포함한다. 연구자들은 연구 참여자들과 협력하여 능동적이고 주관적으로 연구 결과를 구성한다.‡ 이 접근방식의 연구 질문은 현상이나 가정을 탐구하여 그들에 대한 우리의 이해를 높인다.
By collecting data from a multitude of perspectives, we can gain
a richer and more nuanced understanding of the phenomenon. A common approach to
subjectivist inductive research involves exploring a phenomenon in a specific
context, often via interviews, focus groups, and/or observations. Researchers
actively and subjectively construct research findings in collaboration with
study participants.‡ Research
questions in this approach explore phenomena or assumptions to increase our
understanding of them.
‡This is a general description of the subjectivist epistemology.
Is it more nuanced when it is used in a specific paradigm.
For instance, critical theory embraces a relative subjectivist epistemology,18
while constructionists adhere to a radical subjectivist epistemology.17
어떻게 주관주의-귀납적 연구자가 이론을 사용하는가
How subjectivist inductive researchers use
theory.
주관주의적 귀납적 접근법에서 이론은 연구자들이 읽고 토론하는 추상적 서술로서 존재할 뿐만 아니라, 이론은 연구자 내에서도 자신의 사고와 연구 설계 선택을 형성하는 인지적 프레임으로서 존재할 수 있다. 이 접근법에서 이론은 안정적이지 않다. 연구자의 경험과 가치관, 인식에 의해 지속적으로 진화한다. 게다가 주관주의적 귀납적 연구자는 단일 연구 또는 연구 프로그램 전반에 걸쳐 단일 이론 또는 여러 이론과 함께 관여할 수 있다.
In the subjectivist inductive approach, theory not only exists as an abstract description that researchers read and debate, but it can also reside within the researcher as a cognitive frame that shapes his or her thinking and research design choices. In this approach, theory is not stable. It is constantly evolving, informed by researchers’ experience, values, and perceptions. Furthermore, the subjectivist inductive researcher can engage with a single theory or with several theories in a single study or across a program of research.
주관주의적 귀납적 연구자들에 의해 이론이 사용되는 세 가지 주요한 방법이 있다.19
There are 3 main ways that theory is used by subjectivist inductive researchers.19
첫째, 이론은 연구의 산물이 될 수 있다. 몇몇 주관주의적 귀납적 연구, 즉 글레이저와 스트라우스의 근거 이론 전통20에서 일하는 연구자들은 데이터로부터 이론을 생성한다. 따라서 이론은 연구 설계를 알리는 데 이용되지 않고 연구 프로젝트의 주요 산출물이며, 데이터 분석에 대한 체계적인 귀납적 접근에서 진화한다. 이 접근방식은 주관주의적 귀납적 연구에 대한 가장 완전한 귀납적 접근방식을 나타낸다. 우리는 이것을 완전한fully 귀납적 이론 개발 연구 설계라고 명명한다.
First, theory can be the product of research. Some subjectivist inductive research—notably researchers working in Glaser and Strauss’s grounded theory tradition20—generates theory from the data. Thus, theory is not used to inform study design but is the major output of the research project and evolves out of a systematic inductive approach to data analysis. This approach represents the most fully inductive approach to subjectivist inductive research. We label this the fully inductive theory development study design.
둘째, 하나 이상의 이론이 연구과정 전체에 필요한 정보를 제공할inform 수 있다. 여기서 이론은 연구 질문의 개발, 방법론적 선택, 데이터 수집, 데이터 분석, 연구 결론 등 연구 과정의 모든 단계를 형성한다.21-23 연구를 informing하는 이론은 조사 시작 시점에 명확히 설명되며, 연구 설계에 포함되는 모든 부분은 이론과의 관련성 속에서 정당화된다. 즉, 이론은 연구의 모든 면에 스며드는 모든 정보를 제공하는 개념화라고 할 수 있다.24 이 접근법에서 이러한 기존 이론의 정교화나 새로운 이론의 발전은 연구 프로젝트의 주요 산출물이 될 수 있다. 우리는 이것을 완전한 이론-기반의 연구 설계라고 부른다.
Second, one or more theories can inform the entire research process. Here, theory shapes every stage of the research process, including the development of a research question, methodological choices, data collection, data analysis, and study conclusions.21–23 The theories informing research are articulated at the outset of the investigation, and all parts of the study design are justified in relation to how they align with the theories. In other words, theory is an all-informing conceptualization that permeates all facets of the study.24 In this approach, the refinement of these existing theories or the development of a new theory may be a major output of the research project. We call this the fully theory-informed inductive study design.
셋째, 이론은 해석의 도구가 될 수 있다. 일부 연구자의 경우, [어떤 이론(들)을 가지고 데이터를 최종적으로 해석할 것인지에 대한 결정]이 데이터 수집과 분석을 해야만 확정할 수 있는 경우가 있다. 연구자는 연구를 설계하고 데이터 수집에 참여할 때 많은 이론을 염두에 둔다. 데이터 분석 과정이 진행 중일 때 비로소 연구자는 최종 연구 해석과 결론을 구체화해야 할 이론이나 이론이 무엇인지 결정할 것이다. 따라서 연구자는 특정 이론이 관련성이 있다는 것을 깨달았을 때 데이터 분석을 통해 연구 설계 부분을 수정해야 할 수 있다.
Third, theory can be an interpretive tool. For some researchers, the decision as to which theory or theories will inform the final interpretations of the data is a choice that can only be finalized during the data collection and analysis cycles. The researcher holds many theories in mind when designing the study and engaging in data collection. It is not until data analysis processes are underway that the researcher will determine which theory or theories should shape the final study interpretations and conclusions. Consequently, the researcher may have to modify the study design partway through data analysis when he or she realizes that a particular theory is relevant.
예를 들어, 데이터 수집과 분석의 초기 주기 동안 연구자가 특정 이론이 데이터를 해석하는 데 도움이 될 수 있다는 것을 깨닫는 경우, 데이터 수집과 분석의 후기 주기는 이론에 대한 확인, 반박 또는 새로운 통찰력을 제공하는 데이터를 구체적으로 고려하려고 할 수 있다. 이것은 스터디 디자인 결함이 아니다. 오히려, (이러한 연구 진행의 변화는) (연구 결과와 관련이 있는 특정 이론이 드러나도록) 데이터를 심층적으로 탐구한 결과물이다. 여기서 다시 이론의 발전과 정교화는 연구의 최종 결과로 올 수 있다. 우리는 이것을 이론-기반의 데이터 분석 연구 설계라고 명명한다.
For instance, if during early cycles of data collection and analysis the researcher realizes that a particular theory can help elucidate the data, later cycles of data collection and analysis might seek to specifically consider data that will confirm, refute, or offer new insights into the theory. This is not a study design flaw. Instead, it is the result of deep exploration of data that reveals a particular theory to be relevant to the study findings. Here again, development and refinement of theory can come as the end result of the research. We label this the theory-informing inductive data analysis study design.
이론적을 활용하는 이 세 가지 방법은 모두 동등하게 유효하다. 그러나 보다 엄격하게는, 연구자는 언제 그리고 어떻게 그들의 연구에 이론을 사용할 것인지에 대한 초기적이고 분명한 결정을 내려야 한다. 종종, 이론의 수정은 [연구에 의해 얻어진 지식]이 기여하는 한 방식이다. 사실, 이론적 기여는 귀납적 연구에서 높이 평가된다; 새로운 이론을 개발하거나 기존의 이론에 도전하거나, 무언가를 추가하거나, 이론을 정교화하는 것에 높은 가치를 둔다.
These 3 ways of engaging with theory are all equally
valid. To be rigorous, however, researchers must make an early, explicit
decision as to when and how they will use theory in their research. Often,
revisions to the theory will be part of the contributions made to knowledge by
the research project. Indeed, theoretical contributions are highly valued in
inductive research; developing a new theory or challenging, adding to, or
refining a preexisting theory is met with high regard.
어떻게 주관주의-귀납적 연구자가 이론적 프레임워크를 사용하는가
How subjectivist inductive researchers use a
theoretical framework.
이론적 프레임워크를 만들기 위해서는 주관적 귀납적 연구자가 먼저 위에서 설명한 3가지 연구 설계(즉, 완전한 귀납적 이론 개발, 완전한 이론적 귀납적 정보 또는 이론-정보적 귀납적 데이터 분석) 중에서 어떤 것을 사용할 것인지를 결정해야 한다. 이 결정은 연구 설계의 실질적인 결정(예: 인터뷰 또는 포커스 그룹 질문의 설계, 연구 참가자 선택, 감각적 개념[해당되는 경우])을 포함한 이론적 프레임워크의 개발을 안내할 것이다.
To create a theoretical framework, the subjectivist inductive researcher must first decide which of the 3 study designs described above he or she will be using (i.e., fully inductive theory development, fully theory-informed inductive, or theory-informing inductive data analysis). This decision will guide the development of the theoretical framework, including practical decisions of research design (e.g., the design of interview or focus group questions, study participant selection, the sensitizing concepts [if applicable]).
만약 fully inductive theory development연구 설계를 사용한다면, 만들어야 할 이론적 프레임워크는 없다. 왜냐하면 연구의 구조를 설계하는데 이론을 사용하는 것이 아니기 때문이다. 대신, 연구는 견고하게 개발된 개념적 프레임워크에 의존할 것이다(아래 참조).
If using a fully inductive theory development study design, theory
will not shape the study design. There is no theoretical framework to develop
because there is no theory to build into the structure of the research.
Instead, the study will depend on a robustly developed conceptual framework
(see below).
만약 fully theory-informed inductive 연구 설계를 사용한다면, 연구자는 어떤 이론을 렌즈로 사용할지 결정하고 나서, 그것을 이론적 프레임워크로 변환하여 다음을 설명해야 한다.
이론이 어떻게 연구 질문들을 형성하는지,
연구 상황에 접근하는 방법,
연구 설계의 기초가 되는 개념들
방법론의 선택,
데이터 수집,
연구 참가자와의 상호작용,
분석 프로세스 및
도출한 결론
If using a fully theory-informed inductive study design, the researcher must decide which theory or theories will be used as the lens and then transform the theory into a framework that explains
how theory shapes the research questions,
the way the research context is approached,
the concepts that underpin the study design,
the choice of methodology,
the data collection,
the interactions with study participants,
the analysis processes, and
the conclusions drawn.
만약 둘 이상의 이론을 사용한다면, 그 이론들이 어떻게 서로 알려주고inform, 그들이 연구의 모든 측면을 어떻게 알려주고 있는지 또한 연구자는 설명해야 한다. 이것은 이론이 연구 설계의 모든 측면을 어떻게 알려주는지를 증명하기 위해 연구자가 하는 작업이다. 이 설계에서 연구자는 연구가 수행되기 전에 이론적 프레임워크를 개발하지만, 이론적 프레임워크는 개발 중인 통찰력과 이해에 대응하여 연구 프로세스 중에 조정할 수 있다.
If more than one theory is used, the researcher must also describe how the theories inform each other and how they inform all aspects of the study. This is the work the researcher engages in to demonstrate how theory informs all aspects of the study design. In this design, the researcher develops the theoretical framework before the study is carried out; however, the theoretical framework can be adjusted during the research processes in response to the insights and understandings being developed.
예를 들어, 이 연구 설계에서 질문한 많은 연구 질문은 광범위하고 개방적이다.
(예를 들어, 사회 물질 이론을 사용한 연구에서 연구자는 "임상 학습 환경에서 전문가 간 협업의 거주자의 경험은 무엇인가?"라고 물을 수 있다.
그러나 연구가 발전하고 통찰력이 생성됨에 따라, 연구 질문은 참여자와 연구자가 함께 만들고 있는 데이터와 더 잘 일치하도록 수정되어야 할 수 있다.
(예: 전자 건강 기록이 팀 상호 작용에 상당한 영향을 미친다는 사실을 깨닫고, 연구 질문은 "환자의 전자 건강 기록을 통해 협상될 때 임상 학습 환경에서 전문가 간 협업에 대한 거주자의 경험은 무엇인가?"라는 질문으로 바뀔 수 있다.)
For instance, many research questions asked in this study design are broad and open ended
(e.g., in a study using sociomateriality theory, a researcher might ask, What is a resident’s experience of interprofessional collaboration in clinical learning environments?).
But as the study develops and insights are generated, the research question might need to be modified to better align with the data that the participants and researcher are cocreating
(e.g., realizing that the electronic health record has significant impact on team interactions, the research question might change to ask, What is a resident’s experience of interprofessional collaboration in clinical learning environments as it is negotiated through patients’ electronic health records?).
만약 theory-informing inductive data analysis연구 설계를 사용한다면, 연구자는 데이터 해석에 어떤 이론이나 이론을 사용할 수 있는지 결정하기 위해 데이터 분석이 진행될 때까지 기다릴 것이다. 따라서 연구의 이론적 프레임워크는 데이터 분석 프로세스 중에 개발된다(데이터 수집 및 분석 주기를 포함할 수 있음). 이론이 선택되었을 때, 그 선택은 연구의 몇 가지 측면에 영향을 미칠 수 있다.25
If using a theory-informing inductive data analysis study design, the researcher will wait until data analysis is underway to decide which theory or theories can be used to inform data interpretations. The theoretical framework of the study is, therefore, developed during the data analysis processes (which may include cycles of data collection and analysis). When the theory is selected, that choice may impact several aspects of the study.25
이론은 일부(또는 모든) 데이터를 얻은 후에야 선택되지만, 이론적 프레임워크는 이론이 다음의 사항들을 어떻게 결정할지를 알려준다.
연구 맥락에 대한 접근방식
진화하는 연구 설계를 뒷받침하는 개념들
방법론의 선택,
데이터 수집,
연구 참가자와의 상호작용,
분석 프로세스 및
도출한 결론
While the theory is selected only when some (or possibly all) data are in hand, the framework can describe how theory shapes the way
the research context is approached,
the concepts that underpin the evolving study design,
the choice of methodology,
the data collection,
the interactions with study participants,
the analysis processes, and
the conclusions drawn
(예: 전문가 간 협업의 레지던트의 인식을 탐구하기 위해 인터뷰를 사용하여 연구를 알리기 위해 선택된 이론은 그룹 프로세스의 중요성을 강조할 수 있으므로 그룹 상호작용을 탐구하기 위해 포커스 그룹을 통한 추가 데이터 수집이 필요할 수 있다.)
(e.g., the theory chosen to inform a study using interviews to explore residents’ perception of interprofessional collaboration might highlight the importance of group processes, therefore requiring additional data collection via focus groups to explore group interactions).
theory-informing inductive data analysis 연구 설계에서, 연구의 모든 측면이 이론에 의해 형성되는 것은 아니다. 대신에, 연구 설계의 [일부 측면]만 이론에 영향inform을 받는다. 이 설계에서 이론적 프레임워크는 연구의 어떤 요소들이 theory-informed 되었고, 어떻게 theory-informed 되었는지에 대한 설명을 제공한다. 따라서 연구자는 이론에서 이론적 프레임워크의 요소와 연구 설계의 요소에 대한 구체적인 기여로 통찰력을 번역하는 작업을 해야 한다.
Not all aspects of the study are shaped by theory
in the theory-informing
inductive data analysis study design. Instead, only some aspects of the study design are informed
by theory. In this design, the theoretical framework offers a description of
which elements of the study are theory informed and how they are informed. The
researcher thus has to work to translate insights from theory into specific
contributions to elements of the theoretical framework and of the research
design.
어떻게 주관주의-귀납적 연구자가 개념적 프레임워크를 사용하는가
How subjectivist inductive researchers use a
conceptual framework.
주관주의적 귀납적 접근법에서 개념적 프레임워크는 새로운 사상, 통찰력, 지식이 개발됨에 따라 연구 중에 진화할 필요가 있을 것이다. 결과적으로, 연구자는 [연구 초기에 잠정적인 개념적 프레임워크를 구축하게 되지만], 데이터가 그 현상에 대한 연구자의 이해를 변화시킴에 따라 [나중에 개념적 프레임워크를 조정할 필요가 있을 가능성]이 높다는 것을 알고 있다.
In a subjectivist inductive approach, the conceptual framework will likely need to evolve during a study as new ideas, insights, and knowledge are developed. As a result, a researcher will often construct a tentative conceptual framework at the beginning of the study, knowing that it will likely need to be adjusted as data transform the researcher’s understanding of the phenomenon.
개념적 프레임워크는 다음을 포함해야 한다.
관련 문헌 설명,
관련 이론 요약(fully theory-informed inductive or theory-informing inductive data analysis를 사용하는 경우)
선택된 맥락에서 연구가 수행되어야 하는 이유에 대한 설명
연구 질문 및
선택된 연구 방법론에 대한 정당성.
That framework will include
a description of relevant literature,
a
summary of relevant theory (if using fully theory-informed inductive or theory-informing
inductive data analysis study designs),
an explanation of why the research should
be carried out in the selected context,
research question(s), and
justification
for the research methodology selected.
결론
Conclusion
이론, 이론적 프레임워크, 개념적 프레임워크에 대한 우리의 설명은 단순화된다. 이러한 묘사를 다듬기 위해 우리는 연구의 근본 요소들과 씨름해야 했다. 이러한 노력에도 불구하고, 결과는 불완전하고, 무의미하며, 타협으로 가득 찬 채로 남아있다. 실제로 이론의 사용, 이론의 틀, 개념의 틀에 대한 설명은 대개 논문보다는 책 형태로 쓰여지고 있으며, 따라서 우리는 매 차례마다 철학적 주장을 약술하고 증류할 필요가 있었다. 객관주의적 연역적 접근법과 주관주의적 귀납적 접근법 사이의 유사점과 차이점을 탐구했다. 객관주의적 연역적 접근법과 주관주의적 귀납적 접근법에 대한 우리의 설명은 특정 패러다임과 관련이 없다. 대신, 이러한 연구 접근방식은 패러다임 전체에 걸쳐 사용될 수 있다.26 우리의 설명은 이론, 이론적 프레임워크 및 개념적 프레임워크를 언제 그리고 어떻게 관여해야 하는지에 대한 지침서의 역할을 해야 한다. 연구의 진정한 일은 우리가 우리의 프로젝트에서 그것들을 실행에 옮길 때 이 조건들에 걸쳐 협상하는 것이다.
Our descriptions of theory, theoretical framework, and conceptual framework are simplified. To craft these descriptions, we had to wrestle with the foundational elements of research. Despite this effort, the result remains incomplete, undernuanced, and full of compromises. Indeed, descriptions of the use of theory, theoretical frameworks, and conceptual frameworks are usually written in book—rather than article— form, and we consequently needed to abbreviate and distill philosophical arguments at every turn. We explored the similarities and differences across objectivist deductive approaches and subjectivist inductive approaches. Our descriptions of objectivist deductive and subjectivist inductive approaches are not tied to specific paradigms. Instead, these research approaches can be used across paradigms.26 Our descriptions should act as guideposts for when and how to engage with theory, theoretical frameworks, and conceptual frameworks. The real work of research is negotiating across these terms when we put them into action in our projects.
이 글에서는 HPE에게 중요한 문제, 맥락, 심지어 이론 자체에 대한 이해를 심화시키는 데 도움이 될 연구 연구에 이론이 적절하고 의미 있게 영향을 미치기 위해 필요한 transformative work을 강조한다. 그러나 이를 위해서는 우리가 사용하는 언어에 대한 공통된 이해와 이러한 용어들이 적용될 수 있는 다양한 방법에 대한 이해를 가질 필요가 있다.
In this article, we highlight the transformative work that is needed for a
theory to appropriately and meaningfully influence research studies that will
help deepen our understanding of problems, contexts, and even the theories
themselves important to HPE. But, to do this, we need to have a common
understanding of the language we use and an appreciation of the different ways
these terms can be applied.
이러한 언어가 우리가 연구에 관련된 심층적인 분석 워크work를 더 잘 보고하도록 도울 수 있다.
이론적 프레임워크는 왜 우리가 특정한 이론을 사용하는지에 대한 논리를 명확하게 한다.
개념적 프레임워크는 왜 이 문제/상황/상황이 그 분야와 관련이 있는지를 정당화한다.
This language can help us better report the in-depth analytical work involved in research—
a theoretical frameworkarticulates the logic of why we are using a particular theory;
a conceptual frameworkjustifies why this problem/ context/phenomenon is relevant to the field.
이러한 프레임워크들은 연구 중 가장 어려운 측면 중 하나이다. 즉, 직감, 관찰 또는 애매모호한 생각을 동료 검토 및 출판물에 적합한 논리적, 근거에 입각한, 이론 정립적, 영향적, 의미 있는 주장으로 바꾸는 것이다.
These frameworks represent one of
the most challenging aspects of research — turning a hunch, an observation, or a
meandering thought into a logical, evidence-informed, theory-refining,
impactful, and meaningful argument suitable for peer review and publication.
.2020 Jul;95(7):989-994.
doi: 10.1097/ACM.0000000000003075.
The Distinctions Between Theory, Theoretical Framework, and Conceptual Framework
1L. Varpio is professor and associate director of research, Graduate Programs in Health Professions Education in the Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland; ORCID: https://orcid.org/0000-0002-1412-4341. E. Paradis is assistant professor, University of Toronto, Toronto, Ontario, Canada, scientist, Wilson Centre, Toronto, Ontario, Canada, and researcher, Facebook, Menlo Park, California; ORCID: https://orcid.org/0000-0001-9103-4721. S. Uijtdehaage is professor and associate director, Graduate Programs in Health Professions Education, Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland; ORCID: https://orcid.org/0000-0001-8598-4683. M. Young is associate professor, Institute of Health Sciences Education, McGill University, Montreal, Quebec, Canada; ORCID: http://orcid.org/0000-0002-2036-2119.
Health professions education (HPE) researchers are regularly asked to articulate their use of theory, theoretical frameworks, and conceptual frameworks in their research. However, all too often, these words are used interchangeably or without a clear understanding of the differences between these concepts. Further problematizing this situation is the fact that theory, theoretical framework, and conceptual framework are terms that are used in different ways in different research approaches. In this article, the authors set out to clarify the meaning of these terms and to describe how they are used in 2 approaches to research commonly used in HPE: the objectivist deductive approach (from theory to data) and the subjectivist inductive approach (from data to theory). In addition to this, given that within subjectivist inductive research theory, theoretical framework, and conceptual framework can be used in different ways, they describe 3 uses that HPE researchers frequently rely on: fully inductive theory development, fully theory-informed inductive, and theory-informing inductive data analysis.
Exemplary Learning Environments for the Health Professions: A Vision
Sandrijn M. van Schaik, MD, PhD, Susan A. Reeves, EdD, RN, and Linda A. Headrick, MD, MS
최근 몇 년간 학습이 이루어지는 환경이 보건직의 효과적인 학습에 필수적인 기여자로 인식되고 있다. 결과적으로, 보건 전문직 교육을 제공하는 기관들은 점점 더 학습 환경의 품질을 평가하는데 engage하고 있으며, 1 및 인증 기관들은 학습환경에 대한 기준을 공식화하였다.
In recent years, the environment in which learning takes place has become recognized as an essential contributor to effective learning in the health professions. As a result, institutions that offer health professions education increasingly engage in assessment of the learning environment’s quality,1 and accreditation organizations have formulated expectations for the learning environment.2,3
가이드 프레임워크 및 정의
Guiding Framework and Definitions
보건직 교육을 위한 학습 환경은 엄청나게 복잡하다. 그들은 학습이 이루어지는 물리적 공간에서부터 학습을 결정하는 사회문화적 상호작용에 이르기까지 다양한 요소들을 포함한다.
Learning environments for health professions education are tremendously complex. They encompass multiple components ranging from the physical space in which learning takes place to the sociocultural interactions that determine learning.
사회문화적 학습 이론에 의해 알려진, 6,7 우리는 학습을 [(다른 사람과의 상호작용과 학습이 이루어지는 환경 등) 경험의 결과로 발생하는 변화 과정으로 정의하며, 이는 향상된 성과, 미래 학습 및 발견의 잠재력을 증가시킨다].6,7
Informed by sociocultural learning theories,6,7 we define learning as a change process occurring as a result of experiences, including interactions with others and the environment within which learning takes place, that leads to increased potential for improved performance, future learning, and discovery.6,7
우리는 건강 직업에 대한 모든 학습 환경을 복잡한 적응 시스템 CAS 으로 개념화할 수 있으며, CAS는 "항상 완전히 예측 가능한 것은 아니며, 한 에이전트의 행동이 다른 에이전트의 맥락을 [직접] 바꾸도록 상호 연결된 개별 에이전트들의 모음"으로 정의된다.8 이 복잡한 적응적 시스템CAS의 에이전트들은 보건 전문 학교와 프로그램, 의료 기관 및 학생부터 지도자, 환자까지 모든 이해관계자가 포함된다(그림 1). 이를 염두에 두고 학습 환경을 폭넓게 정의하며, 학습이 이루어지는 물리적, 가상적, 사회문화적 공간으로 정의한다(표 1).
We can conceptualize any learning environment for the health professions as a complex adaptive system, defined as “a collection of individual agents with freedom to act in ways that are not always totally predictable, and whose actions are interconnected so that one agent’s actions changes [sic] the context for other agents.”8 The agents in this complex adaptive system include health professions schools and programs, health care organizations, and all stakeholders, from students to leaders to patients (Figure 1). With this in mind, we define learning environments broadly, as the physical, virtual, and sociocultural spaces in which learning takes place (Table 1).
우리는 학습자를 [학습 환경을 공동 구성하는 모든 참여자]로 정의한다. 따라서 학습자는 보건 전문직 학생, 의료 전문가, 학습 기관의 교수진 및 직원, 의료 시스템 직원 및 관리자, 환자를 포함한다. 명확하게 하기 위해, 이 글에서 우리는 "학생"이라는 단어를 레지던트를 포함한 공식적인 건강 직업 교육 프로그램에 등록한 학습자들을 지칭하는 용도로 사용할 것이다.
We define learners as all participants that co-construct the learning environment. Thus, learners include health professions students, health care professionals, faculty and staff of learning institutions, health care systems staff and administrators, and patients. For the purpose of clarity, in this article we use the word “students” to indicate learners enrolled in formal health professions education programs, including residents.
'학습자'에는 보건전문학교나 보건의료기관 등의 단체도 포함된다. 이러한 학습 조직은 비즈니스 문헌에 기술된 바와 같이, 구성원의 학습을 촉진하고, 지속적으로 스스로를 변모시킨다. 헬스케어에서, 이러한 개념은 "학습(하는) 헬스케어 시스템"으로 개념화된다. 이러한 시스템에서는 연구가 실천에 영향을 주고, 실천은 연구에 영향을 준다.
Learners also include organizations such as health professions schools and health care organizations. These learning organizations, as described in the business literature,9 facilitate their members’ learning and continuously transform themselves. In health care, this idea is conceptualized as the “learning health care system,” in which research influences practice and practice influences research.9
이러한 정의는 [여러 에이전트가 학습과 학습 환경 자체를 공동 구성하기 위해 상호 작용하는] 의료전문직교육에서 학습 환경의 복잡성을 조명한다. 복잡한 적응 시스템의 렌즈를 통해 학습 환경을 검토하면 이러한 상호작용을 이해하는 데 도움이 된다.
These definitions illuminate the complexity of learning environments in health professions education, with multiple agents interacting to co- construct learning and the learning environment itself. Examining learning environments through the lens of complex adaptive systems helps us understand these interactions.
복잡한 적응형 시스템의 중요한 특성은 "각 agent가 일련의 단순한 공유 규칙을 따르는 복잡한 시스템 내의 상호작용으로부터 질서, 혁신 및 진보가 자연스럽게 나타날 수 있다"는 것이다. "단순 규칙simple rules"은 복잡한 적응 시스템의 각 에이전트가 시스템에서 적응적으로 동작할 수 있도록 하는 최소 사양specification으로 정의된다.10
An important characteristic of complex adaptive systems is that order, innovation, and progress can emerge naturally from the interactions within a complex system, with each agent following a set of simple shared rules. “Simple rules” are defined as minimum specifications that allow each agent in a complex adaptive system to behave adaptively in the system.10
이 맥락에서 "규칙"이라는 단어는 시스템 내에서 에이전트에게 부과되는 지시를 의미하는 것이 아니라, 단순한 규칙이 "자연 법칙"과 유사하게 복잡한 적응 시스템에 내재되어 있다. 예를 들어 플섹과 윌슨10은 21세기 의료시스템에 '진료는 환자 요구에 맞춤화된다', '판단은 근거에 기반한다'와 같은 간단한 규칙이 있다고 제안한다.
The word “rule” in this context does not imply a directive that is imposed on agents within the system; rather, a simple rule is intrinsic to a complex adaptive system, analogous to a “law of nature.” For example, Plsek and Wilson10 propose that 21st-century health care systems have simple rules such as “Care is customized according to patient needs” and “Decision making is evidence-based.”
모범적 학습환경 비전
A Vision for Exemplary Learning and Environments
우리가 제안하는 비전(vision)에서, 모범적인 학습 환경은 개인, 인구 및 공동체의 최적의 건강을 위해 노력하도록 보건 전문직 교육 및 의료에 관련된 모든 사람을 준비, 지원 및 격려한다(그림 1).
In the vision we propose, exemplary learning environments prepare, support, and inspire everyone involved in health professions education and health care to work toward optimal health of individuals, populations, and communities (Figure 1).
그러한 모범적인 학습 환경은 4가지 간단한 규칙을 따르는 복잡한 적응 시스템이다(표 2).
Such exemplary learning environments are complex adaptive systems that follow four simple rules (Table 2).
규칙1
Simple rule 1
모범적인 학습 환경에서 보건의료 및 보건 전문직 교육은 개인, 인구 및 지역사회를 위한 건강 향상이라는 목표를 공유한다.
In exemplary learning environments, health care and health professions education share a goal of improving health for individuals, populations, and communities.
헬스케어는 "현재" 도움이 필요한 사람들에게 초점을 맞추고 있으며, 보건 전문직 교육은 "미래"의 요구를 충족시키기 위해 준비한다. 시스템으로서 함께 일하는 것은 공유된 목표가 필요하며, 지속 가능한 고품질 요소로서 "목적의 지속성"이라는 데밍의 개념을 반영한다. 명확한 목표의 가치는 고성능 의료 시스템에 대한 연구에서 도출된다.13–16
Health care focuses on those currently in need; health professions education prepares to meet future needs. Working together as a system requires a shared goal, reflecting Deming’s12 concept of “constancy of purpose” as a component of sustainably high quality. The value of clear goals is borne out in studies of high-performing health systems.13–16
규칙2
Simple rule 2
모범적인 학습 환경에서 배움은 일이고 일은 배움이다. 학습과 일은 특정한 환경에서 배우고 일하는 사람들에 의해 공동 구성된다. 이러한 환경을 "학습자 중심" 환경이라는 개념에서 벗어나 "학습 중심"이라고 표현한다. 학습자 중심 접근방식은 환자 중심, 효율성 중심, 건강성과-지향적 접근방식과 상충할 수 있다. 학습 중심 환경은 학습의 질을 강조한다.
In exemplary learning environments, learning is work and work is learning. Learning and work are co-constructed by those who learn and work in a particular environment. Such environments are described as “learning-centered,” moving away from the concept of “learner- centered” environments. Learner- centered approaches can conflict with the need to be patient-centered, efficiency- centered, and health-outcome-centered. Learning-centered environments emphasize the quality of learning.
그들은 연공서열이나 전문성, 역할에 관계없이 평생학습에 즐거움을 느끼는 성찰적 실천가들의 발전을 뒷받침하는 학습에 대한 의도적intentional 접근을 촉진한다.18
They foster an intentional approach to learning that supports the development of reflective practitioners who engage with joy in lifelong learning, regardless of seniority, expertise, or role.18
규칙3
Simple rule 3
모범적인 학습 환경은 [다양한 관점의 통합을 통한 협업]이 성공을 위해 필수적이라는 것을 인식한다. 따라서 그들은 포용적이고 환대적이며, 다양한 관점을 통합하여 협업 학습과 실천을 촉진하고, 학습자가 다양한 환자, 인구 및 커뮤니티를 돌볼 수 있도록 준비한다.
Exemplary learning environments recognize that collaboration with integration of diverse perspectives is essential for success. They therefore are inclusive and welcoming; integrate diverse perspectives to promote collaborative learning and practice; and prepare learners to care for diverse patients, populations, and communities.
다양한 의료 팀 구성은 팀워크를 향상시키고, 학습 환경의 다양성은 학습을 촉진하며, 그리고 보건 직업에서 소수민족의 적절한 대표성은 의료 격차 극복에 도움을 줄 수 있다.26,27
Diverse composition of health care teams improves teamwork,23 diversity in learning environments promotes learning,24,25 and adequate representation of minorities in the health professions may assist in overcoming health care disparities.26,27
규칙4
Simple rule 4
모범적인 학습 환경의 조직과 에이전트는 지속적인 개선과 혁신을 이루기 위해 자신과 더 큰 시스템에 대해 배운다. 보건직 교육기관과 보건의료단체는 모든 관련자가 학습을 촉진하고 적응성과 창의성을 겸비한 방식으로 지속적으로 변화시키는 '학습기관'이다.28 건강직업교육에서 학습환경에 있어 적응성과 창의성이 필수적이다.
The organizations and agents in exemplary learning environments learn about themselves and the greater system they are part of to achieve continuous improvement and innovation. Health professions education institutions and health care organizations are “learning organizations” that facilitate learning by all involved and continuously transform themselves in ways that are both adaptive and creative.28 Adaptivity and creativity are essential for learning environments in health professions education
제안된 비전과 현 상태의 괴리
The Gap Between the Proposed Vision and the Current State
규칙1
Simple rule 1
보건의료와 보건전문교육의 공동목표 비전을 실현하는 것은 유사하고 시너지 효과가 있는 명시적 임무에도 불구하고 의료와 교육의 책임조직이 거버넌스, 리더십, 자금후원 등 많은 측면에서 서로 구조적으로 별개의independent 것이라는 점에서 문제가 제기되고 있다.
Realizing the vision of a shared goal between health care and health professions education is challenged by the fact that despite stated missions that are similar and synergistic, the responsible organizations are frequently structurally independent, with separate governance, leadership, and funding.
서로 다른 기관에서의 우리 자신의 경험을 돌아보면, 효과적이고 효율적인 진료 달성을 목표로 하는 보건 시스템의 혁신 활동은 종종 학생들을 배제한다.[의료 향상에 기여하는 학습 환경을 조성하기 위한 공동의 노력]은 전통에 뿌리를 둔 가정assumption에 의해 종종 가로막힌다. 대표적인 예로는 [교육혁신이 이미 꽉 찬 커리큘럼의 '제로섬(zero sum)' 난제를 반드시 다뤄야 한다는 생각], [학생은 임상환경에 added value가 거의 없어서 비효율성만 만든다는 생각], [환자가 의료의 질을 판단할 수 없다는 생각] 등이 대표적이다. 또 다른 중요한 장애물은 교육 및 의료 시스템에 대한 자금 흐름과 재정적 인센티브의 차이에서 온다.
In our own experiences at different institutions, innovative activities at health systems aiming to achieve effective and efficient care often exclude students. Collaborative efforts to create learning environments that contribute to improving health care are often hampered by assumptions rooted in tradition. Examples include the dogma that education innovation must deal with the “zero sum” challenge of an already-packed curriculum, that students introduce inefficiencies into clinical encounters with little added value, and that patients cannot judge quality in health care. Another important obstacle comes from differences in funding streams and financial incentives for education and for health care systems.
규칙2
Simple rule 2
직장 학습은 건강직업 교육의 필수적인 요소지만, 우리는 여전히 일이 배움이고, 배움이 일이라는 상황과는 거리가 멀다. 많은 보건직 커리큘럼은 기초과학을 배우기 위한 "전임상교육"과 근무지학습을 위한 "임상실습"을 계속해서 구별한다. 직장에서 배우는 사람들은 종종 학습에 기여하지 않는 일에 압도되어 경험의 교육적 가치를 떨어뜨린다. 이러한 상황은 문서화 요구 사항과 생산 압력과 같은 스트레스 요인에 의해 악화되어 임상의사가 소진되는 경우가 많다.31,32 의료전문직 교육에 종사하는 많은 교사teacher들은 증거 기반 접근법을 사용하기보다는, 자기를 가르쳤던 선생의 방식을 따르는 경우가 많고, 가르침을 위한 준비가 부재한 경우가 많다.33
Workplace learning is an essential component of health professions education, yet we are still far from a situation in which work is learning, and learning is work. Many health professions curricula continue to distinguish between “preclinical years” to learn foundational sciences and “clinical years” for workplace learning. Learners in the workplace often get overwhelmed with work that doesn’t contribute to learning, undermining the educational value of the experience. This situation is exacerbated by stressors such as documentation requirements and production pressures, often resulting in clinician burnout.31,32 Many teachers in health professions education emulate their own teachers rather than using evidence-based approaches, and preparation for teachers is often absent.33
규칙3
Simple rule 3
다양성이 중요하다는 인식이 높아졌음에도 불구하고, 의미 있는 포용성과 효과적인 협업은 여전히 부족하다. 예를 들어, 의료 종사자에서의 소수민족, 간호직에서의 남성, 학술적 리더에서의 여성의 underrepresentation이 지속되고 있다.35 직업간 갈등과 영역 다툼은 효과적인 협업을 방해한다.36,37
Despite increasing awareness that diversity matters, meaningful inclusiveness and effective collaboration remain largely elusive. For example, there continues to be underrepresentation of ethnic minorities in the health care workforce,25,34 of men in nursing,34 and of women in academic leadership roles.35 Conflicts and turf wars between and within professions hamper effective collaboration.36,37
근본 원인을 조사하는 것은 다양성, 즉 다양성, 분리, 격차라는 세 가지 뚜렷한 구조를 인식하는 것으로 시작된다.38
버라이어티로서 다양성이란, 조직이나 그룹의 구성원들 사이의 정보, 지식 또는 경험의 차이를 나타내고 창의성, 학습 및 의사 결정에 긍정적인 영향을 미친다.39 이것은 전문직간 팀워크가 환자 진료 23,40에 미치는 긍정적인 영향을 설명하고 다양성이 학습에 미치는 영향을 기초한다.24,25
Examining the root cause starts with recognizing three distinct constructs underlying diversity: variety, separation, and disparity.38 Diversity as variety indicates differences in information, knowledge, or experience among members of an organization or group and positively affects creativity, learning, and decision making.39 This explains the positive impact of interprofessional teamwork on patient care23,40 and underlies the effects of diversity on learning.24,25
그러나 이러한 긍정적인 효과는 분리로서의 다양성의 영향에 의해 반박될 수 있다: 이는 구성원들 간의 입장이나 의견의 차이를 의미한다. 이 다양성 구조는 사람들이 어떻게 그들 자신과 다른 사람들을, 종종 정형화된 패턴을 따르며, 집단 내 또는 집단에 속하기 위해 분류하는지를 설명한다. 이것은 갈등, 차별, 그리고 팀워크의 저하를 초래할 수 있다.39 건강관리에서, 사회적 분류화는 전문직군 사이의 silo를 영구화하고 직업간 협력을 저해할 수 있다, 41–43 그리고 고정관념stereotype은 특정 직업의 다양성을 제한할 수 있다.44
These positive effects may, however, be countered by the impact of diversity as separation: differences in position or opinion among members. This diversity construct explains how people categorize themselves and others, often following stereotypical patterns, to belong to either an in-group or out-group. This can lead to conflict, discrimination, and poor teamwork.39 In health care, social categorization may perpetuate silos between professions and impede interprofessional collaboration,41–43 and stereotyping may limit diversity in certain professions.44
불균형 구조로서의 다양성은 다양성이 얼마나 자주 지위 차이와 연관되는지를 설명한다.45 건강 관리에서 지위(위계)의 차이가 두드러져 직업들 간의 위계질서와 권력 차이를 초래한다. 이는 전문가 간 협업과 교육에 추가적인 장벽을 만들고 [리더십 능력]이 아니라, [학문적 또는 임상적 성공]을 기준으로 리더가 선발되는 위계적 리더십 모델을 영구화한다.
The diversity as disparity construct describes how diversity frequently is associated with status differences.45 Status disparity is prominent in health care, leading to hierarchy and power differentials between professions. This creates additional barriers to interprofessional collaboration and education37,46 and perpetuates hierarchical leadership models in which leaders are selected because of academic or clinical success rather than leadership skills.
규칙4
Simple rule 4
보건 전문직 교육에서 성과-기반 평가를 하는 곳이 늘어남에 따라서, 임상 전문지식의 개인별 달성도 측정이 더 발전하게 되었다. 그러나 복잡하고 변화하는 의료 시스템에서 적응적으로 협력하기 위해 개인과 팀이 필요로 하는 기술을 간과한다.49 보건 전문 교육 기관과 의료 시스템은 서로 독립적으로 결과를 평가하는 경향이 있다. 그 결과, [교육 지도자들은 보건 시스템 결과에 대한 잠재적 영향을 간과하면서 교육 프로그램에 대한 결정을 내리고, 보건 시스템 지도자들은 교육에 대한 영향에도 아랑곳하지 않고 임상 치료에 대한 결정을 내린다].
The growing practice of outcomes-based assessment in health professions education47,48 has advanced measurement of individual attainment of clinical expertise. However, it overlooks skills that individuals and teams need in order to collaborate adaptively in complex and changing health care systems.49 Health professions education institutions and health care systems tend to assess outcomes independently from each other. As a result, education leaders make decisions about education programs while overlooking potential effects on health system outcomes; health system leaders make decisions about clinical care without attention to impact on education.
교육 개혁은 보건 의료의 변화에 대한 능동적인 대응보다는 반응적인 경향을 나타낸다.
educational reform tends to represent reactive rather than proactive responses to changes in health care.
격차의 극복
Closing the Gap
규칙1
Simple rule 1
[보건의료와 보건전문직교육 간 목표의 융합]은의료와 교육의 구조를 일치시킴으로써 달성된다. 보건전문직교육기관과 병원 임원은 (재정, 교수진 개발, 멘토링 및 인정을 통해) 교육 사명을 지원하기 위해 협력해야 한다.57
Convergence of goals between health care and health professions education is accomplished through aligning structures of care and education.55,56 Deans of health professions schools and hospital executives collaborate to support the teaching mission through provision of financial resources, faculty development, mentoring, and recognition.57
르윈의 "해동-변화-재동결" 변화에 대한 이론에 따르면, 59 그러한 노력은 [우리가 무엇을 배워야 하는지, (환자를 포함하여)학습자가 무엇을 기여할 수 있는지]에 대한 전통적인 가정을 버리는 것에서 시작한다. 통합적인 목표와 역할과 준비에 대한 관심을 가진 협업 설계는 초보 학습자도 의료에 가치를 더할 수 있게 한다.60–63
In accordance with Lewin’s “unfreeze- change-refreeze” theory of change,59 such efforts involve letting go of assumptions rooted in traditions about what we need to learn and what learners, including patients, can contribute. Collaborative design, with unified goals and attention to roles and preparation, makes it possible even for novice learners to add value to care.60–63
환자 및 가족과의 파트너십은 진료와 교육을 일치시키고 직접 진료, 조직 설계, 보건 정책 및 보건 전문직 교육의 개선에 기여하기 위해 필수적이다.57 마찬가지로 이러한 파트너십은 조시아 메이시 주니어(Josia Macy Josia Macy Jr. "개인, 가족, 지역사회가 우리의 의료체계가 존재하는 바로 그 이유이다. 이 시스템 안에서 돌봄, 가르침, 학습, 또는 그 밖의 일을 하는 사람들이 이들(환자, 가족, 지역사회)과 완전하고 효과적으로 협력해야만 모두에게 최적의 건강과 웰빙을 촉진할 수 있다."65.
Partnerships with patients and families are essential to align care and education and contribute to improvements in direct care, organizational design, health policy, and health professions education.57 Likewise, these partnerships are in line with the Josiah Macy Jr. Foundation’s vision that “individuals, families, and communities are understood to be the very reason our health care system exists, and that those who are caring, teaching, learning, or otherwise working within the system must partner fully and effectively with them to foster optimal health and wellness for all.”65
보건, 의료 및 보건 전문직 교육 기관들은 보건, 보건 및 보건 전문직의 공동 목표를 완전히 달성하기 위해 주 및 연방 차원의 필요한 정책 변경을 공동으로 옹호하면서 기금 배분에 대한 포괄적인 접근법을 개발한다.57
To fully accomplish the shared goal of improved health, health care and health professions education organizations develop a comprehensive approach toward allocation of funds, collaboratively advocating for needed changes in policies at the state and federal level.57
규칙2
Simple rule 2
일과 교육의 통합을 통해 모범적인 학습 환경은 학습이 일이고 일이 학습임을 보장한다. 강의실 및 임상 환경에 통합된 접근방식은 새로운 콘텐츠를 이전 교육 모델보다 더 빠르고 효과적으로 도입할 수 있다.67–69 기술 및 기타 솔루션들은 교육적 가치가 없었던 작업을 줄여줄 것이다. 학습은 명시적으로 일상적인 임상 치료 활동의 한 부분이 될 것이며, 학습 환경의 모든 사람은 학습할 것으로 기대될expected 것이다. 학습에 대한 이러한 의도적인 접근은 개인의 발전을 지원하고 명상과 성찰을 위한 공간을 창조함으로써 복지를 촉진한다.
Through integration of work and education, exemplary learning environments ensure that learning is work and work is learning. Integrated approaches in classrooms and clinical settings can introduce new content more quickly and effectively than older education models.67–69 Technological and other solutions reduce work without educational value. Learning is an explicit part of the day-to-day activities of clinical care for all, and everyone in the learning environment is expected to learn. This intentional approach to learning promotes well-being by supporting personal development and creating space for mindfulness and reflection.
규칙3
Simple rule 3
다양한 관점의 통합은 협업과 열린 마음가짐의 촉진을 통해 이루어진다. 포용적 분위기는 다양성을 다양성으로 장려하고, 분리 및 불균형으로의 다양성에 반박대응countering함으로써 발생한다.
Integration of diverse perspectives occurs through promotion of collaboration and open-mindedness. An inclusive climate results from promoting diversity as variety, while countering diversity as separation and disparity.
공통의 목표를 강조하고 편견과 고정관념을 줄이기 위한 명시적 노력은 분리와 격차로서 다양성을 완화시킨다. 포용성과 관계를 강조하는 리더십에 대한 협력적 접근법은 disparity를 더욱 억제할 수 있다. 이는 ["낡은 권력"의 배타성, 권한 및 기밀성과는 반대되는] "새로운 권력"이라고 불리는 것에 대한 새로운 사회적 추세에 따른 것이다.74
Emphasis on common goals and explicit efforts to reduce bias and stereotypes mitigate diversity as separation and disparity. Collaborative approaches to leadership that emphasize inclusiveness and relationships further counter disparity.71–73 This follows emerging social trends toward what has been called “new power,” which values collaboration, sharing, and transparency, as opposed to the exclusivity, authority, and confidentiality of “old power.”74
포용적 분위기는 [부정적인 결과 없이 자신의 생각을 표현할 수 있다는 공동체 구성원의 자신감]으로 정의되는 "심리적 안전"의 창조를 통해 스스로를 강화할 수 있다.75
An inclusive climate can reinforce itself through creation of “psychological safety,” defined as community members’ confidence that they can express their ideas without negative consequences.75
이는 포용적 문화에서 다양한 학습자를 초대하고 참여시키는 동시에 학습 자체를 촉진하는 강화 사이클을 초래할 수 있다.77
This can result in a reinforcing cycle wherein a culture of inclusivity invites and engages diverse learners while also promoting learning itself.77
규칙4
Simple rule 4
학습 환경의 조직과 에이전트는 지속적인 개선과 혁신을 달성하기 위해 자신으로부터 그리고 자신에 대해 배운다. 그들은 Dweck78이 지속적인 학습과 개발에 초점을 맞춘 "성장형 마음가짐"라고 부르는 것을 가지고 있다. 모범적인 학습 환경은 (개인, 팀 및 조직 수준에서 계획-실행 주기와 유사한) 데이터-주도driven의 주기적 분석, 반영 및 프로세스 개선으로 만들어진다. 이 접근방식은 [연구가 의료에 영향을 미치고 의료가 연구에 영향을 주는]"학습 보건의료 시스템"의 개념을 [연구, 의료, 교육이 모두 서로 영향을 미치는] "학습적 학습환경"으로 확장한다.
The organizations and agents in the learning environments learn from and about themselves to achieve continuous improvement and innovation. They have what Dweck78 has called a “growth mindset,” focused on ongoing learning and development. Exemplary learning environments are shaped by data-driven cyclical analysis, reflection, and process improvement, analogous to plan–do– study–act cycles, at the individual, team, and organizational level. This approach expands the concept of “learning health care systems,” in which research influences practice and practice influences research,79 to “learning learning environments,” in which research, practice, and education all influence each other.
개인 수준에서, 순환 과정은 건강 직업에서 평생 학습을 설명하는 최근 신조어인 "마스터 적응 학습"으로 이어진다.80 마스터 적응 학습은 성찰적 의사의 구조를 자기조절학습과 적응적 전문성과 통합한다. 마스터 적응 학습에는 평가, 피드백, 성찰에 기초한 학습의 목적적 계획과 관련된 메타인지적 프로세스가 포함된다. 이는 일상적인 업무에서 효율적으로 기능하기 위해 필요한 [일상적인 전문지식]과 새로운 문제에 대응하는 데 필요한 [적응적 전문지식]의 개발을 지원한다.80
At the individual level, the cyclical process leads to “master adaptive learning,” a recently coined term describing lifelong learning in the health professions.80 Master adaptive learning integrates the construct of the reflective practitioner with self-regulated learning and adaptive expertise. It describes a metacognitive process involving purposeful planning of learning based on assessment, feedback, and reflection. This supports the development of the routine expertise needed to function efficiently on everyday tasks, as well as the adaptive expertise required to respond to new problems.80
제도적 차원에서 모범적인 학습 환경의 조직은 공유된 결과 데이터의 정기적인 검토에 협조하여 적응을 유도하고 지속적인 목표 정렬을 보장한다. 이 검토에는 인구보건 측정과 같은 외부 데이터와 인력수요에 대한 데이터가 포함된다.81
At the institutional level, organizations in exemplary learning environments collaborate in regular review of shared outcome data to guide adaptations and ensure ongoing alignment of goals. They include external data such as measures of population health and data on workforce needs in this review.81
결론
Concluding Remarks
17 Kirch D, Davis D, Headrick L, Davis N. Achieving clinical quality and patient safety: Education and research as critical success factors. National Academy of Medicine website. https://nam.edu/perspectives-2013- achieving-clinical-quality-and-patient- safety-education-and-research-as-critical- success-factors. Published 2013. Accessed February 13, 2019.
.2019 Jul;94(7):975-982.
doi: 10.1097/ACM.0000000000002689.
Exemplary Learning Environments for the Health Professions: A Vision
1S.M. van Schaik is professor of pediatrics and Baum Family Presidential Chair for Experiential Learning, University of California, San Francisco, San Francisco, California. S.A. Reeves is professor and dean, School of Nursing and Health Professions, Colby-Sawyer College, New London, New Hampshire, and chief nurse executive, Dartmouth-Hitchcock Health, Lebanon, New Hampshire. L.A. Headrick is professor emerita of medicine, University of Missouri School of Medicine, Columbia, Missouri.
In this article, the authors propose a vision for exemplary learning environments in which everyone involved in health professions education and health care collaborates toward optimal health for individuals, populations, and communities. Learning environments in the health professions can be conceptualized as complex adaptive systems, defined as a collection of individual agents whose actions are interconnected and follow a set of shared "simple rules." Using principles from complex adaptive systems as a guiding framework for the proposed vision, the authors postulate that exemplary learning environments will follow four such simple rules: Health care and health professions education share a goal of improving health for individuals, populations, and communities; in exemplary learning environments, learning is work and work is learning; exemplary learning environments recognize that collaboration with integration of diverse perspectives is essential for success; and the organizations and agents in the learning environments learn about themselves and the greater system they are part of in order to achieve continuous improvement and innovation. For each of the simple rules, the authors describe the details of the vision and how the current state diverges from this vision. They provide actionable ideas about how to reach the vision using specific examples from the literature. In addition, they identify potential targets for assessment to monitor the success of learning environments, including outcome measures at the individual, team, institutional, and societal levels. Such measurements can ensure optimal alignment between health professions education and health care and inform ongoing improvement of learning environments.
Supporting the development of a professional identity: General principles
Sylvia R. Cruess, Richard L. Cruess and Yvonne Steinert
Centre for Medical Education, Lady Meredith House, McGill University, Montreal, Canada
도입
Introduction
2006년에는 의대생의 전문직업성을 명시적으로 가르침으로써 의대생의 전직업문성이 향상될 수 있다고 가정하였다. 의학 교육의 미래에 관한 카네기 재단 보고서의 발간은 또 다른 방향을 제시하면서, 정체성 형성이 의학을 포함한 모든 전문직업성 교육의 기초적 요소가 될 것을 권고했다(Coke et al. 2010).
In 2006 it was assumed that the professionalism of medical students could be improved by teaching professionalism explicitly. The publication of the Carnegie Foundation report on the future of medical education suggested another direction, recommending that identity formation become a foundational element of all professional education, including medicine, (Cooke et al. 2010).
카네기 재단 보고서는 이러한 새로운 방향의 진화에 크게 기여했다(Cooke et al. 2010). 우리(Cruess et al. 2014) 및 기타(Jarvis-Selinger et al. 2012; Holden et al. 2015; Kalet et al. 2018)는 모든 학습자의 전문적 정체성 개발을 지원하는 것이 의료 교육의 주요 목표가 될 것을 권고했다.
The Carnegie Foundation report was a major contributor to the evolution in this new direction (Cooke et al. 2010). We (Cruess et al. 2014) and others (Jarvis-Selinger et al. 2012; Holden et al. 2015; Kalet et al. 2018) have recommended that supporting the development of a professional identity in all learners become a principal objective of medical education.
지금 일어나고 있는 것은 [이전 것에 대한 거부감보다는] 사상의 진화다(Irby and Hamstra 2016).
What is occurring is an evolution in thought rather than a rejection of what has gone before (Irby and Hamstra 2016).
특히 전문직업성을 가르치는 것이 목적인 프로그램 설립을 시도해온 많은 이들이 실존적 질문에 직면해 있다.
전문직업적 행동은 상황에 따라 달라지고, 필요할 때만 입는 코트 같은 것을 나타내야 하는가(Haidet 2008)?
아니면 전문직업적 행동은 그 사람이 누구인가의 본질적인 부분을 나타내는 표현으로 개인 내부에서 생겨나야 하는가? (Hafferty 2016).
Significantly, many who have attempted to establish programs whose objective was the teaching of professionalism have been faced with an existential question. Should professional behaviors be context-dependent and represent the equivalent of a coat that is worn only when necessary (Haidet 2008), or should these behaviors spring from within the individual, with their expression representing an essential part of who that person istheir professional identity? (Hafferty 2016).
교육목표로서의 직업적 정체성 형성
Professional identity formation as an educational objective
전문적 정체성의 본질과 그 형성을 이끄는 과정
The nature of a professional identity and the processes that lead to its formation
개인의 정체성은 유전적 요소와 환경적 요인 모두에 의존한다. 그것의 형성은 출생 시에 시작되어 유아기, 소아기, 청소년기, 초기 성인기 전반에 걸쳐 계속된다(마르시아 1966; 케간 1982; 에릭슨 EH와 에릭슨 JM 1998; 몬록세 2013). 이때 대부분의 학습자들은 의대에 입학한다. 발달 심리학에 따르면 청소년기와 성인 초기는 불확실성과 혼란의 시기일 뿐 아니라, 개개인이 점차 [자신이 되고자 하는 사람]을 확신하기 때문에 기회의 시기라는 것을 말해준다(Marcia 1966; Ericson EH and Ericson JM 1998; Vignoles et al. 2011).
One’s personal identity is dependent upon both genetic and environmental factors. Its formation begins at birth and continues throughout infancy, childhood, adolescence, and early adulthood (Marcia 1966; Kegan 1982; Erikson EH and Erikson JM 1998; Monrouxe 2013), at which time most learners enter medical school. Developmental psychology tells us that adolescence and early adulthood are a time of both uncertainty and turmoil, but also of opportunity because individuals gradually become more certain of who they wish to become (Marcia 1966; Erikson EH and Erikson JM 1998; Vignoles et al. 2011).
학습자가 일반인 구성원에서 숙련된 전문가로 변신하는 전문적 정체성 형성 과정(힐튼과 슬롯닉 2005)은 정상적인 발달 과정에 중첩된다.
The process of professional identity formation, through which learners are transformed from members of the lay public into skilled professionals (Hilton and Slotnick 2005), is superimposed upon the normal developmental process.
문헌에 따르면 전문직 정체성 형성에 영향을 미치는 가장 강력한 요인은 [역할 모델과 멘토], [임상적 상황과 비임상적 상황에서의 경험적 학습]이다(Skorikov and Vondracek 2011; Monruxe 2016). 더구나 경험학습은 성찰에 의해 강화되고, 가급적 롤모델과 멘토(Mann et al. 2009). 획득한 지식은 명시적 지식과 암묵적 지식의 혼합이며, 이것들 중 정체성 형성과 관련된 대부분은 암묵적이다(Eraut 2000; Hafferty 2016). 전문직 정체성 획득을 향한 진전은 일직선으로 진행되지 않고, 경과기간, 종종 전환이나 변화와 관련되는, 그리고 때때로 회귀하는 시간으로 특징지어진다(Monrluexe 2016).
The literature tells us that the most powerful factors impacting professional identity formation are role models and mentors, and experiential learning in both clinical and nonclinical situations (Skorikov and Vondracek 2011; Monrouxe 2016). Moreover, experiential learning is reinforced by reflection, preferably guided by role models and mentors (Mann et al. 2009). The knowledge gained is a mixture of the explicit and the tacit, with the majority relating to identity formation being tacit (Eraut 2000; Hafferty 2016). Progress towards the acquisition of a professional identity does not proceed in a straight line, but is characterized by periods of progress, often associated with transition or change, and occasional times of regression (Monrouxe 2016).
개인은 의학의 실천 공동체에서 "합법적인 주변 참여"에서 완전한 참여로 이동하며, 그 기간 동안 그들은 공동체 구성원들의 정체성을 획득한다(Lave와 Wenger 1991). 그렇게 함으로써 그들은 공동체에 의해 확립된 행동 규범을 받아들여야 한다(벵거 1998). 이 때, 규범이 개인의 습관이나 신념과 상충될 수 있기 때문에 자기 자신과 공동체 사이에서의 일련의 개인적 협상이 수반된다(Frost and Regehr 2013). 공동체의 실천에 대한 무자격 동의나 참여가 요구되지는 않지만, [역량, 배려와 동정심, 정직과 성실성, 기밀성과 같은 핵심 태도와 신념은 본질적으로 협상할 수 없다](Cruess et al. 2014). 이러한 핵심 신념을 받아들이지 않으면 제재나 공동체로부터의 실제 배제로 이어질 수 있다(Hafferty 2016).
Individuals move from “legitimate peripheral participation” in medicine’s community of practice to full participation, during which time they acquire the identity of members of the community (Lave and Wenger 1991). In so doing, they must accept the norms of behavior established by the community (Wenger 1998). This entails a series of personal negotiations with one’s self and the community as the norms can conflict with personal habits or beliefs (Frost and Regehr 2013). While unqualified agreement or engagement in the practice of the community are not required, core attitudes and beliefs, such as competence, caring and compassion, honesty and integrity, and confidentiality are essentially nonnegotiable (Cruess et al. 2014). Failure to accept these core beliefs can lead to either sanctions or actual exclusion from the community (Hafferty 2016).
개인의 정체성은 그 개인이 타인에 의해 어떻게 인식되는지, 그리고 그들이 자신을 어떻게 인지하는지의 조합을 나타낸다(Monruxe 2010). 각 개인의 여정은 독특하며, 일부는 과정을 통해 순조롭게 진행되는 반면, 다른 사람들에게는 그 경험이 좌절감과 스트레스를 주는 경우가 많은데, 이는 종종 그들의 기존 정체성과 지역사회의 요구 조건 사이의 "불협화음" 때문이다(Frost and Regehr 2013; Monruxe 2016). 학습자는 의학의 언어를 배우고 의학의 위계 및 권력 구조를 이해해야 한다(Beagan 2005; Lamilley et al. 2011). 그들이 의사처럼 대우받게 되면서, 그들은 더 진정성authentic을 느끼기 시작하는데, 이것은 전문직 정체성의 개발에 필요한 것이다(Jarvis-Selinger et al. 2012). 가장 중요한 것은 역량의 느낌feeling of competence이다(Skorikov and Vondracek 2011). 이는 만족과 즐거움, 직업 정체성의 발전과 안정화에 있어 강력한 요인을 이끌어낼 수 있다.
An individual’s identity represents a combination of how that individual is perceived by others and how they perceive themselves (Monrouxe 2010). Each person’s journey is unique, with some progressing smoothly through the process, while for others the experience is frustrating and stressful, often because of “dissonance” between their existing identity and the requirements of the community (Frost and Regehr 2013; Monrouxe 2016). Learners must learn the language of medicine and come to grips with its hierarchy and power structures (Beagan 2005; Bleakley et al. 2011). As they come to be treated like doctors, they begin to feel more authentic, something necessary for the development of a professional identity (Jarvis-Selinger et al. 2012). Of utmost importance is a feeling of competence (Skorikov and Vondracek 2011). This can lead to satisfaction and joy, powerful factors in the development and stabilization of a professional identity.
개인의 개인적, 직업적 정체성은 평생 동안 발달하며, 10대 후반과 초기 성인의 삶은 특히 형성적formative이다. 오래 전부터 의대생들은 레지던트와 의사들처럼 뚜렷한 정체성을 가지고 있다는 것이 인정되어 왔다(보스크 1979; Becker et al. 1961). 개인은 개인 및 직업적 상황이 변함에 따라 일생 동안 언제든지 자신의 정체성을 재창조할 수 있기에, 정체성이 결코 고정된 것이 아니다(Lockyer et al. 2016).
An individual’s personal and professional identities develop throughout their lifetime, with the late teens and early adult life being particularly formative. It has long been recognized that medical students have distinct identities, as do residents, and practitioners (Bosk 1979; Becker et al. 1961). Identities are never fixed, as an individual can re-create their identities at any time during their lifetime as personal and professional circumstances change, leading to an altered sense of self (Lockyer et al. 2016).
교육 이론
Educational theory
의학교육을 지원하기 위해 제기되어 온 교육 이론들이 많은데, 대부분은 역할 모델링이나 체험 학습과 같은 개별 학습 영역을 언급하고 있다(Kaufman and Mann 2010; Teunissen and Wilkinson 2011; Steinert 2016a). "논리적인 근거의 체계와 학습 자체에 대한 더 나은 이해를 구축할 수 있는 개념 체계"를 제공하는 사람은 거의 없다(Mann et al. 2011). 이용 가능한 이론 중, 실천공동체가 가장 적합한 것으로 보인다(Cruess et al. 2018). 이 구성주의적 사회학습 이론은 Lave와 Wenger에 의해 처음 제안되었으며, 그 공식화 이후 직업 정체성의 개념과 불가분의 관계에 있었다(Lave와 Wenger 1991). 실천 공동체는 "중복된 지식 기반, 일련의 믿음, 가치관, 역사 및 공통 실천에 초점을 맞춘 경험을 공유하고 발전시키는 개인의 지속적이고 지속적인 사회적 네트워크"이다(Barab et al. 2002). 공동체에 참여하고자 하는 사람들은 지역사회에 대한 [합법적인 주변적 참여]에서 [완전한 성원권 획득]으로 이동하면서 자발적으로 참여한다. 그렇게 함으로써, 그들은 공동체 구성원들이 염원하는 정체성을 획득하면서 공동체가 확립한 규범을 받아들여야 한다(벵거트레이너 E와 벵거트레이너 B 2014).
There are a host of educational theories that have been invoked to support medical education, with most referring to individual domains of learning such as role modeling or experiential learning (Kaufman and Mann 2010; Teunissen and Wilkinson 2011; Steinert 2016a). Few provide an integrated “conceptual framework that can build a coherent body of evidence and a better understanding of learning itself” (Mann et al. 2011). Of those available, communities of practice appear to be the most suitable (Cruess et al. 2018). This constructivist social learning theory, first proposed by Lave and Wenger, has been inextricably linked with the concept of professional identity since its formulation (Lave and Wenger 1991). A community of practice is “a persistent, sustaining social network of individuals who share and develop an overlapping knowledge base, set of beliefs, values, history, and experiences focused on a common practice” (Barab et al. 2002). Those wishing to join the community do so voluntarily, moving from legitimate peripheral participation in the community to full membership. In so doing, they must accept the norms established by the community as they acquire the identity aspired to by community members (Wenger-Traynor E and Wenger-Traynor B 2014).
의학은 (다른 직업처럼) 하나의 공동체로만 구성되는 것이 아니라 실제로 각각의 잠재적 정체성을 가진 "공동체의 풍경"을 나타낸다(Wenger-Traynor E, Wenger-Trayn 2014). 'medicine' 이라고 부를 수 있는 global community가 분명히 하나 있지만, medicine의 activity는 무엇보다도 임상치료, 교육 실무, 연구, 기타 활동으로 이루어져 있으며, 이 모든 것이 medicine 공동체 내에서 (하위)공동체를 구성할 수 있다고 지적하고 있다. 각각은 뚜렷한 정체성이나 정체성을 촉진시킬 수 있다. 따라서, 의사는 다중적 개인 정체성 외에도, 상황에 따라 표현되거나 작동되는 다중의 전문적 정체성을 보일 수 있다.
Medicine, in keeping with other occupations and vocations, does not consist of only one community, but actually represents a “landscape of communities”, each with its own potential identity (Wenger-Traynor E and Wenger-Traynor B 2014). There is clearly one global community that can be termed as medicine, but the Wenger-Traynor E and WengerTraynor B (2014) point out that medicine’s activities consist, amongst other things, of clinical care, educational practices, research, and other activities, all of which can constitute communities within medicine’s larger community. Each can foster a distinct identity or identities. Thus, in addition to multiple personal identities, a physician can demonstrate a multiplicity of professional identities that are expressed or operationalized depending upon the context.
중요한 것은 의료현장의 성격이 지난 몇 십 년 동안 급격히 변화했고 그 결과 의사가 기능하는 실천공동체의 구성과 내부 구조가 진화했다는 점이다(Goldie 2012; 2013; Monruxe 2016). 의사들은 이제 다른 건강관리 전문가들을 포함하는 "유동적fluid" 공동체의 일원이 되었다. 계층 구조와 업무 할당에도 상당한 변화가 있었다. 이러한 공동체 내에서 경계를 협상하는 것은 어렵지만 필요하다. 특히 의료행위의 새로운 현실을 대표하기 때문이다(Bleakley et al. 2011).
Importantly, the nature of the healthcare workplace has shifted dramatically during the past few decades and as a result, the composition and internal structures of communities of practice within which physicians function has evolved (Goldie 2012; 2013; Monrouxe 2016). Physicians are now members of “fluid” communities that include other health-care professionals. There has also been a significant shift in hierarchical structures and work assignments. Negotiating boundaries within these communities are difficult but necessary, especially as it represents the new reality of the practice of medicine (Bleakley et al. 2011).
실행 이론working theory으로서 실천 공동체에 비판이 없는 것은 아니었다. 가장 심각하고 확실히 가장 타당한 것은 다른 사회 구조(Bourdieu and Paison 1990)와 함께, 실천공동체는 기존의 계층 구조와 불평등을 영구화하면서 스스로를 재생산하는 경향이 있다는 것이다(Roberts 2006). 또한, 다른 이론과 마찬가지로, 정체성 형성의 미묘함과 복잡성을 완전히 포괄할 수는 없다(Monrouxe 2013). 그러나, 몇년에 걸친 실천 공동체에 대한 문헌의 검토는 공동체와 그 성격에 대한 우리의 이해의 변화를 수용하면서 진화 능력을 나타낸다(벵거-트레이너 E 및 벵거-트레이너 B 2014).
Communities of practice as a working theory has not been without criticism. The most serious, and certainly the most valid, is that, in keeping with other social structures (Bourdieu and Passeron 1990), communities tend to reproduce themselves, perpetuating existing hierarchies and inequities (Roberts 2006). Also, in keeping with other theories of learning, it cannot fully encompass all of the subtleties and complexities of identity formation (Monrouxe 2013). However, examination of the literature on communities of practice through the years indicates its capacity to evolve, accommodating changes in our understanding of communities and their nature (Wenger-Traynor E and Wenger-Traynor B 2014).
이러한 비판에도 불구하고 의료 교육에 대한 이의 적용은 커리큘럼을 개발할 수 있는 유용한 이론적 프레임워크를 제공할 수 있다(Cruess et al. 2018).
In spite of these criticisms, Its application to medical education can provide a useful theoretical framework around which a curriculum can be developed (Cruess et al. 2018).
원칙
Principles
거의 20년간의 경험은 전문직업성과 관련된 이슈를 다루는데 있어 의도적인 것의 중요성을 강조해왔다(Cruess RL and Cruess SR 2006; Birden et al. 2013).
Almost two decades of experience have emphasized the importance of being intentional in addressing issues related to teaching professionalism (Cruess RL and Cruess SR 2006; Birden et al. 2013).
전문성을 가르치면서 습득한 주요 교훈(Birden et al. 2013)은 여전히 타당하다:
교육목표를 명시적으로 다루어야 하고,
인지적 기반을 확립하고 전달해야 하며,
자발적이고 의도적으로 창조된 임상 및 비임상적 교육경험에 대한 guided reflection을 촉진하며, 이 과정에 멘토와 역할모델이 참여하여 그 과정의 핵심을 이루어야 한다
The principal lessons learned in teaching professionalism (Birden et al. 2013)remain valid:
addressing the educational objective explicitly,
establishing and transmitting a cognitive base, and
promoting guided reflection on both spontaneous and intentionally created clinical and non-clinical educational experiences, with mentors and role models being central to the process.
교육 목적 및 지망 목표로서의 전문적 정체성 확립
Establish professional identity as an educational objective and aspirational goal
반세기 이상 전에 머튼이 지적한 바와 같이, 의학교육의 목적은 의사들이 "의사처럼 생각하고 행동하며 느낄 수 있도록" 의사들에게 의학의 실천에 필요한 지식과 기술을 제공하는 것이다(Merton 1957). 우리는 이 두 가지 목표가 동등하게 중요하며, 이 두 가지 목표가 모두 의학의 교육 기관의 목표를 설명하는 미션 진술과 다른 문서에서 명시적으로 설명되어야 한다고 생각한다.
As pointed out by Merton over one half-century ago, the aim of medical education is to provide practitioners with the knowledge and skills necessary for the practice of medicine and a professional identity so that they come to “think, act, and feel like doctors” (Merton 1957). We believe these two objectives are of equal importance and that they should both be explicitly addressed in the mission statements and other documents outlining the objectives of medicine’s educational institutions.
의료 교육을 뒷받침하는 교육 이론으로 실천 공동체를 명시적으로 수용
Explicitly embrace communities of practice as the educational theory underpinning medical education
교육을 가이드할 이론적 틀이 없다면 역사적 전례, 직관 또는 인식된 상식에 너무 많이 의존하게 될 위험이 있다(Steinert 2016a). 이는 새로운 개념이나 기존 커리큘럼에 대한 접근법을 도입할 때 특히 그렇다. 의학교육에서 언급되기는 하지만 정체성 형성과 사회화는 최근까지도 그 과정의 기본이 되는 임상 교사들 사이의 일상적인 대화의 일부가 되지 못했다.
Without a theoretical framework to guide our teaching, there is a danger that there will be too much reliance on historical precedent, intuition or perceived common sense (Steinert 2016a). This is particularly true when introducing new concepts or approaches to an existing curriculum. Identity formation and socialization, while referred to in medical education, have not until recently been part of the everyday dialog among the clinical teachers who are fundamental to the processes.
'실천 공동체'의 개념을 사용하는 것은 많은 이점을 제공한다:
의학을 집단적 실천과 학습 공동체로서 정확하고 명확하게 설명하며, 공동체 구성원들이 쉽게 이해할 수 있다;
전문적 정체성의 획득이 공동체 참여에 필요한 부분임을 명시한다.
명확하게 이해되는 규범의 중요성을 강조한다.
교육 활동과 그것을 뒷받침하는 이론을 실천 공동체 안에 배치함으로써 다른 학습 이론을 통합할 수 있다;
전문적인 정체성의 발달로 이어지는 과정을 설명할 수 있고, 이 과정을 서포트하는 데 필요한 교육 활동의 방향을 가이드해준다.
Promoting the use of communities of practice offers many advantages:
it is an accurate and clear description of medicine as both a collegial practice and a learning community and can be understood readily by members of the community;
it specifies that the acquisition of a professional identity is a necessary part of joining the community;
it recognizes the importance of clearly understood norms;
it is capable of incorporating other learning theories by placing the educational activities and the theories that support them within the community of practice; and
it can both explain the process that leads to the development of a professional identity and help to guide educational activities to support that process.
제도적 지원 제공
Provide institutional support
교수진의 리더십이 필수적이기 때문에 강력한 제도적 뒷받침 없이는 커리큘럼 강조나 방향 전환이 일어날 수 없다. 학장과 과장은 공개적으로 승인 신호를 보내야 하고 교수진의 참여를 유도하는 조치를 취해야 한다. 이를 위해서는 교육과정, 인력 및 자원의 시간 배분이 필요하다. 또 프로그램 설립과 유지에 관여한 자도 인정받아 보상을 받아야 한다. 전문성을 가르치기 위한 프로그램을 잘 개발한 기관의 경우, 이러한 변화는 혁명적이기보다는 진화적일 수 있다(Irby and Hamstra 2016).
No major shift in curricular emphasis or direction can occur without strong institutional support, with faculty leadership being essential. Deans and Chairs must publicly signal their approval and institute measures that lead to faculty buy-in. This requires the allocation of time in the curriculum, personnel, and resources. In addition, those involved in establishing and maintaining the program should be recognized and have rewarded. For those institutions that well-developed programs for teaching professionalism, the changes can be evolutionary rather than revolutionary (Irby and Hamstra 2016).
책임 할당
Allocate responsibility
전문적 정체성 형성을 지원하는 프로그램 구축에 대한 책임은 명확한 권한으로 정립되어야 한다. 광범위한 참여를 촉진하기 위해, 대부분의 기관은 부서 차원을 초월한 작업 그룹에 책임을 할당하는 것이 더 바람직하다고 생각한다(Holden et al. 2015; 2016). 그룹리더로 선정된 개인이나 집단은 해당 분야에 대한 식견을 갖추고 기관 내에서 충분한 신장과 인격을 갖추어 존경심을 갖고 교수진 리더십에 쉽게 접근할 수 있도록 하는 것이 중요하다. 일부 기관은 정체성 형성과 사회화에 대한 유용한 지식을 가져올 수 있는 교육이나 사회과학의 구성원들을 포함하는 것이 도움이 된다는 것을 발견했다(Holden et al. 2016).
Responsibility for the establishment of programs to support professional identity formation must be established with clear lines of authority. In order to promote broad buy-in, most institutions find it preferable to allocate responsibility to a working group that crosses departmental lines (Holden et al. 2015; 2016). It is important that the individual or individuals chosen to lead the group be knowledgeable in the area and have sufficient stature and profile within the institution to command respect and to have easy access to faculty leadership. Some institutions have found it helpful to include members from education or the social sciences who can bring helpful knowledge of both identity formation and socialization (Holden et al. 2016).
비록 의학 교육은 연속체이지만, 인증 과정이 연결되지 않기 때문에 학부와 대학원 프로그램의 관리에 대한 책임은 거의 보편적으로 분리되어 있다.
Although medical education is a continuum, responsibility for the administration of undergraduate and postgraduate programs is almost universally separate, in part because accreditation processes are not linked.
공통의 핵심이 존재하지만 의대생, 전공의, 의사는 실제로 뚜렷한 정체성을 가지고 있다는 것이 여러 해 동안 이해되어 왔다(Becker et al. 1961; Bosk 1979). 지금까지 의학의 정체성 형성에 관한 문헌은 대부분 학부 수준의 연구로부터 생겨났으며, 대학원 교육에 대한 관찰은 겨우 나오기 시작했다. 전문성을 가르치면서 얻은 경험을 바탕으로, 부분적으로는 커리큘럼의 통일된 특성 때문에 학부 차원의 프로그램은 상대적으로 구축이 용이하다는 것이 명백하다. 졸업후교육은 여러 개의 크게 독립적인 프로그램으로 구성되어 있어 모두에게 인지적 기반을 전달하고 정기적으로 성찰적 운동의 존재를 보장하는 것을 더욱 어렵게 한다. 그러나 이는 졸업후교육이 실무자들의 최종 정체성에 더 깊은 영향을 미치기 때문에 유감스러운 일이다(Ludmerer 2014).
It has been understood for many years that, while there exists a common core, medical students, residents, and practitioners actually have distinct identities (Becker et al. 1961; Bosk 1979). Thus far, most of the literature on identity formation in medicine has arisen from studies at the undergraduate level, with observations on postgraduate training only beginning to emerge. Based on experience gained in teaching professionalism, it is apparent that it is easier to establish programs at the undergraduate level, in part due to the unified nature of the curriculum. Postgraduate education consists of multiple largely independent programs, making it more difficult to communicate the cognitive base to all and to ensure the presence of reflective exercises on a regular basis. This is unfortunate as many feel that postgraduate education has a more profound impact on the practitioners’ final identities (Ludmerer 2014).
인지 기반 개발 및 전달
Develop and transmit the cognitive base
직업적 정체성 형성을 명시적으로 다루기 위한 기본은 공식 커리큘럼에 포함시키는 것이다. 공식 커리큘럼은 "문서화된, 의도된, 공식적으로 승인된" 교육이다(Hafferty and Franks 1994).
Fundamental to explicitly addressing professional identity formation is its inclusion in the formal curriculum the part that is “stated, intended, and formally endorsed” (Hafferty and Franks 1994).
어떤 것을 가르치고 배우고 평가하려면 반드시 정의가 있어야 한다(Kolb 1984). 전문성을 가르치는 것이 교육 목적이었을 때, 인지 기반은 직업이나 전문성의 정의와 사회에 의해 "좋은 의사"가 기대하는 속성 및 가치에 대한 지식으로 구성되었다(Cruess RL and Cruess SR 2006).
If something is to be taught, learned, and assessed, it must be defined (Kolb 1984). When teaching professionalism was the educational objective, the cognitive base consisted of a definition of profession or professionalism and a knowledge of the attributes and values expected of the “good physician” by society (Cruess RL and Cruess SR 2006).
직업적 정체성 형성이 명시적 교육목표가 되려면 인지적 기반이 확장되어야 한다. 전문직 정체성은 정체성이 형성되는 과정인 사회화와 함께 정의되어야 한다.학습자와 교수진은 전문적 정체성의 본질과 그 발전을 지지하거나 억제하는 요소에 대한 지식을 알아야 한다. 이것은 특히 중요한데, 교육목표를 달성하기 위한 기본은 학생들을 자신의 정체성 개발에 참여시키는 것이기 때문이다(Billett 2004).
If professional identity formation is to become an explicit educational objective, the cognitive base must be broadened. Professional identity must be defined as well as socialization, the process through which identities are formed. Knowledge of the nature of professional identity and the factors that support or inhibit its development must be known to learners and faculty. This is particularly important because fundamental to achieving the educational objective is engaging students in the development of their own identity (Billett 2004).
전문직업성을 가르치면서 얻은 경험과 발전된 내용이 실천 공동체의 규범을 정의하게 되므로, 여전히 깊이 관련성이 유지된다(Cruess et al. 2014).
The experience gained and the content developed in teaching professionalism continues to be pertinent as it defines the norms of the community of practice (Cruess et al. 2014).
이러한 이유로, 전문직이나 전문직업성에 대한 정의와 전문직업적 "좋은 의사"의 가치와 속성의 목록은 전문적 정체성의 기반이 되거나 인지 기반에서 기초적인 부분으로 남아있게 된다.
For this reason, the definitions of profession or professionalism and the list of the values and attributes of the professional “good physician” that underlie professional identity, or remain a foundational part of the cognitive base.
인지 기반은 교육과정 초반에 신입 의대생들에게 상호작용적 방식으로 교육되어야 하며 경험과 성숙도를 얻을수록 더욱 정교해지는 수준으로 개발되어야 한다(Boudreau 2016). 이것은 대학원 수준에서도 적용된다. 그러나 인지 기반에 대한 노출은 그 내용에 의해 제기된 도전적인 문제에 대한 반성과 분리되어서는 안 된다. 아래에서 볼 수 있듯이, 지식기반은 그것을 인증하고 원하는 정체성의 성격과 달성 방법에 대한 반성을 자극하기 위해 설계된 활동과 연결되어야 한다(Boudreau 2016; Holden et al. 2016).
The cognitive base should be presented hopefully in an interactive fashion to incoming medical students very early in the curriculum and it should be developed with increasing levels of sophistication as they gain experience and maturity (Boudreau 2016). This also holds true at the postgraduate level. However, exposure to the cognitive base must not be divorced from reflection on the challenging issues raised by its content. As will be seen below, the base must be linked to activities designed to authenticate it and to stimulate reflection on the nature of the desired identity and how it is to be achieved (Boudreau 2016; Holden et al. 2016).
교수개발 제공
Provide faculty development
교수개발은 전문직업성을 가르치기 위한 프로그램 구축에 필수적인 것으로 밝혀졌다(Steinert et al. 2007). 정체성 형성, 사회화, 실천 공동체의 개념과 언어가 임상 교사들 사이에 일반적인 담론의 일부가 아니었기 때문이다. 전문직 정체성 형성을 뒷받침하는 교육 활동을 성공적으로 수행하기 위해서는 교수개발이 필수적이다(Steinert 2016b).
Faculty development was found to be essential in establishing programs to teach professionalism (Steinert et al. 2007). Because the concept and language of identity formation, socialization, and communities of practice have not been a part of the ordinary discourse amongst clinical teachers, faculty development is essential to successfully implementing educational activities in support of professional identity formation (Steinert 2016b).
교수개발에 대한 현대의 이해에 따르면, FDP는 [교수진 개개인]과 교수학습이 발생하는 [복잡한 기관] 모두를 다루어야 한다(Steinert et al. 2016c). 교수진들이 커리큘럼 목표, 핵심 개념, 정체성 형성의 언어를 이해하도록 보장함으로써 역할 모델링과 멘토링을 향상시켜 정식 커리큘럼과 비공식 커리큘럼 모두에 영향을 줄 수 있다. 레지던트는 동료 및 학부 의대생 모두에게 강력한 역할 모델인 만큼(Sternszus et al. 2016) 교수개발 프로그램에도 포함시켜야 한다.
Contemporary understanding of faculty development indicates that programs must address both individual faculty members and also the increasingly complex institutions in which teaching and learning occur (Steinert et al. 2016c). By ensuring that faculty members understand the curricular objectives, the core concept and the language of identity formation, it is possible to improve role modeling and mentoring, impacting both the formal and the informal curriculum. As residents are powerful role models for both their peers and undergraduate medical students (Sternszus et al. 2016), they should also be included in faculty development programs.
학생들이 자신의 전문적 정체성을 개발하도록 유도
Engage students in the development of their own professional identities
[전문직업성을 가르치는 것]에서 [개인의 직업적 정체성을 발전시키도록 개인을 명시적으로 지원하는 것]으로 초점을 전환하는 것은 의과대학에서 전통적으로 발견되었던 교육에도 큰 변화를 나타낸다. 전문직업성을 가르치는 것이 목표였을 때 교수들이 가르쳤고 학생들이 배웠다고 가정했다(Cruess RL과 Cruess SR 2006). 전문직 정체성의 획득이 목표가 되면, 핵심적 책임은 교사로부터 의학의 실천 공동체에 참여하기를 원하는 학습자로 옮겨간다(Wenger-Traynor E, Wenger-Traynor B 2014). 오직 학습자만이 자신이 되고자 하는 사람이 누구인지 결정할 수 있으며, 개인적이고 전문적인 정체성을 결합해나갈 수 있다(Monrouxe 2013).
Shifting the emphasis from teaching professionalism to explicitly supporting individuals as they develop their professional identities represents a major change from the educational practices traditionally found in the medical school. When the objective was teaching professionalism, professors taught and it was assumed that students learned (Cruess RL and Cruess SR 2006). When the acquisition of a professional identity becomes the objective, the onus shifts from the teacher to the learner who wishes to join medicine’s community of practice (Wenger-Traynor E and Wenger-Traynor B 2014). Only the learner can determine who they wish to become, gradually melding their personal and professional identities (Monrouxe 2013).
정체성 형성에 관한 문헌(Jarvis-Selinger et al. 2012; Monrouxe 2016), 실천 공동체(WengerTraynor E 및 Wenger-Traynor B 2014), 직장 학습(Billett 2004; 2016)은 모두 정체성 형성의 과정에서 학습자 참여의 중요성을 강조한다. 또한, 모든 "(더 전문성을 가진 (의료)인력과의 활동을 포함하여) 경험한 것에 대한 적극적인 참여를 강조한다" (Billett 2016)참여engagement에 의존하는 참여participant도 필수적이라고 간주된다(Billett 2004; Willigger-Traynor E 및 Wenger-Traynor B 2014). 참여engagement를 보장하기 위해서는, 일과 학습에 대한 명확한 목표를 주고, 적절한 활동에 대해 접근할 수 있어야 한다(Billett 2016). 교육 여정 초기에 교육 목적과 인지 기반을 전달하면 목표를 설정할 수 있다.
The literature on identity formation (Jarvis-Selinger et al. 2012; Monrouxe 2016), communities of practice (WengerTraynor E and Wenger-Traynor B 2014), and workplace learning (Billett 2004; 2016) all stress the importance of learner engagement in the process of identity formation. Additionally, all “emphasize active engagement with what is experienced, including activities with more expert workers” (Billett 2016). Participation, that is dependent upon engagement, is also deemed to be essential (Billett 2004; Wenger-Traynor E and Wenger-Traynor B 2014). To ensure engagement, the presence of clear goals for work and learning, and access to appropriate activities are stressed (Billett 2016). Communicating the educational objectives and the cognitive base very early in the educational journey can establish the goals.
McGill University 및 그 밖의 지역에서의 경험(Boudreau 2016; Kalet et al. 2018)은 학생들을 자신의 정체성 개발에 참여시키는 것이 어렵지 않다는 것을 시사한다. 우리 의과대학에서는, 교육 첫날의 교육목적으로 정체성 형성에 대해 논의함으로써 다루어진다. 입학생들은 자신의 정체성을 생각하고, 자신이 되고자 하는 전문직의 유형을 미리 내다보고 결정하라는 도전을 받는다. 그들은 전문적인 정체성과 그들이 어떻게 형성되는지, 사회화의 세부사항, 그리고 예상되는 정체성의 규범에 대한 지식을 제공받는다. 학습단계에 적합한 성찰 연습은 학부 및 대학원 과정 전반에 걸쳐 계획되어 있으며, 그 때 학습자들은 의사가 되기 위한 여정에서 현재 자신이 서있는 곳을 확인하고 그 과정을 촉진하거나 방해하는 요인을 조사하도록 권장된다. 임상실습 시작과 졸업후수련 등 전환시점에서는 특히 주의를 기울인다. 참여는 각 개별 학습자에 중점을 두고 교육 연속체 전체에 걸쳐 지속적으로 정체성 형성의 주제로 되돌아감으로써 촉진된다.
Experience at McGill University and elsewhere (Boudreau 2016; Kalet et al. 2018) suggests that engaging students in the development of their own identities is not difficult. In our setting, it is addressed by discussing identity formation as an educational objective on the first day of instruction. Incoming students are challenged to think of their own personal identities and to look ahead and determine the type of a professional they wish to become. They are provided with knowledge of professional identities and how they are formed, the details of socialization, and the norms of the identity expected. Stage-appropriate reflective exercises are scheduled throughout the undergraduate and postgraduate years, at which time learners are encouraged to identify where they are on the journey to becoming a physician and examine the factors that are either promoting or hindering the process. Particular attention is given to periods of transition such as the beginning of clerkship and postgraduate training. Engagement is promoted by constantly returning to the theme of identity formation throughout the educational continuum, with an emphasis on each individual learner.
환영 커뮤니티 만들기 및 유지 관리
Create and maintain a welcoming community
실천 공동체의 안정성과 행복은 가입join을 희망하는 사람들과 떠날 준비를 하는 사람들 사이의 역동적인 상호 작용에 달려 있다(Wenger-Traynor E, Wenger-Traynor B 2014; Lockkyer et al. 2016). 분명히, 어떤 공동체의 미래는 [공동체에 헌신하는 유능한 개인들의 지속적인 획득acquitision]에 달려있다. 이들이 미래의 동료와 조직의 미래를 모두 대변하는 만큼 환영하는 공동체를 만드는 것은 현명하고도 현명한 일이다.
The stability and well-being of communities of practice, depends upon the dynamic interplay between those aspiring to join, and those preparing to leave (Wenger-Traynor E and Wenger-Traynor B 2014; Lockyer et al. 2016). Clearly, the future of any community depends upon the constant acquisition of competent individuals committed to the community. As they the represent both future colleagues and the future of organization, it is both judicious and wise to create a community that is welcoming.
의학은 고유의 언어, 계층 및 권력 구조를 가진 사회 구조다(Bleakley et al. 2011; Goldie 2012; Monruxe 2013). 의료계가 언제나 모든 사람을 환대한 공동체는 아니었고, 여성과 많은 소수민족을 배재해왔다. Medicine 역시 (다른 사회구조와 마찬가지로) 기존의 위계, 권력구조, 불평등을 영구화하면서 자신을 재생산하려는 특성을 모든 공유한다(Bourdieu and Paesson 1990). 진전이 이루어진 반면, 커뮤니티는 규범과 경계를 정함으로써 포함과 배제를 계속 결정하고 있다(Beagan 2005). 이는 반드시 인정되어야 하며, 커뮤니티는 성별, 인종, 문화 또는 사회경제적 지위에 관계없이 모두에게 환대해야 하며, 그렇게 하는 것으로 인식되어야 한다(Frost and Regehr 2013; Monruxe 2016).
Medicine is a social structure with its own language, hierarchy, and power structures (Bleakley et al. 2011; Goldie 2012; Monrouxe 2013). It has not always been a welcoming community, having in the past excluded women and many minorities (Beagan 2005). Medicine shares this characteristic with all social structures that tend to reproduce themselves, perpetuating existing hierarchies, power structures, and inequities (Bourdieu and Passeron 1990). While progress has been made, the community continues to determine inclusion and exclusion by establishing its norms and boundaries (Beagan 2005). This must be recognized and the community must be, and be seen as being, welcoming to all, irrespective of gender, race, culture, or socioeconomic status (Frost and Regehr 2013; Monrouxe 2016).
환대를 위해서, 공동체는 [개인의 정체성이 공동체의 규범과 충돌할 때 발생하는 긴장을 해소하기 위한 개인적 시도에서] 발생할 수 있는 불안감이나 불협화음을 이해해야 한다(Monrouxe 2010). 직업적 정체성의 획득은 학습자의 개인적 정체성의 핵심을 억압해서는 안 된다. 학생들과 거주자들은 표준화와 다양성 (Frost and Regehr 2013)이라는 두 가지 경쟁 담론으로 묘사된 것을 조화시키려 하기 때문에 "온전히 학생에게만 맡겨져서는" 안 된다.
To be welcoming, the community must understand the unease or dissonance, that can arise as an individual attempts to resolve the tension that can arise when their personal identity conflicts with the norms of the community (Monrouxe 2010). The acquisition of a professional identity must not suppress the core of a learner’s personal identity. Students and residents must not be “left to their own devices” as they attempt to reconcile what has been described as two competing discourses - standardization and diversity (Frost and Regehr 2013).
의학의 사회 구조에 내재된 일부 어려움을 인지하는 것 외에도, 교육의 연속에서 다양한 단계에서 의도적으로 구조화된 사회적 사건을 통해서도 소속감을 기를 수 있다(Frost and Regehr 2013). 전통적이고 지역적으로 중요한 의례ritual가 받아들여짐acceptance의 표식 역할을 할 수 있는데, 흰색 외투 의식, 청진기의 획득, 히포크라테스 선서 등이 여기에 해당하는 현대적인 예시이다(골디 2012; Monruxe 2016). 학습자와 지역사회 구성원이 함께 모이는 부서 또는 팀 디너와 같은 공식적이고 비공식적인 사교 행사 역시 의학의 위계 구조를 줄여주는 학습 기회를 배울 수 있는 중요한 환영 역할을 할 수 있다(Bleakley et al. 2011).
In addition to being cognizant of some of the difficulties inherent in medicine’s social structure, purposely structured social events at various stages in the continuum of education can foster a sense of belonging (Frost and Regehr 2013). Traditional and locally important rituals can serve as markers of acceptance, with the white coat ceremony, the acquisition of a stethoscope, and the recitation of the Hippocratic Oath or its modern equivalent being relevant examples (Goldie 2012; Monrouxe 2016). Formal and informal social events such as departmental or team dinners that bring together learners and community members (Frost and Regehr 2013; Cruess et al. 2016) can play an important welcoming role, as can learning opportunities that flatten medicine’s hierarchical structures (Bleakley et al. 2011).
ID 형성에 영향을 미치는 알려진 요인을 명시적으로 다루십시오.
Explicitly address the known factors affecting identity formation
일반인에서 전문가로 가는 모든 사람의 여정은 독특하고 각각의 학습 환경은 자신만의 개성과 문화를 가지고 있다. 따라서 사회화의 과정에 대한 각 개인의 반응과 각 개인의 여정에 미치는 특정 요소의 영향의 규모에 차이가 있다.
Every person’s journey from layperson to professional is unique and each learning environment has its own character and culture. Therefore there are differences in each individual’s responses to the process of socialization and in the magnitude of the impact of any given factor on each person’s journey.
그림 1(Cruess et al. 2015).
Figure 1 (Cruess et al. 2015).
롤모델과 멘토(Kenny et al. 2003)와 경험학습(Eraut 2000)이 가장 강력한 영향력을 가지고 있으며, 둘 다 최대한의 효과를 보장하기 위해서는 성찰에 크게 의존해야 한다(Epstein 2008; Mann et al). 2009년). 학생은 각자 의식적 경로 또는 무의식적 경로의 조합을 활용하며, 이 과정에서 명시적 및 암묵적인 지식 기반을 획득하게 되는데, 대부분은 '암묵적'인 것들이 많다.
There is agreement that role models and mentors (Kenny et al. 2003) and experiential learning (Eraut 2000), have the most powerful influence, with both relying heavily upon reflection to ensure their maximum effect (Epstein 2008; Mann et al. 2009). Each utilizes a combination of conscious and unconscious pathways (Eraut 2000), leading to the acquisition of a knowledge base that is both explicit and tacit, with the great majority remaining tacit (Eraut 2000).
피드백은 학습을 강화하고 학습자의 자기 인식 확인에 도움을 주는 역할 모델링과 멘토링의 필수적인 부분이다(Mann et al). 2009; Goldie 2013). 역할 모델은 명시적 지식을 공식적으로 전달하고, 역설적으로 암묵적 지식의 중요성을 의식하는 책임을 진다. 이를 위해서는 교사와 학습자 간의 공동 활동과 물리적 근접성이 요구되며, 학습자가 그룹 내에서 기능해야 한다(Billett 2002; 2016).
Feedback is an essential part of both role modeling and mentoring, serving to both reinforce learning and assisting in the confirmation of the learner’s self-perception (Mann et al. 2009; Goldie 2013). Role models are responsible for formally transmitting explicit knowledge and, paradoxically, for being conscious of the importance of tacit knowledge. This requires joint activities and physical proximity between teachers and learners and with learners functioning within the group (Billett 2002; 2016).
경험적 학습은 명시적 및 암묵적 지식 습득과 동등하게 중요하며 의사의 정체성에 기초한다.
Experiential learning is of equal importance to the knowledge acquisition of both explicit and tacit and is foundational to the identity of the physician.
효과적이 되려면 역할 모델과 멘토, 경험학습 모두 guided reflection에 의존한다(Epstein 2008; Mann 등). 2009; Wald 2015). 성찰 없이는 암묵적으로 남게 되었을 정보가 유도된 성찰을 통해 명시적인 것으로 변화하게 된다(Eraut 2004). 또한, 실제authentic 경험은 각 개인이 자신의 "자아의 감각sense of self"에 미치는 영향을 판단할 때 각 개인과 관련성을 갖게 된다(Monrouxe 2013). 모델링과 직장 경험을 반영할 예정 시간과 비공식적인 기회는 커리큘럼 전체에 걸쳐 일정한 간격으로 존재해야 한다.
To be effective, both role models and mentors and experiential learning depend on guided reflection (Epstein 2008; Mann et al. 2009; Wald 2015). Information, which otherwise would remain tacit, is made explicit through this means (Eraut 2004). Additionally, authentic experiences are made relevant to each individual as he or she judges their impact on their “sense of self” (Monrouxe 2013). Both scheduled time and informal opportunities to reflect upon modeling and workplace experiences must be present at regular intervals throughout the curriculum.
현대 사회에서 소셜 미디어의 역할은 특별한 언급이 필요한데, 그것은 의사소통 방법이 발달함에 따라 학습자들의 삶에서 매우 만연하고 끊임없이 변화하는 역할을 하기 때문이다. 다만 새로운 시책에 의해 대체될 뿐이다. 의학과 의학 교육에서 소셜 미디어에 관한 초기 문헌은 대체로 비판적이었으며, 기밀의 경계를 위반하는 신뢰와 받아들일 수 없는 전문적 정체성의 투영에 대한 부정적인 영향을 강조했다(크레티엔 외). 2009년). 거의 모든 의대생과 레지던트가 개인, 교육, 직업적 이유로 소셜 미디어를 지속적으로 사용하고 있는 것이 명백해짐에 따라 이 주제에 대한 최근의 접근방식은 보다 균형balance를 잡아가고 있다(Chu et al. 2015). 또 학습자가 개인적 정체성이나 직업적 정체성과는 다른 온라인 정체성을 유지하기를 기대하는 것은 불합리하다.
The role of social media in contemporary society requires special mention, as it plays such a pervasive and constantly shifting role in the lives of learners as methods of communication are developed, only to be superseded by newer initiatives. The early literature on social media in medicine and medical education was largely critical, stressing the negative impact on trust of breaching the boundaries of confidentiality and the projection of unacceptable professional identities (Chretien et al. 2009). Recent approaches to the subject have been more balanced as it became apparent that virtually every medical student and the resident was making constant use of social media for personal, educational, and professional reasons (Choo et al. 2015;O’Regan et al. 2018). In addition, it is unreasonable to expect learners to maintain an online identity that is different from their personal and professional identities.
의료와 소셜 미디어의 관계를 조사함에 있어 개인과 직업 양쪽 모두에 대한 니즈의 서열이 확인되었다(펜윅 2014).
첫째, 환자와 학습자의 프라이버시를 보장함으로써 보안을 제공해야 한다.
이를 통해 소셜미디어가 2단계 니즈 성찰으로 진행될 수 있다. 펜윅은 "우리의 온라인 정체성은 무엇인가? 온라인으로 환자, 동료, 고용주와 어떻게 상호작용할 것인가? 온라인 상에서의 전문적 이상과 가치를 어떻게 구현하고 있는가?"(펜윅 2014).
마지막으로, 성찰 단계를 넘어서면 발견이 된다. "어떻게 소셜 미디어를 사용하여 통합하고, 보다 건강한 사회를 만들고, 환자를 교육하고, 진로를 발전시키고, 다른 사람들을 조언할 수 있는가?”
In examining the relationship between medicine and social media, a hierarchy of needs for both individuals and the profession has been identified (Fenwick 2014).
First, security must be provided by guaranteeing the privacy of patients and learners.
This allows social media to proceed to the second level of need reflection. As Fenwick stated, “What is our online identity? How will we interact with patients, colleagues, and employers online? How do we embody our professional ideals and values in our online presence?” (Fenwick 2014).
Finally, beyond the reflection stage is discovery. “How can we use social media to integrate, to create a healthier society, to educate patients, to advance our careers and mentor others ….?”
현재의 학습자 세대는 온라인에서 지식을 습득하는 데 편안하며, 수년 동안 가상 커뮤니티에서 소속감을 고취하고, 고립감을 줄이고 학습을 할 수 있는 온라인 커뮤니티를 만들어 왔다(Chu et al. 2015). 그러나 전문적 정체성 형성에 가장 큰 영향을 미치는 것이 공동체 구성원들과의 의미 있는 접촉으로 남아 있다는 점을 분명히 밝혀야 한다. 소셜 미디어는 도움이 될 수 있고 다른 교육 활동을 보완할 수 있다. 그러나 소셜 미디어는 동료, 역할 모델 및 멘토와의 개인 대 개인 접촉을 결코 대체할 수 없다.
The current generation of learners is comfortable acquiring knowledge online and has for years been creating online communities that can promote a sense of belonging, diminished isolation and learning in virtual communities (Choo et al. 2015). However, it must be stated unequivocally that the most significant impact on professional identity formation remains meaningful contact with members of the community. Social media can be of assistance and can supplement other educational activities; however, it can never replace person-to-person contact with peers, role models, and mentors.
각 기관은 각 요소가 정체성 형성에 미치는 영향을 교직원과 학습자 모두가 이해하도록 자체 환경을 분석해야 한다.
Each institution must analyze its own environment to ensure that both faculty and learners understand the impact of each factor on identity formation.
교육기관의 역할은 시스템을 변경하는 것 뿐만 아니라, [학습자가 스스로 되고자 하는 의사의 정체성]에 [시스템이 미치는 영향]을 [학습자가 이해하도록 해야 한다].
It is not the role of the educational institution to alter the system, but it must ensure that learners understand the impact of the system on the identity of the physician they wish to become.
프로페셔널 아이덴티티 획득의 진행 상황을 평가하는 프로그램 구축
Establish a program to assess progress in the acquisition of a professional identity
커리큘럼 변화는 반드시 어떤 형태의 평가를 동반해야 한다(Cruess et al. 2016). 현재, 두 가지 접근방식이 가치 있고 가능한 것처럼 보인다. 애당초 프로페셔널리즘의 존재를 나타내는 행동 목록이 개발되었고, 그 존재를 평가하는 도구가 널리 사용되고 있다(윌킨슨 외). 2009; Hodges et al. 2011; Norcini 및 Shea 2016). 이러한 행동들은 전문적인 정체성의 유무를 나타내므로 결과적으로 대리지표surrogates으로 사용될 수 있다.
the institution of curricular change must be accompanied by some form of assessment (Cruess et al. 2016). At the present time, two approaches seem worthwhile and possible. In the first place, lists of behaviors indicative of the presence of professionalism have been developed and tools to assess their presence are in wide use (Wilkinson et al. 2009; Hodges et al. 2011; Norcini and Shea 2016). These behaviors are also indicative of the presence or absence of a professional identity and consequently can be used as surrogates.
주로 형성적인 두 번째 방법은 [정체성의 아주 개인적인 성격]에 달려 있다. 학습자에게 일반인에서 의사로 가는 여정에 대한 자신의 진행 상황을 도표로 작성하고, 멘토와 함께 자신의 상태에 대해 토론하도록 요청할 수 있다(Kalet 2017; 2018). 질문은 다음과 같다: "1에서 10까지의 스케일로 표현한다면, 지금 여행하는 곳은 어디인가? 이 여정에서 어떤 요인이 당신을 돕거나 억제했는가?" 대안으로 학습자에게 자신의 진행 과정을 설명하는 서사를 제공하도록 요청할 수 있다(Bebeau 및 Faber-Langendoen 2014).
The second method, which is primarily formative, depends upon the very personal nature of identity. Learners can be asked to chart their own progress on the journey from layperson to the physician, and discuss their status with a mentor (Kalet 2017; 2018). The question can be posed: “Where are you on the journey on a scale from 1 to 10? What factors have helped or inhibited you in your journey?” As an alternative, learners can be asked to provide a narrative describing their progress (Bebeau and Faber-Langendoen 2014).
따라서 정체성의 이중성을 반영할 수 있는 그림이 만들어질 것이다.
하나는 [다른 사람에게 어떻게 보여지는지]에 대한 관찰가능한 행동에 대한 chart
다른 하나는 [학습자가 자기 자신을 어떻게 보는지]에 대한 자기평가와 피드백
Thus, a picture will be created that can reflect the dual nature of identity -
observable behaviors chart how an individual is seen by others and
self-assessment with feedback documents how an individual sees themselves.
결론
Conclusions
의사들에 의한 직업적 정체성의 획득은 새로운 현상이 아니다. 최근까지 이 용어는 사용되지 않았지만, 과거 "성격"과 같은 단어로 특징지어지거나 올바른 "성격"을 소유하는 등 수세기 동안 의학 교육의 근본적 요소를 대표해 왔다(Whitehead et al. 2013). 실천 공동체는 또한 "인간이 동굴에 살았던 이래로" 존재해왔다. (Lave와 Wenger 1991).
The acquisition of a professional identity by physicians is not a new phenomenon. Although the term was not used until recently, it has represented a foundational element of medical education for centuries, having been characterized in the past by words such as “character” or possessing the right “characteristics” (Whitehead et al. 2013). Communities of practice have also existed “since man lived in caves” (Lave and Wenger 1991).
설리번으로부터의 인용은 적절하다.
"전문직 양성기관은
전문적 지식과 판단력이 고급 실무자에서 초보자까지 전달되는 곳일 뿐만 아니라
미래의 실무자들이 자신의 미래 정체성을 가정하고 비판적으로 검토하기 시작할 수 있는
직업의 정의적 가치와 모범을 보여주는 곳이다."(Sulliban et al. 2007)
A quote from Sullivan is appropriate. “Professional schools are not only where expert knowledge and judgment are communicated from advanced practitioner to beginner; they are also the place where the profession puts its defining values and exemplars on display, where future practitioners can begin to both assume and critically examine their future identities” (Sullivan et al. 2007).
Socialization: “The process by which a person learns to function within a particular society or group by internalizing its values and norms” (Oxford English Dictionary 1989).
Professional identity: “A representation of self, achieved in stages over time during which the characteristics, values, and norms of the medical profession are internalized, resulting in an individual thinking, acting, and feeling like a physician.”
Professional identity formation: “An adaptive developmental process that happens simultaneously at two levels: (1) at the level of the individual, which involves the psychological development of the person and (2) at the collective level, which involves the socialization of the person into appropriate roles and forms of participation in the community’s work.”
Cruess RL, Cruess SR, Boudreau JD, Snell L, Steinert Y. 2014. Reframing medical education to support professional identity formation. Acad Med. 89:1446–1451.
Cruess RL, Cruess SR. 2006. Teaching Professionalism: General principles. Med Teach 28:205–208.
Cruess RL, Cruess SR, Steinert Y. 2018. Medicine as a community of practice: implications for medical education. Acad Med. 92:185–195.
Epstein RM. 2008. Reflection, perception and the acquisition of wisdom. Med Educ. 42:1048–1050.
Fenwick T. 2014. Social media in medical professionalism: rethinking the debate and the way forward. Acad Med. 89:1331–1334.
Ginsburg S, van der Vleuten CPM, Eva KW. 2017. The hidden value of narrative comments for assessment: a quantitative reliability analysis of qualitative data. Acad Med. 92:1617–1621.
Goldie J. 2012. The formation of professional identity in medical students: considerations for educators. Med Teach. 34:e641–e648. XXX
Goldie J. 2013. Identity formation in medical students: elaboration of a previous conceptualization and review of the literature. Med Ed World. 2:1–23. XXX
Hafferty FW. 2016. Professionalism and the socialization of medical students. In: Cruess RL, Cruess SR, Steinert Y, editors. Teaching medical professionalism: Supporting the development of a professional identity. Cambridge (UK): Cambridge University Press; p. 53–73.
Irby DM, Hamstra SJ. 2016. Parting the clouds: three professionalism frameworks in medical education. Acad Med. 91:1606–1611.
Kalet A, Buckvar-Keltz L, Monson V, Harnik V, Hubbard S, Crowe R, Ark T, Song H, Tewksbury L, Yingling S. 2018. Professional identity formation in medical school: one measure reflects changes during pre-clerkship training. MedEdPublish. 7:255–261
Monrouxe LV. 2013. Identities, self and medical education. In: Walsh K, editor. Oxford textbook of medical education. Oxford (UK): Oxford University Press; p. 113–123.
Wilkinson TJ, Wade WB, Knock LD. 2009. A blueprint to assess professionalism: results of a systematic review. Acad Med. 84:551–558.
.2019 Jun;41(6):641-649.
doi: 10.1080/0142159X.2018.1536260.Epub 2019 Feb 11.
Supporting the Development of a Professional Identity: General Principles
While teaching medical professionalism has been an important aspect of medical education over the past two decades, the recent emergence of professional identity formation as an important concept has led to a reexamination of how best to ensure that medical graduates come to "think, act, and feel like a physician." If the recommendation that professional identity formation as an educational objective becomes a reality, curricular change to support this objective is required and the principles that guided programs designed to teach professionalism must be reexamined. It is proposed that the social learning theory communities of practice serve as the theoretical basis of the curricular revision as the theory is strongly linked to identity formation. Curricular changes that support professional identity formation include: the necessity to establish identity formation as an educational objective, include a cognitive base on the subject in the formal curriculum, to engage students in the development of their own identities, provide a welcoming community that facilitates their entry, and offer faculty development to ensure that all understand the educational objective and the means chosen to achieve it. Finally, there is a need to assist students as they chart progress towards becoming a professional.
