사회적 책무성: 의과대학이 복무할 인구집단의 건강을 향상시키기 위한 프레임워크(Acad Med, 2018)
Social Accountability: A Framework for Medical Schools to Improve the Health of the Populations They Serve James Rourke, MD, MClinSc, FCFP(EM), LLD
배경 Background
사회적 계약뿐만 아니라 법률, 규정, 인가를 허가함으로써 의과대학은 미래의 의사를 교육하고 사회의 요구에 부응하는 의학 연구를 하도록 위임된다. 따라서, 사회적 책무는 의과대학과 의과대학의 기초가 된다. 1,2 따라서 사회적 책임은 모든 의대의 계획, 행동 및 영향을 통해 기대되어야 한다be expected. 하지만, 모든 의과대학의 맥락은 다르므로, 각 학교가 지역사회, 지역, 국가의 요구에 가장 잘 참여하고, 협력하고, 대응하는 방법은 다를 것이다. By permit of legislation, regulation, and accreditation as well as the social contract, medical schools are entrusted to educate tomorrow’s doctors and conduct medical research to serve the needs of society; thus, social accountability is the foundation of both medical practice and medical schools.1,2 Social accountability should, therefore, be expected throughout every medical school’s plans, actions, and impact. However, every medical school’s context is different, so how each school can best engage with, partner with, and respond to the needs of its community, region, and nation will vary.
1995년 Boelen과 Heck3에 의해 세계보건기구에 의해 개발되고 정의된 [사회적 책무]의 개념은 다음과 같다. The concept of social accountability as developed and defined for the World Health Organization by Boelen and Heck3 in 1995 states:
[의과대학은] 교육, 연구 및 서비스 활동을 의무적으로 봉사해야 하는 지역사회, 지역, 국가의 우선적인 건강 문제를 해결하기 위해 지시direct할 의무가 있다. 우선적인 건강 문제는 정부, 의료 기관, 보건 전문가 및 대중이 공동으로 확인해야 한다. [Medical schools have] the obligation to direct their education, research and service activities towards addressing the priority health concerns of the community, region, and/or nation they have a mandate to serve. The priority health concerns are to be identified jointly by governments, health care organizations, health professionals and the public.
2001년 보고서 "사회적 책임: 캐나다 의과대학의 비전:"을 통해 캐나다의 의과대학은 사회적 책임의 조기 채택자가 되었다. "캐나다 의대 교육의 미래 (FMEC: A Collective Vision for MD Education)"와 "캐나다 대학원 의학 교육을 위한 집단 비전"을 포함한 많은 후속 보고서를 통해 캐나다 의대는 사회적 책임이 캐나다 의학교육의 토대를 형성한다는 것을 재확인했다.이제 사회적 책무의 입증은 캐나다 인증 요건에 포함된다.9 Canadian medical schools became early adopters of social accountability with the 2001 report “Social Accountability: A Vision for Canadian Medical Schools.”4 Through a number of later reports, including “The Future of Medical Education in Canada (FMEC): A Collective Vision for MD Education” and “A Collective Vision for Postgraduate Medical Education in Canada,” Canadian medical schools have reconfirmed that social accountability forms the foundation for medical education in Canada.5–8 And now demonstration of social accountability is included in the Canadian accreditation requirements.9
사회적 책무는 이제 의과대학이 [지역사회, 지역 및 국가, 특히 소외계층과 취약계층의 요구에 참여하고, 협력하고, 이에 대응하는 것]으로 이해되고 있다.
Social accountability is now understood to involve medical schools engaging, partnering with, and responding to the needs of their community, region, and nation, especially their underserved and vulnerable populations.1,13
의료 교육에서 뛰어난 성과와 우수성을 장려하고 촉진하기 위해, AMEE(세계 최대 의료 교육 기관)는 ASPIRE 이니셔티브를 수립하였으며, 이 이니셔티브는 2012년 AMEE에서 시작되었다. To encourage and promote outstanding performance and excellence in medical education, AMEE (the world’s largest medical education organization) established the ASPIRE initiative, which was launched at AMEE 2012.
ASPIRE 이니셔티브가 인정하기로 선택한 우수성의 첫 세 가지 영역은 학생 평가, 학생 참여 및 사회적 책임이었다. ASPIRE는 이러한 분야에서 수상 신청서를 제출한 의과대학 평가에 사용할 기준을 개발하기 위해 전문가 패널을 설립했다. 첫 번째 두 가지(학생과 학생 참여의 평가)는 훨씬 더 광범위하고 의과대학 전체를 포함하기 때문에 사회적 책임보다 더 쉽게 정의되었다. The first three areas of excellence the ASPIRE initiative chose to recognize were assessment of students, student engagement, and social accountability. ASPIRE established expert panels to develop the criteria to be used for assessing medical schools that submitted applications for awards in these areas. The first two (assessment of students and student engagement) were more readily defined than social accountability because this is much broader and involves the whole medical school.
궁극적으로 ASPIRE는 의과대학의 사회적 책임에 대한 글로벌 컨센서스의 기초적인 연구, 10개의 출판된 문헌 및 진화하는 세계 경험을 바탕으로 ASPIRE-to-Excellence Award for Social Accountability의 기준을 개발하였다. 이 기준에 따르면,
의과대학은 조직과 기능에서 사회적 책임 계획을 문서화하고,
의과대학은 교육 및 연구 프로그램 활동에서 사회적 책임 활동을 문서화하고,
의과대학 교육, 연구, 서비스, 졸업생, 그리고 파트너십이 공동체, 지역, 국가의 헬스케어와 건강에 긍정적인 영향을 보여줄 것으로 기대된다.
Ultimately, ASPIRE developed the criteria for the ASPIRE-to-Excellence Award for Social Accountability based on the foundational work of the Global Consensus for Social Accountability of Medical Schools,10 published literature, and evolving world experience. To be successful, schools are expected to
document social accountability plans in their organization and functions;
document social accountability actions in their education and research program activities; and
demonstrate positive impacts of their education, research, service, graduates, and partnerships on the health care and health of their community, region, and nation.1,16,17
따라서 이러한 기준(및 그 기준)은 설문 등급, 연구 자금 및 학생당 교직원 수, 입학 등급 평균 및 MCAT 점수를 포함한 기타 조치 등을 사용하는 US News & World Report 등급과 상당히 대조적이다.
Thus, these criteria (and their measures) provide quite a contrast to the U.S. News & World Report ratings of medical schools, which consider survey ratings, research funding, and other measures, including number of faculty per student, admission grade point average and MCAT scores, and, for primary care medical schools, the percentage of graduates entering primary care residency training programs.
공통 테마 Common Themes
2017년 12월 현재 ASPIRE 사회책임상 신청은 29건이다. 29개 학교 또는 네트워크는 각각 자신의 사회문화적-지리적 맥락에 맞추기 위해 사회적 책임 의무를 설정했다. 모든 것이 사회적 책임에 대한 의지를 보여주었지만, 많은 사람들은 아직 입증할 수 있는 영향을 미치지 못했거나 아직 가지지 못했다(예: 졸업생이 아직 시행되지 않은 새로운 학교). 그 결과, 지금까지 다음 10개 학교 또는 네트워크만이 ASPIRE-to-Excellence Award for Social Accountability를 받았다.
As of December 2017, there have been 29 applications for ASPIRE social accountability awards. Each of the 29 schools or networks established their social accountability mandate to fit their own socio-cultural-geographic context. While all demonstrated commitment to social accountability, many did not have or did not yet have a demonstrable impact (e.g., new schools whose graduates were not yet in practice). As a result, so far only the following 10 schools or networks have received the ASPIRE-to-Excellence Award for Social Accountability:
Southern Illinois University School of Medicine (SIUSOM),
Northern Ontario School of Medicine,
Hull York Medical School,
University of New Mexico School of Medicine (UNMSOM),
Memorial University of Newfoundland Faculty of Medicine,
Brody School of Medicine at East Carolina University,
University of Leeds School of Medicine,
Florida International University Herbert Wertheim College of Medicine,
Leaders in Indigenous Medical Education (LIME) Network, and
Université Laval Faculté de Médecine.
수상 경력에 빛나는 10개 의과대학의 주요 공통 주제는 다음과 같다. The major common themes among the 10 award-winning medical schools include:
사회적 책무가 학교의 목적과 의무에서 명백하고 계획 및 일상적인 관리에 통합
학교 입학은 학교 공동체, 지역 및 국가의 인구학적 혼합을 반영하는 데 초점을 맞추고 있다.
학교 교육과정은 지역사회·지역·국가의 고유한 지리적·사회적·문화적 맥락과 우선적인 건강 요구에 관련
학교 지역사회, 지역 및 국가의 지리적, 사회적, 문화적 혼합의 다양성을 반영하는 임상 학습 및 서비스 학습 경험의 포함
취약하고 서비스가 부족한 환자, 지역사회 및 인구에 대한 건강의 사회적 결정요인을 이해하고 행동하기 위한 지역사회 기반 학습 경험에 대한 광범위한 노출 포함
학교 지역사회, 지역 및 국가의 우선적인 건강 요구에 영감을 받아 대응하고 연구과제 개발, 협력 및 연구 참여, 지식 번역/이동 참여 등 연구에 지역사회를 적극적으로 참여시키는 연구
이 학교의 졸업생들과 보건 서비스 제휴는 취약하고 소외된 인구에 중점을 두고 지역사회, 지역, 국가의 건강과 보건에 긍정적인 영향을 미친다.
Social accountability being evident in the school’s purpose and mandate and integrated into its planning and day-to-day management;
School admissions being focused on reflecting the demographic mix of the school’s community, region, and nation;
The curriculum being relevant to the unique geographic, social, and cultural context and the priority health needs of the school’s community, region, and nation;
The inclusion of clinical learning and service-learning experiences reflecting the diversity of the geographic, social, and cultural mix of the school’s community, region, and nation;
The inclusion of extensive exposure to community-based learning experiences to understand and act on social determinants of health for vulnerable and underserved patients, communities, and populations;
Research being inspired by and responding to the priority health needs of the school’s community, region, and nation and actively engaging the community in research, including developing the research agenda, partnering and participating in research, and taking part in knowledge translation/mobilization; and
The school’s graduates and its health service partnerships having a positive impact on the health and the health care of its community, region, and nation with an emphasis on vulnerable and underserved populations.
예시 Exemplars
서던일리노이 대학교 의과대학 Southern Illinois University School of Medicine
SIUSOM의 미션은 교육, 환자 관리, 연구, 지역사회 서비스를 통해 일리노이 중부와 남부 주민들에게 제공하는 것이다. SIUSOM은 지역사회, 전문 조직, 보건 관리자 및 정책 입안자들과 매우 다양한 파트너십을 맺고 이 임무를 충족시킬 수 있도록 지원합니다. 예를 들어, 시골지역 보건 이니셔티브는 의료 서비스에 대한 접근성을 높이고, 지역 의료 인프라를 개선하고, 의대생들에게 시골지역 중심의 교육 기회를 제공함으로써 일리노이 중부와 남부 지역의 시골지역과 소외지역을 지원하기 위한 SIUSOM의 지원 활동의 주요 구성요소이다. The mission of SIUSOM is to provide for the people of central and southern Illinois through education, patient care, research, and community service. SIUSOM has a wide variety of partnerships with communities, professional organizations, health managers, and policy makers to help meet this mission. For example, the Rural Health Initiative is a major component of SIUSOM’s outreach efforts to assist rural and underserved areas in central and southern Illinois by increasing access to health care services, improving local health care infrastructure, and providing rural-focused educational opportunities for medical students.
SIUSOM의 입학 위원회는 미래 학생들을 선발하기 위해 전인적holistic 과정을 사용한다. 사용된 선택 기준 중 하나는 광범위한 자원봉사 및 지역사회 봉사의 증거이다. 또한 SIUSOM에는 의사가 되는 것에 관심이 있는 지역 고등학생들을 격려하고, 의학의 진로를 위해 저표현 소수민족과 교육/경제적으로 불리한 학생들을 준비함으로써 지역사회에 봉사하는 파이프라인 프로그램이 마련되어 있다. SIUSOM의 의대생 선발과정은 지역의 인구통계학적 혼합을 대표한다. SIUSOM’s admissions committee uses a holistic process to select its future students. One of the selection criterion used is evidence of extensive volunteer work and/or community service. In addition, there are pipeline programs in place at SIUSOM that serve the community by encouraging local high school students interested in becoming physicians and by preparing underrepresented minority and educationally/economically disadvantaged students for careers in medicine. SIUSOM’s medical student admissions represent the demographic mix of the region.
2008년 졸업생을 대상으로 실시한 사회선교학점수에서 SIUSOM은 졸업생의 45%가 일차의료 분야에서, 46.5%가 보건 전문직 부족 지역에서 practice하는 등 전국 15위에 올랐다.18 또한 전체 SIUSOM 의과대학 졸업생의 절반이 레지던트 후 일리노이 주에서 계속 practice하고 있다. In a study of graduates in practice in 2008, SIUSOM was ranked 15th in the country on the social mission score, with 45% of the school’s graduates practicing in primary care fields and 46.5% practicing in health professional shortage areas.18 Furthermore, half of all SIUSOM medical school graduates continue to practice in Illinois after residency.
SIUSOM Continuing Medical Education 사무소는 일리노이 주 하부에서 의사 개업을 개선하기 위한 교육 활동을 제공한다. 예를 들어, 학교는 일리노이 주 다운타운에 있는 50개의 주요 접근 병원의 의사들이 캠퍼스 기반의 공식적인 교육 경험에 참여할 수 있도록 화상 회의 사이트 네트워크를 개발했다. The SIUSOM Office of Continuing Medical Education provides educational activities to improve physician practice throughout downstate Illinois. For example, the school has developed a network of video conferencing sites that allow physicians at 50 critical access hospitals throughout downstate Illinois to participate in campus-based formal educational experiences.
SIUSOM에서 수행된 대부분의 연구는 지역사회의 요구에 기초한다. 학교도 지역사회단체와 협력교부금을 적극 추진하고 있으며 지역사회단체가 보건관련교부금을 마련함에 따라 자문역할을 하며 기술지원을 하고 있다.
The vast majority of research conducted at SIUSOM is grounded in the needs of the community. The school is also actively engaged in collaborative grants with community groups, and serves as advisors and provides technical assistance to community groups as they prepare health-related grants.
2017년 SIUSOM은 ASPIRE 시상 과정을 거치는 것의 가치에 대해 발간하였다.19 In 2017, SIUSOM published about the value of going through the ASPIRE awards process.19
뉴멕시코 대학교 의과대학 University of New Mexico School of Medicine
UNMSOM은 의료교육의 사회적 책임에 있어 선구적인 기관이다. UNMSOM은 설립 이후 뉴멕시코 주에 대한 서비스를 명확한 우선순위로 포함시켰으며, 기관의 성공을 위한 척도로서 인구의 건강과 건강 형평성을 개선하는 데 초점을 맞추었다.20 UNMSOM is a pioneering institution in social accountability in medical education. Since its inception, UNMSOM has included service to the state of New Mexico as a clear priority and has focused on improving the population’s health and health equity as a measure of the institution’s success.20
UNMSOM의 프로그램의 사실상 다른 모든 측면과 마찬가지로, 입학 정책은 특정 의료 요구를 충족시키고 주로 시골 지역, 다양하며 상대적으로 저소득 국가의 인구 건강 상태를 개선하려는 학교의 명시적인 commitment에 크게 영향을 받는다. UNMSOM은 또한 중학교 때부터 시작하는 잘 설계되고 잘 관리되는 파이프라인 노력을 가지고 있다. UNMSOM의 학생 중 30% 이상이 의학에서 underrepresented background에서 왔으며, 히스패닉계/라티노계 및 미국계 인도계 학생의 수는 다른 MD 부여 의과대학과 비교하여 UNMSOM을 다양성의 95번째 백분위수에 둔다. Like virtually all other aspects of UNMSOM’s programs, the admissions policies are heavily influenced by the school’s explicit commitment to meet the specific health care needs and improve the population health status of their predominantly rural, substantially diverse, and relatively lower-income state. UNMSOM also has well-designed and well-managed pipeline efforts that start as early as middle school. Over 30% of UNMSOM’s student body comes from backgrounds that are underrepresented in medicine, and the number of Hispanic/Latino and American Indian students puts UNMSOM in the 95th percentile for diversity in comparison with the nation’s other MD-granting medical schools.
UNMSOM은 보건 직업 교육의 핵심 요소로서 서비스 학습을 강력하게 촉진한다. 따라서, 더 전통적인 도시, 3차 교육 보건소에서의 경험의 균형을 맞추기 위해, 모든 의대생들은 또한 커리큘럼의 매 년 동안 소외된 지역 사회 기반 환경(도시 및 보호 지역, 농촌 농업 및 목장 공동체)에서 실질적인 경험을 가지고 있다. UNMSOM strongly promotes service-learning as a core component of health professions education. Accordingly, to balance their experiences in more traditional urban, tertiary academic health center venues, all medical students also have practical experiences in underserved, community-based settings (urban and reservation Native American sites and rural farming and ranching communities) during each year of the curriculum.
2017년에는 미국의 다른 141개 MD 부여 의과대학보다 UNMSOM 졸업생은 가정의학에 매칭되는 비율이(30.2%) 높았다.21
In 2017, a higher percentage of UNMSOM senior medical students matched in family medicine residencies (30.2%) than any of the other 141 MD-granting medical schools in the United States.21
뉴멕시코 대학교(UNM) 보건 과학 센터 연구 프로그램은 "뉴멕시코 거주자들에게 영향을 미치는 중요한 건강 문제에 초점을 맞추고 있으며, 임상 및 기초 과학을 연결하여 분자 의학 분야의 발견을 임상 환경에 보다 신속하게 전달할 수 있다." 또한 UNM Clinical & Translation Science Center의 학술-커뮤니티 파트너십은 지역 보건 결정을 알리기 위한 증거 기반 관행의 보급을 지원하는 협업적이고 지속 가능한 연구를 통해 뉴멕시코의 다양한 인구의 건강과 웰빙을 개선하기 위해 노력하고 있습니다.
The University of New Mexico (UNM) Health Sciences Center research programs “are focused around critical health problems affecting New Mexico residents and bridge the clinical and basic sciences to more rapidly deliver discoveries in molecular medicine to the clinical setting.”22In addition, the UNM Clinical & Translational Science Center’s academic–community partnerships work to improve the health and well-being of New Mexico’s diverse population through collaborative and sustainable research that supports the dissemination of evidence-based practices to inform local health decisions.
SIUSOM과 UNMSOM은 2011년 Beyond Flexner Alliance에 의해 입학 과정, 학부 및 대학원 과정, 학생 지원 이니셔티브를 통해 사회에 대한 의무를 가장 많이 이행한 6개 모델 학교 중 2개로 선정되었다.23
Both SIUSOM and UNMSOM were selected by the Beyond Flexner Alliance in 2011 as two of six model schools that most fulfilled their obligation to society through their admissions processes, undergraduate and graduate programs, and student support initiatives.23
라임 네트워크 LIME Network
LIME 네트워크 애플리케이션은 ASPIRE가 의과대학이 아니라 오히려 오스트레일리아와 Aotaroa/뉴질랜드의 모든 의과대학의 대표자 집합이기 때문에 ASPIRE에게 challenge였다. ASPIRE는 네트워크 고려를 위한 파일럿으로서 신청을 받아들였고, 제출이 너무 강해서 상을 받았다. The LIME Network application presented a challenge to ASPIRE as it is not a medical school but, rather, a collective of representatives from all the medical schools in Australia and Aotearoa/New Zealand. ASPIRE accepted the application as a pilot for considering networks, and the submission was so strong it earned an award.
LIME은 2005년에 설립되었으며 의료 교육에서 원주민 보건의 교육 및 학습의 질과 효과를 보장하고, 호주 원주민 및 토레스 해협 아일랜드인(호주 출신)과 마오리족(아오테아로아/뉴질랜드 출신)의 (—그러므로 총칭하여 원주민—) 의과대학생 채용 및 졸업에 있어 모범 사례를 제공하기 위해 노력하고 있다. 24 LIME 네트워크는 의료 교육, 연구 및 서비스 제공에서 원주민 보건의 우수성을 홍보하면서 지식과 혁신을 증진하고 협력적인 노력을 지속하는 실천 공동체로서 운영됩니다.25 LIME was established in 2005 and is committed to ensuring the quality and effectiveness of teaching and learning of Indigenous health in medical education, as well as best practices in the recruitment and graduation of Aboriginal and Torres Strait Islander (from Australia) and Māori (from Aotearoa/New Zealand)—henceforth, collectively referred to as Indigenous—medical students.24 The LIME Network operates as a community of practice, which furthers knowledge and innovation and sustains collaborative efforts while promoting excellence in Indigenous health in medical education, research, and service delivery.25
LIME은 원주민의 리더십과 지식의 우수성을 인식하고 홍보하며 이러한 목표를 달성하기 위해 여러 협력 요소를 사용한다. 그 일환으로, LIME 품질 검토 프로세스는 개별 의과대학이 원주민 건강 커리큘럼의 품질과 원주민의 의료 교육 프로그램 참여를 지원하기 위한 시책의 효과를 평가할 수 있는 자체적인 내부 검토 프로세스를 고안하고 시행하도록 장려한다. LIME recognizes and promotes the primacy of Indigenous leadership and knowledge and uses multiple collaborative components to achieve these goals. As part of this, the LIME quality review processes encourage individual medical schools to devise and implement their own internal review processes by which they can evaluate the quality of the Indigenous health curriculum and the effectiveness of initiatives to support the participation of Indigenous people in medical education programs.
공식적인 커리큘럼 이니셔티브를 지원하고 지속적이고 체계적인 변화를 지원하기 위해 원주민 보건 교육과 관련하여 잠재 커리큘럼을 다루는 것도 필수적이다.26따라서 LIME 네트워크는 원주민 보건 및 개발의 이니셔티브를 지원하는 데 필요한 프로세스를 강조하기 위한 다양한 검토 도구를 개발하였고, 그 기관의 지배적인 가치가 원주민 건강의 가치와 학습에 어떤 영향을 미치는지 관심을 가졌다
It is also essential to address the hidden curriculum in relation to Indigenous health education to support formal curricular initiatives and for lasting and systemic change.26 The LIME Network, therefore, has developed a range of review tools to highlight the processes required to support initiatives in Indigenous health and development and to draw attention to how the dominant values of the institution have an impact on the value and learning of Indigenous health.
LIME 담당자와 그 동료들은 원주민 의료 및 보건 교육에 참여하고 있으며, 원주민 의학교육을 지원하는 모범 교육 사례, 자원 개발, 평가 및 프로그램 평가에 대한 학술적 작업을 개발하고 원주민 학생들의 모집과 유지를 지원합니다. 또한, LIME의 리더십은 오스트레일리아 및 Aotaroa/New Zealand의 인증 기관과 성공적으로 협력하여 모든 관련 영역에서 원주민 보건 또는 보건 인력 개발을 특별히 강조하는 인증 표준을 도입하였다.
LIME representatives and their colleagues engage with and deliver initiatives in Indigenous medical and health education and develop scholarly work on best teaching practices, resource development, and assessment and program evaluation to support Indigenous medical education, as well as the recruitment and retention of Indigenous students.25 Further, the leadership of LIME successfully engaged with the accrediting body for Australia and Aotearoa/New Zealand to introduce accreditation standards that specifically highlight Indigenous health or health workforce development across all relevant domains.
2011년 오스트레일리아에서 의학을 공부하는 원주민 학생 수는 처음으로 인구 대등도population parity에 도달했다. 그 해에 원주민 의대 1학년 학생들의 intake가 2.5%로 가장 높았으며, Aotaroa/New Zealand는 인구 통계학적 형평성 면에서 원주민 학생 졸업에 근접했다. 그리고 2013년, "호주 정부의 보건 인력 프로그램의 검토"(The Mason Review)는 "영연방은 LIME(Leaders in Native Medical Education) 네트워크의 성공에 기초해야 한다"고 권고했다. 27
In 2011, the number of Indigenous students studying medicine in Australia reached population parity for the first time, with the intake of first-year Indigenous medical students at a high of 2.5%, and Aotearoa/New Zealand is close to graduating Indigenous students at demographic equity. And in 2013, the “Review of Australian Government Health Workforce Programs” (the Mason Review) recommended that “the Commonwealth should build on the success of the Leaders in Indigenous Medical Education (LIME) Network.”27
과제들 Challenges
사회적 책임에 대한 ASPIRE-to-Excellence Award for Social Accountability Framework는 GME를 포함하지 않는데, 이는 GME가 대부분의 국가에서 대부분의 의대의 의무에 포함되지 않기 때문이다. 그러나 캐나다와 미국에서는 GME가 의대의 핵심 요소이며, 학부 의대(UME)보다 내일에 필요한 의사를 개발하는 데 더 중요할 수 있다. GME가 역량 기반 교육으로 크게 변모함에 따라 많은 사람들이 다음과 같은 질문을 던지고 있습니다. 왜, 어떻게, 누가, 그리고 어떤 차이를 만들까요? 이러한 질문은 사회적 책임과 사회의 요구에 부응하는 직업 훈련과 밀접한 관련이 있다. GME 프로그램이 다양하기 때문에 UME에 적용하는 것보다 이 단계의 의학 교육 연속체에 사회적 책임 원칙을 적용하는 것이 훨씬 더 어려워 앞으로 해야 할 일이 많이 남아 있다. 이것은 GME 프로그램과 이들을 후원하고 인가하는 기관에게 우선순위가 되어야 한다. The ASPIRE-to-Excellence Award for Social Accountability framework does not include GME—often referred to as resident training or vocational training—because GME is not included in the mandate of most medical schools in most countries. In Canada and the United States, however, GME is a core component of medical school, and it may be even more important than undergraduate medical education (UME) in developing the doctors needed for tomorrow. As GME undergoes the major transformation to competency-based training, many are asking: Why, how, who, and what difference will it make? These questions are closely related to social accountability and providing vocational training directed toward meeting society’s needs. Because of the wide variety of GME programs, it is even more difficult to apply social accountability principles to this phase of the medical education continuum than it is to apply them to UME, so much work remains to be done. This should be a priority for GME programs and the organizations that fund and accredit them.
이러한 사회적 책임 대화의 또 다른 관심사는 생태계/환경에 관한 의대의 역할이다. 의과대학이 봉사하는 인구의 [건강의 사회적 결정요인에 주요 기여자로서의 생태계/환경]과 [의과대학과 그 파트너들이 생태계/환경에 미치는 영향]이 모두 사회적 책임의 중요한 요소로 떠오르고 있다. 의과대학은 생태계의 건강 및 환경 모범 사례를 개발하고, 역할 모델링하며, 교육함으로써 강력한 긍정적 생태계/환경적 영향을 미칠 수 있습니다.28 ASPIRE는 현재 이것을 2019년 버전의 사회적 책임 상 기준에 통합하기 위해 노력하고 있다.
Another issue of concern for this social accountability conversation is the role of medical schools with regard to the ecosystem/environment. Both the ecosystem/environment as a major contributor to the social determinants of health of the populations served by the medical school and the impact of the medical school and its partners on the ecosystem/environment are emerging as important components of social accountability. Medical schools can have a powerful positive ecosystem/environmental impact by developing, role modeling, and teaching ecosystem health and environmental best practices.28ASPIRE is now working on integrating this into the 2019 version of the social accountability award criteria.
결론 Conclusion
사회적으로 책임 있는 의과대학은 지역사회, 지역 및 국가의 요구에 참여하고, 협력하고, 이에 대응한다. 이들이 봉사하는 인구(특히 소외되고 취약하며 소외된 인구)의 건강 향상은 의대 교육, 연구 및 환자 관리의 중요한 결과 척도로 간주해야 한다. 모든 의과대학은 사회적 책임의 우수성을 위해 노력해야 하지 않을까?
Socially accountable medical schools engage with, partner with, and respond to the needs of their communities, regions, and nations. Improvement in the health of the populations they serve (especially those who are marginalized, vulnerable, and underserved) should be considered vital outcome measures of medical school education, research, and patient care. Shouldn’t all medical schools strive for excellence in social accountability?
Acad Med.2018 Aug;93(8):1120-1124.
doi: 10.1097/ACM.0000000000002239.
Social Accountability: A Framework for Medical Schools to Improve the Health of the Populations They Serve
1J. Rourke is professor of family medicine and former dean of medicine (2004-2016), Faculty of Medicine, Memorial University of Newfoundland, St. John's, Newfoundland, Canada, and chair, ASPIRE-to-Excellence Panel on Social Accountability, Association for Medical Education in Europe; ORCID: http://orcid.org/0000-0001-8019-0294.
Social accountability has gained importance and greater acceptance in the ever-increasing complexity and interconnectivity of patient care, education, and research that is the threefold mission of academic health science centers and networks. In this Invited Commentary, the author provides a brief overview of the development of the concept of social accountability and the criteria for the Association for Medical Education in Europe ASPIRE-to-Excellence Award for Social Accountability, which provide a useful framework for medical schools to consider when examining their own social accountability. Per these criteria, schools are expected to document social accountability plans in their organization and functions; document social accountability actions in their education and research program activities; and demonstrate positive impacts of their education, research, service, graduates, and partnerships on the health care and health of their community, region, and nation. Award-winning schools integrate social accountability into the school's mission, planning, and day-to-day management. The health needs and diversity of the school's community, region, and nation are reflected in the school's admissions, curriculum, learning experiences, research activities, health care partnerships, and graduates. The author also describes three award winners as exemplars of social accountability and concludes by challenging every medical school and graduate medical education program to focus on meeting the needs of the populations it serves, especially those who are marginalized, vulnerable, and underserved.
의료의 휴머니즘: 무엇을 의미하며, 왜 어느 때보다 중요한가? (Acad Med, 2019)
Humanism in Medicine: What Does It Mean and Why Is It More Important Than Ever? George E. Thibault, MD
휴머니즘이란 무엇인가? 웹스터 사전1은 휴머니즘을 "인간의 이익, 가치, 존엄성을 우선하는predominate 어떤 사상이나 행동의 체계나 방식"이라고 정의한다. 철학적 운동으로서의 휴머니즘은 르네상스에서 시작되었다.인간과 인간 경험의 중심성을 강조하였는데, 이는 신을 만물의 중심에 두고 자연의 힘보다는 초자연적인 것을 강조하는 중세의 학설주의에 대한 반발이었다. [인간의 이익, 가치, 존엄성이 지배적]이라는 이 강력하고 혁명적인 전제는 르네상스의 예술, 문학, 창조성의 원동력이었다. 그것은 자연 환경과 인간의 경험에 대한 이해를 축하했다. 그것은 인간의 본질적인 선과 완벽성, 그리고 인간 문제를 해결하기 위한 이성의 중요성을 강조했다. What is humanism? Webster’s Dictionary1 defines humanism as “Any system or mode of thought or action in which human interests, values and dignity predominate.” Humanism as a philosophical movement began in the Renaissance. In emphasizing the centrality of humans and human experience it was a reaction to the theism of medieval scholasticism which placed God at the center of all things and emphasized supernatural rather than natural forces. This powerful and revolutionary premise that human interests, values, and dignity are dominant was the driving force of the art, literature, and creativity of the Renaissance. It celebrated the understanding of the natural environment and of the human experience. It stressed the essential goodness and perfectibility of human beings, and the importance of reason to solve human problems.
2세기 후, 휴머니즘은 계몽주의의 지적 기반이 되었다. 철학자 존 로크(John Locke), 데이비드 흄(David Hume) 등은 인본주의 원칙을 활용해 정부의 정당한 근거인 사회계약의 요소로 인간의 자유와 인권, 사회 정의를 강조했다. 미국 독립선언서(1776년)는 계몽주의의 산물이며, 인문학적 논문이다. Two centuries later, humanism became the intellectual underpinning for the Enlightenment. Philosophers John Locke, David Hume, and others used humanistic principles to emphasize human liberty, human rights, and social justice as the elements of the social contract that is the legitimate basis for government. The U.S. Declaration of Independence (1776) is a product of the Enlightenment, and it is a humanistic treatise:
우리는 이 진리들이 자명하고, 모든 인간은 평등하게 창조되고, 창조자에 의해 어떤 양도할 수 없는 권리를 부여받으며, 이 가운데는 생명과 자유와 행복의 추구가 있다는 것을 주장합니다. We hold these truths to be self-evident, that all men are created equal, that they are endowed by their creator with certain unalienable rights, that among these are life, liberty and the pursuit of happiness.
이성의 힘에 대한 계몽주의 믿음은 21세기까지 지속된 18세기와 19세기에 과학의 급증을 촉발시켰다. 그 이유는 이성과 과학, 휴머니즘이라는 계몽주의 원칙이 지속적으로 적용되고 있기 때문이다. The Enlightenment belief in the power of reason unleashed the burgeoning of science in the 18th and 19th centuries that has continued into the 21st century. because of the continued application of the Enlightenment principles of reason, science, and humanism, which go hand in hand.
20세기에, 휴머니즘의 원리는 자유민주주의의 발전에 기초를 두고 있는데, 자유민주주의는 파시즘과 공산주의라는 경쟁 철학을 물리치고 서구 세계의 우세한 정치질서가 되었다. 그러나, 그의 최근 저서 21세기의 교훈에서 4세의 유발 노아 하라리는, 우리는 그 계속되는 승천을 당연하게 받아들일 수 없다고 우리에게 경고한다.
In the 20th century, the principles of humanism underlie the development of liberal democracies, which became the ascendant political order of the western world, defeating the rival philosophies of fascism and communism. However, Yuval Noah Harari,4 in his recent book 21 Lessons for the 21st Century, cautions us that we cannot take that continued ascendancy for granted.
의학의 휴머니즘 Humanism in Medicine
이런 배경에서 볼 때 '의학 속의 휴머니즘'은 무엇을 의미하며, 의학에서 휴머니즘에 대한 헌신의 의미는 무엇일까. 의학은 언제나 인본주의적인 사업enterprise으로 여겨져 왔다. 기원전 5세기 히포크라테스 선서의 윤리적 원칙은 환자의 이익을 최우선으로 해야 한다는 점에서 (그 선서는 복수의 그리스 신에 대한 기도로 시작되지만) 휴머니즘적이다. 위대한 중세의 의사인 Avicenna와 Maimonides는 인문학에 푹 빠져 있었다. 르네상스 시대부터, [과학뿐만 아니라 인문학을 배운 의사]라는 이상적 모습이 있었다. Given this background, what does “humanism in medicine” mean, and what are the implications of making a commitment to humanism in medicine? Medicine has always been regarded as a humanistic enterprise. The ethical principles of the Hippocratic Oath dating from the 5th century b.c. are humanistic (though the oath begins as a prayer to multiple Greek gods), in that they call for putting patients’ interests first. The great medieval physicians Avicenna and Maimonides were steeped in the humanities. From the Renaissance on, there has been the ideal of the physician who was learned in the humanities as well as the sciences.
휴머니즘과 의학의 관계를 새롭게 하려는 명백한 시도는 20세기 후반에 하나의 현상이 되었다. 이는 (의학의 역사적 뿌리에서 의학을 빼앗고 있는) '비인간화' 세력에 맞서 [의학을 '인간화'하려는 욕구]가 동기가 된 것이다. 이러한 비인간화 세력은 다음을 포함한다.
의료행위의 기업화
의학에서 사업과 금융의 역할의 증가,
환자 경험의 단편화,
임상적으로 마주치는 시간이 줄어들었고
인간 상호작용의 대체물로서 기술에 대한 증가하는 의존성, 그리고
의사 교육에 있어서의 인문학에 관한 탈의실시
The explicit attempt to renew the link between humanism and medicine became a phenomenon in the latter decades of the 20th century. This was motivated by the desire to “humanize” medicine in the face of “dehumanizing” forces that were taking medicine away from its historical roots. These forces included
the corporatization of the practice of medicine,
the increasing role of business and finance in medicine,
the fragmentation of patient experiences,
the reduced time for clinical encounters,
the increasing reliance on technology as a substitute for human interaction, and
a de-emphasis on the humanities in the education of physicians.
이 모든 '비인간화적 힘'은 인내심과 직업적 만족감 둘 다의 일반적인 하락으로 이어졌다. 이러한 비인간화 세력에 대응하기 위한 프로그램과 인센티브를 만들어야 하는 필요성으로 인해 아놀드와 산드라 골드는 30년 전에 아놀드 P 골드 재단을 설립했습니다. 이는 훌륭하고 현명한 조치입니다. 만약 그때 그것이 만들어지지 않았다면, 우리는 지금 그것을 만들 필요가 있었을 것이다. 그러나 골드 재단이 보건 전문가들의 교육과 태도에 긍정적인 영향을 끼쳤음에도 불구하고, 우리의 직업에 영향을 미치는 비인간화 세력은 그 어느 때보다도 강력하다.
All of these dehumanizing forces were leading to a general decline in both patient and professional satisfaction. The need to create programs and incentives to counter these dehumanizing forces led Arnold and Sandra Gold to create the Arnold P. Gold Foundation 30 years ago—a brilliant and prescient move. If it had not been created then, we would need to create it now. But in spite of the Gold Foundation’s positive impact on the education and attitudes of health professionals, the dehumanizing forces affecting our professions are stronger than ever.
골드 파운데이션의 이니셔티브는 보건 전문가들과 그들의 뿌리 그리고 가치들을 연결시켜 인정받고, 보살피고, 협력적인 임상의가 되도록 하는 인간화 커뮤니티와 의식을 만들었습니다. 그들은 이러한 인본주의적 행동에 대한 보상과 인정을 만들어냈다. 그들은 성찰적인 글쓰기와 인문학적 주제에 대한 연구를 자극했다. 사실 의학 교육계는 이러한 시책에 의해 인간화되었습니다. 그러나 의학의 이러한 시책의 보급을 증가시키고 간호와 다른 건강 전문가들에게 더 깊이 다가가기 위해 해야 할 일이 훨씬 더 많다. 이것은 금 재단의 앞으로의 흥미진진한 작업이며, 저는 그 여정의 일부가 된 것이 자랑스럽습니다.
Gold Foundation initiatives have created humanizing communities and rituals that connect health professionals with their roots and their values to be compassionate, caring, and collaborative clinicians. They have created rewards and recognition for these humanistic behaviors. They have stimulated reflective writing and research on humanistic topics. The medical education world has, in fact, been humanized by these initiatives. But there is much more to do to increase the penetration of these initiatives in medicine and to reach more deeply into nursing and the other health professions. This is the exciting work ahead for the Gold Foundation, and I am proud to be part of that journey.
사회에서의 휴머니즘 Humanism in Society
이러한 인본주의 원칙에 따라, 우리는 우리 사회의 건강 전문직이 휴머니즘의 모델이 되도록 노력합니다. 이것은 그 어느 때보다 중요한 절대적으로 필수적인 작업이다. 그러나 우리는 전문가로서 그리고 우리 사회의 구성원으로서 의학의 인간화 의무와 의무를 훨씬 뛰어넘는 훨씬 더 큰 과제를 안고 있다. 비인간화 되어 위협받는 것은 의학뿐만이 아니다; 우리 사회는 대체로 그것의 설립 이래 그것의 근간이었던 휴머니즘의 원리에 등을 돌리고 있다. 미국과 해외에서의 정치적 사건들은 어느 정당이 집권하고 있든 서구세계에서 지배적인 형태의 정부였던 휴머니즘과 민주자유주의의 원칙을 위협한다. 도널드 트럼프의 당선은 미국의 이런 반인륜적 경향의 증세이자 가속도가 됐다. In accordance with these humanistic principles, we strive to make the health professions the model for humanism in our society. This is absolutely essential work that is more important than ever. But we as professionals and as members of our society have an even larger challenge that goes well beyond the mandate and charge to humanize medicine. It is not just medicine that is threatened by being dehumanized; our society at large is turning against the principles of humanism that have been its underpinning since its founding. Political events in the United States and abroad threaten the principles of humanism and of democratic liberalism which has been the predominant form of government in the Western world, regardless of which political party is in power. The election of Donald Trump was both a symptom of and accelerant to this antihumanism trend in the United States.
휴머니즘의 원리에 맞지 않는 보다 독재적이고 민족주의적인 철학에 대한 이러한 경향은 러시아, 터키, 헝가리, 폴란드, 브라질에서 독재적인 지도자들의 권력이 부상하고 많은 서유럽 국가에서 강력한 민족주의 정당이 출현하는 과정에서도 드러난다. 이러한 경향은 2016년 미국 대통령 선거를 예고했다. 이러한 다양한 사례들 사이에는 분명히 차이가 있지만, 반인륜적 언행과 그에 따른 정책에는 많은 공통성이 있다. 이러한 정치적 문제에 인도주의적 렌즈를 적용함에 있어서, 나는 정책 토론을 위한 정당한 영역이 없다는 것을 제안하고 싶지 않으며, 세계를 휴머니스트와 반휴머니스트로 나누려는 것도 아니다. 그러나 우리의 더 큰 사회의 휴머니즘 상태를 탐구하지 않고는, 오늘날 의학에서 휴머니즘의 문제를 합법적으로 다룰 수 없다고 믿는다. This trend toward more autocratic and nationalistic philosophies that are not in line with the principles of humanism has been documented in the rise to power of autocratic leaders in Russia, Turkey, Hungary, Poland, and Brazil, and in the emergence of strong nationalist parties in many Western European countries. These trends antedated the 2016 U.S. presidential election. There clearly are differences across these various examples, but there is much commonality in the antihumanistic rhetoric and behaviors and in resulting policies that are not consistent with humanistic principles. In applying a humanistic lens to these political issues, I do not want to suggest that there are not legitimate areas for policy debate, nor am I attempting to divide the world into humanists and antihumanists. But I believe we cannot legitimately address the issue of humanism in medicine today without exploring the state of humanism in our larger society.
오늘날 많은 반인륜적 행동들이 점점 더 만연하고 있으며 일부 지도자들에 의해 합법화되고 있다.
[인종, 민족, 종교에 기초한 개별 집단에 대한 편견]은 각 인류의 가치를 부정하기 때문에 반인륜적이다.
언론의 자유와 다른 개인의 자유를 제한하려는 위협은 반인륜주의적이다. 왜냐하면 그들은 인본주의의 근간인 개인의 권리를 부인하기 때문이다.
진실의 부재는 반인륜적인 것이다. 왜냐하면 휴머니즘은 이성적인 사고와 말에 기초하기 때문이다.
과학적 사실을 부인하는 것은 반인륜주의적인데, 왜냐하면 휴머니즘은 인간의 상태를 개선하기 위해 과학을 찬양하기 때문이다.
괴롭힘과 모욕적인 행동은 각 개인의 가치를 떨어뜨리고 각 인간의 완전한 발전의 이상을 위협하기 때문에 반인륜적인 것이다.
Many antihumanistic behaviors are becoming more prevalent today and are being legitimized by some leaders.
Prejudice against individual groups based on race, ethnicity, or religion is antihumanistic because it denies the value of each human being.
Threats to restrict freedom of speech and other individual liberties are antihumanistic because they deny individual rights that are the underpinning of humanism.
An absence of truthfulness is antihumanistic because humanism is based on rational thought and speech.
The denial of scientific facts is antihumanistic because humanism celebrates science to improve the human condition.
Bullying and insulting behaviors are antihumanistic because they demean the value of each individual and threaten the ideal of the full development of each human.
반인륜주의의 위협 The Threat of Antihumanism
ACA에 대한 확대된 접근권을 철회하는 것은 반인륜적이며 동등한 권리를 부인하는 것이다.
이민에 대한 불합리한 제한은 모든 인간의 가치를 부정하고 다양성, 재능, 혁신의 혜택을 사회를 부정하기 때문에 반인륜적이다.
아이를 가족과 분리하는 것은 인간의 기본적인 욕구를 부정하는 것이기 때문에 반인륜적인 것이다.
합리적인 총기안전법을 제정하지 못한 것은 인간의 해악과 고통을 예방할 수 있기 때문에 반인륜적이다.
Rolling back the expanded access to care of the Affordable Care Act is antihumanistic and is a denial of equal rights.
Unreasonable restrictions on immigration are antihumanistic because they deny the value of all humans and deny society the benefit of diversity, talent, and innovation.
Separation of children from their families is antihumanistic because it is a denial of a basic human need.
Failure to enact reasonable gun safety legislation is antihumanistic because it leads to preventable human harm and suffering.
백신의 안전과 효능을 부정하는 것은 반인륜적이며, 인간의 해와 고통으로 이어지기 때문이다.
기후변화에 대한 부정은 현재와 미래에 최적의 인간의 건강과 발전을 위해 직접적인 부정적인 결과를 초래하는 과학적 사실을 부인하기 때문에 반인륜적이다.
일반적인 과학에 대한 거부는 반인륜적이며 우리 기관에 대한 대중의 신뢰와 그들을 대신해서 선을 행할 수 있는 그들의 능력을 손상시킨다.
Denial of the safety and efficacy of vaccines is antihumanistic because it is antiscience and leads to human harm and suffering.
Denial of climate change is antihumanistic because it denies scientific fact with direct negative consequences for optimal human health and development now and in the future.
Denial of science in general is antihumanistic and undermines the public’s confidence in our institutions and their ability to do good on their behalf.
물론 인도주의적 가치가 위협받는 것은 우리나라 역사상 이번이 처음이 아니다. 노예제, 남북전쟁, 재건, 쿠 클룩스 클란, 아무것도 모르는 당, 대공황, 매카시즘, 베트남 전쟁은 인류주의에 대한 우리의 헌신에 도전했습니다. 그의 최근 저서 '미국의 영혼'에서 5세인 존 메참은 우리 역사의 이 불안한 순간들과 그 나라 국민들과 지도자들이 궁극적으로 우리의 가치를 재확인함으로써 그들에게 어떻게 반응했는지를 이야기한다. 현재의 위협에 어떻게 대응할 것인가?
This, of course, is not the first time in our country’s history when humanistic values have been threatened. Slavery, the Civil War, Reconstruction, the Ku Klux Klan, the Know Nothing Party, the Depression, McCarthyism, and the Vietnam War challenged our commitment to humanism. Jon Meacham,5in his recent bookThe Soul of America, speaks to these unsettling moments in our history and how the people of the nation and its leaders responded to them by ultimately reaffirming our values. How are we going to respond to the current threats?
휴머니즘 회복에 있어 의학의 역할 The Role of Medicine in Restoring Humanism
20여 년 전, 우리는 보건 전문가들에게 우리의 책임이 환자들뿐만 아니라, [우리가 일하는 시스템을 개선]함으로써 우리가 봉사하는 모든 사람들을 위해 더 안정적이고, 접근 가능하고, 평등하고, 경제적으로 돌볼 수 있도록 하는 것에 대한 논의를 시작했습니다. 이 인문주의적 직업적 가치는 돈 버윅, 폴 배탈든 등이 아름답게 표현했고, 현재 고전적인 의학 연구소 보고서인 "To Er Is Human"에 구현되었다.6 More than two decades ago, we began the discussion in the health professions that our responsibility is not only to our patients but also to improving the systems in which we work—making care more reliable, accessible, equitable, and affordable for all the humans we serve. This humanistic professional value was beautifully articulated by Don Berwick, Paul Batalden, and others and was embodied in the now classic Institute of Medicine report “To Err Is Human.”6
비록 우리의 치료 시스템을 개선해야 하는 과제는 결코 이루어지지 않았지만, 이제 우리는 그것에 또 다른 과제를 더해야 한다. 바로 우리 사회를 훨씬 더 인도주의적으로 만드는 것을 돕는 것이다.
우리는 이것을 환자 개개인의 만남에서 동정심 많은 전문가로서 우리 자신을 어떻게 행동할 것인가의 모범을 보임으로써 할 것입니다.
그리고 우리는 더 인본주의적으로 만들기 위해 우리의 치료 시스템을 계속해서 개혁함으로써 이것을 할 것입니다.
하지만 우리는 또한 우리 주변의 모든 휴머니즘에 대한 위협들이 우리 환자들의 삶과 우리가 전문가로서 기능하는 사회의 가치에 부정적인 영향을 미치고 있다는 것을 증명해야 합니다.
Although the task of improving our systems of care is by no means done, we now must add to it another task, and that is to help make our society at large more humanistic.
We will do this by the example of how we conduct ourselves as compassionate professionals in our individual patient encounters.
And we will do this by continuing to reform our systems of care to make them more humanistic.
But we must also bear witness to the threats to humanism that are all around us that are having a negative impact on the lives of our patients and the values of the society in which we function as professionals.
반인륜적 사회 속에서는, [의료의 휴머니즘]이라는 우리의 목표를 달성할 수 없다.
We cannot achieve our goals for humanism in medicine within an antihumanistic society.
이것은 우리에게 너무 지나친 기대처럼 보일 수도 있다. 우리는 이미 과중한 부담을 가지고 있고 때로는 전문적인 일에 압도되어 있다. 그리고 우리가 모든 문제를 떠맡을 수도 없고 휴머니즘을 회복하기 위한 국가적 정치 운동에 모든 시간과 에너지를 쏟을 수도 없다는 것은 분명한 사실이다. 하지만 저는 이 문제에 대해 적절한 말로 이야기함으로써, 우리는 직업적인 정체성을 재확인하고 침묵으로 인한 피해나 복잡함을 피할 것이라고 믿습니다. 케네디 대통령은 단테의 말을 자주 인용하면서, 지옥에서 가장 더운 곳은 도덕적 위기의 시기에 중립을 지키는 곳이라고 말했다. 우리는 같은 생각을 가진 보건 전문가들로 구성된 커뮤니티를 만들고 다른 사회 분야의 파트너를 찾는 것을 도울 것입니다. 휴머니즘을 옹호하는 그러한 새로운 목적의식은 직업적인 권태와 환멸의 해독제가 될 수 있다.
This may seem like too much to expect of us—we are already overburdened, sometimes overwhelmed with our professional tasks. And it is certainly true that we cannot take on every issue or devote all our time and energy to a national political campaign to restore humanism. But I do believe that by speaking to these issues in the appropriate fora, we will reaffirm our professional identities and avoid victimization or complicity by our silence. President Kennedy frequently quoted Dante that the hottest places in hell are reserved for those that in the time of moral crisis maintain their neutrality. We will be aided by creating communities of like-minded health professionals and by finding partners in other societal sectors. Such a renewed sense of purpose in defense of humanism can be an antidote to professional ennui and disillusionment.
그리고 의학에서 휴머니즘의 확대된 비전을 위한 기질과 도구를 제공하는 데는 교육자들의 역할이 중요하다.
우리는 우리의 교육 과정이 휴머니즘을 표현하고 발전시킬 수 있는 더 많은 기회를 제공한다는 것을 알아야 한다.
여기에는 미국과 해외에서 소외된 인구를 돌보고, 건강의 사회적 결정요인에 더 초점을 맞추고, AMC와 우리가 봉사하는 사회 사이의 사회적 계약 강화가 포함된다.
And there is an important role for educators in providing the substrate and tools for this expanded vision of humanism in medicine.
We must see that our educational processes afford more opportunities to express and develop humanism.
These opportunities include caring for underserved populations in the United States and abroad, more focus on the social determinants of health, and a strengthening of the social contract between our academic medical centers and the society we serve.
우리는 또한 인간의 상태와 경험을 더 잘 이해할 수 있도록 인문학 연구를 지원해야 한다. 이러한 많은 프로그램들이 현재 전국의 의과대학에서 시행되고 있으며, 나는 이러한 노력을 성문화하고 확장하려는 미국 의과대학 협회의 새로운 구상에 박수를 보낸다. 그리고 우리는 또한 정책, 철학, 옹호와 같은 토론의 기회를 만들어 우리 졸업생들이 완전히 참여하며 인도주의적인 시민으로 거듭날 수 있도록 해야 합니다. 그리고 물론, 우리는 우리의 모든 학습 환경이 인도주의적인 행동의 본보기가 되도록 계속해서 노력해야 합니다.
We also must support the study of the humanities to better understand the human condition and the human experience. Many such programs are now in place in medical schools across the country, and I applaud the new initiative of the Association of American Medical Colleges to codify and expand these efforts.7And we also must create opportunities for the discussion of policy, philosophy, and advocacy so that our graduates are equipped to be fully engaged, humanistic citizens. And of course, we must continue to work hard to ensure that all our learning environments are examples of humanistic behavior.
휴머니즘의 시금석 찾기 Finding Our Touchstones for Humanism
우리들 각자는 경험, 롤 모델, 영감을 주는 글 등 휴머니즘을 위한 시금석을 가지고 있습니다. 이제는 우리 각자가 그 시금석에 그림을 그려 일상생활에서 좀 더 현실화시켜야 할 때입니다. 그 시금석으로부터 환자와의 만남에 필요한 정보를 얻고, 각 보건 시스템 내의 작업을 보다 인간적으로 보이게 하며, 우리 각자가 시민권을 어떻게 표현하는지 알려주도록 합니다. 우리의 가치와 환자들에게 중요한 문제들에 대해 우리의 전문지식과 전문적 지위를 이용하여 목소리를 내자. 인문학적인 가치관을 가진 후보들을 지지하면서 좀 더 정치적으로 활동하자. 우리는 변화를 만들 수 있고, 우리 사회가 휴머니즘의 원리에 더 부합하도록 도울 수 있습니다.
Each of us has our own touchstone for humanism—an experience, a role model, an inspirational writing. It is time for each of us to draw on that touchstone and make it more real in our daily lives. Let it inform every encounter with a patient, let it inform the work within each health system to make it more humanistic, and let it inform how each of us expresses our citizenship. Let us use our expertise and professional standing to speak out on issues that are important to our values and our patients’. Let us be more politically active, supporting candidates with humanistic values. We can make a difference and we can help to have our society be more aligned with the principles of humanism.
이 중심적인 관찰을 다시 강조하면서 결론을 내겠습니다. 우리를 둘러싼 세상에 휴머니즘이 없다면 의학에 휴머니즘을 갖기 어려울 것이다. 인간의 관심, 가치, 존엄성이 우선되어야 한다.
Let me conclude by reasserting this central observation. It will be hard to have humanism in medicine if there is no humanism in the world around us. Human interest, values, and dignity must predominate.
Acad Med.2019 Aug;94(8):1074-1077.
doi: 10.1097/ACM.0000000000002796.
Humanism in Medicine: What Does It Mean and Why Is It More Important Than Ever?
1G.E. Thibault is immediate past president, Josiah Macy Jr. Foundation, New York, New York, and Daniel D. Federman Professor of Medicine and Medical Education Emeritus, Harvard Medical School, Boston, Massachusetts.
Humanism has been at the core of the medical profession since its inception, and it has been a foundation throughout modern history for political and community values. But today, countries and leaders are increasingly adopting antihumanistic policies and positions. In this Invited Commentary, the author probes whether humanism in medicine can survive in the current culture. The author defines humanism as any system or mode of thought or action in which human interests, values, and dignity predominate. He traces humanism as a philosophical and political movement from the Renaissance through the Enlightenment to the development of liberal democracies in the 20th century. He identifies the humanistic roots of the medical profession and describes efforts to revitalize humanism in medicine in recent decades. He then details antihumanistic behaviors and policies in the current political environment and makes the case that these behaviors and policies threaten humanism in medicine. He calls on the medical profession to renew its commitment to humanism and to oppose antihumanistic behaviors and policies. It will be hard, he concludes, to have humanism in medicine if there is no humanism in the world around us.
The future of health professions education: Emerging trends in the United States George E. Thibault
1. 소개 1. INTRODUCTION
2020년 2월, 저는 건강 직업 교육의 미래에 대한 몇 가지 생각을 제출하라고 요청받았을 때, 저는 우리가 한 세기 동안 유행병에서 한 번 경험하게 될 것이라는 것을 전혀 몰랐습니다. 이 나라의 의료와 의료 전문가의 삶과 교육을 크게 변화시킬 것입니다. 내가 이러한 개인적 성찰을 쓰면서, 우리는 여전히 COVID19 유행병의 한가운데에 있고, 유행병의 반대편에 있는 의료, 보건 전문가 교육 또는 사회 전체에 대한 "새로운 정상new normal"이 무엇인지 아직 정의할 수 없다. 이러한 불확실성을 인정하면서, 나는 내가 파악한 동향이 그 어느 때보다도 더 적절할 것이라고 믿는다. In February 2020 when I was asked to submit some thoughts on trends in the future of health professions education, I had no idea that we were about to experience a once in a century pandemic that would profoundly change health care and the lives and education of health professionals in this country. As I write these personal reflections, we are still in the midst of the COVID‐19 pandemic and cannot yet define what the “new normal” will be for health care, health professional education or society as a whole on the other side of the pandemic. Acknowledging this uncertainty, I believe that the trends I have identified will be more relevant than ever in the post‐COVID world with some specific caveats.
보건 직업 교육의 미래를 위해 제가 파악한 여섯 가지 경향은 다음과 같습니다.
The six trends that I have identified for the future of health professions education are:
보건 전문가들을 미래의 협력적 실천을 위해 더 잘 준비하기 위한 전문직 간 교육.
보다 환자, 지역사회 및 만성 질환 지향적인 종적 통합 임상 교육.
건강의 사회적 결정요인 교육 및 보건 직업의 사회적, 인문학적 임무.
건강 전문직의 연속성을 더욱 강조하여 건강 전문가의 평생학습과 장기적인 웰빙를 위한 교육을 실시합니다.
역량 기반, 시간 가변 보건전문직교육으로의 전환을 통해, 우리의 사회적 계약을 더 잘 이행하고 가장 유능한 실무자를 가장 효율적으로 배출.
인공 지능과 새로운 교육 및 정보 기술의 통합은 보건 직업의 교육과 실천의 연속이다.
Interprofessional education in order to better prepare health professionals for future collaborative practice.
Longitudinal integrated clinical education that is more patient, community, and chronic disease oriented.
Education in the social determinants of health and the social and humanistic missions of the health professions.
More emphasis on the continuum of health professions education for the life‐long learning and long‐term well‐being of health professionals.
A shift to competency‐based, time variable health professions education to better fulfill our social contract and to produce the most competent practitioners most efficiently.
The integration of artificial intelligence and new educational and information technologies into the continuum of health professions education and practice.
내가 보건직업 교육을 받은 50년을 돌이켜 볼 때, 첫 40년간 [health-care delivery]의 개혁 속도가 [HPE의 개혁 속도]를 훨씬 능가했다.
1960년대 메디케어와 메디케이드의 통과,
1960년대와 1970년대의 증가하는 NIH 예산에 의해 자극받은 진단과 치료 모두를 개선하기 위한 과학과 기술의 진보,
1980년대와 1990년대 관리형 진료 및 인수합병(M&A)으로 이어지는 진료비 증가
1990년대 및 그 이후의 환자안전 운동과 질 향상
의료 정보에 대한 보다 개방적인 접근에 의한 소비주의의 증가
...등은 HPE에 있어 (이와 유사한 변화 없이도) 이 나라의 의료 서비스 제공과 조직의 급격한 변화에 모두 기여했습니다. As I reflect on my five decades in health professions education my observation is that for the first four decades the pace of health‐care delivery reform far exceeded the pace of health professions education reform.
The passage of Medicare and Medicaid in the 1960s,
advances in science and technology to improve both diagnosis and treatment stimulated by rising NIH budgets in the 1960s and 1970s,
increases in the costs of care leading to managed care and mergers and acquisitions in the 1980s and 1990s,
the quality improvement and patient safety movements of the 1990s and beyond, and
the rise in consumerism with more open access to medical information
...have all contributed to dramatic changes in the organization and delivery of health care in this country without a parallel transformation in the education of health professionals.
다행히도, 나는 지난 10년 동안 면허 전(학부)과 면허 후(대학원) 교육 모두에서 주목할 만한 실험으로 보건 직업 교육의 중대한 개방성과 변화 의지를 목격했다. 이러한 변화는 고무적이지만 빠르게 변화하는 건강 관리 세계와 변화하는 사회 인구 통계 및 기대치에 보조를 맞추기 위해서는 훨씬 더 많은 변화가 필요합니다.
Happily, I have witnessed in the past decade a significant openness and willingness to change in health professions education with notable experimentation in both prelicensure (undergraduate) and postlicensure (graduate) education. These changes are heartening, but much more needs to be done to keep pace with this rapidly changing health‐care world and changing societal demographics and expectations.
2008년 1월에 Macy Foundation의 회장으로 취임했을 때, 저는 건강 전문 교육을 사회적 요구와 진화하는 건강 관리 전달 시스템과 더 잘 연계할 교육 개혁에 대한 비전을 간략히 설명했습니다. HPE enterprise는 상아탑의 폐쇄적인 시스템으로 볼 것이 아니라 졸업생들이 일할 배달 시스템과 그들이 봉사할 사회와 밀접하게 연계된 것으로 보아야 한다는 생각이 들었다. 건강직업 교육은 내부가 아닌 외부로부터 교과목표를 도출할 필요가 있었고, 그 목표를 측정하고 성취하는 데 있어, 사회에 대한 책무를 져야 한다. 이 프레임워크는 12년 후 Lancet Commission이 전 세계의 건강 전문직 교육을 평가하면서 개발한 프레임워크와 매우 유사했다. 이것은 캐나다와 일부 서유럽 국가들에 의해 채택된 틀이다. When I assumed the Presidency of the Macy Foundation in January 2008, I outlined a vision for educational reform that would better align health professional education with societal needs and with an evolving health‐care delivery system. I felt that the health professions education enterprise must not view itself as a closed system in the ivory tower, but as one closely interconnected with the delivery system in which its graduates would work and with the society that they would serve. Health professions education needed to derive its curricular goals from outside rather than inside, and it in turn must be accountable to society in measuring and fulfilling those goals. This framework was very similar to that developed by the Lancet Commission12 years later in their work assessing health professions education worldwide. It is a framework that has been adopted by Canada and some western European countries.
1.1. 트렌드 1: 진정한 협업의 실천을 위해 보건 전문직을 더 잘 준비하기 위한 전문직 간 교육 1.1. Trend number one: Interprofessional education in order to better prepare health professions for true collaborative practice
하지만, 최근까지, HPE는 훈련 과정이 끝날 때까지 각 profession들을 따로 떼어놓도록 고안되었습니다. 이는 1960년대 이후 미국에서 IPE(Interprofessional Education)가 작성되었고, 1972년 Institute of Medicine Report("Education for the Health Team") 4가 IPE를 강력히 추천했음에도 불구하고 일어난 것이다. Yet, until recently, health professional education has been designed to keep the professions apart until the completion of the training process. This is in spite of the fact that interprofessional education (IPE) has been written about in the United States since the 1960s, and a 1972 Institute of Medicine Report (“Education for the Health Team”)4strongly recommended IPE.
IPE가 미국에서 관심을 끌지 못한 이유는 여러 가지가 있는데, 여기에는 로지스틱 장애, 각 직업의 강한 문화, IPE를 수용하지 않은 의사들의 정치적 지배, 의료 서비스 시스템의 설계 변경에 대한 긴박감 부족 등이 포함된다. 지난 10년간 여러 기관이 물류 장벽을 극복할 수 있다는 것을 증명하고, 많은 직업(MD 포함)의 교육 리더들이 IPE의 이점을 보고, [더 나은 건강 결과, 더 나은 환자경험, 더 낮은 비용]이라는 "3중 목표"를 충족시키는 의료 개혁의 필요성에 대한 더 큰 시급성을 발전시키면서 조류는 바뀌기 시작했다. 팀에서 일할 수 있는 능력은 모든 건강 전문가들이 갖춰야 할 핵심 역량이라고 주장하는 것이 옳았다. 5 There are many reasons why IPE did not gain traction in the United States; among these are the logistical obstacles, the strong cultures of each of the professions, the political dominance of physicians who as a group did not embrace IPE, and the lack of a sense of urgency about changing the design of the health‐care delivery system. The tide began to turn in the last decade as several institutions demonstrated that logistical barriers could be overcome, educational leaders in many professions (including MDs) saw the advantages of IPE, and there developed greater urgency about the need for health‐care reform that met the “triple aim” of better health outcomes, better patient experiences, and lower costs. The time was right to assert that the ability to work in a team is a core competency that should be possessed by all health professionals.5
나는 메이시 재단이 이 변화의 리더였다는 것이 자랑스럽다. 2008년부터 2018년까지 메이시 재단은 IPE를 1차 또는 2차 테마로 하여 44개의 대규모 보조금과 41개의 소규모 보조금을 지원하였다. 또한 메이시 교수진의 교육 혁신 프로젝트 24개가 전문가 간이었다. IPE는 메이시 재단이 우선 투자 분야 중 가장 큰 규모였다. 투자를 결정하게 된 이유는 지금이 IPE를 지지하는 세력들의 alignment를 이용하기에 적절한 시기인 것 같았고, IPE가 대중의 건강 증진에 큰 긍정적인 영향을 미칠 수 있다는 믿음과, 그리고 우리가 긍정적인 일의 결정적 덩어리를 만들어냄으로써 이것을 HPE의 표준으로 삼을 수 있다는 희망이었다. 설계상, 모든 대규모 IPE 보조금에는 의과대학과 간호대학이 포함되었다. 많은 학교들은 약국, 치의학, 공중보건, 사회사업과 같은 다른 건강전문학교를 포함했다. 우리는 간호사와 의사가 환자를 돌보는 보건 전문가들 중에서 가장 많고 눈에 잘 띄기 때문에, 이 두 직업의 문화를 바꾸는 것이 다른 사람들을 위한 모델이 될 것이라고 추론했다. I am proud that the Macy Foundation was a leader in this change. In the decade 2008 to 2018 the Macy Foundation supported 44 large grants and 41 small grants with IPE as the primary or secondary theme. In addition, 24 educational innovation projects of Macy Faculty Scholars were interprofessional. IPE was the largest investment that the Macy Foundation made in any of its priority areas. The reasons for the decision to make the investment were that this seemed to be a propitious time to take advantage of the alignment of forces favoring IPE, the belief that IPE could have a large positive impact on improving the health of the public, and the hope that by creating a critical mass of affirmative work we could make this the norm in health professions education. By design, all of the large IPE grants included medical schools and nursing schools. Many included other health professional schools, such as pharmacy, dentistry, public health, and social work. We reasoned that since nurses and doctors were the most numerous and visible of the health professionals caring for patients, changing the culture in those two professions would be models for others.
이 작업 본문을 검토하면서, 6 우리는 후속 grant에 inform한 다섯 가지 중요한 교훈을 도출했다.
1) 위에서부터의 리더십이 필수적이다. Deans, Provosts, Chancellors 및 Presidents는 IPE를 수용해야 하며, 예산 및 조직 구조(예: IPE 사무실)로 표현되는 높은 우선순위로 만들어야 합니다. 이렇게 해야만 불가피한 물류와 정치적 장벽을 극복할 수 있다.
2) 명확한 교육 목표와 측정 기준을 갖춘 집중적인 계획은 모든 IPE 이니셔티브의 토대를 마련해야 한다. IPE 경험은 정규 교육과정의 다른 모든 부분만큼 엄격해야 한다.
3) 환자진료와 자신의 전문성 개발을 발전시키는 실질적이고 의미 있는 작업을 통해 전문성 있는 학습자가 참여해야 한다. 이러한 경험은 전체 교육 궤도에 걸쳐 개발적으로 적절한 방식으로 강화되어야 한다.
4) 시뮬레이션 및 온라인 비동기 학습과 같은 교육 기술의 혁신적인 사용은 물류 장벽을 극복하고 대면 및 실제 환자 경험을 보완하는 데 도움이 될 수 있다.
5) 교수개발에 많은 주의를 기울여야 한다. 대부분의 교수진이 다른 보건분야의 교수나 학습자와 함께 일한 경험이 거의 없거나 전혀 없기 때문이다.
In reviewing this body of work,6we derived five important lessons that informed our subsequent grant giving.
1) Leadership from the top is essential. Deans, Provosts, Chancellors, and Presidents must embrace IPE and make it a high priority as expressed by budget and organizational structure (such as an office of IPE). Only in this way can the inevitable logistical and political barriers be overcome.
2) Intensive planning with clear educational goals and metrics must lay the groundwork for all IPE initiatives. IPE experiences must be as rigorous as all other parts of the formal curriculum.
3) Interprofessional learners must be engaged through real, meaningful work that advances patient care and their own professional development. These experiences must be reinforced in a developmentally appropriate way throughout the entire educational trajectory.
4) Innovative use of educational technology such as simulation and on‐line, asynchronous learning can help overcome logistical barriers and complement face to face encounters and real patient experiences.
5) Much attention must be paid to faculty development since most faculty have had little or no experience working with faculty or learners from other health professions.
학습된 다른 교훈 중 하나는 [각 profession마다 가능한 가장 강력한 교육 프로그램을 가지고 있을 때] 가장 좋은 IPE도 가능하다는 것이다. 즉, 강력한 uni-professional education이 강력한 IPE로 이어진다. 이는 성공적인 팀을 연구한 사람들의 경험과 일치합니다. 가장 성공적인 결과를 이끌어내는 것은 문제에 대한 다양한 관점과 경험입니다. IPE를 높은 우선순위로 만든 여러 보건 과학 학교를 가진 대학들은 그것이 모든 교직원과 학생들에게 혜택을 준 더 큰 개방성과 포함을 향한 문화적 변화를 가져오는데 도움을 주었다는 것을 발견했다. One of the other lessons learned is that IPE is at its best when each profession has the strongest possible educational program—strong uni‐professional education leads to strong inter‐professional education. This is consistent with the experiences of those who have studied successful teams—it is the diversity of points of view and experiences that are brought to bear on the problem that leads to the most successful outcomes. Health science campuses or universities with multiple health science schools that have made IPE a high priority have found that it has helped bring about a cultural change towards greater openness and inclusion that has benefited all faculty and students.
이제 거의 모든 보건 전문가 면허 전 인증 기관(IPE의 공통 정의 세트를 작업하고 있음)이 IPE를 요구하고 있으므로, 우리는 승리를 선언하고 계속 나아갈 수 있을까요? 쉽지 않을 것이다. 전국의 모든 보건 전문 학교에 걸쳐 IPE의 질, 견고성, 침투성에는 여전히 큰 불균형이 있다. 간호 또는 의료 파트너가 없는 free-standing 보건 전문 학교는 특히 어려움을 겪고 있다. So now that IPE is being required by nearly all the health professional prelicensure accrediting bodies (who are also working on a common set of definitions of IPE), can we declare victory and move on? Hardly. There is still great unevenness in the quality, robustness, and penetrance of IPE across all our health professional schools nationally. Free‐standing health professional schools without nursing or medical partners are particularly challenged.
현재까지 거의 모든 공식적인 IPE 프로그램들은 보건 전문가들을 대상으로 하고 있다. 비록 사전 라이선스 교육의 현재 성공 수준에 도달하기 위해 극복해야 할 많은 물류 장벽이 있었지만, 교육이 사실상 전적으로 보건 전문 학교가 아닌 의료 전달 시스템에서 이루어지는 이종적이고 복잡한 [면허 후 교육] 세계에서 그 도전은 훨씬 더 크다. 그러나 IPE가 의료 전문가의 관행과 환자의 건강 결과에 진정으로 긍정적인 영향을 미친다면, 이는 전문성 발전의 후반 단계(CME)의 일부가 되어야 한다. Almost all of the formal IPE programs to date involve prelicensure health professionals. Though there have been many logistical barriers to overcome to reach our current level of success in prelicensure education, the challenges are even greater in the heterogenous and complex postlicensure world where education takes place virtually entirely in the health‐care delivery system and not in health professional schools. But if IPE is to truly demonstrate a positive impact on the practice of health professionals and the health outcomes of patients, it must become more a part of these later stages of professional development (including what we have called “continuing medical education”).
마지막으로, 우리는 IPE에 대한 더 넓은 정의에서 비의료 전문가의 잠재적 기여를 고려할 필요가 있다. 생물의학, 공학, 건축, 법률, 공공 정책(일부 전문직)은 의료 및 의료 서비스 제공과 중요한 상호 작용을 합니다. 이런 직업에서 배우는 사람들이 보건직에서 배우는 사람들과 상호작용하는 사례는 제가 알고 있는 몇 안 되며, 각각의 경우에서 그것은 유익하다는 것이 증명되었습니다. 사람들은 그러한 IPE 경험이 더 일상적인 미래의 실제 또는 가상 대학을 상상할 수 있다. Finally, we need to consider the potential contributions of non‐health professionals in a broader definition of IPE. Biomedical Sciences, Engineering, Architecture, Law, Public Policy—to name just a few professions—have important intersections with health and health‐care delivery. There are only a handful of instances that I am aware of in which learners from these professions interact with learners from the health professions, and in each case, it has proven to be beneficial. One can imagine a future real or virtual university where such IPE experiences are more routine.
1.2. 추세 2: 보다 환자와 지역사회와 만성 질환 중심의 종적 통합 임상 교육. 1.2. Trend number two: Longitudinal integrated clinical education that is more patient, community and chronic disease oriented.
1910년 Flexner 보고서 이후 미국의 의과대학 교육은 주로 병원에 기반을 두고 있으며 병원 서비스에 대한 일련의 로테이션으로 짜여져 있다. 의사들을 위한 공식 대학원 의학 교육(GME) 프로그램이 Flexner 보고서 이후 수십 년 동안 발전하면서 병원 기반 모델을 따랐다. 그 후, 메디케어는 병원을 통한 지불과 함께 미국 GME의 주요 후원자가 되었고, 이는 병원의 기반 로테이션 모델을 강화시켰다. 다른 건강 전문가들은 병원 기반 회전 임상 교육 및 훈련의 이 모델을 다양한 정도로 따라왔다. Since the Flexner Report in 1910 medical school education in the United States has been predominately hospital based and scheduled as a series of rotations on hospital services. As formal graduate medical education (GME) programs for physicians evolved in the decades following the Flexner Report these followed the hospital‐based models. Subsequently, Medicare became the predominant funder of GME in the United States with the payment through the hospital, which reinforced the hospital‐based rotational model. To varying degrees, other health professions have followed this model of hospital‐based rotational clinical education and training.
병원이 보건직의 주요 교육 현장이 된 데에는 여러 가지 좋은 이유가 있다.
병원은 아픈 환자를 최고농도concentration로 보유하고 있으며, 이를 통해 "교재teaching material"에 즉시 접근할 수 있습니다.
또한 교수진과 학습자가 한 자리에 모여 교육과 돌봄 전달의 효율성을 높였습니다.
기술과 전문화가 증가함에 따라, 병원은 모든 기술과 전문 분야에 접근할 수 있는 유일한 장소로서 훨씬 더 중요해졌다.
There are many good reasons why the hospital became the principal site of education in the health professions.
The hospital contains the highest concentration of sick patients and this afforded ready access to “teaching material.”
It also brought together faculty and learners in one place for increased efficiency of combining teaching and care delivery.
As technology and specialization increased, the hospital became even more important as the sole place to have access to all technologies and all specialties.
병원의 이러한 긍정적인 속성 중 많은 것들이 오늘날에도 계속되고 있지만, 지난 20년 동안 병원과 로테이션 시스템이 (보건 분야의 임상 교육을 위한 유일한 또는 주된 방법으로써) 상당한 한계가 있다는 것이 점점 더 명백해지고 있다. While many of these positive attributes of hospitals continue today, it has been increasingly apparent over the last two decades that there are significant limitations of the hospital and the rotational system as the sole or even principal pedagogical site and method for clinical education in the health professions.
첫째, 오늘날 AMC의 입원 환자는 졸업생들이 나중에 돌볼 환자를 점점 덜 대표less representative하고 있다. 경제적, 기술적 요인들 때문에 병원은 가장 아프고 가장 복잡한 환자들만을 돌보고 더 짧고 짧은 기간 동안만 돌본다.
둘째로, [돌봄의 강도와 학습자와 직원 모두의 스케줄의 변화]는 최적의 학습 환경을 달성하고 교육 목표를 달성하는 것을 더욱 어렵게 만들었다.
셋째, 임상 교육의 로테이션 모델은 학습자가 병이 환자에게 미치는 전체 영향을 인식하거나 환자, 교수 및 직원과 의미 있는 관계를 형성할 기회를 감소시킨다. 이는 특히 물류 및 규제 문제로 인해 직원의 근무 교대 시간이 단축되고 근무 교대 시간이 단축되었기 때문에 더욱 그렇습니다. 의미 있는 감독, 평가 및 피드백을 받을 기회가 적습니다.
First, the patient population in the hospital of academic medical centers today is less and less representative of the patients that our graduates will care for. Because of both economic and technologic factors hospitals care for only the sickest and most complex patients and for a shorter and shorter period of time.
Second, the intensity of care and changes in the schedules of both learners and staff have made it more difficult to accomplish optimal learning environments and achieve educational goals.
Third, the rotational model of clinical education lessens the opportunity for learners to appreciate the full impact of illness on patients or to form meaningful relations with patients, faculty, and staff. This is particularly true as logistical and regulatory issues have led to shorter and shorter rotations with more frequent turnover of staff. There is less opportunity for meaningful supervision, assessment, and feedback.
이러한 이유로 많은 의과대학들이 진료의 연속성, 커리큘럼의 연속성, 감독의 연속성이라는 연속성의 원칙에 입각하여 임상 교육의 새로운 모델을 시범적으로 수립하였다. 7 For these reasons, a number of medical schools have piloted and then established a new model for clinical education based on the principles of continuity: continuity of care, continuity of curriculum, and continuity of supervision.7
이 모델에서는, (전문성을 통합)하고 (지속적인 교수 그룹에 의한 멘토링과 감독)을 위하여 기존의 로테이션이 시간의 경과에 따른 환자 관리를 강조하는 [1년 단위의 종단적 경험]으로 완전히 대체된다. 이러한 경험 중 많은 것들이 [임상 커리큘럼보다 임상 전 단계에서 더 흔히 진행해온] 소규모 PBL을 채택한다. 높은 비율의 강의가 외래 환경에서 이루어지지만, 학습자들은 환자가 입원할 때 그리고 계획된 특정한 특수 경험을 위해 병원에서 시간을 보내기도 한다. 일부 학교는 지속성continuity 목표의 일부를 달성하기 위해, 전통적인 전공과별 임상실습을 부분적으로 유지하고, 더 많은 종단적 방향의 외래 및 교육 경험을 중첩하는 하이브리드 모델을 개발했다.
In the full expression of this model, the specialty‐specific rotational clerkships are entirely replaced by a year‐long longitudinal experience that integrates the specialties and emphasizes the care of patients over time with mentoring and supervision by a constant group of faculty. Many of these experiences employ small group problem‐based learning which has been more common in the preclinical than clinical curriculum. A high percentage of the teaching is in the ambulatory setting, but learners also spend time in the hospital when their patients are hospitalized and for certain planned specialty experiences. Some schools have developed hybrid models that retain the traditional specialty clerkships at least in part, and overlay more longitudinal ambulatory and didactic experiences to achieve some of the continuity goals.
연속성 원칙은 성공적인 체험 학습에 대해 우리가 알고 있는 것과 일치한다. 종단적 통합 임상실습(LIC)은 수평적(분야 전반)과 수직적(기본 과학에서 임상 과학까지의) 통합을 모두 허용하고 보다 계획적으로 개발적으로 적합한 커리큘럼을 허용한다. LIC 학생을 전통적인 임상실습 학생들과 비교한 연구는 두 그룹에서 비슷한 수준의 지식과 임상 기술을 보여주지만, LIC 학생들은 더 큰 만족감과 더 높은 자신감, 그리고 강한 환자 중심감을 보여줬다. 더 성공적인 전문성 발전의 지표들을 본다면, 학생들이 입학시에 가졌던 (그러나 임상실습 기간에 침식되는) 이상주의idealism을 유지할 가능성이 더 높다. The continuity principles are consistent with what we know about successful experiential learning.8The longitudinal integrated clerkship (LIC) permit both horizontal (across disciplines) and vertical (basic science to clinical science) integration and allow for a more planned developmentally appropriate curriculum. Studies comparing LIC students with traditional clerkship students show comparable knowledge and clinical skills in the two groups, but LIC students show greater satisfaction, higher confidence, and a strong sense of patient centeredness.9Perhaps because of markers of more successful professional development, they are more likely to retain the idealism expressed on entry to medical school, which many studies have shown to erode in the clerkship year.
학습자 성과와 태도가 개선되었다는 증거 외에도, 적어도 건강 직업 임상 교육의 일부에 대해 이 모델을 보다 광범위하게 채택하는 데 많은 다른 잠재적 이점이 있다. 이들 중 다수는 본 논문에서 논의된 다른 교육 동향과 관련이 있다.
첫째, 이 모델은 치열한 병원 환경에서 짧은 로테이션으로 성취하기 훨씬 어려운 IPL과 팀 기반 기술 개발을 위한 기회를 창출한다.
둘째, [시간이 지남에 따라 질병이 환자에게 미치는 영향]을 이해하고, [외래 환경에서 교육이 위치하게 되면서], 건강의 사회적 결정 요인을 이해하고 환자 및 환자 가족과의 진정한 파트너십을 개발할 수 있는 더 많은 기회를 제공한다.
셋째, 학습자와 교수진 간의 관계의 연속성은 훨씬 더 의미 있는 평가를 수행하고 개발 과정에서 지속적으로 피드백을 제공할 수 있는 기회를 제공한다. 이것은 역량 기반 교육을 달성하기 위한 전제 조건이다.
넷째, 그들이 참여할 수 있는 의미 있는 작업에 대한 높은 학습자 만족도 증거는 적어도 보건 분야의 학습자들 사이에서 보고된 높은 번아웃에 대한 부분적인 해독제가 될 수 있다. 10 또한 이러한 경험들이 그들을 평생의 학습자가 되도록 더 잘 준비시킬 수 있을 것이다.
다섯째, 스트레스를 받는 의료 서비스 전달 사이트에서 학습자가 부담해야 하는 추가 사항에 대한 우려가 크다. 종적 경험에 대한 학습자는 의료 조직의 워크플로우에 훨씬 더 성공적으로 통합될 수 있습니다. 신뢰는 시간이 있어야만 발전할 수 있고, 신뢰와 함께 학습자가 내재된 조직의 업무에 의미 있는 기여를 할 수 있는 더 큰 기회가 온다.
In addition to the evidence of improved learner performance and attitudes, there are a number of other potential benefits to a more widespread adoption of this model for at least a portion of health professions clinical education. Many of these relate to the other educational trends discussed in this paper.
First, this model creates opportunities for interprofessional learning and the development of team‐based skills, which are much harder to accomplish in short rotations in the intense hospital environment.
Second, the appreciation of the impact of an illness on patients over time and the location of the education in ambulatory settings afford more opportunities to understand the social determinants of health and to develop true partnerships with patients and their families.
Third, the continuity of the relationship between learner and faculty affords the opportunity to do much more meaningful assessment and give feedback more continuously in the developmental process. This is a prerequisite to achieving competency‐based education.
Fourth, the evidence of higher learner satisfaction with the meaningful work they are able to engage in may be at least a partial antidote to the alarming rates of burnout reported among learners in the health professions. 10 It is also likely that these experiences better prepare them to be life‐long learners.
Fifth, there is much concern about the added burden learners place on stressed health‐care delivery sites. Learners in longitudinal experiences can be much more successfully integrated into the workflow of care organizations. Trust can only be developed with time, and with trust comes greater opportunity to make meaningful contributions to the work of the organization in which the learner is embedded.
종적 통합 임상실습을 광범위하게 구현하는 것에는 많은 장애물이 있다, 여기에는 다음이 있다.
많은 외래 환경에서 교육을 지원할 수 있는 기반 시설 감소,
생산성에 대한 경제적 압력,
교실 기반 문화
교수 개발의 결여 및 교육에 대한 인센티브
There are many obstacles to the widespread implementation of the longitudinal integrated clerkship and these include
less infrastructure to support teaching in many ambulatory settings,
economic pressures for productivity,
departmentally based culture and
deficiencies in faculty development and incentives for teaching.
[연속성의 원칙]은 GME에도 적용되어야 하지만 학부나 면허전 수준의 LIC와는 다를 것이다. 그들은 대학원생의 직업 목표에 맞춘 트랙으로 차별화의 형태를 취할 수 있다. 대학원 학습자는 독립적 실습을 준비하도록 설계된 특정 환경(병원 또는 구급대)에서 더 많은 시간을 보낼 것이다. 이것은 그녀가 이미 능력을 증명한 회전 반복에 더 적은 시간을 소비한다는 것을 의미한다. 이 모델에서 훈련의 마지막 단계는 연속체의 개념을 강조하면서 점점 더 연습의 시작과 닮았다. 많은 미국 내과 프로그램에서 잘 확립된 1차 진료 트랙은 이 모델의 한 예이지만, 나는 이러한 치료 트랙이 훨씬 더 강력하고 차별화될 수 있다고 믿는다. 이러한 긴 경험에서 연습생은 환자, 사이트, 직원 및 멘토와 함께 연속성을 유지할 수 있는 이점이 있습니다. The principles of continuity also should be applied to graduate education, but they will look different than the LIC on the undergraduate or prelicensure level. They may take the form of differentiation into tracks that are tailored to the career goals of the graduate learner. The graduate learner would spend larger blocks of time in specific settings (hospital or ambulatory) that are designed to prepare her for independent practice. This means she would spend less time repeating rotations for which she has already demonstrated competence. In this model the final stages of training look more and more like the beginning of practice, emphasizing the concept of the continuum. The well‐established primary care tracks in many US Internal Medicine programs are an example of this model, but I believe these can be made even more robust and differentiated. In these longer experiences the trainee (about to become practitioner) has the advantage of continuity with patients, site, staff, and mentors.
1.3. 추세 3번: 건강의 사회적 결정요인 교육 및 보건 직업의 사회적, 인문학적 임무. 1.3. Trend number three: Education in the social determinants of health and the social and humanistic missions of the health professions
대부분의 건강 직업 교육은 정상적인 인체 해부학과 생리학, 질병의 경로 생성, 진단 및 치료 의사 결정, 의사소통 기술을 이해하는 데 초점을 맞추고 있다. 모든 건강 전문가들은 그들의 실천과 관련되어 있기 때문에 기초와 임상 과학에 대한 예리한 이해와 최신 상태를 유지하는 것이 절대적으로 중요하다. 이 모든 것들이 우리가 소위 말하는 의료에 기여한다. 하지만 우리는 건강이 건강 관리 이상의 것이라는 것을 깨닫는다. 사실, 우리가 하는 모든 의료 서비스는 대중의 건강에 약 20%를 기여하는 것으로 추정되었다. Much of health professions education appropriately focuses on understanding normal human anatomy and physiology, the pathogenesis of disease, diagnostic and therapeutic decision making, and communication skills. It is absolutely essential that every health professional has a keen understanding of the basic and clinical sciences as they pertain to their practice and keep current in them. All of these together contribute to what we call health care. But we realize that health is more than health care. In fact, it has been estimated that all we do in health care contributes about 20% to the health of the public.
건강에 대한 더 큰 기여는 소위 "건강의 사회적 결정 요인"이라고 불리는 것이다. 세계보건기구는 건강의 사회적 결정요인을 "건강 시스템을 포함하여 사람들이 태어나고, 자라고, 일하고, 살고, 나이를 먹는 조건으로 정의하며, 이러한 상황은 돈, 권력, 자원의 분배에 의해 형성된다…." 11 건강의 사회적 결정 요소는 그들이 건강에 주요한 기여자일 뿐만 아니라, 우리 사회에서 발견되는 건강 차이(또는 불평등)의 주요 원인이기 때문에 중요하다. 세계보건기구는 건강 불평등을 "건강 상태에 있어서 불공정하고 피할 수 없는 차이"라고 정의한다. 이러한 건강 불평등은 미국의 의료 시스템에 만연되어 있는 것으로 입증되었다.
Larger contributions to health are what have been called the “social determinants of health.” The WHO defines social determinants of health as “the conditions in which people are born, grow, work, live and age, including the health system. These circumstances are shaped by the distribution of money, power and resources….”11Social determinants of health are important not only because they are major contributors to health, but because they also are the principle cause of health disparities (or inequities) that we find in our society. WHO defines health inequities as “the unfair and avoidable differences in health status.” These health inequities have been documented to be prevalent in the US health‐care system.
보건직업 교육의 궁극적인 목표가 대중의 건강을 향상시키는 것이라면(그것이 그렇다고 믿는다), 건강의 사회적 결정요인에 대한 이해가 없으면 보건직업자로서 불완전할 것이다. 그러므로, 건강의 사회적 결정요인에 대해 가르치는 것은 모든 건강 직업의 교육의 한 부분이 되어야 한다. If the ultimate goal of health professions education is to improve the health of the public (which I believe it is), then one would be incomplete as a health professional without an understanding of the social determinants of health. Therefore, teaching about the social determinants of health should be a part of the education of all health professions.
국립 의학 아카데미에 대한 최근의 합의 연구는 "건강의 사회적 결정요소를 다루는 교육 보건 전문가를 위한 프레임워크"를 제공했다. 12 이 프레임워크에는 본 논문에서 논의하는 동향과 일치하는 몇 가지 측면이 있다.
첫째, 이것은 직접 진료 건강 직업(간호사, 사회 사업, 의학 등)과 공공 보건 및 건강에 영향을 미치는 많은 다른 직업(건축, 도시 계획, 법률, 공공 정책, 성직자 이름만 일부)으로부터 통찰력을 얻기 위해 전문직 간 교육에 대한 접근법이 필요하다. 건강의 사회적 결정요소를 이해하고 영향을 미치려면 협업적 접근이 필요하다.
둘째, 건강의 사회적 결정요인에 대한 진정한 이해는 종방향적이고 공동체적인 교육경험을 필요로 한다. 이는 종적 통합 임상실습에서 예시된 일종의 경험적 학습의 필요성을 강화한다.
셋째, 건강의 사회적 결정요소를 해결하기 위해서는 평생에 걸친 대한 헌신이 필요하다. 사전 면허 학습자에서 완전히 독립적인 연습에 이르기까지 경력의 전체 연속체에 걸친 긴 학습이다.
A recent consensus study of the National Academy of Medicine has provided “A Framework for Education Health Professionals to Address the Social Determinants of Health.”12There are several aspects of this framework which are synchronous with the trends we are discussing in this paper.
First, this requires an interprofessional approach to education in order to gain insights from both the direct care health professions (nursing, social work, medicine, etc.) as well as public health and many other professions whose work affects health (architecture, urban planning, law, public policy, clergy to name but a few). Understanding and influencing the social determinants of health requires a collaborative approach.
Second, a true understanding of the social determinants of health requires longitudinal and community‐based educational experiences. This reinforces the need for the kind of experiential learning exemplified by the longitudinal integrated clerkships.
Third, addressing the social determinants of health requires a commitment to life‐long learning across the whole continuum of the career from the prelicensure learner to fully independent practice.
건강의 사회적 결정요인을 가르치고 다루는데 이 약속을 하는 것에서부터 오는 몇 가지 결과가 있을 것이다.
There are several consequences that will follow from making this commitment to teaching and addressing the social determinants of health.
보건직업이 핵심 인문학적 직종에 있음을 일깨워주는 것으로, [인간의 이익과 가치, 존엄을 중심에 두고 있다는 것을 의미한다]. 13 보건직업은 인문학적 유산과 과학적 유산을 결합하는 직업들 중에서 독특하다. 최근 수십 년 동안 과학 유산은 훨씬 더 많은 관심을 받았고, 오늘날의 도전은 균형을 되찾아야 한다는 요구입니다. 휴머니즘은 과학을 희생하는 것이 아니라 과학과 동맹을 맺어 대중의 건강을 증진시킬 수 있도록 하는 것이다.
It reminds us that the health professions are at their core humanistic professions, which mean that they place human interests, values, and dignity at the center of their focus.13The health professions are unique among the professions in combining a humanistic heritage and a scientific heritage. In recent decades the scientific heritage has received much more attention, and the challenges of today call for a restoration of the balance. Humanism is elevated not at the expense of science, but to be allied with science so that they together can improve the health of the public.
건강의 사회적 결정요인을 다루는 것은 또한 [우리의 직업과 기관에 다양성과 포함의 문제에 직면하도록 강요한다]. 우리 사회 건강의 가장 강력한 사회적 결정요인 중 하나인 인종차별을 우리 자신의 일과 조직에서 포괄성과 형평성을 예시하지 않는다면 해체할 수 없다. Addressing the social determinants of health also forces us to confront the issue of diversity and inclusion within our professions and institutions. We cannot dismantle racism, which is one of the most powerful social determinants of health in our society, if we do not exemplify inclusiveness and equity in our own work and organizations.
건강의 사회적 결정요인을 다루는 것은 또한 [건강 전문가로서 우리는 사회적 계약을 맺고 있다는 것을 상기시킨다]. 사회는 우리에게 특별한 특권을 주었고, 그 대가로 우리는 그들의 이익을 우리 자신보다 우선시하고 사회를 개선하기 위해 우리의 특별한 지식과 지위를 이용할 것으로 기대된다. 그러므로 우리는 건강의 사회적 결정요소를 이해할 뿐만 아니라 건강 불평등을 해결할 책임이 있다. 때때로 우리는 이것을 개별적으로, 때로는 전문적인 단체를 통해, 때로는 우리의 제도적 정책과 관행을 통해 일할 것이다. 건강 전문가들은 [건설적인 사회 변화를 옹호하는 사람이 되는 것]을 배워야 한다. 그것은 우리의 사회적 계약을 이행하는 우리의 직업적 책임의 일부이다. 15 Addressing the social determinants of health also reminds us that as health professionals we have a social contract. Society has given us special privileges, and in return we are expected to put their interests above our own and use our special knowledge and standing to improve society. We, therefore, have a responsibility not only to understand the social determinants of health, but to help address health inequities. Sometimes we will do this working individually, sometimes through professional organizations, and sometimes through our institutional policies and practices.14Health professionals should learn to be advocates for constructive social change; it is part of our professional responsibility to fulfill our social contract.15
건강의 사회적 결정요인을 다루면 [더 나은 전문직 간 교육 및 협력적 실천]과 [대중을 위한 더 나은 건강]을 연결하는 데 있어 [환자, 가족 및 지역사회와 진정으로 협력할 수 있는 위치]를 더 잘 잡을 수 있을 것입니다.이러한 협력 없이 대중들에게 더 나은 건강을 가져다 줄 수 없다. 16 Addressing the social determinants of health will better position us to truly partner with patients, families, and communities in linking better interprofessional education and collaborative practice with better health for the public. We cannot achieve better health for the public without these partnerships.16
이러한 목표를 달성하는 것은 쉽지 않을 것이며, 교육 과정과 기관의 문화에 근본적인 변화가 필요할 것이다. 그것은 직업들 사이의 사일로를 타파하고 우리가 봉사하는 대중들과 그 직업들을 분리시킨 벽을 타파해야 할 것이다. 또한 건강 직업 교육의 연속체에 걸쳐 새로운 콘텐츠(사회과학, 인문, 경제)를 도입하는 것을 의미할 것이며, 임상 교육과 지역사회 참여에 새로운 모델이 필요할 것이다. 지난 10년간의 변화에서 이러한 방향으로 고무적인 움직임이 있어왔다. 그러나 건강의 불균형이 확대되고 있는 것을 줄이고 모두의 건강을 개선하기 위해 건강의 사회적 결정요소를 이해하고 해결할 수 있는 보건 전문가들을 준비하려면 속도가 빨라져야 한다.
Addressing these goals will not be easy and will require some fundamental changes in our educational processes and the cultures of our institutions. It will require breaking down the silos between the professions and breaking down the walls that have separated the professions from the public we serve. It also will mean introducing new content (social science, humanities, economics) across the continuum of health professions education, and it will require new models for clinical education and community engagement. There have been encouraging movements in these directions in the changes of the last decade. But the pace must accelerate if we are to prepare health professionals who can understand and address the social determinants of health in order to lessen the widening health disparities and improve health for all.
1.4. 트렌드 4번: 건강전문가의 평생학습과 장기적 웰빙을 위해 건강직업 교육의 연속성에 더 중점을 둔다. 1.4. Trend number four: More emphasis on the continuum of health professions education for the life‐long learning and long‐term well‐being of health professionals
역사적으로 보건 전문가 교육의 각 단계는 서로 다른 행정 구조, 다른 규제 구조, 심지어 때로는 다른 명명법으로 분리 취급되어 왔다. 그동안 각 국면phase이 '최종고사'에 해당하는 '완제품'을 만들어 낸다는 느낌이 있었다. 미국의 의사 교육이 그 예이다. 의과대학(대학원 교육)과 레지던시· 펠로우십(대학원 의과대학원 교육) 간에는 분명한 분리가 있다.
학부 교육은 미국의 150개 이상의 의과대학 중 하나에서 이루어지며(의과대학 숫자는 점차 늘고 있다), 각 의과대학은 자체적인 교육 행정구조를 가지고 있으며, 전국적으로 미국 의학협회와 미국 의학대학협회 협회의 협력 하에 의료교육 연락위원회(LCME)에 의해 규제된다.
의과대학 졸업자(완제품)는 1,500개 이상의 병원과 학술 시스템이 프로그램 후원자로서 감독하는 GME의 세계로 진입하는데, 각 병원마다 고유한 교육 행정 구조를 가지고 있다. 규정은 독립적인 대학원 의학 교육 인증 위원회(ACGME)에 의해 제정된다.
이 GME 시스템의 "완제품"은 주 면허법 및 병원/보건 시스템 표준을 준수해야 하는 관행에 들어간다. 모두 일정한 수준의 지속적인 의학적 교육을 받아야 하며, 이는 많은 학회, 전문 협회, 전달 시스템, 그리고 민간 단체들에 의해 운영된다. 이 기업은 ACCME(Accreditation Council of Continuous Education)에 의해 규제됩니다. 다른 건강 직업들도 교육 연속체의 단편화 정도는 복잡하지는 않지만 비슷합니다.
Historically each phase of health professional education has been treated separately with different administrative structures, different regulatory structures, and even sometimes different nomenclature. There has been a sense that each phase has the equivalent of a “final exam” and produces a “finished product.” The education of physicians in the United States is an example. There is a clear separation between medical school (undergraduate education) and residency and fellowship (graduate medical education).
Undergraduate education occurs within one of 150+ (the number is growing) medical schools in the United States, each with its own administrative structure for education, and nationally it is regulated by the Liaison Committee on Medical Education (LCME) a partnership of the American Medical Association and the Association of American Medical Colleges.
The medical school graduate (the “finished product”) then enters into the world of graduate medical education, overseen by over 1,500 hospitals and academic systems as program sponsors, each with their own unique educational administrative structures. Regulation is by the independent Accreditation Council of Graduate Medical Education (ACGME).
The “finished products” of this GME system enter practice where they must comply with state licensure laws and hospital/health systems standards. All are required to have some degree of continuing medical education which is administered by a large array of academic institutions, professional associations, delivery systems, and private entities. This enterprise is regulated by the Accreditation Council of Continuing Education (ACCME). Other health professions have similar, if not as complicated, fragmentation of the educational continuum.
하지만 현실에는 '기말고사'도 없고 '완제품'도 없다. 이상적으로 보건 전문가는 항상 학습하며, 항상 학습 상태가 되는 것입니다(아마 이것이 우리가 그것을 "실천practice"이라고 부르는 이유일 것이다). 학습자/실무자의 진행을 보장하고 역량을 보장하기 위해 사회적 계약을 이행하는 과정에서 이정표와 체크포인트가 있어야 합니다. 외부 규정에도 불구하고, 교육 궤도의 시작부터 우리의 모든 학습자에게 평생, 자기 동기식 학습에 필요한 태도와 기술이 주입되는 것이 필수적이다. 그것이 궁극적으로 전반적인 역량을 보장할 것이다. The reality is that there is no “final exam,” and there are no “finished” products. Ideally, the health professional is always learning, always in the state of becoming (perhaps that is why we call it “practice”). It is necessary and appropriate that there be milestones and checkpoints along the way to assure the progress of the learner/practitioner and to fulfill our social contract to assure competency. External regulations notwithstanding, it is essential that the attitudes and skills required for life‐long, self‐motivated learning be instilled in all of our learners from the beginning of the educational trajectory. That is what will ultimately assure competency across the continuum.
따라서 중요한 것은 (학습과 작업이 건강 전문가의 삶 전반에 걸쳐 이루어지는) [학습 환경의 품질]에 훨씬 더 많은 관심을 기울이는 것이다. 17, 18 학습(및 작업)을 위한 환경의 개선이 없다면, 교육 강화 및 개선을 위한 다른 이니셔티브는 무용지물이 될 것이다. 이러한 환경에는 많은 요소들이 있다:
학습자의 개인적 관점,
교육 및 학습이 일어나는 공동체,
학습을 둘러싼 조직 문화와 실천,
그리고 그것이 일어나는 물리적 그리고 가상적 공간. 19
An important aspect of this is a much greater attention to the quality of the learning environments in which learning and work take place across the life span of the health professional.17,18Without improved environments for learning (and working) other initiatives for educational enhancement and improvement will be for naught. There are many elements to these environments:
the personal perspective of the learner,
the community in which teaching and learning occur,
the organizational culture and practices that surround that learning, and
the physical and virtual spaces in which it occurs. 19
교육 환경은 전체 학습자와 실무자에 의해 공유된다. 건강 직업 교육의 스펙트럼, 이것이 연속체가 개념 모델이 되어야 하는 이유이다.
That environment is often shared by learners and practitioners across the whole spectrum of health professions education, which is why the continuum should be the conceptual model.
연속체 개념 모델의 또 다른 중요한 측면과 수명 학습에 대한 강조는 학습자와 임상의사의 행복(웰빙)에 대한 관심을 촉진한다는 것이다. 건강 전문 학습자와 임상의사들 사이에서 보고된 탈진율이 놀랄 만큼 증가했으며, 최근 국립 의학 아카데미 보고서("임상의사 번아웃에 대한 조치 취하기"(참고문헌 10)는 시스템 변화가 탈진을 줄이고 복지를 증진시키는 데 어떻게 도움이 될 수 있는지에 대해 많은 구체적인 권고안을 내놓았다. 이러한 권장 사항 중 많은 부분이 학습 및 작업 환경에 직접적으로 관련되어 있습니다. 부적절한suboptimal 학습 환경(연속체에 걸쳐)은 번아웃에 기여한다. Another important aspect of the continuum conceptual model and the emphasis on life‐long learning is that it also facilitates the focus on learner and clinician well‐being. There has been an alarming rise in the reported rate of burnout among health professional learners and clinicians, and a recent report of the National Academy of Medicine (“Taking Actions Against Clinician Burnout”) (reference 10) made many concrete recommendations on how system changes can help lessen burnout and promote well‐being. Many of those recommendations deal directly with the learning and working environment. Suboptimal learning environments (across the continuum) contribute to burnout.
연속체, 평생 학습 및 학습 환경에 대한 강조가 새로워지고 강화된다면, 이 개념적 모델은 [의미 있는 작업을 하고 있다고 느끼는 학습자]로 이어질 가능성을 높여줄 것이다. 20 모든 건강 직업 교육의 궁극적인 목표는 환자의 건강 증진이라는 것을 이해하면서, 교육 연속체에 걸친 책임의 점진적인 증가는 학습자들이 그들의 일에서 목적을 찾고 그들이 공헌하는 것처럼 느낄 수 있게 한다. 이것은 번아웃에 대한 또 다른 해독제일 것이다. Another consequence of this renewed and enhanced emphasis on the continuum, life‐long learning and the learning environment is that this conceptual model is more likely to lead to empowered learners who feel they are doing meaningful work.20Understanding that the ultimate goal of all health professions education is improved health of the patient, the progressive increase in responsibility across the educational continuum enables learners to find purpose in their work and feel like they are making contributions. This is likely another antidote to burnout.
교육의 연속성에 대한 이 개념적 모델을 향한 몇몇 고무적인 움직임이 있기는 하지만, 이것은 쉬운 변화가 아닐 것이다. 행정구조와 규제구조가 우리 시스템에 잘 녹아 있고, 각 구조는 자신의 영역을 주장하고 있다territoriality. 학술 기관과 의료 전달 시스템은 지속적으로 교육과 관리를 개선하기 위해 보다 긴밀하게 협력해야 합니다. 21 규제 기관은 전체 연속체에 걸쳐 공통 언어와 평가 표준에 대한 장벽을 제거하고 보다 부드럽고 유연한 전환을 촉진하도록 노력해야 합니다.
While there are some encouraging movements toward this conceptual model of the continuum of education, this will not be any easy change. Administrative and regulatory structures are well embedded in our system, and there is a lot of territoriality. Academic institutions and health‐care delivery systems need to work more closely together to improve both education and care across the continuum.21And regulatory bodies must work to eliminate the barriers to common language and standards for assessment across the continuum and facilitate smoother and more flexible transitions.
1.5. 추세 5번: 사회적 계약을 더 잘 이행하고 가장 유능한 실무자를 가장 효율적으로 배출하기 위한 역량 기반 시간 가변 의료 직업 교육 1.5. Trend number five: A shift to competency‐based time‐variable health professions education to better fulfill our social contract and produce the most competent practitioners most efficiently
보건 직업 교육은 광범위한 지식, 태도 및 기술에 걸쳐 유능한 실무자를 배출할 책임이 있다. 각 직종은 그 역량을 확립하고 그것을 성취하기 위한 교육 프로그램을 책임진다. 이러한 역량에 대한 평가가 사회적 계약을 이행하는 데 매우 중요하다는 데 모두가 동의하지만, 역사적으로 평가는 엄격하지 않았습니다. 역량 평가의 대리인으로서 "그 자리를 지킨 시간"이 종종 받아들여져 왔다. 주어진 현장 또는 훈련에서 요구되는 개월 수와 해당 프로그램에서 요구되는 년수는 역량의 보증으로 간주된다. 이는 학습자나 대중의 요구를 충족하지 못하는 세분화되고 엄격한 시간 기반 교육 시스템으로 이어졌다. Health professions education has the responsibility to society to produce practitioners who are competent across broad domains of knowledge, attitudes, and skills. Each profession is responsible for establishing its competencies and the educational program to achieve them. All agree that assessment of these competencies is critical in fulfilling our social contract, but historically that assessment has not been rigorous. “Time in place” has often been accepted as a proxy for competency assessment. The required number of months in a given site or discipline and the required number of years in a given program are taken as assurance of competency. This has led to a fragmented and rigid time‐based system of education that does not meet the needs of learners or of the public.
역량 기반, 시간 가변 접근 방식의 요소가 현재의 교육 시스템 내에 존재하지만, 이 모델을 완전히 채택한 프로그램이나 기관은 거의 없다. 두 가지 주요 개념이 이 모델을 추진합니다.
(1) 환자 및 사회적 요구에서 파생된 관찰 가능하고 평가 가능한 역량의 프레임워크에 기초한 포괄적인 커리큘럼, 교육 및 평가 전략이 있습니다
(2) 시간은 (제한이나 규칙보다는) 교육 자원으로 사용됩니다. 그 결과로 학습자와 교수자는 기대되는 역량을 얻기 위한 필요에 따라 시간을 사용한다.
While elements of a competency‐based, time‐variable approach exist within our current educational system, few programs or institutions have fully embraced this model. Two major concepts drive this model:
(1) There is a comprehensive curricular, instructional, and assessment strategy based on a framework of observable and assessable competencies derived from patient and societal needs
(2) Time is used as an educational resource rather than a limitation or a rule with the consequence that learners and teachers will use time as necessary to achieve the desired competencies.
역량과 사회의 필요성 사이의 연관성은 이 모델의 성공에 절대적으로 중요하다. "역량 기반 교육은 [보건의료를 개선하기 위한 현대 사회의 요구]를 [모든 분야에 걸쳐 보건 전문가가 숙달해야 하는 역량]으로 변환하는 데 있어 타협하지 않는 것uncompromising으로부터 시작된다." 이는 교육/실습 연속체 전반에 걸쳐 진행 중인 프로세스이며, 강력한 평가가 수반되어야 합니다.
The connection between the competencies and the needs of society is absolutely central to the success of this model; “competency‐based education begins with an uncompromising focus on translating the needs of contemporary society for improved health care into competencies that must be mastered by health professionals across all disciplines.”22This is an ongoing process across the education/practice continuum and it must be accompanied by robust assessment.
[자원으로서의 시간]의 개념은 학습자와 교사 모두에게 해방적인 영향을 미친다.
학습자는 교육 목표를 달성하기 위해 적절한 시간을 사용할 수 있지만, 필요하지 않은 시간을 사용할 필요는 없습니다.
교사들은 그들의 판단에 편안함을 느끼기 위해 관찰, 평가, 코칭에 적절한 시간을 제공한다. 이로 인해 일부 학습자는 역량을 달성하고 더 짧은 시간 내에 연속적 단계로 넘어갈 수 있습니다(어떤 학습자는 더 많은 시간이 걸릴 수 있음).
많은 경우에 총 시간은 같을 수 있지만, 그 시간이 어떻게 사용되는지는 학습자마다 다를 것입니다. 따라서 학습자가 교육 궤도를 더 따라갈수록 교육 프로그램은 더욱 개별화된다.
학습자는 다음 단계로 이동하기 위해 역량을 달성하려는 동기가 훨씬 더 커지며 적극적으로 피드백을 구합니다. 선생님은 도우미이자 조력자가 된다.
The concept of time as a resource has a liberating effect on both learner and teacher.
Learners are allowed adequate time to achieve educational goals but are not required to spend time that is not needed to achieve these goals.
Teachers are afforded adequate time for observation, assessment, and coaching to feel comfortable with their judgments. This could result in some learners achieving competencies and moving on in the continuum in less time (and some may take more time).
In many instances the total time may be the same, but how that time is used will be different from one learner to another. Thus, the instructional program becomes more individualized, even more so as the learner is farther along the educational trajectory.
The learner becomes much more self‐motivated to achieve the competency in order to move to the next level and actively seeks feedback. The teacher becomes the helper and enabler.
이러한 패러다임의 변화를 만드는 데는 많은 어려움이 있으며, 많은 영역에 걸친 변경이 필요할 것이다. 23
변화의 일부는 커리큘럼과 교수진 개발 개혁과 같은 각 교육 기업의 통제 하에 있다.
프로그램 인증과 개인 인증에 있어 더 큰 유연성을 허용하기 위한 규제 변경에 대한 외부 기관도 변해야 한다.
보다 엄격한 평가 시스템을 개발하고 결과를 평가하기 위해 더 많은 연구가 필요할 것이다.
There are many challenges in making this paradigm shift, and it will require changes across many domains.23
Some of those changes are directly within the control of each educational enterprise, such as curriculum and faculty development reforms.
Other changes will involve external bodies for regulatory changes to permit greater flexibility in accrediting programs and certifying individuals.
There will need to be more research done to develop more rigorous assessment systems and to evaluate outcomes.
이러한 변화들은 어렵겠지만, 몇몇 프로그램들은 실현가능성을 보여주었다. (참조 23).
EPAC 프로그램은 4개의 미국 기관에서 소아과학을 위한 학부 및 대학원 의학 교육을 역량 기반 가변적 방식으로 성공적으로 통합했습니다(University of California, San Francisco, University of Colorado; Minnota; University of Minnota; University of the Continuce).
Oregon Health and Science University of Medicine은 전체 의과대학 수업에 대해 역량 기반의 시간 가변 커리큘럼을 구현했습니다.
위스콘신 대학교 밀워키에는 RN에서 BSN까지 완료하기 위한 플렉스 옵션 프로그램이 있으며, 이는 역량과 시간 변수이다.
캐나다의 퀸즈 대학교는 모든 대학원 의학 교육 프로그램을 위한 역량 기반 시간 가변 시스템을 도입했다.
캐나다는 이제 모든 GME 프로그램이 국가적으로 역량에 기반을 두고 시간변수가 될 것이라는 약속을 했다.
유럽에는 그러한 프로그램의 많은 예들이 있고 미국에서는 더 많은 파일럿들이 진행 중이다.
Though these changes will be difficult, several programs have demonstrated their feasibility. (reference 23).
The Education in Pediatrics Across the Continuum (EPAC) program has successfully integrated undergraduate and graduate medical education for pediatrics in a competency‐based, time‐variable fashion in a pilot program at four US institutions (University of California, San Francisco; University of Colorado; University of Minnesota; and University of Utah).
Oregon Health and Science University School of Medicine has implemented a competency‐based, time‐variable curriculum for its entire medical school class.
The University of Wisconsin, Milwaukee has a Flex‐Option Program for RN to BSN completion that is competency based and time variable.
Queens University in Canada has instituted a competency‐based, time‐variable system for all of its graduate medical education programs.
Canada has now made a commitment that all of the GME programs nationally will be competency based and time variable.
There are many examples of such programs in Europe and many more pilots underway in the United States.
이러한 모든 예는 "proof of concept"이며, 내부 및 외부의 변화가 모두 가능하다는 격려를 제공한다. 다른 혁신 분야와 마찬가지로, 조기 채택자들은 다음에 따르는 사람들을 위한 기반을 마련할 것이다.
All of these examples represent “proof of concept” and gives encouragement that both the internal and external changes that are necessary are possible. As in other areas of innovation, the early adopters will pave the way for those that follow.
1.6. 트렌드 6: 인공 지능과 새로운 교육 및 정보 기술의 통합은 보건 직업의 교육과 실천의 연속이다. 1.6. Trend number six: The integration of artificial intelligence and new educational and information technologies into the continuum of health professions education and practice
기술은 우리 삶의 모든 측면에서 변화하고 있고, 그 변화의 속도는 점점 빨라지고 있습니다. 보건직업 교육은 새로운 기술을 채택하는 데 있어서 더디게 진행되어 왔지만, 그 속도 또한 이제 가속화되었다. Technology is changing in every aspect of our lives, and the pace of that change is accelerating. Health professions education has been slow in adopting new technology, but that pace, too, has now accelerated.
온라인 학습은 학생/교직원 시간을 해석, 추론, 팀 스킬의 상위 수준의 기능('플립된 교실')에서 더 생산적으로 보낼 수 있도록 효율적인 지식 습득 수단을 제공했다. 컴퓨터화된 모델들은 해부학을 배우기 위한 카데바를 대체했고, 컴퓨터화된 이미지들은 교실에서 현미경을 대체했다. 비동기식 대화형 학습은 IPE와 여러 사이트의 교육 및 훈련의 분산 모델을 사용하여 일부 로지스틱 문제를 해결하는 데 도움이 되었다. 대규모 데이터베이스(때로는 전산화된 의료 기록에서 얻기도 함)는 커리큘럼 내용을 지시하고 교육 및 임상 성과를 평가하기 위해 성공적으로 사용되고 있다. 이러한 모든 변화는 교육 프로세스를 개선하고 교육과 의료 서비스 제공 시스템 간의 긴밀한 연계를 조성하는 데 도움이 되었지만, 이러한 변화는 뒤따를 것 같은 변화에 비해 미미합니다. Online learning has provided efficient means for knowledge acquisition so that student/faculty time can be more productively spent in higher level functions of interpretation, reasoning, and team skills (the “flipped classroom”). Computerized models have largely replaced cadavers for learning anatomy, and computerized images have largely replaced microscopes in the classroom. Asynchronous, interactive learning has helped to resolve some of the logistic problems with IPE and with distributed models of education and training at multiple sites. Large databases (sometimes obtained from computerized medical records) are being successfully used to direct curricular content and to evaluate educational and clinical performance. All of these changes have helped to improve the education process and also to create closer links between education and our health‐care deliver system, but these changes are small compared with those that are likely to follow.
나는 이러한 경향의 세 가지 개별 측면을 고려할 것이다.
(1) 전통 교육에 대한 대안으로 기술의 증가된 사용
(2) [이러한 도구를 성공적으로 사용하고 통합할 수 있는 실무자]를 배출하기 위해 기술 및 인공지능에 대한 교육을 강화
(3) 기술에 의해 달성될 수 없는 다른 중요한 기능에 전념하기 위해 기술에 의해 자유로워진 시간을 포착하고 활용하는 방법에 대한 관심이 증가
I will consider three separate aspects of this trend:
(1) the increased use of technology as an alternative to traditional education,
(2) increased education about technology and artificial intelligence to produce practitioners who are able to successfully use and integrate these tools, and
(3) an increased focus on how to capture and utilize time freed by technology to devote to other important functions that cannot be accomplished by technology.
전통적인 교육의 대안으로서 기술의 영역에서, 현재 보건 분야에는 많은 온라인 학위 및 자격증 프로그램이 있다. 이러한 경향은 더 적은 비용으로 더 많은 의료 전문가를 배출하라는 압력이 증가할 때에만 가속화될 것이다. 품질 관리에 대한 지속적인 도전과 이 새로운 교육 모델에 적응하기 위한 교수진 개발 및 기술 지원이 지속적으로 필요할 것이다. 임상 분야에서는 항상 가상이 아닌 실제 경험을 필요로 합니다. 이러한 "하이브리드" 모델에서 대면적 만남의 최적 선량과 타이밍을 이해하기 위해서는 더 많은 연구가 필요할 것이다.
In the realm of technology as an alternate to traditional education, there are now a multitude of online degree and certificate programs in the health professions. This trend will only accelerate as pressures increase to produce more health professionals at a lower cost. There will be an ongoing challenge for quality control and a continued need for faculty development and technological support to adjust to this new educational model. For the clinical disciplines there will always be a need for some real, nonvirtual experiences. More research will be needed to understand the optimal dose and timing of face to face encounters in these “hybrid” models.
인공지능은 기계가 인간의 인지도를 복제하거나 근사하기 위해 큰 데이터 세트를 사용하는 모든 방법을 의미합니다. 이 개념은 1950년대부터 존재해 왔고, 오랫동안 이 개념이 언젠가는 의사나 다른 전문가들을 대체하게 될 것이라는 전망에 초점을 맞추었다. 더 가능성이 높은 시나리오는 성공적인 임상의가 인공 지능을 활용하여 임상 실습을 돕는 것이다. 두 사람이 함께 하는 것이 혼자 하는 것보다 더 나을 것이다. 그렇게 하려면 미래의 보건 전문가가 확률, 신뢰 구간, 대규모 데이터베이스의 사용 및 제한에 대해 더 잘 이해해야 합니다. AI에 사용되는 알고리즘이 내장된 편향 때문에 실제로 건강 격차를 악화시킬 수 있다는 우려가 많다. 미래의 보건 전문가는 이러한 알고리듬의 강점과 한계를 이해해야 한다. By artificial intelligence I mean all of the ways that machines use large data sets to replicate or approximate human cognition. This concept has been around since the 1950s, and for a long time the focus was on the projections that this would someday replace the doctor or other professionals. A more likely scenario is that successful clinicians will harness artificial intelligence to assist them in clinical practice—the two together will be better than either alone. To do that the health professional of tomorrow must have a better understanding of probabilities, confidence intervals, and the use and limitations of large data bases. There is much concern that the algorithms used in AI could actually exacerbate health disparities because of built‐in biases. The health professional of the future must understand the strengths and limitations of these algorithms.
환자와 학생 모두의 만남을 위해 원격진료의 사용과 한계에 대해 훈련 받을 필요가 있을 것이다. 모든 건강 전문가는 환자 경험과 환자-임상사 관계를 개선하는 방법으로 컴퓨터화된 의료 기록과 기타 기술 보조 기구를 사용하는 훈련을 필요로 한다. [Clinical transaction보다는 사업을 위해 개발된 전자 의료 기록]에 대한 현재의 실망스러운 경험은 우리에게 경고가 되어야 한다. 보건 전문가들은 미래의 시스템 개발에 적극적으로 참여해야 한다. The health professional of tomorrow also will need to be trained in the uses and limitations of telemedicine for both patient and student encounters. All health professional will need training in using the computerized medical record and other technological aids in ways that enhance the patient experience and the patient–clinician relationship rather than detract from them. Our current disappointing experiences with electronic medical records that were developed for business rather than clinical transactions should be a warning to us. Health professionals must be actively involved in developing the systems of the future.
이를 통해 우리는 이러한 경향의 마지막 측면을 볼 수 있습니다. 교육자, 학습자 및 임상의사가 함께 협력하여 기술을 통해 각 단계에서 추론, 커뮤니케이션, 동정 및 공감의 높은 수준의 기능에 더 많은 시간을 할애할 수 있도록 해야 합니다. 기술의 침입을 계속 한탄하거나 과거에 대한 향수에 빠져있기보단, 이 기회를 잡아서 실제로 보건 직업 교육 및 임상 실습의 위상과 역할을 높이는 데는 노력과 창의력이 필요할 것이다. 기술 혁명의 가장 큰 이익은 모든 의료 전문가들이 진정으로 "work up to license면허껏 일할 수" 있는 자유를 얻게 될 때 생길 것이다. 기계 학습은 임상의와의 치유 관계에서 모든 환자들이 원하고 필요로 하는 인간의 손길을 결코 제공할 수 없다. 임상적 실천을 보다 인간적으로 만들 수 있도록 기술을 이용해야 한다. And that brings us to the last aspect of this trend—educators, learners, and clinicians must work together to see that technology enables them at each step along the continuum to devote more time to the higher level functions of reasoning, communication, compassion, and empathy. It will be easy to continue to lament the intrusion of technology or to be nostalgic about the past, but it will take effort and creativity to seize this opportunity to actually elevate the status and role of health professions education and clinical practice. The greatest dividend of the technological revolution will come when all health professionals are freed up to truly “work up to license.” Machine learning can never provide the human touch that all patients want and need in a healing relationship with their clinicians. We must harness technology to enable us to make clinical practice more humanistic.
1.7. 이러한 추세에 대한 COVID 19의 중요성 1.7. Significance of COVID‐19 on these trends
첫째, COVID19와 동향에 관한 것이다. 우리의 의료 서비스 제공과 공공 의료 시스템에 가해지는 엄청난 스트레스는 협력적이고 전문적인 접근 방식 없이는 처리될 수 없었을 것이라는 것은 매우 분명하다. 일선 의료진의 일상적인 영웅담은 팀의 상호의존성을 강조해 왔다. 만약 우리가 미래의 의료 종사자들이 팀을 이루어 일할 수 있도록 준비하고 있다는 의심이 있었다면, COVID19 이야기는 그러한 의구심을 잠재웠다. First, as to COVID‐19 and the trends. It is quite clear that the enormous stress placed on our health‐care delivery and public health systems could not have been dealt with without a collaborative and interprofessional approach. The daily heroic stories of frontline health workers have stressed the interdependence of the team. If we ever had any doubt that we are preparing health‐care workers of the future to work in teams, the COVID‐19 story has put that doubt to rest.
두 번째 추세와 관련하여, 전염병 유행 기간 동안 병원 기반 교육의 중단은 심오했다. 모든 실용적인 목적으로 병원 내에서의 임상 교육은 중단되었다. 이는 학습자를 보호하고 부족한 개인 보호 장비를 보존하기 위해 수행되었지만, COVID19 병원이 교육에 도움이 되는 환경이 아니라는 인식 때문에 수행되었다. 반면에, 외래 교육은 많은 환경에서 지속되었고, 성공적인 종방향 통합 경험의 일부인 신뢰와 기술을 습득한 학생들은 스트레스를 받는 이 시기에 환자와 진료 현장에 실제로 도움이 될 수 있었다. 이러한 경험의 선두주자 중 한 명으로부터 다음과 같은 관찰을 통해 개인적으로 연락을 받았습니다. 25 Regarding the second trend, the disruption in hospital‐based education during the pandemic has been profound. For all practical purposes clinical education in the hospital stopped. This was done to protect the learners and to conserve scarce personal protective equipment, but also because of the realization that the COVID‐19 hospital was not an environment conducive to education. On the other hand, ambulatory education did continue in many settings, and students who have acquired both the trust and skills that are part of a successful longitudinal integrated experience were actually able to be helpful to their patients and the care sites in these stressful times. I received a personal communication from one of the leaders of these experiences with the following observation.25
"LIC는 코로나 시대에 특히 탄력적이고 유익한 것으로 입증되고 있습니다. 실제로, 저는 모델이 있기 때문에 LIC 학생들이 환자, 교사, 사무실/기관 및 지역사회에 계속해서 혜택을 줄 수 있는 방법에 대해 미국과 다른 국가에서 계속해서 배우고 있습니다. LIC 모델을 통해, 학생들은 알려져 있고 신뢰받고 있으며 학생들은 그들의 환자와 임상 마이크로시스템을 매우 잘 알고 있다. 이 모든 것은 이 오랜 기간 동안 입증된 모든 교육적 이점 외에도, 우리는 시간의 힘이 현재의 COVID 요구와 향후 발생할 수 있는 치료 제공에 대한 신뢰, 연결, 시스템 훈련, 환자-수용체-시스템 관계를 가능하게 한다는 것을 알게 되었다. LIC는 시간과 관계, 그리고 "유연성"을 만들어서교육 및 서비스에 막대한 이점을 제공합니다."
“LICs are proving particularly resilient and beneficial in the time of Covid. Indeed, I keep learning of stories in the United States, and in other countries, of how LIC students are able to continue to benefit their patients, preceptors, offices/institutions, and communities precisely because of the model—with the LIC model, students are known and trusted and the students know their patients and clinical microsystem so well. All this is to say that on top of all the proven educational benefits over these many years, we now see that the power of time affords the trust, connectivity, systems training, patient–preceptor–system relationships need to address current COVID needs and the likely care delivery that is coming. LICs create time and relationships AND flexibility and these offer enormous benefits for education and service.”
유행병은 또한 인종, 민족성, 경제적 지위, 우편 번호에 기초한 결과의 현저한 차이 때문에 건강의 사회적 결정 요인의 중요성을 보여주었다. 사회적 요인(인종주의, 주거, 직업, 교통, 공기질, 의료 접근성)과 건강 결과 사이의 관계는 지금까지 그 어느 때보다 명확하거나 극명했다. COVID19는 우리가 이러한 관계를 더 잘 이해할 뿐만 아니라 그들에 대해 무언가를 할 것을 요구해왔다. 또한 의료 전문가들은 이러한 논의와 행동에 중심이 되어야 합니다. The pandemic has also highlighted the importance of the social determinants of health because of the striking differences in outcome based on race, ethnicity, economic status, and zip code. The relationship between social factors (racism, housing, job, transportation, air quality, access to care) and health outcomes has never been clearer or starker. COVID‐19 has called for us to not only better understand these relationships but to do something about them. And health‐care professionals must be central to that discussion and action.
전염병에 의해 [일하고 배우는 환경의 중요성]과 [보건 전문가들의 장기적 행복과 회복력에 초점을 맞추는 것]의 중요성도 급격히 드러났다. 보건의료 종사자들의 영웅주의의 다른 측면은 이러한 지속적인 스트레스 환경이 탈진, 우울증, 그리고 자살의 가능성을 증가시키는 데 미치는 영향이다. 우리는 당분간 유행병이 보건의료 종사자들에게 끼치는 장기적인 심리적 영향과 사기적 영향을 알 수 없겠지만, 앞으로 교육과 임상 연속의 각 시점에서 이러한 환경적 요인에 더욱 더 많은 주의를 기울일 필요가 있을 것이다. 우리 보건 전문가들이 보여준 비범한 휴머니즘은 돌봄과 학습의 휴머니즘 시스템을 개발하고 유지함으로써 현물로 돌려받아야 한다.
The importance of the environments in which we work and learn and the importance of focusing on the long‐term well‐being and resilience of our health professionals have also been drawn in sharp relief by the pandemic. The other side of the coin of the heroism of health‐care workers has been the effect of this continually stressful environment on increasing the likelihood of burnout, depression, and suicide. We will not know for some time the long‐term psychological and morale consequences of the pandemic on health‐care workers, but we will need to pay more even more attention to these environmental factors at each point in the education and clinical continuum going forward. The extraordinary humanism shown by our health professionals must be returned in kind by developing and maintaining humanistic systems of care and learning.
전체 의료 시스템에 가해지는 스트레스는 [모든 수준의 건강 전문가에서 역량을 확보하는 것]과 [적절한 기술을 갖춘 충분한 건강 전문가를 적재적소에 배치하는 것]의 중요성을 보여주었다. 그것은 결국 우리의 사회적 계약이다. The stress on the whole health‐care system showed the importance of assuring competence at all levels of the health professions and also of assuring that we have enough health professionals with the right skills in the right places. That is, after all, our social contract.
마지막으로, 대유행은 교육과 치료에서 기술이 차지하는 역할이 점점 더 커지고 있음을 아주 분명하게 보여주었다. 대부분의 보건 전문학교는 완전히 온라인 학습에 들어갔고, 그것은 다음 학년에도 어떤 식으로든 계속될 것 같다. 클리닉에서는, 방문의 높은 비율이 원격의료 방문이 된다. 이러한 두 영역에서 모두 시행된 급속한 전환은 이러한 기술의 빠른 개선과 수용으로 이어질 가능성이 높으며, 이러한 변화의 일부는 영구적일 것으로 예상됩니다.
Finally, the pandemic has shown very clearly the increasing role that technology will play in education and care. Most health professional schools went to entirely online learning, and that is likely to continue in some fashion into the next academic year. In the clinics, a high percentage of visits become telemedicine visits. This enforced rapid transition in both these domains is likely to lead to rapid improvement in and acceptance of these technologies, and I expect some of these changes will be permanent.
그래서, 각각의 경향은 강화되었고, 저는 유행병이 이를 가속화했다고 생각한다. 이런 혼란이 일어난 만큼, 우리는 그것을 매우 높은 가격에도 불구하고 변화의 가속력으로 되돌아 볼 수도 있다. So, each of the trends has been reinforced and I suspect accelerated by the pandemic. As traumatic as has been this disruption, we may look back at it as an accelerant of change albeit at a very high price.
2. 결론 2. CONCLUSION
이러한 경향들이 서로 완전히 독립적인 것이 아니라, 실제로 서로 연결되어 있다는 것도 분명히 밝혀야 한다.
전문직 간 교육은 건강과 삶의 사회적 결정요인 즉 오랜 지속적 학습 환경을 다루는 문화를 조성하는 데 도움이 됩니다.
종적 통합 임상 경험은 건강의 사회적 결정요인에 대한 통찰력을 촉진하고 역량 기반 평가와 전문성 개발을 위한 연속성 환경을 조성한다.
교육 기술과 빅데이터가 적절히 활용되면 이러한 모든 변화를 촉진하는 데 도움이 될 수 있습니다.
It should also be apparent that these trends are not totally independent from one another; they are, indeed, interconnected.
Interprofessional education helps to create the culture for addressing the social determinants of health and life‐long sustaining learning environments.
Longitudinal integrated clinical experiences facilitate insights into the social determinants of health and create the continuity environment for competency‐based assessment and professional development.
Educational technologies and big data, properly harnessed, can help promote all of these changes.
최적의 건강 관리 시스템과 건강한 대중을 위해 필요한 건강 전문가를 배출하려면 이러한 모든 변화가 실제로 필요할 것이다. 이것은 리더십과 문화의 변화를 필요로 할 것이다. 우리는 직업과 교육을 보건의료 제공과 분리하는 장벽을 허물고 우리가 봉사하는 환자, 가족, 지역사회와 분리해야 한다. 우리는 [보건 전문가 교육]과 [의료 서비스 제공]의 목표가 모두 같다는 것을 기억해야 합니다. 즉, public의 건강을 개선하는 것입니다. 그것은 우리가 진정으로 협력적이고, 지역사회 지향적이며, 건강의 사회적 결정요인을 인지하고, 탄력적이고, 유능한 삶을 영위하는 건강관리 전문가들을 배출할 때에만 일어날 수 있고, 그들의 환자에게 서비스를 제공하기 위해 기술을 활용하는 데 능통하고, 공감과 연민을 가진 장수 학습자들을 배출할 때에만 일어날 수 있다. 다시 말해서, 휴머니즘과 과학의 이상적인 혼합을 모델링합니다. 그것은 무리한 주문이지만 우리는 할 수 있다.
All of these changes together will in fact be needed if we want to produce the health professionals we need for an optimal health‐care system and a healthy public. This will require leadership and culture change. We must break down the barriers that separate the professions and the barriers that separate education from health‐care delivery and that separate both from the patients, families, and communities we serve. We must remember that health professions education and health‐care delivery both have the same goal—the improved health of the public. That will only happen if we produce health‐care professionals who are truly collaborative, community oriented, cognizant of the social determinants of health, resilient, competent life‐long learners who are adept at harnessing technology to serve their patients, and who possess empathy and compassion. In other words, they model the ideal blend of humanism and science. It is a tall order, but we can do it.
FASEB Bioadv.2020 Sep 23;2(12):685-694.
doi: 10.1096/fba.2020-00061.eCollection 2020 Dec.
The future of health professions education: Emerging trends in the United States
"말하는 기술과 행동하는 기술을 동일시하는 것은 엄격하지 않다.” — 나심 테일브 “Clearly, it is unrigorous to equate skills at doing with skills at talking..”
— Nassim Taleb
"반짝이는 모든 것이 금은 아니다"라는 속담이 있다. 사물의 미학은 종종 우리를 속인다. 우리가 무식하다고 부르는 사람들은 무식하지 않을지도 모른다. 우리가 똑똑하다고 부르는 사람들은 똑똑하지 않을 수도 있다. 녹색 목재 오류는 현실 세계가 항상 우리의 이야기와 일치하지 않는다는 것을 가르쳐준다. 성공의 진짜 원인 요인은 종종 우리에게 숨겨져 있다.
“All that glitters is not gold,” the saying goes. The aesthetics of things often fool us. People we call ignorant might not be ignorant. People we call smart might not be smart. The Green Lumber Fallacy teaches us that the real world doesn’t always match our stories. The real causative factors of success are often hidden from us.
***
진화 이론에 익숙하다면, 유기체의 개체군은 끊임없이 "선택 압력"을 받는다는 것을 알 것입니다. 어떤 특성들이 선호되고 그들의 자손에게 전해지고 다른 것들은 진화 쓰레기통에 버려지게 되는 그들 환경의 혹독함입니다. If you’re familiar with evolutionary theory, you know that populations of organisms are constantly subjected to “selection pressures” — the rigors of their environment which lead to certain traits being favored and passed down to their offspring and others being thrown into the evolutionary dustbin.
생물학자들은 이러한 장점들을 번식의 "적합성"이라고 부른다. 기린 목의 길이가 길어진 것이 그들의 환경에 더 큰 "적합성"을 가져다 주었지요. 왜냐하면 그것이 그들이 높은 곳에 닿고, 손대지 않은 잎에 도달하도록 도와주었기 때문입니다. 적합성은 일반적으로 상대적인 개념입니다. 유기체는 부족한 자원을 얻기 위해 경쟁해야 하기 때문에, 그들의 적합성은 서로에 대한 생식적 우위를 준다는 의미에서 측정된다. Biologists dub these advantages in reproduction “fitness” — as in, the famously lengthening of giraffe necks gave them greater “fitness” in their environment because it helped them reach high up, untouched leaves. Fitness is generally a relative concept: Since organisms must compete for scarce resources, their fitnesses is measured in the sense of giving a reproductive advantage over one another.
한 환경에서 뛰어난 적합성을 제공할 수 있는 특성은 쓸모없거나 다른 환경에서 불리할 수 있습니다. (연못에서 물을 뺀다고 가정해 보십시오: 정말 믿을 수 없는 물고기가 가지고 있는 어떤 건강상의 이점도 물 없이는 즉시 가치가 없어집니다.) 특성은 또한 환경과 관련이 있다. 한 번에 장점은 다른 한 가지 단점이 될 수 있고 그 반대도 마찬가지입니다. 자연은 논쟁하지 않고, 그저 반복해서 시험할 뿐입니다. A trait that might provide great fitness in one environment may be useless or even disadvantageous in another. (Imagine draining a pond: Any fitness advantages held by a really incredible fish becomes instantly worthless without water.) Traits also relate to circumstance. An advantage at one time could be a disadvantage at another and vice versa. Nature doesn’t argue, it just tests over and over.
이것은 적합성을 생물학에서 가장 중요한 개념으로 만든다. 특성은 주어진 환경 내에서 유기체에 적합성을 제공하는 경우에 선택된다.
This makes fitness an all-important concept in biology: Traits are selected for if they provide fitness to the organism within a given environment.
블랙 스완의 작가 나심 탤브는 피트니스와 현실세계에서의 선택에 대해 흥미로운 견해를 가지고 있다: "잘 하는 사람doers"과 "잘 말하는 사람talkers"이 다른 특성으로 선택되는 경우가 많다. 그것들을 섞지 않도록 조심해라. The Black Swan author Nassim Taleb has an interesting take on fitness and selection in the real world that boils down to: People who are good “doers” and people who are good “talkers” are often selected for different traits. Be careful not to mix them up.
그의 저서 Antifragile에서, Taleb는 이 아이디어를 월가의 상인들을 고용할 때 사용했던 경험적 발견을 발현하기 위해 사용합니다. In his book Antifragile, Taleb uses this idea to invoke a heuristic he’d once used when hiring traders on Wall Street:
누군가가 하는 말이 더 흥미롭고, 더 교양 있을수록, 그 사람이 실제 사업에서 하는 일도 더 효과적이라고 생각하게 될 것이다. (심리학자들이 후광 효과라고 부르는 것, 스키에서의 기술이 도자기 공방이나 은행을 관리하는 기술로 실패하지 않는다고 생각하는 실수) 훌륭한 체스 선수가 실생활에서 훌륭한 전략가가 될 것이라는 것을 의미한다. The more interesting their conversation, the more cultured they are, the more they will be trapped into thinking that they are effective at what they are doing in real business (something psychologists call the halo effect, the mistake of thinking that skills in, say, skiing translate unfailingly into skills in managing a pottery workshop or a bank department, or that a good chess player would be a good strategist in real life).
분명히, 말하는 기술과 하는 기술을 동일시하는 것은 허술하다unrigorous. 훌륭한 실무자들에 대한 제 경험은, 그들도 완전히 incomprehensible하다는 것입니다. 그들은 통찰력과 내부 일관성을 우아한 스타일과 서사로 바꾸는 데 많은 에너지를 쏟을 필요가 없습니다. 기업가는 사상가가 아닌 행동가이며, 행동가는 말을 하지 않으며, 토크 부서에서 그들을 측정하는 것은 불공평하고, 잘못되고, 완전히 모욕적일 것이다. Clearly, it is unrigorous to equate skills at doing with skills at talking. My experience of good practitioners is that they can be totally incomprehensible–they do not have to put much energy into turning their insights and internal coherence into elegant style and narratives. Entrepreneurs are selected to be doers, not thinkers, and doers do, they don’t talk, and it would be unfair, wrong, and downright insulting to measure them in the talk department.
기업가에 대한 선택압력은 기업 경영자나 관료에 대한 압박과는 매우 다르다. 기업가와 위험부담자는 [대화와 설명, 합리화 능력]에 따라 성공하거나 실패하지 않는다. 그들은 군중으로부터 advantageously diverge되어 일을 처리하는 능력에 따라 성공하거나 실패한다. 말하는 것과 행하는 것이 함께 갈 수도 있지만, 보통은 그렇지 않습니다. The selection pressures for an entrepreneur are very different from those on a corporate manager or bureaucrat. Entrepreneurs and risk-takers succeed or fail not so much on their ability to talk, explain, and rationalize as their ability to advantageously diverge from the crowd and get things done. While talking and doing can go together, they frequently don’t.
반드시 훌륭한 지적 능력과 훌륭한 행동이 함께 있어야 할 이유는 없습니다: 놀라운 코드 조각들을 함께 해킹할 수 있다는 것은 여러분이 훌륭한 이론적인 컴퓨터 과학을 하는 동안 아마도 학계에서 더 나은 적합성을 갖게 해 줄 것입니다. 그 두 기술은 연관될 필요가 없다. 대부분 위대한 경제학자라고 훌륭한 투자자는 아니다. 그러나 우리는 종종 두 영역을 혼동한다.
When you think about it, there’s no reason great intellectualizing and great doing must go together: Being able to hack together an incredible piece of code gives you great fitness in the world of software development while doing great theoretical computer science probably gives you better fitness in academia. The two skills don’t have to be connected. Great economists don’t usually make great investors. But we often confuse the two realms.
특히 배관, 프로그래밍, 트레이딩 또는 마케팅과 같은 일부 "좁은" 분야에서의 성공은 지적이지 못한 사람들에 의해 달성되는 경우가 많습니다. 그들의 진화적 적합성은 [말하는 능력]에서 오는 것이 아니라 [행동하는 능력]에서 오는 것이다.
Success, especially in some “narrow” area like plumbing, programming, trading, or marketing, is often achieved by rather non-intellectual folks. Their evolutionary fitness doesn’t come from the ability to talk but do.
녹색 목재 오류 The Green Lumber Fallacy
Taleb는 이 차이를 "녹색 목재 오류"라고 부릅니다. "100만 달러를 잃으면서 배운 것"이라는 책에 나오는 이야기입니다. Taleb calls this divergence the Green Lumber Fallacy, after a story in the bookWhat I Learned Losing a Million Dollars.
Taleb이 Antifragile에서 설명한 것처럼 As Taleb describes it inAntifragile:
금융 분야에서는 드물게 "백만 달러를 잃으면서 배운 것"이라고 불리는 noncharlantanic 서적 중 하나에서 주인공은 큰 발견을 합니다. 그는 "녹색 목재"라고 불리는 상품에서 가장 성공한 무역업자 중 한 명인 조 시겔이라는 사람이 실제로 그것이 (마르지 않았기 때문에 새로 깎은 목재보다는) 녹색으로 칠해진 목재라고 생각했다. 그리고 그는 이걸 거래하는 것을 그의 직업으로 삼았습니다! 한편 narrator는 위대한 지적 이론과 원자재의 가격을 움직이게 한 것에 대한 내러티브에 빠져서 파산했다. In one of the rare noncharlatanic books in finance, descriptively called What I Learned Losing a Million Dollars, the protagonist makes a big discovery. He remarks that a fellow named Joe Siegel, one of the most successful traders in a commodity called “green lumber,” actually thought it was lumber painted green (rather than freshly cut lumber, called green because it had not been dried). And he made it his profession to trade the stuff! Meanwhile the narrator was into grand intellectual theories and narratives of what caused the price of commodities to move, and went bust. 그것은 단지 성공적인 목재 전문가가 "녹색"이라는 명칭과 같은 중요한 문제들에 대해 무지했던 것만은 아니다. 그는 또한 어떤 전문가도 중요하지 않다고 생각하는 목재에 대한 것들을 알고 있었다. 우리가 무식하다고 부르는 사람들은 무식하지 않을지도 모른다. It is not just that the successful expert on lumber was ignorant of central matters like the designation “green.” He also knew things about lumber that nonexperts think are unimportant. People we call ignorant might not be ignorant. 목재에서의 순서 흐름 예측과 일반적인 서술이 외부에서 가정할 세부 사항과 거의 관련이 없다는 사실은 중요하다. 현장에서 일을 하는 사람들은 정해진 시험set exam을 보지 않는다. 그들은 가장 서술적이지non-narrative 않은 매니저 중에서 선발된다. 말을 잘하는 것은 별 차이가 만들지 못한다. 진화는 내러티브에 의존하지 않습니다. 인간도 마찬가지입니다. 진화론에는 파란색에 대한 단어가 필요하지 않다. The fact that predicting the order flow in lumber and the usual narrative had little to do with the details one would assume from the outside are important. People who do things in the field are not subjected to a set exam; they are selected in the most non-narrative manager—nice arguments don’t make much difference. Evolution does not rely on narratives, humans do. Evolution does not need a word for the color blue. 그래서 녹색 목재 오류라고 부르죠. 어떤 사람이 [눈에 보이는 지식의 원천]을 잘못 알고 있는 상황입니다. 여기서는 목재가 띄고 있는 녹색빛greenness이 그것이다. 외부에서는 잘 보이지 않고, 덜 다루기 쉽고, 덜 이야기하기 쉽기 때문입니다. So let us call the green lumber fallacythe situation in which one mistakes a source of visible knowledge — the greenness of lumber — for another, less visible from the outside, less tractable, less narratable.
핵심은 [진짜 원인 요인]은 종종 우리에게 숨겨져 있다는 것이다. 우리는 녹색 재목의 복잡한 점을 아는 것이 주문 흐름을 예의 주시하는 것보다 더 중요하다고 생각합니다. 우리는 우리 스스로를 지성의 영향을 과대평가하도록 유혹하고 왜 "이단"이 앞서나가고 있는지 궁금해한다. The main takeaway is that the real causative factors of success are often hidden from us. We think that knowing the intricacies of green lumber are more important than keeping a close eye on the order flow. We seduce ourselves into overestimating the impact of our intellectualism and then wonder why “idiots” are getting ahead.
그러나 "스킨 인 더 게임"에서는, [선택과 진화]가 결과로 변환되지 않는 한, 훌륭한 이야기와 아이디어에 신경 쓰지 않습니다. 이 때는 [당신이 알고 있는 것]보다 [당신이 하는 것]에 더 신경을 쓴다.위험관리 이론에 대한 폭넓은 지식보다는 실제로 위험을 피하는 것에 신경을 쓴다. (물론, 현대의 많은 분야에서는 게임 속에 피부가 없기 때문에 대화와 합리화가 선택될 수 있고 자주 선택된다.) But for “skin in the game” operations, selection and evolution don’t care about great talk and ideas unless they translate into results. They care what you do with the thing more than that you know the thing. They care about actually avoiding risk rather than your extensive knowledge of risk management theories. (Of course, in many areas of modernity there is no skin in the game, so talking and rationalizing can be and frequently are selected for.)
Taleb가 그의 고용 휴리스틱에서 그랬던 것처럼, 우리에게 좋은 말을 하는 사람들을 액면 그대로 받아들이는 것에 대해 약간 회의적이어야 함을 가르쳐준다. 또한 우리가 "그다지 똑똑하다"고 생각하는 사람에게서 "설명할 수 없는" 성공을 볼 때 약간 회의적이 되도록 가르쳐야 한다. 설화에 유혹되어 보이지 않는 단절이 있을 수 있다. (리콴유 같은 사람이 오로지 어떤 일에만 집중해서 피한 문제) As Taleb did with his hiring heuristic, this should teach us to be a little skeptical of taking good talkers at face value, and to be a little skeptical when we see “unexplainable” success in someone we consider “not as smart.” There might be a disconnect we’re not seeing because we’re seduced by a narrative. (A problem someone like Lee Kuan Yew avoided by focusing exclusively on what worked.)
우리는 이 지혜의 덩어리를 감상하기 위해 우리의 지적 추구들을 포기할 필요는 없습니다. Taleb의 말이 옳습니다. 하지만 또한 ["실제로 작동하는 것"에 대한 엄격하고 회의적인 지식]과 [세계의 점점 더 발전하는 이론 구조]를 결합하는 것은 모든 것 중에서 가장 좋은 조합일 수 있습니다.
We don’t have to give up our intellectual pursuits in order to appreciate this nugget of wisdom; Taleb is right, but it’s also true that combining the rigorous, skeptical knowledge of “what actually works” with an ever-improving theory structure of the world might be the best combination of all
용어적으로 말해서, "비인지적 요인"에 대한 scholarship은 엉망이다. 이 분야 역시 단어가 중요한 분야입니다. 우리는 행동, 기술, 장점 또는 특성을 검토하고 있는가? 우리는 "성격", "사회 정서 학습" 또는 "부드러운 기술"을 장려하고 있는가? 특히 "징글"과 "장글"의 두 가지 오류들이 진전을 방해하고 있다. Terminologically speaking, scholarship on “non-cognitive factors” is a mess. This is a field where words count, too. Are we examining behaviors, skills, strengths or traits? Are we promoting “character,” “socio-emotional learning,” or “soft skills?” Two fallacies in particular are impeding progress:the “jingle” and the “jangle”.
징글 오류 THE JINGLE FALLACY
징글 오류(jingle error)는 상당히 다른 여러 가지를 설명하기 위해 단일 용어를 사용하는 것을 말한다. 이 경우, "비인지적 기술"이라는 문구는 광범위한 기술, 특성, 장점 또는 속성, 즉 본질적으로, 이 용어가 암시하는 바와 같이 인지적으로 기초하지 않은 모든 것을 결합한다. 여기에는 사회적 예절이나 개인적 자신감이 포함될 수 있지만, 만족을 미루거나(때로는 신중함 또는 "신중함"이라고 칭함), 일에 집중하거나, 날씨가 어려운 시기(라벨, 때로는 "기분 회복력"이라고 함) 다른 사람의 문제에 공감할 수 있는 능력도 언급될 수 있다. The “jingle fallacy” refers to the use of a single term to describe a multiplicity of quite different things. In this case, the phrase “non-cognitive skills” lumps together a vast range of skills, traits, strengths, or attributes: essentially, as the term implies, anything that is not cognitively based. This could include social manners or personal confidence; but it may also refer to the capacity to defer gratification (sometimes referred to as prudence or “grit”), focus on a task, weather difficult times (labeled, sometimes, “resilience”), or empathize with the troubles of another person.
어떤 용어가 그렇게 많은 부분을 포괄하는 데 사용될 때, 그것은 이해하는데 방해가 된다. 전혀 다른 차원을 연구하고 있는 연구원들은 그들이 같은 공간에서 일하고 있다고 거짓으로 믿을 수 있는데, 사실 그들은 천문학자들에게 천체물리학자들보다 더 가깝지 않다. "비인지적"이라는 말을 현역에서 은퇴해야 할 때이다.
When a term is being used to cover so much ground, it gets in the way of understanding. Researchers working on wildly different dimensions can falsely believe they are working in the same space, when in truth they are no closer than astrophysicists to astronomers. It is time to retire the phrase “non-cognitive” from active duty.
장글 오류 THE JANGLE FALLACY
하지만 또 다른 잠재적인 문제가 있습니다. 인지적 요인에 대한 초기 연구도 더럽혀졌습니다. "장글 오류"는 사람들이 같은 것을 설명하기 위해 다른 용어를 사용할 때 발생합니다. 이는 부문 간 협업과 공통 측정 채택에 방해가 될 수 있습니다. 그 문제는 종종 다양한 분야의 다른 어휘들에 의해 복잡해진다. 특정 속성은 경제학자에 의해 "기술"로, 심리학자에 의해 "성격 특성"으로, 교육주의자에 의한 특정한 종류의 "학습" 또는 도덕 철학자에 의한 "인격" 차원으로 분류될 수 있다. 각자 같은 개념을 염두에 두고 있을 수도 있지만 용어의 혼란 때문에 서로의 일이나 의미를 놓친다. But there’s another potential problem, one that also bedeviled early research on cognitive factors: the “jangle fallacy,” which occurs when people use different terms to describe the same thing. This can get in the way of cross-disciplinary collaboration and the adoption of common measurements. The problem is often compounded by the different vocabularies of various disciplines. A particular attribute may be labeled a “skill” by an economist, a “personality trait” by a psychologist, a certain kind of “learning” by an educationalist, or a “character” dimensions by a moral philosopher. Each may have the same concept in mind, but miss each other’s work or meaning because of the confusion of terms.
심지어 헤크만도 고생한다 EVEN HECKMAN STRUGGLES
이 많은 단어와 의미를 헤쳐나가기 힘들다는 사람은 누구나 그 분야의 최고들조차도 어려움을 겪고 있다는 사실에서 약간의 위안을 얻을 수 있다. 노벨상 수상자 제임스 헤크먼이 NPR 인터뷰에서 "This American Life"에 대해 도전을 받는 것을 들어보십시오. 그가 이런 종종 덧없는 요소들을 묘사하는 데 사용했던 다른 용어들로 말입니다. Heckman은 확실히 경제학의 아버지이며 언어와 라벨링 문제에 많은 생각을 해 왔다. 그는 이제 "성격 기술"을 언급한다.
Anybody finding it difficult to make their way through this thicket of words and meanings can take some comfort from the fact that even the best in the field are struggling. Listen to Nobel prize-winner (and our adviser and friend) James Heckman being challenged inthis NPR interview for “This American Life”for the different terms he has used to describe these often ephemeral factors. Heckman is the father of the field, certainly within economics, and has given a great deal of thought to the language and labeling issue. He now refers to “character skills.”
성격 특성, 성격 기술 및 성격 강점 CHARACTER TRAITS, CHARACTER SKILLS AND CHARACTER STRENGTHS
"속성trait"은 일반적으로 유전적으로 영향을 받는 대체로 고정된 속성을 가리킨다. 내향적인 사람들은 외향적인 행동을 보여주는 것을 배우더라도 외향적인 사람이 되지 않는다. 그러나 당면 과제에 집중하는 능력이나 만족을 지연시키는 능력을 포함한 기술은 일생에 걸쳐 달라질 수 있으며, 가르치고 배울 수 있다. A “trait” typically refers to a largely fixed, often genetically-influenced, attribute. Introverts don’t become extroverts, even if they learn to demonstrate some extrovert behaviors. But skills – including the capacity to focus on a task at hand, or defer gratification – are changeable, may vary through a lifetime, and can be both taught and learned.
따라서 Heckman이 스킬이라는 용어를 사용하는 것은 그의 연구의 초점을 좁히고 가단성malleability을 시사하는 측면에서 도움이 된다. (또 다른 조언자인 Paul Tough도 비슷한 노선을 취한다.) 하지만 여기도 뭔가 없어졌다. 스킬은 몇 가지 중요한 요소를 포착하지 못합니다. 호기심은, 한 가지 예를 들면, 배워야 할 기술인가, 고정된 성격인가, 아니면 둘 사이의 어딘가인가? 우리는 "캐릭터 강점strength"이라는 용어를 기술과 특성 사이의 절충어로 사용하는 경향이 있었다. "강점"이란 단어는 운동 능력을 상기시킨다 – 사람은 일정 수준의 체력을 가질 수 있지만, 체육관에서 충분히 일하면 누구나 100개의 팔굽혀펴기를 할 수 있는 근육을 키울 수 있다. 마찬가지로, 어떤 일에 집중하는 사람의 선천적인 능력은 다를 수 있지만, 집중력도 가르쳐질 수 있다. Heckman’s use of the term skills is therefore helpful in terms of narrowing the focus of his research and suggesting malleability. (Paul Tough, another advisor, takes a similar line). But something is lost here, too. Skill doesn’t capture some important factors. Is curiosity, to give one example, a skill to be learned, a fixed personality trait, or somewhere between the two? In our own work (including in our report “The Character Factor”) we tend to use the term “character strength” as a compromise between skills and traits. Strength calls to mind athletic abilities – a person may have a predisposition towards a certain level of physical strength, but with enough work at the gym anyone can build up the muscles to do 100 pushups. Similarly, a person’s innate ability to focus on a task may vary, but focus can be taught as well.
물론 캐릭터라는 용어가 그 자체의 문제가 없는 것은 아니다. Heckman이 'This American Life' 인터뷰에서 말했듯이, "문제는 '성격'이 매우 도덕적으로 들린다는 것입니다. 일요학교를 운영하는 것 같습니다." Of course the term character is not without its own problems. As Heckman put it in the ‘This American Life’ interview, “The trouble is ‘character’ sounds very moralistic. It sounds like we’re running a Sunday School.”
하지만 그의 해결책은 옳습니다. 캐릭터라는 용어를 사용하는 것에서 물러서지 마세요. 이것은 가장 명확한 전체 레이블입니다. 여러분이 그것에 대해 말할 때 무엇을 의미하는지 구체적으로 말하세요. 특히 이번 토론에서 '징글'(다른 개념에 같은 용어를 사용함)과 '장글'(같은 개념에 다른 용어를 사용함)을 동시에 경계할 필요가 있다.
But his solution is the right one: don’t back away from using the term character, which is the clearest overall label: just be specific what you mean when you talk about it. In particular, we need to be on our guard against both the “jingle” (using the same term for different concepts) and the “jangle” (using different terms for the same concept) in this debate.
(Un) Dead Idea #1: 학생들의 학습 스타일이 다릅니다. (Un)Dead Idea #1: Students Have Different Learning Styles
이 특별한 아이디어는 돌연변이 아이디어, 즉 다른 아이디어와 융합되어 그 이후로 계속 교묘하게 운영되고 있는 악의 없는 아이디어로 더 잘 특징지어질 수 있다. 1980년대 초, 하버드 대학의 연구원 하워드 가드너 (2011)는 다중 지능에 대한 다소 간단한 이론을 발전시켰다. 기본적으로, 그것은 사람들이 다른 방식으로 "지적"하다고 말한다. 어떤 사람들은 음악에 뛰어나고, 어떤 사람들은 외국어를 빨리 배운다. 몇몇은 수학에 재주가 있고, 다른 몇몇은 관계 형성에 재능이 있다. 교육자로서, 우리는 학생들의 다양한 재능을 감사하고 격려해야 합니다. 당연하죠. This particular idea might be better characterized as a mutant idea—an innocuous idea that fused with another and has been running amok ever since. In the early 1980s, Harvard researcher Howard Gardner (2011) advanced a rather straightforward theory of multiple intelligences. Basically, it says people are "intelligent" in different ways. Some excel at music; others pick up foreign languages quickly. Some have a knack for math, and others have a gift for relationship building. As educators, we ought to appreciate and encourage students' diverse gifts. Fair enough.
그러나 거의 처음부터 가드너의 다중 지능 이론은 다른 이론으로 변신했다: 학생들이 독특한 학습 스타일을 가지고 있다는 것이다. 그들은 시각, 청각 또는 운동신경이 될 수 있다. 예를 들어, 어떤 학생들은 움직임을 통해 가장 잘 배울 수 있기 때문에 선생님들은 그들이 궤도를 도는 행성처럼 춤을 추면서 태양계를 이해할 수 있도록 허락해야 한다; 다른 학생들은 청각 학습자일 수 있고, 그래서 그들은 음악을 통해 지리학을 가장 잘 배울 수 있다. 이론도 그렇고요. Yet almost from the beginning, Gardner's theory of multiple intelligences morphed with another theory: that students have unique learning styles. They can be visual, auditory, or kinesthetic. For example, some students might learn best through movement, so teachers should allow them to understand the solar system by dancing around like orbiting planets; others may be auditory learners, so they might best learn geography through music. Or so the theory goes.
그러나, 진지한 연구는 학생들이 (춤과 같은)한 분야에서의 "지능"을 사용하는 (천문학 같은) 다른 분야를 배운다는 증거를 거의 발견하지 못했다. 또는 사람들이 자신의 학습 스타일에 맞는 경험을 통해 가장 잘 배울 수 있도록 한다는 증거도 발견하지 못했다 (Pashler et al., 2008). 워싱턴 포스트와의 인터뷰에서, 하워드 가드너 자신은 학생들에게 라벨을 붙이기 위해 학습 스타일을 사용하는 것을 경계했다. 왜냐하면 그것은 다른 분야의 deficit을 의미할 수 있기 때문이다. 그는 이러한 레이블을 "기껏해야 도움이 되지 않으며 최악의 경우 잘못된 생각"이라고 언급했다(Strauss, 2013).
Serious research, however, has found little evidence students use so-called "intelligences" in one field (like dance) to learn another (like astronomy), or that people learn best with experiences that match their learning style (Pashler et al., 2008). In an interview with the Washington Post, Howard Gardner himself cautioned against using learning styles to label students, since that might imply deficits in other areas, rendering such labels "unhelpful, at best, and ill-conceived at worst" (Strauss, 2013).
그럼에도 불구하고, 간단한 인터넷 검색은 여전히 수업에서 "학습 스타일"에 대해 블로그를 하고, 강의를 제공하고, 설문조사를 하고, 사용을 장려하는 어지러운 일련의 사람들을 낳는다. 이는 교사가 이러한 스타일에 맞춰 학생들의 학습 경험을 개인화하도록 권장하는 것이다. Nonetheless, a cursory internet search yields a dizzying array of people still blogging about, offering courses in, surveying for, and encouraging the use of "learning styles" in classrooms—advocating for teachers to individualize students' learning experiences to match these styles.
현실은 훨씬 더 단순하다. 네, 아이들은 달라요. 그리고 그렇다, 우리는 때때로 다른 방법(예: 그룹 대 독립적 작업)보다 한 가지 학습 방법을 선호한다. 그러나 그것이 우리가 특정한 양식과 함께 더 잘 배운다는 것을 의미하지는 않는다. 연구는 과학적 현상을 읽고, 비디오로 보고, 경험하는 것과 같은 여러 가지 방법으로 학습의 이점을 보여줍니다. The reality is far simpler. Yes, (news flash) kids are different. And yes, we sometimes prefer one way of learning over another (group vs. independent work, for instance), but that does not mean we learn better with a particular modality. At best, research shows benefits from learning in multiple ways—for example, reading about a scientific phenomenon, seeing it in a video, and experiencing it.
우리는 단어 스타일을 단어 선호도로 대체하고, 선호도는 단지 그저 '선호도'라는 점에 주목함으로써 이 좀비 아이디어를 잠재울 수 있다.
We might put this zombie idea to rest by substituting the wordpreferencefor the wordstyleand noting that preferences are just that. Preferences.
(Un)Dead Idea #2: 학생들이 안내되지 않은 발견을 통해 가장 잘 배운다. (Un)Dead Idea #2: Students Learn Best Through Unguided Discovery
많은 좀비 아이디어처럼, 이 아이디어에는 진실의 싹이 들어있다: 강의는 지루하고 효과적이지 않을 수 있다. 예를 들어, 대학생들을 대상으로 한 연구에서, 그들이 더 높은 점수를 받았고, 적극적인 학습 대 직선 강의의 요소를 가진 강좌에서 낙제할 가능성이 낮다는 것을 발견했다. (Freeman et al., 2014) 장황한 강의의 분위기에 대응하여, 1960년대 이론가들은 학생들이 스스로 새로운 통찰력을 발견하면 더 많이 배우고 간직한다는 "발견 학습"이라는 다른 접근법을 지지하기 시작했다. 그것도 부분적으로 사실이다. 문제 기반 학습에 대한 43개 연구의 메타 분석 결과, 학생들이 [복잡한 문제를 독립적으로 해결함으로써 학습을 확장하고 적용하도록 장려하는 것]은 학습의 더 나은 장기 보존을 지원하는 것으로 나타났다(Docchy et al., 2003). Like many zombie ideas, this one contains a germ of truth: Lectures can be boring and ineffective. A study of college students, for example, found they had higher grades and were less likely to fail courses with elements of active learning vs. straight lectures (Freeman et al., 2014). In response to the tedium of long-winded lecturing, theorists in the 1960s began to espouse a different approach called "discovery learning," which said students learn and retain more when they discover new insights for themselves. That, too, is partially true—a meta-analysis of 43 studies of problem-based learning found that encouraging students to extend and apply learning by independently solving complex problems supports better long-term retention of learning (Dochy et al., 2003).
그러나, 수년 동안, 순수주의자들은 이러한 생각들을 비논리적인 극단으로 몰고 갔다. 즉, 교사들이 실험을 수행하거나, 연구에 참여하거나, 교사들의 최소한의 지도만으로 복잡한 문제를 해결하는 것과 같이, 교사가 학습에 최소한 관여해야 하고, 학생은 "행동함으로써 배워야 한다"는 것이다. 그러나 164개 연구에 대한 메타 분석 결과, 학생들은 무절제한 발견 학습보다 직접 교육에서 훨씬 더 많은 것을 배웠다(Alfieri et al., 2011). 또한 이러한 종류의 최소 지도 학습(즉, 학생들에게 이전의 교육을 거의 받지 않고 풀 수 있는 복잡한 문제를 주는 것)은 낮은 성취도와 어린 학생들에게 특히 효과적이지 않다. 왜냐하면 그들은 기술을 잘못 배우고 잘못된 인식을 발달시키는 경향이 있기 때문이다(Kirschner, Sweller, and Clark, 2006). Over the years, though, purists took these ideas to an illogical extreme—namely, that teachers should be minimally involved in learning and students should "learn by doing," such as by conducting experiments, engaging in research, or solving complex problems with minimal guidance from teachers. A meta-analysis of 164 studies, however, found students learned significantly more from direct instruction than from unassisted discovery learning (Alfieri et al., 2011). Further, this kind of minimally guided learning—that is, giving students a complex problem to solve with little prior instruction—is particularly ineffective for lower-performing and younger students, as they tend to learn skills incorrectly and develop misconceptions (Kirschner, Sweller, & Clark, 2006).
실제로 경험적 연구는 [학생들이 스스로 실천을 시도하기 전]에, [학생들을 위한 실천요강을 모델링(화학 방정식의 균형을 맞추는 방법을 보여주는 것)하는 것]과 같은 [직접 교육direct instruction]을 강력히 지지한다. (Pashler et al., 2007) 종종, 배움으로 가는 가장 짧은 길은 직선입니다: 학생들에게 배워야 할 것을 말하고 보여주면 된다. Empirical research, in fact, makes a strong case for direct instruction—such as modeling a practice for students (showing them how to balance a chemistry equation) before students attempt the practice on their own (Pashler et al., 2007). Often, the shortest route to learning is a straight line: telling and showing students what they need to learn.
여러 가지 면에서, 이 좀비 아이디어는 [발견 학습]과 [직접 교육]이라는 잘못된 이분법에서 나옵니다. 실제로 두 가지 전략이 함께 있을 때 더 잘 작동한다.최선의 접근 방식(직접 지시보다 훨씬 더 나은)은 "유도 발견guided discovery"로, 학생들에게 발견 과정 중 학습 목표, 직접 지시, 모델링된 예시 및 피드백을 제공하여 정확한 결론과 적절한 기술을 개발할 수 있도록 보장합니다(Alfieri et al., 2011).
In many ways, this zombie idea emerges from a false dichotomy that pits direct instruction against discovery learning, when really the two strategies work better together. The best approach (even better than direct instruction) is "guided discovery"—providing students with learning objectives, direct instruction, modeled examples, and feedback during the process of discovery, thus ensuring they develop accurate conclusions and proper skills (Alfieri et al., 2011).
(Un) Dead Idea #3: 학생들은 진정한 독서를 통해 읽는 법을 배워야 한다. (Un)Dead Idea #3: Students Should Learn to Read Through Authentic Reading
이 좀비 아이디어는 계속해서 교원 대학들 사이에서 뒤섞여 나오고 있는데, 놀랄 만큼 많은 강사들이 학생들에게 읽기 자료의 흥미로운 선택권을 주고, 의미 제작에 초점을 맞추고, 소리 상징 코드를 좀 더 부수적인 방법으로 푸는 것에 유리하게 음성의 체계적이고 노골적인 사용을 부추기는 것으로 보인다. 그러나 수십 년 동안의 연구는 다음과 같은 [주요 원칙에 입각한 독서를 가르치는 직접적인 접근 방식]을 언급한다. This zombie idea continues to shamble out of teacher colleges, where a surprising number of instructors appear to eschew systematic, explicit use of phonics in favor of giving students interesting choices of reading materials, focusing on meaning making, and unpacking the sound-symbol code in a more incidental way. Decades of research, however, point to a more straightforward approach to teaching reading, based on these key principles:
독서의 기본 구성 요소는 소리-상징 연결sound-symbol connection을 만드는 능력이다(Castles, Rastle, & Nation, 2018).
기호(문자letters)와 소리(음성phonemes) 사이의 연결에는 직관적인 것이 없으므로 학생들에게 직접 가르쳐야 한다(Mats, 1999).
학생들은 뇌에서 자동이 될 때까지 읽기, 쓰기 연습을 통해 이러한 연결을 만드는 연습을 해야 유창하게 읽을 수 있다(Castles, Rastle, & Nation, 2018).
궁극적으로 유창성은 이해의 열쇠이다; 학생들이 자동적으로 읽어야 그들이 읽고 있는 것을 이해할 수 있다. (Castles, Rastle, & Nation, 2018)
The fundamental building block of reading is being able to make sound-symbol connections (Castles, Rastle, & Nation, 2018).
There is nothing intuitive about the connections between symbols (letters) and sounds (phonemes), so we must teach them directly to students (Moats, 1999).
Students must practice making these connections through reading and writing practice until they become automatic in their brains, allowing them to read fluently (Castles, Rastle, & Nation, 2018).
Ultimately, fluency is the key to comprehension; only when students read with automaticity can they comprehend what they're reading (Castles, Rastle, & Nation, 2018).
좋은 소식은 우리가 학생들에게 해독decoding에 대한 직접적인 가르침을 제공할 때, 대부분은 자기 학년 수준에서 읽는 것을 배울 수 있다는 것이다. 예를 들어, 저소득 1학년 유색인 학생을 대상으로 한 연구에서 디코딩에 대한 직접적인 지침이 거의 없거나 전혀 없는 학생보다 훨씬 높은 디코딩 및 이해 능력을 국가 평균과 동등하게 얻을 수 있다는 것을 발견했다(Foorman 등, 1998).
The good news is that when we provide students with direct instruction in decoding, most can learn to read on grade level. A study of low-income 1st grade students of color, for example, found that students given direct instruction in decoding could attain decoding and comprehension abilities on par with national averages—far higher than students with little or no direct instruction in decoding (Foorman et al., 1998).
비록 이것이 수년 동안 과학에 정착되어 왔지만, 많은 사전 서비스pre-service 프로그램에서는 가르쳐지지 않는 것 같다. 예를 들어, 전국교원품질협의회 (Ross, 2018)의 연구는 미국의 pre-service 교육 프로그램의 37%만이 실제로 교사 지망생들에게 [독서의 과학science of reading]을 가르친다는 것을 발견했다. Although this has been settled science for years, it does not appear to be taught in many pre-service programs. A study by the National Council on Teacher Quality (Ross, 2018), for example, found that only 37 percent of U.S. pre-service education programs actually teach the science of reading to aspiring teachers.
그렇다면, 이것은 "음성phonics"은 효과가 있고 "전체 언어whole language"는 효과가 없다는 것을 의미할까요? 글쎄요, 꼭 그렇지는 않아요. 학생들에게 재미있는 독서 자료를 주고 독서에 대한 사랑을 장려하는 것과 같은 일부 언어 연습은 합리적이고 건설적이다. 동시에 학생들에게 난센스 음절을 해독하도록 요구하는 등 일부 이른바 음운 관행이 진정한 읽기 능력으로 번역되지 못한다(Allington, 2013). 간단히 말해서, 학생들에게 난센스 음절을 해독하게 하는 것은, 음, 난센스입니다. 지루할 것은 말할 것도 없고요.
So, does this mean "phonics" works and "whole language" doesn't? Well, not exactly. Some whole-language practices, such as giving students interesting reading materials and encouraging a love of reading, are sensible and constructive. At the same time, some so-called phonics practices, such as asking students to decode nonsense syllables, fail to translate into authentic reading skills (Allington, 2013). In short, making students decode nonsense syllables is, well, nonsense. Not to mention tedious.
(Un) Dead Idea #4: 학생들은 사실, 비판적 사고력이 필요하지 않습니다. (Un)Dead Idea #4: Students Don't Need Facts, Just Critical Thinking Skills
우리는 요즘 거의 모든 사실에 입각한 질문에 대답하기 위해 Siri나 Google을 소환할 수 있습니다. 그렇다면, 사실을 가르치는 것은 무슨 의미가 있을까요? 정보의 중요한 소비자가 되는 것을 배우는 것이 더 중요하지 않나요? We can summon Siri or Google to answer nearly any factual question these days. So, what's the point of teaching facts? Isn't it more important to learn to be a critical consumer of information?
네, 그리고 아니에요. 물론 비판적 사고력은 중요하다. '비판적 사고'를 언급하는 채용공고 건수는 2009~2014년(코른, 2014년) 2배로 늘었고, 비판적 사고력이 더 뛰어난 대학 졸업생들이 더 높은 연봉을 받는 일자리를 얻는다는 연구 결과가 나왔다(자너 & 제임스, 2015년). 그러나 비판적 사고는 일반적인 의미의 기술이 아닙니다. 즉, 한 영역에서 쉽게 다른 영역으로 넘어가는 것이 아니다(Abrami et al., 2015). 오히려 도메인별 지식과 결합하는 경향이 있다. 학생들은 과학 지식을 갖춘 과학적인 사고, 문학을 이용한 텍스트 분석, 수학에서의 정량적 추론 등을 사용한다. 학생들은 사실과 내용 지식 등 어떤 것에 대해 비판적으로 생각해야 한다. Yes—and no. Certainly, critical thinking skills are important. The number of job postings referencing "critical thinking" doubled between 2009 and 2014 (Korn, 2014), and studies find that college graduates with better critical thinking skills land higher-paying jobs (Zahner & James, 2015). However, student critical thinking isn't a skill in the typical sense of the word—something learned in one area that transfers easily to another (Abrami et al., 2015). Rather, it tends to be interwoven with domain-specific knowledge. Students employ scientific thinking with science knowledge, textual analysis with literature, quantitative reasoning in mathematics, and so on. Students must think critically about something—namely, facts and content knowledge.
그렇다고 해서, 우리는 단순히 콘텐츠 지식을 가르치고 학생들이 삼투현상을 통해 비판적인 사고력을 기를 것을 기대할 수는 없다. 예를 들어, 비판적 사고 접근법의 메타 분석(Bangert-Drowns & Bankert, 1990)은 단순히 학생들을 문학, 역사 또는 논리적 증명에 노출시키는 것은 그들에게 비판적 사고 기술을 개발하는 데 거의 도움이 되지 않는다는 것을 발견했다; 학생들이 비판적 사고 방식을 채택하는 방법(예: 인과 관계를 분석하는 방법)을 배울 때였다. 또한, 비판적 사고 기술을 개발할 수 있는 대상 영역subject area 내에서 연습할 수 있는 기회를 제공할 때 였다.
That said, we cannot simply teach content knowledge and expect students to develop critical thinking skills via osmosis. A meta-analysis of critical thinking approaches (Bangert-Drowns & Bankert, 1990), for example, found that simply exposing students to literature, history, or logical proofs did little to help them develop critical thinking skills; only when students weretaughthow to employ critical thinking (e.g., learning how to parse correlation from causation) and provided opportunities to practice these skills within a subject area could they develop them.
(Un)데드 아이디어 #5: 가르칠 가치가 있다면, 채점할 가치가 있다. (Un)Dead Idea #5: If It's Worth Teaching, It's Worth Grading
많은 선생님들은 [할 가치가 있다면 점수를 매겨야 한다]는 생각으로, 수업에서 하는 모든 것, 즉 숙제 한 조각, 퀴즈 한 조각, 과제 초안, 강의실 토론에 점수를 매기는 습관을 가지고 있다. 그 습관은 그 생각이 약간의 진실을 포함하고 있기 때문에, 즉, 여러분이 측정하는 것이 여러분이 얻는 것이기 때문에 차기가 어려울 수 있다. 칼로리를 따지면 다이어트를 계속하는 것이 더 쉽다. Many teachers are in the habit of slapping a grade on everything that moves—every scrap of homework, every quiz, every draft assignment, every classroom discussion—with the idea that if it's worth doing, it should be graded. That habit can be hard to kick because the idea contains some truth—namely, what you measure is what you get. It's easier to stick to a diet if we count calories.
성적은 최종성finality을 가지고 있다. 성적이란 무엇인가가 것이 끝났고, 따라서 숫자나 문자로 인증 받을 준비가 되었다는 것을 암시한다.그러나 학습은 반복적입니다. 이는 학습의 과정이 아니라 실수 및 실험으로부터 재학습하는 과정입니다. 걸작을 만드는 중에 예술가에게 점수를 매기지는 않겠지만(미켈란젤로, 내 눈에는 대리석 덩어리처럼 보인다), 그것은 사실상 우리가 매 단계마다 학습을 채점할 때 하는 것이다. Grades, however, have a finality to them. They imply something is finished and hence ready to be certified with a number or a letter. Yet learning is iterative—it's less a process of learning and more one of re-learning from mistakes and experimentation. You wouldn't grade an artist in the midst of creating a masterpiece ("Looks like a block of marble to me, Michelangelo"), but that is, in effect, what we do when we grade learning at every step along the way.
게다가, 이 모든 성적은 학생들이 중요한 지식과 기술을 익히는 것이 아니라 교과서에 있는 점수를 쌓는 것이라고 주장하게 만들 수 있다. 캐롤 듀크(2000년)가 일련의 강의실에서 발견한 것처럼, [학교 교육의 목적을 학점 획득으로 보는 학생]은 학습자로서 더 풍부해richer지지 않고, 의욕이 떨어지고, 전반적인 성적이 떨어지는 경향을 보인다. Moreover, all those grades can make students construe that the goal of learning is to rack up points in a gradebook instead of to master important knowledge and skills. As Carol Dweck (2000) found in her series of classroom studies, students who see the purpose of schooling as earning a grade do not grow richer as learners, tend to be less motivated, and demonstrate lower overall performance.
또한, 숙제를 채점하는 일반적인 관행을 생각해보세요. 교육 실무에 대한 McREL 메타 분석(Beesley & Apthorp, 2010)은 숙제에 대한 효과 크기는 작았지만 실제 실행에는 유의한 효과(사실상 4배)를 발견했다. 요컨대 숙제는 연습이 되어야should be 한다. 그럼, 왜 점수를 매길까요? 일부 교사들은 학생들이 채점되지 않으면 숙제를 하지 않을 것이라고 주장하는데, 이는 또 다른 질문을 던진다. 학생들은 숙제의 이점을 이해하고 있는가? 즉, 연습하고 실수로부터 배우고 숙달로 나아가는가? Consider, too, the common practice of grading homework assignments. A McREL meta-analysis of research on instructional practices (Beesley & Apthorp, 2010) found only a small effect size for homework but a significant one (four times as large, in fact) for practice. In short, homework should be practice. So, why grade it? Some teachers insist that students won't do their homework if it's not graded, which begs another question: Do students understand the benefits of homework—namely, to practice, learn from mistakes, and move toward mastery?
아마도 가장 중요한 것은, 더 많은 점수를 성적표에 넣는다고 해서 성적이 더 공정하거나 정확해지지 않는다는 것이다. 반대로, 수천 명의 학생들을 대상으로 수백 명의 교사 성적을 조사한 결과, 점수의 대부분은 태도와 노력을 포함한 주관적인(그리고 불평등할 가능성이 있는) 척도들의 "뒤범벅hodgepodge"이라는 것이 밝혀졌다. 그 결과, 성적은 학생들이 학점의 진정한 목적이 되어야 하는 학습에 대한 기대를 충족시켰는지 실제로 반영하지 못할 수 있다. 학습의 기대를 충족시켰는지를 보는 것이 성적의 진짜 목적이 되어야 하며, 나머지는 다 불필요하다.
Perhaps most important, shoehorning more scores into a gradebook doesn't make grades any more fair or accurate. To the contrary, an examination of hundreds of teacher grades for thousands of students found that most were a "hodgepodge" of subjective (and likely inequitable) measures, including attitude and effort (Cross & Frary, 1999, p. 52). As a result, grades may not actually reflect whether students have met their expectations for learning, which should be the real purpose of grades. Everything else is superfluous.
(Un) Dead Idea #6: 소규모 수업이 더 좋습니다. (Un)Dead Idea #6: Smaller Classes Are Better
이 마지막 좀비 아이디어는 적어도 이론적으로는 사실이기 때문에 죽이기 어렵다. 학생들은 작은 반에서 더 낫다. 예를 들어, 학급 규모 연구에 대한 포괄적인 검토(Whitehurst & Chingos, 2011)는 학급 규모를 크게 줄이면(반당 7-10명까지 학급 수를 줄임) 성취에 유의적이고 긍정적인 영향을 미칠 수 있다고 결론지었다. 이는 9개월 간의 학년 동안 학습이 3개월 동안 개선되는 것과 같다. This last zombie idea is hard to kill because it's true—at least in theory. Students are better off in small classes. A comprehensive review of class-size research (Whitehurst & Chingos, 2011), for example, concluded that significant reductions in class size (shrinking classes by as much as 7–10 students per class) can result in significant, positive effects on achievement—equivalent to three months of improvement in learning over a nine-month school year.
그러나 문제는 이 연구 결과를 현실 세계에 적용하는 데 있다. 캘리포니아는 1990년대 말 평균 K-3 학급 규모를 30명에서 20명으로 줄이기 위해 220억 달러를 들여 25,000명의 새 교사를 고용하고 수천 개의 새 교실을 건설하면서 어려운 방법을 알게 되었다. 결과는? 학생들은 소규모 수업에서 혜택을 받았지만, 역량이 부족한 교사들이 유입되며 그 이득은 상쇄되어 사라졌다. (Jepsen & Rivkin, 2009) The trouble lies, though, in applying this finding in the real world. California learned that the hard way in the late 1990s when it spent $22 billion to reduce average K–3 class sizes from 30 to 20, hiring 25,000 new teachers and constructing thousands of new classrooms. The results? Students benefitted from smaller classes, but the benefits were wiped out by an influx of seemingly less capable teachers (Jepsen & Rivkin, 2009).
결국, 교사의 자질은 학급 크기가 작은 것보다 학생 학습에 훨씬 더 많은 영향을 미친다. 학생들은 매우 효과적이지 않은 교사보다 매우 효과적인 교사가 있는 교실에서 1년치의 추가 학습을 얻을 수 있다(Hanushek, 2011). 사실, 학교 시스템은 더 높은 급여로 훌륭한 교사들을 모집하고 유지할 수 있도록 학급 규모를 늘리는 것이 더 나을 수 있다. 한 가지 추정으로, 학급당 5명의 학생을 추가하는 것은 교사 인건비의 34% 인상으로 바뀔 수 있다(모든 저축이 교사들에게 전달되었다고 가정한다). (Whitehurst & Chingos, 2011) 그것은 많은 교사들이 받아들일 수 있는 절충안으로서, 이 좀비 아이디어를 완전히 잠재우는 것이다.
In the end, teacher quality has far more effect on student learning than smaller class sizes. Students can gain as much as a year's worth of additional learning in a classroom with a highly effective teacher than with a highly ineffective one (Hanushek, 2011). In fact, school systems might actually be better offincreasingclass sizes to be able to recruit and retain great teachers with higher pay. By one estimate, adding five students per class could translate into 34 percent raises for teachers (assuming all savings were passed on to teachers) (Whitehurst & Chingos, 2011). That's a trade-off many teachers might accept, putting this zombie idea to rest once and for all.
"머리"를 쓰자! Let's Use Our "Braaaaains"!
좀비 아이디어는, 많은 면에서, 윌 로저스에게 귀속된 속임수를 상기시켜 줍니다. 그리고, 마크 트웨인은, "우리를 곤경에 빠뜨리는 것은 우리가 모르는 것이 아니라, 사실이 아닌데 사실이라고 알고 있는 것이다." 밝혀진 바에 따르면, 두 사람 모두 실제로 이런 말을 하지 않았지만, 그들 중 어느 쪽도 그렇게 했을 가능성이 있어 보인다. 거기에는 많은 좀비 아이디어의 문제가 있다. 우리가 아무리 그것들을 묻어도, 그들은 너무나 그럴듯해 보이기 때문에 무덤에서 다시 기어 나옵니다. 종종 그들은 약간의 진실을 담고 있기 때문입니다.
Zombie ideas remind me, in many ways, of a quip attributed to Will Rogers and, alternately, Mark Twain: "It isn't what we don't know that gets us into trouble, it's what we know to be true that ain't so." As it turns out, neither man actually said this, yet it seems plausible that either of them might have. Therein lies the trouble with many zombie ideas. No matter how many times we bury them, they crawl back out of the grave because theyseemso darn plausible, often because they contain an ounce of truth.
Reflect & Discuss
➛ Why do you think "zombie ideas" persist and continue to crop up in classroom practices? ➛ How can educators make sure that the strategies they use and the research they read are valid? ➛ What other misconceptions can you think of that hinder teacher practice?
References
Abrami, P. C., Bernard, R. M., Borokhovski, E., Waddington, D. I., Wade, C. A., & Persson, T. (2015). Strategies for teaching students to think critically: A meta-analysis.Review of Educational Research,85(2), 275–314.
Alfieri, L., Brooks, P. J., Aldrich, N. J., & Tenenbaum, H. R. (2011). Does discovery-based instruction enhance learning?Journal of Educational Psychology,103(1), 1.
Allington, R. L. (2013). What really matters when working with struggling readers.The Reading Teacher,66(7), 520–530.
Bangert-Drowns, R. L., & Bankert, E. (1990, April). Meta-analysis of effects of explicit instruction for critical thinking. Paper presented at the annual meeting of the American Educational Research Association, Boston, MA.
Beesley, A. D., & Apthorp, H. S. (2010).Classroom instruction that works: Research report(2nd ed.). Denver, CO: Mid-continent Research for Education and Learning.
Castles, A., Rastle, K., & Nation, K. (2018). Ending the reading wars: Reading acquisition from novice to expert.Psychological Science in the Public Interest,19(1), 5–51.
Cross, L. H., & Frary, R. B. (1999). Hodgepodge grading: Endorsed by students and teachers alike.Applied Measurement in Education,12, 53–72.
Dochy, F., Segers, M., Van den Bossche, P., & Gijbels, D. (2003). Effects of problem-based learning: A meta-analysis.Learning and Instruction,13(5), 533–568.
Dweck, C. (2000).Self-theories: Their role in motivation, personality and development. Lillington, NC: Taylor & Francis.
Foorman, B. R., Francis, D. J., Fletcher, J. M., Schatschneider, C., & Mehta, P. (1998). The role of instruction in learning to read: Preventing reading failure in at-risk children.Journal of Educational Psychology,90(1), 37.
Freeman, S., Eddy, S. L., McDonough, M., Smith, M. K., Okoroafor, N., Jordt, H., et al. (2014). Active learning increases student performance in science, engineering, and mathematics.Proceedings of the National Academy of Sciences,111(23), 8410–8415.
Gardner, H. E. (2011). Frames of mind: The theory of multiple intelligences. London, UK: Hachette.
Hanushek, E. A. (2011). Valuing teachers: How much is a good teacher worth?Education Next,11(3), 40–45.
Jepsen, C., & Rivkin, S. (2009). Class size reduction and student achievement the potential tradeoff between teacher quality and class size.Journal of Human Resources,44(1), 223–250.
Kirschner, P. A., Sweller, J., & Clark, R. E. (2006). Why minimal guidance during instruction does not work: An analysis of the failure of constructivist, discovery, problem-based, experiential, and inquiry-based teaching.Educational Psychologist,41(2), 75–86.
Korn, M. (2014, October 21). "Bosses seek ‘critical thinking,' but what is that?"The Wall Street Journal.
Moats, L. C. (1999).Teaching reading is rocket science: What expert teachers of reading should know and be able to do. New York: American Federation of Teachers.
Pashler, H., McDaniel, M., Rohrer, D., & Bjork, R. (2008). Learning styles: Concepts and evidence.Psychological Science in the Public Interest,9(3), 105–119.
Pashler, H., Rohrer, D., Cepeda, N. J., & Carpenter, S. K. (2007). Enhancing learning and retarding forgetting: Choices and consequences.Psychonomic Bulletin and Review,14, 187–193.
Ross, E. (2018).NCTQ databurst strengthening reading instruction through better preparation of elementary and special education teachers. Washington, D.C.: National Council on Teacher Quality.
Strauss, V. (2013, October 16). Howard Gardner: ‘Multiple intelligences' are not ‘learning styles.'The Washington Post.
Whitehurst, G. J., & Chingos, M. M. (2011).Class size: What research says and what it means for state policy. Washington, D.C.: Brookings Institution.
Zahner, D., & James, J. K. (2015).Predictive validity of a critical thinking assessment for post-college outcomes. New York: Council for Aid to Education.
PBL: 21세기 보건의료전문직 교육을 위한 전략적 학습시스템 설계(Kaohsiung J Med Sci, 2009)
PROBLEM-BASED LEARNING: A STRATEGIC LEARNING SYSTEM DESIGN FOR THE EDUCATION OF HEALTHCARE PROFESSIONALS IN THE 21ST CENTURY Matthew Choon-Eng Gwee
의학교육의 암흑시대 THE DARK AGES OF MEDICAL EDUCATION
19세기에 걸쳐, 그리고 20세기의 마지막 2~30년까지, 학부 의학 커리큘럼의 설계는 분야 간 교차 대화가 거의 없는, 고도의 학문 분야별discipline-specific이었다. 당시 교육 전달은 교사 주도(교사 중심)가 높았고, 강의 기반도 높았다. 이때는 교육/학습 과정에서 학생의 역할이 주로 교사가 전달하는 풍부한 콘텐츠 지식(또는 정보)의 수동적 수신자(Sage-in-center stage)의 역할이었던 교육 패러다임의 시대였다. Throughout the 19thcentury, and until about the last 2–3 decades of the 20thcentury, the design of the undergraduate medical curriculum was highly disciplinespecific with little cross talk across disciplines. The delivery of instruction was then highly teacher-directed (teacher-centered) and also highly lecture-based. This was the era of the instructional paradigm in which thestudent rolein the teaching/learning process was mainly that of apassive recipientof abundant content knowledge (or information) delivered by the teacher (“sage-in-center stage”).
그렇다면 우리는 전통적인 교육 환경에서 어떤 결과를 기대할 수 있을까? 다음과 같은 몇 가지 주요 제한 사항[1,2]이 이미 확인되었다. What then can we expect as the educational outcomes from such a traditional educational environment? Several major limitations [1,2] have already been identified, including:
• 학생이 풍부한 콘텐츠 지식을 습득함에 따라 발생하는 정보 과부하("…메모리에 부담을 주는 정보이지만 지성이 아닌 정보") [1].
• MRR(암기, 회상, 재귀)을 통한 학생에 의한 단순암기 학습 습관 개발—사실 컨텐츠 지식(정보)의 리콜에 대한 테스트에 의해 종종 개선되고 강화된다.
• 학생의 학습 성과에는 거의 주의를 기울이지 않고 투입만이 강의의 주요 초점이 된다.
• 학생이 무엇을, 어떻게, 언제 배워야 하는지 등 학습 요구에 대한 교사 의존도가 높다.
• 고차 인지(지적) 기술(중요한 사고, 추론 및 문제 해결) 및 학습 태도(대인관계, 커뮤니케이션, 팀워크 및 리더십) 영역에서 일반적인 "부드러운" 기술을 습득하는 등 보다 지속적인 교육 과정 및 생활 기술 습득에 관한 부적절한 관심
• Information overload resulting from student acquisition of abundant content knowledge (“…information that taxes the memory but not the intellect.”) [1].
• Development of rote-learning habits by students through MRR (memorize, recall, regurgitate)—often abetted and intensified by tests on recall of factual content knowledge (information).
• Teaching inputs as the primary focus of instruction with little attention to student learning outcomes.
• High dependency of students on teachers for their learning needs, including what, how, and when to learn.
• Inadequate attention to student acquisition of more enduring educational process and life skills, including: higher-order cognitive (intellectual) skills (critical thinking, reasoning, and problem-solving); and some generic “soft” skills in the attitudes (affective) domain of learning (interpersonal, communication, teamwork, and leadership).
맥마스터 대학 이니셔티브: 의료 교육의 새로운 추세 설정 THE MCMASTER UNIVERSITY INITIATIVE: SETTING A NEW TREND IN MEDICAL EDUCATION
1960년대 중반 예외적인 사건이 발생했다. 맥매스터 대학교는 의과대학원을 너무 다르게 낳아 교육계에 경악의 파문을 일으켰다. [3] “In the mid-1960s, an exceptional event occurred. McMaster University gave birth to a medical school so different it sent ripples of astonishment throughout the educational world”[3].
1960년대에 캐나다 정부는 온타리오주 해밀턴에 있는 맥마스터 대학에 의과대학 설립의 필요성을 확인했다. 처음에, 이 프로젝트를 담당하는 교육 기획자들은 의학 교육과정을 설계하고 전달하는 데 급진적인("신선하고 새로운") 접근 방식을 취할 것이라고 선언했다. "표준적인 빌딩 블록 구조에서 벗어나라"며 "많은 콘텐츠를 오래 보유하지 못하기 때문에 목구멍으로 내던지는 않을 것이다. 그들이 적극적으로 참여하도록 노력합시다…" [3]. In the 1960s, the Canadian government identified a need to establish a medical school in McMaster University in Hamilton, Ontario. At the outset, the educational planners responsible for this project declared that they intended to take a radical (“fresh and new”) approach to the design and delivery of their medical curriculum to“…get away from the standard building-block structure…from shoving a lot of content down their throats because they don’t retain it very long anyway. Let’s try and get them actively involved…”[3].
실제로 1969년 맥마스터 대학 의과대학은 새로운 의학 커리큘럼을 시행하여 새롭고 급진적이며 혁신적인 트렌드를 수립하고 의학 교육에 대한 대안적인 학습 경로를 제공했다. McMaster 커리큘럼은 (주로 교육 계획자들이 현재의 (전통적인) 의료 커리큘럼의 많은 단점이라고 인식하는 것을 극복하기 위한) 문제 기반 학습(PBL)으로 구현되었다. [1–3] 사실, 거의 30년이 지났는데도 Boud와 Feletti[4]는 여전히 PBL을 "…다년간 직업 교육을 위한 가장 중요한 혁신으로 생각하고 있다. 전문교육을 교육기관으로 옮긴 이후 가장 중요한 발전이라는 주장도 있다."
Indeed, in 1969, McMaster University Medical School implemented its new medical curriculum, which set a new, radical and innovative trend, and offered an alternative pathway for learning in medical education. The McMaster curriculum was implemented as problem-based learning (PBL), primarily aimed at overcoming what the educational planners perceived to be the many shortcomings of the then current (traditional) medical curriculum [1–3]. In fact, even after almost three decades, Boud and Feletti [4] still consider PBL as “…the most significant innovation in education for the professions for many years. Some argue that it is the most important development since the move of professional training into educational institutions.”
PBL이란 무엇인가? WHAT IS PBL?
PBL은 본질적으로 [강의 전달을 위한 몇 가지 보완적 교육 원칙을 결합한 전략적 학습 시스템 설계]이다. PBL은 특히 학습자 중심, 협업, 맥락, 통합, 자기 주도 및 성찰적 학습의 교육 결과를 개선하고 최적화하는 것을 목표로 한다. Barrows and Tamblyn [5]는 PBL에 대한 간단한 운영 정의를 제공했습니다. "…문제의 이해 또는 해결을 위해 노력하는 과정에서 비롯되는 학습입니다. 이 문제는 학습 과정에서 가장 먼저 마주치는 것이다."
PBL is, essentially, a strategic learning system design, which combines several complementary educational principles for the delivery of instruction. PBL is specifically aimed at enhancing and optimizing the educational outcomes of learner-centered, collaborative, contextual, integrated, self-directed, and reflective learning. Barrows and Tamblyn [5] provided a simple operational definition of PBL as “…the learning that results from the process of working toward the understanding or resolution of a problem. The problem is encountered first in the learning process.”
PBL: 주요 기능과 학습 전략은 무엇입니까? PBL: WHAT ARE ITS KEY FEATURES AND ITS LEARNING STRATEGY?
PBL의 중요하고 기본적인 원칙은 그것이 problem-first learning이라는 것이다. 즉, 학생들이 이 주제에 대한 공식적인 학습을 받기도 전에 의료 사례를 해결하려고 시도한다는 것이다. 일반적으로 실제 의료 사례(문제)는 학생들의 학습 과정을 촉발한다. 즉, 문제는 문제 사례와 관련된 다양한 문제를 이해하거나 해결하는 데 필요한 관련 콘텐츠 지식을 학습하는 출발점 역할을 한다. 따라서 문제 해결에서 규칙적인 실천regular practice은 PBL 프로세스의 또 다른 주요 특징이다 [6,7]. 또한 사례 작성자는 학문에 걸쳐 학습을 [맥락화하고 통합하는] PBL 문제 사례를 구성하는 경우가 많으므로 문제 사례에는 대개 임상 과학뿐만 아니라 인구, 행동 및 생명 과학과 관련된 문제가 포함된다. An important and basic tenet of PBL is that it isproblem-first learning, i.e. students attempt to problem-solve a medical case even before receiving any formal learning on the subject matter. Usually, a real-life medical case (a problem) triggers the learning processfor students, i.e. the problem serves as the starting point for learning relevant content knowledge required to understand or resolve various issues related to the problem case. Thus, regular practice in problem-solving is another key feature of the PBL process [6,7]. Moreover, case-writers often construct PBL problem cases that contextualize and integratelearning across disciplines and, therefore, a problem case usually includes issues relating topopulation,behavioral and thelife sciences, as well as the clinical sciences. 전형적으로, 집중적인 소그룹 튜토리얼은 "그룹을 위한 지적 및 대인관계 프로세스를 촉진하는" 역할을 하는 튜터(또는 촉진자) 교사와 함께 PBL 과정의 instruction을 전달하기 위해 사용된다. [8] PBL 튜토리얼은 보통 약 2시간의 세션으로 구성되며, 각 세션은 각 문제 사례에 할애되며, 정보 검색 및 수집을 위해 약 4-5일의 자체 학습 기간이 주어진다. 자율학습 기간은 학생들이 자기주도학습[6,7]을 수행할 수 있는 기회를 만들어 평생 지속적 자기교육을 위한 확고한 기반을 마련한다. Typically,intensive small-group tutorialsare used for the delivery of instruction in the PBL process with the teacher serving as the tutor (orfacilitator) whose role it is“to expedite the intellectual and interpersonal process for the group”[8]. The PBL tutorials usually consist of two sessions of about 2 hours, each devoted to each problem case, with an intervening self-study period of about 4–5 days for information searching and gathering. The self-study period creates opportunities for students to undertake self-directed learning[6,7] and, therefore, laying a firm foundation for lifelong continuing self-education.
각 튜토리얼 세션에는 "구체적인 프로세스, 목표 및 결과"가 있습니다 [6]. 첫 번째 튜토리얼(자습 세션 1)은 주로 다음과 같은 브레인스토밍으로 구성됩니다. Each tutorial session has its“specific process, goals and outcomes”[6]. The first tutorial (tutorial session 1) consists mainly of brainstorming as follows:
• 그룹 구성원의 [문제 사례 제시]
• 문제 사례의 사실 검토를 통한 [문제 분석]
• 사례의 다양한 측면을 설명하기 위한 아이디어를 개발하기 위한 [가설 생성]
• 생성된 가설을 반박하거나 확인하기 위해 학습해야 하는 콘텐츠 지식의 식별을 안내하는 [학습 문제의 공식화(학습 목표)]
• 사례와 관련된 정보를 검색하고 수집할 수 있는 [적절한 학습 리소스(예: 교과서, 인터넷 또는 전문 지식)의 식별]
• 그룹 구성원에게 공식화된 학습 문제와 관련된 정보를 검색하는 [과제 할당]
• Presentation of the problem-case by a member of the group
• Problem analysis through reviewing the facts of the problem case
• Hypothesis generation to develop ideas to explain various aspects of the case
• Formulation of learning issues (learning objectives) to guide identification of the content knowledge that needs to be learned in order to either refute or confirm any hypothesis generated and, thus, to have a better understanding of the case
• Identifying the appropriate learning resources (e.g. textbooks, internet, or professional expertise) from which to search for and gather information relevant to the case
• Assigning tasks to group members to search for information related to the learning issues formulated
따라서 튜토리얼 세션 1은 주로 문제 분석을 통해 사례의 사실을 확인하고, 사례에 대한 가설(아이디어)을 생성하고, 사례를 설명하거나 해결하는 데 필요한 관련 학습을 안내하는 학습 문제를 공식화하고, 정보 검색 및 수집을 위한 학습 자원을 식별하는 것을 목표로 한다. Tutorial session 1 is, therefore, primarily aimed at identifying thefacts of the case through problem analysis, generating hypotheses (ideas) about the case, formulating learning issues to guide relevant learning that is required to explain or resolve the case, and identifying the learning resources for information search and gathering.
두 번째 튜토리얼(세션 2)에서 학생들은 자율 학습 기간이 끝난 후 각 그룹에 다시 모여 다음을 수행합니다. In the second tutorial (session 2), the students reconvene in their respective groups after the self-study period to perform the following:
• 그룹 구성원이 획득한 새로운 지식 및 정보(새로운 증거)의 [공유 및 평가]
• 이용 가능한 새로운 증거를 고려하여 [문제를 재분석]
• 생성된 예비 가설의 [재구성 및 개선]
• 생성된 정제된 가설을 [통합하고 적용하여] 문제 사례와 관련된 주요 문제 설명
• [문제 해결]
•Share and evaluatethe new knowledge and information (new evidence) acquired by group members
•Reanalyzethe problem in the light of new evidence available
•Reformulate and refinethe preliminary hypotheses generated
•Integrate and applythe refined hypotheses generated to explain the key issues related to the problem case
•Resolvethe problem case
따라서 튜토리얼 세션 2의 주된 목적은 문제 사례를 설명 및 해결하기 위해 얻은 새로운 증거를 재분석, 평가, 통합 및 적용하는 것이다.
The primary purpose of tutorial session 2 is, therefore, to reanalyze, evaluate, integrate and then apply the new evidence obtained to explain and/or to resolve the problem case.
PBL 자습서 프로세스의 역학 DYNAMICS OF THE PBL TUTORIAL PROCESS
"…목적이 비판적 사고… 또는 문제 해결… 그리고 발견을 위한 민감성, 협력 및 열정과 같은 자질의 개발일 때, 토론 페다고는 상당한 이점을 제공합니다." [9]. “…when the objective is critical thinking…, or problemsolving…, and the development of qualities such as sensitivity, cooperation and zest for discovery, discussion pedagogy offers substantial advantages”[9].
PBL 튜토리얼 프로세스는 토론 페다고지를 이용한 상호작용적 교수 및 학습 원칙을 적용한다[9]. 소규모 그룹 학습 설계는 "공동 목표, 상호 보상, 공유 리소스 및 그룹 구성원 간의 상호 보완적 역할"로 특징지어지는 학생 중심적이고 협력적인 학습 기회를 창출합니다 [10].
The PBL tutorial process applies the principles ofinteractive teaching and learningusingdiscussion pedagogy[9]. Thesmall group learningdesign creates opportunities forstudent-centeredandcollaborative learningcharacterized by“…joint goals, mutual rewards, shared resources, and complementary roles among members of a group” [10].
이 과정은 기본적으로 학생들끼리 건설적인 대화에 참여하고 지도교사에 의해 촉진되는 학생들로 구성되는데, 주로 학생들이 아이디어와 이슈를 비판적으로 분석하고 토론하고 명확히 한 다음 상호 합의에 도달하여 문제를 설명하거나 해결하는 브레인스토밍을 통해 이루어진다. 따라서, PBL 튜토리얼 프로세스의 역학은 특히 학생들이 서로로부터 그리고 서로로부터 그리고 함께, 즉 "All teach All learn" 모드에서 가르치고 배우는 데 적극적으로 참여하는 것을 목표로 한다. The process essentially consists of students engaged inconstructive conversationamong themselves and facilitated by their tutor, mainly throughbrainstormingin which students critically analyze, debate and clarify ideas and issues, and then mutually reach consensus to explain or resolve a problem. The dynamics of the PBL tutorial process is, therefore, specifically aimed at actively involving students in teaching and learning from and with one another, i.e. inpeer teaching and learningin an“All teach All learn”mode.
따라서, PBL 튜토리얼 과정에서는, 학생들은 사회적 상호 작용을 통해 학습해야 하는 지식의 의미와 이해를 "이미 조직된 형태로 지식을 전달하는 것이 아니라…." [11] 동료 교육 및 학습은 그룹의 구성원들 사이에서 고차 인지 프로세스를 강화하기 위한 강력한 교육학적 전략으로 인정받고 있다. 이는 브룩필드[12]가 "…이러한 노력을 하려는 다른 그룹들에 의해 제공되는 [동료 지원peer support]은 비판적 사고 노력에 대한 강력한 심리적 밸러스트"라고 분명히 강조해 왔다. Thus, in the PBL tutorial process, students learn throughsocial interactionin which they are required toco-constructtheir own meaning and understanding of knowledge that needs to be learned,“…rather than having knowledge delivered to them in already organized form”[11]. Peer teaching and learning is recognized as a powerful pedagogical strategy to enhancehigher-order cognitive processesamong members of a group. This has been clearly emphasized by Brookfield [12] in his statement“…the peer support provided by a group of others also trying to do this is a powerful psychological ballast to critical thinking efforts.”
더욱이, 아베크롬비[13]에 따르면, 그러한 논의 교육학은 임상적 판단을 촉진하고, 그는 다음과 같이 분명하게 표현했다. "그룹별로 토론하는 것은 실제 사물에 대한 테스트가 [보는 것seeing]에 어떤 역할을 하는지 생각하는 데 도움이 됩니다. 전통적인 학생-교사 관계에서처럼 의심받지 않는 권위의 진술과 대조해 우리 자신의 실수를 보는 대신, 우리는 동일한 자극 패턴에 대한 다양한 해석을 보게 되며, 각각의 유용성은 그 자체로 시험되어야 한다고 말했다.
Furthermore, according to Abercrombie [13], such discussion pedagogy promotes clinical judgment, and he has clearly expressed that“Discussion in a group does for thinking what testing on real objects does for seeing…Instead of seeing our own mistakes by contrast with the statements of an unquestioned authority, as in the traditional pupil-teacher relationship, we see a variety of interpretations of the same stimulus pattern, and the usefulness of each must be tested in its own right.”
피드백 제공 및 수신 Providing and receiving feedback
PBL에서 중요한 관행은 개인교사와 학생이 각 개인교습 세션이 [끝날 무렵에 약 10-15분을 할애하여 서로 피드백]을 제공하고 받는 것이다. 이것은 자기 자신의 행동이 다른 사람과 그룹 기능에 미치는 영향을 포함하여 자습서에서 과제의 그룹 성과와 개인 성과를 향상 또는 억제하는 요소에 초점을 맞춘다. 그러한 정기적인 피드백 세션은 학생들의 성찰적 학습의 발전을 촉진하고, 결과적으로 자기 주도적 교정 조치(즉, 메타 인식)로 이어지는 더 큰 자아 인식의 개발에 도움이 될 것으로 기대된다. 따라서, 학생들은 주어진 학습 영역에 대한 자신의 강점과 한계에 대한 개인적인 통찰력을 개발할 수 있다. Halpern[14]과 Maudsley and Strivens[15]에 따르면, 그러한 자기 인식(메타 인식)은 비판적인 사상가들의 중요한 속성이다.
An important practice in PBL is for tutors and students to devote about 10–15 minutes near the end of each tutorial session to provide and receive feedback from each other. This focusing on what factors enhanced or inhibited group achievements of tasks and individual performance in tutorials, including the perceived impact of one’s own behavior on others and on group functioning. It is expected that such regular feedback sessions help nurture the development of reflective learning in students and, consequently, the development of greater self-awareness leading to selfinitiated remedial action (i.e. metacognition). Thus, students can develop personal insights of their strengths and limitations with respect to a given area of learning. According to Halpern [14] and Maudsley and Strivens [15], such self-awareness (metacognition) is an important attribute of critical thinkers.
PBL: 그것의 관행을 지지하는 어떤 이론이 있나요? PBL: ARE THERE ANY THEORIES SUPPORTING ITS PRACTICE?
맥락 학습 이론은 종종 Boud와 Feletti에 의해 강조되어 온 PBL의 주요 이론적 토대로서 주장되어 왔다. [4]: "문제 기반 학습은 학생들이 [적극적으로 참여]하고 지식을 [사용해야 할 맥락]에서 배울 때 가장 효과적이라는 믿음에 기초한다." 그러나 알바니아[10]에 따르면, 다음과 같은 PBL 전략에 대한 강력한 지원을 제공하는 다른 이론적 토대가 있다. TheContextual Learning Theory has often been advocated as the main theoretical underpinning for PBL, which has been highlighted by Boud and Feletti [4]:“problem-based learning is grounded in the belief thatlearning is most effectivewhen students are actively involved andlearn inthecontextin which knowledge is to be used.”However, according to Albanese [10], there are also other theoretical underpinnings, which provide stronger support for the PBL strategy, including:
• 정보 처리 이론: 사전 지식 활성화, 인코딩 특정성(즉, 컨텍스트에서의 학습) 및 지식 상세화(즉, 활발한 토론을 위한 기회 창출)와 관련
• 협력적 학습 이론: 협력적 소그룹 학습 프로세스와 관련
• 자기 결정 이론: 학습의 외부 및 내부 동기와 관련
• 통제 이론 (인간의 행동) : 소속감, 사랑, 힘, 자유, 재미를 포함한 생존에 대한 기본적인 욕구를 충족시킴으로써 인간의 행동에 영향을 미치는 것과 관련된다.
• Information processing theory: relating to prior knowledge activation, encoding specificity (i.e. learning in context), and knowledge elaboration (i.e. creating opportunities for active discussion)
• Cooperative learning theory: relating to the process of collaborative small group learning
• Self-determination theory: relating to external and internal motivators of learning
• Control theory (of human behavior): relating to influencing human behavior (including the desire to learn) through satisfying one’s basic needs for survival, including belonging, love, power, freedom, and fun.
PBL: 몇 가지 문제, 과제, 기회 PBL: SOME ISSUES, CHALLENGES, OPPORTUNITIES
의료 전문가의 교육을 책임지고 학생들을 위한 학습 방법으로 PBL을 구현하는 것을 고려하고 있는 모든 기관은 교육학적 전략으로서 PBL의 강점과 한계를 명확히 이해해야 한다. 이 섹션에서는 PBL의 실행과 관련된 문제, 과제 및 기회에 대한 몇 가지 통찰력을 제공합니다. 이러한 것들이 교육과정 기획자와 개발자들의 의사 결정에 도움이 되기를 바란다.
Any institution responsible for the education of healthcare professionals and contemplating implementing PBL as a way of learning for their students must have a clear understanding of the strengths and limitations of PBL as a pedagogical strategy. This section will provide some insights on the issues, challenges, and opportunities associated with the practice of PBL. These will hopefully guide curriculum planners and developers in their decision-making.
커리큘럼 선택사항 Curriculum options
PBL은 20세기의 고도로 교사 지향적이고 강의 기반이며 분야별 커리큘럼의 경우와 마찬가지로 의료 전문가 교육을 위한 전체(또는 거의 전체) 커리큘럼이 PBL을 통해 설계되고 전달되는 전체(완전 또는 혈통) 커리큘럼으로 구현될 수 있다. 암스트롱은 "모든 강의를 토론 그룹이나 튜토리얼로 대체하는 것은 단지 한 쪽 편파적인 시스템을 다른 편파적인 시스템으로 대체하는 것"이라고 경고했기 때문에 이미 이 문제에 관심을 끌었다. [16]. 학생들이 다양한 학습 스타일을 가지고 있으며, PBL을 통해 학습하는 한 가지 방법만을 제공하는 것이 일부 학생들에게 불리할 수 있다는 것도 잘 알려져 있다. 여러 기관은 다른 학습 전략(예: 강의, 실습 수업)과 결합된 하이브리드 커리큘럼으로 PBL을 성공적으로 구현했다. 암스트롱은 사실 "하이브리드들은 보통 힘과 적응력을 보여준다"고 주장해왔다. [16].
PBL can be implemented as a full (complete or pedigree) curriculum in which the entire (or almost entire) curriculum for the education of healthcare professionals is designed and delivered through PBL, just as in the case of the highly teacher-directed, lecture-based and discipline-specific curriculum of the 20th century. Armstrong has already drawn attention to this issue, as she cautioned “replacing all lectures with discussion groups or tutorials would merely substitute one lop-sided system with another” [16]. It is also well recognized that students have a diversity of learning styles and offering only one way of learning through PBL may disadvantage some students. Several institutions have successfully implemented PBL as a hybrid curriculum combined with other learning strategies (e.g. lectures, practical classes). Armstrong has, in fact, made the point that “hybrids usually display strength and adaptability” [16].
PBL 구현 Implementation of PBL
특히 학생 교육에 있어서 20세기의 전통적인 교육과정에 이미 깊이 자리 잡고 빠져 있는 기관들에서, PBL의 실행에 있어서 신중하고 전략적인 계획이 요구된다. 다음 사항에 주의를 기울일 필요가 있다 Careful and strategic planning is required in the implementation of PBL, especially in institutions that have already been deeply entrenched and entrapped in a traditional 20thcentury curriculum in the education of students. Paying attention to the following will pay dividends:
• PBL 커리큘럼을 설계하기 전에 PBL의 실무와 철학을 포함한 기본 교칙을 명확히 이해한다.
• PBL 구현이 어려운 작업이 될 수 있으므로 계획 및 개발에 대한 깊은 약속 보장
• 기초과학 위원 및 임상의원을 포함한 다양한 분야의 위원으로 구성된 PBL 위원회 구성
• 실행 전에 학생과 교사가 중요한 사고방식을 바꿀 수 있도록 준비합니다. 이는 부담스러운 작업일 수 있습니다. 무어는 이미 하버드 의과대학의 경험에서 "계획 과정 중에 상당한 저항, 회의, 노골적인 적대감이 나타났다"고 경고했다. [17]. 따라서, 학생과 교사가 PBL 과정에서 새로운 역할을 할 수 있도록 준비하기 위해 특정한 훈련과 교수진 개발 프로그램이 마련되어야 한다.
• Have a clear understanding of the basic tenets of PBL, including its practice and philosophy, before attempting to design a PBL curriculum
• Ensure a deep commitment to planning and development as implementing PBL can be a daunting task
• Form a PBL committee consisting of members from various disciplines, including members from the basic sciences as well as clinicians
• Prepare students and teachers for a significant mindset change prior to implementation; this can be an onerous task. Moore has already cautioned that, in the experience of Harvard Medical School, “considerable resistance, skepticism and outright hostility emerged during the planning process” [17]. Thus, specific training and faculty development programs must be organized to prepare students and teachers for their new roles in the PBL process.
PBL 튜터 The PBL tutor
"문제 기반 학습(PBL) 튜터는 PBL에서 가장 중요한 요소 중 하나입니다." [18]. “The problem-based learning (PBL) tutor is one of the most important elements in PBL” [18].
PBL 튜토리얼의 성패는 종종 PBL 튜터의 헌신과 튜터링 기술에 의해 결정된다. 뇌파를 움직이게 하고, 따라서 토론의 맥박과 톤을 조절하는 것은 튜터이다. 실제로 지도교사의 열정은 학습 과정의 촉진자 역할에서 지도교사의 열정을 반영하는 경우가 많기 때문에, 지도교사는 대개 '거울 효과'를 만들어낸다[8]. PBL 강사의 역할과 관련된 몇 가지 중요한 문제가 있는데, 여기에는 강사가 전문가가 되어야 하는지 아니면 다른 사람이 되어야 하는지 등이 포함된다. 따라서 PBL을 구현하고자 하는 기관은 "교사의 선택과 훈련… PBL의 중요한 구성요소"에 특히 주의를 기울여야 한다[18,19]. 몇몇 학자들은 PBL 강사의 역할과 선택에 대한 주장을 다루었으며, 이슈에 대한 많은 통찰력을 제공했다 [18–22].
The success or failure of PBL tutorials is often determined by the commitment and tutoring skills of the PBL tutor. It is the tutor who sets the brainwaves in motion and, therefore, the pulse and tone of discussions. In fact, the tutor usually creates a “mirror effect”, because the enthusiasm of students in tutorials often reflects the enthusiasm of the tutor in his/ her role as the facilitator of the learning process [8]. There are several important issues relating to the role of PBL tutors, including whether tutors should be experts or otherwise. Institutions intending to implement PBL must therefore pay particular attention to the “selection and training of tutors… a critical component of PBL.” [18,19]. Several scholars have addressed the arguments over the role and choice of PBL tutors and have provided much insight on the issues [18–22].
인력지원 등 물류 Logistics, including manpower support
PBL은 광범위한 물류 지원이 필요한 고도로 자원 집약적인 교육 전략임을 인식하는 것이 중요하다. 여기에는
잘 훈련되고 헌신적인 교사의 가용성 및
숙련되고 헌신적인 사례 작성자의 지원
신체적, 기술적 지원의 관점에서 볼 때론
적절한 튜토리얼 강의실의 가용성을 고려해야 합니다(특히 학생 수가 많을 경우).
적절한 기술 자원(예: 인터넷 시설)의 가용성뿐만 아니라.
It is important to appreciate that PBL is a highly resource-intensive educational strategy requiring a large range of logistical support. This includes:
the availability of well-trained and committed tutors and the support of skilful and dedicated case writers; from the viewpoint of physical and technical support, one needs to consider the availability of suitable tutorial rooms (particularly when student numbers are large), as well as the availability of appropriate technological resources (e.g. internet facilities).
지속적인 PBL 프로그램 유지 Sustaining ongoing PBL programs
기관에서 PBL의 성공적인 구현을 보장하는 것은 중요할 뿐만 아니라 지속적인 성공적인 프로그램이 유지될 수 있도록 보장해야 한다. 따라서, 학생과 지도 교사로부터 정기적인 피드백을 얻는 것은 새로 발생하는 문제를 조기에 식별하고 필요하다고 판단될 때 취해야 할 교정 조치를 위해 중요하다. PBL의 관행을 지속시키기 위해 새로운 학생 및 교사를 위한 지속적인 훈련도 포함되어야 한다. Not only is it important to ensure the successful implementation of PBL in an institution, but one also has to ensure that an ongoing successful program can be sustained. Thus, obtaining regular feedback from students and their tutors is critical to identify emerging problems early, and for remedial action to be taken when deemed necessary. Ongoing training for new cohorts of students and teachers should also be included to help sustain the practice of PBL.
문화와 학문 Culture and learning
PBL의 기본 교리는 PBL 튜터리얼에서 공개적 토론 스타일을 필요로 하지만, 이는 좀 더 내성적인 아시아 통신 스타일과 상충될 수 있다. 비록 아시아적인 의사소통 방식이 장벽이 될 수 있고, 따라서 PBL에서의 학습에 장애가 될 수 있지만, 교사와 학생들이 PBL 과정의 역학을 알고 명확하게 이해한다면, 그것은 PBL에서의 학생 학습을 극복할 수 있고, 결과적으로 강화시킬 수 있는 문제이다. 또 다른 관련 이슈는 언어의 문제이다. 아시아의 많은 고등 교육 기관들은 비록 많은 학생들이 영어가 모국어도 아니기 때문에 영어에 능숙하지 않지만 PBL 자습서에서 영어를 사용하는 것을 선호하고 기대하고 있다. Gwee는 이미 이전 출판물에서 이러한 문제를 다루었습니다 [23]. A basic tenet of PBL is the need for an open discussion style in PBL tutorials, but this may conflict with the more reserved Asian communication style. Although the Asian communication style can be a barrier and, therefore, a hindrance to learning in PBL, it is a problem that can be overcome and, consequently, enhance student learning in PBL, if teachers and students are informed about and clearly understand the dynamics of the PBL process. Another related issue is that of language. Many higher education institutions in Asia now prefer and expect their students to use the English language in PBL tutorials, although many students lack proficiency in English, as it is neither their spoken nor national language. Gwee has already addressed these issues in a previous publication [23].
PBL: 이름은 같지만 게임은 다릅니다. PBL: same name but different game
"…PBL은 매우 다른 방식으로 해석됩니다. 현재 PBL의 실행은 많은 다른 전략으로 특징지어진다. 한 PBL 기관의 연구 결과가 해당되지 않거나 문제 기반 접근방식을 채택한 다른 기관과 관련이 없을 수 있기 때문에 이러한 다양성은 평가와 연구에 중요한 영향을 미친다." [24]. “…PBL is interpreted in widely different ways. PBL in action is currently characterized by many different strategies. This variety has important consequences for evaluation and research since findings from one PBL institution may not be applicable or relevant to another also employing the problem-based approach” [24].
PBL은 이제 전 세계로 광범위하게 퍼져나갔고, 의학 및 다른 보건 과학 커리큘럼의 원래 한계를 넘어 다른 많은 분야로 퍼져나갔다. [25,26] 아시아의 의료 교육자들은 1990년대 중반부터 PBL을 적극적으로 채택하고 구현하기 시작했습니다 [23]. 21세기 학생들을 위한 적극적인 학습 전략으로 수많은 학문 분야와 기관에 의한 PBL의 채택은 실제로 개인 요건에 맞게 적응하도록 이끌었다. 결과적으로, 현재 서로뿐만 아니라 원래의 맥마스터 모델과는 상당히 다른 많은 다른 버전의 PBL이 존재한다. 따라서 서로 다른 기관의 PBL 실무자들이 보고한 결과 연구의 결과를 비교하면 심각한 어려움이 발생할 수 있으며 그러한 연구의 결과 해석에 많은 혼란을 초래할 수 있다[24,27,28]. PBL has now spread widely across the globe, and beyond the original confines of medicine and other health sciences curricula into many other disciplines [25,26]. Asian healthcare educators started adopting and implementing PBL with much vigor in the mid- 1990s [23]. The adoption of PBL, as an active learning strategy for students in the 21st century, by so many disciplines and institutions, led to its adaptation to suit individual requirements in practice. As a consequence, there are now many different versions of PBL which may differ quite considerably from the original McMaster model, as well as from each other. Comparisons of the results of outcome studies reported by PBL practitioners in different institutions can therefore pose serious difficulties and cause much confusion in the interpretation of the results from such studies [24,27,28].
PBL: 평가의 필요성 PBL: the need for assessment
"[설계할 필요가 있다] …PBL 원칙을 존중하고 신뢰할 수 있고 유효하며 [학생 학습에] 부정적인 조향 효과가 없는 평가 계획" [29]. “[There is a need to design] …an assessment plan that respects PBL principles, is reliable and valid, and has no negative steering effect [on student learning]” [29].
모든 교육자는 평가가 학생 학습에 미치는 영향과 "평가가 학습을 주도한다"는 일반적인 격언을 알고 있습니다. 또한 "학생들은 여러분이 기대하는 것을 존중하지 않고, 여러분이 조사하는 것을 존중한다"고 강조되어 왔다. 이러한 맥락에서 평가는 PBL 커리큘럼의 진행 중인 부분ongoing part이 되어야 한다. All educators are aware of the steering effect of assessment on student learning and the common adage that“assessment drives learning”. It has also been emphasized that“students don’t respect what you expect, they respect what you inspect”! In this context then, it is imperative to ensure that assessment must also be an ongoing part of any PBL curriculum.
첫째, 고차 사고 능력과 문제 해결 능력의 시험을 통합한 임상, 시나리오 기반 다중 선택 질문 유형이 목적에 적합한 학생에 의한 지식 습득(즉, 학습의 인지 영역 평가)이 필요하다. "…우리는 분명히 객관식 문제를 중요하게 생각합니다." [30,31]. 문제 해결 능력은 문제 해결 과정에서 검색을 용이하게 하기 위해 사실 지식을 구성, 맥락화 및 개념 프레임워크로 구성하는 방법에 따라 좌우된다는 점에서 적절하고 관련 있는 지식 기반을 갖는데 크게 좌우된다는 점에 유의해야 한다[30].
First, there is a need to assess knowledge acquisition by students (i.e. assessing the cognitive domain of learning) for which a clinical, scenario-based, multiple choice question type, which incorporates testing of higher-order thinking skillsand problem-solving skills would serve the purpose:“…we are unequivocally on the side of multiple-choice questions”[30,31]. It should be noted that the problem-solving ability is highly dependent on having an adequate and relevant knowledge base, in the sense that it is dependent on how factual knowledge is constructed, contextualized and organized into a conceptual framework to facilitate retrieval in the problem-solving process [30].
PBL의 평가는 단순한 인지 학습 테스트 이상의 것이어야 한다. 또한 PBL 커리큘럼의 부가 가치 결과인 정서적(태도) 영역에서 학습 결과의 평가를 포함해야 한다. 이러한 평가는 가능한 한 정확하게 주어진 상황이나 상황 또는 실제 작업 환경에서 관찰된 특정 행동과 태도에 대한 문서화를 포함해야 한다. 튜토리얼 종료 피드백 세션(셀프-피어-튜터)은 유용하고 비공식적인(형식적인) 평가 절차의 역할을 하며, 대인관계, 커뮤니케이션 및 팀워크(그룹) 기술과 관련된 특정 항목에 대한 더 공식적인(보완적인) 자아, 동료 및/또는 튜터 등급을 필요로 한다. 학습의 정서적 영역에서 그러한 평가의 주요한 한계는 본질적으로 심리학적 신뢰성과 타당성이 결여될 수 있다는 것이다. 따라서 엄격한 평가 전략의 설계 및 선택과 해당 평가에서 관련 시험 항목의 공식화에 각별한 주의를 기울여야 한다 [32].
Assessment in PBL must go beyond just testing cognitive learning—it must also include the assessment of learning outcomes in the affective (attitudes) domain, a value-added outcome of the PBL curriculum. Such assessment will need to involve, as precisely as feasible, documentation of specified observed behaviors and attitudes in a given situation or context, or in the actual work environment. The end-of-tutorial feedback session (self–peers–tutor) serves as a useful and informal (formative) assessment procedure, often with the need for more formal (summative) self, peer and/or tutor ratings on specific items relating to, for example, interpersonal, communication and team-work (group) skills. A major limitation of such assessment in the affective domain of learning is that they may inherently lack psychometric reliability and validity. Special attention must therefore be paid to the design and selection of a rigorous assessment strategy together with the formulation of relevant test items in such assessment [32].
투자수익률 Returns on investment
특히 PBL이 고도로 자원 집약적인 교육 전략이라는 관점에서 PBL로부터의 투자 수익은 상당히 논쟁적인 문제가 될 수 있다. (문헌에서 입증한) 실제 교육 결과와 (설계 원칙에서 의도한 대로), 이론적 고려에 기초한 기대 결과)를 비교함으로써 이 문제를 검토하는 것이 최선일 수 있다. PBL은 학습자 중심, 협업, 맥락, 통합, 자기 주도 및 성찰적 학습을 개선하고 최적화하는 것을 목표로 하기 때문에 많은 교육자들은 PBL의 교육 결과에 큰 기대를 걸고 있다. 따라서 PBL의 교육 성과는 단순한 지식 획득을 넘어설 것으로 예상된다. PBL은 대인관계, 커뮤니케이션, 팀워크, 리더십 등 정서적인 학습 영역의 '부드러운' 기술뿐만 아니라 비판적 사고와 추론의 고차원의 인지 능력, 문제 해결 능력을 포함한 보다 지속적인 교육 과정과 삶의 기술을 학생들에게 제공할 것으로 기대할 수 있다.
The returns on investment from PBL can be quite a contentious issue, especially in view of PBL being a highly resource-intensive educational strategy to implement. Perhaps it is best to review this issue through a comparison of the actual educational outcomes(as substantiated in the literature) with the expected educational outcomes (as intended in the design principles, i.e. the expected outcomes based on theoretical considerations). Many educators have great expectationsof the educational outcomes from PBL because it is aimed at enhancing and optimizing learner-centered, collaborative, contextual, integrated, self-directed, and reflective learning. Educational outcomes from PBL are therefore expected to go beyond just knowledge acquisition. PBL can be expected to equip students with a more enduring educational process and life skills, including the higher-order cognitive skills of critical thinking and reasoning, and problem-solving, as well as “soft” skills in the affective domain of learning such as interpersonal, communication, team-work, and leadership.
그러나, 문헌의 검토는 PBL의 실제(문학에서 보고된 바와 같이) 교육 결과와 예상(사용된 교육 전략에 근거) 교육 결과 사이에 불일치가 있음을 강력히 시사한다. 실제로 과거의 여러 연구는 학생들이 고차적 사고를 위해 시험받는 경우에도, 전통적인 접근법의 학생과 PBL 커리큘럼의 학생 사이에 일반적으로 [지식 습득 및 임상 기술 차이가 거의 없거나 전혀 없다]고 결론지었다 [33]. 그의 사설에서 노먼은 이 문제에 대한 비판적이고 훌륭한 개요를 제공했는데, 특히 "…개념이 어떻게 학습되는가"와 관련하여 "……PBL을 넘어설 수 있는 것"에 관심을 끌었다. 그럼에도 불구하고, Norman은 "해결책은 전통적인 학문적 교육과정으로의 복귀를 옹호하는 것이 아니다"라고 분명히 말했다. [34]. 그러나, 알바니아어 진술에서 증명된 바와 같이, 학생 대인관계 기술의 습득과 PBL 커리큘럼을 통한 학습의 즐거움은 잘 문서화되어 있다. "PBL에 의해 지식 습득과 임상 능력이 향상되지 않더라도 PBL과 함께 꾸준히 발굴해 온 학생과 교직원의 업무 환경 강화가 가치 있는 목표이다."
However, a review of the literature strongly suggests that there is a mismatch between the actual (as reported in literature) and expected (based on educational strategies used) educational outcomes from PBL. In fact, several studies in the past have concluded that there is generally little or no difference in knowledge acquisition and clinical skills between students from traditional approaches and those from PBL curricula, even when students are tested for higher-order thinking [33]. In his editorial, Norman provided a critical and excellent overview on this issue [34], in particular drawing attention to “…what may lie beyond PBL” with respect to “…how concepts are learned”. Nevertheless, Norman clearly stated that “the solution is not advocacy of return to a traditional, discipline oriented curriculum” [34]. However, student acquisition of interpersonal skills and the joy of learning from a PBL curriculum are well documented, as attested to in the statement of Albanese: “Even if knowledge acquisition and clinical skills are not improved by PBL, the enhanced work environment for students and faculty that has been consistently found with PBL is a worthwhile goal” [35].
주목할 점은 고씨 등이 "…의대 문제 기반 학습이 졸업 후 의사 역량에 미치는 영향에 대한 증거"[36]를 검색한 최근의 체계적인 검토가 이루어졌다는 점이다. 저자들은 "…의대 시절 PBL은 주로 사회적, 인지적 차원에서 졸업 후 의사 역량에 긍정적인 영향을 미친다"고 결론지었다.
노먼은 고 씨와 그의 동료들의 연구에 대한 논평에서 "우리는 수년간 문제 기반 학습의 상대적 장점과 약점에 대한 논쟁을 견뎌왔다. 이제 이 방법이 중요하다는 좋은 증거가 있습니다. 다음 단계는 이 방법이 왜 효과가 있는지 결정하는 것입니다." [37]
마찬가지로, Wood는 "리뷰는 (대부분의 교육자들이 기존의 학습과 비교하여) 문제 기반 학습이 학부 의학적 교육의 일부 심리학적 결과에 일부 유익한 영향을 미친다는 (수백 개의 덜 엄격한 보고서에 기초하여) 믿음을 확인시켜 준다"고 표현했다. [38]
It is noteworthy that a more recent systematic review was undertaken by Koh et al in which they searched for “…evidence of the effects that problem-based learning in medical school had on physician competencies after graduation” [36]. The authors concluded that PBL “…during medical school has positive effects on physician competency after graduation, mainly in social and cognitive dimensions.”
In his commentary on the work of Koh and his colleagues, Norman expressed that, “For years we have endured debate about the relative merits and weaknesses of problem-based learning. Now there is good evidence that the method delivers on some very important issues. The next step is to determine why the method works.” [37].
Similarly, Wood expressed “The review confirms what most educators have come to believe on the basis of hundreds of less rigorous reports that, compared with traditional learning, problem-based learning has some beneficial effects on some psychosocial outcomes of undergraduate medical education” [38].
과제들 Challenges
PBL은 여러 학습 원리를 결합한 전략적 학습 시스템 설계를 나타내며 교육 이론과 원칙에 의해 강하게 뒷받침되지만 [10] 돌맨스 외 연구진도 "…교육 실무에서 너무 지시적인 교사, 너무 잘 구조화된 문제, 그리고 제대로 작동하지 않는 그룹 등과 같은 문제에 직면하는 경우가 많다"고 지적했다. [39]. 따라서, PBL의 성공적인 구현에 대한 가장 큰 과제는 21세기 의료 전문가 교육에 유익한 결과를 가져오는 일관된 실천으로 PBL의 핵심 학습 원칙을 성공적으로 결합하는 최선의 방법이다. (위에서 논의한 바와 같이) PBL의 실무에 영향을 미치는 중요한 문제는 이러한 맥락에서 몇 가지 지침을 제공해야 한다. Although PBL represents a strategic learning system design which combines several learning principles and is strongly underpinned by educational theories and principles [10], Dolmans et al also pointed out that“…in educational practice, problems are often encountered, such as tutors who are too directive, problems that are too well structured, and dysfunctional tutorial groups”[39]. Thus, the greatest challenge to the successful implementation of PBL is how best to successfully combine the key learning principles of PBL into a coherent practice which would result in beneficial outcomes in the education of healthcare professionals in the 21stcentury. Important issues, which impact on the practice of PBL (as discussed above), should provide some guidance in this context.
Wood[38]는 훨씬 더 근본적인 문제를 제기하였다. Wood가 제기한 과제는 다음과 같다: "소통 기술과 심리사회적 영역에서 가르치고 배우는 것은 여러 가지 방법으로 달성될 수 있으며, [적시에 건설적인 피드백과 함께 소규모 그룹으로 일하는 것]은 [문제 기반 학습]만큼 효과적일 수 있습니다." [38]. 그렇다면, 문제는, 우리가 [여전히 정서적 영역에서 학생 학습을 육성하기 위해 PBL 전략을 채택하고 구현할 필요가 있는가] 하는 것이다.
Wood [38] has raised an even more fundamental issue. The challenge posed by Wood is in her statement: “Teaching and learning in communication skills and the psychosocial domains can be achieved in many ways, and working in small groups—coupled with timely and constructive feedback—may be just as effective as problem-based learning” [38]. The question is, then, do we still need to adopt and implement a PBL strategy to nurture student learning in the affective domain?
기회 Opportunities
"21세기에 필요한 대학을 만들기 위해서는… 우리는 의식적으로 교육 패러다임을 거부하고 학습 패러다임에 기초하여 우리가 하는 일을 재구성해야 한다." [41] “To build the colleges we need for the 21st century… we must consciously reject the Instruction Paradigm and restructure what we do on the basis of the learning paradigm” [41].
"[의대] 학교는 관심 있는 교수진의 긴밀한 지도 아래 능동적이고 자기 주도적인 학습을 경험의 핵심으로 만드는 진정한 학습자 중심의 환경을 아직 만들지 못했습니다." [42].
“[Medical] Schools have yet to create a truly learnercentered environment that makes active, self-directed learning under the close tutelage of interested faculty members the core of the experience” [42].
교육 패러다임의 큰 전환이 필요하다는 데 전통적인 교사 주도형 교육에서 학생 중심의 학습으로 전 세계적인 공감대가 형성되고 있다. 주요 패러다임의 변화는 학생들이 21세기에 세계화된 지식 기반 경제의 요구와 과제를 충족시킬 수 있는 더 나은 교육 준비를 제공할 것으로 기대됩니다 [41,42]. 이러한 맥락에서, PBL은 거의 40년 동안 시간의 시험을 견뎌온 고도로 학생 중심적인 학습 패러다임을 나타내며, 여전히 전 세계로 널리 퍼지고 있다(일부 비판에도 불구하고). [22]. 이 기간 동안 지속된 다른 교육 혁신은 없는 것으로 알려졌다. There is now global consensus on the need for a major shift in the educational paradigm, from the traditional teacher-directed instruction to more student-centered learning. The major paradigm shift is expected to provide better educational preparation for students to meet the demands and challenges of a globalized knowledge-based economy in the 21stcentury [41,42]. In this context then, PBL represents a highly student-centered learning paradigm that has stood the test of time for almost four decades now, and is still spreading widely across the globe (some criticisms notwithstanding) [22]. No other educational innovation is known to have lasted this period of time.
따라서, PBL은 의료 전문가 및 학생의 교육자에게 학생의 학습 성과와 학습 과정에 대한 학생의 적극적인 참여에 중점을 두고 교육을 설계하고 전달할 수 있는 훌륭한 기회를 제공합니다. 또한, 전략적 학습 시스템 설계로서, PBL은 PBL에서 기대하는 학습 결과에 더 많은 교육적 가치를 더하는 협업, 상황별, 통합적, 자기 주도적 및 성찰적 학습을 개선하고 최적화하는 것을 목표로 한다.
Therefore, PBL offers educators of healthcare professionals and students excellent opportunities to design and deliver instruction to their students with a primary focus on student learning outcomes and on active student participation in the learning process. Moreover, as a strategic learning system design, PBL is also aimed at enhancing and optimizing collaborative, contextual, integrated, self-directed, and reflective learning which add further educational value to the learning outcomes expected from PBL.
결론 CONCLUSION
"의학 교육의 중심 사명은 [의사가 제공하는 의료 서비스의 질을 향상시키는 것]입니다… 환자가 기술을 습득하는 가운데, 의사가 무엇을 하고, 어떻게, 언제 하는지는 의학교육의 질에 달려 있습니다. 우리는 이것을 제대로 해야 한다" [43].
“The central mission of medical education is to improve the quality of health care delivered by doctors… [with] patients as the recipients of our skills… what doctors do, and how and when they do it, depends on the quality of medical education. We need to get it right” [43].
PBL은 본질적으로 전통적인 교사 주도(교사 중심) 교육에서 학생 중심(학습자 중심) 학습으로 교육 패러다임의 큰 변화를 나타내는 전략적 학습 체계로, 21세기 학생들의 교육 준비에 더 적합하다고 여겨지는 패러다임이다. PBL의 구현은 매우 어려운 작업이 될 수 있다. PBL의 강점과 한계에 대한 명확한 이해뿐만 아니라 학생과 교사들의 사고방식에도 상당한 변화가 필요하다. [7,17,44] PBL의 시행은 특히 시행 초기에는 교사와 학생 모두에게 불편과 동요를 포함하여, 일부 어려움을 야기시킬 수 있으며, 그러한 기관들은 전통적인 교사 주도적이고 고도로 규율이 높은 특정 커리큘럼에 깊이 자리 잡고 관여할 수 있다. PBL is essentially a strategic learning system which represents a major shift in the educational paradigm from the traditional teacher-directed (teacher-centered) instruction to student-centered (learner-centered) learning, a paradigm considered more appropriate for the educational preparation of students in the 21stcentury. Implementation of PBL can be a tremendously daunting task: not only will it require a clear understanding of the strengths and limitations of PBL, but also a significant change in the mindsets of students and teachers [7,17,44]. Implementation of PBL is likely to cause some difficulties, including discomfort and agitation to both teachers and students, especially in the early phase of its implementation, and in those institutions deeply entrenched and entrapped in the traditional teacher-directed and highly disciplinespecific curriculum.
의료 전문가의 교육자로서, 학생들이 원하는 지식, 기술 및 미래의 전문적 실무에 대한 태도를 배우고 습득하는 것을 가장 잘 설계하고 전달하는 것은 우리의 책임입니다. 우리는 학생들을 육성하고 그들이 유능하고 배려하며 윤리적인 의료전문가가 되기 위해 원하는 "마음, 행동, 행동 습관"을 개발할 수 있도록 도와야 한다. PBL은 21세기의 학생 학습에 활력을 불어넣기 위해 보다 전체적인, 부가가치 및 양질의 교육을 제공할 수 있다. 의료 분야의 학생들에 대한 PBL의 혜택을 최적화하고 국가의 의료 향상에 기여하기 위해, 우리는 제대로 할 필요가 있다. As educators of healthcare professionals, it is our responsibility to design and deliver instruction to our students which best enhances their learning and acquisition of desired knowledge, skills, and attitudes for their future professional practice. We should nurture our students and help them develop the desired“habits of mind, behavior and action”to become competent, caring, and ethical healthcare professionals. PBL can offer a more holistic, value-added and quality education to energize student learning in the 21stcentury. To optimize the benefits from PBL for students in the healthcare professions and to contribute to the improvement of the healthcare of a nation, we need to do it right.
만약 우리가 미래의 의료 전문가들을 가르치는 교육자로서 우리의 책임을 잘 완수하지 못한다면, 그것은 우리의 학생들뿐만 아니라 우리 사회와 우리 자신을 위해서도 끔찍한 결과를 초래하게 될 것이다: 에반스가 분명히 표현했다:
"어려움을 극복하는 것을 말하기는 쉽다. 하지만 우리는 노력을 해야 합니다. 그렇지 않으면 졸업생들은 우리의 지식만 갖고, 이해력은 거의 없고 응용, 분석, 합성, 평가 능력도 훨씬 더 떨어질 것이다. 우리가 학생들을 위한 학습 환경을 개선하기 위해 어떤 조치를 취할 수 있는가를 선택하지 않는다면, 그들의 잠재력은 부분적으로만 실현될 것이고, 우리 자신의 눈과 사회의 눈에 대한 우리의 지위는 줄어들 것이고, 궁극적으로는 사회 자체가 더 가난해질 것이다" [45].
If we fail to complete our responsibility well as educators of future healthcare professionals, it will result in dire consequences, not only for our students, but also for our society and for ourselves, as clearly expressed by Evans:
“overcoming difficulties is easier said than done. But we must make the effort, or graduates will leave our institutions full of knowledge, but with little comprehension and even less ability to apply, analyze, synthesize or evaluate. Unless we take what steps we can to improve the learning environment for our students, their potential will only be partly realized, our standing in our own eyes and in the eyes of society will be diminished and, ultimately, society itself will be the poorer” [45].
Kaohsiung J Med Sci.2009 May;25(5):231-9.
doi: 10.1016/S1607-551X(09)70067-1.
Problem-based learning: a strategic learning system design for the education of healthcare professionals in the 21st century
Problem-based learning (PBL) was first implemented by McMaster University medical school in 1969 as a radical, innovative, and alternative pathway to learning in medical education, thus setting a new educational trend. PBL has now spread widely across the globe and beyond the healthcare disciplines, and has prevailed for almost four decades. PBL is essentially a strategic learning system design, which combines several complementary educational principles for the delivery of instruction. PBL is specifically aimed at enhancing and optimizing the educational outcomes of learner-centered, collaborative, contextual, integrated, self-directed, and reflective learning. The design and delivery of instruction in PBL involve peer teaching and learning in small groups through the social construction of knowledge using a real-life problem case to trigger the learning process. Therefore, PBL represents a major shift in the educational paradigm from the traditional teacher-directed (teacher-centered) instruction to student-centered (learner-centered) learning. PBL is firmly underpinned by several educational theories, but problems are often encountered in practice that can affect learning outcomes. Educators contemplating implementing PBL in their institutions should have a clear understanding of its basic tenets, its practice and its philosophy, as well as the issues, challenges, and opportunities associated with its implementation. Special attention should be paid to the training and selection of PBL tutors who have a critical role in the PBL process. Furthermore, a significant change in the mindsets of both students and teachers are required for the successful implementation of PBL. Thus, effective training programs for students and teachers must precede its implementation. PBL is a highly resource-intensive learning strategy and the returns on investment (i.e. the actual versus expected learning outcomes) should be carefully and critically appraised in the decision-making process. Implementation of PBL can be a daunting task and will require detailed and careful planning, together with a significant commitment on the part of educators given the responsibility to implement PBL in an institution. PBL can offer a more holistic, value-added, and quality education to energize student learning in the healthcare professions in the 21st century. Successful implementation of PBL can therefore help to nurture in students the development of desired "habits of mind, behavior, and action" to become the competent, caring, and ethical healthcare professionals of the 21st century. Thus, PBL can contribute to the improvement of the healthcare of a nation by healthcare professionals, but we need to do it right.
근거기반의학과 문제중심학습: 비판적 재평가(Adv Health Sci Educ TheoryPract.2019) Evidence‑based medicine and problem based learning a critical re‑evaluation Peter C. Wyer1
1992년 말, 미국 의학 협회 저널은 "증거 기반 의학: 의학의 실천을 가르치는 새로운 접근법(증거 기반 의학 작업 그룹 1992)을 출판하였다. 이 기사는 캐나다 해밀턴 온타리오에 있는 맥마스터 대학 보건 과학 센터의 임상 역학 및 생물 통계학부의 고위 학자들이 이끄는 국제 워킹 그룹에 의해 작성되었다. 과학혁명에 관한 잘 알려진 논문(1962년 쿤)을 인용하여, [임상 연구가 지식의 계층 구조에서 지배적인 위치를 차지]하고, [실무자의 임상 경험에서 태어난 병태생리학 및 지식이 연속적으로 낮은 위치를 차지]하게 되는, 의료행위의 가르침을 위한 '새로운 패러다임'을 제안했다. In late 1992, theJournal of the American Medical Associationpublished a landmark article entitled “Evidence-based Medicine: A New Approach to Teaching the Practice of Medicine”(Evidence-Based Medicine Working Group1992). The article was authored by an international Working Group led by senior academics in the Department of Clinical Epidemiology and Biostatistics at the McMaster University Health Sciences Centre in Hamilton Ontario, Canada. Citing a well-known treatise on scientific revolutions (Kuhn1962), it proposed a ‘new paradigm’ for the teaching of medical practice in which clinical research was to assume the dominant position on a hierarchy of knowledge and in which pathophysiology and knowledge born of practitioners’ clinical experience were to occupy successively lower positions.
그 제안은 맥마스터 부서의 교육용 출판물에 이미 정통한 사람들에게는 놀라운 것이었다. 1981년부터 캐나다 의학 협회 저널(CMAJ)에 널리 읽히고 인용된 "의학 문헌은 읽는 독자를 위한 가이드"(Sackett 1981년)라는 제목의 시리즈가 발표된 임상 연구의 비판적 평가 원칙을 훈련하는 과정에서 실무자와 임상의사를 소개했다. 그 연재물은 널리 보급되었고 비판적인 읽기 능력을 기르기 위해 사용되었다. 하지만 [의료 행위든 교육 행위든 (그것에) 근거해야 한다는 암시]에 그쳤다.
The proposal was surprising to those who were already familiar with the instructional publications of the McMaster Department. Beginning in 1981, a widely read and cited series in theCanadian Medical Association Journal (CMAJ),entitled the “Readers’ Guides to the Medical Literature” (Sackett1981) had introduced working practitioners and clinicians in training to the principles of critical appraisal of published clinical research. The installments were widely disseminated and used to foster critical reading skills. They stopped well short of implying that either clinical practice or the teaching of same should be based on it.
1992년 임상 연구의 비판적 평가critical appraisal를 위해, [맥마스터 프레임워크를 "증거 기반 의학(EBM)"으로 리브랜딩]한 것은, 상당한 비판을 끌어모았고, 이는 현재까지도 계속되고 있다. 그러나 이러한 비판은 [교육자와 학습자의 관점]보다는 [실무자와 정책을 만드는 관점]을 반영했다. 후자는 1992년 JAMA 기사에 의해 제기된 의학교육의 리모델링의 의미와 관련하여 침묵을 지키고 있다. 이 검토는 McMaster 기반 교육 이니셔티브의 맥락에서 의료 교육 개입으로서 EBM의 주장을 검토할 것이다.
The 1992 re-branding of the McMaster framework for critical appraisal of clinical research as “evidence-based medicine (EBM)” attracted a rapidly expanding body of criticism that has continued through the present. However, these critiques have reflected practitioner and policy making perspectives rather than those of educators and learners. The latter have remained silent with respect to the implications of the remodeling of medical education posited by the 1992 JAMA article. This review will examine EBM’s claims as a medical education intervention in the context of the McMaster based teaching initiatives that preceded it.
맥매스터의 EBM 이전 세대 Antecedents of EBM at McMaster
상기 언급된 CMAJ instructional article은 맥매스터 역학 및 생물 통계부의 설립의장인 David Sackett에 의해 시작되었다(Sackett 1981). 그들은 [치료 효과에 대한 무작위 시험]과 [진단 정확도에 대한 단면 연구] 등과 같은 [특정 연구 설계에 부합하는 임상 연구 보고서를 평가하기 위한 체크리스트]를 제시했다. 예를 들어 환자 할당에 대한 환자, 연구자 및 실무자의 블라인딩은 무작위 시행의 기준인 반면 진단 테스트 결과와 비교할 기준 테스트의 결과에 대한 독립적인 평가는 횡단적 연구와 관련된 기준이다. The above mentionedCMAJinstructional articles had been initiated by David Sackett, the inaugural chair of the Department of Epidemiology and Biostatistics at McMaster (Sackett1981). They presented checklists for evaluating published reports of clinical studies conforming to specific research designs such as randomized trials of treatment effectiveness and cross sectional studies of diagnostic accuracy. For example, blinding of patients, researchers and practitioners to patient allocation is such a criterion for randomized trials while independent assessment of the results of a diagnostic test and those of the criterion test to which it is to be compared is one pertaining to a cross sectional study.
CMAJ 시리즈의 학습 목표는 간단했으며 1980년대 후반부터 맥마스터 부서가 후원한 비판적 평가에 대한 연례 워크숍에서 공유되었다. 워크숍은 다양한 임상 전문 분야의 대학원 교육 프로그램으로부터 학부 교수들에게 Sackett 및 기타의 직접적인 지도 하에, 임상 연구에 대한 비판적 평가 원칙을 흡수하는 기회를 제공했다. 출판된 연구의 결점을 확인하는 데 중점을 두었다. 대부분의 결함은 치명적인 것으로 간주되었으며, 일단 확인되면 출판물은 휴지통으로 가는 신세가 되었습니다.
The learning objectives of the CMAJ series were straightforward and were shared by an annual workshop on critical appraisal sponsored by the McMaster Department beginning in the late 1980s. The workshops afforded an opportunity for academic faculty from graduate training programs in various clinical specialties to absorb principles of critical appraisal of clinical research under the direct tutelage of Sackett and others. The emphasis was on identification of flaws in published studies. Most flaws were considered to be fatal; once they were identified the publication was ready for the circular file.
EBM 및 학습 및 교육 목표의 변화 EBM and the transformation of learning and teaching objectives
1992년 JAMA가 발표한 "증거 기반 의학"은 맥매스터 (Guyatt 2008)의 내과 프로그램 개편 이후 이루어졌다. 새로운 명칭과 함께 새로운 지향과 확장된 학습 목표가 등장했습니다. 이는 JAMA(Guyatt and Rennie 1993)에서 출판된 새로운 일련의 교육 기사인 "의료 문헌을 위한 사용자 안내서"에 자세히 설명되어 있다. 초점은 [단순히 연구의 결함을 발견하는 것]에서 [개별 환자의 clinical care에 직접 guide하기 위한 목적으로 임상 연구를 사용하는 것]으로 바뀌었다. 연례 워크숍 시리즈는 그에 따라 개축되었고 "증거 기반 의학을 가르치는 방법"으로 이름이 바뀌었다.
The 1992 JAMA announcement of “evidence-based medicine” followed a restructuring of the internal medicine program at McMaster (Guyatt2008). With the new name came a new orientation and an expanded set of learning objectives. These were elaborated in a new series of instructional articles, the “Users’ Guides to the Medical Literature”, published inJAMA(Guyatt and Rennie1993). The emphasis was shifted from merely finding flaws in research in favor of using clinical research to directly guide the clinical care of individual patients. The annual workshop series was correspondingly remodeled and was renamed “How to Teach Evidence Based Medicine.”
새로운 프레임워크는 비판적 평가에 대한 이전의 강조를 이어갔고, 비판적 평가 체크리스트는 확대되었다. 그들은 이제 McMaster EBM Working Group이 수행한 광범위한 출판 연구로부터 도출된 기준을 포함했는데, 이 연구는 [제조사와 연구자들이 개입의 효과를 과장하기 위해 사용한 메커니즘]을 발표했다. 한 가지 예는, 연구중인 치료에 대해 [통계적으로 유의한 편익이 관찰되는 순간 임상 시험을 조기에 중단하는 관행]이다. 임상시험의 초기 단계는 통계적 이상이 특히 발생할 가능성이 높은 기간을 구성constitute하며, [겉보기 편익을 위해 임상시험을 조기에 중지하는 것]은 [치료법이 효과를 갖는 것처럼 부풀리는 것]으로 나타났다(Montori et al. 2005).
The new framework carried forward the earlier emphasis on critical appraisal and the critical appraisal checklists were expanded. They now included criteria derived from extensive publication research performed by the McMaster EBM Working Group which unveiled mechanisms used by manufacturers and researchers to exaggerate the apparent effectiveness of interventions (Montori et al.2004). One example is the practice of stopping clinical trials early the moment a statistically significant benefit for the study treatment is observed. The initial phase in a trial constitutes a period when statistical aberrations are particularly likely to occur and stopping a trial early for apparent benefit has been shown to inflate the apparent effectiveness of treatments (Montori et al. 2005).
워크숍과 사용자 가이드 연재물에서는, [환자에게 가장 중요할 가능성이 높은 임상 시험 결과]를 강조했으며, 반대로 (생물학적 마커의 혈청 수준과 같은) [순수 생리학적 엔드포인트에 기초한 결과]를 중요하게 생각하지 말 것을 권고했다(Montori et al. 2007). 이러한 정교한 작업은 임상 연구 보고서 소비자들에게 이전에는 결코 즐기지 못했던 비판적 읽기critical reading를 위한 도구를 제공하였다.
The workshops and Users’ Guides installments also emphasized outcomes of clinical trials that are most likely to matter to patients and advised clinicians and learners to downplay results based purely on physiologic endpoints such as serum levels of biological markers (Montori et al.2007). Such elaborations gave consumers of clinical research reports tools for critical reading that they had never before enjoyed.
JAMA "Users' Guide" 시리즈 (Guyatt와 Rennie 1993)와 "How to Teach EBM" 워크숍은 임상 연구의 방법론적 평가 스킬 이상의 [스킬 세트]를 다루었다. 이것들은 EBM이 practice of medicine을 가르치는 대안적 패러다임을 제공했다는 주장의 근거가 되었다.
여기에는 문헌 검색을 용이하게 하기 위한 임상 질문의 공식화와 그에 상응하는 electronic resource의 사용이 포팜된다.
워크숍에는 개별 연구 및 체계적인 검토를 위해 전자 데이터베이스를 검색하는 방법에 대한 임상의에 대한 지침이 포함되었다. 사서librarian 교직원의 포함은 중요한 혁신을 이루었고, 1990년까지 눈에 띄게 된 출판 생물 의학 연구(Bastian et al. 2010)의 지속적인 폭발로 특히 두드러졌다.
TheJAMA“Users’ Guides” series (Guyatt and Rennie1993) and the “How to Teach EBM” workshops addressed skill sets that went beyond methodological appraisal of clinical research. These constituted the basis for the claim that EBM offered an alternative paradigm for teaching the practice of medicine.
They included the formulation of clinical questions to facilitate literature searches and the corresponding use of electronic resources.
The workshops included instruction to clinicians in how to search electronic databases for individual studies and systematic reviews. Inclusion of librarian faculty members constituted an important innovation and was rendered particularly salient by the ongoing explosion in published biomedical research (Bastian et al. 2010) which had become conspicuous by 1990.
1990년대에 걸쳐 이 영역의 커리큘럼과 교육 프로그램을 정의하기 위한 표준 프레임워크로 채택된 정의가 나타났다(Dawes et al. 2005). 이는 "요청ask", "취득acquire", "평가appraise" 및 "적용apply"으로 설명되는 4가지 필수 단계로 구성되었습니다.
이 공식은 훨씬 이전에 맬컴 놀스(Knowles 1975)의 자기 주도 학습의 기초로서 제안되었던 공식과 놀랄 만큼 유사했으며, 맥마스터의 PBL 초기에 큰 영향을 끼쳤다.
연례 McMaster 교육 워크숍에서 사용되는 모듈형 패키지와 유사하게 모델링된 이벤트에서 이 모델에 프레임을 씌웠다.
마찬가지로 EBM 본문과 워크숍 자료 모두 학부 및 대학원 의학 학습자를 위한 동일한 공식에 기초한 '교육 처방'을 사용할 것을 권고했다.
궁극적으로, 평가 루브릭도 이와 유사하게 이러한 범주에 기초하는 것으로 나타났다(Feldstein et al). 2009; 라모스 외 2003).
over the course of the 1990s a definition emerged which was soon accepted as the standard framework for defining curricula and teaching programs in this area (Dawes et al.2005). It was comprised of 4 essential steps, described as “ask”, “acquire”, “appraise” and “apply”.
The formula was remarkably similar to one that had been proposed much earlier as the basis of self-directed learning by Malcolm Knowles (Knowles 1975), and which had been very influential in the early years of PBL at McMaster (Servant-Miklos 2018).
Modular packages used in the annual McMaster teaching workshops, and in similarly modelled events, were framed on this model.
Similarly, both the EBM texts and the workshop materials advised use of ‘educational prescriptions’ based on the same formula for undergraduate and graduate medical learners.
Eventually, evaluation rubrics appeared that were similarly based on these categories (Feldstein et al. 2009; Ramos et al. 2003).
맥마스터 "How to Teach EBCP" 워크숍의 졸업생들은 특징적으로 열광적이었다. 1994년과 2010년 사이에, 수천 명의 사람들이 맥마스터(McMaster)를 졸업했고, 북아메리카와 남아메리카, 영국 그리고 다른 곳에서 비슷하게 설계된 워크숍을 졸업했다. 의대생과 각종 임상특기생들의 연수를 담당한 의대생과 연수생들은 그들이 배운 접근법을 자신의 프로그램에 통합하기 위해 홈센터로 돌아왔다. 같은 기간 동안, 여러 임상 전문 분야, 분야 및 환경에서 학습자에게 EBM의 가르침은 전 세계적으로 확대되었으며, EBM 스킬 세트는 국제적으로 의학 대학원 및 학부 커리큘럼 필수 과정에 통합되었다.
Graduates of the McMaster “How to Teach EBCP” workshops were characteristically enthusiastic. Between 1994 and 2010, several thousand graduated from the McMaster or similarly designed workshops in North and South America, the UK and elsewhere. A large percentage were medical educators responsible for the training of medical students and trainees in various clinical specialties who returned to their home centers to incorporate the approach they had learned into their own programs. Over the same period of time, the teaching of EBM to learners in multiple clinical specialties, disciplines and settings expanded worldwide and EBM skill sets were incorporated into mandated medical graduate and undergraduate curriculum guidelines internationally. The latter includes incorporation into
the American Council of Graduate Medical Education frameworks for graduate medical education in the US (Green et al. 2009; NEJM Knowledge+ Team 2016),
the analogous CanMEDS framework of the Royal College of Physicians and Surgeons of Canada (Frank et al. 2015), and
the Association of American Medical Colleges’ prescription for ‘entrustable professional activities’ for medical undergraduates (AAMC 2017).
In Europe, a multinational survey completed in 2006 by the EUebm-Unity partnership determined the existence of some 403 courses in EBM across the member countries (Kunz et al. 2009).
그러나 EBM의 성공은 균일하지 않았다. 1992년 EBM을 처방prescription한 것이 [(추론의 출처들source 사이에서) 수정된 우선 순위에 기초한 임상의료 교육]으로의 글로벌한 전환을 목표로 했다고 보면, 결과는 여러 면에서 부족했다. 임상 연구를 비판적으로 평가하는 지식을 증가시키는 데 효과가 있음에도 불구하고, (의료인, 훈련 의사 및 다른 보건 직업의 학습자에 대한) EBM 교육 연구 및 체계적인 검토에 따르면, [의료인의 행동]이나 [다른 건강 성과]에 대한 측정 가능한 효과가 존재하지 않음을 지속적으로 보고하고 있다. 그러므로 해결해야 할 것은 EBM 교육 운동이, 그것의 확장된 학습 목표와 의도된 범위, 그리고 전 세계적으로 전례 없는 수준의 열띤 채택에도 불구하고, 궁극적으로 1999년의 맥마스터 임상 역학 및 생물 통계부의 원래 프로그램을 넘어서지 못한 이유이다. 이것은 맥마스터 의학교육 경험의 초기 수십 년 동안 문제 기반 학습(PBL)의 전통과 전제에서 EBM 프로그램의 뿌리를 더 깊이 고려해야 한다.
The success of EBM was not uniform however. If the 1992 prescription for EBM aimed at a global transformation of teaching the practice of clinical medicine, based on revised priorities among sources of inference, the result fell short in many ways. Studies and systematic reviews of teaching EBM to practitioners, to physicians in training and to learners in other health profession, despite demonstrating effectiveness in increasing knowledge of critical appraisal of clinical research, have consistently reported an absence of measurable effect on practitioner behavior or on other health outcomes (Ahmadi et al.2015; Coomarasamy and Khan2004; Young et al.2014). What remains to be addressed, therefore, is why the EBM educational movement, despite its expanded set of learning objectives and intended scope, as well as its unprecedented level of enthusiastic adoption worldwide, ultimately failed to go beyond the original program of the McMaster Department of Clinical Epidemiology and Biostatistics of the 1990s. This requires a deeper consideration of the roots of the EBM program in the traditions and premises of problem based learning (PBL) during the early decades of the McMaster medical education experience.
EBM의 형태를 만든 McMaster의 PBL PBL at McMaster as it shaped EBM
PBL과 EBM의 상호 연결은 맥매스터에서 의학교육의 시작부터 비롯된다. 서번트 (2016년)에 의해 기록된 대로, 데이비드 새킷은 맥마스터 의과대학의 설립자 중 한 사람이었으며, 맥마스터 의과대학의 디자인 형성에 광범위하게 관여했다. 그는 맥마스터의 첫 번째 커리큘럼을 설계한 교육 위원회의 영향력 있는 멤버였다. 비록 Sackett과 다른 EBM 설립자들 모두 교육 및 학습 이론에 대한 개인적인 견해나 인지 심리학의 영역 내에서 학습과 문제 해결의 관련 상관관계에 대한 그들의 개인적인 견해를 발표하지 않았지만, 우리는 그들이 [맥매스터의 PBL 전통]을 매우 밀접하게 동일시하며, 1994년에 시작된 워크샵 시리즈에 이 일반적인 오리엔테이션을 가져왔다는 것을 알고 있다.
The interconnection between PBL and what became EBM dates from the dawn of medical education at McMaster. As documented by Servant (2016), David Sackett was one of the founders of the McMaster medical school and was extensively involved in shaping its design. He was an influential member of the education committee that designed the inaugural McMaster curriculum. Although neither Sackett nor the other EBM founders have published their personal views on education and learning theory or on relevant correlates of learning and problem solving within the domain of cognitive psychology, we do know that they identified very closely with the PBL tradition at McMaster and that they brought this general orientation into the workshop series that began in 1994.
매년 열리는 "How to Teach EBM" 워크숍에서 학습자와 강사에게 배포되는 자료 패키지는 1974년 뉴펠드와 배로우(Neufeld and Barrows 1974년)의 기사를 재인쇄한 것으로, "문제 기반 학습Problem based learning"이라는 문구가 인쇄물로는처음 언급되었다(Servant-Miklos 2018). 이 책에서 저자들은 의대 교육 설계가 구축되는 지침(Servant-Miklos 2018)으로 존 에반스가 몇 년 전에 초안한 8점짜리 학습 목표 세트를 주도했다.
이 중 첫 번째는 건강 문제를 식별하고, 이를 manage할 정보를 검색하는 기능을 지정했습니다.
두 번째는 질병 메커니즘과 과정에 대한 지식에 대한 꽤 전통적인 강조에 해당된다.
나머지 항목들은 자기 주도적이고 성찰적인 학습 행동과 대인관계 및 사회적 능력의 획득을 가리켰다.
The materials package distributed to learners and tutors at the annual “How to Teach EBM” workshops included as its cover piece a reprint of a 1974 article by Neufeld and Barrows (Neufeld and Barrows1974) which was the first place that the phrase “problem based learning” was mentioned in print (Servant-Miklos2018). In it, the authors led with an 8 point set of learning objectives drafted years earlier by John Evans as the guideline on which the medical school instructional design was built (Servant-Miklos2018).
The first of these specified the ability to identify a health problem and to search for information with which to manage it;
the second corresponded to a fairly conventional emphasis on knowledge of disease mechanisms and processes; and
the remaining items pointed to acquisition of self-directed and reflective learning behaviors and of interpersonal and social skills.
1974년 기사의 나머지 부분은 [자기 주도 학습]에 관한 섹션과 [맥마스터의 PBL에 대한 개념]에 관한 부분을 포함하고 있다. 후자의 설명은 개별 환자의 임상적 맥락에서 생물의학 지식과 질병에 대한 지식의 우수성을 인정하였다. 그러나, [문제 해결 기술의 우선성]에 중점을 두었고, ["문제 해결을 시작하기 전에 정보가 필요하다는 가정"]에 도전할 필요성에 더 중점을 두었다(Neufeld and Barrows 1974). "How to Teach EBM" 워크샵 자료 패키지에서는 위의 1974년 기사에 이어 워크숍에서 소규모 그룹 세션을 안내하도록 설계된 모듈식 패키지가 제시되었습니다. 이들은 "문제 기반 학습" 모듈로 분류되었다.
The rest of the 1974 article contained sections on self-directed learning and on the McMaster concept of PBL. The latter description acknowledged the pertinence of both biomedical knowledge and knowledge of disease in the clinical context of an individual patient. However, preponderant emphasis was placed on the primacy of problem solving skills and on the necessity of challenging “the assumption that information is required before problem solving can begin” (Neufeld and Barrows1974). Within the “How to Teach EBM” workshop materials package, the above cited 1974 article was followed by modular packages designed to guide the small group sessions at the workshop. These were labelled “problem based learning” modules.
필수 논문 The essential thesis
서번트(Servant-Miklos 2018; Substant 2016)의 내레이션처럼, PBL의 개념은 1960년대 말 캐나다 맥마스터 대학에 의과대학이 설립되던 시기에, [이론에 의한 것이 아니라non-theory driven], [혁신적인 의학교육의 접근innovative approach]으로 시작되었다. 1970년대와 80년대에는, (초기 노력과 거의 관련이 없는 개인들에 의해 주로 개발된) 이론이 등장했고, 서번트는 이 이론이 "정보 처리 심리학(IPP)"에 기초하였다고 특징지었다. 이것은 [맥락과 무관한context free, 전이가능한transferable, 일반적인 문제 해결 기술]이라는 전제를 갖고 있었다. 이 모델은 사실 인지 심리학 연구(Ohlsson 2012)에 의해 이미 반박되었다. 그러나 1980년대(Barrows and Tamblyn 1980)에 출판된 PBL의 주요 출판물에서 승인되었다.
As narrated by Servant (Servant-Miklos2018; Servant2016), the concept of PBL started with a non-theory driven but innovative approach to medical education with the founding of a medical school at McMaster University, Canada, in the late 1960s. During the 1970s and 80s a theory, largely developed by individuals who had had little to do with the initial effort, emerged which Servant characterizes as based on “informational processing psychology (IPP)” and which adopted a premise of context free, transferable, general problem solving skills. This model had in fact already been refuted by research in cognitive psychology (Ohlsson2012). However, it was endorsed in the principal published elaboration of PBL during the 1980s (Barrows and Tamblyn1980).
PBL의 IPP 모델에 inform한 [두 개의 상호 관련된 전제]는 특히 관련이 있다.
Two inter-related premises that informed the IPP model of PBL are particularly relevant to our inquiry.
첫 번째는 일반적인 문제 해결 능력이 특정 지식과는 무관하며, 문제해결능력을 숙달한 전문가는 이러한 기술을 다른, 어쩌면 생소한 지식 영역에도 적용할 수 있게 해주었다는 것이다. 즉, 컨텍스트와 특정 컨텐츠에 대한 지식은 '충족'될 수 있으며, 이에 따라 애플리케이션의 한 컨텍스트와 영역에서 다른 컨텍스트로 이전될 수 있다. IPP 관점을 기술하는 1980년의 중요한 책(Barrows and Tamblyn 1980)에서 Barrows와 Tamblyn은 [의학 지식의 확장이 문제 해결 기술의 발전에 장애가 될 수 있다고까지] 말한다(Barrows and Tamblyn 1980, P.88).
The first was that the general problem solving capacity was independent of specific knowledge and that its mastery allowed an expert to apply these skills to different, and perhaps even unfamiliar, knowledge domains. I.e., knowledge of context and specific content could be ‘filled in’ and expertise thereby transferred from one context and domain of application to another. In their sentinel 1980 volume describing the IPP view (Barrows and Tamblyn1980), Barrows and Tamblyn go so far as to suggest that expanding medical knowledge can even serve as an impediment to the advancement of problem-solving skills (Barrows and Tamblyn1980, P. 88)!
IPP 모델의 두 번째 관련 전제는 임상 문제 해결에 관련된 인지 프로세스가 컴퓨터가 문제를 표현하고 접근하는 방법과 유사한 [순수한 계산적 성격]을 갖는다는 것이었다. 이 가정은 배로우와 다른 사람들이 PBL과 관련된 문제에 대해 쓴 글에서 매우 두드러지게 나타났다. 서번트는 [임상 평가 과정에서 환자에 대한 진단 정보가 저장되고 검색되는 방법을 나타내는 표현]으로 Barrows가 "인지적 모자 랙"의 이미지를 환기시켰다고 관찰한다. The second relevant premise of the IPP model was that the cognitive processes involved in clinical problem solving are of a purely computational nature, akin to how problems are represented and approached by a computer. This assumption figured very prominently in the writings of Barrows and others on PBL and related issues. Servant observes (Servant-Miklos2018) that Barrows evoked the image of a “cognitive hat rack” as a representation of how diagnostic information on a patient is stored and retrieved in the course of a clinical evaluation (Barrows and Bennett1972).
[인지적 프로세스]를 순전히 계산적인 것으로 표현하는 것을 다르게 보면, 일종의 환원주의였으며, "인지주의cognitivism"라는 용어로 명명dubbed되었다(Haugeland 1978; Varea et al. 1991). 이 논평의 중심 논문이 지금 언급될 수 있다. 1992년에 제안된 EBM 교육 패러다임은 IPP, 즉 "인지론자cognitivist"와 밀접하게 연결되어 있다. 이 패러다임은 [병리학적 지식과 임상 경험을 강조하지 않을 것de-emphasis]을 제안하며, 1970년대 후반과 1980년대에 맥마스터 교육 접근법을 지배했던 PBL construct를 이해한 방식이다. 이 논문을 자세히 설명하기 전에, 우리는 PBL의 IPP 모델에 대한 대안이 존재한다는 것을 간단히 인정해야 한다.
The representation of cognitive processes as purely computational has otherwise been recognized as a form of reductionism and has been dubbed with the term “cognitivism” (Haugeland1978; Varela et al.1991). The central thesis of this commentary may now be stated. It is that the EBM educational paradigm, as proposed in 1992, including its proposed de-emphasis on pathophysiological knowledge and clinical experience, was closely aligned with the IPP, or “cognitivist”, understanding of the PBL construct that emerged and dominated the McMaster curricular approach during the late 1970s and 1980s. Before elaborating this thesis, we must briefly acknowledge the existence of an alternative to the IPP model of PBL.
서번트 등은 PBL construct에 대해 '사전 지식의 활성화'라는 대안적 이해를 갖고 있었고, 이는 네덜란드의 마스트리히트 대학 의과대학의 맥락에서 발생했다. 새로운 전제는 [문제 해결]과 [전문지식]은 맥락-기반 경험context-bound experience에 상호 뿌리를 두고 있으며, 지식이 복잡한 '스키마schemata'에 저장된다는 것이었다. 지식과 스키마는 도메인 내의 새로운 문제에 접근하는 과정에서 활성화되고, 궁극적으로 수정된다. 서번트는 마스트리히트 모델을 "구성주의자constructivist"로 분류한다. 이것은 단순한 IPP 계산 패러다임으로 환원할 수 없는 자기조직하는self-organizing, 새로운 인지 프로세스에 대한 가정을 기반으로 한다는 점에서 적절해 보인다. 그 안에서 [지식의 확대]는 더 이상 문제 해결의 수동적 또는 부차적인 결과가 아니며, 오히려 (의학 교육 활동의 주요 학습 목표는 아닐지라도) 선행적인 학습 목표를 구성한다. 서번트는 [맥락-무관 문제 해결로서의 PBL]과 [지식 활성화 및 합성으로서의 PBL] 사이의 갈등이 궁극적으로 해결될 수 없다고 주장한다(서번트-미클로스 2018).
What Servant et al. (Servant-Miklos2018) term the ‘activation of prior knowledge’ alternative understanding of the PBL construct arose in the context of the development of the Maastricht University medical school in the Netherlands. The emerging premises were that problem solving and expertise are mutually rooted in context-bound experience and that knowledge is stored in complex ‘schemata’ that are both activated and ultimately modified in the course of approaching new problems within a domain. Servant categorizes the Maastricht model as “constructivist”. This seems appropriate in that it is based upon assumptions of self-organizing and emergent cognitive processes, not reducible to a simple IPP computational paradigm. Within it, the expansion of knowledge is no longer a passive or secondary consequence of problem solving but rather constitutes a leading, if not the principal, learning objective of medical educational activity. Servant argues that the conflict, between PBL as context-free problem solving and PBL as knowledge activation and synthesis, are ultimately irreconcilable (Servant-Miklos2018).
앞의 구별을 염두에 두면, [(1990년대 초에 제안되고 추구된) EBM 패러다임]과 [(인접한 기간 동안 맥마스터에서 의료 커리큘럼을 지배했던) PBL에 대한 IPP 이해] 사이의 친화력을 쉽게 인식할 수 있게 된다. 이러한 친화력은 먼저 명확하게 식별될 것이다. 그런 다음 EBM 구조의 해당 한계가 실제에 반영되는 방법이 설명된다. With the preceding distinction in mind, it becomes easy to recognize affinities between the EBM paradigm, as proposed and pursued in the early 1990s, and the IPP understanding of PBL that dominated the medical curriculum at McMaster during the contiguous period. These affinities will first be explicitly identified. Ways in which the corresponding limitations of the EBM construct have reflected in practice will then be illustrated.
표 1은 EBM과 IPP를 비고한다.
실제 EBM 패러다임 The EBM paradigm in practice
1992년 JAMA 발표는 [의학적 실천을 가르치는 '새로운 패러다임']으로 EBM을 제안했고, 그 주장을 뒷받침하기 위해 토마스 쿤의 과학 혁명 개념을 인용했다. 우리는 [새로운 패러다임의 변화를 정의내리는 요소]로 [비판적으로 평가된 임상 연구로부터 정보]를 더 선호하여, [병리학적 지식과 임상 경험에 대한 탈강조de-emphasis]를 확인했다. 또한 새로운 패러다임은 [문제 해결, IPP, 직전까지 맥마스터 의과대학 교육과정에서 지배적이었던 PBL 구조에 대한 이해]와 밀접함을 깨달았다. [McMaster에서 매년 열리는 "How to Teach EBM" 워크숍의 맥락에서 그리고 보다 광범위하게], EBM formulation은 어떻게 실행되었는가? The 1992JAMAannouncement had proposed EBM as a ‘new paradigm’ in teaching the practice of medicine and had cited Thomas Kuhn’s concept of scientific revolutions (Kuhn1962) to support that assertion. We have identified the de-emphasis on pathophysiological knowledge and clinical experience in favor of information from critically appraised clinical research as a defining element of the proposed paradigm shift and have recognized the affinity of this proposition to the problem solving, IPP, understanding of the PBL construct that had dominated the McMaster medical curriculum during the immediately preceding period. How did the EBM formulation play out in practice, both within the context of the annual “How to Teach EBM” workshops at McMaster and more widely?
이미 언급했듯이, EBM은 성공적으로 그리고 전세계적으로 널리 보급되었다. 연례 워크숍 모델은 이 보급의 주요 매개체 역할을 했습니다(Murad et al). 2009). 따라서, 이 "부모" 워크샵에서 발표된 EBM 교육이 갖는 약점이야말로, 패러다임이 궁극적으로 더 광범위하게 실패하는 이유에 대한 잠재적인 단서가 된다. 워크숍의 소규모 그룹은 일반 내과, 소아과 및 응급의학과 같은 특정 임상 전문 분야를 가진 실무자와 교육자로 구성되었다. 앞서 요약한 바와 같이, 워크숍에서 사용된 모듈식 교육 패키지의 개요는 전형적인 EBM 교육적 처방인 '질문', '습득', 비판적으로 '평가' 및 '적용'에 부합한다.실제로, 이 네 개의 도메인은 동등하게 제시되었다. 임상 시나리오는 단일 연구 질문만 나올 수 있도록 단순화하고 구조화되었으며, 검색 전략의 설계를 용이하게 하기 위해 권장되는 템플릿 형식을 예상하는 방식으로 이루어졌다. 임상 연구를 검색하기 위해 전자 데이터베이스를 사용하는 것도 세션의 일부를 차지했다. As already noted, EBM was successfully and widely disseminated on a global basis. The model of the annual workshop served as a principal vehicle for this dissemination (Murad et al.2009). Hence, weaknesses in the teaching of EBM exhibited at the parent workshops constitute potential clues to why the paradigm ultimately failed more widely. The small groups at the workshops were comprised of practitioners and educators with a specific clinical specialty, such as general internal medicine, pediatrics and emergency medicine. As previously summarized, the outline of the modular teaching packages used at the workshops conformed to the prototypical EBM educational prescription, ‘ask’, ‘acquire’, critically ‘appraise’, and ‘apply’. In actuality, these four domains were unequally represented in small group sessions. The clinical scenarios were simplified and structured such that only a single research question was likely to emerge, and in a fashion that anticipated the templated formatting recommended to facilitate the design of a search strategy. Use of electronic databases to retrieve clinical research also occupied a portion of the sessions.
그러나 지금까지 소규모 그룹 세션의 대부분은 방법론적 품질을 평가하기 위해 선택된 연구에 체크리스트 기준을 적용하는 방법을 탐구하는 데 초점을 맞췄다. 또한 연구 결과를 보고하기 위해 사용된 관련 연관성 측정의 이해에 중점을 두었다. [연구 결과를 원본 시나리오에 적용하는 방법]에 대해서는 작은 관심만이 집중되었다. 실제 의사 결정의 맥락에서, 증거 해석의 중심이 될 수 있는 [질병 프로세스 및 기존 임상 접근법의 이해와 관련된 문제에 대한 논의]는 중단되었다. 오히려, 촉진자들은 토론을 '모든 사람이 동의할 수 있는 것'으로 이끌도록 권고 받았다.
However, by far, the bulk of the small group sessions revolved around exploring the application of the checklist criteria to the selected research articles to assess their methodological quality. Emphasis was also placed on understanding the relevant measures of association used to report the results of the research. Only a small amount of attention was directed to consideration of how to apply the research findings to the original scenario. Discussion of issues to do with understanding of disease processes and conventional clinical approaches, which could be central to the interpretation of evidence in the context of actual decision making, was discouraged. Rather, facilitators were advised to steer discussion towards ‘things that everyone could agree on.’
액면 그대로 보자면, "EBM 워크숍을 가르치는 방법"의 수행은 [(1990년대 맥마스터 의과대학 모교에서 해왔던 교육적 노력을 특징짓는) 비판적 평가에 대한 지식]을 증가시키려는 목적이 계속된 것을 주로 반영했다. 그러나, 현재의 논의와 질문에 비추어 볼 때, McMaster "How to Teach EBM" 워크숍 세션의 강조는 [1992년 EBM 운동에 의해 규정되었던 병리학적 지식과 임상 경험에 대한 de-emphasis에도 부합]하며, 이는 모두 임상적 관행을 거울삼기 위해 명시적으로 표현된 프레임워크 내에서였다.
At face value, the conduct of the “How to Teach EBM Workshops” largely reflected a continuation of the objective of increasing knowledge of critical appraisal that had characterized the antecedent instructional efforts of the parent Department of the McMaster medical school during the 1990s. However, in the light of our present discussion and inquiry, the emphasis of the McMaster “How to Teach EBM” workshop sessions also conformed to the de-emphasis on pathophysiological knowledge and clinical experience that had been prescribed in 1992 by the EBM movement, all within a framework explicitly represented to mirror clinical practice.
만약 우리가 EBM 패러다임의 발판을 [PBL 프레임워크]의 불이 붙도록 유지한다면, 그 프레임워크의 가장 큰 단점은 문제 자체가 구성되고 정의된 방식일 것이다. 앞에서 언급했듯이 맥마스터 모듈 패키지가 문제 기반problem-base으로 사용한 '시나리오'는 세부 사항을 주의 깊게 제거했다.
환자 특성
코모비디티의 존재에 관한 우려
사회적, 실천적 환경과 관련되 맥락적 요인
다른 문제를 복잡하게 만드는 디테일
그렇게 함으로써 nature에 관한 단일한 질문만 남았으며, 하나의 임상적 선택만 남았다. '문제 정의'에 대한 이러한 접근 방식은 JAMA 사용자 가이드 시리즈에도 반영되었으며, 각 편은 그러한 '임상 시나리오'로 시작되었다(Guyatt et al. 1993).
If we hold the feet of the EBM paradigm to the fire of the PBL framework it posited for itself, the biggest shortcoming of that framework may well be the way that the problems themselves were constructed and defined. As previously noted the ‘scenarios’ used as the problem base upon which the McMaster modular packages revolved were carefully debrided of detail regarding patient characteristics and concerns, presence of co-morbidities, contextual factors related to both the social and practice environment or other complexifying details in such a fashion that only a single question of a nature easily referred to a clinical research design and pertaining to only a single clinical choice remained. This approach to problem definition was also reflected in theJAMAUsers’ Guides series, each installment of which began with just such a ‘clinical scenario’ (Guyatt et al.1993).
실제로 [(EBM 지침에 사용된) 문제 정의에 대한 지나치게 단순화된 접근 방식]은 [학습자가 습득한 기술]을 [실천에 통합]하는 데 실패했으며, [EBM 접근 방식이 실무자 행동에 영향을 미치는 데 효과적이지 않은 것]으로 판단하게 만드는 주요 이유이다. 와이어 등은 [실제 임상의료의 복잡성을 시뮬레이션하도록 설계된 임상 시나리오로부터 시작된 임상 연구]에서 참조할 수 있는referable 질문을 추출하는 것은, EBM 교육에 이전에 노출된 경험이 있는 학습자에게도 특히 어려운 일이라는 것을 발견했다.
In fact, there is reason to believe that the over-simplified approach to problem definition used in EBM instruction failed to equip learners to integrate the skills they were acquiring into real-world practice and constituted a major reason that the EBM approach proved ineffective in impacting practitioner behavior. Wyer et al. (2009) found that extracting questions referable to clinical research from clinical scenarios designed to simulate the complexity of actual practice was particularly challenging, even for experienced learners who had previously been exposed to EBM training.
실제로, [실제 임상의 복잡성 내에서 researchable question을 식별하는 것]에 대한 관심은 맥마스터 워크숍 내부와 외부에서 EBM 교육 노력에 별로 없었다. Maggio 외 연구진(2013)은 이 도메인이 의대생들에게 EBM을 가르친다는 발표된 보고서에서 특징적으로 누락되었음을 발견했다. 마찬가지로, 모든 수준의 학습자 개발을 포함하는 체계적인 검토 결과, EBM 교육 노력에서 문제를 정의하고, 질문을 묻고, 연구 결과를 실무에 적용하는 도메인이 자주 누락되는 것으로 나타났다(Albarquni et al. 2018).
In practice, attention to identifying researchable questions within the complexity of real-world clinical encounters has been largely absent in EBM teaching efforts, both inside and outside of the McMaster workshops. Maggio et al. (2013) found that this domain was characteristically omitted from published reports of teaching EBM to medical undergraduates. Similarly, a systematic review that included all levels of learner development found that the domains of defining a problem, asking a question and applying research findings to practice were frequently omitted from EBM teaching efforts (Albarqouni et al.2018).
EBM 및 임상 추론 EBM and clinical reasoning
우리는 일반적인 문제 해결 기술의 개발에 유리하게 지식 획득의 중요성을 경시했던 PBL에 대한 초기 관점에서 EBM 패러다임의 정렬을 검토했으며, 그러한 방향이 [의사의 행동에 대해 EBM의 영향을 무디게 만들었는지]를 제안했다. 또한 동일한 PBL 구조를 특징짓는 임상 인식 IPP 모델(Servant-Miklos 2018)과 EBM-PBL 정렬의 이 측면을 보다 구체적으로 다루고 학습자 개발에 미치는 영향과 관련하여 간략하게 고려하는 것이 적절하다. 단순성을 위해 초점은 진단 추론의 초점으로 제한된다. We have reviewed the alignment of the EBM paradigm with an early perspective on PBL that had downplayed the importance of knowledge acquisition in favor of development of general problem solving skills and have suggested ways in which that orientation likely blunted the impact of EBM on practitioner behavior. It is also relevant to address more specifically the alignment of EBM with the IPP model of clinical cognition that characterized the same PBL construct (Servant-Miklos2018) and to briefly consider this aspect of the EBM-PBL alignment with respect to its impact on learner development. For simplicity the focus will be restricted to that of diagnostic reasoning.
IPP 모델(Servant-Miklos 2018)에서 보듯이, EBM 패러다임은 아주 확고하게 임상 추론의 [가설 연역적] 프레임워크에 전념한다. 진단 추론과 관련하여, 이는 현재 널리 보급되고 있는 이중 프로세스 이론, 즉 각각 빠른 채널과 느린 인지 채널 간의 동반적 상호 작용과 관련이 있어야 한다(Norman et al. 2017). 이 구조의 이분법적 견해는 소위 빠른 채널이 단순한 패턴 인식과 휴리스틱 활성화의 영역을 구성하는 반면, 느린 채널은 분석적 추론과 가설적 추론 논리의 실행에 의해 특징지어진다고 간주한다. 따라서 진단 추론의 느린 채널에 중점을 두는 것은 초기 McMaster 개념의 가설 또는 연역 추론 모델에 대한 IPP 약속과 밀접하게 부합한다. As is true of the IPP model (Servant-Miklos2018), the EBM paradigm is firmly and steadfastly committed to the hypothetico-deductive framework of clinical reasoning. In relationship to diagnostic reasoning, this needs to be related to the currently prevailing notion of dual process theory, i.e. of a concomitant interplay between fast and slow cognitive channels respectively (Norman et al.2017). A dichotomized view of this construct considers that the so-called fast channel constitutes the domain of simple pattern recognition and activation of heuristics whereas the slow channel is characterized by the exercise of analytical reasoning and hypothetico-deductive logic. Emphasis on the slow channel of diagnostic reasoning therefore is in close alignment with the IPP commitment to hypothetico deductive reasoning model of the early McMaster notion of PBL.
'의학 문헌 사용자 지침서'의 최신판은 패턴 인식의 빠른 경로를 인정하지만, [병력과 신체 검사 및 특정 테스트의 요소 해석에 대한 확률론적 접근법]을 사용하여 [진단 가설을 구성하고 검증하는 것]의 중요성을 강조한다(리처드슨과 윌슨 2015). EBM 문헌 전반에 걸쳐, 진단 프로세스는 (검사의 민감도 및 특수성과 같은) 진단 정확도의 전통적인 성능 분석의 대상이 되는, (임상 이력과 신체 검사의 요소를 포함한) 환자 특성을 고려한 관점에서 설명된다. 이는 분석적이고 느린 채널, 진단 인식 차원에 대한 의존성을 선호하며계산 정보 처리 모델과 호환된다. EBM은 진단 추론의 신중한 측면을 강조하지만, 연구에 따르면, 실제로 이 방식modality을 지나치게 강조하는 경우, 학습자의 진단 전문성 개발이 방해받을 수 있음을 시사한다. 노먼은 의대생들에게 일련의 진단 문제에 접근하는 데 더 많은 시간을 할애하고 숙고하도록 장려하는 것이 '빠르고 정확하게' 일하도록 지시받은 학습자들에 비해 정확도가 떨어진다는 것을 발견했다.
The most recent edition of the Users’ Guides to the Medical Literature acknowledges the fast channel of pattern recognition but emphasizes the importance of forming diagnostic hypotheses and testing them using a probabilistic approach to interpretation of elements of history and physical examination and specific tests (Richardson and Wilson2015). Throughout the EBM literature, the diagnostic process is described in terms of consideration of patient characteristics, including elements of clinical history and physical examination (Sackett2009; Simel and Keitz2009), that can be subjected to conventional performance analysis of diagnostic accuracy, such as the sensitivity and specificity of a test. This favors dependence on the analytical, slow channel, dimension of diagnostic cognition and is compatible with a computational, information processing model. Although EBM emphasizes the deliberative aspect of diagnostic reasoning, research suggests that development of diagnostic expertise in learners might actually be hampered by an over-emphasis on this modality. Norman et al.2014found that encouraging medical undergraduates to take more time and be deliberative in approaching a set of diagnostic problems decreased their accuracy compared to learners who were instructed to work ‘quickly and accurately’.
EBM은 실제로 사용됩니까? Is EBM used in practice?
앞서 말한 것을 볼 때, 자연스러운 충동은 다음과 같이 묻는 것이다: "그 강점과 약점에도 불구하고, EBM은 실제로 실제로 사용되는가?" 그 대답은, 놀랄 것도 없이, 여러분이 질문을 어떻게 하고 'EBM'이 무엇을 의미하느냐에 달려 있다. 소수 민족학 연구들이 이것을 다루고 있습니다. 간접적인 증거는 오하이오 주립 대학 병원 시스템에서 의사들이 의료 병동에서 어떤 지식 프레임워크를 실천하는지가 의사결정에 가장 많이 의존했는지에 대한 문제를 살펴본 타넨바움(1994)의 초기 연구에서 나왔다.
저자에 의해 '경험주의자'로 명명된 의사들은, 임상 연구로부터 직접 얻어진 확률적 정보의 종류에 반응하지 않는다고 결론지었다.
오히려, 그들은 '사물이 어떻게 작용하는가'에 대한 이해에 크게 의존하고 있으며, 병리학적, 임상적 차원에서 저자는 '결정론적'이라고 부른다.
In view of the foregoing, a natural impulse is to ask: “Notwithstanding its strengths and weaknesses, is EBM actually used in practice?” The answer, not surprisingly, is that it depends on how you ask the question and what you mean by ‘EBM’. A small number of ethnographic studies have addressed this. Indirect evidence comes from an early study by Tanenbaum (1994) who looked at the issue of what knowledge framework physicians practicing on medical wards in the Ohio State University hospital system most relied on for decision making.
She concluded that practitioners do not respond to the kind of probabilistic information, labelled ‘empiricist’ by the author, that is gleaned directly from clinical research.
Rather, they rely largely on their understanding of ‘how things work’, on a pathophysiological and clinical level, an approach the author calls ‘deterministic’.
좀 더 직접적으로, Gabbay와 Le May는 영국에서 품질 지표에 대한 뛰어난 성과로 상을 받은 클리닉 환경에서 의료진의 정보 사용을 연구했다(Gabbay와 Le May 2004). 그들이 관찰한 임상의들이 현재의 지침과 임상 연구에 관심을 가지고 있다고 자부했지만,
More directly, Gabbay and Le May studied the use of information by clinical staff in clinic settings in the UK which had received awards for outstanding performance on quality metrics (Gabbay and Le May2004). Although the clinicians they observed prided themselves on attention to current guidelines and clinical research, the authors
저자들은 개별 실무자들이 전통적으로 [증거 기반 의료]의 [선형-이성적 모델linear-rational model과 관련된 단계]를 거치지 않았다는 것을 발견했다. —우리가 그들을 관찰하는 동안 단 한 번도 없었다. (Gabbay 및 Le May 2004)
…found that the individual practitioners did not go through the steps that are traditionally associated with the linear-rational model of evidence based health care—not once in the whole time we were observing them. (Gabbay and Le May2004)
"전통적으로 증거 기반 의료와 관련된 단계"에 의해, 저자들은 EBM 실무 교육에 일반적으로 사용되는 'ask', 'acquire', 'appraise' 및 'apply' 형식을 언급하였다. 그들이 관찰한 바에 따르면, 그러한 '선형 이성적 모델'과는 반대로, 임상적 증거와 지침에 대한 임상의사의 인식은 사회적 과정을 통해 저자들이 '마인드라인mindline'이라고 부르는 것으로 여과되고 증려되었다. 그들은 이러한 구조를 illness script와 유사한 캡슐화된 구조를 이룬다고 간주했다. illness script는 PBL의 지식 활성화 및 획득 모델의 핵심으로 식별된 것이다 By “the steps traditionally associated with evidence based health care”, the authors were referring to the ‘ask’, ‘acquire’, ‘appraise’ and ‘apply’ format commonly used to teach EBM practice. What they observed suggested that, as opposed to such a ‘linear-rational model’, clinicians’ awareness of clinical evidence and guidelines was filtered through and distilled via social processes into what the authors term ‘mindlines’. They conceived these to constitute encapsulated structures which they considered to be analogous to ‘illness scripts’, i.e. to the cognitive structures identified as the core of the knowledge activation and acquisition model of PBL (Servant-Miklos2018).
마침내, 개인적인 일화적 증거의 출처로서, 몇 년 전 저자는 델라웨어의 병원 시스템에 의해 맥매스터로부터 의뢰받은 EBM 워크숍의 일부였다. 교수진의 만찬이 진행되는 동안, 그들 중 한 명이 무심코 그 단체에 물었다: "당신은 개인적으로 우리가 가르치고 있는 처방prescription을 실제 진료에 사용한 적이 있는가?" 질문을 한 개인을 포함한 그룹의 모든 구성원들은 그들이 한 번도 실제로 그런 적이 없었다고 인정했다. 이 작가는 그 에피소드를 되새기며 그룹의 대답이 자신에게도 적용된다는 사실을 곰곰이 생각해 보았다. 이것은 교수 그룹의 구성원들이 그들 자신의 임상 실습 과정에서 현재의 연구 결과를 망각했다는 것을 의미하지 않으며, 맥마스터 경험에서 배운 중요한 평가 기준의 관련성을 간과했다는 것을 의미하지 않는다. 오히려 그것은 그들이 'EBM 패러다임'으로 가르치고 있는 [단계적 합리주의적 rubric]이 [증거 기반 임상 실습과 관련된 인지 과정]과는 [기껏해야 매우 간접적인 관계]만을 가지고 있다는 것을 시사했다.
Finally, as a personal anecdotal source of evidence, some years ago the author was part of an EBM workshop that had been commissioned from McMaster by a hospital system in Delaware. In the course of a faculty dinner, one of them casually asked the group: “Have you personally ever used the prescription we are teaching-formatting a question, doing a search etc.- in actual practice”? All members of the group, including the individual who asked the question, admitted that they had never-not once-actually done that. This author reflected on that episode and pondered the fact that the group’s answer applied to himself as well. This does not mean that the members of the faculty group were oblivious to current research findings in the course of their own clinical practice, nor that they overlooked the relevance of the critical appraisal criteria they had learned from the McMaster experience. Rather it suggested that, at best, the stepwise rationalistic rubric that they were teaching as ‘the EBM paradigm’ had only a very indirect relationship to the cognitive processes involved in evidence-informed clinical practice.
건설적인 PBL 환경에 문학 기술 도입 Bringing literature skills into a constructivist PBL environment
PBL 개념의 진화에 대한 지난 30년간의 경험, 지식과 정보가 임상 실습에서 어떻게 접근하고 사용되는지에 대한 관찰, 그리고 다양한 환경에서 EBM 기술을 가르친 경험에 대한 경험은 EBM이 심각한 업데이트가 필요하며, 아마도 새로운 이름이 필요할 것임을 시사한다. 몇 가지 구체적인 제안이 뒤따른다. The last 3 decades of experience of the evolution of the concept of PBL, of observations of how knowledge and information are accessed and used in clinical practice, and of the experience of teaching EBM skills in various settings, suggests that EBM is in serious need of an update, and probably a new name. A few specific suggestions follow.
1990년대에 "증거 기반 의학"이라는 라벨이 폭발적으로 보급된 것은 [EBM이 제공하는 것으로 보이는seemed to 것]이 필요했기 때문이다. 교육 이니셔티브로서 EBM의 호소를 부분적으로만 반영하였다(Eddy 2005). 지난 몇 년 동안, 많은 사람들은 "evidence-based medicine"이라는 용어가 오해의 소지가 있다고 인식해 왔다. 게다가, 용어 자체는 의학 교육과는 무관한 많은 의미를 가지고 있다(Djulbegovic and Guyatt 2017; Wyer and Silva 2015).
The explosive dissemination of the label “evidence-based medicine” in the 1990s happened because what EBM seemed to offer was needed. It only partially reflected the appeal of EBM as an educational initiative (Eddy2005). Over the years, many have perceived the term “evidence-based medicine” to be misleading. Furthermore, the term itself has taken on many meanings unrelated to medical education (Djulbegovic and Guyatt2017; Wyer and Silva2015).
EBM과 관련된 학습 요구가 계속 존재하는 것은 [의료 시스템 내에서 임상 연구의 확장된 역할의 결과]에 기인한다. 이를 인식하여, EBM이 원래 제공하려고 했던 것 중 가치 있고 필요한 것, [즉 연구 문헌을 비판적으로 읽고, 전자 데이터베이스를 효과적으로 사용할 수 있는 능력]을 [임상 지식과 경험의 중요성을 무시하지 않으면서], [개념적으로 실행 가능한 프레임워크에 통합할 수 있어야] 한다.
The learning needs related to EBM continue to exist as a result of the expanded role of clinical research within the healthcare system. Recognizing this, it should be possible to integrate what is valuable and needed among the original offerings of EBM, namely the ability to critically read research literature and to effectively use electronic databases, into a conceptually viable framework without discrediting the importance of clinical knowledge and experience.
환자 중심의 관리를 개별 환자에게 전달하는 맥락에서, [관련 임상 연구의 일상적인 고려]는 임상 의학 교육에 대해 특이하게 정의된 패러다임을 요구하지 않는다. 이는 의료행위의 대안적 인식론alternative epistemologies 없이도 달성 가능해야 한다. 교육적 맥락에서 "EBM"이라는 용어의 사용을 포기할 때가 된 것일지도 모른다. 그보다는 이 분야에서 [실제 학습 목표와 기술 개발의 역할에 더 부합하는 용어]를 선택해야 한다.
The routine consideration of relevant clinical research in the context of delivering patient-centered care to individual patients does not require a uniquely defined paradigm for the teaching of clinical medicine. It should be achievable without the need for alternative epistemologies of medical practice. It may well be time to abandon use of the term “EBM” in the educational context in favor of terminology more in keeping with the actual learning objectives and roles of skill development in this area.
(우리가 PBL에 대한 Maastricht 접근 방식에서 나온 새로운 경험으로 인해 도전받은) [사전, 통합된, 지식인출의 학습 모델]을 수용한다면 임상 연구 증거는 임상 치료 정보를 형성하는 하나의(그저 여러 정보 중 하나에 불과한) 것이 된다. 또한 Boyd가 고품질 임상 지침의 권고사항을 여러 건강 조건을 가진 환자의 요구와 비교함으로써 증명했듯이, [고품질 임상 가이드라인의 권고 정보]는 실제 세계 의료와 종종 [매우 간접적]이다. If we accept the learning model of retrieval of prior, integrated, knowledge challenged by new experience that emerged from the Maastricht approach to PBL (Servant-Miklos2018), then clinical research evidence emerges as one, and only one, source of information shaping clinical care. Furthermore, as Boyd et al. (2005) demonstrated by comparing the recommendations of high quality clinical guidelines to the needs of patients with multiple health conditions, that information is frequently very indirect in its relevance to real world healthcare.
[직접적인 임상 기술에 보조적인 전문 기술 영역의 숙달]을 촉진하는 방법에 관해서 지속적으로 문제가 발생하는 이유는, [즉각적인 적용과 분리된 컨텍스트] 또는 [주로 그것들이 궁극적으로 적용될 프레임워크와 유사한 것analogous] 속에서 습득하려고 시도했기 때문이다. [저널 클럽]과 같은 [은신처 환경sheltered setting]에서 습득한 EBM 관련 기술을 [실무 환경]으로 전이하려는 노력은 대부분 성공적이지 못했다. 따라서, 임상 연구 문헌에 대한 인식을 높이기 위한 우리의 노력이 환자에게 의료 서비스를 제공하는 데 적극적으로 기여하려면, [학습 환경 자체]가 [실무적 의사 결정에 통합되는 과정]을 훨씬 더 잘 반영해야 할 필요가 있는 것으로 보인다. [(학습의 vehicle로 사용되는) 문제의 일차적인 초점]이 [실제 복잡성을 반영하는 임상적 상황으로 시작되어 유지되는 PBL 접근 방식]은 이상적인 출발점을 구성하는 것처럼 보일 것이다. Gabbay와 Le May(2004)의 연구에서 보여주듯이, [임상 연구와 가이드라인]이 [임상의료행위를 형성, 변경 또는 강화하는 과정]은 [사회적으로 매개되는 과정]이기 때문에, 관련 기술 세트의 습득은 [순수하게 개인적인 것]이 아니라 [그룹의 단위에서 가장 잘 프레임화] 될 가능성이 높다. A perennial issue regarding how best to facilitate the mastery of specialized skill domains which are ancillary to direct clinical skills is whether to attempt to acquire them in a context divorced from immediate application or primarily within a framework analogous to that within which they will ultimately be applied. Efforts to transfer EBM related skills acquired in sheltered settings, such as journal clubs, to practice settings have been largely unsuccessful. Hence, it would seem that, if our efforts to enable enhanced awareness of the clinical research literature are to make an active contribution to the delivery of healthcare to patients, the learning environment needs to itself preponderantly reflect the process of integration into practice decisions. A PBL approach in which the primary focus of the problem being used as the learning vehicle begins with and remains a clinical situation mirroring real-world complexity would seem to constitute an ideal point of departure. Since, as shown by the research of Gabbay and Le May (2004) the process through which clinical research and guidelines shapes, alters or reinforces clinical practice is a socially mediated one, the acquisition of relevant skill sets is also likely best framed as a group, as opposed to a purely individual, undertaking.
임상 교육자들은 [임상의료에서 문헌을 활용하는 기술을 훈련시키는 목표]가 [문헌의 출판 가능한 평가를 수행하는 역학자와 과학 리뷰어의 목적]과 매우 다르다는 것에 안심해도 된다. 대부분의 임상의들이 연구 문헌의 방법론적 평가의 뉘앙스에 거의 관심이 없다는 것은 얼마 전 EBM 운동에 의해 인정되었다(Guyatt et al. 2000)임상의에게 필요한 것은 오히려 [비판적 평가 원칙critical appraisal principles]과, [연구 설계의 결함이 어떻게 연구 결과를 무효화할 수 있는지]에 대한 실무적인 친숙함이다. Clinical educators need to be reassured that the goals of training clinical learners in literature skills are very different from those of equipping epidemiologists and scientific reviewers to do publishable appraisals of the literature. That the great majority of clinicians have little interest in the nuances of methodological appraisal of research literature was acknowledged by the EBM movement some time ago (Guyatt et al.2000). What clinicians need is rather a working familiarity with critical appraisal principles and the ways that flaws in research design may invalidate study findings.
임상 실무의 맥락에서 [임상 연구의 신중한 고려judicious consideration에 필요한 기술]이 [임상 기술과 전문지식의 발전에 보조적]이라는 점을 고려하면, 학부 수준의 의학교육과 그에 상응하는 다른 분야들이 그러한 노력을 위한 가장 효과적인 학습장을 구성하는 것처럼 보일 것이다. Considering that the skills required for judicious consideration of clinical research in the context of clinical practice are ancillary to the development of clinical skills and expertise, the undergraduate level of medical education and its equivalent in other disciplines would seem to constitute the most effective learning venue for such efforts.
Adv Health Sci Educ Theory Pract.2019 Dec;24(5):865-878.
doi: 10.1007/s10459-019-09921-5.Epub 2019 Oct 15.
Evidence-based medicine and problem based learning a critical re-evaluation
Evidence-based medicine (EBM) has been the subject of controversy since it was introduced in 1992. However, it has yet to be critically examined as an alternative paradigm for medical education, which is how it was proposed. This commentary examines EBM on the terms on which it was originally advanced and within the context that gave rise to it, the problem-based learning (PBL) environment at McMaster University in the 1970s and 80s. The EBM educational prescription is revealed to be aligned with the information processing psychology (IPP) model of learning through acquisition of general problem solving skills that characterized the early McMaster version of PBL. The IPP model has been identified in the literature as discordant with an alternative, constructivist, model that emerged at Maastricht University in the Netherlands over the subsequent period. Strengths and weaknesses of EBM are identified from the standpoint of the underlying cognitive theories. Principles are proposed with which to guide an educationally viable approach to learning and teaching the valuable skills included within the original EBM formula.
Keywords:Evidence based medicine; Medical education; Problem based learning.
문제해결능력 vs 지식습득: 두 PBL 분파의 역사적 논쟁(Adv in Health Sci Educ, 2019)
Problem solving skills versus knowledge acquisition: the historical dispute that split problem‑based learning into two camps Virginie F. C. Servant‑Miklos1,2
도입 Introduction
2009년 슈미트 외 연구진은 북미 및 그 이상의 의과대학에서 사용하는 문제 기반 학습PBL 커리큘럼은 한 가지가 아니라 여러 유형이 있다는 것을 인정하였다. 주로, 다음처럼 구별했다.
유형 1 커리큘럼: 학생들이 문제의 근본적 현상에 대한 "정신적 모델mental model"을 생성하도록 요구받는 것
유형 2 커리큘럼: 문제 해결과 임상 추론 능력에 초점을 맞춘 학생들이 '의사 역할play doctor'를 하는 것
In 2009, Schmidt et al. (2009) acknowledged that there was not one but several types of problem-based learning curricula being used by medical schools in North America and beyond. Primarily, they distinguished between what they called
Type 1 curricula, in which students are asked to generate a “mental model” of phenomena underlying a problem, and a
Type 2, in which students “play doctor”, focusing on problem-solving and clinical reasoning skills.
단순성을 위해, 우리는 전자를 [지식 습득 모델], 후자를 [문제 해결 기술 모델]이라고 부른다.
For the sake of simplicity, we shall refer tothe former as the Knowledge Acquisition model, andthe latter as the Problem-Solving Skills model.
슈미트와 동료들이 설명하지 않은 것은 맥마스터 의과대학의 1969년 선구자적 프로그램으로서, single source로 시작한 PBL의 세계가 어떻게 이 단층선을 따라 나뉘게 되었는가 하는 것이다. 이야기는 다음과 같이 요약될 수 있다: 제2차 세계 대전 이후, 고등 교육은 서구 세계에서 유례없는 성장을 경험했다. 풍부한 재정 자원과 반권위주의의 고조되는 흐름과 결합되어, 그것은 다양한 분야에서 많은 혁신적인 고등 교육 프로그램의 탄생과 발전에 기여했다.
What Schmidt and colleagues did not explain is how, issued from a single source, namely McMaster University Medical School’s 1969 pioneering programme, the world of PBL came to be divided along this fault-line. The story can be summarised as follows: in the period after the second World War, higher education experienced an unparalleled growth around the western world, which, combined with bountiful financial resources and a rising tide of anti-authoritarianism, contributed to the birth and development of many innovative higher education programmes in various disciplines.
독일과 덴마크에서는 사회과학과 인문학에서 비판 이론에 기반을 둔 [문제 지향 교육]이 등장했고, 이후 공학에서는 주류 학문에 대한 도전으로 부상했다(서번트 미클로스 및 스플리이드 2017).
비즈니스 교육에서는 [하버드 케이스 방식이] 국제적인 관심을 끌었다(Garvin 2003).
의학교육에서는 웨스턴-리저브 대학이 선도적인 장기계통 기반 접근 방식을 개척했는데, 이는 PBL의 직접적인 조상이다(Williams 1980).
In Germany and Denmark, problem-oriented education grounded in critical theory emerged in social sciences and humanities, and later engineering, as a challenge to mainstream didactics (Servant-Miklos and Spliid2017);
in business education, the Harvard Case Method gained international traction (Garvin2003);
in medical education, Western Reserve University pioneered an organ systems-based approach, a direct ancestor to PBL (Williams1980).
1966년과 1972년 사이에 캐나다의 창의적인 의학 교육자들이 새로운 학부 의학 교육 프로그램을 시작하는 임무를 띠고 [맥매스터 의과대학]의 설립자인 딘 에반스 박사를 중심으로 모였다.
그들은 전통적인 학교를 개설하는 대신 소규모 그룹, 자기 주도, 문제 기반 학습 커리큘럼을 개발하기로 결정하면서 의학교육계를 강타했다(1991년 스폴딩).
맥마스터 의과대학에서 학생들은 (강사가 아닌 과정가이드 역할을 하는) 튜터의 지도 아래 생의학문제로 학습을 시작하여, 학생들이 대부분의 공부를 자기 스스로의 시간(1968년 스폴딩)에 하게 되었다.
Between 1966 and 1972 a group of creative Canadian medical educators assembled around McMaster Medical School’s founding Dean Dr. John Evans with the mission to start a new undergraduate medical education programme.
They took the medical education world by storm when instead of opening a traditional school, they decided to develop a small-group, self-directed, problem-based learning curriculum (Spaulding1991).
Their students began their learning with biomedical problems under the guidance of a tutor who acted as a process guide rather than a lecturer, leaving students to do most of the studying in their own time (Spaulding1968).
슈미트가 기고할 때까지 500개 이상의 의과대학이 어떤 형태의 PBL(Moust et al. 2007)을 사용하고 있었으며, 대다수가 [문제 해결 스킬 버전]을 사용하고 있었으며, 상당한 소수 의과대학은 [지식 획득 버전]을 사용하고 있었다. 이 중분류는 과학 문헌에서 후자가 [종종 전자의 희생을 감수해가며] 지위를 얻어냈다는 것을 고려할 때 흥미롭다.
By the time of Schmidt’s article, over 500 medical schools were using some form of PBL (Moust et al.2007), the majority using the Problem-Solving Skills version, and a substantial minority the Knowledge Acquisition version. This division is interesting considering the substantial support that the latter position has gained in the scientific literature, often at the expense of the former—a support that this paper will surely reinforce.
맥마스터 실험에서 이 두 번의 반복이 어떻게 나타났을까요? 이 두 버전 간의 차이점은 무엇이며, PBL의 실행 방식과 관련하여 이것이 어떻게 수행됩니까? 왜 이 차이가 의학교육에 중요한가? 이 논문은 구술 역사 인터뷰, 맥마스터 대학과 마스트리히트 대학의 기록 보관소 및 현대 출판물의 역사 데이터를 사용하여 이러한 질문에 답하려고 노력할 것이며 의학 교육에서 약간 알려졌지만 매우 중요한 차이를 조명할 것이다.
How did these two iterations emerge from the McMaster experiment? What is the difference between these two versions, and how does this play out in terms of the way PBL is conducted? Why does this difference matter for medical education? Using historical data from oral history interviews, archives from McMaster University and Maastricht University and contemporary publications, this paper will try to answer these questions and shed light on a little known but highly significant divide in medical education.
본 논문의 연구는 역사적 사건과 그것을 경험한 사람들에 의해 그것들에 기인하는 의미를 이해하기 위해 삼각 측량된 세 가지 유형의 일차 소스로부터 증명된 역사적 데이터에 대한 귀납적이고 헤르메뉴틱한 접근법을 사용하여 수행되었다. 이 세 가지 출처는 맥마스터 대학교와 마스트리히트 대학교에서 영어로 인터뷰한 주요 증인들의 구술 역사 계정이었다; 맥마스터 대학교, 마스트리히트 대학교, 림버그의 리즈크사키프, 그리고 전직 교사, 학생, 관리자, 그리고 두 기관의 개인 소장 기록과 컨템포러리.중고 시장을 통해 또는 저자로부터 직접 취득한 출판물 및 절판 도서 및 저널. 사건, 그 의미, 해석은 해석을 뒷받침할 수 있는 독립적 출처의 수에 따라 가중치가 부여되었다. 구술사 계정에서 증인의 회상과 서면 기록 사이에 갈등이 발생한 경우, 그 반대의 경우 압도적인 구술사적 증거가 없는 한 서면 기록이 우선시되었다. 이 논문을 쓸 때, 맥마스터와 마스트리히트에서 일어난 일에 대한 서술적 역사를 제공하기보다는 중요한 역사적 전개를 해석하고 분석하는 데 중점을 두었다. The research for this paper was done using an inductive and hermeneutic approach to historical data in provenance from three types of primary sources that were triangulated to make sense of the historical events and the meanings ascribed to them by those who experienced them. These three sources were oral history accounts from primary witnesses, who were interviewed in English on site at McMaster and Maastricht Universities; archival records from McMaster University, Maastricht University, the Rijksarchief in Limburg and the private collections of former teachers, students and managers and both institutions, and contemporary publications and out-of-print books and journals that were acquired via the second-hand market or directly from the authors. Events, their meanings and interpretations were given weight according to how many independent sources could support the interpretation. Where a conflict emerged between the recollections of a witness in an oral history account and a written record, the written record was given precedence unless there was overwhelming oral historical evidence to the contrary. In writing this paper, the focus was on interpreting and analysing an important historical development rather than on providing a descriptive history of what happened at McMaster and Maastricht.
왜 원래의 McMaster 모델에서 두 번의 PBL 반복이 나타났는가? Why did two iterations of PBL emerge from the original McMaster model?
PBL에 대한 두 가지 다른 해석이 맥마스터의 원래 실험에서 어떻게 나타났는지를 이해하기 위해서는 1969년 맥마스터 프로그램이 (종종 주장되어 온 것처럼) 교육적 이론 원칙을 실현하기 위해 설계되지 않았다는 것을 이해하는 것이 중요하다. 맥마스터 대학의 PBL 설립자 5명은 선구자이자 혁신가였지만 교육 이론가는 아니었다. 1966년, 존 에반스 박사는 PBL의 설립원칙이 된 한 페이지 분량의 아이디어 목록을 작성했지만, 목록에 대한 항목의 선택을 정당화하는 의미 있는 어떤 것도 작성하지 않았다. (Evans 1966). 목록에는 다음과 같은 내용이 있습니다. To understand how two different interpretation of PBL emerged from the original experiment at McMaster, it is important to understand that the 1969 McMaster programme was not designed as a realisation of educational theory principles, as has often been claimed. The five founding fathers of PBL at McMaster University were pioneers and innovators, but not education theorists. In 1966, Dr. John Evans drafted a one-page bullet-pointed list of ideas which became the founding principles of PBL, but he never wrote anything significant to justify his choice of items for the list (Evans1966). The list read as follows:
"다음은 McMaster가 프로그램의 졸업자가 취득하거나 개발하기를 원하는 지식, 능력 및 태도의 측면에서 표현된 McMaster M.D. 프로그램의 목표의 개요입니다. “The Following is an outline of the objectives for the McMaster M.D. Programme as expressed in terms of knowledge, abilities and attitudes that McMaster would like a graduate of the programme to have acquired or developed:
1. 건강 문제를 식별 및 정의하고, 이러한 문제를 해결하거나 관리하기 위한 정보 검색 기능. 2. 건강에 문제가 있을 경우, 기초적인 신체적 또는 행동적 메커니즘을 조사한다. […] 3. 직업생활에 필요한 개인적 특성과 태도를 인식, 유지, 개발하는 능력[…] 4. 환자의 신체적, 정서적, 사회적 측면을 포함하여 환자의 건강 문제를 정의하고 관리하는 데 필요한 임상 기술 및 방법 5. 자기 주도 학습자가 되는 능력, 개인 교육 필요성 인식, 적절한 학습 리소스 선택 및 진행률 평가. 6. 개인 및 기타 보건 전문가의 전문 활동 평가 7. 학습, 연구 또는 의료 분야에 종사하는 소규모 그룹의 생산적인 구성원으로 기능한다. 8. 다양한 의료 환경에 대해 인식하고 작업할 수 있어야 합니다."
The ability to identify and define health problems, and search for information to resolve or manage these problems.
Given a health problem, to examine the underlying physical or behavioural mechanisms. […]
The ability to recognize, maintain and develop personal characteristics and attitudes required for professional life […]
The clinical skills and methods required to define and manage health problems of patients, including their physical, emotional and social aspects.
The ability to become a self-directed learner, recognizing personal education needs, selecting appropriate learning resources and evaluating progress.
To assess professional activity, both personal and that of other health professionals
To function as a productive member of a small group, which is engaged in learning, research or healthcare.
To be aware of and able to work in a variety of health care settings.”
우리가 아는 한, 존 에반스의 주요 영감의 원천은 플렉스너 보고서(McAuley 1979)였지만, 강의 기반의 의학교육의 시대에 대한 일반적인 진술 이상의 것을 발췌하는 것은 확대해석일 것이다.
에반스의 오른팔 빌 스펄딩은 가끔 16세기 인문학자 요하네스 코메니우스(1968년 스폴딩)에 대해 곰곰이 생각했지만, 맥매스터 교육위원회의 의장으로서 스펄딩의 역할은 교육철학자라기보다는 실무 기획자nuts-and-bold planner에 가까웠다.
건국 아버지들 중 가장 창조적인 인물인 짐 앤더슨은 인문학적 원리에 의해 영감을 받았을지 모르지만, 그는 교육 심리학자가 아닌, 정말로 영감을 받은 해부학자였다. (Barrows 1996a, b).
교육 위원회의 마지막 두 멤버인 Fraser Mustard와 Bill Walsh는 그 당시 고등 교육계에서 널리 퍼져 있던 것 이상의 책을 읽지 못했다 - 즉 Mager's Behavior Objects(Mager 1962년)와 Knowles의 자기 주도 학습(Knowles 1975년)
As far as we know, his main source of inspiration was the Flexner report (McAuley1979), but extracting from this anything more than general statements about the outdatedness of lecture-based medical education would be a stretch.
Evans’ right-hand man Bill Spaulding occasionally mused about the 16th Century humanist Johannes Comenius (Spaulding1968), but Spaulding’s role as the Chair of McMaster’s Education Committee was more that of a nuts-and-bolt planner than an education philosopher.
Jim Anderson, possibly the most creative of the founding fathers, may have been inspired by humanistic principles, but he was really an inspired anatomist, not an education psychologist (Barrows1996a,b).
Neither of the final two members of the Education Committee—Fraser Mustard and Bill Walsh—had read much beyond what was widely circulating in higher education circles at the time; namely Mager’sBehaviour Objectives(Mager1962) and the work of Knowles on self-directed learning (Knowles1975).
[프로그램에 대한 강력하고 일관된 이론적 토대가 없다는 것]은 맥마스터 실험이 [영리하게 조작된 교육 아이디어의 응용보다는 지속적인 개발에서 시행착오 과정에 가깝다는 것]을 의미했다. "문제 기반 학습problem-based learning"이라는 용어가 1974년(Neufeld and Barrows 1974년)까지 인쇄되지coined in print 않았다는 사실은 후자가 그들이 무엇을 하고 있었는지에 대한 웅대한 전문용어 진술에 얼마나 관심이 없었는지를 보여준다. 현대 저널 출판물의 리뷰 (Campbell 1973; Neufeld and Spaulding 1973; Spaulding 1973; Spaulding 1973; Spaulding 1973; Spaulding 1969; Spaulding 1969)는 세 가지를 보여준다:
첫째, 초기에는 PBL에 대해 거의 발표되지 않았다;
둘째, 작성된 것이 있다면, 그것은 교육 위원회에 속해있지 않은 교수들을 위한 것이다.
셋째, 발표된 원고들은 분석적이기보다는 서술적인 경향이 있다.
The lack of strong and coherent theoretical underpinnings for the programme meant that the McMaster experiment was more of a trial-and-error process in constant development than an application of cleverly crafted educational ideas. The fact that the term “problem-based learning” wasn’t coined in print until 1974 (Neufeld and Barrows1974), and not by any of the founding fathers, goes to show just how uninterested the latter were in making grand jargonistic statements about what they were doing. A review of contemporary journal publications (Campbell1973; Neufeld and Spaulding1973; Spaulding and Neufeld1973; Spaulding1969) shows three things:
firstly, that very little was published about PBL in its early years;
secondly, that what was written tended to be by faculty who were not part of the original education committee; and
thirdly, that the articles that were published tended to be descriptive rather than analytic.
이것은 PBL이 무엇이었는지 또는 무엇을 위한 것인지에 대한 명확한definitive 진술이 없다는 것을 의미했고, 설립자 아버지들이 교육 위원회를 떠났을 때( 1972년 학장직을 사임한 존 에반스부터) PBL의 개념은 [스스로 이론적 공백을 메워간 후대의 예언자]들의 펜 아래서 자신의 삶을 살았다. 그리고 종종 PBL이 무엇에 관한 것인지에 대한 상충되는 해석들이 존재하였다.
This meant that there was no definitive statement of what PBL was or what it was for, and when the founding fathers left the Education Committee—beginning with John Evans who resigned as Dean in 1972—the concept of PBL took on a life of its own under the pen of later prophets who filled the theoretical void with their own, often conflicting interpretations of what PBL was about.
[문제 해결 스킬]과 [지식 획득] 접근법의 구분의 중심에 있는 논쟁은 정확히 맥매스터의 founder들이 남긴 이론적 틈새의 산물이다. 이 논쟁은 1970년대 후반과 1980년대에 PBL의 가장 다작한 이론가들 사이에서 일어났다.
캘리포니아에서 온 신경학자 하워드 배로우 박사는 1968년 맥매스터에 안식휴가로 왔다가 1971년부터 1981년까지 교수 명부에 합류했다.
1974년 마스트리히트 대학의 PBL 프로그램을 시작할 때 교육 연구 개발부의 일부로 고용된 네덜란드의 심리학자 헨크 슈미트(Henk Schmidt)가 있다.
The dispute at the heart of the division between the Problem-Solving Skills and the Knowledge Acquisition Approach is precisely the product of the theoretical chasm left by McMaster’s founders. This dispute played out in the late 1970s and 1980s between two of PBL’s most prolific theorists:
Dr. Howard Barrows, a neurologist originally from California who came to McMaster on sabbatical in 1968 and joined the faculty roster from 1971 until 1981; and
Henk Schmidt, a Dutch psychologist who was hired at the start of Maastricht University’s PBL programme in 1974 as part of the Department of Education Research and Development.
Maastricht 프로그램은 McMaster에서 각색되었지만 다음과 같은 몇 가지 주목할 만한 차이를 보여주었다.
튜터와 학생에 대한 체계적인 훈련 포함(Schmidt 1977a, b),
임상 기술 훈련을 위한 "skills lab"의 개발(Bartholomeus 1977),
PBL 방법을 7단계로 코드화(Schmidt et al. 1979),
환자 사례(만 사용하기)보다는 생물의학적 문제의 사용
교육연구개발부의 연구비 배정
The Maastricht programme was adapted from McMaster but sported some notable differences, such as
the inclusion of systematic tutor and student training (Schmidt 1977a, b),
the development of a “skills lab” for clinical skills training (Bartholomeus 1977),
the codification of the PBL method into seven steps (Schmidt et al. 1979),
the use of biomedical problems rather than (only) patient cases (Schmidt et al. 1979), and
the allocation of research funds for a Department of Educational Research and Development (Rijksuniversiteit Limburg 1972).
이 부서는 심리학자이자 평가 전문가인 Dr. Wynand Wijnen에 의해 공식적으로 운영되었지만, 실제로 PBL에 대한 초기 연구의 대부분은 Henk Schmidt와 그의 동료 Peter Bouhijs에 의해 이루어졌다. 하워드 배로우스는 때때로 마스트리히트의 방문자이자 조언자였고, 슈미트는 맥매스터의 초대 손님이었지만, PBL에 대한 그들의 시각의 차이는 대부분 서류상으로 나타났다.두 작가 모두 1980년에 PBL에 관한 그들의 첫 번째 주요 저서 (Barrows and Tamblyn 1980; Schmidt and Bouhuijs 1980)를 썼고, 그 무렵에 이미 그들의 학문적 차이는 해소할 수 없는 인식론적 차이로 결정되었다. 이는 바로우스와 슈미트의 지식이 무엇인지, 그것이 어떻게 구성되고 문제 해결에 어떻게 사용되는지에 대한 이해가 다를 뿐만 아니라, 근본적으로 모순되어 두 입장이 중간에 조정될 수 없다는 것을 의미한다. 즉, 다음 절에서 설명하듯이 두 가지 입장을 한꺼번에 취할 수는 없다.
Although this department was officially run by the psychologist and assessment specialist Dr. Wynand Wijnen, in practice most of the early research on PBL was done by Henk Schmidt and his colleague Peter Bouhuijs. Howard Barrows was an occasional visitor and advisor to Maastricht, and Schmidt an occasional guest at McMaster, but their divergence of perspective on PBL played out mostly on paper. Both authors wrote their first major book on PBL in 1980 (Barrows and Tamblyn1980; Schmidt and Bouhuijs1980), and by that time their academic differences had already crystallised into an unbridgeable epistemological gulf. This means that Barrows and Schmidt’s understanding of what knowledge is, how it is constructed and how it is used in problem-solving was not only different, but fundamentally contradictory, such that the two positions could not be reconciled in the middle—one cannot take both positions at once, as the next section will explain.
[문제 해결 기술]과 [지식 습득 접근] 방식 사이의 차이점은 무엇입니까? What is the difference between the problem-solving skills and the knowledge acquisition approach?
두 버전의 PBL 이면의 지적 논쟁의 핵심은 [PBL을 하는 학습자에게 일어나는 일]에 대한 두 가지 다른 해석에 있다.
한 쪽에는, Barrows가 이끄는 일부 사람들은 PBL의 학습자들이 "가설연역적 추론"이라고 불리는 과정을 통해 "임상적 추론 기술"을 연마하고 있다고 믿었다(Elstein et al. 1978). 우리는 이것을 PBL에 대한 [문제 해결 기술 접근법]이라고 부른다.
슈미트가 이끄는 다른 이들은 PBL의 학습자들이 [문제 안에서 묘사되는 상황의 [근본적인 현상을 이해]하기 위해 문맥에 얽매인 문제에 의해 트리거된다]고 믿었다. 이를 PBL에 대한 [지식 획득 접근법]이라고 합니다.
The crux of the intellectual dispute behind the two versions of PBL lies in two differing interpretations of what happens to the learner who is engaged in problem-based learning.
On the one hand, some, led by Barrows, believed that the learners in PBL were honing “clinical reasoning skills” (Barrows and Tamblyn1980) through a process called “hypothetico-deduction” (Elstein et al.1978). We refer to this as the Problem-Solving Skills approach to PBL.
Others, led by Schmidt, believed that learners in PBL were triggered by context-bound problems to understand the phenomena underlying the situation described in therein. We refer to this as the Knowledge Acquisition approach to PBL.
두 가지 접근법 모두 1956년에 시작된 심리학에서의 인지 혁명의 산물이다. 50년대는 행동주의의 전성기였지만, 제롬 브루너, 앨런 뉴웰, 허버트 사이먼, 노암 촘스키와 같은 인물들이 모인 MIT 심포지엄에서 (행동과 조건화 연구가 아닌) [정신 과정mental process]에 기초한 심리학의 새로운 해석이 탄생했다(밀러 2003). 브루너와 밀러스의 초기 인지 연구는 비교적 고립되어 진행되었지만, 행동주의 낙타의 등을 부러뜨린 짚은 1956년 촘스키의 언어학 논문 (촘스키 1956, 1967년)이었다; 그것은 순수 행동주의 계정이 문법 습득을 설명할 수 없다는 것을 보여줌으로써 언어 습득에 대한 행동주의자들의 이해를 무너뜨렸다. 촘스키의 선구적인 논문은 일부 사람들이 인지심리학 최초의 연구 중 하나로 간주하는 것을 위한 길을 닦았다. 1956년 브루너, 굿나우, 오스틴의 생각 연구 (Bechtel et al. 2001; Bruner et al. 1956년) Both approaches are the product of the Cognitive Revolution in psychology, which began in 1956. The ‘50s were the heyday of behaviourism, but at an MIT symposium which brought together figures such as Jerome Bruner, Allen Newell, Herbert Simon and Noam Chomsky, a new interpretation of psychology was born that was based not on the study of behaviours and conditioning, but of mental processes instead (Miller2003). While Bruner and Millers’ early work on cognition proceeded in relative isolation, the straw that broke the behaviourist camel’s back was Chomsky’s1956paper on linguistics (Chomsky1956,1967); it demolished the behaviourist understanding of language acquisition by showing that a purely behavioural account could not explain grammar acquisition. Chomsky’s pioneering paper paved the way for what some regard as one of the first works of cognitive psychology:A Study of Thinkingby Bruner, Goodnow and Austin, from 1956 (Bechtel et al.2001; Bruner et al.1956).
하지만, 1956년에 미국 심리학에 대한 행동주의의 고삐를 깬 바로 그 사람들은 또한 인지심리학이 시작부터 1990년대까지 분열된 분열의 저자들이었습니다.
한 쪽에서는, [컴퓨터 운영체제의 작동으로부터 영감을 받았고, 인간의 문제 해결이 단순히 시행착오로 이해될 수 있다는 믿음을 거부하던 컴퓨터 과학의 초창기에], 두 젊은 컴퓨터 과학자인 뉴웰과 사이먼(1972)은 인지심리학 버전을 만들었다. 이들은 [일반적 문제 해결자general problem-solver]에 대해서 [문제 해결 능력이란 내용 지식과는 무관한 것]이라고 보았고, 이는 정보처리심리학(Information-processing psychology, IPP)으로 알려지게 되었다.
반면에 스위스의 심리학자 장 피아제와 그의 스키마 이론 (Piaget 2003)에 의해 영감을 받아, 처음에 제롬 브루너의 기치 아래 모인 작가들은, [지식 획득에서 현존하는 지식의 활성화의 역할]에 관련된 인지 심리학 분과를 개발하였다; 이것은 구성주의 심리학으로 알려지게 되었다.
And yet, the very people who broke the hold of behaviourism on American psychology in 1956 were also the authors of a schism that divided cognitive psychology from its very beginnings until the 1990s.
On the one hand, at the dawn of computer science, inspired by the workings of computer operating systems and refusing to believe that human problem-solving could be understood simply as trial-and-error, the two young computer scientists Newell and Simon (1972) produced a version of cognitive psychology that thought of people as general problem-solvers whose problem-solving skills were independent of their content knowledge; it became known as information-processing psychology (IPP).
On the other hand, inspired by the Swiss psychologist Jean Piaget and his Schema Theory (Piaget2003), authors initially rallying under Jerome Bruner’s banner developed a branch of cognitive psychology concerned with the role of the activation of existing knowledge in knowledge acquisition; this became known as constructivist psychology (Hergenhahn2001).
이렇게 인지심리학이 조화불가능한 두 부분으로 나뉜 것이 바로스와 슈미트 사이의 의견 불일치를 위한 길을 닦았습니다.
The division of the Cognitive Psychology movement into these two irreconcilable halves paved the way for the disagreement between Barrows and Schmidt.
Howard Barrows와 PBL에 대한 문제 해결 기술 접근 방식 Howard Barrows and the problem-solving skills approach to PBL
비록 자신은 몰랐을지라도, Barrow가 가지고 있던 PBL 접근에 대한 영감은 IPP 사상의 학파에게 빚을 지고 있다. IPP는 1955년 뉴웰과 사이먼이 [(컴퓨터와 마찬가지로) 인간의 마음이 일반적인 문제 해결 장치로 작용]한다는 전제에서 인지 심리학에 대한 연구를 시작했을 때 태어났다. (뉴웰 외 1958년) 그들은 [문제 해결 과정]이 문제 공간을 형성하는 여러가지 경험적 경로의 집합에서 구성되며, [문제의 내용]과 독립적으로 고려되어야 한다고 믿었다. 뉴웰과 사이먼의 연구 목표는 "인간 처리 시스템"(뉴웰과 사이먼 1972년) 내의 불변 특성을 식별하는 것이었다.
Although he may not have known it, Barrows owed the inspiration for his approach to PBL to the IPP school of thought. IPP was born in 1955, when Newell and Simon began their work in cognitive psychology from the premise that like computers, the human mind acts as a general problem-solving device (Newell et al.1958). They believed that the process of solving a problem consisted in a collection of heuristic pathways that together formed a problem space and should be considered independently of the content of the problem. Newell and Simon’s research objective was to identify the invariant characteristics within the “Human Processing System” (Newell and Simon1972).
IPP는 1970년대에 대유행이었지만 1980년대에 이르러서는 난관에 봉착했다.
첫째, 방법론적 관점에서, [이해하기 어려운elusive "일반적인 문제 해결" 능력을 측정한다]는 뉴웰과 사이먼의 트레이드마크 전략에는 깊은 결함이 있었다(Ohlsson 2012). 그것은 참가자들이 샘플 문제에 직면하는 동안 인지 전략을 큰 소리로 말하도록 하는 것으로 구성되었다. 실험자들은 이러한 언어 프로토콜을 기록한 다음, 이 문제 상황에서 인간에 의해 사용되는 인지 휴리스틱을 발견하기 위해 프로토콜의 시간적 순서를 모방한 컴퓨터 프로그램을 만들었다. 그러나 이 접근 방식에는 큰 문제가 있었다. 언어 프로토콜은 (일반적이기 보다는) 실제로 문제-특이적problem-specific하기 때문에 그들이 이야기한 [일반적 문제 해결자]와는 많은 문제가 있었다.
둘째, 이론적인 관점에서 문제 해결의 일반적인 이론을 만들어내려는 시도는 효과가 없었습니다. 뉴웰과 사이먼은 [맥락에서 자유로운 문제해결 전략의 존재]를 내세웠지만, 인간은 일반적으로 수단-목표means-end 분석을 하지 않으며, (아날로지나 전향적 검색 등과 같은) [맥락-의존적context-bound 인지 전략]을 사용한다는 것이 곧 드러났다. 그럼에도 불구하고, 아마도 심리학이 컴퓨터에 매료되었기 때문에, IPP 모델은 증거보다 더 오래 살아남았습니다. 실제로, 그것은 Barrows를 통해 PBL 문헌으로 튀어나온ricocheted 의학 문제 해결 모델, 즉 [가설연역적 모델]을 생성할 수 있을 만큼 충분히 오래 살아남았다.
While IPP was all the rage in the 1970s, by the 1980s it had hit an impasse.
Firstly, from a methodological perspective, Newell and Simon’s trademark strategy for measuring the elusive “general problem-solving” capability was deeply flawed (Ohlsson2012). It consisted in getting participants to voice their cognitive strategies out-loud while confronted with a sample problem. The experimenters recorded these verbal protocols, and then built computer programmes that mimicked the temporal order of the protocols in order to uncover the cognitive heuristics used by the human in this problem situation. However, there was a major problem with this approach: the verbal protocol was actually problem-specific rather than general—so much for theirGeneral Problem Solver.
Secondly, from a theoretical perspective, the attempt to produce a general theory of problem solving didn’t work. Newell and Simon posited the existence of a problem-solving strategy that was context-free, but it became rapidly apparent that humans don’t generally engage in means-end analysis but use other cognitive strategies such as analogies, forward search etc., all of which are context-bound. And yet, perhaps because of psychology’s fascination with computers, the IPP model survived for decades longer than evidence should have allowed it to. Indeed, it survived long enough to spawn a model of medical problem-solving that ricocheted into the problem-based learning literature via Barrows: the hypothetico-deductive model.
IPP 방법은 미시간 주립 대학교(Anderson 2003)에서 일하는 Arthur Elstein과 Lee Shulman에 의해 선택되었다. 1978년, 그들은 의료 문제 해결에서 [내용-독립적 휴리스틱스]의 존재를 증명하려고 시도했다(Elstein et al. 1978). 임상학자들은 의학적 문제에 직면했을 때 [가설-역역적 과정]을 거쳤다고 추측했다.
이는 (의사들이) [잠재적 진단]을 만들기 위한 [가설의 공식화formation]에 관여한다는 것을 의미했으며, [잠재적 진단]은 가장 가능성이 높은 가설이 남아 있을 때까지, 환자에 대한 의학적 검사에서 얻어진 새로운 데이터에 의해 확인되거나 반증될 것이다.
저자들의 초기 주장은 전문가 임상의들이 초보자들보다 가설 공제를 더 잘 할 것이라는 것이었지만, 그들의 연구는 [전문가 임상의]들이 [초보자들]보다 실제로 가설을 더 잘 생성한다는 증거를 발견하지 못했다.
대신, 그들은 [문제의 특정 영역]에 있는 전문가의 [사전 의료 지식]이 초보자와 비교하여 전문가 임상의의 문제 해결 능력에 상당한 차이를 가져왔다는 것을 인정해야 했다. 이는 전문성expertise란 [연역 능력]이 아닌 [내용지식]임을 시사했다.
그러나 IPP의 영향으로 [콘텐츠-독립적인 휴리스틱 프로세스]가 존재한다는 대한 생각을 포기하지 못하였다. 일부 사람들이 다른 사람들보다 문제 해결 능력이 뛰어난 것으로 보인다는 사실에 대해 콘텐츠 중심의 대안 설명을 모색하기보다는, 일부 휴리스틱스는 광범위한 훈련이 필요하다는 생각으로 이를 설명하려고 했다.
The IPP methods were picked up by Arthur Elstein and Lee Shulman, working out of Michigan State University (Anderson2003). In 1978, they attempted to demonstrate the existence of content-independent heuristics of medical problem-solving (Elstein et al.1978). Clinicians, they conjectured, went through a process of hypothetico-deduction when faced with a medical problem.
This meant that they would engage in the formulation of hypotheses for potential diagnoses, which would be either confirmed or disproved by new data from medical tests on the patient until the most likely hypothesis was left standing.
The authors’ initial contention was that expert clinicians would fare better at hypothetico-deduction than novices, but their research found no evidence that expert clinicians were indeed better at generating hypotheses than novices.
Instead, they were forced to acknowledge that the expert’s prior medical knowledge in the particular domain of the problem made a substantial difference in the expert clinicians’ ability to solve that problem, as compared with the novice. This indicated that the expertise was not one of deductive ability, but of content knowledge.
However, the influence of IPP was such that they were not able to surrender the idea of the existence of content-independent heuristic processes. Instead of seeking a content-driven alternative explanation for the fact that some people appear to be better at problem-solving than others, they sought to explain this with the idea that some heuristics require extensive training.
[가설 연역적 모델]의 영향은 하워드 배로우스에 의해 PBL로 연결되었으며, 특히 1970년대 맥마스터 커리큘럼에 대한 그의 입력과 1980년 저서를 통해 더욱 그러했다. Barrows는 1970년대 초에 가설연역에 대한 연구를 시작했지만, [내용-독립적 추론 프로세스]를 지지하는 그의 가장 발전된 주장은 그의 책에서 찾을 수 있다. 이 책은 1980년 로빈 탬블린과 공동 저술한 것으로, PBL에 관한 매우 인기 있는 책이다. 저자들은 이 책에서 의사의 임상적 추론 과정이 [신비로운 직관적 '예술'이라는 생각]을 일축하고, 대신 이러한 [인지적 기술은 의학교육에서 가르칠 수 있고 가르쳐야 한다]고 주장했다. 이에 대한 해결책은 학생들을 환자, 의료전달, 연구 문제에 직면하게끔 만드는 것이었다. 왜냐하면, "unknown problem을 가지고 작업함으로써, 학생은 문제 해결, 진단 또는 임상 추론 능력을 개발할 수 밖에 없"기 때문이다. The influence of the hypothetico-deductive model was then channelled into problem-based learning by Howard Barrows, particularly through his input into the McMaster curriculum in the 1970s and his 1980 book. Barrows began his research on hypothetico-deduction in the early 1970s, but his most developed argument in favour of content-independent reasoning processes can be found inProblem-based Learning: An Approach to Medical Education, the highly popular book on PBL which he co-authored with Robyn Tamblyn in 1980. In this book, the authors dismissed the idea that a physician’s clinical reasoning process was a mysterious intuitive “art”, and instead argued that these cognitive skills could and should be taught in medical education. The solution for this was to confront students with patient, health delivery, or research problems, since “by working with an unknown problem, the student is forced to develop problem-solving, diagnostic, or clinical reasoning skills” (p. 13).
Barrows는 심지어 의학 지식이 증가하면 문제 해결 기술에 해로울 수 있다고 주장했다.더 정확한precise 지식이 생기면, 학생들은 더 넓은 범위의 가설을 고려하기보다는, 배운 것에 대한 협소한 시야tunnel-vision만 갖게끔 만들 수 있다고 우려하였다.
[내용 지식]과 [프로세스 지식]의 구분은 Barrows가 "데이터를 관찰하고, 문제를 해결하거나 임상 추론 프로세스의 측면을 보여주고, 임상적 결정과 치료적 결정을 내리는 능력과 관련된" [프로세스 평가]를 요구하는 과정에서 강화되었다( 페이지 113).
임상 추론 프로세스의 위와 같은 측면은 데이터 인식 및 표현, 문제 공식화, 가설 생성, 탐색 전략, 진단 결정, 치료 의사 결정, 시간, 비용, 순차 관리, 마지막으로 획득한 의료 정보를 포함하도록 만들어졌다.
따라서 배로우스가 (뉴웰과 사이먼이 그랬던 것처럼) 문제 해결에서 사전 지식의 중요성을 무시했다고 주장하는 것은 부당하겠지만, Barrows가 강조한 것은 [가설 생성을 통한 문제 해결 과정]에 있었음이 분명하다.그는 이 과정이 [특정한 문제의 내용으로부터 격리될 수 있다]고 믿었고, 이 과정은 [의학적 문제에 접근하는 일반적이고 교육 가능한 메커니즘]을 위한 연습이라고 보았다. 이것이 Barrows를 바로 정보처리IPP의 전통으로 분류하게 만드는 특성이다.
Barrows argued that increased medical knowledge could even be detrimental to problem-solving skills as more precise knowledge might encourage students to tunnel-vision around what they had learned rather than consider a wider range of hypotheses.
The distinction between content and process knowledge was cemented in Barrows’ call for process evaluations that are “concerned with the student’s ability to observe data, solve problems or show aspects of the clinical reasoning process, make clinical decisions and therapeutic decisions, and the like” (p. 113).
Such aspects of the clinical reasoning process were made to include data perception and representation, problem formulation, hypothesis generation, inquiry strategy, diagnostic decisions, therapeutic decisions, time, cost, sequential management, and, finally, the medical information acquired.
Therefore, while it would be unfair to claim that Barrows dismissed the importance of prior knowledge in problem-solving as Newell and Simon had, it is clear that the emphasis of his work was on the process of problem-solving via hypothesis generation. He believed that this process could be isolated enough from the specific problem content in which it was practiced to produce some general and teachable mechanisms by which medical problems should be approached; a trait which places Barrows squarely within the information-processing tradition.
이것은 McMaster의 PBL 커리큘럼에 깊은 결과를 가져왔다.
1977년, 1969년 교육과정(Roy 1978년)을 개혁하라는 요구가 교직원들과 학생들에 의해 제기되었고, 변화의 과정은 배로우스의 지원을 받아 빅토르 노이펠드에 의해 인수되었다.
1977년과 1984년 사이에 점진적으로 시행된 새로운 커리큘럼은, [첫 번째 커리큘럼의 강한 생물의학적 특성을 없애고], [우선적인 의료 문제 관리]에 초점을 맞췄다(MacDonald et al. 1989) 이러한 변화의 증거는 1975년과 1982년 사이에 McMaster 아카이브에서 발견된 교육 자료의 연도별 진화를 통해 볼 수 있으며, 교육 위원회 회의 노트에서 확인된다. 새로운 교육과정에서, 학생들은 가장 흔히 경험할 수 있는 의료 이슈의 목록을 기반으로 작성된 환자 사례의 긴 설명을 다루었다. 목적은 주어진 의료 문제를 해결하는 것에 있다.
따라서 의학부의 목표도 수정되었다. "개인 및 지역사회 수준에서 건강 문제를 식별하고 정의하며 이러한 문제를 해결하거나 관리하기 위한 정보를 검색한다."(교육 프로그램 위원회 1978). 게다가, 임상 기술의 발전은 개혁 노력의 중심적인 특징이 되었다.
Barrows와 Tamblyn의 영향으로, McMaster의 [임상 스킬 훈련 프로그램]은 모의 환자와의 만남에서 학생들의 기술을 훈련시키기 위해 구성되었다(Sutton 1977). 이 커리큘럼은 1993년까지 지속되었는데, 1993년 국가 의학 시험에서 높은 학생 불합격율에 직면하여 맥매스터는 IPP 접근법을 버리고, 마스트리히트 대학교와 유사한 [많은 내용-중심적 특징]을 가진 커리큘럼을 채택하였다(Norman et al. 2010).
This had some deep consequences for McMaster’s PBL curriculum. Beginning in 1977, calls were being issued by faculty and students to reform the 1969 curriculum (Roy1978), and the process of change was taken over by Victor Neufeld, supported by Barrows.
The new curriculum, progressively rolled out between 1977 and 1984, did away with the strong biomedical nature of the first curriculum and instead focused on priority healthcare problems management (MacDonald et al.1989). Evidence of this change can be seen through the year-by-year evolution of the education materials found in the McMaster archives between 1975 and 1982, and in the notes of the Education Committee meetings (Ali1977; Neufeld1977) In the new curriculum, the students mainly dealt with long descriptions of patient cases compiled on the basis of lists of most commonly experienced medical issues, with a focus on solving the medical problem at hand.
The objectives of the Faculty of Medicine were thus revised to read in top position: “to identify and define health problems at both an individual and a community level and to search for information to resolve or manage these problems” (Educational Programme Committee1978). In addition, the development of clinical skills became a central feature of the reform efforts.
Under the influence of Barrows and Tamblyn, the McMaster clinical skills training programme was constructed to train the students’ skills in encounters with simulated patients (Sutton1977). This curriculum lasted until 1993, when, in the face of the high student failure rates in the national medical exam, McMaster abandoned the IPP approach and adopted a curriculum with many content-oriented features resembling those of Maastricht University (Norman et al.2010).
Henk Schmidt 및 PBL에 대한 지식 획득 접근 방식 Henk Schmidt and the knowledge acquisition approach to PBL
[지식 습득]의 위치는 Jean Piaget과 Lev Vygotsky의 초기 작품 덕분이다. 슈미트는 인지 혁명에 뒤이은 구성주의 사상의 르네상스에 가장 큰 영향을 받았으나, 피아제의 스키마 이론(Piaget 1952, 1959, 2003)이 제시한 기초가 없었다면 르네상스는 불가능했을 것이다.
피아제는 지식이 원시 데이터로 저장되는 것이 아니라, ["구조화"라고 불리는 특정한 정신 구조 과정을 통해 "구성"된다]고 제안한 첫 번째 사람이다.
[스키마 이론]은 1960년대에 행동주의의 지배에 의해 지지에서 벗어났지만, 1970년대 후반에는 앤드류 오토니, 랜드 스피로, 데이비드 아우수벨 등과 같이 점점 더 많은 실험 심리학자들이 [회상을 목적으로 지식이 저장되고 재구성되는 방법]을 설명하기 위해 [정보 인코딩과 인출]을 연구하고 있었다. 비록 그들이 피아제를 거의 명시적으로 언급하지 않았지만, 그들은 스키마에 대한 그의 개념을 스위스 심리학자가 결여하고 있다는 과학적 특수성을 제공함으로써 확장시켰다.
그들은 [스키마]를 [어떤 상황에서 요소에 의해 "예시instantiate"될 수 있는 "슬롯" 또는 "플레이스홀더"를 포함하는 정신적 "프레임" 또는 "스크립트"]로 이해하였다. 1970년대 후반과 1980년대 초에 슈미트의 PBL 연구에 이러한 이름들이 모두 등장했지만, 리처드 앤더슨의 작품은 다른 이름들보다 더 일관성과 힘을 가지고 돌아왔다. 슈미트는 다음과 같이 회상했다.
The Knowledge Acquisition position owes a lot to the early works of Jean Piaget and Lev Vygotsky. Although Schmidt was most strongly influenced by the renaissance of constructivist ideas in the wake of the cognitive revolution, that renaissance would not have been possible without the groundwork laid out by Piaget’s Schema Theory (Piaget1952,1959,2003).
Piaget was the first to propose that knowledge is not stored as raw data but “constructed” through particular mental structuring processes called “schemas”.
Schema Theory fell out of favour with the dominance of behaviourism in the 1960s, but by the late 1970s, a growing number of experimental psychologists, such as Andrew Ortony, Rand Spiro and David Ausubel, were looking into information encoding and retrieval in an attempt to explain the way knowledge is stored and reconstructed for recall. Even though they seldom explicitly referred to Piaget, they expanded on his notion of the schema by providing it with the scientific specificity that the Swiss psychologist was lacking.
Under their pen, schemas were understood as mental “frames” or “scripts” that contained “slots” or “placeholders” that could be “instantiated”by elements in a situation (Anderson et al.1978). Although all of these names made their way into Schmidt’s research on PBL in the late 1970s and early 1980s, the work of Richard Anderson returned with more consistency and force than the others. Schmidt recalled:
문제를 토론하는 동안 학생들이 하고 있는 것은, [그 문제를 이해하기 위해 사전 지식을 활성화하는 것]이었다. 문제가 충분히 복잡하다면(그러나 지식 수준에 맞게 조정됨) [새로운 지식의 필요성이 대두]되고 [자기 주도적 학습이 그러한 필요를 충족]시킬 것이다. 관련 사전 지식이 이미 활성화되었기 때문에, 새로운 정보는 더 쉽게 통합될 수 있을 것이다. 이것이 실제로 더 나은 학습으로 이어진다는 것은 1982년에 발표된 나의 박사논문에서 보여 준 것이다.
What (PBL) students were doing while discussing a problem was activating prior-knowledge in order to make sense of that problem. If the problem was sufficiently complex (but adapted to their level of knowledge) the need for new knowledge would arise and self-directed learning would satisfy that need. Since relevant prior knowledge was already activated, the new information would be more easily integrated. That this indeed leads to better learning is what I have shown in my PhD-thesis published in 1982 (personal communication).
1977년 앤더슨은 스키마 이론(Anderson 1977년)에서 동화(assimilation)와 조정(accommodation)의 개념을 확장하였다. 그는 스키마가 단순히 [응답 구성요소, 지각 특징, 의미적 특징, 기능적 속성 등의 집합]일 수 없다고 주장하였다. 대신, 스키마는 그들의 창발적 특성emergent properties 측면에서만 이해될 수 있었다. 이러한 통찰력으로 앤더슨은 [스키마의 사용(동화)과 변화(수용)에 대한 가설]을 세울 수 있었다. 그는 [조정accommodation]은 [(기존의 스키마에) 부합하지 않는incongruent 요소들이 점점 더 기존 스키마에 challenge하며, 동화assimilation를 점점 더 어렵게 만드는 점진적인 과정]으로 일어난다고 주장했다. 비록 사람들은 자신의 스키마를 조정accommodation하는 것을 극도로 꺼리지만, 사람들은 또한 인지적 일관성을 유지하려고 시도하기 때문에, (결국) 후자의 경향이 전자를 자기 편으로 끌어들이고, 스키마의 변화가 일어나면, 지식의 획득이 진실하게 시작된다. 따라서 Anderson은 조정accommodation을 학습의 필수불가결한 조건으로보았다.
In 1977, Anderson expanded on the concepts of “assimilation” and “accommodation” in Schema Theory (Anderson1977). He posited that schemas could not be a simple aggregation of response components, perceptual features, semantic features, functional attributes and the like – instead, schemas could only be understood in terms of their emergent properties. This insight enabled Anderson to hypothesise how schemas are used (assimilation) and change (accommodation). He argued that accommodation happens as a gradual process whereby incongruent elements increasingly challenge an existing schema and make assimilation more and more difficult. Although people are extremely reluctant to accommodate their schemas, they also attempt to preserve cognitive consistency, and when the latter tendency wins over and a schema change is engaged, the acquisition of knowledge truthfully begins. Thus, Anderson saw accommodation as asine-qua-noncondition of learning:
대규모 조정accommodation은 현재의 스키마로는 어려움을 겪는 상황에 직면하여, 대안의 힘을 인식하게 되는 변증법적 과정일 수 있다고 생각한다. I suspect that large-scale accommodation may be a dialectical process which entails a confrontation with difficulties in one’s current schema and coming to appreciate the power of an alternative (p. 429).
앤더슨의 설명은 [학생들이 작업할work with 수 있는 현실적인 상황을 제공함으로써, 문제가 학생들의 기존 스키마를 활성화시킬 수 있고, 따라서 학습에 필수적인 감각 형성의 기초를 제공할 수 있다]는 슈미트의 생각을 위한 길을 닦았다(Schmidt 1983a, b).
이 이론의 발전은 마스트리히트 의과대학이 개교한 직후에 시작되어 1983년까지 무르익었던 느린 과정이었다. 그 당시 PBL에서의 학습에 대한 교육 연구 단체의 생각이 약간 무모하긴 했지만, 1977년에 본격적으로 연구 노력이 시작되었음을 우리는 아카이브 증거를 통해 알 수 있다.
튜터 교육 매뉴얼인 Het Tutorensystem의 노트에 따르면 연구진은 PBL의 강점이 지식 보유와 이전 촉진에 있다고 믿었지만 더 구체적인 설명further specification은 없었다고 한다(Bouhijs et al., 1977). 실제로 이 글에는 슈미트와 동료 피터 부와이즈를 비롯한 저자들이 이 분야에서 현대 연구의 한계를 알고 있었음을 알 수 있다.
Anderson’s explanation paved the way for Schmidt’s idea that problems, by offering realistic situations for students to work with, could activate students’ existing schemas and thus provide the basis for sense-making that is essential to learning (Schmidt1983a,b).
The development of this theory was a slow process that began shortly after the opening of Maastricht Faculty of Medicine and ripened until 1983. We can see from archival evidence that the research efforts began in earnest in 1977, although at the time the education research group’s ideas on learning in PBL were a little haphazard.
A note in the tutor training manualHet Tutorensysteemindicates that the researchers believed that the strength of PBL lay in the promotion of knowledge retention and transfer, but without further specification (Bouhuijs et al.1977). In fact, the text indicates that the authors, including Schmidt and his colleague Peter Bouhuijs, were aware of the limitations of contemporary research in the field.
1979년까지 슈미트는 이것에 대해 더 정확한 생각을 발전시켰다. 그는 레렌 메트 문제언(1979년)이라는 논문을 통해 그의 이전 연구에 대해 상세히 설명했으며, 처음으로 사전 지식의 활성화와 아우수벨의 스키마 이론에 대한 견해를 언급했다. 이때 슈미트의 작품은 [사람들이 외부 세계를 수동적으로 섭취ingest하는 것]이 아니라, [자신의 감각이 말해주는 것에 대한 개인적인 해석을 통해 끊임없이 의미를 부여]한다는 구성주의 신조와 완전히 일치했다.
By 1979, Schmidt had developed more precise ideas on this. He elaborated on his previous work with a paper entitledLeren met Problemen(1979) and for the first time referred to the activation of prior knowledge and Ausubel’s take on Schema Theory. At this point, Schmidt’s work was fully aligned with the constructivist credo that people do not passively ingest the outside world but instead constantly attempt to give meaning to it through personal interpretations of what their senses tell them.
1983년의 논문에서, 그는 PBL에서 일어나는 학습 과정에 대한 세 가지 연계된 설명을 제공했다:
사전 지식의 활성화,
인코딩 특이성(지식이 학습되는 상황과 그것이 적용되는 상황 사이의 유사성),
지식의 정교화(Schmidt 1983a, b).
In a paper from 1983, he offered three connected explanations of the learning process that takes place in PBL:
the activation of prior knowledge;
encoding specificity (the similarity between the situation in which knowledge is learned and the situation is which it is applied); and
이 단계에 이르렀을 때, 그의 연구는 앤더슨과 아우수벨의 연구를 훨씬 넘어섰고, 인지심리학이 꽃피는 모든 분야의 보고서를 모으고 있었다. 슈미트는 PBL의 기초에 대한 이후의 연구에서 이 세 가지 아이디어에 대한 몇 가지 세부 사항을 제공했지만, 중심 주제는 오늘날까지 그대로 남아 있다(슈미트 1993).
By this stage, his research had expanded well beyond the work of Anderson and Ausubel and was aggregating reports from all over the blooming field of cognitive psychology. Schmidt’s later article on the foundations of problem-based learning provided some elaborations of these three ideas, but the central themes remain the same to this day (Schmidt1993).
마스트리히트 대학에서 논쟁이 어떻게 진행되었는지 How the dispute played out at Maastricht University
이 이야기는 1970년대 초에 하워드 배로우스가 [교육 보조기구educational aids를 통해 "임상적 추론 능력", "문제 해결 능력", "진단 기술"] (및 그 밖의 variation)을 개선하는 데 사용될 수 있다는 것을 보여주기 위해 스스로 착수했을 때 뿌리를 내린다. 이 연구의 첫 번째 명백한 결과는 1972년 신경학자의 진단(문제 해결) 기술이라는 제목으로 나타났는데, 이 책에서 그는 [가설-연역]은 '환자 인터뷰 동안 얻은 정보를 정리하기 위한 "인지적 모자 랙cognitive hat rack"]과 같을 수 있다고 주장하였다(Barrows and Bennett 1972).
The story takes root in the early 1970s, when Howard Barrows took it upon himself to demonstrate that educational aids could be used to improve “clinical reasoning skills”, “problem-solving skills”, “diagnostic skills” and other variations thereof. The first apparent results of this research appeared in 1972, under the titleThe diagnostic (problem-solving) skill of the neurologist, in which it was claimed that hypothetico-deduction could be equated to a “cognitive hat rack” for organising the information acquired during the patient interview (Barrows and Bennett1972).
Barrows는 이 연구에 Vic Neufeld와 긴밀히 협력했다. 둘 다 그 당시 McMaster에서 커리큘럼 개발에 중요한 역할을 하지 못했다. 노펠트는 엘슈타인과 슐만이 그들의 일을 하고 있던 미시간 주립 대학교에서 의학 교육을 공부했고, 그들의 연구 조수인 제프리 노먼에 따르면, 바로스-뉴펠트 콤비는 엘슈타인-Shulman 팀과 "친밀한 관계"를 가지고 있었다고 한다.(개인 커뮤니케이션) 그러므로 Barrows가 그의 생각을 뒷받침하기 위해 가설적 추론 이론으로부터 그렇게 많이 빌렸다는 것은 놀라운 일이 아니다. 이 연구는 1977년에 작성된 논문에서 절정에 달했는데, 이 논문은 "모자 랙" 아이디어가 살아있을 뿐만 아니라, 사전 지식은 부차적 관련성으로 밀려났다(Fightner et al., 1977). 그들은 나중에 PBL에 대한 토론에서 매우 중요한 의학적 문제 해결 모델을 개발했다(그림 1).
Barrows worked closely with Vic Neufeld on this research—neither of them having a prominent role in the curriculum development at McMaster at that time. Neufeld studied medical education at Michigan State University, where Elstein and Shulman were doing their work and according to their research assistant Geoffrey Norman, the Barrows-Neufeld duo “had a close relation” with the Elstein–Shulman team (personal communication). It is therefore unsurprising that Barrows borrowed so heavily from the theory of hypothetico-deduction to support his ideas. This research culminated in a paper written in 1977, in which not only was the “hat rack” idea alive and well, but prior knowledge was relegated to a secondary relevance (Feightner et al.1977). They developed a model of medical problem solving which would be of crucial importance in the later debates on PBL (Fig. 1).
맥마스터 팀은 대담하게 결론을 내렸습니다: "가정의들은 그들이 가르칠 수 있는 합법적인 문제 해결 기술을 가지고 있습니다. 위에서 요약한 모델이 학생들이 임상 문제 해결 기술을 개발하는 데 도움이 될 수 있다고 생각한다."(71쪽) 이것들은 Barrows와 Neufeld가 새로운 의학부의 교육 컨설턴트로 활동하기 위해 Maastricht로 여행했던 아이디어들이다. 그들 사이의 서면 서신에서 슈미트는 1970년대와 1980년대에 걸쳐 바로우스와 뉴펠드를 매우 높이 평가했다는 충분한 증거가 있다. (슈미트 1983a, b) 슈미트의 눈에, 바로스는 PBL의 설립자 중 한 사람이었고, 따라서 그의 말을 경청할 것을 보증했다. 따라서 슈미트의 초기 연구에서 Barrows와 Neufeld의 가설적 추론 모델을 발견하는 것은 놀라운 일이 아니다. 슈미트는 어떻게 한 패러다임에서 다른 패러다임으로 옮겨갔을까? 1977년과 1979년 사이의 그의 두 주요 기여의 비교는 이 질문에 대한 답을 제공할 수 있다. The McMaster team boldly concluded: “Family physicians do have identifiable legitimate problem solving skills which they can teach. We feel that the model outlined above can help student to develop their clinical problem solving skills” (p. 71). These are the ideas with which Barrows and Neufeld travelled to Maastricht to act as educational consultants to the new Faculty of Medicine. There is ample evidence from written correspondence between them that throughout the 1970s and 1980s, Schmidt held both Barrows and Neufeld in very high esteem (Schmidt1983a,b). In Schmidt’s eyes, Barrows was one of the founders of PBL and therefore warranted listening to. It is therefore not surprising to find Barrows and Neufeld’s model of hypothetico-deduction in Schmidt’s early work. How did Schmidt move from one paradigm to the other? A comparison of his two major contributions between 1977 and 1979 may provide answers to this question.
1977년 슈미트는 교수진 내부에서 사용하기 위해 고안된 책자인 Probleemgrariänterdonderwijs를 저술했다(Schmidt 1977a, b. 이 책에서, 그는 처음으로 PBL을 통한 학습의 기초가 되는 인지 메커니즘에 대한 그의 생각을 적었다. 이 원고는 1년 후 네덜란드 학술지 메타메디카(Schmidt 1978)에 발표되었고, 1년 후 르렌메트 문제언(Schmidt 1979)으로 상당히 수정된 형식으로 재작성되었다. 핵심은 1977년 논문(1978년 같은 판본)과 1979년 논문 사이의 변화에 있다. 아래 표는 이러한 변경사항 중 가장 중요한 내용을 나타냅니다. 슈미트가 자신의 연구에서 양쪽 패러다임으로부터 논증을 제시했다는 것은 이상하게 보일 수 있지만, 이러한 비호환성은 그 당시에는 인지 과학자들 사이에서도 일반적으로 이해되지 않았다(표 1).
In 1977, Schmidt wroteProbleemgeoriënteerd onderwijs, a booklet designed to be used internally at the Faculty (Schmidt1977a,b). In it, he wrote down for the first time his ideas on the cognitive mechanisms underlying learning through PBL. This manuscript was published 1 year later in the Dutch journalMetamedica(Schmidt1978), and 1 year later re-written in a substantially amended format asLeren met Problemen(Schmidt1979). The key lies in the changes made between the 1977 paper (and its identical reprint in 1978) and the 1979 paper. The table below indicates the most significant of these changes. It may seem strange that Schmidt offered argument from both paradigms in his work, even though they are not epistemologically compatible—but this incompatibility was not generally understood at the time, even among cognitive scientists (Table 1).
1977년 논문에서 우리는 Barrows, Elstein 및 Shulman의 가설적 추론 모델 측면에서 PBL에 대한 광범위한 설명을 보았는데, 1977년부터 Barrows가 자신의 연구에서 발표한 것과 매우 유사한 다이어그램이 있다. 그러나 슈미트는 1977년에 네덜란드의 심리학자 드 그루트(1965)의 체스 선수 실험에 흥미를 느꼈다.
드 그루트는 체스 선수들의 체커 문제 해결 능력을 테스트했고, 체스 마스터들이 평범한 체커 플레이어를 만든다는 것을 발견했는데, 이는 체스 마스터들 사이에서 일반적인 문제 해결 능력이 없다는 것을 보여준다. 그럴듯한 설명은 체스 마스터들이 체스 문제를 해결할 때 얻을 수 있는 체스 조합에 대한 훌륭한 사전 지식을 가지고 있다는 것이었다. 그것은 체커 문제를 해결할 때 그들에게 아무런 소용이 없었다.
We see in the 1977 paper an extensive explanation of PBL in terms of Barrows, Elstein and Shulman’s hypothetico-deductive model, with diagrams that closely resemble those published by Barrows in his own work from 1977. And yet, already in 1977, Schmidt was intrigued by the experiments of a Dutch psychologist, De Groot (1965), on chess players.
De Groot had tested chess players’ ability to solve a checkers problem, and found that chess masters made mediocre checkers players—indicating the absence of a general problem-solving ability among chess masters. The plausible explanation was that chess masters had a great prior knowledge of possible chess combinations to draw from when solving chess problems, that was of no use to them when solving a checkers problem.
슈미트는 엘스타인 역시 나중에 그랬듯이, [사전 지식]이 [문제 해결 과제 수행의 주요 요인]이 되어야 한다고 결론지었다. 그러나 이러한 생각은 그 당시만 해도 예감hunch 쯤으로 여겨질 수 있었다: 1977년 브루너에 대한 언급을 제외하면 슈미트의 참고 문헌 목록에는 구성주의 문학이 눈에 띄게 결여되어 있다. 이것은 1979년 논문에서 매우 많이 수정되었는데, 이 논문은 아우수벨, 켈리, 드 그루트에 관한 노트와 브루너, 밀러에 관한 논문으로 가득 차 있다. 슈미트는 이전에도 "사전 지식"이라는 용어를 사용했지만, "사전 지식의 활성화"라는 관점에서 이 용어를 강하게 만든 것은 1979년이 처음이며, 따라서 PBL은 그 목적을 위해 정확하게 사용될 수 있는 학습 방법이었다. 1979년에 이르러서, 가설-연역에 대한 언급은 사라졌고, Barrows-Schmidt의 다이어그램은 이제 [가설 생성]은 [훈련시킬 수 없는 인간 인지 아키텍처의 자동 프로세스]로 보았다. 그는 더 이상 이를 연구하는데 에너지를 쏟는 의미가 없다고 판단했다.
Schmidt concluded, as Elstein also did later, that prior knowledge must be a major factor in performance on problem-solving tasks. But these ideas could only be considered hunches at the time: aside from a passing mention of Bruner, in 1977, Schmidt’s reference list is remarkably devoid of constructivist literature. This was very much amended in the 1979 paper, which is replete with notes on Ausubel, Kelly, De Groot, as well as digressions on Bruner and Miller. Although Schmidt had used the term “prior knowledge” before, this was the first time that he framed it strongly in terms of the “activation of prior knowledge”—and therefore PBL as a learning method that could be used precisely for that purpose. By 1979, gone were the references to hypothetico-deduction, absent the diagrams of Barrows–Schmidt now saw hypothesis generation as an automatic process of the human cognitive architecture which therefore cannot not be trained, and he therefore saw little point in expending energy researching it.
호환되지 않는 PBL 접근 방식 Incompatible approaches to PBL
1980년대에 맥매스터의 컨설턴트들이 마스트리히트로 날아갔을 때 배로우스와 슈미트는 정기적으로 접촉했다. 특히 1983년 슈미트는 PBL에 관한 심포지엄을 조직하여 배로우스를 연사로 초청하였다. 이번 행사를 앞두고 편지 교환이 잇따르면서 이들의 학연 관계가 어느 정도 드러나고 있다. 예를 들어, 1982년 7월, Barrows가 Schmidt에게 쓴 편지는 Barrows가 PBL을 [기초과학 지식의 획득]과 ["인지적 기술로서의 의학 문제 해결"]의 두 가지를 동등하게 추구함을 믿었다는 것을 나타낸다(Barrows 1982). 이에 대응하여 슈미트는 1983년 1월 바로스에게 편지를 돌려주었으며, 이 편지를 통해 PBL에 대한 접근 방식 사이의 균열을 가장 명확하게 설명하였다. Barrows and Schmidt were in regular contact during the 1980s as consultants from McMaster flew to Maastricht and vice versa. In particular, in 1983, Schmidt organised a symposium on PBL for which he invited Barrows as a speaker. A series of letter exchanges leading up to this event sheds some light on their academic relationship. For instance, a letter written by Barrows to Schmidt in July 1982 indicates that the former believed PBL to be the acquisition of basic sciences knowledge and “medical problem solving as a cognitive skill” in equal measure (Barrows1982). In response, Schmidt returned a letter to Barrows in January 1983, in which he voiced in the clearest way possible the rift between their approaches to PBL:
저는 여러분과 저의 차이는 [여러분은 문제 해결 과정 자체에 초점]을 맞추지만, [저는 문제 해결 상황에 사용하기 위한 지식의 인코딩, 저장, 검색 측면]으로 문제 해결을 보는 것에 있다고 생각합니다. I think that the difference between your work and mine is more a difference of problem-solving in terms of encoding, storage and retrieval of knowledge for use in problem-solving situations (and, most important, in terms of the organization of knowledge in memory), while you focus on the process of problem-solving itself.
나의 주된 관심사는 [PBL이 지식 습득에서 수행하는 역할]에 있다 - 그것이 내가 학습 이론(지식의 역할, 추론 생산, 지식의 구성, 검색 단서 등)을 강조하는 이유이다. - 당신은 특히 학생들이 [임상 문제 해결 상황에서 습득한 지식을 어떻게 사용하는지]에 관심이 있다 (따라서 해당 분야의 이론 및 연구를 참조한다). My main interest lies in the role PBL plays in knowledge acquisition - that is why I refer with emphasis to theories of learning (role of knowledge, inference production, organization of knowledge, retrieval cues etc.) - while you are particularly interested in how the students use the knowledge acquired in clinical problem-solving situations (and therefore refer to theory and research in that area).
사실, 저는 우리의 접근법이 상호 보완적이라고 생각합니다. 우린 좋은 팀이 될 거야! 당신이 마스트리히트에 있을 때, 우리는 이 문제들과 다른 것들에 대해 토론하기 위해 앉아야 합니다. (Schmidt 1983a, b) In fact, I think that our approaches are complementary. We would make a good team! When you are in Maastricht, we certainly should sit down to discuss these matters and others (Schmidt1983a,b).
사실, 그 접근 방식들은 상호 배타적이기 보다는, [문제 해결에서 지식의 역할에 대한 상반되는 이해]로 인한 것 같다.
Barrows가 지지한 PBL 버전은 [의료 문제 해결에서 휴리스틱스와 연관성]을 우선에 뒀다.
슈미트는 [사전 지식과 경험에 고정된 문제 해결]에 의존했다.
In fact, it seems that the approaches were not so much complimentary as mutually exclusive as they relied on opposing understandings of the role of knowledge in problem-solving.
The version of PBL supported by Barrows posited the primacy of heuristics and associations in medical problem-solving.
That of Schmidt relied on problem-solving anchored in prior knowledge and experience.
그러나 문제 해결은 [콘텐츠 독립적]이면서 동시에 [콘텐츠 의존적]일 수 없다. 따라서 이 두 가지 입장은 서로 인식적으로 호환되지 않는다. 따라서 배로우즈나 슈미트 중 하나가 PBL에 대해 옳았지만 둘 다 그럴 수는 없었다.
But problem-solving cannot be both content-independent and content-dependent—these two positions are therefore epistemologically incompatible with one another. Therefore either Barrows or Schmidt was right about PBL, but they could not both be.
이 양립불가능성은 역사적인 성격 충돌의 문제가 아니다: 모든 점에서 슈미트와 배로우스는 실제로 서로를 높이 평가하였다. 이것은 실제로 [PBL의 두 가지 해석]에 대한 질문인데, 두 가지 해석의 입장에서 PBL의 근본적인 인식론적 구조는 조화될 수 없었다. 긜고 이 두가지 입장은 PBL에서 매우 다른 유형의 문제를 생성했다.
바로우스의 PBL 문제는 "서면 케이스, 케이스 비네트, 표준화(시뮬레이션 환자라고도 함), 컴퓨터 시뮬레이션, 비디오 테이프"(Barrows and Tamblyn 1980, 페이지 5)일 수 있지만,
슈미트에게는 문제는 ["해결책"이 없는 생물 의학 현상에 대한 설명]처럼 보일 수도 있다. 슈미트의 문제들은 대신에 학생들이 [근본적인 현상이나 이론을 이해할 것]을 요구하였다(슈미트 1993). 이러한 종류의 문제는 거의 모든 학문 분야로 해석될 수 있지만, 의료 문제의 관리에 기초한 문제는 그럴 수 없었다. 아마도 이것은 [심리학에서 교양에 이르기까지] 네덜란드에서 모든 학문 분야의 PBL 프로그램의 보급을 설명하는 데 도움이 될 것이다.
This incompatibility is not a matter of a historical clash of personalities: by all accounts, Schmidt and Barrows actually held each other in high regard. This is really a question of two interpretations of PBL, the underlying epistemological constructs of which are irreconcilable, and produced a very different type of problem in PBL.
Whereas a PBL problem for Barrows could be “a written case, case vignette, standardized (also called simulated patient), computer simulation, video tape” (Barrows and Tamblyn1980, p. 5),
for Schmidt, a problem could also look like a description of a biomedical phenomenon with no “solution”. Schmidt’s problems required instead that the underlying phenomena or theory be understood by the students (Schmidt1993). While this sort of problem could be and was translated to almost any academic discipline, problems based on the management of healthcare problems could not be. Perhaps this serves to explain the profusion of PBL programmes in the Netherlands in all manner of academic disciplines ranging from psychology to liberal arts.
운 좋게도, 역사는 우리에게 두 가지 버전의 PBL 중 어떤 것이 학생들이 의학적 문제를 해결하는데 도움을 주는 면에서 가장 좋은가에 대한 몇 가지 답을 제공해 주었다; 1980년대 중반, IPP는 심리학적 패러다임으로 무너지기 시작했다. 1985년, Christine McGuire는 [내용-독립적 인지 기술과 능력]이라는 생각이 사라지지 않음을 한탄했다
Luckily, History has provided us with some answers as to which of the two versions of PBL fared the best in terms of helping students to solve medical problems; by the mid-1980s, IPP was beginning to crumble as a psychological paradigm. In 1985, Christine McGuire lamented resilience of the idea of content-independent cognitive skills and abilities:
전문 평가자(…)는 개인이 환자 문제를 관리하는 데 참고할 수 있는 [일반적인 유형의 인지적 성과(관련된 기술 또는 발달된 능력)]가 존재한다고 믿고 싶어했다. 그들은 같은 연구 결과를 보고하기 위해 단조롭게 계속되는 너무나 지루한 연구에도 불구하고, 그 이후로 그 키메라를 추구해 왔다. (McGuire, 1985년) Professional evaluators (…) wanted to believe in the existence of some generalized kind of cognitive achievement – a related set of skills or developed abilities – that individuals could bring to bear in managing patient problems. They have been pursuing that chimera ever since, despite a mind-numbing torrent of studies that continue monotonously to report the same findings (McGuire,1985).
맥과이어는 또한, 그녀는 [(바로우스가 연구에서 보고된) 의사들이 실제로 [가설-연역]에 관여하고 있다고 믿지 않는다]고 말했다. McGuire also stated that she did not believe that the doctors reported in Barrows’ studies were actually engaging in hypothetico-deduction:
만약 Barrows와 Tamblyn이 그들의 말마따냥 의사의 머리속으로 '펑'하고 들어갔다면, [이러한 진단적 라벨은 진정한 가설이라]는 것에 대한 의심은 더욱 커진다. 그 과정은 [패턴 매칭] 행위나 [그룹 현상을 다양한 템플릿과 비교하고 최적의 적합을 선택하는 절차]와 더 유사한 것으로 보이기 때문이다(McGuire, 1985). Doubts that these diagnostic labels are genuine hypotheses are considerably exacerbated if, as Barrows and Tamblyn say, they literally ‘pop’ into the clinician’s head within moments of the initial encounter. Such a process appears to be more akin to the act of pattern-matching or to the procedure involved in comparing group phenomena with various templates and selecting best fit (McGuire,1985).
PBL에 대한 문제 해결 스킬 접근에 치명타가 되어야 할 문제에서, 2002년, 엘슈타인은 [의료 문제 해결이 가설-연역적 과정에 기초한다는 이론]이 상당 부분 잘못되었다는 것을 인정하면서, 자기자신의 가장 혹독한 비평가가 되었다(엘슈타인과 슈바르츠 2002). 그는 대부분의 문제가 실제로는 [패턴 인식] 또는 [문제의 정신모형의 구성]에 기초하여 해결되었음을 깨달았다. 이 두 과정은 모두 [휴리스틱의 숙달]이 아니라, [임상의의 지식의 수준]에 기초했다. 이는 문제 기반 학습에 매우 강한 영향을 미치므로 방법의 목적을 재평가하게 되었다고 그는 인정했다. In what should have been a death blow to the Problem-Solving Skills approach to PBL, in 2002, Elstein became his own harshest critic when he acknowledged that the theory that medical problem-solving was based on hypothetico-deduction processes was in large part erroneous (Elstein and Schwarz2002). Most problems, he realised, were actually resolved on the basis of pattern recognition or the construction of a mental model of the problem. Both of these processes were based on the extent of the clinician’s knowledge rather than the mastery of heuristics. This, he acknowledged, has such strong implications for problem-based learning that it led him to a re-evaluation of the purpose of the method:
[사례 특이성]의 발견은 일반적인 문제 해결 전략을 가르치는 것의 한계를 보여주었다. [문제 해결의 전문성]은 분석적으로는 내용과 분리될 수 있지만, 실제로는 분리되지 않는다. 이것을 깨달은 결과, 학생들이 [임상적으로 사용가능한 스키마]와 함께 [콘텐츠의 기능적 조직]을 획득하는 데 중점을 두었다. 이 목표는 문제 기반 학습에 대한 새로운 근거가 되었다(페이지 731). The finding of case specificity showed the limits of teaching a general problem solving strategy. Expertise in problem solving can be separated from content analytically, but not in practice. This realisation shifted the emphasis towards helping students acquire a functional organisation of content with clinically usable schemas. This goal became the new rationale for problem based learning (p. 731).
이는 엘슈타인이 IPP에 대한 그의 포옹을 "분석적으로" 놓으려고 애썼기 때문에, 이것은 구성주의적 패러다임의 완전한 포옹은 아니다. 그러나 아이러니하게도, "실제로" 엘슈타인은 구성주의와 헨크 슈미트가 옹호하는 지식 획득 접근법의 대안적 접근법으로 눈을 돌렸다. 그럼에도 불구하고, [가설 연역]에 대한 생각의 학교 내에서의 이러한 강한 비판에도 불구하고, Barrows는 PBL에 대한 그의 접근 방식을 재평가하기를 거부했다. 이 과정에서, 슈미트와의 차이divergence는 1980년대 후반에 이르러 분쟁dispute으로 번졌고, 슈미트가 회상하듯이 1992년 캐나다 셔브룩 대학의 PBL 커리큘럼을 검토하던 중 공공연한 대립open confrontation으로 절정에 이르렀다. This is not quite a full embrace of the constructivist paradigm, as Elstein struggled to let go of his embrace of IPP “analytically”. Yet ironically, “in practice”, Elstein turned to the alternative approach to PBL: constructivism and the Knowledge Acquisition approach championed by Henk Schmidt. And yet, despite these strong criticisms including from within the school of thought of hypothetico-deduction, Barrows refused to re-evaluate his approach to PBL. In the light of this, the divergence with Schmidt that had begun in the late 70s turned into a dispute in the late 1980s, culminating in an open confrontation during a review of the PBL curriculum of Sherbrooke University in Canada in 1992, as Schmidt recalls:
Howard Barrows, George Bordage, Charles Boelen (세계보건기구)의 Charles Boelen, 그리고 저는 1992년 즈음에 캐나다 셔브룩 대학의 5년 된 문제 기반 의학 교육과정을 평가하도록 초대받았습니다. 저는 이 학교의 컨설턴트 중 한 명이었고, 이전에도 여러 번 방문했으며, PBL을 [지식 습득]의 방법으로 강조하고, [인지적 구성주의]에 embedding되었음을 강조하여 교사 연수 워크숍을 진행했습니다. Barrows(아마도 나의 이전 역할을 알지 못하는 것)는 커리큘럼이 "문제-해결 커리큘럼이 아니었기 때문에" 성취된 것에 대해 매우 비판적이었다. '학생들이 임상적 추론 과정을 습득하는 것을 훨씬 더 강조해야 한다. 그렇지 않으면 그것은 실제로 문제에 기반을 둔 것이 아니었다.'라고 비판하였고, 나는 반대할 필요가 있다고 느꼈고, 결국 그와 격렬한 말다툼을 하게 되었다.
Howard Barrows, George Bordage, Charles Boelen (of the World Health Organization), and I were invited around 1992 to assess the then five-year old problem-based medical curriculum of the University of Sherbrooke in Canada. I had been one of this school’s consultants, had visited many times in the previous years, and had conducted teacher training workshops emphasizing PBL as a method to acquire knowledge and its embedding in cognitive constructivism. Barrows (perhaps not aware of my previous role) was highly critical about what had been accomplished, because the curriculum “was not a problem-solving curriculum”. Much more emphasis should be put on students acquiring the process of clinical reasoning, otherwise it was not really problem-based. I felt it necessary to object and eventually ended up in a heated argument with him (personal communication).
조르주 보르디지와 찰스 보엘렌은 이 특별한 사건의 구체적인 내용을 기억할 수 없었지만, [바로우스가 "그닥 지식-기반 PBL에는 열정적이지 않았다. 지식에 대한 것이 과도하고, 임상추론의 과정에 대해서는 불충분"]하다고 했음에 동의했다. Boelen은 다음과 같이 회상했다.
When asked, Georges Bordage and Charles Boelen could not remember the specifics of this particular event, but both agreed that Barrows, on different occasions, “was not too enthusiastic about knowledge-based PBL- too much about knowledge and not enough about the process of clinical reasoning, same issue” (Bordage, personal communication). Boelen recalled:
앨버커키의 UNM에서 열린 또 다른 행사에서는 1993년, 공중 보건 문제에 PBL이 적용된 수십 명의 동료들과 함께 고민하던 중, 저는 그가 매우 강하게 같은 주장을 폭로했던 것을 기억합니다. 그리고 그 대화는 너무 뜨거워져서 감히 논쟁을 벌였던 우리의 친구 찰스 엥겔(호주의 PBL 선구자)은 충격을 받았고, 거의 울 뻔했습니다. (개인 통신) On another occasion at UNM in Albuquerque, I think in 1993, as we were considering with a dozen of colleagues PBL applied to public health problems, I remember him exposing very strongly the same arguments and the conversation became so heated that our friend Charles Engel [a PBL pioneer in Australia] who dared to argue was shocked and about to weep (personal communication).
만약 어떤 의심이 독자 안에서 계속된다면, Barrows의 후기 작품들을 분석한 결과, 그가 그의 학문적 경력이 끝날 때까지 어느 정도 [정보 처리]를 지지했다는 것이 명백하게 드러났으며, 그의 전 연구 조수 Norman에 의해서도 확인되었다. 1996년, Barrows는 PBL에 대한 자신의 관점을 요약한 글을 썼는데, 여기서 그는 임상 문제 해결 기술의 중요성을 다시 한 번 강조했다. 그러나 동시에 [통합되고, 환자 문제의 단서를 중심으로 하며, 문제 해결 프로세스에 얽힌] 지식-기반의 습득의 중요성에 대해서도 언급했다(Barrows 1996a, b).
If any doubt persists within the reader, an analysis of the later works of Barrows clearly show that he espoused information-processing to some degree until the end of his academic career, a claim also confirmed by his former research assistant Norman (personal communication). In 1996, Barrows produced a paper summarising his view of PBL in which he re-iterated the importance of clinical problem-solving skills, but also the importance of the acquisition of a medical knowledge-base that would be integrated, centred around the cues of patient problems, and enmeshed with the problem-solving process (Barrows1996a,b).
결론 Conclusion
끝까지, 배로우스와 슈미트는 PBL에서 문제의 역할에 대한 두 가지 다른 이해를 유지했다. 비록 이 토론이 마스트리히트에서 해결되었음에도 불구하고, 그것은 전 세계의 PBL 교육과 연구에서 주요 논쟁거리로 남아 있다. 슈미트와 동료들이 보고한 바와 같이, 여전히 PBL(Schmidt et al)에 대한 정보 처리 접근법을 따르는 많은 PBL 커리큘럼이 있다. 2009). 이러한 커리큘럼에서, PBL은 여전히, [어떤 현상을 생성하는 기본 원리 또는 메커니즘을 이해하기 위한 수단]으로서가 아니라, [문제 해결 기술을 개발하기 위한 방법]으로 간주된다. Until the end, Barrows and Schmidt retained two different understandings of the role of problems in PBL. Even though this debate was settled at Maastricht, it remains a major source of debate in PBL education and research around the world. As reported by Schmidt and colleagues, there are still many PBL curricula that follow the information-processing approach to PBL (Schmidt et al.2009). In these curricula, PBL is still seen as a method for developing problem-solving skills rather than as a vehicle for understanding the underlying principles or mechanisms that produce these phenomena.
이 두 해석은 서로 너무나 대립되어 있기 때문에 두 해석 모두 "문제 기반 학습"이라고 부르는 것은 PBL의 심리적, 철학적 토대를 박탈하는 경향이 있다. 그리고 이론적 뒷받침이 없는 방법론적 껍데기만 남길 수 있다. 역사적 관점에서 PBL 해석을 위한 논쟁에서 승자를 선언하는 것은 어려운 일이다.
과학적 합의의 관점에서라면, [PBL에 대한 구성주의자적 마스트리히트 해석]이 [더 이론적으로 근거가 있는 접근법]으로서, 명확히 학문적으로 승리했다고 볼 수 있다: 정보 처리information-processing은 이제 학습의 심리학에서 대부분 지워졌다.
그러나 교육 관행의 측면에서 보면, 전세계의 교육자들이 일반적인 문제 해결 기술의 가르침을 계속해서 설파하고 있기 때문에, PBL의 해석을 위한 줄다리기는 아직 끝나지 않았다.
These two interpretations are at such odds with one another that calling both of them “problem-based learning” tends to deprive PBL of its psychological and philosophical underpinnings and may leave only a methodological shell behind, devoid of theoretical support. From a historical perspective, declaring a victor in the dispute for the interpretation of PBL is a difficult matter.
In terms of scientific consensus, the constructivist Maastricht interpretation of PBL, as the more theoretically-grounded approach can be awarded a clear academic victory: information-processing has largely been erased from the psychology of learning.
But in terms of educational practice, educators from all over the world continue to preach the teaching of general problem-solving skills, so the turf-war for the interpretation of PBL is far from over.
역사학자로서 역사적 교훈의 적용을 오늘날까지 규정하는 것을 지지하지는 않겠지만, 현재의 교육자들이 그들의 PBL 커리큘럼의 이면에 있는 근거에 대해 심각하고 광범위하게 의문을 제기하도록 권장할 수 있다: PBL이 주로 정보처리에 기초하고 있는가? 아니면 구성주의에 기초하고 있는가? 이것이 암시하는 교육적 결과에 대한 완전하고 개방적인 이해가 있는가? Whilst as a historian, one would not purport to prescribe the application of historical lessons to the present day, one may very well encourage present day educators to seriously and extensively question the rationale behind their PBL curriculum: is it primarily grounded in information-processing or in constructivism, and is there a full and open understanding of the educational consequences that this implies?
이 연구는 의학 교육 분야에서는 맥매스터와 마스트리히트로 범위가 제한되었지만 IPP와 건설주의 사이의 논쟁이 작용한 다른 분야와 분야가 있을 수 있다. 이것은 조사해 볼 가치가 있을 것이다. 이것은 역사 논문으로서 맥마스터와 마스트리히트를 포함한 문제 해결 및 지식 획득 커리큘럼과 관련된 현재 상황을 조사하지 않았다. 이것은 후속 연구를 위한 흥미로운 연습일 수 있다.
This research was limited in scope to McMaster and Maastricht in the field of medical education, but there may be other disciplines and areas where the debate between IPP and constructivism played out. This may be worthwhile investigating. This being a historical paper, it has not investigated the present situation with regards to Problem-solving and Knowledge Acquisition curricula, including at McMaster and Maastricht; this may be an interesting exercise for follow-up research.
Servant, V. F. (2016). Revolutions and Re-iterations: An intellectual history of problem-based learning. Unpublished doctoral thesis. Rotterdam: Erasmus University Rotterdam.
Adv Health Sci Educ Theory Pract.2019 Aug;24(3):619-635.
doi: 10.1007/s10459-018-9835-0.Epub 2018 May 30.
Problem solving skills versus knowledge acquisition: the historical dispute that split problem-based learning into two camps
This paper sheds light on an intellectual dispute on the purpose of problem-based learning that took place in the 1970s between two major figures in the history of PBL: Howard S Barrows from McMaster University and Henk Schmidt from Maastricht University. Using historical evidence from archive materials, oral history accounts and contemporary publications, the paper shows that at the core of the dispute was their divergent understanding of cognitive psychology. On the one hand, Barrows espoused hypothetico-deduction, and on the other, Henk Schmidt was a proponent of constructivism. The paper shows how the dispute played out both in the scientific literature and in the divergent practice of PBL at McMaster and Maastricht and continues to affect the way PBL is done today.
맥마스터에서의 50년: PBL의 교훈(Adv Health Sci Educ Theory Pract, 2019)
McMaster at 50: lessons learned from five decades of PBL Alan Neville1 · Geoff Norman2 · Robert White3
비록 PBL에 대한 많은 논의가 종종 진정한 PBL이 무엇인지에 대한 신학적인theological 논쟁의 전모를 가정하지만, 적어도 PBL이 어디서 시작되었는지에 대해서는 약간의 의견 일치가 있다. 첫 번째 PBL 커리큘럼은 60년대 중반에 McMaster에서 고안되었다는 것을 모두 인정한다. 이 커리큘럼은 PBL의 기본 교리tenets 일부를 도입했다. 즉, 기본 학습 전략으로 주의 깊게 설계된 문제를 기반으로 한, 소수의 학생 그룹이, 튜터와 진행하는 것이다. 강의는 종종 있지만, 소그룹 활동보다는 부차적인 것으로 여겨진다.
Although many discussions about PBL often assume the trappings of a theological debate about what is the true PBL, there is at least some consensus about where it began. All acknowledge that the first PBL curriculum was devised at McMaster in the mid-sixties. This curriculum introduced some of the basic tenets of PBL—based on carefully designed problems, with a small group of students with the tutor as the primary learning strategy. Lectures are often present, but are viewed as secondary in importance to the small group.
이후 50년 동안 McMaster는 일부 오류(perceived 와 real 모두)를 수정하기 위한 다양한 시도가 있었으며, 그 중 가장 두드러진 4개의 커리큘럼(Neville and Norman 2007)으로 이어졌다. 무심코 관찰하는 사람에게는, 그것들은 모두 거의 똑같이 보입니다. 그러나 보다 심층적으로 조사해보면, 학부 의학교육의 중요한 특징과 이를 달성하는 데 있어 PBL의 역할에 대한 매우 다른 전제에서 출발한다.
Over the succeeding five decades, there have been various attempts at McMaster to fix some of the failings—perceived and real—which has led, among others, to 4 distinctive curricula (Neville and Norman2007). To a casual observer, they all look pretty much the same. But on deeper probing, they start from very different premises about the critical features of undergraduate medical education and the role of PBL in achieving these.
본 논문은 이러한 커리큘럼에 대한 설명이 아닙니다. 그것은 이미 네빌과 노먼(2007)이 수행했다. 우리가 이 이슈를 제기하는 이유는 PBL을 할 수 있는 "단 하나의 올바른" 방법이란 없다는 더 좋은 증거가 없기 때문이다. 맥마스터가 PBL 구조 내에서 네 가지의 근본적으로 다른 커리큘럼을 실행했다면, 분명히 많은 방법이 있다.
This paper is not a description of these curricula. Neville and Norman (2007) did that. We bring up the issue simply as there is no better evidence that there is no one “right” way to do PBL. If McMaster has implemented four radically different curricula, all within the PBL structure, there are clearly many ways to skin the cat.
또한 PBL 교육과정에 대한 근본적인 논거를 다시 진술하는 것도 아니다. 이는 일찍이 뉴펠드와 바로스(1974년)에 의해 탐구되었고, 최근에는 서번트 미클로스(2019b)에 의해 역사적, 철학적인 뿌리가 세심하게 분석되고 있다.
Nor is it a restatement of the underlying rationale for the curriculum. This was explored early on by Neufeld and Barrows (1974), and the historical and philosophical roots have been carefully analyzed recently by Servant-Miklos (2019b).
대신, 본 논문에서는 맥매스터에서 PBL의 50년 동안 나타난 많은 실질적인 문제에 대해 논의할 것이다.
Instead, in this paper, we will discuss a number of substantive issues that have emerged over the 5 decades of PBL at McMaster.
PBL 이론 The theory of PBL
프로그램의 시작부터, PBL의 기본 철학에 대한 [두 가지 관점 사이에 긴장]이 생겼다.
하나는 PBL은 [특정한 지식을 초월]하여, 오로지 끊임없이 변화하는 의학에 대한 지식 기반을 효과적으로 다루는 [임상적 문제 해결 기술을 습득]에 관한다는 것이다.
반대되는 견해는 PBL은 [지식 적용]에 관한 것이었고, PBL은 [의학적 지식이 문제 맥락에서 학습된다는 장점]을 가지고 있었는데, 이는 의학적 내용이 임상 설정과 관련될 것이라는 확신, 새로운 관련 문제로의 이전이 용이하다는 몇 가지 잠재적 장점을 가질 수 있다는 것이다.
From the outset of the program, there arose a tension between two perspectives on the underlying philosophy of PBL.
One is that PBL was all about acquiring clinical problem-solving skills which transcend specific knowledge and deal effectively with the constantly changing knowledge base of medicine.
The opposite view is that PBL was about knowledge application, and PBL had the virtue that medical knowledge was learned in a problem context, which could have several potential advantages—increased motivation, assurance that the medical content would be relevant to the clinical setting, ease of transfer to a new related problem.
첫 번째 커리큘럼이 시행된 지 몇 년 후, 두 관점 사이의 논쟁은 공개되었고, Barrows는 "기술skills"의 관점을, Maastricht의 Henk Schmidt는 지식 획득(knowledge acquisition)의 관점을 옹호했다. 이 공개 토론은 최근에 서번트 미클로스(2019a)에 의해 설명되었다. Several years after the implementation of the first curriculum, the debate between the two perspectives became public, with Barrows taking the “skills” perspective, and Henk Schmidt of Maastricht siding with the view of knowledge acquisition. This public debate has been recently described by Servant-Miklos (2019a).
그러나, 두 가지 입장 사이의 대립는 첫 번째 교육과정에 이르면 내부적으로 명백했다. Miklos-Servant가 설명하듯이, 첫 번째 커리큘럼은 대체로 교육사와 철학에 무지한 소수의 임상의들에 의해 개발되었다. 문제를 통해 학습한다는 생각을 채택한 것은 하버드 케이스 연구 방법에 바탕을 둔 하버드 경영대학원에 진학한 설립자(스펄딩)와 대학 동창회 형제의 우연한 만남의 결과였다. 마찬가지로 자기주도학습도 같은 이름의 놀스(1975)가 쓴 책이 인기를 끌었기 때문에 생겨났다. 그것이 구현된 정도는 명확하지 않다. 하지만 여전히 학생들이 [스스로를 평가하는 법, gap을 식별하는 법, 학습의 기회를 탐색하는 법]을 배워야 한다는 아이디어는 매력적인 관념이었다. 무엇보다 그 당시는 혁명적인 변화가 일어나던 시기였으며, "모든 지식은 5년 안에 쓸모어질 것이다"와 같은 만트라가 새로운 지혜로 선언된 시대였다 (그러나 잠시만 생각해보면 그러한 진술이 거짓임은 쉽게 알 수 있다)
However, the contrast between the two positions was apparent internally as early as the first curriculum. As Miklos-Servant describes, the curriculum was developed by a small group of clinicians who were, by and large, ignorant of educational history and philosophy. Adoption of the idea of learning through problems was a consequence of a chance encounter between one of the founders (Spaulding) and a college fraternity brother who went on to Harvard Business School, which was based on the Harvard Case study method. Similarly, self-directed learning arose because of the popularity of the book by Knowles (1975) of the same name. The extent to which it was implemented is not that clear. Still the idea that students should learn how to assess themselves, identify gaps, and seek out learning opportunities was an appealing notion in an era when revolutionary changes were occurring and mantras like “All knowledge is obsolete in 5 years” were proclaimed as new wisdom (when a moment’s reflection would reveal the falsehood of such a statement).
실제로, 첫 번째 커리큘럼의 커리큘럼 자료를 검토한 결과, 자율학습과 문제 해결의 원칙에 대한 명시적인 집착이 거의 드러나지 않았다. 대조적으로 [기초의학에 대한 남다른 집착]은 있었던 것으로 보였다. 학생들은 어떤 교과서에서 어떤 부분을 공부해야 하는지, 자기 평가와 함께 학습해야 하는지, 그리고 정해진 목표를 나타내는 학습 가이드를 제공 받았다. 운에 맡긴 것은 거의 없었다. Indeed, an examination of the curriculum materials of the first curriculum revealed little explicit adherence to principles of self-learning and problem solving. By contrast there appeared to be an extraordinary preoccupation with medical basic science. Students were provided study guides indicating what sections of what texts they should study, with self-assessments, and prescribed objectives. Little was left to chance.
그럼에도 불구하고, 일반적인 문제 해결 기술에 대한 생각은 표면에서 멀리 떨어져 있지 않았다. Neufeld와 Barrows(1974)는 전문 임상의들이 어떻게 "문제를 해결"을 하는지, 초보자들은 이러한 기술들을 어떻게 습득하는지 확인하는 연구 프로그램을 시작했다(Neufeld et al. 1981; Barrows et al. 1982). 거의 10년 후, 매우 다른 개념화가 연구에서 나타났다. 가설의 생성, 확인 데이터 수집과 같은 프로세스 측정값process measure은 의대생과 전문가에서 사실상 동일했다. 그러나 내용 측정값content measure(생성된 특정 가설)은 크게 달랐다. 또한, 이러한 복잡한 연구에서 사용된 모든 측정값은 [문제 간의 상관관계가 좋지 않음]을 보여주었다. 이러한 모든 발견은 [전문성]이란 [문제 해결의 프로세스에 존재]한다는 개념과 모순된다. Nevertheless, the idea of general problem-solving skills was never far from the surface. Neufeld and Barrows (1974) initiated a research program directed at identifying how expert clinicians “problem-solved” and how these skills were acquired by novices (Neufeld et al.1981; Barrows et al.1982). Almost a decade later, a very different conceptualization emerged from the research. Process measures, such as generation of hypotheses, gathering of confirmatory data, were virtually identical in medical students and experts. However content measures—the specific hypotheses generated—were dramatically different. Moreover, all the measures used in these complex studies showed poor correlations across problems. All of these findings are inconsistent with the notion that expertise resides in the process of problem-solving.
이러한 관점은 의학 분야(Elstein et al. 1978)와 기타 전문 분야(Perkins and Salomon 1989)에서 모두 다른 연구 프로그램에서도 나타났다. 이러한 발견을 바탕으로 맥마스터 교수인 노먼(1988)은 두 가지 관점을 다시 설명했고, 성과의 결정적 요소로서 [특정 지식]의 손을 들어주었다. 슈미트가 토론에서 이긴 것이다. 그러나 50년 후에도(Monteiro et al. 2019) 문제 해결 또는 임상 추론 기술에 대한 아이디어는 여전히 매력적이며, 많은 프로그램들은 이러한 기술을 배우기 위한 전략으로 PBL을 계속 보고 있다.
This perspective also arose in other research programs, both within medicine (Elstein et al.1978) and in other expertise domains (Perkins and Salomon1989). Building on these findings, Norman (1988), a McMaster faculty member, again described the two perspectives, and came down on the side of specific knowledge as a determinant of outcomes. Schmidt won the debate. However, the idea of problem-solving or clinical reasoningskillsremains attractive even 50 years later (Monteiro et al.2019), and many programs continue to view PBL as a strategy for learning these skills.
커리큘럼: 기초 및 구조 The curricula: their underpinnings and structures
위에서 설명한 이론적 긴장감은 맥매스터 의과대학 커리큘럼의 50년에 걸친 많은 진화의 저변에 깔린 것under-current으로, 그리고 우리가 네 번째 커리큘럼 개정에 접근하고 있는 동안에도 나타난다. 서번트 미클로스(2019a)는 이러한 긴장감이 PBL의 두 역사적 학교인 맥마스터와 마스트리히트(McMaster and Maastricht)와, 각 학교의 방법적 "아버지" 사이에서 전개되는 것으로 묘사하고 있지만, 이 긴장감은 맥마스터의 PBL 커리큘럼 내부와 교육 사이에서도 전개되었다. 우리는 맥마스터의 PBL 프로그램에서 철학, 교육학 및 부분 교육학적 표현들의 역할과 상호 작용을 가장 잘 강조하기 위해 이 이론적 긴장의 맥락에서 세 개의 이전 및 새로 계획된 커리큘럼을 간략하게 검토한다. The theoretical tension described above runs as an under-current to much of the evolution of McMaster’s medical school curricula over 5 decades, and even as we approach our fourth curriculum revision. While Servant-Miklos (2019a) portrays this tension as unfolding between two historical schools of leadership on PBL—McMaster and Maastricht—and their respective “fathers” of the method, Barrows and Schmidt; so too has this tension played out within and between the PBL curricula at McMaster over this time. We briefly examine the three prior and the newly planned curricula in the context of this theoretical tension to best highlight the roles and interactions of philosophy, pedagogy, and para-pedagogical manifestations in McMaster’s PBL program.
이러한 다양한 표현manifestation에 대해 명백하게 말하는 것은 아마도 도움이 될 것이다. 이 [철학]은 [커리큘럼의 명시된 목표]와 [PBL이 그러한 목표를 달성하기 위한 교육학으로서 어떤 역할을 할 것인가에 대한 기대]를 포함한다. 그 철학은 [페다고지] 자체에서 나타날 것이다. PBL의 경우에는 문제들, 선생님들이 맡았던 역할, 의과대학이 강조하는 튜토리얼 과정 등이 그 페다고지이다. 그럼에도 불구하고, 커리큘럼의 설계자와 기획자는 다수였고, 그들은 각각 그 철학에 대한 자신의 이해와 의견을 가질 수 있다. 이러한 정의를 고려할 때, 이미 [철학philosophy]과 [교육학pedagogy] 사이에서 난제가 형성될 수 있는 여러 잠재적 기회가 있었다
It is probably helpful to be explicit about these various manifestations. The philosophy includes the stated goals of the curriculum and the expectations of what role PBL would play as a pedagogy to achieve those goals. The philosophy will manifest itself in the pedagogy which, in the case of PBL, includes the problems, the role taken on by the tutors, and the process of the tutorial emphasized by the medical school. Nonetheless, the designers and planners of a curriculum are many, and they may each have their own understandings and opinions of the philosophy. Considering these definitions, it is already possible to identify multiple potential opportunities for fissures to form between philosophy and pedagogy.
마지막으로, 역설적 para-pedagocial manifestation은 궁극적으로 [철학과 교육학]에서 파생되면서, 동시에 [철학과 교육학]을 강화되는 의료 프로그램의 다른 중요한 측면(입학 및 평가와 같은 것들)을 포함한다. 의학 프로그램에 누가 어떻게 입학하게 되는가 하는 것은 프로그램의 성공에 기여하는 만큼, 프로그램의 지배적인 철학에서 파생된 것이다. 마찬가지로, 평가 전략의 프로세스와 방향도 마찬가지로 [철학 및 교육학]의 성공에 기여하거나 잠식한다. 물론 평가를 교육학으로 포함시키는 것은 쉽게 주장할 수 있지만, 우리는 평가 역시 para-pedagocial support이며, 맥매스터의 PBL 철학 및 교육학의 발현이라고 간주할 것이다. Finally, the para-pedagogical manifestations include other vital aspects of the medical program that are ultimately derived from and simultaneously reinforce the philosophy and pedagogy, such as admissions and assessment. Who gets admitted to the medical program and how, is as much derived from the overarching philosophy of the program, as it is contributory to its success. Likewise, the process and orientation of assessment strategies equally contribute to or erode the success of the philosophy and its pedagogy. Admittedly, one could easily make the case for including assessment as pedagogy, but we will consider it a para-pedagogical support and manifestation of McMaster’s PBL philosophy and pedagogy below.
McMaster의 커리큘럼의 네 번의 반복은 위에서 설명한 문제 사이의 상호 작용을 설명하는 데 도움이 된다. 세 개의 이전 커리큘럼은 다른 곳에서 잘 설명되어있다. 관심 현상을 더 설명하기 위해 새로운 커리큘럼을 간략하게 설명할 것이다. The four iterations of McMaster’s curriculum help illustrate the interplay between the issues outlined above. The three prior curricula are well-described elsewhere (Neufeld and Barrows1974; Neville and Norman2007; Servant-Miklos2019b); and the renewed curriculum will be briefly described to further illustrate the phenomenon of interest.
첫 번째 커리큘럼에서 철학은 인간 생물학에 대한 이해의 필요성과 "무질서한 인간 구조와 기능의 주요 측면"에 초점을 맞췄다(1967년 스폴딩). [교육학적 강조]는 "인간의 문제를 학습의 초점으로 삼는 것"이었다. (Spauld 1967) 그러나 교육 이론에 달리 훈련되지 않은 계획자들은 페다고지가 어떻게 발현해야manifest 하는지에 대해서는 관용적agnostic이었다. 실제로 위에서 설명한 것처럼, 이 첫 번째 커리큘럼은 인간 문제의 맥락에서 [생의학 현상에 대한 지식]을 얻는 데 중점을 두고 보다 체계화되었다.
In the first curriculum, the philosophy focused on the need to understand human biology and “the major aspects of disordered human structure and function” (Spaulding1967). The pedagogical emphasis was on “human problems as focal points for study” (Spaulding1967); however, the planners, who were not otherwise trained in educational theory, were agnostic regarding how the pedagogy should manifest. In fact, as described above, this first curriculum was more structured with a strong focus on acquiring the knowledge of biomedical phenomena within the contexts of human problems.
그럼에도 불구하고, 문제의 역할에 대해 [철학적 및 페다고지적으로 상대적으로 agnostic한 개념을 갖는 것]을 반드시 모든 사람이 공유한 것은 아니었다. 1974년까지, 뉴펠드와 바로우스는 "맥마스터의 철학"을 "지식의 저장고보다는 구체적인 능력과 특성에 중점을 두는 것"이라고 묘사했다. (뉴펠드와 바로우 1974, 페이지 1040) 비록 [문제 해결]과 [지식 습득 사이]의 그들의 지향점이 이 출판물을 통해 때때로 모순되었지만, 그것은 [문제 해결 기술에 매우 크게 기울었다]. 이는 Barrows가 그 당시는 물론, 그의 경력 전반에 걸쳐 진화시켜온 견해와 일치한다(Servant-Miklos 2019a). Nonetheless, this relatively agnostic conceptualization of the role of the problem, both philosophically and pedagogically, was not necessarily shared by all. By 1974, Neufeld and Barrows described “McMaster’s Philosophy” as “[placing emphasis] on specific capabilities and characteristics rather than a store of knowledge.” (Neufeld and Barrows1974, p. 1040). Although their orientation between problem-solving and knowledge acquisition was occasionally contradictory throughout this publication, it very significantly leaned towards problem-solving skills. This is consistent with Barrows’s evolving views at the time and throughout his career (Servant-Miklos2019a).
그렇다면 1980년대 초반 배로우스와 뉴펠드의 영향을 많이 받은 두 번째 교육과정이 [문제해결 능력을 개발]할 수 있는 기회를 많이 제공하는, 복잡한 '우선순위 건강 문제'에 중점을 둔 것은 놀랄 일이 아니다. 이는 문제 해결 방식(Servant-Miklos 2019a)이 아닌 PBL 문제의 사용에 대한 지식 획득 방식을 지지하는 증거들이 이미 증가하고 있음에도 불구하고 이뤄진 것이었다. 그럼에도 불구하고, 철학적으로, 교육학적으로, 그리고 역설적으로, 맥매스터의 의학 프로그램은 [1980년대 후반 학생들이 1989년에 정점을 찍으면서 국가 면허 시험에서 상당한 저조한 성적을 경험할 때]까지, 20년 동안 [문제 해결 지향]을 계속 수용했다(Blake et al. 1996). 이는 아래에서 설명하는 발달시험progress testing의 도입에서 나타나는, [지식 획득을 향한 공식적인 철학적 변화]의 시작을 야기했다. It should be no surprise then, that the second iteration of the curriculum from the early 1980s, which was heavily influenced by Barrows and Neufeld, had a strong focus on complex “Priority Health Problems” that provided plenty of opportunities for developing problem-solving skills. This was in spite of the growing body of evidence already amassing in support of a knowledge acquisition approach to the use of the PBL problems, rather than a problem-solving one (Servant-Miklos2019a). Regardless, philosophically, pedagogically, and para-pedagogically, McMaster’s medical program continued to embrace the problem-solving orientation for two decades until in the late 1980’s students experienced significant under-performance on national licensing examinations, peaking in 1989 (Blake et al.1996). This caused the beginning of a formal philosophical shift towards knowledge acquisition which manifest in the introduction of progress testing, described below.
그러나, 발달시험으로 이어진 철학적인 변화는, 거의 10년이 지나도록 [PBL 문제, 다른 평가 또는 입학]에 중요한 변화를 가져오지 않았다. 2000년대 초, 철학은 pedagogical and para-pedagogical한 측면과 함께, [지식 획득 지향으로 더 정면으로 전환]되었다. PBL 문제는 생물의학 개념 이해에 더 중점을 두면서 짧아졌다. 반면 의학교육의 인문학적, 윤리적, 의사소통 측면은 핵심 전문 역량 훈련에서 더 큰 초점focus을 받았다. The philosophical shift resulting in progress testing did not, however, result in significant changes to PBL problems, other assessments, or admissions until almost a decade later. In the early 2000s, the philosophy shifted more squarely towards the knowledge acquisition orientation with pedagogical and para-pedagogical aspects of the program falling in line. PBL problems became shorter with a stronger focus on understanding biomedical concepts; while the humanistic, ethical, and communication aspects of medical education received greater focus in parallel, coreProfessional Competenciestraining (Neville and Norman2007).
그러나, 이 세 번째 교육과정에서의 철학적 의도와 교육학적 표현 사이에는 약간의 불일치가 계속되었다. 2015년 PBL 교육과정 검토에서, 이 misalignment는 여러 요소에서 기인한 것으로 판단되었다. There did continue to be some misalignment, however, between the philosophical intentions and the pedagogical manifestations in this third curriculum. In a review of the PBL curriculum in 2015, this misalignment was determined to be multi-factorial, including
커리큘럼을 구현하는 커리큘럼 계획자에게 의도된 철학의 번역translation 부족
철학적 변화를 실행하는 능력의 부족, 그리고
교육과정 계획자와 교사 모두에게 구조적인 지원의 부족
a lack of translation of the intended philosophy to the curriculum planners who were implementing the curriculum,
a lack of faculty development in implementing the philosophical shift, and
a lack of structural supports for both curriculum planners and tutors alike.
McMaster의 PBL 커리큘럼의 네 번째 반복은 PBL의 [지식 획득 지향]에 더 강하게 기여한다. 이를 위해 설계자, 기획자, 지도교사, 학생 간의 교육학적 격차를 해소하기 위해 갱신된 커리큘럼에 몇 가지 구조적 지원이 추가되었다. 보다 중요한 구조로는 다음이 있다.
(a) 문제 프레젠테이션이 단순하고 구조화된 문제에서 복잡한 통합 문제로 이동하는, 다시 방문한, 보다 정교한 노출까지 초보 수준의 개념 노출에서 졸업하는 튜토리얼 템플릿
(b) (복잡한(일반적으로 다-계통) 및 만성 질환에 초점을 맞춘) 임상 교육에 들어가기 전에 Integration Foundation의 추가, 이전 Foundation의 개념 revisiting도 가능하게 한다.
(c) practice를 위해 설계된 "worked" 문제 및 미니 문제를 포함
(d) 지식의 elaboration을 가능하게 하기 위해, 튜터에게 이전에 다룬 내용에 관한 정보를 더 많이 제공
The fourth iteration of McMaster’s PBL curriculum commits more strongly to a knowledge acquisition orientation of PBL. To this end, several structural supports have been added to the renewed curriculum to buttress pedagogical gaps between designers, planners, tutors, and students. Some of the more important structures include:
(a) tutorial templates graduating from novice-level concept exposure up to revisited, more sophisticated exposures whereby problem presentations move from simple, structured problems to complex, integrated problems;
(b) the addition of anIntegration Foundationbefore entering clinical training that will focus on complex (typically multi-system) and chronic illness which will also enable revisiting of concepts from earlierFoundations;
(c) the inclusion of “worked” problems and mini-problems designed for practice; and
(d) more information for tutors regarding previously covered content to enable improved elaboration of knowledge.
이러한 구조적 변화는 맥매스터 MD 프로그램의 para-pedagogical한 측면, 특히 학생 평가와 입학에 더 잘 부합한다.
These structural changes will better align philosophy and pedagogy, with the para-pedagogical aspects of McMaster’s MD Program, particularly student assessment and admissions
학생성적평가 Assessment of student performance
학부 MD 프로그램의 학생 성과에 대한 평가는 기초적인 교육학적 과정의 원칙에 의해 처음부터 지도되었다. 학습 과정의 중심은 [튜터의 평가]뿐만 아니라, [(자신과 동료 평가를 중심으로 학생들이 자기주도 학습을 시연할 것으로 기대되는) 튜토리얼]이었다. 따라서 프로그램은 지속적인 비공식 피드백을 장려하고 개별 학생, 동료 및 지도교사의 평가와 피드백에 대한 공유 책임을 요구했으며, 학생들이 튜토리얼 토론에 무엇을 가져왔는지를 평가하는 데 크게 의존했다(Neufeld 1974). 객관식 시험과 같은 공식적인 지식 기반 시험은 없었고, 필수 필기 평가도 없었다.
Assessment of student performance in the Undergraduate MD Program was guided from the outset by the principles of the underlying pedagogical process. Central to the learning process was the tutorial where students were expected to demonstrate self-directed learning with an emphasis on self and peer assessment as well as assessment by the tutor. Thus the program encouraged ongoing informal feedback and required shared responsibilities for evaluation and feedback by individual students, peers and tutors, relying heavily on assessing what students brought to tutorial discussion (Neufeld 1974). There were no formal knowledge-based examinations such as multiple-choice tests nor were there required written assessments.
한 가지 혁신적인 평가 도구는 초기 몇 년 동안 맥마스터에서 도입되었으며, PBL 튜토리얼의 학습 과정을 반영하도록 특별히 설계되었다. "트리플 점프" (Painvin et al., 1979)는 문제 해결에 학생을 참여시키기 위해 고안되었다. 학생들은
문제와 같은 작은 튜토리얼small tutorial에 직면하여,
튜터를 만나고,
사례와 관련된 학습 목표를 개발하고,
사례를 설명하는 데 필요한 정보를 공부한 다음,
임상 사례에 대한 전체 설명을 가지고 튜터에게 돌아갈 것이다.
One innovative assessment tool was introduced at McMaster in the early years specifically designed to mirror the learning process of the PBL tutorial. The “Triple Jump” (Painvin et al.1979) was designed to involve the student in problem-solving. Students would
be faced with a small tutorial like problem,
meet with a tutor,
develop learning objectives related to the case,
research the information required to explain the case and
then return to the tutor with a full explanation of the clinical case.
그 당시, 이러한 exercise는 문제 해결, 자기 평가, 정보 검색 능력을 평가하는 것으로 느껴졌다. 지식은 그 과정에서 단지 사소한 요소로 간주되었고, 따라서 단일 문제single problem에서만 지식을 평가하는 것 만으로도 충분하게 보였다.
At the time, the exercise was felt to assess problem-solving, self-assessment and information retrieval skills. Knowledge was viewed as only a minor element in the process, hence the knowledge assessed in a single problem was seen to be sufficient.
따라서, 철학적인 수준에서, [지식 대 기술]이라는 두 가지 관점이 공존하는 동안, 튜토리얼과 평가 모두에서, 기술에 초점을 맞춘 [프로세스 관점]이 지배적이었다. Thus, while at a philosophical level, the two perspectives—knowledge versus skills—coexisted, in both learning in tutorial and assessment, the process view focussed on skills was dominant.
이 기간 동안, 1973년 졸업한 2반으로 거슬러 올라가지만 3차 교육과정 시점으로 확대되면서, 맥마스터 학생들이 국가면허시험에서 제대로 성적을 내지 못하고 있다는 우려가 있었다. 불합격 학생을 비교한 여러 내부 조사와 합격한 학생의 대조 표본은, tutor assessment가 어려움에 처한 학생을 식별하지 못한다는 것을 보여주었다. 그 때까지 사용 중인 평가도구instrument가 지식습득을 평가할 수 없다는 것이 명백해졌다. 의과대학 전체에 걸쳐 그들의 지식을 벤치마킹할 기회가 거의 없고 객관식 시험에 다소 익숙하지 않은 맥매스터 의대생들은 면허 시험에 직면했을 때 어느 정도 타협을 당했다compromised.
Over this period of time, dating back to the second class who graduated in 1973 but extending to the time of the third curriculum, there was concern that McMaster students were not performing adequately on the national licensing examination. Several internal studies comparing students who had failed and a control sample of students who passed the examination showed that tutor assessment was unable to identify students in trouble. It became evident that the instruments in use to that point were incapable of assessing knowledge gain. With little opportunity to benchmark their knowledge throughout medical school and suffering some unfamiliarity with multiple-choice examinations, McMaster medical students were somewhat compromised when faced with the licensing exam.
McMaster 교수진은 잘 설계된 객관식 시험이 신뢰할 수 있고 유효한 지식 평가임을 분명히 인식했지만, 문제 기반 학습 커리큘럼에서 평가 시스템이 학습 시스템에 미치는 강력한 영향을 인식하여, 과목 종료시end-of-course의 객관식 시험을 도입하는 대신, PPI(프로그레스 테스트, 발달시험)를 도입하기로 결정하였다. 미주리 대학교, 캔자스 시티 의과 대학(Willoughby et al. 1988), 마스트리히트 대학교(Vander Vleuten et al. 1996)에 의해 개발된 이 객관식 시험은 학생들에게 세 가지 등급 코트에서 각각 표준적으로 참조되는 점수로 지식 숙달에 대한 종합적인 평가를 제공했다. PPI는 국가면허시험에 대한 예측적 타당성을 가지고 있으며, 또래보다 성적이 낮은 학생을 조기에 파악하여 교정조치를 받을 수 있도록 하였다. 특히, 진행률 테스트는 국가 면허 시험에 대한 맥마스터 학생들의 성적을 크게 향상시켰다(Norman et al. 2010).
McMaster faculty clearly recognized that well designed multiple choice tests are a reliable and valid assessment of knowledge, but recognizing the strong influence of the assessment system on the learning system in a problem-based learning curriculum decided that rather than introduce end-of-course multiple choice tests, they would introduce progress testing (PPI). This multiple-choice type examination developed initially by the University of Missouri, Kansas City School of Medicine (Willoughby et al.1988) and Maastricht University (Van der Vleuten et al.1996) provided students with a comprehensive assessment of knowledge mastery with scores that were norm referenced within each of the three class cohorts. The PPI was shown to have predictive validity for the national licensing exam and allowed students who were clearly performing below their peers to be identified early and receive remediation. Notably, progress testing significantly improved the performance of McMaster students on the national licensing examination (Norman et al.2010).
이 같은 기간 동안 의과대학은 심리측정적으로 robust하면서도, 커리큘럼의 학습 스타일을 반영하는 다른 평가 방법을 모색했다. 트리플 점프Triple Jump의 낮은 신뢰도unreliability를 인식하여, 이 exercise는 단계적으로 중단되었고, [Clinical Reasoning Exercise 또는 Concept Application Exercise]가 도입되었다(Neville et al. 1996). (학생들에게 개념적 이해가 필요한 미니 자습 사례를 제시하는) 이 다문항 단답형 평가 도구는 각 커리큘럼 블록에서 여러 번 실행된다.객관식 시험과 다른 것을 측정한다는 증거는 없지만, 신뢰할 수 있고 유효한 평가 도구인 것으로 나타났다. During this same period, the medical school sought out other assessment methods that were psychometrically robust and yet reflected the learning style of the curriculum. Recognizing the unreliability of the Triple Jump, this exercise was phased out and the Clinical Reasoning Exercise or Concept Application Exercise was introduced (Neville et al.1996). This multi-item short answer assessment tool in which students are presented with mini-tutorial cases, most of which would require conceptual understanding, is run several times during each curriculum block. It has been shown to be a reliable and valid assessment tool, although there is no evidence that it measures anything different from a multiple choice test.
1980년대 동안 학생들의 임상 기술을 평가하기 위한 OSCE의 사용이 증가했다. 발달시험과 마찬가지로, 학생 점수는 표준 점수보다 컷 점수 기준으로 참조되고 OSCE 성능이 동료보다 2개 이상 표준 편차가 떨어지는 학생은 가능한 교정 조치를 필요로 하는 검토를 받는다. During the 1980’s there was increasing use of the OSCE to assess student clinical skills. As with the progress test, student scores are norm referenced rather then cut-score based and students whose OSCE performance falls more than 2 standard deviations below their peers undergo review with possible remediation required.
[튜토리얼 기반 평가tutorial-based assessment]에 대한 우려에도 불구하고, 그것은 오늘날까지 지속되고 있다. 앞에서 지적했듯이 튜터와 동료가 튜토리얼 토론과 전문적인 행동에 대한 학생들의 기여를 평가할 수 있다는 증거가 있지만, 맥마스터의 내부 연구는, 국가면허시험 성적에 기초하자면, [튜토리얼 기반 평가]가 [충분한 지식을 습득한 학생과 지식 기반이 부족한 학생]을 구별할 수 없다는 것을 보여준다. 또한, [자기평가에 의해 유도driven되는 자기 주도 학습]의 개념은, [여러 문헌에서와 같이, 사람은 더 배워야 할 것을 direct하기 위한 목적으로 효과적으로 자기 평가를 할 수 없음을 고려하면], 타당성이 부족한 것으로 나타났다(Eva 및 Regehr 2005). Despite concerns about tutorial-based assessment, it persists to this day. While there is evidence that tutors and peers can assess the contribution of students to tutorial discussion and professional behaviour, as we indicated before, internal studies at McMaster show that tutorial-based assessment cannot distinguish between those whose knowledge acquisition is satisfactory from those whose knowledge base is inadequate based on performance on the national licensing exam. In addition, the concept of self-directed learning, driven by self-assessment has been shown to lack validity given the documented inability of individuals to effectively self-assess in order to direct what they should learn more about (Eva and Regehr2005).
입학 과정과 다른 커리큘럼 그 자체와 마찬가지로, 학생 평가는 수십 년 동안 증거의 출현과 의과대학 자체의 교육 철학과 관행을 비판적으로 검토하고 수정하려는 의지를 반영하여 발전해 왔다. 튜토리얼 평가tutorial assessment와 같은 원래의 평가 철학의 일부 측면은 남아 있었지만, 의과대학은 이제 학생들에 대한 전반적인 평가에서 (남아있는 평가 요소들의 위치가) 상대적으로 minor함을 인식하고 있다.
Student assessment, like the admission’s process and the different curricula themselves, have evolved over the decades reflecting the emergence of evidence and the willingness of the medical school to critically review and revise both its own educational philosophies and practices. Some aspects of the original assessment philosophy such as tutorial assessment have remained, but the medical school is now more cognizant of their relatively minor place in the overall assessment of students.
입학 Admissions
1969년 이 학교가 의대생들을 처음으로 입학시킨 이후 학부 MD 프로그램의 입학 과정은 상당히 발전되어 왔다. 초기에는 의료 서비스 제공과 다양한 건강 문제의 해결에 효과적이고 건강의 변화하는 요구에 적응할 수 있는 의사들을 교육해야 한다는 것을 강조하는 프로그램의 "목표"에 의해 입학 절차가 안내되었다(Ferrier et al., 1978).당시 맥매스터 교수진은 지원자의 학업 능력이 중요한 고려사항이라는 점을 인정했지만, 대학 성적표에 반영되는 학업 성적에 대한 강조는 "의대생과 의사에게 바람직한 자질의 좁은 범위만을 측정하는 것"으로 느껴졌다(Ferrier et al., 1978). The admissions process in the Undergraduate MD Program has evolved considerably since the school admitted its first medical students in 1969. In the early years, the admission process, was guided by the “objectives” of the program which emphasized the need to educate physicians who would be effective in contributing to the provision of care and in the solution of various health problems and who could be adaptable to changing needs in health (Ferrier et al.1978) Like many people in medical education at the time, while McMaster faculty accepted that the academic competence of applicants was an important consideration, the emphasis on academic performance as reflected by university transcripts was felt “to measure only a narrow range of the qualities desirable in medical students and physicians” (Ferrier et al.1978).
두 개의 도메인이 추가로 식별되었습니다.
의학의 효과적인 실천에 필요한 "개인적 자질" (대부분 정의되지 않은)
자기 주도 학습, 자기 평가 및 문제 해결 능력과 같이 PBL 커리큘럼에서 효과적인 학습을 위해 필요한 특정 기술 또는 능력(기술과 지식 사이의 긴장)
Two additional domains were identified,
“Personal Qualities” required for the effective practice of medicine (which was largely undefined) and
particular skills or abilities necessary for effective learning in a PBL curriculum, such as abilities in self-directed learning, self-assessment and problem-solving (Note once again the tension between skills and knowledge).
지원자들은 최소한 B 평균을 얻어야 했지만, 입학 과정에는 개인적인 자질을 평가하는 자전적 스케치와 참고문헌이 포함되어 있었다. 이 초기 화면을 통과하여 인터뷰에 초대된 사람들은 2부로 구성된 인터뷰 과정에 참여하였다.
첫 번째 부분은 4인 팀의 개별 인터뷰였다.
두 번째는 맥매스터 MD 프로그램의 성공에 특히 중요하다고 생각되는 두 가지 품질을 평가하도록 설계된 시뮬레이션 튜토리얼 참여였습니다: [그룹 내에서 잘 기능하며, 효과적으로 학습하는 능력]과 ["문제 해결"을 통해 학습하는 능력]
While applicants were required to have achieved a minimum B average, the admission process included an autobiographical sketch and references, meant to assess personal qualities. Those who passed this initial screen and invited to interview then participated in a 2-part interview process.
The first part was an individual interview by a four person team;
the second was participation in a simulated tutorial which was designed to assess two qualities that were felt to be particularly important for success in the MD Program at McMaster, the ability to function well and learn effectively in a group and the ability to learn by “problem-solving”.
대부분의 다른 의대와는 달리 맥마스터는 특별한 선수과목 요건course prerequisites이 없었고, 맥마스터가 다른 학력, 사회, 경험적 배경을 가진 학생들로 구성된 수업을 등록하기를 원했는데, 이는 맥마스터가, [MD 프로그램의 목표 및 또한 학급 구성원이 서로의 교육에 기여할 수 있도록 보장하는 능력]에 있어서, 동질적인 집단보다 더 풍부한 학급class을 만들 것이라는 가설이 제기되었기 때문이다. 이러한 이유로, 지원과정application process의 다양한 구성요소의 평가자들은 교수진, 현재 의대생, 지역사회의 의사, 그리고 다수의 다른 지역사회 조직을 대표하는 일반 대학 커뮤니티 구성원 등 매우 다양한 배경에서 도출되었다. Unlike most other medical schools, McMaster had no particular course prerequisites and there was a desire for McMaster to enrol a class that was made up of students with different educational, social and experiential backgrounds, since it was hypothesized that this would create a richer class than a homogenous group, both in its ability to meet the objectives of the MD Program and also to ensure that class members could contribute to each other’s education. For this reason, the assessors of the various components of the application process were drawn from a wide variety of backgrounds including teaching faculty, current medical students, physicians in the community and also non-university community members at large who represented a number of different community organizations.
25년 후, 학부 MD 프로그램의 입학 과정을 검토했을 때, 저자들은 의대생 선발의 변화를 자극한 많은 driver들을 확인했다. 2004).
첫째, 캐나다 중등교육의 많은 변화는 대학 등급 평균의 유효성을 감소시킬 수 있는 마크 인플레이션에 대한 우려로 이어졌다. 이는 입학 과정의 중심이었다(특히 당시 맥마스터에서 MCAT와 같은 표준화된 시험을 사용하지 않았기 때문이다).
둘째로, 학부 MD 프로그램의 지원자 수는 1990년 약 2000명에서 2000년대 중반에는 5000명 이상으로 급증했다. 기존 입학 도구를 관리하는 데 필요한 자원은 지속 가능하지 않게 되었습니다.
셋째, 가장 중요한 것인데, 의과대학의 입학 및 평가 과정에 관한 좋은 증거와 정신측정학적인 엄격성에 대한 탐구quest는 면허시험과 실무에서 후속적인 성공을 위한 기존 입학 도구의 신뢰성, 유효성 및 예측적 타당성에 대한 많은 중요한 분석을 이끌었다(K).Ulatunga-Moruzi와 Norman 2002a, b).
Twenty-five years later, when the admission process in the Undergraduate MD Program was reviewed, the authors identified a number of drivers which had stimulated change in the selection of medical students (Reiter et al.2004).
First, a number of changes in Canadian post-secondary education were leading to concerns about mark inflation that may reduce the validity of university grade point average, which was central to the admissions process (particularly as standardized tests like MCAT were not used at McMaster at the time).
Second, there was, and is, a rapid increase in the number of applicants to the undergraduate MD program, rising from approximately 2000 applications in 1990 to over 5000 by the mid 2000’s. The resources required to administer the existing admissions tools were becoming unsustainable.
Third, and most critically, the quest for good evidence and psychometric rigour when it came to both the admissions and assessment processes in the medical school led to a number of critical analyses of the reliability, validity and predictive validity of the existing admissions tools for subsequent success in licensing examinations and practice (Kulatunga-Moruzi and Norman2002a,b).
이러한 연구들은 결정적으로 학업성취도 측정치가 면허시험 점수를 예측하는 데 있어 상당히 좋은 성과를 거두었음을 보여주었다. 특히 학부 GPA는 파트 1(다중 선택)과 파트 2(OSCE) 의료위원회 시험의 중요한 예측 변수였다. 그와는 반대로, 기존의 개인적 자질personal qualities 척도는 부적절했다. 시뮬레이션 튜토리얼, 개인 인터뷰 및 MCC 서보어와 Autobiographic Letter 사이의 25가지 상관 관계 중 유의한 것은 단 한 가지였다.
두 번째 연구에서는 맥마스터에 합격한 사람과 맥마스터에 불합격했지만 다른 학교에 합격한 사람을 구별discriminate하는 선발척도admission mesaures는 하나도 없음을 보여주었다.
마지막으로, 시뮬레이션 튜토리얼simulated tutorial의 신뢰도가 0.14라는 것을 보여주었다. 이러한 발견의 직접적인 결과로 자기소개서autobiographical letter, 시뮬레이션 튜토리얼, 그리고 결국 개인적인 인터뷰도 하지 않게 되었다
These studies showed conclusively that the measures of academic performance performed reasonably well in predicting licensing examination scores. In particular, undergraduate GPA was a significant predictor of both the Part 1 (multiple choice) and Part 2 (OSCE) Medical Council examination. Conversely, existing measures of personal qualities were inadequate. Of the 25 correlations between Simulated Tutorial, Personal Interview and Autobiographical Letter with MCC subscores, only one was significant.
A second study showed that none of the admissions measures discriminated between those who were accepted by McMaster and those who were rejected but accepted elsewhere.
Finally an unpublished study showed the simulated tutorial had a reliability of 0.14. As a direct consequence of these findings, the autobiographical letter, simulated tutorial and eventually personal interview were abandoned.
이 모든 것이 난제를 일으켰습니다. 맥마스터와 다른 곳에서는 캐나다 인허가 시험에서 의과대학 졸업 후 성공의 가장 좋은 예측 변수가 GPA와 MCAT 점수였다는 증거가 축적되었다. 그러나 맥매스터는 다른 의과대학과 마찬가지로, [그러한 개인적 자질을 평가하기 위한 신뢰할 수 있고 타당한 도구가 부족했음에도],의과대학 입학을 위해 학생의 [개인적 자질]을 중요하게 여겼다. This all created a conundrum. Evidence had accumulated, at McMaster and elsewhere, that the best predictors of success after medical school in the Canadian licensing exams were the GPA and MCAT scores. However, McMaster, like other medical schools, considered a student’s personal qualities of significant importance for admission to medical school, despite a lack of reliable and valid tools for the assessment of such personal qualities.
앞에서 확인된 모든 이유로 전통적인 인터뷰 과정을 거부한 연구자와 교육자 그룹은 개인의 자질을 평가하면서도 평가자 간 신뢰성과 콘텐츠 특수성의 우려를 해결할 수 있는 OSCE 스타일의 입학 과정에 대한 아이디어를 개발했다. 이러한 숙고의 결과, 다중 미니 인터뷰(MMI)가 탄생했으며 많은 발표된 연구에서 이 도구의 타당성과 신뢰성이 입증되었으며 의대에서 후속 OSCE 성과에 대한 예측 능력이 입증되었다. MMI는 발표된 다른 조치보다 개인 품질 평가에서 탁월한 신뢰성을 보여준다(Eva 등). 2004). 또한, 발표된 연구에 따르면 지원자의 MMI 점수는 캐나다 국가 면허 시험의 두 부분에서 총점과 중간 정도 상관관계가 있는 것으로 나타났다(Eva 등). 2009).
Having rejected the traditional interview process for all the reasons identified earlier, a group of researchers and educators developed the idea of an OSCE-style admissions process that might assess personal qualities yet address concerns of inter-rater reliability and content specificity. As a result of these deliberations, the multiple mini-interview (MMI) was born and a number of published studies demonstrated the validity and reliability of this tool, and predictive ability on subsequent OSCE performances in medical school. The MMI demonstrates superior reliability in assessing personal qualities than other published measures (Eva et al.2004). Additionally, published studies demonstrate that the MMI scores of applicants correlate moderately well with total scores on both parts of the Canadian National Licensing Exam (Eva et al.2009).
그러나 의과대학 지원자에 대한 MMI 접근 방식에 필요한 자원으로 인하여, 의과대학 지원자 전원을 대상으로 한 일차 선별 도구로서는 비실용적이었다. 따라서 MMI는 일반적으로 인터뷰에 응했을 지원자 풀의 사전 선별된 코호트에만 유용할 수 있다. 이러한 격차를 해소하기 위해 의학교육연구원과 입학위원회는 전체 지원자 풀에 적용할 수 있는 개인 및 직업적 특성에 대한 온라인 평가 도구를 개발했다. CASPer(샘플링 개인 특성을 위한 컴퓨터 기반 평가)라고 불리는 이 최근의 입학 도구는 전반적인 테스트 신뢰성, 중간 신뢰성, MMI 및 GPA와의 상관 관계에 대한 증거를 확인한 여러 연구를 거쳤다. 이후 연구에 따르면 CASPer는 의과대학 입학 후 3-6년 동안 개인 및 직업적 특성의 국가 면허 결과 측면에서 중간 정도의 예측 유효성을 보였다(Dore et al. 2017).
It was recognized however that the resource requirements of the MMI approach to medical school applicants, effectively creating multiple OSCE stations for a very large number of applicants, made this tool impractical as a primary screening tool for the total number of applicants applying for medical school. Consequently the MMI could only be useful for a pre-screened cohort of the applicant pool who would have normally been brought to interview. To address this gap, medical education researchers and the admissions committee developed an online assessment tool for personal and professional characteristics that could be applied to the entire applicant pool. This more recent admissions tool called CASPer (Computer Based Assessment for Sampling Personal Characteristics) has been subjected to a number of studies which have confirmed evidence for overall test reliability, interrater reliability, and correlation with MMI’s and GPA. Subsequently studies have shown that CASPer has demonstrated moderate predictive validity in terms of national licensure outcomes of personal and professional characteristics, 3–6 years after admission to medical school (Dore et al.2017).
50년이 지난 지금까지, 지원자들의 인지적 특성과 비인지적 특성에 대한 평가의 균형을 유지하고자 하는 욕구는 여전했다. 그러나 선택된 도구는 상당히 진화했으며 현재 사용되는 각 승인 도구는 그 심리학적 특성을 철저히 평가하고 있다. 이를 통해 5000명 이상의 지원자 중에서 200명 이상의 학생을 선발하는 데 있어서 판결adjudication의 공정성을 높이기 위해서이다.
Fifty years on, the desire to balance the assessment of cognitive and non-cognitive attributes of the applicants has remained but the tools chosen have evolved considerably and each of the currently used admission tools has had its psychometric properties thoroughly evaluated so as to increase the fairness of adjudication in selecting just over 200 students from an applicant pool that is greater than 5000.
흥미롭게도, [특정한 페다고지에 engage in하게 될 클래스 코호트를 선택하는] 입학의 para-pedagogical 과정도 50년에 걸쳐 발생한 철학적 및 교육학적 변화를 반영했다. 앞에서 지적한 바와 같이, 이것은 일시적으로 락스텝(lock-step)에서 이뤄지지는 않았지만, 교육학에 관한 철학을 변화하는 것 또한 para-pedagogical planning에 영향을 미쳤을 가능성이 높다. 예를 들어, McMaster의 의료 프로그램이 PBL의 문제 해결 기술 기반 모델에서 지식 획득 모델로 이동할수록, 입학 과정 동안 [일반적인 문제 해결 기술]을 평가할 확신이 줄어들었다. 왜냐하면 점점 더 그러한 기술이 존재하지 않는다는 것을 인정하게 되었고, 확인했기 때문이다.
Interestingly, the para-pedagogical process of admissions—selecting the class cohort that will engage in the pedagogy—also mirrored the philosophical and pedagogical shifts that occurred over 50 years. As indicated previously, this did not occur in lock-step, temporally; but it is likely that shifting philosophies with respect to pedagogy also influenced para-pedagogical planning. For example, the further that McMaster’s medical program moved away from the problem-solving skills-based model of PBL towards the knowledge acquisition model, the less was the conviction to assess general problem-solving skills during the admissions process, since it was increasingly acknowledged, and then affirmed, that such skills did not exist independently of content knowledge.
[스킬에서 지식으로의 철학적 변화]는 입학 영역에서 교육학적으로 변하기 몇 년 전부터 이미 일어나고 있었다. 그러나 입학 과정에서 중요한 변화들, 특히 [일반적인 문제 해결 기술을 평가하는 데 사용된 모의 튜토리얼을 포기하는 것]은 (의대생 선발과 관련하여 맥마스터 내외부에서 생성된 과학적 근거에 의해 well-support될 뿐만 아니라) 의과대학의 더 큰 철학적, 교육학적 변화를 반영한다.
The philosophical shift from skills to knowledge was occurring years before the para-pedagogical shift in admissions; but some significant changes in the admissions process, particularly abandoning the simulated tutorial used to assess general problem-solving skills, reflected larger philosophical and pedagogical shifts at the medical school, in addition to being well-supported by science generated both within and outside of McMaster regarding medical student selection.
결론 Conclusions
McMaster에서 PBL의 역사와 진화에 대한 이 리뷰는 몇 가지 중요한 일반적인 관찰을 강조한다. This review of the history and evolution of PBL at McMaster highlights some important general observations.
첫째, [PBL을 주된 페다고지로 사용하는 의과대학]들은 [PBL에 대한 그들의 철학]과 [그 철학의 결과로 따라온 para-pedagogical manifestation]의 연속체적 위치에 있다. 서로가 서로에게 미치는 영향을 후향적으로 확인하기는 어려우며, 따라서 우리는 그들을 정렬시키기 위해 50년에 걸친 PBL에 걸쳐 McMaster에서 발생한 강한 [인과적이고, 의식적이고 질서 있는 과정이 있었다는 것]을 전달하려는 의도가 아니다. 세 가지 요소 중 어느 하나에 대한 변화는 다른 힘에 대한 반응으로 의식적으로 이루어졌고, 한 요소에서 변화가 다른 요소들의 변화에 기여했을 수 있다는 인식은 후향적으로만 가설화될 수 있다. 그럼에도 불구하고, 이러한 요소들은 존재하며 이들의 상호작용은 보다 명확한 정렬을 약속하는 사람들에게 중요한 것이다. First, medical schools who employ PBL as their main pedagogy also sit on a continuum regarding their philosophy towards PBL and the resultant para-pedagogical manifestations of that philosophy. It is difficult to ascertain in hindsight the influences of each on the other and, as such, we do not intend to convey that there was some strong causal, and conscious, orderly process that occurred at McMaster over five decades of PBL to bring them into alignment. Very often, changes to any of the three elements were consciously made in response to other forces, and the recognition that shifts in one may have contributed to shifts in others can only be hypothesized in hindsight. Nonetheless, these elements exist and their interactions are important to notice for those committed to a more explicit alignment.
둘째, 특별히 선호하는 형태의 PBL이 없다. 무엇이 진정한 PBL이고, 무엇이 교육학이 아닌 철학에 속하지 않는지에 대한 대화. 오히려, PBL은 [문제를 (문제 해결을 배우는 것이 아니라) 학습의 기초basis로 사용하는 광범위한 교육학적 전략의 집합]으로 보아야 한다. PBL의 선구자들은 아마도 수천 년 전으로 거슬러 올라가는 다른 교육 전략에서 발견될 수 있지만, 기본적인 요소들은 50년 전 소수의 실용주의자들에 의해 모아졌다. Second, there is no preferred form of PBL. Conversations about what is true PBL and what is not belong in philosophy, not pedagogy. Rather, it should be viewed as a broad family of pedagogical strategies using problems as a basis for learning (andnotfor learning problem-solving). While precursors of PBL can be found in other educational strategies dating back possibly for millennia, the basic elements were assembled 50 years ago by a small group of pragmatists.
셋째, 우리가 강조했던 변화가 실제로 교육 결과에서 입증 가능한 개선을 초래한 정도에 관하여 보자면, 이러한 변화는 기초 이론이나 이론에 대한 집착이 아니라 강력한 교육 연구에서 도출된 건전한 경험적 증거에서 도출되었다. 의학교육학에 PBL이 도입되면서, 페다고지가 중요한 의학 교육적 성과에 미치는 영향에 대한 중요한 측정을 촉진했다. 이런 점에서 PBL은 그 전까지는 존재하지 않았던, 필수적인 금박foil의 역할을 하였으며, 또는 1900년대 초반부터 등장한 플렉스너 2+2 커리큘럼의 비교자comparator 이기도 했다. 그것은 결국 PBL의 가장 중요한 기여가 될 수 있다.
Third, to the extent that the changes we have highlighted have actually resulted in demonstrable improvement in educational outcomes, these changes derived, not from adherence to underlying theories or theologies, but from sound empirical evidence derived from robust educational research. Its introduction as a medical education pedagogy instigated an important measurement of the impact of pedagogy on important medical education outcomes. In this regard, it also served as a vital, and previously non-existent foil, or comparator for the Flexnerian two plus two curricula that had emerged out of the early 1900s. That may, in the end, be the most important contribution of PBL.
Adv Health Sci Educ Theory Pract.2019 Dec;24(5):853-863.
doi: 10.1007/s10459-019-09908-2.Epub 2019 Aug 27.
McMaster at 50: lessons learned from five decades of PBL
Although educators frequently act as if curricula are as standardized as drug doses (300 mg of PBL t.i.d.), such is not the case. As a case in point, at its inception, Problem Based Learning was hailed as a major curriculum innovation, with the promise of enormous gains in learning outcomes. Very quickly, ecclesiastical debates arose as what was true PBL and what was "modified PBL". Ironically, systematic reviews conducted fairly early in its evolution showed that the gains in learning outcome from PBL were neither large nor uniform (Vernon and Blake in Acad Med 68:550-563, 1993), and the most consistent finding was greater student satisfaction. In this paper, we review five decades of experience with the first PBL curriculum at McMaster. We point out how the curriculum has evolved, both theoretically and practically, in response to external influences, based both on empirical evidence and practical demands. We describe these changes in four broad domains-theoretical rationale, the curriculum, assessment and admissions.
PBL 메타분석과 고찰에서 핵심 관점을 발견하기 위한 리뷰: 트렌드, 갭, 미래 연구 방향(Adv Health Sci Educ Theory Pract,2019)
A review to identify key perspectives in PBL meta‑analyses and reviews: trends, gaps and future research directions Woei Hung1 · Diana H. J. M. Dolmans2 · Jeroen J. G. van Merriënboer2
도입 Introduction
50여 년 전, 존 에반스는 새로운 의과대학 교육과정을 위한 목표 목록을 만들었다. 이러한 목표는 결국 맥마스터의 문제 기반 학습(PBL) 의학 교육 커리큘럼(Servant-Miklos et al. 2019)의 백본이 되었고, 다음과 같은 졸업생에 대한 논쟁을 완화하기 위한 의도를 가지고 있었다.
학생들이 배운 것을 적용하지 못한다.
의료 환경의 물리적, 사회적, 정서적 요구에 대한 준비가 미흡하다.
More than 50 years ago, John Evans created a list of objectives for a new medical school curriculum. These objectives eventually became the backbone of McMaster’s Problem-based Learning (PBL) medical education curriculum (Servant-Miklos et al.2019), meant to alleviate longstanding issues with graduates
being unable to apply what they have learned (Barrows1996; Barrows and Tamblyn1980; Schmidt1983) and
being underprepared for the physical, social, and emotional demands of healthcare environments.
맥매스터가 PBL을 구현한 지 몇 년 후, 이 교육학적 접근법이 유럽에 도입되었고, 그 후 마스트리히트 모델이 탄생했다. 지난 50년 동안 PBL은 다양한 분야와 모든 교육 수준(Hung and Loyens 2012)으로 전 세계로 확산되었습니다.
A few years after McMaster’s implementation of PBL, this pedagogical approach was brought to Europe, and thence the Maastricht model was born. Over the past 50 years, PBL has spread across the world in many different disciplines and at all levels of education (Hung and Loyens2012).
PBL은 기존의 강의 기반 교육 관례와 대조적으로 문제 중심 교육, 자기 주도 학습, 소그룹 학습을 활용하여 학생들의 과목 공부를 구조화한다. PBL은 배움을 바꾼다.
[추상적 사실 지식의 암기]에서 [적용할 수 있는 지식 개발]로
[수동적으로 지식을 얻는 것]에서 [적극적으로 지식을 구하는 것]으로
[개인적 이해를 개별적으로 구축하는 것]에서 [다른 사람들과 함께 사회적으로 공유된 지식을 협력적으로 구축하는 것]으로
In contrast with traditional lecture-based instructional conventions, PBL utilizes problem-driven instruction, self-directed learning, and small-group learning to structure students’ study of subjects. It shifts learning
from memorizing abstract factual knowledge to developing knowledge that can be applied;
from passively receiving knowledge to actively seeking knowledge; and
from individually building personal understanding alone to collaboratively constructing socially shared knowledge with others.
즉, PBL은 학생들이 [독립적인 문제 해결자, 더 나은 지식 추구자, 효과적인 팀 선수, 그리고 평생 학습자]가 되기 위해 통합된 일련의 지식, 기술 및 태도를 갖추도록 하기 위한 것이다.
Thus, PBL is meant to equip students with an integrated set of knowledge, skills, and attitudes to become independent problem solvers and better knowledge seekers, effective team players, and lifelong learners.
PBL은 역사상 가장 혁신적인 교육법 중 하나로 간주되며 널리 확산되었을 수 있지만 완벽하지는 않다. 원래의 McMaster PBL 모델은 반복적으로 시행되고 수정되었다. 예를 들어 하워드 배로우스의 PBL 모델, 마스트리히트 모델, 싱가포르 모델 또는 알보그 모델(Wijnia et al. 2019)에 이르기까지 말이다. 그러나 PBL의 발전은 성공담의 연속이 아니라 실험, 실패, 그리고 배운 교훈의 여정이다. 성공은 분야에 대한 이해를 증진시키는 데 도움이 되지만, 실패와 투쟁도 마찬가지입니다. 예를 들어 튜터 품질 및 교육 문제(Lary et al. 2013) 또는 그룹 동적 및 처리 문제(Fonteijn 및 Dolmans 2019)는 여전히 솔루션이 필요하다.
PBL is deemed as one of the most innovative pedagogies in history and may have proliferated widely, but it is not perfect. The original McMaster PBL model has been iteratively trialed and modified. For example, from Howard Barrows’ PBL model, to the Maastricht model, to the Singapore model, or to the Aalborg model (Wijnia et al.2019). Yet the development of PBL is not a series of success stories; it is instead a journey of experiments, failures, and lessons learned. Successes help advance our understanding of a field, but so do failures and struggles. For instance, tutor quality and training issues (Leary et al.2013) or group dynamic and processing issues (Fonteijn and Dolmans2019) still need solutions.
연구 질문: Research Questions:
지난 50년 동안 어떤 개념적 관점이 PBL 리뷰를 지배했습니까?
어떤 격차를 발견할 수 있고, 어떤 연구 과제가 이러한 격차를 해소하고 우리가 앞으로 나아갈 수 있도록 도울 수 있을까요?
What conceptual perspectives dominated PBL reviews over the past 50 years?
What gaps can we discover, and what research agenda might close these gaps and help us move forward?
방법 Methods
이 두 가지 연구 질문에 답하기 위해, 우리는 이 연구의 연구 방법으로 서술적 검토narrative review를 선택했습니다. 서술적 검토는 [광범위한 연구 질문에 답하기 위한 광범위한 연구를 분석하는 데 적합]하다고 여겨진다(Cook et al. 1997). 특히 주제에 대한 개념적 명확성을 제공하거나 연구 결과의 설명적 합성에 적합하다. 여기서 문제 기반 학습(PBL)이라는 용어는 다음을 동시에 서포트하는 교육학적 접근 방식을 포함하는 것으로 정의된다.
(1) 문제 시작 학습과 문제 주도 학습,
(2) 튜터 촉진으로 자기 주도 학습,
(3) 소규모 그룹의 협업 학습
To answer these two research questions, we chose narrative review as the research method for this study. Narrative review is deemed suitable for analyzing a wide range of studies to answer a broad research question (Cook et al.1997), especially for providing conceptual clarity on a topic or for a descriptive synthesis of findings and identifying gaps (Gordon et al.2018; Grant and Booth2009). The term Problem-based Learning (PBL) is defined in this review with a broader context to include pedagogical approaches that simultaneously support:
(1) problem-initiated and problem-driven learning,
(2) self-directed learning with tutor facilitation, and
(3) collaborative learning in small groups.
문헌 검색 Literature search
포함 및 배제 기준 Inclusion and exclusion criteria
결과 Results
1969년 첫 구현(Servant-Miklos et al. 2019) 이후, 우리는 각각 PBL 커뮤니티의 필요와 이전 연구(그림 1)에 기초한 고유한 초점을 가진 PBL 연구의 세 가지 물결을 확인했다. Since its first implementation in 1969 (Servant-Miklos et al.2019), we identified three waves of PBL research, each with its own unique focus based on needs from the PBL community and prior studies (Fig. 1).
첫 번째 물결: 양극화 The first wave: polarization
PBL 메타 분석과 체계적 검토의 첫 물결은 1990년대 초반에 증가했다. 당시 회의론자들에 의해 논쟁의 여지가 있는 교육 관행으로 간주되었던 것에 대한 교수진의 저항 때문에, [PBL의 지지자와 반대자] 모두 PBL이 약속을 이행했는지 여부를 알고 싶어했다. 선구적인 메타 분석은 노만과 슈미트(1992년), 알바니아와 미첼(1993년), 버논과 블레이크(1993년), 다른 (예: 버크슨 1993년; 울프 1993년)에 의해 수행되었다. 그들이 가장 먼저 던진 질문은 "그것이 효과가 있는가?"였다. 다시 말해서, PBL이 학습 성과 면에서 전통적인 교육보다 더 나은가? The first wave of PBL meta-analyses and systematic reviews rose in the early 1990s. Because of resistance from faculty on what was deemed as a controversial instructional practice by the skeptics at that time, both advocates and opponents of PBL were eager to know whether PBL met its promises. The pioneering meta-analyses were conducted by Norman and Schmidt (1992), Albanese and Mitchell (1993), and Vernon and Blake (1993), along with others (e.g. Berkson1993; Wolf1993). The first and foremost question they asked was “Does it work?”. In other words, is PBL better than traditional instruction in terms of learning outcomes?
이것은 새로운 개입의 사용을 정당화하기 위한 전형적인 연구 질문이다(Cook et al. 2008). 정말, 쿡 외. (2008)는 교육 연구를 기술, 정당성 및 명확성의 세 가지 범주로 분류하는 프레임워크를 제안하였다.
설명 연구는 과거에 무엇을 할 수 있는지 또는 무엇을 했는지 제안하거나 설명하고,
정당성 연구는 개입의 결과를 조사하며(그것이 효과가 있는가?),
명확화 연구는 개입이 어떻게, 왜, 그리고 언제 작동하는지 면밀히 조사한다.
제1의 물결에서의 연구는 [정당성 연구] 범주의 성격을 반영하는데, 이것은 교육적 개입에 대한 연구의 초기 단계에 전형적이다. This is a typical research question for justifying the use of a new intervention (Cook et al.2008). Indeed, Cook et al. (2008) proposed a framework that classifies education research into three categories: description, justification, and clarification. Description studies propose or describe what can or has been done in the past, justification studies examine the outcomes of the intervention (does it work?), and clarification studies scrutinize how, why, and when the intervention works. The studies in the first wave reflect the nature of the justification research category, which is typical for early stages of research on an educational intervention.
검토된 메타 연구 중 일부는 PBL이 학생들의 임상 지식, 기술 및 동기를 향상시키는 데 효과적이라고 제안한 반면, 다른 연구들은 PBL이 학생들의 일반적인 문제 해결 능력 또는 기타 모든 것들(지식 적용, 임상 추론 기술, 자기 주도 학습 기술, 협업 기술)을 향상 시키지 못한다는 것을 발견하기도 했다. PBL과 전통적 가르침에 대한 이러한 [양극화된 견해]는 1990년대부터 2000년대까지 계속되었다. 예를 들어
예를 들어 Kalaian, Mullan 및 Kasim의 메타 분석(1999)은 학생 표준화 임상 과학 측정(NBME II)에 대한 PBL의 긍정적인 효과를 보고했지만 기초 과학 측정(NBMEI)에는 낮은 성능을 보였다.
Dochy, Segers, Van den Bosche 및 Gijbels의 메타 분석(2003)은 PBL이 학생 기술 개발과 유지에 효과적이라는 것을 발견했다.
콜리버의 체계적인 문헌 검토(2000)는 PBL이 학생 성적에 미치는 긍정적인 영향은 없다고 결론지었다.
Some of the meta-studies we reviewed suggested that PBL was effective in enhancing students’ clinical knowledge, skills, and motivation (e.g. Albanese and Mitchell1993; Kalaian et al.1999; Norman and Schmidt1992; Vernon and Blake1993), whereas others found that PBL did not enhance students’ general problem solving ability (Norman and Schmidt1992) or else failed to deliver on its promises (i.e. application of knowledge, clinical reasoning skills, self-directed learning skills, collaborative skills) all together (Berkson1993). These polarizing views over the merits of PBL and traditional instruction continued from the 1990s well into 2000s.
For example, Kalaian, Mullan, and Kasim’s meta-analysis (1999) reported positive effects of PBL on student standardized clinical science measures (NBME II) but lower performance on basic science measures (NBME I),
Dochy, Segers, Van den Bossche, and Gijbels’ meta-analysis (2003) found that PBL was effective for student skills development and retention, and
Colliver’s systematic literature review (2000) concluded no positive effects of PBL on student performance.
일부 초기 메타 분석은 PBL 이후 더 나은 지식 보존을 보여주었지만, 이러한 연구에서 측정된 보존 기간은 상대적으로 짧았다. PBL의 장기적인 효과를 보기 위해 Ko et al. (2008)는 PBL이 졸업 후 의사 역량에 미치는 장기적인 영향을 측정한 13개의 연구를 검토했다(1-23년). 이 저자들은 PBL이 불확실성, 의사소통 능력, 자기 주도적 학습, 팀워크, 건강 관리의 사회적, 정서적, 법적, 윤리적 측면에 대한 감사, 개인의 건강과 복지에 대한 태도 등 학생들의 사회적, 직업적 역량을 배양하는 데 효과적이라는 것을 발견했다. 따라서 그들의 발견은 버논과 블레이크(1993)와 슈미트 외 메타 분석으로부터 이전의 발견을 강화시켰다.
Though some early meta-analyses showed better retention of knowledge following PBL, the retention duration measured in those studies was relatively short. To see the long term effects of PBL, Koh et al. (2008) reviewed 13 studies that measured prolonged effects of PBL on physicians’ competence after graduation (1–23 years). These authors found that PBL was effective in cultivating students’ social and professional competencies, including coping with uncertainty, communication skills, self-directed learning, teamwork, appreciation of social, emotional, legal, and ethical aspects of health care, and attitudes toward personal health and well-being. Their findings thus reinforced prior findings from Vernon and Blake (1993) and Schmidt et al. (2009) meta-analyses.
두 번째 물결: 결과에서 프로세스로 The second wave: from outcomes to process
메타 분석의 첫 번째 물결에서 나온 편광 연구 결과는 PBL 연구자들을 당황하게 했다. 그럼에도 불구하고, 이 퍼즐을 밝히기 위해 더 많은 연구 결과가 나타났다.
칼라안 외 연구진(1999)은 메타 분석에서 [PBL 구현에 대한 수년간의 경험]이 PBL의 긍정적인 효과에 대한 중요한 예측 변수라는 것을 발견했다.
도치 외 (2003) 또한 시험에 사용되는 검색 전략과 지식 습득 및 적용에 대한 PBL 학생 성과 측면에서 인지 요구 간의 긍정적인 상관관계를 관찰하였다.
이것은 나중에 PBL 학생들의 다양한 수준의 성적에 대한 평가의 영향을 구체적으로 연구한 Gijbels 등의 메타 분석에 영감을 주었고, PBL 연구의 두 번째 물결을 시작했다.
네빌의 메타 분석(2009)은 기본 지식 획득에 대한 PBL의 영향이 [애플리케이션 수준에서 평가되는 지식에 달려 있는 것 같다]는 것을 추가로 확인했다.
The polarizing findings from the first wave of meta-analyses baffled PBL researchers. Nevertheless, more research findings emerged to shed light on this puzzle.
Kalaian et al. (1999) noticed in their meta-analysis that years of experience with PBL implementation was a significant predictor of PBL’s positive effects.
Dochy et al. (2003) also observed a positive correlation between cognitive demands in terms of retrieval strategies used for tests and PBL student performance on knowledge acquisition and application,
which later inspired Gijbels et al.’s (2005) meta-analysis that specifically studied the effects of assessment on PBL students’ various levels of performance and began the second wave of PBL research.
Neville’s meta-analysis (2009) further confirmed that PBL’s effects on basic knowledge acquisition seemed to hinge on the knowledge assessed only at an application level.
Hmelo-Silver 등은 모순을 해소하는 방법을 모색하고자, PBL 연구의 첫 물결을 주도한 "그것이 효과가 있는가?"라는 질문에 도전했다. 대신 그리고 PBL이 언제, 어디서, 어떤 유형의 학습 성과와 어떻게 가장 잘 작동하는지가 PBL 연구의 초점이 되어야 한다고 제안했다. 이러한 연구 질문의 변화는 쿡 등의(2008) 프레임워크에 설명된 대로 명확화에 초점을 맞춘 PBL 연구의 두 번째 물결을 특징으로 한다. 그러나, 이 물결에서의 명확화 연구는 "왜"가 작용하는지 보다는 "어떻게"를 조사하는 데 더 초점을 맞췄다. 즉, 그들은 "이유"를 설명하는 전체적인 기본 메커니즘 대신, PBL 구현의 개별 구성요소(예: 평가 방법)와 다양한 유형의 인지 처리(예: 비판적 사고 및 학습 접근법)가 학습 결과에 미치는 영향에 초점을 맞췄다.
In searching for ways to unpack the contradictions, Hmelo-Silver et al. (2007) challenged the question “does it work?” that dictated the first wave of PBL research and suggested that when, where, and what type of learning outcomes and how PBL works the best should be the focus of PBL research. This shift in research questions characterized the second wave of PBL research, refocusing on clarification as described in Cook et al.’s (2008) framework. However, the clarification studies in this wave focused more on investigating “how” rather than “why” it works. That is, they focused on discrete components of PBL implementations (e.g., assessment methods) as well as the effects of different types of cognitive processing (e.g., critical thinking and learning approaches) on learning outcomes, instead of the holistic underlying mechanism that explains the “why.”
구현 및 인지 처리 Implementations and cognitive processing
그들의 이전 연구 결과에 따라, Gijbels et al. (2005) 세 가지 수준의 지식 구조에 대한 평가 형식과 PBL 학생의 성적 사이의 관계를 조사하였다.
개념(레벨 1)
원칙(레벨 2)
지식 적용 시 조건 및 절차에 대한 개념/원칙의 연계(레벨 3)
Following on their previous findings, Gijbels et al. (2005) investigated relations between assessment formats and the PBL students’ performance on three levels of knowledge structure:
concepts (level 1),
principles (level 2), and
linkage of concepts/principles to conditions and procedures when applying knowledge (level 3).
그들은 PBL 학생들이 레벨 2, 3 시험에서 전통적인 학생들보다 훨씬 더 좋은 성적을 냈지만, 레벨 1 시험에서는 학생들의 성적에 대해 PBL의 부정적인 영향이 나타났다는 것을 발견했다. 또한 검토에 포함된 40개 연구 중 8개 연구만이 수준 3에서 학생들의 성과를 평가했으며, 따라서 2005년 이전의 PBL의 평가 대부분은 [통합된 원칙과 지식의 in situ 적용]보다는 [고립된 개념의 기본적인 이해]에 주로 초점을 맞췄다는 것을 보여주었다.
They found that PBL students performed significantly better than did traditional students on the level 2 and 3 tests, but negative effects of PBL appeared on students’ performance for level 1 tests. Moreover, only 8 out of 40 studies included in their review assessed students’ performance at level 3, thus revealing that the majority of assessments in PBL before 2005 focused mainly on basic understanding of isolated concepts rather than integrated principles and in situ knowledge application.
워커와 리어리의 메타 분석은 나중에 도치 외 연구진(2003)과 유사한 결론에 도달했다: PBL의 긍정적인 효과는 지식 응용 테스트에서 가장 두드러졌다. 벨랜드 외 연구원의 추가 작업에서는 33개 PBL 연구에서 보고된 평가 도구의 타당성을 추가로 평가하여 [평가 구성에 대한 충분한 설명과 근거의 부족]과 [평가 형식과 측정 대상 구조 사이의 불일치]를 주장하였고, 이는 이들 연구에 사용된 도구의 타당성에 그림자를 드리웠다. 따라서 일관성 없는 PBL 결과는 학습 결과의 부정확한 측정에서 비롯될 수 있다. Walker and Leary’s (2009) meta-analysis later arrived at a similar conclusion to Dochy et al.’s (2003): the positive effects of PBL were most pronounced for tests of knowledge application. Further work by Belland et al. (2009) further assessed the validity of assessment instruments reported in 33 PBL studies, arguing for a lack of sufficient description and rationale for assessment construction, as well as misalignment between assessments format and the constructs being measured, which casted a shadow on the validity of the instruments of these studies. Thus, the inconsistent PBL results may stem from imprecise measures of learning outcomes.
슈미트 외 연구진 (2009) 또한 단일 의과대학에서 수행된 다수의 커리큘럼 비교 연구에 대한 메타 분석을 실시하여 PBL 구현의 이질성을 제어했다. 그들은 PBL이 학생들의 전문직업적, 대인관계적 능력을 향상시키는 데 가장 효과적이라는 것을 보여주었다. 좀 더 구체적으로, PBL 학생들은 practical medical skills에서 전통적인 학생들보다 꾸준히 더 좋은 성적을 냈고, 더 짧은 시간에 졸업했고, 더 나은 well-being 의식을 가졌으며, 더 낮은 탈락율을 보였다. PBL의 작지만 긍정적인 효과는 학생들의 의학 지식 습득과 진단 추론에서도 발견되었다. Schmidt et al. (2009) also conducted a meta-analysis on a large number of curriculum comparison studies conducted within a single medical school, thereby controlling for heterogeneity of PBL implementations. They showed that PBL was most effective in improving students professional and interpersonal skills. More specifically, PBL students consistently performed better than did traditional students in practical medical skills, graduated in shorter time; had greater sense of wellbeing; and lower attrition rates. Small but positive effects of PBL were also found in the students’ medical knowledge acquisition and diagnostic reasoning.
대조적으로, Walker와 Lary(2009)의 메타 분석은
PBL 결과에 대한 서로 다른 모델들의 영향을 조사했고, 폐쇄 루프 PBL을 채택한 것이 상당한 효과를 발생시킨다는 것을 발견했다. (즉, 반복적 PBL 또는 원래 문제로 되돌아가서 초기 자기 주도적 연구 후에 자신의 논리를 수정한다; Barrows 1986)
또한, 그들은 Jonassen(2000)의 문제 유형학을 사용하여 문제 유형의 영향을 조사했고, 학생들의 성적이 해결해야 할 다양한 문제의 유형에 따라서 다양하다는varied 것을 발견했다(문제 유형에 대한 자세한 내용은 Jonassen 2000 참조).
In contrast, Walker and Leary’s (2009) meta-analysis looked at
the effects of different models on PBL outcomes, and found that employed closed-loop PBL (i.e., reiterative PBL, or returning to the original problem and revising one’s reasoning after the initial self-directed study; Barrows1986) produced sizeable effects.
In addition, they examined the effects of problem types using Jonassen’s (2000) problem typology, and found that students’ performance varied in solving different types of problems (for details regarding the types of problems, please see Jonassen2000).
PBL이 어떻게 학생 학습 과정을 촉진할 수 있는지를 더 자세히 설명하기 위해, 리어리 외 연구진(2013)은 튜터 특성(콘텐츠 전문성, 훈련, 경험)과 학생 학습 결과 사이의 관계를 조사했다. 그들은 튜터 콘텐츠 전문지식과 학생 학습 사이에, 그리고 학생 학습에 대한 훈련 받은 것과 훈련받지 않은 것 사이에 중요한 관계를 발견하지 못했다. 그러나, [훈련되지 않은 교사들의 도움 아래]에서의 학생들의 기본 지식 획득 패턴은 [강의 기반의 접근 방식]에서 학생들의 지식 습득과 비슷해 보였다. To further elucidate how PBL might facilitate the student learning process, Leary et al. (2013) examined the relationships between tutor characteristics (content expertise, training, experience) and student learning outcomes. They found no significant relationship between tutor content expertise and student learning nor between trained and untrained tutors on student learning. However, the students’ basic knowledge gains patterns under the facilitation of untrained tutors seemed to be similar to their knowledge gain under a lecture-based approach.
또한 단일 과정single-course PBL와 달리,여러 PBL 과정multiple PBL course 구현에서만 나타나는 튜터 경험과 학생 학습 사이에는 약간의 부정적인 상관관계가 있었다. 튜터 피로가 가능한 원인이 될 수 있는지 여부는 확인하기 위해 더 많은 연구가 필요할 것이다.
There was also a modest negative correlation between tutor experience and student learning that only appeared in multiple PBL course implementations, not single-course PBL. Whether tutor fatigue could be a possible cause will require more studies to confirm.
Polyzois et al. (2010) 6가지 비교 연구에서 전과정 PBL 대 단일과정 PBL의 효과를 체계적으로 검토했다. 그들은 전통적인 커리큘럼에 단일 PBL 과정 개입이 지속적으로 독점적인exclusively PBL 커리큘럼보다 더 나은 결과를 낳았다고 결론지었다. 그들은 또한 PBL이 유연한 학습 과정 때문에 전통적인 교육보다 학생들의 비판적 사고, 문제 해결, 그리고 창의력을 더 잘 향상시킨다는 것을 발견했다.
나아가 간호학과 학생들의 비판적 사고발달 상황을 살펴본 결과(2014년) 공씨 등은 2학기 동안 PBL 교육을 받은 학생들은 전체적인 비판적 사고성적이 향상된 반면, PBL 1학기만 거쳤던 PBL 학생들은 그렇지 못한 것으로 관찰했다.
마찬가지로 돌맨스 외 연구진(2016)은 PBL이 단일 과정 구현보다, 커리큘럼 전체 구현에서 학생들의 딥 러닝 접근 방식에 더 큰 영향을 미친다고 관찰했다.
그러나 Polyzois 등의 (2010) 체계적 리뷰는 돌만스 등의 (2016) 결과와 상반되는 결과를 보여주었다.
Polyzois et al. (2010) systematic review examined effects of whole-curriculum PBL versus single-course PBL from six comparative studies. They concluded that single PBL course intervention in a traditional curriculum consistently produced better results than an exclusively PBL curriculum. They also found that PBL better enhanced students’ critical thinking, problem solving, and creativity than did traditional instruction because of its flexible learning process.
Further, when examining nursing students’ development of critical thinking, Kong et al. (2014) observed that the students who received PBL instruction for two semesters improved their overall critical thinking scores, while the PBL students who went through only one semester of PBL did not.
Similarly, Dolmans et al. (2016) observed that the effects of PBL were more impactful in curriculum wide implementation than single course implementation on students’ deep learning approach.
However, Polyzois et al.’s (2010) systematic review showed opposite findings of Dolmans et al.’s (2016).
제3의 물결: 전문화 The third wave: specialization
제3의 물결의 메타 분석과 체계적인 검토는 명확화 연구의 정신으로 계속되었지만, 또한 온라인 플랫폼, 학문 전문화, 문화와 같은 광범위한 맥락으로 다양화되었다. The third wave of meta-analyses and systematic reviews continued on in the spirit of clarification research, but also diversified into a wider range of contexts, such as online platforms, discipline specializations, and cultures.
디지털 촬영장비 및 온라인 플랫폼 Digital modality and online platform
21세기로 접어들면서, PBL 문제를 제시하거나 PBL 과정을 제공하는 옵션은 디지털 모드와 온라인 플랫폼으로 확장되었다.
카 외 연구진(2019)은 메타분석에서 디지털 기술이 거리 기반 PBL의 완전한 전달을 위해 주로 사용되거나 문제 제시 등 대면 또는 혼합 PBL의 다른 구성 요소를 지원하는 데 사용되었다고 보고했다.
Gavgani 외 연구진(2015)은 PBL 문제 표현의 촬영장비의 영향을 구체적으로 조사했다. 5개의 적격 연구를 조사하면서, 그들은 학생 학습에 관한 종이와 디지털 형태로 제시된 문제들 사이의 차이를 발견하지 못했다. 효과를 크게 구별할 수는 없었지만, 73%의 학생이 종이 시나리오보다 디지털 시나리오에 더 만족했다.또한 연구 중 하나에서 디지털 시나리오가 종이 디지털 혼합 환경(41%)보다 전적으로 디지털 환경(92%)에서 튜터의 지원 시간을 더 줄인다는 사실을 발견했다.
킴 외 연구진(2018)은 컴퓨터 기반 비계가 학생들의 STEM 학습에 미치는 영향에 대한 베이지안 메타 분석을 통해 컴퓨터 기반 스캐폴딩이 PBL 환경에서 고차 기술 향상에 효과적이라는 사실을 발견했다. 그러나 컴퓨터 기반 지원 PBL 시스템에 여러 가지 스캐폴딩 전략을 제공하는 것은 역효과를 낳았다.
Entering the twenty-first century, the options for presenting PBL problems or delivering PBL courses has extended to digital modes and online platforms.
In their meta-analysis, Car et al. (2019) reported that digital technology was mainly used for full delivery of distance-based PBL or supporting different components of face-to-face or blended PBL, such as the presentation of problems.
Gavgani et al. (2015) investigated specifically the effects of modality of PBL problem presentation. Examining five eligible studies, they found no difference between problems presented in paper and digital forms on student learning. Though the effects were not significantly distinguishable, 73% of students were more satisfied with digital scenarios than paper scenarios. They also found in one of the studies that the digital scenarios decreased tutor’s facilitation time more in exclusively digital environments (92%) than in paper-digital blended environments (41%).
Kim et al. (2018) conducted a Bayesian meta-analysis on the effects of computer-based scaffolding on PBL on students’ STEM learning, finding that computer-based scaffolding was effective in improving higher-order skills in PBL environments. However, providing multiple scaffolding strategies in a computer-based supported PBL system was counterproductive.
전공분야 Disciplines
이 물결에서 메타 분석의 한 가지 주요한 변화는 포괄적인 접근 방식에서 분야 전문화로의 이동이었다. 이러한 메타 분석에 포함된 분야에는 치과 교육, 보철학 교육, 간호 교육, 임상 의학 교육, 임상 교육, 소아 교육, 방사선 교육, 3차 교육, STEM 교육이 포함되었다.
One major shift in the meta-analyses in this wave was a move from an all-inclusive approach to discipline specialization. The disciplines included in these meta-analyses included dental education, prosthodontics education, nursing education, pre-clinical medical education, pharmacy education, clinical education, pediatric education, radiology education, tertiary education, and STEM education (due to the length limit of the paper, for discipline specific meta-analyses, please refer to the reference section).
이러한 메타 분석의 전체적인 결과는 기본적으로 이전의 모든 포함 메타 분석과 일치했다.
예를 들어, PBL은 학생의 업무 기반 기술(Sayyah et al. 2017), 문제 해결 및 자율 학습 능력(Liu et al. 2019), 간호 학생에 대한 비판적 사고(예: Kong et al. 2014; Shin and Kim 2013)를 촉진했다. 그러나, 임상 전 학생의 지식 습득이나, 보철학 학생(Eslami et al. 2014)의 실습 기술을 향상시키지는 못했다.
흥미롭게도 신씨와 김모(2013)씨는 리뷰에서 학부 4학년 간호학과 학생들이 참여한 연구가 후배들이 참여한 연구보다 더 좋은 결과를 보인다는 사실을 발견했다. 이 결과는 앞서 논의한 돌맨스 외 연구진(2016)과 콩 외 연구진(2014)이 관찰한 지속시간 인자와 일치한다.
The overall findings among these meta-analyses were basically aligned with the previous all-inclusive meta-analyses.
For example, PBL promoted student work-based skills (Sayyah et al.2017), problem solving and self-study ability (Liu et al.2019), and critical thinking in nursing students (e.g. Kong et al.2014; Shin and Kim2013). However, it did not enhance knowledge acquisition in pre-clinical students (Hartling et al.2010) nor hands-on skills in prosthodontics students (Eslami et al.2014).
Interestingly, Shin and Kim (2013) found in their review that studies involving fourth-year undergraduate nursing students showed better results than the ones involving junior students. This finding echoed the duration factor observed by Dolmans et al. (2016) and Kong et al. (2014) discussed earlier.
문화 Cultures
이러한 PBL 물결에서 또 다른 주목할 만한 현상은 중국의 보건 과학 컨텍스트 또는 이란의 컨텍스트에서 PBL 연구를 독점적으로 포함하는 메타 분석의 급증이다.
중국 메타 분석에는 학부 의학교육, 약학교육, 소아교육, 방사선학교육, 약학교육, 하이브리드 PBL + LBL(강의 기반 학습)이 학생의 학습 성과에 미치는 영향 등이 포함되었다. 이는 서양에서 첫 번째 PBL 물결 당시, 개념적 학습 결과에 초점을 맞춘 것과 유사한 목표와 특성을 갖는다고 볼 수 있다.
이러한 중국 메타 분석에서 공유되는 또 다른 공통점은 학생 학습 결과를 측정하기 위해 표준화된 종합 평가를 사용하는 것이다. 흥미롭게도, 서구와 달리, 이러한 중국 메타 분석은 대부분 PBL에 유리한 기본 지식 획득(이론 점수로 측정됨)에서 유의미한 차이를 발견했으며, PBL 학생들이 기존의 지시 동료들보다 높은 순서 학습 결과에서 유의미한 성과를 보였다(표 1).
Another notable phenomenon in this wave of PBL is a surge of meta-analyses that included exclusively PBL studies in a Chinese health sciences context (for details, please see the references) or in an Iranian context (Sayyah et al.2017).
The Chinese meta-analyses included disciplines of undergraduate medical education, pharmacy education, pediatric education, radiology education, pharmacology education, and effects of hybrid PBL + LBL (lecture-based learning) on students’ learning outcomes, bearing similar aims and characteristics as their western counterpart of first wave PBL research that focused on conceptual learning outcomes. Another commonality shared among these Chinese meta-analyses is the use of standardized summative assessments for measuring student learning outcomes.
Interestingly, unlike their western counterparts, most of these Chinese meta-analyses found significant differences in basic knowledge acquisition (measured by theoretical scores) in favor of PBL, in addition to PBL students’ significantly better performance in higher order learning outcomes than their traditional instruction peers (Table1).
고찰 Discussion
PBL 연구의 첫 번째 물결은 PBL을 교육학(Justification)으로 채택하는 것을 정당화하기 위해 "PBL이 효과가 있는가?"라는 질문에 초점을 맞췄다. 그러나, 목적이나 목표가 상반된 발견으로 인해 결실을 맺지 못했으며, 결과적으로 PBL의 장점에 대한 오랜 논쟁을 불러일으켰다. 그럼에도 불구하고, 모순된 결과는 연구자들이 PBL의 다양한 측면을 검토하도록 강요했고, 제2의 연구 물결에 inform하여, 1차 메타 분석에서 나타난 문제를 명확히 했다(Clarification).
예를 들어, 콜리버(2000)는 PBL의 긍정적인 효과가 자기 선택 표본 편향 때문이라고 주장한 반면, 도치 외 (2003)는 상충되는 결과의 원인은 [대상 지식의 유형과 평가 형식 간의 불일치]가 지목되어야 한다고 의심했다. [표본 편향 가설]은 모든 결과를 설명할 수 없기 때문인지 확고한 근거가 없는 것처럼 보였고, 다른 연구자들에 의해 추구되지 않았다.
한편, Gijbels 외 연구진(2005)은 Docchy 외 연구진(2003)의 사전 관찰을 추적하여 [평가 형식 가설assessment format hypothesis]를 확인했고, 이는 PBL 연구의 두 번째 물결을 [학생 학습 성과에 실행 구성요소implementation constituents가 미치는 영향]에 초점을 맞추게 하였다.
The first wave of PBL research focused on the question “Does PBL work?” to justify the adoption of PBL as a pedagogy (Justification). However, the purpose or goal did not come to fruition due to conflicting findings, in turn sparking a long debate about the merits of PBL. Nevertheless, the contradictory results pushed researchers to examine various aspects of PBL and informed the second wave of research to clarify the issues that emerged from the first wave of meta-analyses (Clarification).
For example, whereas Colliver (2000) argued that the positive effects of PBL were due to a self-selection sample bias, Dochy et al. (2003) suspected that misalignment between the targeted type of knowledge and the format of assessment was to be blamed for the conflicting results. The sample bias hypothesis did not seem to hold a firm ground, perhaps due to its inability to explain all outcomes, and was not pursued by other researchers.
On the other hand, Gijbels et al. (2005) followed up on the prior observation of Dochy et al. (2003) and confirmed their assessment format hypothesis that, in our opinion, directed the second wave of PBL research to focus on the effects of implementation constituents on student learning outcomes.
단일 과정 대 커리큘럼 전체 구현, 또는 사실 지식 또는 지식 적용에 초점을 맞춘 평가와 같은 구현 차이를 조사하였다.표면적으로는 첫 번째 파도에서의 발견은 모순되었지만, 일반적으로 1차 및 2차 검토 및 메타 분석 결과(예: Strobel 및 Van Barneveld 2009)에 동의하는 패턴이 있었다.
첫째, PBL은 임상 추론, 도메인별 문제 해결 기술, 지식 응용 및 전달, 장기 보존, 자기 주도 학습 기술, 협업 기술 및 사회 및 전문 기술 등과 같은 고차원의 학습 성과를 향상시키는 데 효과적이다.
둘째, 학생들은 전통적인 교육보다 PBL을 더 긍정적으로 생각했다.
셋째, PBL은 학생들이 충분한 범위의 기본 사실 지식을 습득하도록 돕는 데 있어서 전통적인 교육보다 약간 덜 효과적이었다(예: 알바니아인과 미첼 1993).
Implementation differences were investigated, such as single course versus curriculum wide implementations, or assessments focusing on factual knowledge or knowledge application. Though on the surface the first wave reported contradictory findings, there were generally agreeable patterns in the results from the first and second wave of reviews and meta-analyses (e.g. Strobel and van Barneveld2009). First, PBL is effective in enhancing students’ higher order learning outcomes, such as clinical reasoning, domain specific problem-solving skills, knowledge application and transfer, long term retention, self-directed learning skills, collaborative skills, as well as social and professional skills. Second, students perceived PBL more positively than traditional instruction. Third, PBL was slightly less effective than traditional instruction in helping students acquire sufficient breadth of basic factual knowledge (e.g. Albanese and Mitchell1993).
제2의 물결 동안에 PBL 연구자들에게 추가적인 압력을 가한 또 다른 강조점은 2006년 키르슈너 외 연구원들의 [PBL과 다른 구성주의적 교수법은 작동하지 않는다]는 주장이었다. PBL(예: 슈미트 외 2007, Hmelo-Silver 외 2007)의 지지자들은 차례로 그들의 반론을 제시했고, 이것은 PBL 연구자들 사이에서 깊은 반성을 촉발시켰다. 흐멜로실버 외 (2007)는 이 분야가 잘못된 질문을 해왔고, 대신에 "어떻게" 그리고 "어떤 조건에서" PBL이 효과적인지에 대한 질문에 집중해야 한다고 주장했다. 이러한 성찰은 PBL 연구의 초점을 바꾸는 데 도움이 되었다. Gijbels 외 연구진(2005)의 연구는 결과만이 아니라 프로세스 및 구현 유형에 초점을 맞춘 PBL 메타 연구의 새로운 방향을 시작하는 데 도움이 되었다. 즉 특정 조건에서 PBL이 어떻게 작동하는지를 확인할 수 있게 되었다. 예를 들어, [평가 형식이 학습 결과와 잘 일치하는지] 여부 또는 [구현 유형(즉, 커리큘럼 폭 또는 단일 과정에 대해)이 적절한지] 여부. Another highlight during the second wave that gave PBL researchers an additional push was Kirschner et al.’s (2006) statement claiming that PBL and other constructivist pedagogies do not work. Proponents of PBL (e.g. Schmidt et al.2007; Hmelo-Silver et al.2007) in turn offered their counterarguments, which triggered deep reflections among PBL researchers. Hmelo-Silver et al. (2007) argued that the field had been asking the wrong question and should instead focus on questions about “how” and “under what conditions” PBL is effective. This reflection helped shift the focus of PBL research. The work of Gijbels et al. (2005) helped start a new direction in PBL meta-research focusing on the process and implementation types instead of solely outcomes, which enabled the field to see how PBL works under specific conditions; for example, whether the format of assessment is well aligned with learning outcomes, or whether implementation type (i.e., curriculum wide or for a single course) is appropriate.
세 논문들 사이의 뜨거운 논쟁Kirschner 등의 (2006년), 슈미트 외 연구진. (2007), 그리고 흐멜로-실버 외. (2007년) 2006-2007년 동안 PBL 연구자들 사이의 양극화 관점들이 수렴되기 시작하는 전환점이 될 것으로 보였다. PBL 연구원들은 교육이 흑백이 아니라는 것을 깨닫기 시작했다. 어쩌면 [학생들의 고등 수준의 사고를 높이고, PBL의 한계를 인정하며, 학생들의 기본 지식 기반을 구축하기 위한 '전통적인 교육'의 힘을 끌어내는 데 있어서] PBL의 강점을 이용하는 것이 더 실용적인 접근 방식일지도 모른다.
이러한 통찰력으로, 네빌(2009)은 학생들의 학습을 더 용이하게 하기 위해 더 많은 강의를 통합한 PBL의 하이브리드 모델을 제안했다.
마찬가지로, 하틀링 외 연구진(2010)도 학습을 구조화하고 순수한 PBL 접근법으로의 전환을 용이하게 하기 위해 커리큘럼의 초기 단계에서 하이브리드 PBL을 사용한 연구의 조언을 보고했다.
우리가 생각하기에 하이브리드 PBL의 형식에 대한 결정은 학습자의 사전 지식, 튜터가 제공해야 하는 절차 정보의 양, 또는 파트 과제 연습이 필요한 정도(van Merrienboer 및 Kirschner 2018)와 같은 여러 고려 사항에 따라 결정되어야 한다.
The heated debate among the three papers of Kirschner et al. (2006), Schmidt et al. (2007), and Hmelo-Silver et al. (2007) during 2006–2007 seemed to be a turning point for the polarizing viewpoints among PBL researchers starting to converge. PBL researchers began to realize that education is not black and white. Perhaps it is a more pragmatic approach to harness the strengths of PBL in enhancing students’ higher order thinking, acknowledge its limitations, and draw upon the strength of traditional instruction for building students’ basic knowledge base.
With this insight, Neville (2009) suggested a hybrid model of PBL that incorporates more lectures to better facilitate students’ learning.
Similarly, Hartling et al. (2010) also reported advice from a study that used hybrid PBL in the early stage of the curriculum to help structure the learning and ease the transition into a pure PBL approach.
In our opinion, the decision on the format of hybrid PBL should depend on a number of considerations, such as learners’ prior knowledge, the amount of procedural information that the tutor needs to provide, or how much part-task practice is required (van Merrienboer and Kirschner2018).
제2의 물결 PBL이 교육학의 과정으로 더 깊이 파고들면서, 제3의 물결 PBL 연구는 학문, 문화, 전달 모드와 같은 서로 다른 맥락에 걸쳐 수평적으로 우리의 관점을 넓혔다. 다양한 맥락에서 다양한 연구를 갖추며, [학문분야, 문화 또는 전달 플랫폼을 전문화한 PBL 연구]는 제3의 PBL 연구의 특징을 이루었다. 제3의 물결은 제1의 물결이나 제2의 물결처럼 흥미진진하지는 않았지만, 이 물결 연구의 기여는 PBL이 다른 맥락에서 어떻게 자신을 드러내는가에 대한 우리의 이해를 넓히는데 매우 중요하며, 이는 다음 물결의 PBL 연구를 위한 길을 열어준다. As the second wave of PBL dove deeper into the process of the pedagogy, the third wave of PBL research widened our perspective horizontally across different contexts, such as discipline, culture, and delivery modes. Equipped with a variety of studies from different contexts, the PBL research with a specialization in disciplines, culture, or delivery platform characterized the third wave of PBL research. Though the third wave was not as exciting as the first or second wave, the contribution of this wave of research is invaluable in expanding our understanding of how PBL manifests itself in different contexts, paving the way for the next wave of PBL research.
제2, 제3의 물결은 특정 조건에서 PBL의 작동 방식을 명확히 하는 데 초점을 맞췄지만, 이들 연구는 왜 PBL이 이러한 조건에서 작동하거나 작동하지 않는지 명확한 그림을 제시하지 못했다. 명확성이 결여된 한 가지 가능한 이유는 어떤 현상을 연구하는 자연스러운 진행 때문일 수 있다. 인간은 일반적으로 현상의 원인을 식별하고 이해하기 위해 두 가지 접근법을 취한다: 공변량과 기계론적 인과 추론.
Covariational reasoning: 가능한 인과 관계를 찾기 위해 발생 확률을 기반으로 양적으로 패턴을 살펴본다(즉, 무이론적).
Mechanistic causal reasoning: 시스템적 인과 관계를 개념화하여 현상의 기본 메커니즘을 질적으로 이해하는 것을 목표로 하는 보다 정교한 인과 추론 접근법이다(즉, 이론적).
Though the 2nd and 3rd waves focused on clarifying how PBL works under certain conditions, these studies have not provided a clear picture as to why PBL works or does not work under these conditions. One possible reason for the lack of clarity might be due to the natural progression of studying a phenomenon. Humans normally take two approaches to identifying and understanding the cause for a phenomenon under study, which are covariational and mechanistic causal reasoning (Kelley1973; Thagard2000).
The former looks at patterns quantitatively based on the probabilities of an occurrence to seek possible causal relationships (i.e., atheoretical).
The latter is a more sophisticated causal reasoning approach that aims to qualitatively understand the underlying mechanism of the phenomenon by conceptualizing its systemic inter-causal relationships (i.e., theoretical).
그러나 이 두 가지 접근법은 서로를 배제하지 않는다. 우리는 종종 연구 중인 현상에 대한 이론을 식별하고, 가정하고, 개념화하고, 검증하기 위해 두 가지 접근 방식 사이를 왔다 갔다 한다.기존의 세 가지 PBL 연구 물결은 PBL 연구에 공변량적 접근법을 취하는 것으로 보인다.따라서, PBL 연구의 이전 세 물결에서 남은 누락된 조각을 밝혀내기 위해, 우리는 PBL의 메커니즘을 질적으로 개념화하는 것이 향후 연구의 주요 목표가 되어야 한다고 제안한다.
However, these two approaches do not exclude each other. We often switch back and forth between the two approaches to identify, hypothesize, conceptualize, and verify our theories about the phenomenon under study. The existing three waves of PBL research seem to take a covariational approach to studying PBL. Thus, to uncover the missing piece left from the previous three waves of PBL research, we suggest that qualitatively conceptualizing the mechanism of PBL should be a primary goal of future study.
미래 방향 Future directions
50년간의 연구는 우리에게 PBL에 대한 더 나은 이해를 주었다. 제3의 물결의 작업은 아직 완성되지 않았고, 아직도 메워야 할 공백이 많다. 제4의 물결 PBL 연구는 어떤 방향을 택해야 하는가? 우리는 광범위한 연구 질문, "[특정 성과를 위한 특정 구현 특성을 가진 PBL]이 도입된 조건에서 작동하거나 작동하지 않는 이유는 무엇인가?"를 제안한다. Fifty years of research has given us a better understanding of PBL. The work of the third wave is not yet complete, and there are still many gaps that need to be filled. What directions should the fourth wave of PBL research take? We suggest a broad research question, “Why does PBL with particular implementation characteristics for specific outcomes work or not work in the condition where it is implemented?”
새로운 PBL 구현은 교육, 제도, 사회 및 문화 환경에서 맥락적으로 적절해야 합니다. 예를 들어, 서로 다른 분야들은 [서로 다른 지식의 종류, 기술 학습, 문제 유형]에 초점을 맞춘다. 학습자 모집단마다 다른 유형과 수준의 촉진 및 스캐폴딩을 필요로 한다. 현재까지 문제 유형과 구현 유형(교과 대 단일 과정 구현)에 대한 연구와 마찬가지로 PBL 모델(예: 순수 PBL, 하이브리드 PBL, PjBL, CBL, IBL)이 학생 학습에 미치는 영향에 대한 연구는 아직 부족하다.
A new PBL implementation must be contextually appropriate in its disciplinary, institutional, social, and cultural environment. For example, different disciplines focus on different types of problems as well as types of knowledge and skill learning. Different learner populations require different types and levels of facilitation and scaffolding. To date, the research on the effects of PBL models (e.g. pure PBL, hybrid PBL, PjBL, CBL, IBL) on student learning is still scarce (Tawfik et al. in press), as is research on problem types and implementation types (curriculum vs. single course implementations).
모호하거나 부정확한 설명자가 메타 연구의 실현 가능성을 방해할 수 있기 때문에, 어떤 특정한 구현 유형이나 특성이 어떤 조건에서 작용하는지에 대한 통찰력을 얻기 위해서는 맥락에 대한 명확한 설명이 필요하다(Loyens and Rikers 2011; van Merriënboer 2013; Walker and Leary 2009). 더욱이, 중국과 이란의 메타 연구는 문헌에 등장했지만, PBL 문학의 스펙트럼을 확장하기 위해서는 비서양적인 문화적 맥락에서 나온 메타 연구가 더 필요하다.
To gain insight on what particular implementation types or characteristics work under what conditions, a clear description of the context is necessary, because vague or imprecise descriptors could hinder the feasibility of meta-studies (Loyens and Rikers2011; van Merriënboer2013; Walker and Leary2009). Moreover, while Chinese and Iranian meta-studies have appeared in the literature, more meta-studies from non-western cultural contexts are needed to expand the spectrum of PBL literature.
다음 단계의 연구 질문에 답하려면 PBL의 개별 구성원들이 이해할 수 없는 체계적인 이해가 필요하다. 앞에서 논의한 바와 같이, 기계적 인과관계는 "PBL이 작동하는 이유"라는 광범위한 문제를 설명하는 데 적합한 연구 초점이 될 것이다. 이러한 묘사는 다음을 통하여 [PBL 교육 시스템은 어떻게 이러한 방식으로 행동하는가(즉, 제품 또는 최종 결과)]에 대해 설명합니다.
각 PBL 구성 요소가 관련 구성 요소 및 피드백 루프 효과와 상호작용하는 방법(예: 튜터의 촉진 기술, 학생 그룹 처리, 튜터에 대한 학생의 신뢰 및 학습 결과)
그리고 더 중요한 것은, 이러한 원인-간inter-causal 효과가 어떻게 PBL 교육학적 시스템이 어떻게 기능하는가에 영향을 미치는가 하는 것이다.
Answering the next wave of research questions requires a systemic understanding that is beyond the appreciation of individual constituents of PBL. As discussed earlier, mechanistic causal relations would be a suitable research focus to elucidate the broad question of “why PBL works”. This approach guides researchers to qualitatively depict the underlying mechanism of PBL from a systemic perspective. Such a depiction tells a story of how a PBL pedagogical system behaves the way it does (i.e., its products or end results) by describing
how each PBL constituent interacts with their related constituents and feedback loop effects (i.e., process: e.g. tutor’s facilitation skills, student group processing, students’ confidence in the tutor, and learning outcomes),
and more importantly, how these inter-causal effects collectively affect how the PBL pedagogical system functions.
이러한 연구 방향은 개념적 프레임워크에 의해 안내되어야 한다. 예를 들어, 4C/ID 모델에 표현된 task-centered instruction 의 원칙은 서로 다른 PBL 구현을 분석하고 설계하기 위한 개념 프레임워크를 제공한다. 그러한 원칙은 다음의 것들이 학습 영역, 대상 그룹 및 컨텍스트에 대해 달라져야 할 필요를 이야기한다.
문제의 유형(예: 프로젝트, 사례)
학습 리소스(예: 학습 환경, 온라인 리소스)
연습 기회(예: 기술 연구실, 실습) 및
지침 유형(예: 과외, 코칭)
These research directions must be guided by a conceptual framework. For example, principles for task-centered instruction (Francom 2017) as expressed in the 4C/ID model (van Merrienboer and Kirschner 2018) provides a conceptual framework to analyze and design different PBL implementations. Such principles indicate that
types of problems (e.g., projects, cases),
learning resources (e.g., study landscape, online resources),
practice opportunities (e.g., skillslab, practicals) and
types of guidance (e.g., tutoring, coaching)
may need to be different for different learning domains, target groups and contexts.
엥게스트롬(1987) 활동 이론은 또한 사회-문화적 체계적 관점에서 PBL 교육학적 시스템을 연구하기 위한 유용한 개념 프레임워크를 제공하며, 이는 PBL 모델이 다른 사회-문화적 맥락에서 작동하는 이유를 설명하는 데 매우 중요하다. Engeström’s (1987) activity theory also provides a helpful conceptual framework for studying a PBL pedagogical system from a social-cultural systemic perspective, which is vitally important for explaining why a PBL model may or may not work in another social-cultural context.
Ciancolo와 Regehr(2019) 레이어드 분석은 특정 맥락에서 PBL의 의도된 기능에 대한 체계적인 평가를 위한 유용한 지침을 추가로 제공할 수 있으며, 이는 "왜" 질문을 푸는 데 중요하다. 다음을 분석한다면 여러 PBL 모델의 장점을 명확히 하는데 도움이 될 수 있다.
어떻게 구현되었는가(테크닉),
기법의 설계를 유도하는 것(원칙)
3개의 다른 레이어에서 원칙에 inform하는 것(철학)
Ciancolo and Regehr’s (2019) Layered Analysis could additionally provide useful guidance for systematic evaluation of intended functions of PBL in a specific context, which is critical to unlock the “why” questions. By analyzing, findings could help clarify the merits of different PBL models.
how it was implemented (techniques),
what guides the design of the techniques (principles), and
what informs the principles (philosophy) at three different layers,
PBL은 도입 시에 소규모 그룹 학습으로 운영되기에, 본질적으로 interdisciplinary하다. 기존 PBL 연구는 PBL이 학생들의 협업 능력을 배양하는 데 큰 효과가 있다는 것을 확인했다. 그러나, 학문 간 커리큘럼 설계 및 구현에 대한 연구는 부족했다. 학제간 근무환경에서 효과적이고 효율적으로 기능할 수 있는 건강전문가의 능력에 대한 수요가 증가하고 있기 때문에 학생들에게 팀워크 기술을 갖추는 것이 무엇보다 중요하다. 나머지 질문은 다음과 같습니다. 학문 간 PBL 구현이 단일 분야 PBL 구현과 다른 이유와 이유는 무엇입니까? 학제간 PBL 커리큘럼을 구현할 때 직면할 수 있는 어려움과 물류 문제는 무엇인가? 성공 사례와 실패 사례 모두에 대한 보고서와 연구가 이러한 격차를 해소하는 데 도움이 될 것입니다.
PBL is interdisciplinary in nature, which is operationalized with small group learning in the implementation. The existing PBL research has confirmed that PBL is highly effective in cultivating students’ collaborative skills. However, research on interdisciplinary curriculum design and implementation has been lacking. Because the demand on health professionals’ ability to function effectively and efficiently in interdisciplinary working environments is increasing, it is paramount to equip students with teamwork skills. Remaining questions include: Why and what makes interdisciplinary PBL implementation different from uni-disciplinary PBL implementation? What are the challenges and logistical issues we may encounter when implementing an interdisciplinary PBL curriculum? Reports and studies on both successful and failed cases will help fill these gaps.
"왜" 질문에 대한 답을 찾는 것은 '이론 구성theory construction' 과정이다. 이 이론들은 연구 결과만으로 만들어진 것이 아니다. 오히려, 이론 구조는 데이터에 의해 inform되고, 건전한 이론적 토대에 의해 인도되어야 한다. PBL은 실제 교육 환경에서 구현된 교육적 시스템이기 때문에, PBL 연구는 이러한 상황적 관점에서 이익을 얻을 수 있다. 따라서, 기존 PBL 연구의 기초가 된 인지 이론적 관점 외에도, 사회문화 건설주의, 사회심리학, 문화 형성 또는 문화적 영향과 차이점, 조직심리학 등과 같은 다른 이론들은 우리의 연구 관점을 확장하여 PBL에 대한 더 깊이 이해하게 할 것이다. 이론에 기초한 연구 질문은 연구 목적과 연구 방향에 대한 명확한 견해를 제공할 것이다. 그래야만 연구의 목적을 달성하기 위해 적절한 연구 방법을 효과적으로 선택할 수 있다.
Seeking answers to the “Why” questions is a process of theory construction. These theories are not built from only study results. Rather, theory construction should be informed by data and guided by a sound theoretical foundation. Because PBL is a pedagogical system implemented in real educational settings, PBL research could benefit from these contextual perspectives. Thus, in addition to the cognitive theoretical perspective upon which the existing PBL research has been based, other theories such as social-cultural constructivism, social psychology, culture formation or cultural influence and differences, organizational psychology, and so on, could expand our research perspectives to obtain a deeper understanding of the pedagogy. The theory-based research questions will give researchers a clear view for the purpose as well as the direction of their studies. Only then, could an appropriate research method be effectively selected to fulfill the purpose of the study.
연구의 "왜" 명확화 목적을 위해 광범위한 연구 방법을 사용할 수 있다.
예를 들어, 질적 연구 방법은 관찰된 데이터를 설명하기 위한 세부사항을 드러내기 위한 강력한 도구이다. 정성적 방법은 PBL 연구에서 꽤 오랫동안 사용되어 왔지만, 그 사용은 정량적 연구, 특히 메타 연구에서 여전히 불균형적으로 낮다.
순차적 탐색, 순차적 설명 또는 동시 삼각 측량 혼합 방법은 이 격차를 메우고 사후 사실 추론이나 추측이 아닌 하나의 연구 설정에서 두 가지 유형의 데이터를 모두 제공하는 데 도움이 될 수 있다.
또한 연구 설계를 구성하기 위해 CMO(Context, Mechanism 및 Results) 원칙을 사용하는 현실주의자 리뷰(Pawson 등 2005)는 연구자들이 결과와 관련된 것뿐만 아니라 특정 맥락에서도 "왜"에 답하도록 안내할 수 있다.
PBL은 [빠른 기술 및 사회적 변화로 인해 커리큘럼 개편이 필수가 된 교육 환경]에서 구현됩니다. 따라서 설계 기반 연구는 프로세스 중에 발생하는 동적 특성과 세부 사항을 포착하기 위해 보다 유연하고 민감할 수 있다.
A wide range of research methods could be employed for the “Why” clarification purposes of study. For example, qualitative research methods are powerful tools for revealing details for explaining the data observed.
Qualitative methods have been used in PBL research for quite some time, but their use is still disproportionally lower than quantitative research, especially in meta-studies.
Sequential exploratory, sequential explanatory, or concurrent triangulation mixed methods could help fill in this gap and provide both types of data from one study setting, rather than by after-the-fact inference or speculations.
Also, realist reviews (Pawson et al.2005) that use CMO (Context, Mechanism, and Outcomes) principles to configure the design of studies could guide researchers to answer the “Whys” not only in relation to the outcomes but also under the specific context.
PBL is implemented in educational settings where curricular renewals are often a necessity due to fast technological and societal changes. Therefore, design-based research could be more flexible and sensitive to capture the dynamic nature and details occurring during the process.
한계 Limitations
결론 Conclusion
"PBL은 효과가 있는가?"라는 질문에 대한 조사에서부터 "PBL은 어떻게 작용하는가"에 이르기까지 PBL 연구는 50년 동안 계속 발전해 온 이 교육학을 이해하는데 있어 해답을 찾는 데 있어 먼 길을 왔다. 그러나, 우리가 실제로 얻은 답변은 더 많은 질문을 생성하여 PBL의 교육학적 시스템의 다른 차원에 대한 이해를 심화시키고 넓히는 데 도움이 된다. 이 모든 차원은 연구자들의 관심을 받을 만하다. 각각의 지식은 하나의 큰 수수께끼이기 때문이다. 이제 "[특정 성과에 대한 특정 구현적 특성을 가진 PBL]이 [구현된 조건]에서 [작동하거나 작동하지 않는 이유]는 무엇인가?"라는 질문을 던지기 위해 우리는 그 시점에 도달했다. 일이 더 밀려 있다.
From investigating the questions “Does PBL work?” to “How does PBL work,” PBL research has come a long way in searching for answers in understanding this 50-year-old and ever-evolving pedagogy. Yet, the answers we obtained in fact generate more questions, which help deepen our understanding and widen our understanding about different dimensions in the pedagogical system of PBL. All of these dimensions deserve attention from the researchers as each bit of knowledge is a piece of the big puzzle. Now we have arrived at the time to ask the question “Why does PBL with particular implementation characteristics for specific outcomes work or not work in the condition where it is implemented?”
Adv Health Sci Educ Theory Pract.2019 Dec;24(5):943-957.
doi: 10.1007/s10459-019-09945-x.Epub 2019 Nov 25.
A review to identify key perspectives in PBL meta-analyses and reviews: trends, gaps and future research directions
In the past 50 years, the original McMaster PBL model has been implemented, experimented, revised, and modified, and is still evolving. Yet, the development of PBL is not a series of success stories, but rather a journey of experiments, failures and lessons learned. In this paper, we analyzed the meta-analyses and systematic reviews on PBL from 1992 to present as they provide a focused lens on the PBL research in the past 5 decades. We identified three major waves in the PBL research development, analyzed their impact on PBL research and practice, and offered suggestions of research gaps and future directions for the field. The first wave of PBL research (polarization: 1990-mid 2000) focused on answering the question "Does PBL work?" and the outcomes. The results were conflicting. The researchers took polarizing positions and debated over the merits of PBL throughout this wave. However, the contradictory results and the debates in fact pushed the researchers to look harder for new directions to solve the puzzle. These efforts resulted in the second wave (from outcomes to process: mid 2000-mid 2010) that focused on the question "How does PBL work?" The second wave of PBL research targeted at investigating the effects of implementation constituents, such as assessment formats or single versus curriculum wide implementations. The third wave (specialization: mid 2010 and onward) of PBL research focused on "How does PBL work in different specific contexts?" These research widened our perspectives by expanding our understanding of how PBL manifests itself in different contexts. Given the diversification of PBL and more hybrid PBL models, we suggest "Why does PBL with particular implementation characteristics for specific outcomes work or not work in the condition where it is implemented?" to be the question to answer in the next wave of PBL research.
PBL에서 심층 및 표면학습: 문헌 고찰(Adv in Health Sci Educ, 2016)
Deep and surface learning in problem-based learning: a review of the literature Diana H. J. M. Dolmans1 • Sofie M. M. Loyens2,6 • He´le`ne Marcq4 • David Gijbels5
도입 Introduction
문제 해결과 비판적 사고와 같은 평생학습 능력의 육성과 발전을 촉진하는 것이 21세기 고등교육의 결정적 목표가 되었다. 볼로냐 선언에 따르면, 고등교육에서의 성공적인 학습과 공부에는 학생들이 딥러닝에 참여해야 한다(2014 아시카이넨). 최근 문헌 리뷰에서, Dinsmore와 Alexander(2012)는 학생들의 학습에 대한 연구가 실제와 조금이라도 관련이 있다면, 중요한 논의가 필요한 한 영역은 딥 러닝과 표면 학습에 대한 조사라고 말한다. 그들의 리뷰에서, Dinsmore와 Alexander(2012)는 심층 및 표면 학습에 대한 연구의 결과가 종종 모호하고 일관되지 않은 발견을 초래하는 이유를 확인했다. Fostering and stimulating the development of lifelong learning skills such as problem solving and critical thinking has become a crucial goal of higher education in the twentyfirst century. According to the Bologna declaration, successful learning and studying in higher education should involve students in deep learning (Asikainen2014). In a recent literature review, Dinsmore and Alexander (2012) state that if research on students’ learning is going to have any bearing on practice, one area in need of critical discussion is the investigation of deep and surface learning. From their review, Dinsmore and Alexander (2012) identified why the results of studies on deep and surface learning often result in ambiguous and inconsistent findings.
그 이유 중 하나는 딥 러닝과 표면 학습의 개념화가 이러한 개념을 측정하는 방법뿐만 아니라 연구 전반에 걸쳐 다르기 때문이다. 종종 딥 러닝을 측정하는 데 사용되는 도구의 유효성에 대한 증거가 부족하다. 또 다른 이유는 딥 러닝은 맥락과 학문 영역에 따라 다를 수 있는 반면, 연구가 수행되는 컨텍스트는 종종 다양하기 때문이다. 그 결과, Dinsmore와 Alexander(2012)는 리뷰를 통해 향후 연구에 중요한 것이 무엇인지를 강조했습니다.
(a) 명확한 이론적 프레임워크에서 시작하여 딥 러닝이 의미하는 바를 명확히 정의한다.
(b) 학습 환경의 컨텍스트가 딥 러닝에 영향을 미칠 수 있으므로 특정 학습 컨텍스트 내에서 딥 러닝을 조사한다.
(c) 유효한 도구를 사용하여 딥 러닝을 측정한다.
One of the reasons is that the conceptualization of deep and surface learning differs across studies as well as the way in which these concepts are measured. Often evidence of the validity of the instruments used to measure deep learning is lacking. Another reason is that the contexts in which the studies are conducted often vary, whereas deep learning might differ across contexts and academic domains. As a consequence, Dinsmore and Alexander (2012) emphasized from their review that it is important in future research to
(a) clearly define what is meant by deep learning, starting from a clear theoretical framework,
(b) investigate deep learning within a specific learning context, since the context of the learning environment may influence deep learning, and
(c) measure deep learning by means of valid tools.
이론적 프레임워크로서 학습에 대한 학생의 접근 방식 Students’ approaches to learning as a theoretical framework
이론적으로, 우리는 학생들의 학습 접근 방식(SAL)의 프레임워크를 기반으로 한다. 학문에 대한 깊은 접근의 개념은 마르톤과 슐예(1976년)의 연구에서 비롯되었다. 그들은 학생들이 특정 과제에 접근할 때(즉, 나중에 사용하기 위해 텍스트를 공부하는 것) 다른 의도를 가지고 있다는 것을 발견했다. 어떤 학생들은 본문의 의미를 이해하려고 의도한 반면, 다른 학생들은 본문에 대한 질문을 받았을 때 그들이 읽은 것을 재현할 수 있기를 원했다.
독서에서 의미를 추출하려는 의도를 가진 학생들은 정보를 사전 지식과 연관시키고, 아이디어를 이해할 수 있는 전체로 구성하며, 본문에 제시된 지식과 결론을 비판적으로 평가하려고 시도할 가능성이 있었다.
본문을 암기하는 과제를 스스로 떠맡은 학생들은 암기 학습과 같은 처리 전략을 구사할 가능성이 높았다.
의도와 처리 전략의 전자의 조합은 학습에 대한 [깊은 접근]으로 알려졌고 후자는 [표면 접근]으로 알려지게 되었다. Theoretically, we build on the framework of students’ approaches to learning (SAL). The concept of a deep approach to learning originated in the work of Marton and Säljö (1976). They discovered that students had different intentions when approaching a particular task (i.e., studying a text for later use). Some students intended to understand the meaning of the text, while others primarily wanted to be able to reproduce what they had read when questioned on it.
Students with an intention to extract meaning from their readings were likely to try to relate information to prior knowledge, to structure ideas into comprehensible wholes, and to critically evaluate knowledge and conclusions presented in the text.
Students who took upon themselves the task of committing text to memory were likely to use processing strategies such as rote learning.
The former combination of intentions and processing strategies became known as a deep approach to learning and the latter as a surface approach.
트리그웰 외 (2005) 학습에 대한 깊은 접근 방식을 가진 학생들이 본질적으로 흥미를 가지고 있으며 무엇을 공부하는지 이해하려고 노력한다고 주장한다.
표면 접근법을 채택하는 학생들은 주로 암기 학습에 초점을 맞추고 주로 시험에 합격하기 위해 공부한다.
Trigwell et al. (2005) argue that students with a deep approach to learning are intrinsically interested and try to understand what they study.
Students adopting a surface approach mainly focus on rote learning and primarily study to pass the test.
학습에 대한 심층 및 표면적 접근은 학생들의 의도(또는 동기)와 그에 수반되는 학습 활동의 결합으로 간주된다.
학습에 대한 [표면적 접근]은 일반적으로 암기 학습과 암기로 특징지어지는 학습 과정과 함께 콘텐츠를 재현하려는 의도로 정의되었다.
학습에 대한 [깊은 접근]은 기본 원리를 찾고, 관련 증거를 평가하고, 지식을 비판적으로 평가하는 과정과 함께 내용을 이해하려는 의도로 설명되었다.
Deep and surface approaches to learning are seen as a combination of students’ intentions (or motives) and the accompanying learning activities.
A surface approach to learning has typically been defined as an intention to reproduce content, with learning processes characterized by rote learning and memorization.
A deep approach to learning has been described as a student’s intention to understand content together with the processes of relating and structuring ideas, looking for underlying principles, weighing relevant evidence, and critically evaluating knowledge (Biggs et al.2001; Entwistle and McCune2004; Lonka and Lindblom-Ylänne1996; Loyens et al.2013).
학습에 대한 접근 방식은 [학습 환경의 인식된 요구와 관련이 있다]고 가정되며, 순수하게 개인적 특성으로 간주되지 않는다(Biggs and Tang 2007; Nijhuis et al. 2005). 학생들이 학습에 접근하는 방법은 변화무쌍하고, 다음과 같은 특성에 의해 영향을 받는다(Gijbels et al. 2014)
학습 환경의 요인,
이러한 요인에 대한 학생들의 인식
학습 중인 주제에 대한 사전 지식.
Approaches to learning are assumed to be related to the perceived demands of the learning environment and are not seen as purely personal characteristics (Biggs and Tang2007; Nijhuis et al.2005). How students approach their learning is viewed as changeable and influenced by
factors in the learning environment,
students’ perceptions of these factors and
student characteristics such as their prior knowledge on the topic under study (Gijbels et al.2014).
이것이 [학습 접근 방식]의 개념이 (모든 학습자가 학습에 맞춰야 하는 개인적이고 안정적인 학습 스타일을 가지고 있다고 주장하는) [학습 스타일]의 개념과 다른 점이다.
This is where the concept of approaches to learning differs from the concept of learning styles in which all learners are claimed to have their own personal and stable learning style that should be aligned to instruction.
학습 스타일 분야는 안정적인 개별 특성으로서 학습 스타일이 실제로 존재한다는 확실한 증거가 없기 때문에 최근 많은 비판을 받고 있다. Kirschner와 Van Merrinboer 2013). 그러나, 대학교육에서 학생들이 사용하는 학습 접근법의 종류를 조사한 연구는 모순된 결과를 가져왔다. Baeten 외 연구진(2010)은 학생 중심 학습 환경에서 [학습에 대한 깊은 접근을 장려하거나 저해하는 요소]를 감지하기 위해 25개의 연구를 검토했다. 그들의 리뷰는 교육방식의 특징, 학생들이 어떻게 교육맥락을 인지하는지, 그리고 학생요소가 역할을 한다는 것을 보여주었다. Baeten 외 연구진(2010)은 이러한 요인의 많은 부분이 서로 얽혀 있으며, 서로 어떻게 관련이 있고 학생 중심의 다른 학습 환경에서 어떻게 다른지 아직 거의 알려져 있지 않다고 결론지었다.
The field of learning styles has recently been heavily critiqued because of the lack of solid evidence that learning styles—as stable individual characteristics—actually exists (see e.g. Kirschner and Van Merriënboer2013). However, research that investigated the kind of learning approaches that are used by students in university education has led to contradictory results (see e.g., Gijbels et al.2009; Struyven et al.2006; Wilson and Fowler2005). Baeten et al. (2010) reviewed 25 studies to detect which factors encourage or discourage a deep approach to learning in student-centered learning environments in general. Their review demonstrated that characteristics of the teaching method, how students perceive the teaching context, and student factors play a role. Baeten et al. (2010) concluded that many of these factors are intertwined and that still little is known about how they relate to each other and differ across different student-centered learning environments.
문제 기반 학습 Problem-based learning
문제 기반 학습(PBL)은 전 세계 많은 대학에서 구현되는 학생 중심 교육 접근법이다. PBL 학생들은 소규모 그룹에서 전문적으로 관련된 문제를 토론한다.
이 문제들은 학생들의 사전 지식을 활성화하기 위해 어떤 준비나 자습이 일어나기 전에 먼저 논의된다.
학생들의 사전 지식이 부족하여 문제를 완전히 이해할 수 없기 때문에, 그룹 내 학생들에 의해 추가적인 개별적 자율 학습을 위한 질문(즉, learning issue)가 생성된다formulated.
이 개별적 자율학습 기간(즉, 2, 3일 후)이 끝나면 학생들은 다시 모여 배운 내용을 토론하고 공식화된 학습 문제에 대한 답을 찾는다.
Problem-based learning (PBL) is a student-centered instructional approach that is implemented at many universities worldwide. PBL students discuss professionally relevant problems in small groups. The problems are first discussed before any preparation or self-study has taken place to activate students’ prior knowledge. Because students’ prior knowledge is insufficient to fully understand the problem, questions (i.e., learning issues) are formulated for further individual self-study by the students in the group. After this individual self-study period (i.e., 2 or 3 days later), students gather again and discuss what they have learned and come to an answer to the formulated learning issues.
그룹 토론은 교사(즉, 소위 튜터)에 의해 촉진되며, 지식을 습득하고, 문제를 더 잘 이해하며, 문제를 해결하는 기술을 습득하는 것을 목표로 한다(Barrows 1996).
한편, PBL은 학생들이 그들 자신의 학습에 적극적으로 참여하도록 하고, 다른 한편으로 [세심하게 설계된 문제]들과 [지도교사에 의해 촉진된 그룹 토론]과 같이, [학생 학습을 강화하기 위한 많은 스캐폴드]를 포함한다.
PBL 프로세스의 설계(즉, 사전 지식을 활성화하고 학습 문제를 공식화하기 위한 문제의 사전 논의, 개별 자체 학습 시간, 서로 다른 문헌 발견이 논의되고 통합되는 보고 단계)는 [단편화를 피하고 지식, 기술 및 태도의 통합을 장려하기 위해 전체 문제를 통해 학습하는 것]의 중요성을 강조하는 현재의 교육 설계 접근법과 잘 일치한다. (Merrill 2012; Van Merrienboer 및 Kirschner 2013).
The group discussion is facilitated by a teacher (i.e., so-called tutor) and is aimed to acquire knowledge, to better understand the problem, and to acquire skills to solve the problem (Barrows1996).
PBL does, on the one hand, actively engage students in their own learning and, on the other hand, includes many scaffolds to enhance student learning such as carefully designed problems and a group discussion facilitated by a tutor.
The design of the PBL process (i.e., a pre-discussion of the problem to activate prior knowledge and formulate learning issues, an individual self-study time period, and a reporting phase in which different literature findings are discussed and integrated) is well aligned with current instructional design approaches that emphasize the importance of learning by means of whole problems in order to avoid fragmentation and encourage integration of knowledge, skills, and attitudes (Merrill2012; Van Merrienboer and Kirschner2013).
PBL은 작은 부분을 하나하나 배우는 대신 지식과 기술의 통합을 강조한다. 예를 들어, 그룹 내에서 문헌 조사 결과를 논의하면 개별 자율 학습 기간 동안 학생들은 어느 정도, 문제의 주제 범위 내에서 스스로 문헌 자원을 선택하고 연구할 자유가 있기 때문에 학습 문제에 대한 해답이 다른 각도에서 조명되도록 한다. 보고 단계에서 콘텐츠 지식을 배우는 것 외에도, 학생들은 당면한 문제의 근본적인 메커니즘을 이해하는 방법을 배우고, 따라서 그들의 문제 해결 기술은 동시에 훈련을 받는다. 즉, 학생들이 개념과 원칙 사이의 관계를 논의하고, 서로 다른 문헌 자원을 통합하고, 그룹에서 논의되는 문제에 이러한 개념과 원칙을 적용하고, 지식과 기술을 통합하기 때문에, PBL은 [학습에 대한 깊은 접근]을 장려하는 것으로 가정된다.
Instead of learning small parts piece by piece, PBL emphasizes the integration of knowledge and skills. For example, discussing literature findings within a group makes that the answers to the learning issues become illuminated from different angles, since during the individual self-study period, students have—to a certain extent and within the boundaries of the problem’s topic—freedom to select and study their own literature resources. Besides learning content knowledge during the reporting phase, students also learn how to understand the underlying mechanisms of the problem at hand and hence, their problem-solving skills get trained at the same time. In other words, since students discuss relationships between concepts and principles, integrate different literature resources, apply these concepts and principles to the problems that are discussed in the group, and integrate knowledge and skills, PBL is assumed to encourage a deep approach to learning.
현재 연구 The present study
본 검토 연구는 PBL이 심층 및 표면 학습에 미치는 영향을 조사하기 위한 것이다.
우리는 딥 러닝을 [의도나 동기 및 실제 전략을 모두 반영하여, 학습에 대한 학생 접근 방식]으로 정의한다. 우리는 딥 러닝 접근법을 [내재적 관심이 있고, 학습 중인 것을 이해하려고 노력하는 것을 목표함]으로 간주한다.
표면적 접근은 주로 시험 통과를 위한 암기 학습과 학습을 목표로 하는 의도 및 전략으로 정의된다.
The present review study is aimed at investigating the effects of PBL on deep and surface learning.
We define deep learning in terms of students approaches to learning, reflecting both intentions or motives and actual strategies. We consider a deep learning approach as being intrinsically interested and aimed at trying to understand what is being studied.
A surface approach is defined as an intention and strategy that is mainly aimed at rote learning and studying to pass the test.
따라서, 이 검토는 딥 러닝 접근법과 표면 학습 접근법이 학습 환경과 관련이 있다고 가정되고 순수한 개인적 특성으로 보기보다는, [학생들의 의도와 그에 수반되는 학습 활동의 결합]으로 보는 이론적 프레임워크에서 출발한다. 이 검토에서 우리는 문제 기반 학습 환경에서 수행된 연구에 초점을 맞춘다. PBL의 영향에 대한 이전의 검토(예: Dochy et al. 2003)에 따라 우리는 커리큘럼 전체 또는 단일 과정 PBL 구현을 구별한다.
So, this review does start from a theoretical framework in which deep and surface learning approaches are seen as a combination of students’ intentions and accompanying learning activities, which are assumed to be related to the learning environment and are not seen as purely personal characteristics. In this review we focus on studies conducted in a problem-based learning environment. In line with earlier reviews on the effects of PBL (e.g., Dochy et al.2003) we distinguish between either a curriculum wide or single course PBL implementation.
1. 문제 기반 학습이 학생들의 학습에 대한 깊고 표면적인 접근에 미치는 영향은 무엇인가? 2. (a) 학습 환경의 맥락(단일 과정 대 PBL의 커리큘럼 광범위한 구현) 및 (b) 학습 품질(방법론적으로 높은 수준의 연구 대 저/중간 품질 연구)에 따라 영향이 다른가?
What are the effects of problem-based learning on students’ deep and surface approaches to learning?
Do the effects differ across (a) the context of the learning environment (single course vs. curriculum wide implementations of PBL), and (b) study quality (methodologically high level quality of studies vs. low/medium quality studies)?
방법 Methods
캠벨 협업에 따르면, 문헌의 체계적인 검토에는 (1) 포함에 대한 명확한 기준, (2) 명확한 검색 전략 (3) 체계적 코딩 및 (4) 메타 추출 기법을 사용한 포함된 연구에 대한 체계적인 분석이 포함되어야 한다.
According to the Campbell Collaboration, a systematic review of the literature should include
(1) clear criteria for inclusion,
(2) a clear search strategy
(3) systematic coding and
(4) a systematic analyses of the included studies, using meta-analyses techniques were appropriate (www.campbellcollaboration.org).
포함기준 Criteria for inclusion
우리의 검토에 연구를 포함시키기 위한 몇 가지 기준이 정의되었다.
첫째, 연구는 (a) 소규모 그룹의 학습, (b) 그룹 학습을 촉진하는 교사/강사, (c) 문제에 의해 학습 과정이 시작되고 (d) 자율 학습을 통해 새로운 정보를 습득하는 것으로 특징지어지는 문제 기반 학습 환경에서 수행되어야 한다(Barrows 1996).
둘째, 각 연구는 학습에 대한 심층 또는 표면 접근 방식을 다루는 경험적 데이터를 포함해야 한다. 우리는 PBL 커리큘럼이 다른 커리큘럼과 비교되는 연구로 연구를 제한하지 않았고 정량적 연구로 제한하지도 않았다. 우리는 다른 방법론을 사용한 연구를 포함했다.
Several criteria were defined for inclusion of studies in our review.
First, the study should be conducted in a problem-based learning environment that is characterized by: (a) learning in small groups, (b) a teacher/tutor facilitating group learning, (c) the learning process is initiated by problems, and (d) new information is acquired through self-study (Barrows1996).
Second, each study should contain empirical data dealing with a deep or surface approach to learning. We did not restrict our studies to studies in which PBL curricula were compared with other curricula, nor did we restrict to quantitative studies; we included studies using different methodologies.
문헌검색 Literature search
연구 특성 코딩 Coding study characteristics
연구합성 Synthesizing research
결과 Results
PBL이 학습에 대한 심층 및 표면 접근법에 미치는 영향은 무엇인가? What are the effects of PBL on deep and surface approaches to learning?
표 1은 21개 연구에 대한 개요를 제공합니다. 이 표 1의 마지막 행에서 볼 수 있듯이, 17개의 연구가 전체 PBL 환경에서 수행되었고, 3개는 하이브리드 PBL 환경, 1개는 PBL 컴퓨터 환경에서 수행되었다. 또한 커리큘럼 전체 PBL 구현에서 12개의 연구가 수행되었고 단일 과정 PBL 환경에서 9개의 연구가 수행되었다. 표 1은 또한 PBL이 11개 연구에서 학습에 대한 심층 접근법을 강화한다는 것을 보여준다. PBL은 네 가지 연구에서 심층 접근법의 감소를 초래하며 다른 여섯 가지 연구에서 심층 접근법에는 영향을 미치지 않는다. 또한, 표 1에 PBL이 11개 연구에서 학습에 대한 표면 접근에 영향을 미치지 않는 것으로 나타났다. PBL은 6개의 연구에서 표면 학습의 감소와 4개의 연구의 증가로 이어진다.
Table 1provides an overview of the 21 studies. As can be seen in the final row of this Table 1, 17 studies were conducted in a full PBL environment, 3 in a hybrid PBL environment and 1 in a PBL computer environment. Furthermore, 12 studies were done in a curriculum wide PBL implementation and nine in a single course PBL environment. Table 1also demonstrates that PBL does enhance a deep approach to learning in eleven studies. PBL does lead to a decrease in deep approach in four studies and has no effect on deep approach in another six studies. Furthermore, it is shown in Table 1that PBL has no effect on a surface approach to learning in eleven studies. PBL does lead to a decrease in surface learning in six studies and an increase in four studies.
표 2는 PBL이 학습에 대한 심층 및 표면 접근에 미치는 주효과와 관련된 첫 번째 연구 질문에 대한 답변을 제공하기 위해 개표, 부호 테스트 및 효과 크기의 결과를 제시한다(Cooper 등). 2009). 표 2의 개표는 PBL이 딥 러닝에 미치는 영향에 대한 긍정적인 경향을 보여주며, 21 중 11개의 연구가 부정적인 효과를 산출하는 것에 비해, 4개에서는 긍정적인 효과를 산출한다. 그러나 학습에 대한 심층 접근법을 장려하고 낮추는 연구의 차이는 통계적으로 유의하지 않았다는 점을 언급해야 한다. [0.11의 평균 효과 크기]는 PBL의 [심층 접근법에 대한 작은 양의 효과]로 향한다.
Table 2presents the result of the vote-counts, sign test and effect sizes in order to give an answer on our first research question related to the main effects of PBL on deep and surface approaches to learning (Cooper et al.2009). The vote count in Table 2shows a positive tendency for the effects of PBL on deep learning with eleven studies of the 21 yielding a positive effect (i.e., a higher score or increase in the learning approach which we will label in the remaining of the text as ‘increase’) compared to four studies yielding a negative effect (i.e., a lower score or decrease in the learning approach which we will label in the remaining of the text as ‘decrease’). It should be mentioned, however, that this difference between studies fostering and lowering a deep approach to learning, was not statistically significant. The average effect size of .11 points towards a small positive effect of PBL on the deep approach.
PBL이 표면 학습 접근법에 미치는 영향에 대해서는 11개 연구가 표면 학습에 영향을 미치지 않으며, 6개 연구는 점수 또는 감소, 4개 연구는 표면 학습의 증가를 보여준다. 다시, 양면 부호 검정은 학습에 대한 표면 접근 방식을 감소 및 증가시키는 연구 수에 유의하지 않았으며, 또한 평균 효과 크기 0.08은 PBL이 표면 접근 방식에 거의 영향을 미치지 않음을 나타낸다.
As for the effects of PBL on surface learning approaches, eleven studies show no effect on surface learning, six studies show a lower score or decrease and four studies an increase in surface learning. Again, the two-sided sign-test was not significant for the number of studies decreasing and increasing a surface approach to learning and also the average effect size of .08 indicates that PBL has little effect on the surface approach.
맥락이나 공부의 질이 딥 러닝에 영향을 미치는가? Does context or study quality impact deep learning?
표 3에서 커리큘럼 전체 PBL 구현(n = 12) 및 단일 과정 PBL 구현(n = 9)에서 수행된 연구에 대한 심층 및 표면 접근에 대한 긍정적, 부정적 또는 영향을 보고한 연구가 미치는 영향을 보고한다. 개표 결과 [교육과정 전반에 걸친 PBL]의 경우 7개 연구가 딥 러닝의 증가를, 3개 연구는 딥 러닝의 감소를, 2개 연구는 효과가 없는 것으로 나타났다. 0.18의 효과 크기는 커리큘럼 전체 구현에서 PBL이 학생들의 심층 접근 방식에 미치는 작은 영향을 나타낸다. 4개의 연구는 표면 학습의 감소를 나타낸 반면, 3개의 연구는 표면 접근법의 증가를 보여주었고 다른 5개의 연구는 효과가 없었다. 그러나 양면 부호 테스트는 딥 및 표면 학습 접근법에 대한 영향 모두에 대해 유의하지 않았으며, 이는 딥 및 표면 학습 접근법의 증감을 보고하는 연구 수의 차이가 통계적으로 유의하지 않음을 의미한다. 또한 0.08의 효과 크기는 교육과정 전반의 PBL 구현이 표면 접근법에 거의 영향을 미치지 않음을 나타낸다.
In Table 3the effects of studies reporting positive, negative or no effects on deep and surface approaches to learning across studies conducted in a curriculum wide PBL implementation (n = 12) and a single course PBL implementation (n = 9) are reported. The vote count indicated that for curriculum wide PBL implementations, seven studies showed an increase in deep learning, three studies led to a decrease in deep learning and two studies showed no effect. The effect size of .18 indicates a small effect of PBL in a curriculum wide implementation on students’ deep approach. Four studies indicated a decrease in surface learning, whereas three studies showed an increase in surface approach and another five studies no effect. However, the two-sided sign-tests were not significant for both the effects on deep and surface approaches to learning, meaning that the difference in number of studies reporting an increase and decrease in both deep and surface approaches to learning, is not statistically significant. Also the effect size of .08 gives an indication that a curriculum wide implementation of PBL has little effect on the surface approach.
표 3의 하단 부분에서는 단일 PBL 과정(n = 9)에서 수행된 연구에 대한 심층 및 표면 접근법에 대한 영향을 보고한다. 개표 결과 4개 연구는 딥러닝 증가, 1개 연구는 딥러닝 감소, 4개 연구는 효과가 없는 것으로 나타났다. 표 3은 또한 두 개의 연구가 표면 학습의 감소를 보여주었고, 한 연구는 표면 접근의 증가의 증거를 제시했으며, 다른 여섯 개의 연구는 아무런 영향도 보이지 않았다. 커리큘럼 전체 구현 결과와 유사하게, 양면 부호 시험은 학습에 대한 심층 및 표면 접근에 대한 효과 모두에 대해 유의하지 않았다. 따라서, 학습에 대한 심층 및 표면 접근 방식을 장려하거나 방해하는 연구 수의 차이는 통계적으로 유의하지 않았다. 그러나 단일 과정 PBL 구현의 경우 대부분의 연구는 학습에 대한 표면 접근법에 영향을 미치지 않았다. 심층(-0.05) 및 표면(.07) 접근법의 효과 크기는 PBL의 단일 코스 구현에 대해 0에 가깝다. The bottom part of Table 3reports the effects on deep and surface approaches to learning across studies conducted in a single PBL course (n = 9). The vote count showed that four studies showed an increase in deep learning, one study led to a decrease on deep learning and four studies showed no effect. Table 3also demonstrates that two studies showed a decrease in surface learning, one study gave evidence of an increase in surface approach and another six studies showed no effects. Similarly to the results for curriculum wide implementations, the two-sided sign-tests were not significant for both the effects on deep and surface approaches to learning. Hence, the difference in number of studies fostering or hindering both deep and surface approaches to learning was not statistically significant. However, for single course PBL implementations, the majority of the studies did not show an effect on surface approaches to learning. The effect sizes for both the deep (−0.05) and the surface (.07) approach are close to zero for the single course implementation of PBL.
표 4에는 연구의 방법론적 품질이 요약되어 있다. 이 표에서 볼 수 있듯이, 대부분의 연구는 정량적 연구(n = 18)였고, 소수의 연구는 혼합적 연구(n = 3)였다. 연구 설계의 측면에서, 11개의 연구는 실험 통제 그룹 연구를 포함했고 10개의 연구는 하나의 그룹 설계를 사용했다. 총 14개의 사전-사후 테스트 연구 설계가 사용되었으며 7개의 사후 테스트 전용 설계가 사용되었습니다. 단 하나의 연구만이 측정 모멘트가 3개인 종방향 연구였다. 표본 크기는 21개 연구 중 16개 연구 중 40개를 분명히 웃돌았다. 연구의 대부분은 John Biggs와 동료들에 의해 개발된 Study Process Questinate(11개 연구)를 이용했다. 사용된 계측기의 유효성에 대한 연구는 3건, 데이터의 신뢰성에 대한 연구는 7건에 불과했습니다. 총 8개의 연구가 전체 연구 품질 점수(5, 6 또는 7점)가 높았다.
In Table 4the methodological quality of the studies is summarized. As can be seen from this table, the majority of the studies were quantitative studies (n = 18) and a minority were mixed-methods studies (n = 3). In terms of study designs, eleven studies involved experimental control group studies and ten studies used a one group design. In total, 14 pre-post test study designs were used and seven post-test only designs. Only one study was a longitudinal study with three measurement moments. The sample size was clearly above 40 in 16 out of 21 studies. The majority of the studies did make use of the Study Process Questionnaire developed by John Biggs and colleagues (11 studies). Only three studies reported about the validity of the instrument used and seven studies about the reliability of the data. In total, eight studies had a high overall study quality score (a score of 5, 6 or 7).
학습 품질에 따라 PBL이 딥 러닝과 표면 학습에 미치는 영향은 표 5에 언급되어 있다.
The effects of PBL on deep and surface learning depending on study quality are mentioned in Table 5.
수준 높은 연구(n = 8)의 경우, 개표 결과 3개의 연구가 딥 러닝의 증가를 보였고, 1개의 연구는 딥 러닝의 감소를 이끌었으며, 4개의 연구는 아무런 효과를 보이지 않았다. 작은 양의 효과로 향하는 .13점의 효과 크기입니다. 표면 학습과 관련하여, 두 가지 연구는 감소했고, 한 연구는 증가했고, 다섯 가지 효과는 없었다. 효과 크기는 -.01이 0에 가까웠습니다. PBL 구현 규모에 관한 결과와 유사하게, 양면 부호 테스트는 학습에 대한 심층 및 표면 접근에 대한 효과 모두에 대해 유의하지 않았다.
For high-quality studies (n = 8), the vote count showed that three studies showed an increase in deep learning, one study led to a decrease on deep learning and four studies showed no effect. The effect size of .13 points towards a small positive effect. With respect to surface learning, two studies showed a decrease, one study an increase and five no effect. The effect size was with −.01 close to zero. Similar to the results regarding the scale of PBL implementation, the two-sided sign-tests were not significant for both the effects on deep and surface approaches to learning.
표 5의 하단에는 저품질 및 중품질 연구에 대한 결과가 나와 있습니다(n = 13). 7개 연구는 딥 러닝의 증가의 증거를 제시했고, 4개 연구는 딥 러닝의 감소를 이끌었으며, 2개 연구는 아무런 효과를 보이지 않았다. 효과 크기가 0.07이면 효과가 없거나 매우 작음을 나타냅니다. 학습에 대한 표면 접근법의 경우, 6개의 연구는 감소했고, 1개의 연구는 증가했으며 6개의 연구는 아무런 영향도 보이지 않았다. 중저품질 연구의 경우, 연구의 거의 절반이 학습에 대한 표면 접근에 영향을 미치지 않았지만, 효과 크기는 의미 있는 효과를 향해 .17 포인트이다. In the bottom part of Table 5, results are mentioned for low and medium quality studies (n = 13). Seven studies gave evidence of an increase in deep learning, four studies led to a decrease on deep learning and two studies showed no effect. The effect size of .07 indicates there is no or a very small effect. For surface approaches to learning, six studies showed a decrease, one study showed an increase and six studies showed no effects. For medium–low quality studies, although almost half of the studies found no effect on surface approaches to learning, the effect size of .17 points towards a meaningful effect.
다시, 양면 부호 테스트는 딥 및 표면 학습 접근법에 대한 효과 모두에 대해 유의하지 않았으며, 이는 [심층 또는 표면 학습 접근법에 대한 증가 또는 감소]를 보여주는 연구 숫자에 [차이를 찾을 수 없음]을 의미한다.
Again, the two-sided sign-tests were not significant for both the effects on deep and surface approaches to learning, meaning no differences could be found in the number of studies showing an increase versus a decrease for both deep and surface approaches to learning.
결론 및 토론 Conclusion and discussion
이 검토는 PBL이 학습에 대한 심층 및 표면 접근에 미치는 영향을 조사하기 위한 것이었다. 포함된 연구는 모두 PBL의 특정 컨텍스트 내에서 수행되었으며 대부분의 연구는 Biggs의 이론적 프레임워크를 사용하여 심층 및 표면 처리를 측정하였다. Dinsmore와 Alexander(2012)는 명확한 이론적 프레임워크와 특정 컨텍스트 내에서 딥 러닝 접근 방식을 연구하기 위해 간청했다. 우리는 이 검토에서 이러한 사항들을 다루었다.
리뷰는 21개 연구 중 11개가 PBL이 학습에 대한 깊은 접근을 장려한다는 것을 보여주었고, 21개의 표면 학습을 측정하는 연구 중 11개에서 PBL은 표면 접근에 영향을 미치지 않았다.
효과 크기에서도 알 수 있듯이, PBL은 딥 러닝을 어느 정도 강화시키는 것으로 보이며(ES = .11) 표면 학습에 미치는 영향은 적다(ES = 0.08).
더욱이, 이 검토는 연구들 사이의 효과의 차이가 부분적으로 PBL 연구가 수행된 환경의 차이에 의해 설명될 수 있지만 연구 품질에 의해 설명될 수 없다는 것을 보여주었다. (교육과정 전반에 걸친 구현은 단일 과정(ES = -.05) 구현에 비해 학생들의 심층적 접근 방식(ES = 0.18)에 더 긍정적인 영향을 미칩니다.)
This review was aimed at investigating the effects of PBL on deep and surface approaches to learning. The studies included were all conducted within the specific context of PBL and most of the studies used Biggs’ theoretical framework to measure deep and surface processing. Dinsmore and Alexander (2012) made a plea to study deep learning approaches from a clear theoretical framework and within a specific context; a specific learning environment. We addressed these points in this review.
The review demonstrated that eleven of the 21 the studies give indications that PBL does encourage a deep approach to learning and in eleven of the 21 studies measuring surface learning, PBL had no effect on a surface approach.
As also indicated by the effect sizes, PBL does seem to enhance deep learning to some extent (ES = .11) and has less effect on surface learning (ES = .08).
Furthermore, this review demonstrated that differences in effects between the studies could be partly explained by differential characteristics of the environment in which the PBL studies were conducted (a curriculum wide implementation has a more positive impact on students’ deep approach (ES = .18) compared to a single course (ES = −.05) implementation), but not by study quality.
PBL이딥 러닝을 강화하는 메커니즘으로 가정되는 것은 [능동적이고 자기 주도적인 학습]이다. PBL은 학생들이 정보를 분석, 비교, 대조 및 설명할 필요가 있기 때문에 학습의 능동적인 형태로 간주된다(Serif 2011). 그들은 그들 자신이 당면한 문제에 대한 가설을 개발하고 설명하고 다양한 문헌과 다른 학습 자원을 사용하여 이러한 설명과 가설에 대한 증거를 찾아야 하기 때문에 학습 과정에 적극적으로 참여하고 있다(Gurpinar et al. 2013). 자기 주도 학습은 학생들이 자신의 학습에 대해 책임을 지기 때문에 PBL에서 시행된다. 어느 정도까지는, 그리고 문제의 테두리 안에서, 학습 문제에 답하기 위해 그들 자신의 자원을 선택할 수 있는 자유가 있고, 이것은 그들에게 학습에 대한 소유권ownership을 줍니다.
The mechanisms through which PBL is assumed to enhance deep learning are active and self-directed learning. PBL is considered an active form of learning, since students need to analyze, compare, contrast, and explain information (Serife2011). They are actively involved in their learning process because they themselves need to develop and explain hypotheses for the problem at hand and search for evidence for these explanations and hypotheses, using various literature and other learning resources (Gurpinar et al.2013). Self-directed learning comes into play in PBL since students take responsibility over their own learning. They have, to a certain degree and within the boundaries of the problem, the freedom to select their own resources to answer the learning issues, which gives them ownership over their learning.
본 검토에 포함된 21개 연구 중 11개는 PBL이 딥 러닝을 육성한다는 것을 보여준다(ES = .11). 이 효과는 내재적 동기를 통해 매개될 수 있다. 최근의 PBL 연구에서, 학생들에게 한 세트에서 문헌소스를 제공함 경우와, 두 개의 문헌소스를 주어지는 조건(즉, 자기 주도적 조건)을비교했다. 실제로 자기 주도적인 상태의 학생들이 자율적인 동기 부여에서 더 높은 점수를 받았다는 것을 입증했고, 이는 자기 주도 학습과 자율/자율적 동기 사이의 관계에 대한 증거를 제시합니다.
Eleven out of the 21 studies included in this review demonstrate that PBL does foster deep learning (ES = .11). This effect is possibly mediated through intrinsic motivation. A recent PBL study in which having the freedom to choose literature resources (i.e., self-directed condition) from a set was compared to a condition in which two literature resources were given to students, indeed demonstrated that students in the self-directed condition scored higher on autonomous motivation (Wijnia et al.2015), giving evidence for the relationship between self-directed learning and autonomous/intrinsic motivation.
또한 이 검토의 결과는 PBL이 표면 학습을 측정하는 18개 연구 중 11개 연구(ES = 0.08)에서 표면 학습에 거의 영향을 미치지 않음을 나타낸다. 좋은 소식인가요, 아닌가요? 이 발견이 어떻게 보면 긍정적인 효과도 있다고 주장할 수 있다. 그럼에도 불구하고 우리는 일부 상황에서는 표면 접근법 또는 심층 및 표면 접근법의 더 나은 조합이 효과적으로 학습하기 위해 사용되어야 한다는 것도 고려해야 한다(Dinsmore 및 Alexander 2012). 높은 인식된 작업량perceived workload은 표면적인 연구 접근으로 이어질 가능성이 높으며 딥 러닝에 해로울 수 있다. 학습 환경에서 업무량이 높다고 인식하는 학생은 학업과 지칠 뿐만 아니라 공부에 대한 관심도 부족함을 드러낼 가능성이 더 높다. 이는 특히 초기 PBL 학생들에게 적용된다(Litmanen et al. 2014). The findings of this review also indicate that PBL has little effect on surface learning in eleven out of 18 studies (ES = .08) measuring surface learning. Is this good news or not? It could be argued that this finding is in a way a positive effect too. Nevertheless we should also take into account that in some situations a surface approach or perhaps better a combination of a deep and surface approach should best be used to learn effectively (Dinsmore and Alexander2012). A high perceived workload will more likely result in surface approaches to studying and might be detrimental for deep learning. Students who perceive the workload as high in their learning environment are more likely to display a lack of interest in their studies as well as exhaustion. This is particularly true for beginning PBL students (Litmanen et al.2014).
더 많은 표면 학습을 유도할 수 있는 또 다른 요인은 [사용된 평가 방법]이다. 평가가 딥 러닝에 대한 보상이 되지 않는 것으로 인식된다면, 학생들은 표면 학습에 의존하게 된다. 따라서 SAL에 대한 연구에서 평가의 역할을 고려하는 것이 중요합니다. 엥트위슬 외. (2003, 페이지 90)은 이러한 측면에서 연구 결과가 "평가 절차에서 [이해가 명시적으로 보상되는 정도의 차이]로 인해" 다양하다고 기술한다. PBL 과정의 의대생들은 학생들이 자신의 접근법을 평가 요구(즉, 그에 따른 평가 유형 및 가중치)에 따라 학습에 적응한다는 것을 실제로 확인했다. 스컬러(1998)와 젠슨 외 연구진(2014)은 학생들이 과제 에세이를 공부할 때 더 깊은 접근법을 채택할 가능성이 높다는 것을 보여주었고, 학생들은 이를 (객관식 시험과 비교하여) 더 높은 수준의 인지 처리를 측정하는 것으로 인식했습니다.
Another factor that can lead to more surface learning is the assessment methods used. If the assessment is perceived as not rewarding deep learning, students will rely on surface learning. Therefore, the role of assessment is important to take into account in studies on SAL. Entwistle et al. (2003, p. 90) state in this respect that research findings vary “due to differences in the extent to which understanding is explicitly rewarded in the assessment procedure”. A qualitative study by Al Kadri et al. (2009) under PBL medical students confirmed indeed that students adapt their approaches to studying to the assessment demands (i.e. type of assessment and weight accorded to it). Scouller (1998) and Jensen et al. (2014) demonstrated that students were more likely to employ a deep approach when studying for assignment essays, which they perceived as measuring higher levels of cognitive processing, compared to a multiple choice assessment.
대부분의 연구는 PBL이 딥 러닝을 강화하고 표면 학습에 영향을 미치지 않는다는 것을 보여주지만, 이 리뷰는 또한 Dinsmore와 Alexander(2012)에 의해 결론지어진 것처럼 연구가 종종 모호하고 일관되지 않은 발견을 초래한다는 것을 보여준다. 한 가지 이유는 21개 연구 중 3개 연구만 데이터의 유효성에 대해 보고하고 8개 연구만 데이터의 신뢰성에 대해 보고했기 때문입니다. 종종 Dinsmore와 Alexander (2012)가 이전에 결론지은 것처럼 타당성의 증거가 부족했다. 이 검토에서 우리는 PBL이라는 특정 컨텍스트 내의 딥 러닝을 조사했다. 연구는 딥 러닝에 긍정적인 영향을 주고 표면 학습에 영향을 주지 않는 경향을 보여주었지만, 연구 결과는 PBL에 대한 정의를 충족하는 연구만 이 검토에 포함시켰음에도 불구하고, PBL이 서로 다른 연구에 걸쳐 다르게 적용된다는 것을 나타낼 수 있다. 또한, 한 연구에서 학생들은 딥 러닝을 더 향상시키기가 어려울 수 있기 때문에 이미 딥 러닝에 높은 점수를 보였다고 주장되었다(Reid et al. 2005). Although most studies demonstrate that PBL does enhance deep learning and has no effect on surface learning, this review also shows that studies often result in ambiguous and inconsistent findings as is also concluded by Dinsmore and Alexander (2012). One reason is that only three studies out of 21 studies reported about the validity of the data and eight about the reliability of the data. Often evidence of validity was lacking as concluded before by Dinsmore and Alexander (2012). Within this review we investigated deep learning within a specific context, being PBL. Although the studies demonstrated a trend towards a positive effect on deep learning and no effect on surface learning, findings differed across studies which could indicate that PBL is applied differently across the different studies, even although we included only studies in this review that met our definition of PBL. In addition, in one study it was argued that students already displayed high scores on deep learning due to which it might be difficult to further improve deep learning (Reid et al.2005).
이 검토에는 몇 가지 제한이 있습니다. 우선, 이 검토에 포함된 연구는 자기 보고서 데이터만 활용했다. 실제 학생들의 행동은 측정되지 않았고 학생들의 자기 인식과 다를 수 있다. 다음으로, 학업 성취도와의 관계는 이 검토에서 고려되지 않았다. 또한 종방향 연구와 정성적 연구의 수는 제한되었고 일부 연구는 명확한 비교가 이루어지지 않아 단 하나의 그룹(즉, 대조군 그룹이 없음) 또는 시험 후 데이터(즉, 시험 전 데이터 없음)만을 포함하였다. 언급했듯이, 대부분의 연구가 이전에 검증된 도구를 사용했지만, 모든 연구에 심층 및 표면 processing을 측정하는 데 사용된 도구의 타당성과 신뢰성에 대한 보고된 데이터가 포함되지는 않았다. 검토에 포함된 모든 연구가 효과 크기를 계산하는 데 필요한 정보를 보고하지는 않았습니다. 따라서 16개 연구만 효과 크기가 포함되었고 서로 다른 연구 설계에 걸쳐 통합되었다.
This review has several limitations. First of all, the studies included in this review only made use of self-report data; actual student behaviors were not measured and could differ from students’ self-perceptions. Next, the relationship with academic achievement was not considered in this review. Further, the number of longitudinal studies and qualitative studies was limited and some studies included only one group (i.e., no control group) or only post-test data (i.e., no pre-test data) due to which no clear comparisons could be made. As mentioned, not all studies included reported data about the validity and reliability of the instruments used to measure deep and surface processing, although the majority of the studies used previously validated instruments. Not all the studies included in the review reported the necessary information to calculate effect sizes. Hence, effect sizes of only 16 studies were included and aggregated across different study designs.
향후 연구를 위해서는 PBL이 심층 및 표면 학습에 미치는 장기적인 영향뿐만 아니라 제어 그룹을 통한 실험 연구 및 학생들의 심층 및 표면 처리의 실제 변화에 대한 더 나은 통찰력을 제공할 수 있는 사전 및 사후 측정 연구가 더 많이 필요하다. 종적 연구는 학습 환경의 특성도 시간에 따라 달라질 수 있다는 점을 고려해야 하지만, 시간에 따라 학습에 대한 접근법이 어떻게 다를 수 있는지를 측정할 기회를 제공한다. PBL이 심층 및 표면 처리를 강화하거나 강화하지 않는 이유와 방법에 대한 더 나은 통찰력을 제공할 수 있기 때문에 질적 연구도 필요하다. 마지막으로, 향후 연구는 심층 및 표면 처리를 측정하는 데 사용되는 도구의 타당성과 신뢰성 데이터를 보고해야 한다.
For future research, more longitudinal studies are needed to determine the long terms effects of PBL on deep and surface learning, as well as experimental studies with a control group and pre- and post measurements that can give better insight in the actual changes in students’ deep and surface processing. Longitudinal studies provide opportunities to measure how approaches to learning might differ over time, although it should be taken into account that characteristics of the learning environment may also vary over time. Qualitative studies are needed as well since they could give us better insight in why and how PBL does or does not enhance deep and surface processing. Finally, future studies should report validity and reliability data of the instruments used to measure deep and surface processing.
To investigate the effects of computer supported PBL on students’ approaches to learning
One group pre- and post-test design. PBL implementation during 5 weeks
LAQ
Problem based learning has a significant effect on adopting a predominantly deep approach to learning by students and a negative effect on adopting surface approach to learning
To determine the influence of metacognitive activities—self and peer-assessment—within the PBL tutorial environment on the development of deep learning approach, reduction in surface approach, and enhancement of individual learning self-efficacy
Control group pre-test, post-test design was implemented
ASSIST
Over the course of first-year medical studies, students lose self-efficacy and move away from deep-strategic learning approaches towards more surface approaches. The program of metacognitive activities failed to reverse this trend. The substantial swing towards surface learning raises questions about the perceived capacity of PBL curricula to promote deep approaches to learning in dense curricula
To study the differences in learning approaches to physiology of undergraduate medical students in a partially PBL and non-PBL oriented curriculum
Control group post-test only design. PBL curriculum from September 2006 admissions onward
SIAL
Scores for deep and strategic approaches of PBL students were found to be significantly higher compared with NPBL students. No difference between PBL and NPBL in surface approach
To evaluate the effects of problem-based learning (PBL) in social work education
One group pre-test post-test design. 132s-year social work students who were spread across the 3 academic years of 2000–2001, 2001–2002, and 2002–2003
SPQ + R-SPQ
The results indicated positive learning outcomes, with the most significant gains occurring in knowledge and lesser gains being made in skills and values. No significant positive gain in deep learning and no significant change in surface learning. Surface approach is negatively correlated with learning outcomes. The findings suggest that students with deep learning motives and approaches reap the most benefit from PBL. The switch to the PBL mode increased the students’ workload and did not necessarily result in a deeper learning approach for all of them
To determine if students in a redesigned course, firstly, hold different perceptions of the assessment demands and, secondly, adjusted their learning strategies towards deeper learning
Control group post-test only design—two subsequent cohorts of second-year students
SPQ
Contrary to expectations, the students in the original assignment-based (ABL) course adopted sign. more deep-learning strategies and sign. less surface-learning strategies than the students in the problem-based (PBL) course. Additionally, the results show clearly that the students who express their intentions to employ a certain learning strategy perceive the assessment demands as such and actually employ a related learning strategy
To assess the influence of graduate-entry PBL curriculum on individual learning style and investigate the relationship between learning style, academic achievement and clinical reasoning skill
One group pre-test post-test design
SPQ
Net shift towards a more surface approach over the period of the study (but not significant). Significant decrease in deep-learning scores
International journal of speech-language pathology
To better understand the relationship between student learning approaches and academic performance in a problem-based learning (PBL) curriculum
One group pre-test post-test design Cross sectional research design (comparison of 3 cohorts)
R-SPQ-2F
Exposure to PBL led to significant increase in DA (deep approach) and SA (surface approach) to learning during an academic year for students in years 1–3. Students who did well in a PBL examination showed a much stronger DA than SA to learning, while students who performed less well showed a smaller difference between DA and SA to learning
Determine the satisfaction of medical students with problem-based learning (PBL) and their approaches to learning
Control group post-test only design (three curricula were compared; one full PBL vs. two hybrid) Cross-sectional
R-SPQ-2F
Of the study group, 64.6 % were found to adopt a deep approach to learning, and it is confirmed that these students were reasonably more satisfied with PBL. When the three different curricula were compared in terms of student satisfaction with PBL among surface and deep learners, no significant differences among surface learners in different curricula was found in terms of satisfaction. However, in the full PBL curriculum a higher percentage of students adopted a deep approach and a lower percentage a surface approach as compared to the other curricula (control groups)
To compare the effect of context on learning at different UK medical schools, schools with conventional and PBL curricula
Control group post-test only design Mixed method—two stages, first qualitative phase and then, quantitative phase where findings from the qualitative phase were tested
ALSI (Entwistle)
Students with PBL curriculum scored significantly higher for reflection in learning, self-efficacy in self-directed leaning and for deep approach to learning. Students surface approach did not differ significantly
To investigate the hypothesis that the redesigned curriculum was successfully promoting a deep approach to learning and studying and deterring a surface approach in undergraduates during years 1–5 of a medical degree program
One group pre-test post-test design Quantitative Longitudinal
ASSIST
Medical students have high scores for deep and strategic approaches to learning and studying and lower scores for a surface approach, but that, even when efforts were made to promote deep approach, little significant change in these scores occurred during the whole of the medical degree program, apart from some tendency for the surface approach to lessen. Either their approaches are not susceptible to change or else the learning environment may need to alter more drastically than hitherto
To measure the effectiveness of a problem-based learning course compared to traditional teaching in undergraduate psychiatry
Control group pre-post test design. A PBL psychiatry course versus a lecture-based psychiatry course
SPQ
The PBL attachment/course resulted in significantly better examination performance than did the traditional teaching course. No differences in surface, deep or strategic learning before and after the course were found. No differences between the two courses. Students were significantly more successful in the examinations if they had received the PBL course, were female, and used deep and strategic learning
To evaluate the effects of (PBL) method on students’ achievement in and approaches and attitudes towards an introductory physics course
Control group pre-test post-test design. One control group (or traditional lecture-based instruction group) and one experimental group (PBL group)
ALS
The results indicated that the problem-based learning method encouraged the students’ deep approach to learning as compared to the control group (sign), and also improved interest (a component of attitude) towards the physics course. The results also signalled that PBL-based physics instruction impacted the students’ achievement in physics positively. No sign. difference between PBL and control group in terms of surface approach were found before and after the course
To analyze the influence of context on students’ approaches to learning
One group pre-test post-test design. Low N!
R-SPQ-2F
Those who entered the course with a surface approach (n = 5) left with a deep-learning approach, and quality learning outcomes. There were 7 students who started the course with a deep-learning approach and cohesive conception and had a deep at the end (no change). There were twowho moved from deep to surface. Test results were better for students with a deep approach and worse for students with a surface approach
To evaluate the implementation of the highly structured seven-step problem-based learning (PBL) procedure as part of the learning process in a human–computer interaction (HCI) design course
One group post-test only design. Low N! Mixed methods (both qualitative and quantitative methods)
SPQ-modified
The qualitative and quantitative evaluation showed that students took responsibility for their own learning. The quantitative evaluation shows that PBL clearly stimulated the students to take a deep approach to learning and not a surface approach (i.e. the mean scores on items related to deep approach differed from the items dealing with a surface approach; in favour of the deep approach [1.4 difference, scale 1–5)]
To evaluate the effect of PBL on students’ approaches to learning in clinical nursing education
One group pre-test post-test design
R-SPQ-2F
Study provides empirical support for the suggestion that PBL promotes a deep approach to learning. The R-SPQ-2F scores indicated that for the deep approach to learning, the post-test mean score was significantly higher than at the pre-test. No significance was observed between the pre-test and post-test mean scores for the surface approach to learning
To determine if students, firstly, perceived the redesigned course as being more challenging and, secondly, adjusted their learning strategies towards deeper learning
Control group post-test only design. Quantitative methods comparing two groups
SPQ-adapted
The results indicated that the students from the redesigned course showed a higher degree of surface learning and a lower level of deep learning than the students from the assignment-based learning course
To determine to what extent the early medical course succeeded in promoting a deep approach and deterring a surface approach to learning
Control group pre-test post-test design. Longitudinal study
ASSIST
The results are remarkably consistent from cohort to cohort with relatively high scores for deep (60 out of 80) and strategic approaches and lower for surface (45 out of 80). Disappointingly, the students’ learning approaches did not show any increase in deep approach during year 2, also no change in surface approach was reported
To study the changing pattern of learning approaches to pharmacology adopting PBL by undergraduate students of an Indian medical school
One group pre-test post-test design. Quantitative method. Mean scores of surface, deep and strategic approaches of students during pre-PBL (end of 2nd block) and post-PBL phase (end of the 4th block) were compared
SIAL
Scores for deep approaches of students in post-PBL phase (3rd and 4th blocks) were found to be significantly higher compared with pre-PBL phase. The score for the surface and strategic approaches did not differ significantly between the two phases even though there was a small change
To explore the relationship between educational context and approach to learning
Control group (i.e., traditional medical school vs. a PBL medical school) Posttest only
Lancaster Approaches to Studying Inventory
PBL students appear to have an approach to learning which more closely approximates the aims of most medical schools (i.e., high on deep approach and low on surface)
To compare PBL and non-PBL students in their approaches to learning
Control group Pre-Posttest design (on entry and after one year)
Short Inventory of Approaches to Studying
The approaches to studying of students at the conventional school appcar to be detrimentally influenced by the experience of the first year Those of PBL students do not, and probably are improved
1Department of Educational Development and Research, School of Health Professions Education (SHE), Faculty of Health, Medicine and Life Sciences (FHML), Maastricht University, PO Box 616, 6200 MD, Maastricht, Netherlands. d.dolmans@maastrichtuniversity.nl.
2Institute of Psychology, Erasmus University Rotterdam, Rotterdam, Netherlands.
3Roosevelt Center for Excellence in Education, University College Roosevelt, Middelburg, Netherlands.
4Management of Learning, Maastricht University, Maastricht, Netherlands.
5Department of Training and Education, EduBROn research group, Faculty of Social Sciences, University of Antwerp, Antwerp, Belgium.
In problem-based learning (PBL), implemented worldwide, students learn by discussing professionally relevant problems enhancing application and integration of knowledge, which is assumed to encourage students towards a deep learning approach in which students are intrinsically interested and try to understand what is being studied. This review investigates: (1) the effects of PBL on students' deep and surface approaches to learning, (2) whether and why these effects do differ across (a) the context of the learning environment (single vs. curriculum wide implementation), and (b) study quality. Studies were searched dealing with PBL and students' approaches to learning. Twenty-one studies were included. The results indicate that PBL does enhance deep learning with a small positive average effect size of .11 and a positive effect in eleven of the 21 studies. Four studies show a decrease in deep learning and six studies show no effect. PBL does not seem to have an effect on surface learning as indicated by a very small average effect size (.08) and eleven studies showing no increase in the surface approach. Six studies demonstrate a decrease and four an increase in surface learning. It is concluded that PBL does seem to enhance deep learning and has little effect on surface learning, although more longitudinal research using high quality measurement instruments is needed to support this conclusion with stronger evidence. Differences cannot be explained by the study quality but a curriculum wide implementation of PBL has a more positive impact on the deep approach (effect size .18) compared to an implementation within a single course (effect size of -.05). PBL is assumed to enhance active learning and students' intrinsic motivation, which enhances deep learning. A high perceived workload and assessment that is perceived as not rewarding deep learning are assumed to enhance surface learning.
일반화가능도 이론 간단히: G-studies를 위한 프라이머(J Grad Med Educ,2019)
Generalizability Theory Made Simple(r): An Introductory Primer to G-Studies Sandra Monteiro, PhD (@monteiro_meded) Gail M. Sullivan, MD, MPH (@DrMedEd_itor) Teresa M. Chan, MD, MHPE (@TChanMD)
다음과 같이 진행된 사건을 상상해 보십시오.
교육생의 소생술을 평가하기 위해 6개 스테이션 시뮬레이션 목표 구조 임상 검사(OSCE)를 설계했습니다.
각 스테이션에서 연습생은 시나리오와 관련된 전문성, 커뮤니케이션, 리더십 및 기술력에 대해 평가받는다.
이러한 개별 점수는 평균화되어 각 스테이션에 대해 단일 점수를 만듭니다.
평가자가 교육생을 평가하는 방법에 있어 교육생의 성별이 역할을 할 수 있다는 점을 인지하고, OSCE의 신뢰성과 차이의 원인을 검토하여 성별 효과가 역량 결정을 유도하지 않음을 확인하고자 합니다.
Imagine the sequence of events:
You have designed a 6-station simulation objective structured clinical examination (OSCE) to assess the resuscitation skills of your trainees.
At each station trainees are assessed on professionalism, communication, leadership, and technical skills relevant to the scenario.
These individual scores are averaged to create a singular score for each station.
Cognizant that gender of the trainee may play a role in how raters assess trainees, you wish to examine your OSCE for reliability and sources of variance, to ensure that gender effects are not driving competency decisions.
결정을 뒷받침할 수 있는 타당한 증거를 어떻게 수집할 수 있습니까? How can you gather validity evidence to support your decisions?
G-이론은 정확히 무엇이며 이것은 믿을 만한 접근법인가? What exactly is G-theory and is this a credible approach?
임상 역량 측정 Measuring Clinical Competence
역량 기반 의료 교육(CBME) 시대에 우리는 점점 더 우리의 평가 프로세스를 기반으로 의사 결정을 내리게 되고, 이것은 우리의 평가의 신뢰성과 타당성을 보장할 필요가 있다.1-3 우리는 점수에 의존하여 실력에 따라 연습생들을 구별할 수 있는가? 그 과정을 믿을 수 있을까? 관련 구성(즉, 임상 역량의 특정 측면)을 측정하기 위해 새로운 평가를 작성하거나 오래된 평가를 수정할 때, 우리는 우리의 평가 데이터가 의사결정에 대한 타당성을 유지하는지 결정해야 한다.
모든 평가는 측정 도구로 간주될 수 있으므로, 우리는 타당성을 검사하기 위해 측정 원칙을 적용할 수 있다.3
타당성은 측정 도구의 안정적인 특성이 아니기 때문에 측정 오류를 잠재적으로 야기하는 다수의 구성 관련 요인에 의해 위협받을 수 있다.3
마찬가지로 신뢰성은 측정 도구의 안정적인 특성이 아니며 역량 기반 평가의 맥락 변화에 민감하다.
In the age of competency-based medical education (CBME), we increasingly make decisions based on our assessment processes, which necessitate ensuring the reliability and validity of our assessments.1–3Can we rely on the score to discriminate between trainees based on competence? Can we trust the process? When we create new or modify older assessments to measurerelevant constructs(ie, specific aspects of clinical competence), we must determine whether our assessment data maintain validity for decision-making.
Any assessment can be considered a measurement tool; thus, we can apply measurement principles to examine validity.3
As validity is not a stable characteristic of any measurement tool, it can be threatened by a multitude ofconstruct irrelevantfactors that potentially introduce measurement error.3
Reliability, similarly, is not a stable characteristic of any measurement tool, and is sensitive to changes in context within competency-based assessments.
측정 오차를 줄이는 방법에 대한 문헌 검토를 수행하면 어지럽게 많은 연구 설계 및 분석 접근법이 나타납니다. 이러한 접근법 중 독자는 측정 신뢰성을 검토하기 위한 크론바흐의 알파에 익숙할 가능성이 높다. 크론바흐의 알파를 계산하면 시험 점수의 신뢰도를 알 수 있지만, [체계적인 평가자 편향이 점수에 영향을 미쳤는지를 보여주지는 않는다]. 즉, trainee의 성별이 평가자가 내린 수행능력 평가에 영향을 주었더라도, 우리는 크론바흐의 알파만으로는 이것을 발견할 수 없었다.3 If you conduct a literature review regarding methods to reduce measurement error, you will find a dizzying multitude of study designs and analysis approaches. Of these approaches, readers are likely familiar with Cronbach's alpha to examine measurement reliability. A calculation of Cronbach's alpha can inform test score reliability, but not whether systematic rater bias has an influence on scores. That is, if trainee gender influenced a rater's assessment of performance, we could not discover this from Cronbach's alpha alone.3
신뢰성, 타당성, 연구 설계 요소, 데이터 분석을 알려주는 매우 유용한 이론이 일반화 가능성 이론(G-이론)이다.3-6 G이론은 다양한 관찰이나 등급의 신뢰성을 검토, 결정 및 설계하기 위한 통계적 프레임워크이다.3–6 A highly useful theory that informs reliability, validity, elements of study design, and data analysis isGeneralizability theory(G-theory).3–6G-theory is a statistical framework for examining, determining, and designing the reliability of various observations or ratings.3–6
G 이론을 사용하여 우리는 평가 점수의 구성을 더 잘 이해하기 위해 일반화 가능성 연구(G-studies)를 설계할 수 있다(즉, OSCE 종료 시 얻는 실제 점수에 기여하는 것). 그런 다음 서로 다른 조건에서 수집된 동일한 데이터의 신뢰성을 예측하는 데 도움이 되는 의사 결정 연구(D-Studies)를 설계할 수 있다. Using G-theory we can designGeneralizability studies(G-studies) to better understand the composition of assessment scores (ie, what contributes to the actual score that you get at the end of an OSCE). We can then designDecision studies(D-studies) to help predict the reliability of the same data collected under different conditions.
수행능력 기반 평가에서 우리는 평가 점수(예: 비율 편향, 항목 또는 스테이션의 상대적 난이도, 평가자 또는 검사자의 주의력 또는 기분, 표준화된 환자의 능력 및 전체 환경)에 대한 잠재적 영향을 고려해야 한다.3.7
G-이론은 이러한 요소들에 의해 야기되는 분산을 정량화하는 방법을 제공한다. 3,5,6
주어진 면facet의 각 형태form를 조건condition이라고 한다.3
우리의 예인 vignette에서, 연습생은 면facet이고 그들의 성별은 조건condition이다. (그리고 이 예에서는, 우리는 단지 2개의 성별만을 가정한다.) 위의 예제를 사용하여 표 1의 정의로 보완된 중요한 용어와 개념을 검토해보자.
In performance-based assessments we need to consider potential influences on assessment scores, such as rater bias, relative difficulty of items or stations, the rater's or examinee's attention or mood, the abilities of standardized patients, and the overall environment.3,7
G-theory offers a way to quantify the variance contributed by these factors, which G-theory refers to asfacets.3,5,6
In our example vignette, the trainees are a facet and their gender is a condition (and for this example, we assume only 2 genders). Let's use the above example to review important terminology and concepts, which are supplemented by definitions intable 1.
예: G이론의 평가 적용 Example: Application of G-Theory to Assessment
표준 OSCE 설계는 동일한 구조(즉, 임상 기술)의 반복 측정이 있기 때문에 G-연구에 이상적이다. 이는 절단을 하기 전에 측정 테이프를 사용하여 일부 목재(또는 다른 측정 테이프를 사용하는 5명의 평균 측정)를 여러 번 측정하는 것과 유사하다. 동일한 구조의 반복 측정값을 수집하면 신뢰성이 향상되는 것으로 나타났다. 이는 [랜덤 분산]이 동일한 구조의 여러 측정에서 cancel out될 수 있기 때문입니다. 그러나 측정 오류의 [체계적인 원인]이 남아 있을 수 있습니다.예를 들어, 평가자 인식 문헌은 다른 종류의 평가자 편향과 평가 점수와 결정에 미치는 영향의 예들로 가득 차 있다.8 A standard OSCE design is ideal for a G-study because there are repeated measurements of the same construct (ie, clinical skills), much like we might use a measuring tape to measure some lumber several times before making a cut (or better yet, taking the average measurement from 5 people using different measuring tapes). Collecting repeated measures of the same construct has been shown to improve reliability. This is because random variance can cancel out in multiple measurements of the same construct. But there may remain systematic sources of measurement error. For example, the rater cognition literature is filled with examples of different kinds of rater bias and its impact on assessment scores and decisions.8
실험 설계에서 초점은 [그룹 간의 실제 차이를 찾기 위해 모든 유형의 오류를 최소화]하는 데 있다.3,9 G-연구에서 목표는 중요한 측정을 신뢰할 수 있는지 여부를 결정하기 위해 오류 소스(분산이라고 함)를 강조하는 것이다.3 우리의 vignet에서, 6개의 모든 스테이션의 점수는 전체 OSCE의 총 점수를 결정하기 위해 결합되거나 평균적이다.10 복수의 스테이션과 평균 OSCE 점수를 사용하는 것은 평가자에 의해 발생한 측정 오류를 처리하는 방법이다.8 그러나 스테이션 점수는 총점에 대한 차이를 유발합니다. 각 스테이션은 더 또는 덜 lenient하고, 점수에 고유한unique 영향을 미치며, G 이론을 사용하여 이러한 기여도를 정량화할 수 있다.
In experimental designs the focus is on minimizing error of all types to find true differences between groups.3,9In G-studies the goal is to highlight sources of error (called variance) in order to determine if we can trust the critical measurement.3In our vignette, all 6 stations' scores are combined or averaged to determine the total score for the entire OSCE.10The use of multiple stations and an average OSCE score is a way to deal with measurement error introduced by raters.8However, each station score contributes variance toward the total score. Each station is more or less difficult or each rater is more or less lenient and has unique influences on the trainee's score; rather than ignore them, using G-theory we can quantify these contributions.
그림은 이 개념을 보여준다. G이론은 우리에게 레시피를 개발할 수 있게 해준다. 분산은 파이의 한 조각에서 성분의 분포와 같습니다.
때로는 분산이 examinee에게 유리하게 작용할 수도 있고, 때로는 분산이 연습생에게 불리하게 작용할 수 있습니다.
때로는 분산이 예측 가능한 방법(체계적인 오류)으로 작용하고 다른 때에는 예측할 수 없는 방법(랜덤 오차)으로 작용합니다.3
신뢰도를 완전히 평가하기 위해서는 이러한 분산 측면을 고려하는 것이 필수적이며, 이는 궁극적으로 평가의 유효성(정확도)에 대한 상한을 설정한다.3
Thefiguredemonstrates this concept. G-theory allows us to develop a recipe. Variance is like the distribution of ingredients in a single slice of pie;
sometimes the variance works in an examinee's favor, and sometimes the variance may work against the trainee.
Sometimes the variance acts in predictable ways (systematic error) and other times in unpredictable ways (random error).3
It is essential to consider these aspects of variance in order to fully evaluate reliability, which ultimately sets an upper limit on the validity (accuracy) of the assessment.3
우리의 vignette에서, 우리는 G-이론을 사용하여 전문성, 의사소통, 리더십, 그리고 기술 능력의 차이를 고려할 수 있다. 그러나 G 이론의 진짜 힘은 연습생의 성별과 같은 추가적인 분산 원인도 고려할 수 있다는 것이다. 관심이 있다면 하루 중 시간, 다른 표준화된 환자 또는 OSCE 관측소의 수와 같은 분산 원인을 추가할 수 있습니다. 표 2는 vignette의 다양한 면facets을 추적하여, 다양한 용도로 평가할 수 있는 방법을 보여줍니다.
In our vignette, we could use G-theory to consider the variance among scores of professionalism, communication, leadership, and technical skills. However, the real power of G-theory is that we can also consider additional sources of variance, such as the gender of the trainee. We could, if we were interested, add in sources of variance like the time of day, different standardized patients, or number of OSCE stations.Table 2shows how we can keep track of various facets in our vignette to evaluate them for different purposes.
G- 연구를 진행하기 위해 [먼저 OSCE에서 소생 기술에 대해 가능한 모든 분산원sources of variance 또는 측면facets을 식별하고 그것들이 고정인지 무작위인지 여부를 결정]한다. G-Study를 수행할 모든 pieces를 확보했는지 판단하려면, 표 2와 같이 데이터가 가장 잘 정리되어 있습니다. 다시 이야기하자면, 우리는 (1) 소생술 OSCE에서 신뢰할 수 있는 평가 데이터를 수집했는지 여부 및 (2) 성별(임상 기술 평가와 무관해야 하는 요소)이 전체 평가에 영향을 미치는지 여부를 결정하는 데 관심이 있다.
To proceed with our G-study, we first identifyall likely sources of variance or facets in the OSCE for resuscitation skills and determine if they arefixedorrandom. In order to ensure we have all the pieces to conduct a G-study, data are best organized as intable 2. As a reminder, we are interested in (1) Determining if we collected reliable assessment data in the resuscitation OSCE, and (2) Whether there is any indication that gender—a factor that should be irrelevant to the evaluation of a clinical skill—contributes any variance to the overall assessment.
일반화 가능성 이론 Generalizability Theory
"개인으로부터 측정되는 모든 측정은 가능한 측정의 우주에서 추출한 샘플로 간주됩니다."11
“Any one measurement from an individual is viewed as a sample from a universe of possible measurements.”11
G-이론에서 우리는 먼저 우리가 [일반화하고자 하는 점수와 면scores and facets의 우주]를 정의한다.
G-연구에서 고려 중인 면이 고정인지 랜덤인지는 미리 결정되어 있다. 그런 다음 우리는 G-계수를 계산하기 위해 몇 가지 G- 연구를 수행한다. 계산된 각 G 계수는 측정 도구의 [특정 측면(예: 평가자간 신뢰성)의 신뢰성]을 평가한다.
D-studies에서 우리는 facet의 레이블 변경의 영향을 평가할 수 있다(예컨대, fixed에서 random으로). 우리는 이러한 계산을 사용하여 유사한 평가 상황에서 퍼포먼스에 대한 예측을 할 수 있다. 예를 들어, 우리는 OSCE station 수를 줄임으로써 G-계수가 어떻게 영향을 받는지 물어볼 수 있다. 또는 station에 늘어난 평가자 수가 G-계수를 증가시킬 수 있는지 물어볼 수 있습니다.
In G-theory we first define theuniverse of scoresandfacetswe wish to generalize from and to.
In a G-study, the facets being considered are predetermined to befixedorrandom. We then conduct severalG-studiesto calculateG-coefficients. Each calculated G-coefficient evaluates the reliability of a given aspect of the measurement tool, for example, interrater reliability.
In D-studies we can evaluate the impact of changing a facet's label, such as from fixed to random. We can use these calculations to make predictions about performance in a similar assessment situation. For example, we can ask how the G-coefficient would be affected by reducing the number of OSCE stations. Or we can ask if multiple raters per station would increase the G-coefficient.
일반적으로 표 3에 표시된 것처럼 여러 스테이션이 신뢰성을 향상시킬 수 있지만 스테이션당 여러 레이터는 큰 영향을 미치지 않습니다.
Typically, as shown intable 3, multiple stations can improve reliability, but multiple raters per station do not have a big impact.
측정 도구의 신뢰도를 고려할 때, 우리는 다른 분산원이나 오차의 상관 관계를 설명하는 기본 공식으로 시작할 수 있다.3,6 When considering the reliability of a measurement tool, we can start with a basic formula to describe how different sources of variance or error relate.3,6
파이 비유를 사용하자면, 오류 분산(레시피)이 여러 성분(개별 성분)으로 구성되어 있다고 가정합니다. 다양한 오류 유발 면(예: 측정 컵 정밀도, 물 순도, 베이커리의 고도 등)에 의해 분산이 약간 변경될 수 있습니다. 이러한 면은 각각 결과 파이의 최종 구성 과정에서 오류의 몇 가지 요소를 도입introduce할 것이다. Using the pie analogy, consider that Error variance(the recipe) is composed of multiple components (individual ingredients). The variance may be slightly altered by various error-inducing facets (eg, the measuring cup precision, water purity, altitude of the bakery, etc). These facets would each introduce some element of error in the final composition of the resulting pie.
우리의 vignette에서, 소생술 OSCE가 한 번에 수행된다고 가정할 때, facet은 연습생, 훈련생의 성별, station(레이터 포함)이 될 것이다. Trainee의 facet은 성별의 facet에 nested되어 있다. (station에 nested된) 평가자는 일반화generalization의 한 facet으로, 한 관측치 또는 한 관측치 또는 점수에서 다른 등급의 점수로 일반화할 수 있기를 희망하고 있다.
In our vignette, assuming that the resuscitation OSCE is conducted on one occasion, the facets would be the trainees, gender of the trainees, and stations (which include raters). The facet of trainee is nested in the facet of gender. Raters (nested in stations) are facets of generalization, as we hope to generalize from one observation or score at one station, or recorded by one rater, to another score from a different rater.
이 예에서 trainee는 facet of differentiation이다. 왜냐하면 OSCE가 측정한 기술 수준에 따라 개별 연습생 간의 differentiate를 하고 싶기 때문이다다. 이 면facets들은 이 연구에서 알려진 점수의 우주를 묘사한다.
향후 행정에서 OSCE station이나 시나리오가 결코 바뀌지 않을 경우, 우리는 스테이션의 facet이 고정된 것으로 간주할 수 있다.
마찬가지로, 매번 동일한 임상 교수진이 이 OSCE의 평가자로 작용할 것으로 예상한다면, 비율의 측면도 고정된 것으로 간주될 수 있다.
In this example, trainees are the facet of differentiation as we wish to differentiate between individual trainees based on their skill level as measured by the OSCE. These facets describe the known universe of scores in this study.
If the OSCE stations or scenarios are never going to change in future administrations, we can consider the facet of station to be fixed.
Similarly, if you foresee the same clinical faculty acting as raters for this OSCE every time, the facet of rater may also be considered fixed.
고부담 OSCE에서는 시험 보안상의 이유로 스테이션이 변경됨에 따라 [이러한 두 가지 측면이 모두 무작위적]이라는 점에 유의한다. 프로그램 평가에서, [교수진은 전담 평가 직원이 아니라 일반적으로 자원 봉사자이기 때문에 변경될 수도] 있습니다. Facet이 fixed인지 random인지 여부가 G 계수 계산에 포함되는 분산 성분을 변경합니다(표 4 참조).3–5
Note that in high-stakes OSCEs both of these facets are random as stations change for test security reasons. In program assessments, faculty also may change as they are typically volunteers and not dedicated assessment staff. Whether a facet isfixedorrandomchanges what variance components are included in the calculation of the G-coefficient (seetable 4).3–5
모든 소생술 OSCE 관리에서, 평균 OSCE 점수는 모든 개별 점수를 평가하는 우주 점수 역할을 합니다. G-연구는 표준 편차, 평균 제곱 오차 및 분산을 분산 분석(ANOVA)으로 결정하는 시작점이 같습니다.3-5 표준 분산 분석의 요인부터 시작하여 분산 성분 또는 G-연구의 면으로 계속합니다. 분산 분석ANOVA과의 차이점은 G-이론에서 우리는 그룹 간의 유의한 차이를 확립하는 데 관심이 있는 것이 아니라 오차 분산이 다양한 측면에 어떻게 분포되는지를 결정하는 데 관심이 있다는 것입니다. 목표는 고전적인 신뢰도 계수를 확장하여 측정 대상, 이 경우 연습생으로 인한 분산의 양을 설명하는 것이다. 이상적으로, 가장 큰 분산의 원천은 연습생 자신이며, 이는 능력의 개별적인 차이를 나타낼 것이다. 이러한 요인들이 임상적 역량에 대한 결정에 영향을 미치지 않아야 하기 때문에, 비율자나 성별과 같은 다른 측면에 기인하는 많은 양의 차이는 바람직하지 않다. For any administration of the resuscitation OSCE, the average OSCE score acts as the universe score against which all individual scores are evaluated. G-studies have the same starting point for determining standard deviation, mean square error, and variance as an analysis of variance (ANOVA).3–5We start withfactorsin a standard ANOVA, but then continue with the variance components, orfacetsin a G-study. The difference from an ANOVA analysis is that in G-theory we are not as concerned about establishing a significant difference between groups, but rather to determine how error variance is distributed among the various facets. The goal is to extend classical reliability coefficients to describe how much variance is due to the object of measurement, in this case the trainees. Ideally, the greatest source of variance is the trainees themselves, which would indicate individual differences in ability. Large amounts of variance attributed to raters or other facets such as gender are undesirable, as these factors should not influence decisions about clinical competence.
이상적으로, G-연구는 모든 변동 원인 또는 오차를 평가할 수 있습니다. 다만 assessment를 evaluation할 때의 한계는 [알 수 없는 분산 출처]에 대해서는 기여도를 추정할 수 없다는 것이다. 그러나 알려진 많은 중요 변수에 조명을 집중함으로써 무엇이 누락되었는지 이해하기 시작할 수 있습니다. Ideally, G-studies would assess all sources of variance, or error. The limitation for any evaluation of an assessment is the inability to estimate contributions from unknown sources of variance. However, by focusing a light on as manyknown important variables, it is possible to begin to understand what may be missing.
다음 번에 G- 연구를 포함하는 기사를 읽을 때, 이 전략은 가장 큰 분산 원인이 (1)테스트 대상(평가를 통해 다양한 연습생 역량을 판단할 것이라는 기대)인지, 또는 (2) 평가자, 하루 중 시간, 테스트 상황 수 또는 기타 요인 등의 다른 요인 때문인지 여부를 결정하는 데 도움이 될 것이라는 점을 기억하십시오.
Next time you read an article that includes a G-study, remember that this strategy will help determine whether the largest source of variance was the subjects being tested—which we would expect in an assessment to determine different trainee competence—or due to other factors, such as the person rating the trainee, time of day, number of test situations, or other factors.
참고로 G 이론을 사용하여 측정 오류(박스)를 조사하는 3개의 문서를 나열합니다. 여러분만의 평가 프로그램을 만들 때, 여러분 자신의 측정의 신뢰성을 향상시킬 뿐만 아니라 여러분의 작업을 다른 사람들에게 전파할 때 이익을 더하기 위해 G-이론을 사용하는 것을 고려해보세요. G-이론과 신뢰성 연구에 대한 당신의 질문과 의견을 기대합니다.
For reference, we list 3 articles that use G-theory to examine measurement error (box). When creating your own assessment programs, consider using G-theory to understand the role of sources of variance, not only to enhance the reliability of your own measurements, but also to add benefit when disseminating your work to others. We look forward to your questions and comments about G-theory and reliability studies.
boxArticles Using Generalizability Study Design to Examine Test Properties
Lang VJ, Berman NB, Bronander K, Harrell H, Hingle S, Holthouser A, et al. Validity evidence for a brief online key features examination in the internal medicine clerkship.Acad Med. 2019;94(2):259–266. doi:10.1097/ACM.0000000000002506.
Monteiro S, Sibbald D, Coetzee K. i-Assess: evaluating the impact of electronic data capture for OSCE.Perspect Med Educ. 20181;7(2):110–119. doi:10.1007/s40037-018-0410-4.
Lord JA, Zuege DJ, Mackay P, Roze des Ordons A, Jocelyn L. Picking the right tool for the job: a reliability study of 4 assessment tools for central venous catheter insertion.J Grad Med Educ. 2019;11(4):422–429.
J Grad Med Educ.2019 Aug;11(4):365-370.doi: 10.4300/JGME-D-19-00464.1.
Generalizability Theory Made Simple(r): An Introductory Primer to G-Studies
Tracing the Steps of Survey Design: A Graduate Medical Education Research Example Charles Magee, MD, MPH Gretchen Rickards, MD Lynn A. Byars, MD, MPH Anthony R. Artino Jr., PhD
설문조사는 대학원 의학 교육(GME) 환경에서 데이터를 수집하는 데 자주 사용됩니다.1 그러나 GME 설문조사가 엄격하게 설계되지 않은 경우, 결과의 품질은 바람직한 수준보다 낮을 수 있다.
Surveys are frequently used to collect data in graduate medical education (GME) settings.1However, if a GME survey is not rigorously designed, the quality of the results is likely to be lower than desirable.
배경 Background
2010년, 국방부는 워싱턴 DC에 있는 월터 리드 육군 의료 센터와 메릴랜드 주 베데스다에 있는 국립 해군 의료 센터의 통합을 의무화했다. 이러한 통합 이전에 각 병원은 별도의 IM 상주 프로그램을 포함하여 독립적으로 인가된 GME 프로그램을 유지했습니다. 합병하는 동안 이러한 IM 프로그램은 통일된 프로그램에 원활하게 통합되어야 했습니다.
In 2010, the Department of Defense mandated the integration of the Walter Reed Army Medical Center in Washington, DC, with the National Naval Medical Center in Bethesda, Maryland. Prior to this integration, each hospital maintained independently accredited GME programs, including separate IM residency programs. During the merger these IM programs were asked to integrate seamlessly into a unified program.
많은 유사점에도 불구하고, 2개의 IM 프로그램은 성공적인 통합을 방해할 수 있는 중요한 차이를 가지고 있었다. 예를 들어, Walter Reed의 주민들은 프로그램에 강한 경험적 학습 요소를 가져오는 것으로 생각되는 하룻밤, 24시간 당직구조에 익숙했다. 그러나, 이 당직 시스템은 근무 시간 제한을 위반할 위험을 무릅썼다. 국립해군의료원 주민들은 근무시간 위반 위험은 없앴지만 인계인수 건수는 늘린 night-float 제도 아래 근무했다. 이러한 프로그램적 차이를 고려하여, 우리는 두 프로그램의 관련자들이 [프로그램 통합이 IM 레지던스의 미칠 영향에 대해 가지고 있는 생각]을 이해하는 데 관심이 있었다.
Despite many similarities, the 2 IM programs had important differences that might inhibit successful integration. For example, residents at Walter Reed were accustomed to an overnight, 24-hour call structure that was thought to bring a strong experiential learning element to the program. Yet, this call system risked violating work hour restrictions. Residents at the National Naval Medical Center worked under a night-float system that eliminated the risk of duty hour violations but increased the number of handoffs. Given these programmatic differences, we were interested in understanding how individuals in both programs thought the integration would affect the quality of the IM residency.
설문 조사 설계 프로세스 Our Survey Design Process
증거 기반 설계 프로세스를 통해 GME 연구자는 모든 응답자가 동일한 방식으로 해석할 가능성이 높고, 정확하게 대응할 수 있으며, 기꺼이 대답할 의욕과 의욕이 있는 일련의 조사 항목을 개발할 수 있다.
Evidence-based design processes allow GME researchers to develop a set of survey items that every respondent is likely to interpret the same way, is able to respond to accurately, and is willing and motivated to answer.
질문 1: 설문조사가 연구 질문에 답변하는 데 도움이 되는 적절한 도구입니까? Question 1: Is a Survey an Appropriate Tool to Help Answer My Research Question?
설문조사를 작성하기 전에 관심 있는 연구 질문과 연구자가 측정하고자 하는 변수(또는 구조)를 고려하는 것이 중요하다. 예를 들어, 연구 질문이 의도된 청중의 신념, 의견 또는 태도와 관련이 있다면, 조사는 타당하다. 한편, 연구자가 특정 임상 절차에 대한 거주자의 기술 수준과 같이 직접 관찰 가능한 행동을 평가하는 데 더 관심이 있는 경우, 관찰 도구가 더 나은 선택이 될 수 있다. Before creating a survey, it is important to consider the research question(s) of interest and the variables (or constructs) the researcher intends to measure. If, for example, the research question relates to the beliefs, opinions, or attitudes of the intended audience, a survey makes sense. On the other hand, if a researcher is more interested in assessing a directly observable behavior, such as residents' skill level for a particular clinical procedure, an observational tool may be a better choice.
레지던트 합병의 맥락에서, 우리는 통합 노력이 대학원 의학 교육 인증 위원회(ACGME)에 의해 지정된 주요 GME 품질 요소 및 프로그램 요구 사항에 어떤 영향을 미치는지 이해하고자 했다. 우리는 이러한 요소들을 전공의의 관점에서 이해하면 리더십이 성공적인 통합에 대한 위협과 프로세스 개선을 위한 잠재적 기회를 식별할 수 있을 것이라고 믿었다. 또한, 우리는 설문조사가 적절한 도구라고 생각했다. 왜냐하면 (훨씬 더 나중에 얻을 수 있는 in-service 시험 점수와 board 점수와 같은 더 객관적인 결과를 기다리기보다는) 참가자들로부터 실시간 피드백을 수집할 수 있기 때문이다. 각 프로그램의 전공의들이 우리 조사의 대상 인구로 확인되었다.
In the context of the residency merger, we wanted to understand how the integration effort would have an impact on key GME quality elements and program requirements as specified by the Accreditation Council for Graduate Medical Education (ACGME).2We believed that understanding these factors from the residents' perspective would enable leadership to identify threats to successful integration as well as potential opportunities for process improvement. Further, we felt a survey was the appropriate tool because it would allow us to collect real-time feedback from participants rather than waiting for more objective outcomes, such as in-service exam scores and board scores, which, although valuable, would occur much later. The residents of each program were identified as the target population for our survey.
질문 2: 과거에 다른 사람들은 어떻게 이 구조물을 다루었는가? Question 2: How Have Others Addressed This Construct in the Past?
문헌에 대한 철저한 검토는 GME 조사 설계 과정의 다음 단계가 되어야 한다. 이 단계는 이전 연구에서 관심 구인construct가 어떻게 정의되었는지에 대한 정보를 제공한다. 또한 이를 통해 기존 조사 척도를 사용하거나 조정할 수 있는 것을 식별할 수 있다. A thorough review of the literature should be the next step in the GME survey design process. This step provides information about how the construct of interest has been defined in previous research. It also helps one identify existing survey scales that could be employed or adapted.
우리의 리뷰는 GME 프로그램의 통합에 대해 거의 발표되지 않았다는 것을 보여주었다. 하지만, 우리는 경영 문헌에서 조직 변화와 구조조정의 많은 예를 발견했습니다. 조직 변화의 가장 널리 출판되고 잘 연구된 사례들 중 일부는 William Bridges에 의해 개발되었다.3 Bridges의 몇 가지 설문 조사 도구를 검토하여 설문 조사에 적용할 수 있는 공통 주제와 항목을 파악했습니다. 궁극적으로, 우리는 이 항목들 중 어떤 것도 사용하지 않았다.대신, 우리는 몇 가지 항목을 수정하고 브리지스의 작업을 사용하여 현재의 만족도, 통합이 훈련 경험에 미치는 영향에 대한 인식, 전환을 위한 훈련 프로그램의 준비성에 대한 믿음 등 개별적이지만 관련 있는 3개의 아이디어로 construct를 better define 했다.
Our review revealed that very little has been published on integration of GME programs. However, we found a number of examples of organizational change and restructuring in the business literature. Some of the most widely published, well-studied examples of organizational change were developed by William Bridges.3We reviewed several of Bridges' survey instruments to identify common themes and items that might be applicable to our survey. Ultimately, we did not use any of these items verbatim. Instead, we adapted several items and used Bridges' work to better define our constructs of 3 separate but related ideas: current satisfaction, perceptions of the impact of the integration on the training experience, and beliefs about the readiness of the training programs to make the transition.
관련 조사 척도를 찾고 사용 또는 수정하고자 하는 GME 연구자는 대개 저자에게 연락하여 사용을 요청할 수 있다. 그러나 "이전에 검증된" 조사 척도는 특히 초기 조사 대상자와 다른 방식으로 척도가 수정되거나 모집단에 사용되는 경우 특정 연구 맥락에서 [추가적인 신뢰성과 타당성 증거를 수집해야 한다]는 점에 주목할 필요가 있다. 출판을 위해, 이 추가 증거는 "방법"과 "결과" 섹션에 보고되어야 한다.
GME researchers who find and wish to use or modify relevant survey scales can usually contact authors and request such use. It is worth noting, however, that “previously validated” survey scales require the collection of additional reliability and validity evidence in the specific research context, particularly if the scales are modified in any way or used in populations different from the initial survey audience. For publication, this additional evidence should be reported in the “Methods” and “Results” sections.
질문 3: 설문 조사 항목을 어떻게 개발합니까? Question 3: How Do I Develop My Survey Items?
이 단계의 목표는 응답자가 쉽게 이해할 수 있는 언어로 관심 구성을 적절하게 나타내는 조사 항목을 만드는 것이다. 한 가지 중요한 설계 고려사항은 구조물을 적절히 평가하는 데 필요한 항목 수입니다. 이 문제에 대한 쉬운 해답은 없다. 이상적인 항목 수는 구조의 복잡성과 구조를 평가하고자 하는 수준(때로는 "grain size" 또는 구조가 측정될 추상화 수준level of abstraction이라고도 함)을 포함한 여러 요인에 따라 달라진다.4 일반적으로 최종 규모에서 궁극적으로 필요한 것보다 더 많은 항목을 개발하는 것은 좋은 생각이다. 왜냐하면 일부 문항은 의심할 여지 없이 설계 프로세스 후반에 삭제되거나 수정될 것이기 때문이다.4 The goal of this step is to create survey items that adequately represent the construct of interest in a language that respondents can easily understand. One important design consideration is the number of items needed to adequately assess the construct. There is no easy answer to this question. The ideal number of items depends on a number of factors, including the complexity of the construct and the level at which one intends to assess the construct (sometimes referred to as the “grain size” or level of abstraction at which the construct will be measured).4In general, it is a good idea to develop more items than will ultimately be needed in the final scale because some items will undoubtedly be deleted or revised later in the design process.4
다음 과제는 명확하고 모호하지 않은 항목 집합을 작성하는 것입니다. 좋은 문항을 작성하는 것은 과학이면서 예술이다. 그럼에도 불구하고, 항목 작성 프로세스를 안내하는 데 사용되어야 하는 수많은 항목 작성 지침(증거 기반 모범 사례)이 있다. 1,4–8 이러한 모범 사례를 검토하는 것은 이 사설의 범위를 벗어난다. 그러나, 우리는 독자를 돕기 위해 표 1의 몇 가지 증거 기반 권고 사항에 대한 요약을 제공했다.
The next challenge is to write a set of clear and unambiguous items. Writing good items is as much an art as it is a science. Nonetheless, there is a plethora of item-writing guidance—evidence-based, best practices—that should be used to guide the item-writing process.1,4–8Reviewing these best practices is beyond the scope of this editorial; however, we have provided a summary of several evidence-based recommendations intable 1to assist readers.
항목 작성 프로세스를 안내하기 위해 공인 IM 레지던스에서 ACGME가 요구하는 요소를 선택했습니다.2 특히 조직개편의 영향을 받을 가능성이 크고 전공의들에게도 잘 보이는 요소를 선택했다. 우리의 초기 초안에는 잠재적으로 관련된 모든 요소에 대한 질문이 있었습니다; 우리가 너무 많은 항목을 가지고 있다는 것이 금방 분명해졌습니다. 따라서, 우리는 의도된 응답자들과 가장 관련이 있을 가능성이 높은 문제들에 우리의 노력을 다시 집중했다. 이를 통해, 우리는 150개 항목에서 45개 항목으로 설문 조사를 줄일 수 있었습니다.
To guide our item-writing process, we selected elements that the ACGME requires in an accredited IM residency.2In particular, we chose elements that we felt were likely to be affected by reorganization and were also visible to the residents. Our initial draft had questions about every potentially relevant element; it quickly became clear that we had too many items. As such, we refocused our efforts on those issues most likely to be relevant to the intended respondents. In doing so, we were able to cut down our survey from 150 items to a more manageable 45 items.
조사 개발 프로세스 중에 내린 다른 결정을 설명하기 위해, 우리는 이 사설의 나머지 부분을 교육적 품질 척도에 초점을 맞춘다. 이 규모를 위해, 우리는 참가자들이 합병이 그들의 IM 전공의 경험의 질에 영향을 미칠 것이라고 믿는 정도를 알고 싶었습니다. 예를 들어, 한 항목은 "내과 통합이 아침 보고서의 교육 질에 어떤 영향을 미칠 것으로 생각하십니까?"라고 물었습니다. 우리는 우리의 문헌 검토와 전문가들과의 토론을 바탕으로, 응답자들이 그 영향이 긍정적일 수도 있고 부정적일 수도 있다고 생각할 수도 있다고 믿었기 때문에, 우리는 "긍정적이거나 부정적인 영향"의 중간점을 가진 양극성 척도를 선택했다.그리고 반응 척도의 낮은 쪽에 대한 "극한 부정적 영향"과 높은 쪽에 대한 "극한 긍정적 영향"의 끝점(표 2)입니다.
To illustrate other decisions we made during the survey development process, we focus the remainder of this editorial on ourdidactic qualityscale. For this scale, we wanted to know the extent to which participants believed the merger would have an impact on the quality of their IM residency experience. For example, one item asked “How do you think the internal medicine integration will impact the educational quality of morning report?” Because we believed, based on our literature review and discussion with experts, that respondents might think the impact could either be positive or negative, we chose a bipolar scale with a midpoint of “neither positive nor negative impact” and endpoints of “extreme negative impact” on the low side of the response scale and “extreme positive impact” on the high side of the response scale (table 2).
질문 4: 설문 항목이 명확하게 작성되었고 관심 구성 요소와 관련이 있습니까? Question 4: Are the Survey Items Clearly Written and Relevant to the Construct of Interest?
조사 내용을 평가하기 위해 GME 연구원들은 전문가 그룹에게 항목 검토를 요청해야 한다. 내용 또는 전문가 검증이라고 하는 이 프로세스는 명확성, 구조와의 관련성 및 인지 난이도에 대한 조사 항목 초안을 검토하도록 전문가에게 요청하는 것을 포함한다.9-11 전문가는 또한 품목 개발 중에 누락되었을 수 있는 구조물의 중요한 측면을 식별하는데 도움을 줄 수 있다. "전문가"는 특정 관심구조에 대해 잘 아는 조사 설계 경험자, 국가 콘텐츠 전문가 또는 지역 동료가 포함될 수 있다. 콘텐츠 검증을 수행하는 데 필요한 전문가 수는 일반적으로 적다. 전문가 6명에서 12명 정도면 충분할 것이다.10,11 To assess survey content, GME researchers should ask a group of experts to review the items. This process, called content or expert validation, involves asking experts to review the draft survey items for clarity, relevance to the construct, and cognitive difficulty.9–11Experts can also assist in identifying important aspects of the construct that may have been omitted during item development. “Experts” might include those more experienced in survey design, national content experts, or local colleagues knowledgeable about the specific construct of interest. The number of experts needed to conduct a content validation is typically small; 6 to 12 experts will often suffice.10,11
당사의 9명의 전문가는 각 IM 프로그램의 직원뿐만 아니라 조사 설계에 대한 전문지식을 갖춘 소속 대학의 교수진을 선발했습니다. 각 전문가는 평가 항목 초안 및 그 또는 그녀가 집중하기를 원하는 조사의 목적과 구체적인 측면을 설명하는 문서와 함께 콘텐츠 검증에 참여하라는 초대를 받았다. 이 과정을 통해 우리의 전문가들은 초점이 잘 맞지 않는 6개의 항목을 찾아냈고, 우리는 이 항목들을 설문조사에서 제거했다. 우리의 전문가들은 스케일 항목에서 콘텐츠 누락을 식별하지 않았으며, ACME 품질 요소 및 프로그램 요건을 고품질 GME 훈련 프로그램의 보편적인 속성으로 사용하는 것에 동의했다. 마지막으로, 전문가들은 해석하기 어렵다고 느끼는 몇 가지 항목을 찾아냈고, 이 항목들은 수정되었다.
Our 9 experts included staff from each IM program, as well as select faculty from our affiliated university who had expertise in survey design. Each expert received an invitation to participate in the content validation, along with the draft survey items and a document outlining our purpose and the specific aspects of the survey on which we wanted him or her to focus. Through this process our experts identified 6 items that were poorly focused; we eliminated these items from the survey. Our experts did not identify any content omissions in the scale items, and they agreed with our use of ACGME quality elements and program requirements as universal attributes of a high-quality GME training program. Finally, our experts identified several items that they felt were difficult to interpret, and these items were revised.
질문 5: 응답자가 내가 의도한 대로 내 항목을 해석할 것인가? Question 5: Will My Respondents Interpret My Items in the Manner That I Intended?
조사 항목 초안이 전문가 검토를 거친 후에는 대상 인구가 항목 및 대응 옵션을 어떻게 해석할지 평가하는 것이 중요하다. 이를 위한 한 가지 방법은 인지 인터뷰 또는 인지 사전테스트라고 알려진 과정을 통해서이다.12
인지 인터뷰는 일반적으로 응답자가 각 항목을 소리내어 읽고 특정 응답을 선택하는 데 있어서 자신의 사고 과정을 설명하는 대면 인터뷰를 포함한다.
이 프로세스를 통해 각 응답자가 연구자가 의도한 대로 항목을 해석하고 정확한 응답을 생성하기 위한 예상 인지 단계를 수행하고 적절한 응답 앵커를 사용하여 응답하는지 확인할 수 있다.
인지 인터뷰는 대상 모집단을 대표하는 소수의 참가자(일반적으로 4-10명 참가자)와 함께 수행해야 하는 정성적 방법이다.
이 단계는 잘못된 해석 또는 편향을 초래할 수 있는 질문 또는 응답 문구의 문제를 식별하는 중요한 단계입니다. 인지 인터뷰는 표준화된 방법론을 사용하여 수행해야 하며, 적용할 수 있는 몇 가지 체계적인 접근법이 있다.12
After the draft survey items have undergone expert review, it is important to assess how the target population will interpret the items and response options. One way to do this is through a process known as cognitive interviewing or cognitive pretesting.12
Cognitive interviewing typically involves a face-to-face interview during which a respondent reads each item aloud and explains his or her thought process in selecting a particular response.
This process allows one to verify that each respondent interprets the items as the researcher intended, performs the expected cognitive steps to generate an accurate response, and responds using the appropriate response anchors.
Cognitive interviewing is a qualitative method that should be conducted with a handful of participants who are representative of the target population (typically 4–10 participants).
This is a critical step to identify problems with question or response wording that may result in misinterpretation or bias. Cognitive interviewing should be conducted using a standardized methodology, and there are several systematic approaches that can be applied.12
우리의 적은 목표 인구(전체 거주자 약 68명)를 고려하여, 우리는 치프 레지던트와 각 프로그램의 프로그램 및 부 프로그램 책임자와 인지 인터뷰를 수행하기로 선택했는데, 그들은 우리의 목표 모집단과 가장 가까운 유사점을 나타낸다고 느꼈다. 우리는 think-aloud 기술과 소급해서 말하는 탐색 기술을 모두 사용하여 인지 인터뷰를 수행했다.12 Think-aloud방법에서는 각 참가자가 표준화된 스크립트를 읽는 동안 검토하는 설문조사의 초안 사본을 제공한다. 인터뷰 진행자는 각 항목을 읽고, 그 후에 질문을 처리하고 답변을 선택하는 동안 참가자가 큰 소리로 생각할 수 있도록 초대됩니다. 비록 시간이 많이 걸리지만, 이 인터뷰 방법은 원하는 인지적 반응을 불러일으키지evoke 못하는 항목을 식별하는 데 도움이 된다.
Given our small target population (approximately 68 residents in all), we opted to perform cognitive interviews with the chief residents and the program and associate program directors of each program, who we felt represented the closest available analogues to our target population. We performed cognitive interviews using both thethink-aloudandretrospective verbal probingtechniques.12In the think-aloud method, each participant is provided with a copy of the draft survey, which he or she reviews while an interviewer reads from a standardized script. The interviewer reads each item, after which the participant is invited to think aloud while processing the question and selecting a response. Although time consuming, this method of interviewing is helpful in identifying items that fail to evoke the desired cognitive response.
[후향적 verbal probing]은 참가자가 전체 설문조사를 완료한 직후 관리하는 스크립트로 작성된 질문으로 구성된 대안 방법이다. 이 접근 방식은 시간을 절약하고 보다 정확한 조사 경험을 제공하지만, 각 질문에 대한 참가자의 기억과 관련된 편견을 도입할 수 있다. 인지 인터뷰를 통해, 우리는 항목 표현, 시각적 디자인 및 설문 레이아웃에 대한 몇 가지 작지만 중요한 문제를 확인했으며, 다음 반복에서 모두 수정되었다.
Retrospective verbal probing is an alternative method that consists of scripted questions administered just after the participant completes the entire survey. This approach conserves time and allows for a more authentic survey experience; however, retrospective verbal probing can introduce bias related to the participant's memory of each question. Through cognitive interviewing, we identified several small but important issues with our item wording, visual design, and survey layout, all of which were revised in our next iteration.
질문 6: 내 설문 조사 항목에서 얻은 점수는 신뢰할 수 있으며, 가설을 세운 다른 조치와 관련이 있습니까? Question 6: Are the Scores Obtained From My Survey Items Reliable, and Do They Relate to Other Measures as Hypothesized?
앞서 언급한 조사 설계 과정 중 GME 연구원들의 최선의 노력에도 불구하고, 일부 조사 항목은 여전히 문제가 있을 수 있다.4 따라서 추가적인 타당성 증거를 얻으려면 평가기기의 파일럿 테스트를 수행해야 한다. 전면적인 조사를 위해 계획된 조건과 동일하거나 매우 유사한 조건을 사용하여 설문조사를 시범적으로 시험하는 것이 중요하다. 그런 다음 파일럿 테스트의 설명 데이터를 사용하여 개별 항목에 대한 반응 분포를 평가하고 종합 점수를 조정할 수 있습니다. 또한 이러한 데이터를 사용하여 항목 및 복합 점수 상관 관계를 분석할 수 있으며, 이 모든 데이터는 설문의 [내부 구조]와 [다른 변수와의 관계]에 대한 증거입니다. 또한 요인 분석과 같이 더 진보된 다른 통계 기법을 사용하여 조사의 내부 구조를 확인할 수 있다는 점에 주목할 필요가 있다.13 Despite the best efforts of GME researchers during the aforementioned survey design process, some survey items may still be problematic.4Thus, to gain additional validity evidence, pilot testing of the survey instrument should be performed. It is important to pilot test the survey using conditions identical or very similar to those planned for the full-scale survey. Descriptive data from pilot testing can then be used to evaluate the response distributions for individual items and scale composite scores. In addition, these data can be used to analyze item and composite score correlations, all of which are evidence of the internal structure of the survey and its relations to other variables. It is also worth noting that other, more advanced statistical techniques, such as factor analysis, can be used to ascertain the internal structure of a survey.13
우리는 Walter Reed의 IM 프로그램에서 14명의 거주자와 National Naval Medical Center의 IM 프로그램에서 20명의 레지던트를 대상으로 우리의 설문 조사를 시험했다. 이것은 목표 인구의 50%를 나타낸다. 표 2는 특정 항목에 대한 IM 통합의 인지적 영향을 평가하기 위해 고안된 교육적 품질 척도에 대한 우리의 파일럿 테스트 결과를 제시한다.각 교육 프로그램 내의 교육 구성 요소. 척도에는 8개의 질문이 포함되었으며, "극한 부정적 영향"에서 "극한 긍정적 영향"에 이르는 5포인트 리커트 유형의 응답 척도가 사용되었습니다. We pilot tested our survey on 14 residents from Walter Reed's IM program and 20 residents from the National Naval Medical Center's IM program; this represented 50% of the target population.table 2presents the results of our pilot test for the didactic quality scale, which was designed to assess the perceived impact of the IM integration on specific didactic components within each training program. The scale included 8 questions and used a 5-point, Likert-type response scale ranging from “extreme negative impact” to “extreme positive impact.”
SPSS 20.0(IBM Corporation, New York)을 사용하여 item-level statistics를 검토한 후 Cronbach 알파 계수를 계산하여 교육 품질 척도에서 8개 항목의 내부 일관성 신뢰성을 평가했다. 크론바흐 알파 계수는 0에서 1 사이의 범위를 가질 수 있으며 척도 항목이 서로 관련되는 정도에 대한 평가를 제공합니다. 첫 번째 사설에서 설명했듯이, 교육 품질을 측정하도록 설계된 8개 항목과 같은 주어진 구성을 측정하기 위해 설계된 조사 항목 그룹은 모두 서로 moderate to strong한 positive 상관 관계를 보여야 한다. 두 항목이 양의 상관 관계가 없는 경우 하나 이상의 항목에 잠재적인 문제가 있음을 나타냅니다. After reviewing the item-level statistics using SPSS 20.0 (IBM Corp., New York), we calculated a Cronbach alpha coefficient to assess internal consistency reliability of the 8 items in our didactic quality scale. A Cronbach alpha coefficient can range from 0 to 1 and provides an assessment of the extent to which the scale items are related to one another. As we explained in our first editorial, a group of survey items designed to measure a given construct, such as our 8 items designed to measure didactic quality, should all exhibit moderate to strong positive correlations with one another. If they are not positively correlated, this suggests a potential problem with one or more of the items.
그러나 크론바흐 알파는 스케일 길이에 민감하다. 다른 모든 것들이 동일하면, 일반적으로 더 긴 스케일은 더 높은 크론바흐 알파를 갖는다. 이와 같이 규모의 내부 일관성 신뢰성을 높이는 매우 쉬운 방법은 항목을 추가하는 것입니다. 그러나 크론바흐 알파의 이러한 증가는 [응답자들이 지치게 하는 지나치게 긴 조사]로 인해 더 많은 응답 오류가 발생할 수 있는 가능성과 균형을 이루어야 한다. It should be noted, however, that Cronbach alpha is sensitive to scale length; all other things being equal, a longer scale will generally have a higher Cronbach alpha. As such, a fairly easy way to increase a scale's internal consistency reliability is to add items. However, this increase in Cronbach alpha must be balanced with the potential for more response error due to an overly long survey that is exhausting for respondents.
내부 일관성 신뢰성에 대한 설정된 임계값은 없지만 일반적으로 알파 β0.75는 허용되는 것으로 간주된다.14 우리의 교육적 품질 척도의 경우 크론바흐 알파는 8.89로 예상대로 8개 항목이 서로 높은 상관 관계를 가지고 있음을 나타낸다. 그런 다음 합성 점수(즉, 8개 항목의 가중치 없는 평균 점수)를 계산하여 교육 품질 변수를 만들고 합성 점수의 기술 통계량과 히스토그램(표 2와 그림 각각)을 검사했습니다. 히스토그램은 정규 분포를 따르며, 이는 응답자들이 반응 척도를 따라 거의 모든 점을 사용하고 있음을 시사합니다.
Although there is no set threshold value for internal consistency reliability, an alpha ≥0.75 is generally considered to be acceptable.14For our didactic quality scale, the Cronbach alpha was .89, which indicated that our 8 items were highly correlated with one another, as expected. We then calculated a composite score (ie, an unweighted mean score of the 8 items) to create our didactic quality variable, and we inspected the descriptive statistics and histogram of the composite scores (table 2andfigure, respectively). The histogram was normally distributed, which suggested that our respondents were using almost all of the points along our response scale.
위에서 설명한 항목 및 척도 분석을 수행한 후에는 전면적인 조사 프로젝트로 진행하는 것이 합리적입니다. 물론 시험 결과가 낮은 신뢰도 또는 놀라운 관계를 보이는 경우(즉, 주어진 규모의 하나 이상의 항목이 다른 항목과 예상대로 상관관계가 없는 경우), 연구자는 기존 항목을 수정하거나 성능이 떨어지는 항목을 제거하거나 새로운 항목의 초안을 작성하는 것을 고려해야 한다. 설문조사가 대폭 수정될 경우 개정된 조사의 후속 시범 시험이 실시될 수 있다. 실적이 저조한 품목을 일부 제거하는 등 사소한 수정만 이뤄진다면 직접 본격적인 조사 시행으로 진행하는 것이 타당하다.
After conducting the item- and scale-level analyses, as described above, it is reasonable to advance to the full-scale survey project. Of course, if the pilot results indicate poor reliability and/or surprising relationships (ie, one or more items in a given scale do not correlate with the other items as expected), researchers should consider revising existing items, removing poorly performing items, or drafting new items. If significant modifications are made to the survey, a follow-up pilot test of the revised survey may be in order. If only minor modifications are made, such as removing a handful of poorly performing items, it is reasonable to proceed directly to full-scale survey implementation.
결론 Concluding Thoughts
J Grad Med Educ.2013 Mar;5(1):1-5.
doi: 10.4300/JGME-D-12-00364.1.
Tracing the steps of survey design: a graduate medical education research example
N을 어떻게 할까? 포커스그룹 연구에서 샘플 사이즈 보고에 관한 방법론적 연구(BMC Med Res Methodol,2011)
What about N? A methodological study of sample-size reporting in focus group studies Benedicte Carlsen1*, Claire Glenton2,3
배경 Background
포커스 그룹 또는 포커스 인터뷰는 일반적으로 연구자가 결정한 주제에 대한 참가자의 인식과 경험에 기초하여 moderated 그룹 토론을 통해 연구 데이터를 수집하는 방법으로 정의된다[1-6]. 초점 그룹은 진행자나 연구자와 참가자 사이의 상호작용보다는 [참가자 간의 상호작용에 중점]을 둔다는 점에서 그룹 인터뷰와 다르다[4]. 최근 몇 년 동안, 포커스 그룹은 건강 과학 연구에서 점점 더 인기를 얻고 있다; 1999년 메디라인 검색에서 투하이와 퍼트남[7]은 1985년 이전에는 포커스 그룹 연구가 없었지만 1985년과 1999년 사이에 1000개 이상의 연구를 발견했다. 포커스 그룹은 사람들의 주관적인 경험과 태도를 탐구하는 데 매우 적합하며, 보건 연구원들은 반복적으로 포커스 그룹을 사용하여 보건 서비스를 평가하거나, 주요 이해관계자 또는 의사결정자의 견해를 도출하거나, 우편 설문 조사나 정보에 반응하지 않는 소외 그룹의 견해를 탐구하도록 권장된다.기존 인터뷰 상황에 겁을 먹을 수 있습니다 [2, 5, 7, 8]. 설문 조사 또는 시험 연구의 데이터를 준비하거나 해석하기 위해 사전 또는 사후 스터디로 포커스 그룹 인터뷰도 권장된다. A focus group or focus interview is commonly defined as a method of collecting research data through moderated group discussion based on the participants' perceptions and experience of a topic decided by the researcher [1–6]. Focus groups differ from group interviews in that the emphasis is on the interaction between the participants rather than between the moderator or researcher and the participants [4]. In recent years, focus groups have become increasingly popular within health science research; in a Medline search in 1999, Twohig and Putnam [7] found no focus group studies before 1985 but more than 1000 studies between 1985 and 1999. Focus groups are well suited to explore people's subjective experiences and attitudes, and health researchers are repeatedly encouraged to use focus groups to evaluate health services, to elicit the views of key stakeholders or decision makers or to explore the views of marginalised groups that typically would not respond to a postal survey or would be intimidated by a conventional interview situation [2,5,7,8]. Focus group interviews are also recommended as a pre- or post-study to prepare or interpret data from surveys or trial studies.
1980년대 이후 보건 과학 저널의 포커스 그룹 연구가 급격하게 증가했음에도 불구하고, 이 방법이 어떻게 사용되고 왜 사용되는지에 대한 지식은 의외로 적다 [1, 9, 10]. 1993년, 포커스 그룹 연구 방법론의 "founding father" 중 한 명인 리차드 크루거는 이 분야가 "설계가 부실하고 보고가 부실하다"고 불평했다[11]. 1996년 이 분야를 검토한 후, 모건은 "현재 포커스 그룹 절차의 보고는 기껏해야 haphazard한 수준"이라고 결론지었다. 1990년대에 수행된 포커스 그룹 연구에 대한 두 개의 상위 및 Putnam의 검토[7]는 그 방법이 어떻게 사용되었는지에 대한 "어마어마한 차이tremendous variation"를 보여주었고 보고가 종종 부적절하다고 결론지었다. 우리는 10년 후 낙관론에 대한 더 많은 이유가 있는지 알아내는 데 관심이 있었다. Despite this apparent sharp increase in focus group studies in health sciences journals since the 1980 s, there is surprisingly little knowledge about how this method is used and why [1,9,10]. In 1993, one of the "founding fathers" of focus group research methodology, Richard Krueger, complained that the field is burdened with "poor design and shoddy reporting" [11]. After reviewing the field in 1996, Morgan concluded that "At present the reporting of focus group procedures is a haphazard affair at best." Twohig and Putnam's review [7] of focus group studies carried out in the 1990 s showed a "tremendous variation" in how the method was used and concluded that reporting is often inadequate. We were interested in discovering whether there is more reason for optimism a decade later.
수행할 그룹의 수를 결정하는 방법에 대한 조언은 방법의 다른 측면에 대한 조언과 비교하여 종종 미묘하다. 실제로, 일부 교재들은 그룹 수를 결정하는 기존의 지침이 없다고 주장한다 [13, 16, 18]. Within this literature, advice on how to decide on the number of groups to conduct is often meagre compared to advice on other aspects of the method. In fact, some teaching books claim that there are no existing guidelines for deciding number of groups [13,16,18].
지침의 대부분은 포커스 그룹이 포커스 그룹 연구의 분석 단위여야 한다고 권고한다. 이에 따라 표본 크기는 연구의 총 참여자 수가 아니라 그룹 수를 참조해야 합니다. 그러나 표본 크기에 대한 이 두 가지 측면 사이에는 당연히 본질적인 관계가 있다. 따라서, 일부 저자들은 연구의 참가자 수가 적을 경우, 그룹의 크기를 줄임으로써 그룹의 수를 증가시킬 수 있다고 제안한다 [4]. 그룹 크기에 대한 지침은 일반적이며 그룹당 최소 4명 이상 최대 12명의 참가자를 초과하지 않는다 [2, 5, 6, 13]. 여기서 Fern의 실험 연구는 [4명의 참가자로 구성된 두 그룹 및 8명의 참가자로 구성된 한 그룹을 수행함으로써 더 많은 정보를 얻을 수 있다]는 것을 나타냈다는 것을 주목하는 것이 흥미롭다[19]. Most of this guidance recommends that the focus group should be the unit of analysis in focus group-studies. In line with this, sample size should refer to number of groups and not the total number of participants in a study. However, there is of course an intrinsic relationship between these two aspects of sample size. Thus, some authors suggest that if the number of participants in a study is small, it is possible to increase the number of groups by reducing the size of the groups [4]. Guidance on group size is common and seldom goes beyond a minimum of 4 and a maximum of 12 participants per group [2,5,6,13]. Here, it is interesting to note that Fern's experimental study indicated that more information is obtained by conducting two groups of four participants then one group of eight participants [19].
질적 방법의 강점은 현상의 깊이와 복잡성을 탐구하는 능력이다. 따라서 Sandelowski는 정성적 연구에서 표본 크기에 대한 그녀의 논의에서 너무 적은 그룹이나 너무 많은 그룹 모두 포커스 그룹 연구의 품질을 낮출 수 있다고 강조한다[20]. 양은 질과 균형을 이루어야 하며, 녹음된 자료의 테이프 인터뷰나 페이지가 많을수록 저자가 자료에서 추출할 수 있는 깊이와 풍부함이 줄어듭니다 [21]. 이러한 지식은 최적의 포커스 그룹 수를 달성하는 방법에 관한 조언을 직접적으로 제공하지는 않지만, 작성자가 그룹 수를 결정할 때 알아야 할 문제를 강조합니다. The strength of qualitative methods is their ability to explore the depth and complexity of phenomena. Thus, Sandelowski, in her discussion of sample size in qualitative research, emphasizes that both too few and too many groups can lower the quality of focus group studies [20]. Quantity must be balanced against quality, and the more hours of taped interviews or pages of transcribed material, the less depth and richness the authors will be able to extract from the material [21]. While this knowledge does not directly offer advice regarding how to achieve the optimal number of focus groups, it does highlight an issue that authors should be aware of when determining number of groups.
포커스 그룹 연구에서 샘플 크기에 대한 대부분의 조언은 "포화점" 또는 "이론적 포화점"을 가리키며, "이론적 포화점"이라는 용어는 1967년 글레이저와 스트라우스[22]에 의해 "근거 이론"의 개요로 도입되었으며, 그 이후로 비록 단순화된 버전이지만 대부분의 질적 연구 환경으로 확산되었다. 일반적으로 "데이터 포화"라고 합니다. 이 접근법에서, 인터뷰는 이론이나 가설을 지속적으로 구성하고 다듬기 위해 "이론적 표본 추출"에 따라 다른 범주의 informants들과 함께 수행되어야 한다. 이 방법은 데이터 수집(즉 모집, 인터뷰 및 분석)이 각 인터뷰가 진행되는 동안 반복적 프로세스로 수행되어야 하므로, 표본 크기를 연속적으로 계산하고 수집된 모든 데이터를 분석하는 기존의 정량적 설계와는 상당히 다른 접근 방식을 나타낸다[23, 24].
Most advice about sample size in focus group studies refers to "point of saturation" or "theoretical saturation", The term "theoretical saturation" was introduced by Glaser and Strauss [22] in 1967 in their outline of "grounded theory" and has since spread to most qualitative research environments, albeit in a simplified version, usually referred to as "data saturation". In this approach, interviews should be conducted with different categories of informants following a line of "theoretical sampling" to continuously construct and refine theory or hypotheses. The method requires that data collection, i.e. recruiting, interviewing and analysis, is conducted as an iterative process for each interview, thus representing quite a different approach from the traditional quantitative design of successively calculating sample size beforehand and analysing all data collected [23,24].
포화점 개념은 운용하기에 너무 모호하다는 비판을 받아왔다 [25].
글레이저와 스트라우스는 "각 범주의 이론적인 포화도에 도달할 때까지 표본 추출"을 해야 한다고 제안하고,
스트라우스와 코빈은 "범주에 관한 새로운 또는 관련 데이터가 나타나지 않을 때까지 데이터를 수집해야 한다"고 말한다. [15] (1990:188)
그러나 저자들은 "새로운 데이터 또는 관련 데이터"에 대한 정의를 제시하지 않았으며, 연구자가 포화 상태에 이르렀음을 합리적으로 확인할 수 있기 전에 새로운 정보가 필요하지 않은 인터뷰 횟수에 관한 조언을 하지 않았다. The concept of point of saturation has been criticised for being too vague to operationalise [25].
Glaser and Strauss suggest that researchers should: "sample until theoretical saturation of each category is reached" [22](1967:61-62, 11-112) while
Strauss and Corbin state that researchers should collect data until "no new or relevant data seem to emerge regarding a category." [15] (1990:188).
However, the authors present no definition of "new or relevant data", and give no advice regarding the number of interviews with no new information that is required before the researcher can be reasonably certain that saturation has been reached.
포커스 그룹 방법론에 대한 보다 실용적인 권위자들은 많은 연구자들이 assignment에 대해 연구하고 있으며 funder들은 그룹 수를 사전 연구로 결정하도록 요구할 수 있다[2, 4, 12]. 그룹 수와 관련된 일반적인 사항에 대한 권장 사항 및 참조는 이러한 텍스트북 내에서 다양합니다. 일반적으로 참가자 범주당 2-5개의 그룹을 추천한다. 그러나 저자는 대개 이러한 것들이 rule of thumb일 뿐이며, 포커스 그룹의 수는 연구 질문의 복잡성과 그룹의 구성에 달려 있다고 강조한다. 종종, 주어진 조언은 rule of thumb을 따르되 약간 더 높은 숫자가 "안전한 쪽에" 있도록 제안하는 것이다. 일부 저자들은 연구자들이 필요한 최종 그룹의 수를 결정하면서 포화점을 사용할 것을 제안한다 [2, 4]. More pragmatic authorities on focus group methodology recognise that many researchers work on assignment and their funders may require that the number of groups are decided pre-study [2,4,12]. The recommendations and references to what is common regarding number of groups vary within these text books. In general they recommend from two to five groups per category of participants. However, the authors usually underline that these are only rules of thumb and that the number of focus groups depends on the complexity of the research question and the composition of the groups. Often, the advice given is to follow the rules of thumb but to suggest a slightly higher number to be "on the safe side". Some authors suggest that the researchers then use point of saturation as they go along to decide the final number of groups needed [2,4].
이 교과서들 중 일부는 여전히 글레이저와 스트라우스를 언급하지만, 다른 책들은 그렇지 않다. 이러한 경우에 이론적 표본 추출과 이론적 포화의 개념과 그 이면의 이론은 ["목적 표본 추출"과 "데이터 포화" 또는 단순히 "포화"라는 less theoretically sustained한 용어로 대체된 것]처럼 보인다. 다만 새로운 필수 정보가 발견되지 않을 때까지 지속적인 데이터 분석과 새로운 데이터 획득 과정을 통해 제보자를 선정하고 그룹 수를 결정하는 기본 절차가 남아 있다. While some of these text books still refer to Glaser and Strauss, others do not. In these cases the concept of theoretical sampling and theoretical saturation and the theory behind it seem to have been lost on the way and replaced with the less theoretically sustained terms of "purposive sampling" and "data saturation" or merely "saturation". However, the basic procedure of selecting informants and deciding on the number of groups through a constant process of analysing data and obtaining new data until no new essential information is found, remains.
정성적 방법론 분야의 비평가들에 의해 포화 개념이 연구 보고서에서 종종 잘못 사용되고 있다고 주장되어 왔다 [23, 26]. Charmaz [25] (2005:528)는 "연구자들이 종종 작은 표본 - 얇은 데이터를 가진 매우 작은 표본을 정당화하기 위해 포화 기준을 호출한다"고 주장한다. 실제로 이러한 작은 표본 크기는 [시간 부족 또는 자금 부족의 결과]일 수 있습니다. 따라서 '포화'가 차르마즈가 암시하듯 포커스 그룹 보고서에서 잘못된 디자인을 가리는 마법 단어가 되었는지는 아직 조사되지 않았다. It has been claimed by critics within the field of qualitative methodology that the concept of saturation is often misused in research reports [23,26]. Charmaz [25] (2005:528) claims that "Often, researchers invoke the criterion of saturation to justify small samples - very small samples with thin data." In reality, these small sample sizes may, in fact, be a result of lack of time or lack of funds. Whether "saturation" has thus become the magic word which obscures faulty designs in focus group reports, as Charmaz insinuates, has yet to be investigated.
일반적으로 포커스 그룹 방법이 어떻게 사용되고 작업이 이루어지는지에 대한 경험적 연구는 부족하다.
In general, empirical research into how focus group methods are used and work is scarce.
목표 Objectives
방법 Methods
자격기준 Eligibility criteria
언급한 바와 같이, 포커스 그룹 인터뷰의 정의는 일반적으로 주어진 주제에 대한 토론을 용이하게 할 목적으로 연구자가 시작한 소규모 그룹의 모임을 가리킨다. [1, 4–6] 그러나, 우리는 작성자 자신이 데이터 수집 방법을 참조하기 위해 "초점 그룹"이라는 용어를 사용한 모든 연구를 포함했다. 포커스 그룹만을 사용한 연구와 혼합 방법을 사용한 연구를 포함했다. 우리는 2009년 리뷰 작업을 시작하고 그 분야의 최신 기술을 검토하고 싶어 2008년에 발표된 연구를 선택했습니다. 게다가 우리는 2003년과 1998년, 즉 5년과 10년 전에 그 분야의 확장에 대한 조잡한 견제로 같은 조사를 반복했다. As mentioned, definitions of focus group interviews usually refer to researcher-initiated gathering of a small group of people with the aim of facilitating discussion about a given topic [1,4–6]. However, we included any study where the authors themselves used the term "focus group" to refer to their method of data collection. We included studies using focus groups only and studies using mixed methods. We chose studies published in 2008 as we started working with the review in 2009 and wanted to review the state of the art in the field. In addition we repeated the same search for 2003 and 1998, i.e. five and ten years earlier as a crude check on the expansion of the field.
Search methods for identification of studies
Data selection, extraction and analysis
We extracted data about the following aspects as numerical data:
Number of focus groups in each study
Maximum and minimum number of participants in the focus groups in each study
Total number of participants
Whether any explanation for number of groups was given
Whether this explanation was tied to:
Practical issues (such as convenience when recruiting or limited resources to conduct interviews)
Recommendations in the literature (pragmatic guidelines to number of focus groups)
Saturation
Capacity when analyzing, i.e. balancing between depth and breadth of data
결과 Results
포커스 그룹 스터디의 샘플 크기 현재 상태 The current status of sample size in focus group studies
전자 데이터베이스 검색을 통해 우리는 2008년에 발표된 240개의 논문을 확인했다. 이에 비해, 1998년과 2003년에 대한 우리의 연구는 각각 23건과 62건의 연구를 낳았다. Through our electronic database search we identified 240 papers published in 2008. In comparison, our search for 1998 and 2003 resulted in 23 and 62 studies respectively.
우리는 검토에 포함시키기 위해 2008년부터 240편의 논문 각각에 대한 전체 텍스트 버전을 고려했다. 본문 전문을 읽고 20편의 논문이 제외되었다 이 중 6건은 기획연구여서 제외됐고, 4건은 인터넷 기반이라 제외됐고, 3건은 1차 연구가 아니어서 제외됐으며, 7건은 추상화에도 '초점집단'이라는 용어가 등장했는데도 실제로는 보고하지 않아 제외됐다. (이들 중 일부는 보고된 연구에서 평가된 개입의 일부로 포커스 그룹을 언급했습니다.) We considered the full text version of each of the 240 papers from 2008 for inclusion in the review. Twenty papers were excluded after reading the full text version. Of these, six were excluded because they were planned studies, four were excluded because the focus groups were Internet-based, three were excluded because they were not primary studies and seven were excluded because they did not, in fact, report the results of focus group studies even though the term "focus groups" appeared in their abstracts. (Some of these referred to focus groups as part of an intervention that was evaluated in the reported study).
220개의 논문이 우리의 포함 기준에 부합했다. (포함된 스터디 목록은 추가 파일 1을 참조하십시오.) 이것들은 117개의 다른 학술지에 발표되었습니다. 61%는 혼합 데이터 수집 방법을 사용한 반면 39%는 포커스 그룹만 사용한 적이 있다. Two hundred and twenty papers met our inclusion criteria. (See Additional file1for a list of included studies.) These were published in 117 different journals. Sixty-one percent had used mixed methods of data collection, while 39% had used focus groups only.
220개의 논문 중 많은 논문들이 표본 크기에 대한 불충분한 보고로 특징지어졌다.
22(10%)가 포커스 그룹 수를 보고하지 않음
42명(19%)은 총 참여자 수를 보고하지 않았다.
102명(46%)이 포커스 그룹의 최소 및 최대 참가자 수를 보고하지 않았다.
Many of the 220 papers were characterised by an insufficient reporting of sample size:
22 (10%) did not report number of focus groups
42 (19%) did not report total number of participants
102 (46%) did not report minimum and maximum number of participants in the focus groups
또한, 이 정보가 때때로 논문의 다른 섹션에 보고되었기 때문에 포커스 그룹과 참가자 번호를 찾기가 때때로 어려웠다(예: [28, 29 참조). 혼합 방법 연구의 경우, 다른 데이터 수집 방법에 대한 표본 크기 정보를 구분하기가 어려운 경우가 있었다(예: [30] 참조). In addition, it was sometimes difficult for us to find focus group and participant numbers as this information was sometimes reported in different sections of the papers (See for example [28,29]. For mixed method studies, it was sometimes difficult to separate between sample size information for different data collection methods (See for example [30]).
그룹 및 참가자 수를 보고한 논문은 이 숫자에 큰 범위를 보였지만 데이터 분포는 오른쪽으로 꼬리가 길었다. 즉, 포커스 그룹 숫자가 적은 연구가 많았고, 포커스 그룹 숫자가 많은 연구는 거의 없었다(표 1).
Those papers that did report numbers of groups and participants showed a great range in these numbers, but data distribution was positively skewed, i.e. there were many studies with a few focus groups and few studies with high numbers of focus groups (Table1).
포커스 그룹 수에 대한 작성자 설명 Authors' explanations for number of focus groups
수행된 포커스 그룹의 수를 결정하거나 결정하게 된 방법에 대한 저자들의 설명은 다양했지만, 명확하지 않거나 완전히 결여된 경우가 많았다(예: [31, 32]. (표 2 참조) 저자들이 혼합 방법을 사용할 때, 연구의 정량적 부분에 대한 표본 크기에 대한 설명은 종종 꼼꼼한 반면, 포커스 인터뷰의 표본 크기는 종종 불분명하고 피상적이었다. Authors' explanations of how they had decided on or ended up with the number of focus groups carried out varied, but were often unclear or completely lacking (e.g. [31,32]). (See Table2.) When authors used mixed methods, explanations of sample size for the quantitative part of the study were often meticulous, while the sample size of the focus interviews in contrast was often unclear and superficial, as in this example:
- 필요한 숫자에 도달할 때까지 객관적인 샘플링이 수행되었다[33]. - purposive sampling was undertaken till the necessary number was attained[33].
포함된 220개의 연구 중 183개(83,2%)는 포커스 그룹의 수에 대해 아무런 설명도 하지 않았다(즉, 37개는 어떤 종류의 설명을 하지 않았다). 종종 저자들은 포커스 그룹의 수보다는 참가자의 수를 설명했다 [34, 35]. 이러한 경우에 대표적인 것은 임상 개입 연구와 함께 포커스 그룹 연구가 수행되고 저자가 포커스 그룹 인터뷰에 참여하도록 개입 연구의 모든 참가자를 초대한 상황이었다 [34, 36]. 이 경우 포커스 그룹의 수보다 참여자의 수를 설명하므로, 이는 "설명 없음"으로 분류되었다. Of the 220 studies included, 183 (83,2%) gave no explanation for number of focus groups (i.e. 37 did give some type of explanation). Often, authors explained the number of participants rather than the number of focus groups [34,35]. Typical for these cases were situations where focus group studies were carried out alongside clinical intervention studies and where the authors had invited all participants from the intervention study to participate in the focus group interviews [34,36]. As these accounts explain the number of participants rather than the number of focus groups, this was categorised as "no explanation".
표 2에서 우리는 데이터 품질과 수량(데이터를 분석할 수 있는 용량)의 균형을 유지해야 한다는 점을 언급하여 그룹 수를 정당화하는 연구는 없다는 것을 알 수 있다. 이 표에는 또한 표본 크기에 대한 모든 설명이 포커스 그룹이 두 개에서 13개 사이인 연구에서 발견되었음을 보여줍니다. 포커스 그룹의 수와 수행된 그룹 수(Pearson 상관 관계)에 대한 설명의 존재 사이에 상관 관계가 있는지 테스트했다. 선형 관계를 찾을 수 없습니다. 11개의 단일 그룹 연구 중 어느 것도 한 그룹이 충분한 이유를 정당화하려고 시도하지 않았다. 이러한 연구는 모두 [혼합된 방법]을 사용했으며, [설문지 등을 개발하기 위해 일반적으로 포커스 그룹 연구를 파일럿으로 사용]했다. From Table2we also see that no study justified the number of groups by referring to the need to balance data quality and quantity (capacity to analyse data). The table also shows that all the explanations for sample size were found in studies that had between two and 13 focus groups. We tested if there was any correlation between the presence of an explanation for number of focus groups and the number of groups conducted (Pearson correlation). We found no linear relationship. None of the eleven single-group studies attempted to justify why one group was sufficient. These studies all use mixed methods and the qualitative assessment showed that they typically used the focus group study as a pilot for developing questionnaires etc.
지적한 바와 같이, 13개 이상의 그룹을 포함하는 연구 중 표본 크기에 대한 설명을 제공하는 것은 없으며 정성적 평가에서 높은 수의 그룹을 연구 한계로 지칭하는 연구도 없었다. 반대로, 저자가 표본 크기가 상대적으로 높다고 판단했을 때, 이는 다음과 같은 이점이 있었다. As noted, none of the studies that included more than 13 groups gave any explanations for sample size and the qualitative assessment showed that none of the studies referred to a high number of groups as a study limitation. On the contrary, when authors considered their sample size to be relatively high, this was seen as advantageous:
시설 직원의 상당한 단면도로 다수의 포커스 그룹을 수행함으로써, 코딩 중 단일 포커스 그룹 또는 방법론적 선택에 의해 결과가 크게 영향을 받을 가능성을 줄였다[37].
By conducting a large number of focus groups with a significant cross-section of the facility's employees, we reduced the possibility that results would be dramatically affected by a single focus group or methodological choice during coding[37].
한편, 저자들이 소수의 포커스 그룹만을 포함했을 때, 그들은 종종 이것을 한계로 묘사했다. 그러나 이러한 여러 연구에서 저자들은 포커스 그룹의 수가 데이터 포화에 의해 결정되었다고 주장하였다. 이것은 이론적으로 포커스 그룹의 수가 사실 적절했다는 것을 암시해야 한다. (예: [38–43]을 참조하십시오.) 그러나 저자들은 종종 적은 수의 포커스 그룹을 약점으로 설명했지만, 여러 연구는 포커스 그룹이 심층적으로 다루고 문제에 대한 두꺼운 설명을 제공하기 위해 제공한 가능성을 참고하여 그들의 방법 선택을 정당화했다.
On the other hand, when authors had included only a small number of focus groups, they frequently described this as a limitation. However, in several of these studies, authors also claimed the number of focus groups had been determined by data saturation. This should, in theory, imply that the number of focus groups was, in fact, appropriate. (See for example [38–43]). But while authors often described a small number of focus groups as a weakness, several studies justified their choice of method with reference to the possibilities that focus groups gave to go in depth and provide a thick description of the issue.
포화 Saturation
포커스 그룹의 수에 대한 설명을 한 37개 연구 중 28개는 포화 상태에 이르면 중단했다고 주장했다. 그러나 이러한 설명의 절반 이상(28개 중 15개)은 포화 상태로 끝난 데이터 수집 및 분석을 포함하는 반복 프로세스가 발생했다는 것을 확신하게 보고하지 않았다. 그 이유는 주로 방법론적 절차에 대한 설명의 불일치가 주된 원인이었다. 한 가지 일반적인 예는 포화점에 대한 레퍼런스에도 불구하고, 포커스 그룹의 수가 미리 결정되었다는 것이다([44, 45] 참조). Among the 37 studies that did give an explanation for the number of focus groups, 28 claimed that they had stopped once they had reached a point of saturation. However, more than half of these explanations (15 of 28) did not report convincingly that an iterative process, involving data collection and analysis that ended with saturation, had taken place. The reason for this was mainly inconsistencies in the description of the methodological procedures. One common example was that, despite their reference to point of saturation, their number of focus groups was pre-determined, as the extraction below shows (See also [44,45]):
특정 커뮤니티의 주민과 함께 세 개의 포커스 그룹이 수행되었다. 그것은 작은 공동체였고, 세 개의 포커스 그룹 후에 그들의 장벽과 제안된 해결책에 대한 포화점이 있을 것이라고 결정되었다[46]. Three focus groups were conducted with residents of a specific community. It was a small community, and it was determined that after three focus groups, there would be a saturation point regarding their barriers and suggested solutions[46].
포화도 주장이 근거 없는 것으로 보이는 다른 일반적인 예로는 (목적적 또는 이론적 표본 추출 대신) 편의 표본 추출을 사용한 경우, 또는 참여를 자원한 모든 사람이 포함된 연구였으며, 분석 전에 모든 데이터가 수집된 것으로 보였다(예: [41, 42, 47–49]. Other common examples where claims of saturation appeared unsubstantiated were studies that used convenience sampling, and included everyone who volunteered to participate, instead of purposive or theoretical sampling, and where, in addition all data seemed to have been gathered before the analysis (See for example [41,42,47–49]).
또한 포화 상태에 도달했다고 판단되기 전에 새로운 관련 정보가 없이 수행된 포커스 그룹의 수를 보고하거나 논의한 저자는 없다는 점에 주목했다. 반대로, 작가들은 대개 포화 상태에 도달하는 과정에 대해 피상적이고 막연한 언급을 했는데, 그들 중 많은 사람들은 이 시점에 도달했다는 "느낌"을 언급한다. We also noted that no author reported or discussed the number of focus groups that had been conducted with no new relevant information before it was decided that a point of saturation had been reached. On the contrary, authors normally gave superficial and vague references to the process of reaching point of saturation, many of them referring to a "feeling" of having reached this point:
포커스 그룹은 "포화"(새로운 테마가 확인되지 않음)에 도달해다고 느낄 때까지 수행되었다. [41] Focus groups were [...] conducted until we felt "saturation" (no new themes identified) was reached[41].
다섯 번째 포커스 그룹이 끝날 때, 우리는 주제의 포화가 충족되었다고 느꼈고, 그래서 우리는 모집을 중단했다. [50] At the end of the fifth focus group, we felt that theme saturation had been met, so we stopped recruitment...[50]
우리는 또한 포화점에 관한 적절한 보고의 몇 가지 예를 발견했다.
예를 들어 바리마니 외 연구진[51]은 근거 이론의 사용을 설명하고 이론적 포화도가 충족될 때까지 경험적 소견과 이론 간의 끊임없는 비교가 샘플링 절차를 어떻게 안내했는지를 설명했다. 그러나 이 논문은 이례적으로 9000단어 정도 길었다.
또 다른 예는 슈발 외[52]이다. 저자들은 약 3000단어의 논문에서 "포화"라는 용어를 구체적으로 언급하지 않았지만 표본 추출 절차와 포화가 어떻게 충족되었는지에 대한 명확한 설명을 제공했다.
We also found some examples of adequate reporting regarding point of saturation.
For example Barimani et al [51] explained their use of grounded theory and described how a constant comparison between empirical findings and theory had guided their sampling procedure until theoretical saturation was met. This paper was, however, unusually long, around 9000 words.
Another example is Shuval et al [52]. In their paper of around 3000 words, the authors have not specifically referred to the term "saturation" but have offered a clear description of the sampling procedure and how saturation was met:
우리는 주요 정보 제공자를 선정하고(연구자의 지인에 기초하여), 그룹 상호 작용을 촉진하고 참가자의 다양한 특성(즉, 성별, 연령, 거주 환경, 민족/종교 및 자체 보고 소득)을 포착하기 위해 [패튼 1990 참조] 목적적 샘플링을 사용했다. 우리가 접근한 모든 학생들은 포커스 그룹에 참여하기로 동의했습니다.
We used purposeful sampling[with reference to Patton 1990]to select key informants (on the basis of researchers' acquaintance), promote group interaction, and capture the diverse characteristics of participants (i.e., sex, age, living environment, ethnicity/religion, and self-reported income). All students whom we approached agreed to participate in focus groups.
새로운 테마가 나타나지 않을 때까지 포커스 그룹을 개최하였다(9). [...] 연구자들은 각 세션을 검토하기 전에 각 세션을 반영하여 후속 세션에서 새롭게 식별된 개념을 검토할 수 있게 되었다. [52]
Focus groups were held until no new themes emerged (9). [...] Researchers reviewed the transcripts to reflect on each session before conducting the next, thereby enabling newly identified concepts to be examined in subsequent sessions[52].
문헌상의 권고사항 Recommendations in the literature
포커스 그룹의 수에 대해 명시적인 설명을 한 37개의 연구 중 6개는 문헌에서 rule of thumb을 언급했다. 이들은 대부분 포화 상태에 도달하기 위해 필요한 그룹 수에 대한 실용적인 지침을 참조했다(예: [53]). 아래 예에서 알 수 있듯이, 저자들은 필드에 일관된 지침이 없다고 보고했습니다. Six of the 37 studies that gave an explicit explanation for the number of focus groups referred to rules of thumb in the literature. These were mostly references to pragmatic guidelines of how many groups are necessary to reach a point of saturation (e.g. [53]). As the example below illustrates, authors reported that the field lacks consistent guidelines.
포커스 그룹 수와 표본 크기에 대한 권장 사항은 서로 다릅니다. 권장 세션 수는 연구 설계의 복잡성과 목표 표본의 구별 수준에 따라 달라집니다 [18–21]. 스튜어트 외 연구진. (2007) 사회과학에서 수행되는 3-4개 이상의 포커스 그룹이 드물다는 것을 관찰했다. 우리는 각 사이트의 두 그룹이 단일 그룹 또는 사이트에서 볼 수 있는 편견을 제한하고 그룹 간에 공통되는 테마를 검토할 수 있다고 느꼈다 [54]. Recommendations for both the number of focus groups and sample size vary. The number of recommended sessions depends on the complexity of the study design and the target sample's level of distinctiveness[18–21]. Stewart et al. (2007) observed that rarely are more than 3-4 focus groups conducted in the social sciences. We felt that two groups at each site would limit bias that might be seen in a single group or site and allow us to examine themes common across groups[54].
그러나 확인해본 바, 레퍼런스가 항상 정확한 것은 아니었다. 예를 들어, Gouterling 등의 경우 세 개의 포커스 그룹을 수행하고 숫자를 다음과 같이 설명합니다. However, when we checked with the literature, referrals to recommendations were not always accurate. For example Gutterling et al, conducted three focus groups and explain the number thus:
좋은 결과를 얻기 위해서는 데이터가 포화 상태가 되고 처음 몇 개의 그룹 이후에 새로운 정보가 거의 나타나지 않기 때문에 소수의 포커스 그룹만으로도 충분합니다 [Morgan 96] [55]. For good results, just a few focus groups are sufficient, as data become saturated and little new information emerges after the first few groups [Morgan 96][55].
Morgan[1]을 찾아보면, 대부분의 연구에서 4~6개의 그룹이 포화 상태에 도달하기 때문에 사용된다고 주장하지만, 참가자의 범주가 더 많고 질문의 표준화가 덜 될수록 포커스 그룹의 수가 더 많다는 점도 강조합니다.
Looking up Morgan [1], we found that he claims that most studies use four to six groups because they then reach saturation, but he also underlines that the more categories of participants and less standardisation of questions, the higher number of focus groups.
현실적 이유 Practical reasons
37건의 연구 중 3건은 수행된 포커스 그룹의 수에 대한 현실적 이유를 보고했다. 예를 들어, 이 설명에서는 다음과 같이 채용 제약 조건에 대해 제공된 정보가 불완전합니다. Three of the 37 studies reported practical reasons for the number of focus groups conducted. The information offered regarding recruitment constraints was incomplete as, for example, in this explanation:
이용 가능한 참가자 수는 제한되었고 따라서 포커스 그룹의 수는 적었다 [56]. The number of available participants was limited and the number of focus groups was therefore few[56].
두 가지 설명은 참가자를 추가 그룹으로 모집하는 어려움과 관련이 있는 것으로 보였고 [56, 57], 한 명은 제한된 자원("예산 및 인력 제약")을 언급했다. 이런 이유로 연구자는 사전 연구를 통해 5개 포커스그룹을 결정하게 되었다[38]. 이 마지막 연구에서도 포화 상태에 이르렀다고 주장했습니다(그룹 수 결정 절차로 명시하지 않음). Two of the explanations appeared to be tied to difficulties in recruiting participants to additional groups [56,57], while one mentioned limited resources ("budgetary and staffing constraints") which led the researchers to decide pre-study to conduct five focus groups [38]. This last study also claimed to have reached saturation (without stating this as the procedure for deciding number of groups):
그러나 데이터 분석에 따르면 모든 테마가 포화 상태에 이르렀으며, 이는 추가 참가자가 상위 응답의 깊이 또는 폭을 추가하지 않았을 가능성이 크다는 것을 의미한다[38]. However, data analysis indicates that all themes reached saturation, meaning additional participants would likely not have added to the depth or breadth of parent responses[38]
추가 8개 연구에서도 모집 한도에 대해 기술했지만, 참가자가 몇 개의 그룹으로 나뉘었는지에 대한 설명이 아닌 전체 참여자 수에 대한 설명으로만 기술했다. 이들 연구에서는 교과서 추천으로 그룹 규모가 사전에 결정된 것으로 보여 그룹별 참여자 수를 이미 모집한 총인원으로 나눈 그룹 수를 정했다.
An additional eight studies also described recruitment limitations, but only as an explanation for the total number of participants, not for how many groups the participants were divided into. In these studies, the size of the groups seems to have been decided beforehand, due to text book recommendations, and thus the number of groups was given by the total number of already recruited participants divided by the number of participants per group.
고찰 Discussion
1998년, 2003년 및 2008년의 검색 결과는 지난 10년 동안 포커스 그룹 연구가 증가했다는 주장을 뒷받침한다. 2008년에 포커스 그룹 연구를 발행하는 건강 저널의 광범위한 범위는 이 방법이 현재 널리 받아들여지고 있음을 나타낸다. 동시에, 많은 저널이 일년에 한두 개의 포커스 그룹 연구를 발표한다는 사실 또한 포커스 그룹 연구를 평가하기 위한 편집자와 검토자 사이의 방법론적 역량이 부족함을 의미할 수 있다. The results from our searches from 1998, 2003 and 2008 support the claims that there has been an increase in focus group studies over the last ten years. The wide range of health journals publishing focus group studies in 2008 indicates that this method is now widely accepted. At the same time, the fact that many journals publish only one or two focus group studies a year could also mean that the methodological competence among editors and reviewers to assess focus group studies is lacking.
우리가 등록한 포커스 그룹의 수에서 큰 variation는 놀랍고, 교재나 교과서의 저자들이 추측하는 것보다 더 넓었다wider. 예를 들어 Stewart 외 연구진[13](2007:58)은 "대부분의 포커스 그룹 애플리케이션은 한 개 이상의 그룹을 포함하지만 세 개 또는 네 개 이상의 그룹을 포함하는 경우는 거의 없다"고 주장한다. 또한 Two high 및 Putnam은 1차 치료 연구에서 포커스 그룹 연구의 검토에서 훨씬 더 좁은 변동을 발견했으며, 연구당 2 - 8 그룹의 범위를 가지고 있다[7]. The great variation in the number of focus groups that we registered was surprising, and was wider than authors of teaching materials and text books assume. For example Stewart et al [13] (2007:58) claim: "Most focus group applications involve more than one group, but seldom more than three or four groups." Twohig and Putnam also found a much narrower variation in their review of focus group studies in primary care research, with a range of two to eight groups per study [7].
전반적으로, 표본 크기에 대한 보고와 이 크기에 대한 설명은 부실했습니다. 설명이 제공된 경우, 주로 데이터 포화의 개념의 지배적인 역할을 확인했다. Overall, reporting of sample size and explanations for this size was poor. Where such explanations were given, our study confirms the dominant role of the concept of data saturation.
우리는 또한 모든 설명이 두 개에서 13개 그룹의 연구에서 발견되었다는 것을 발견했다. 이러한 연구의 일부는 이 지침에서 권장되는 범주당 2-5개의 포커스 그룹이 연구에서 총 2-5개의 그룹이 된 것처럼 보이지만, 그들의 수를 정당화하기 위해 기존의 실용적인 지침을 참조한다. 어쩌면 [rule of thumb에 어긋나는 숫자인 하나의 포커스 그룹]만 사용하는 연구는 정당화하기가 너무 어렵고, 따라서 설명이 회피된다고 추측할 수 있다. We also discovered that all explanations were found in studies of between two and 13 groups. Some of these studies refer to existing pragmatic guidelines to justify their numbers, although the two to five focus groups per category recommended in these guidelines sometimes appear to have become two to five groups in total in the studies. We could speculate that studies using only one focus group, a number that goes against the rules of thumb offered by these guidelines, is simply too hard to justify and explanations are therefore evaded.
또한 모든 단일 그룹 연구는 혼합 방법 연구였으며, 포커스 그룹은 일반적으로 연구의 조사 부분에 대한 설문지를 개발하거나 테스트하기 위해 파일럿으로 사용되었다. 이러한 예에서 포커스 그룹이 연구의 주요 부분보다 덜 주의를 기울인다는 것은 이해할 수 있다. 척도의 다른 쪽 끝에서, 표본 크기가 두 자리 숫자에 도달하면, 큰 N이 양의 자산으로 간주되어 정당화하기에 덜 중요한 "양적 연구의 논리"가 시작된다고 가정할 수도 있다.
Also, all the single group studies were mixed methods studies, where the focus group typically was used as a pilot to develop or test a questionnaire for the survey part of the study. In these examples, it is understandable that the focus group is offered less attention than the main part of the study. At the other end of the scale, one could also speculate that when the sample size reaches two-digit numbers, a "quantitative study logic" kicks in where a big N is seen as a positive asset and therefore less important to justify.
데이터 포화를 포커스 그룹의 수에 대한 설명으로 언급한 연구의 약 절반은 접근법의 사용에 일관성이 없는 것으로 보였다. 이러한 결과는 해당 분야의 초기 검토와도 부합한다.
투하이(Twohigh)와 푸트남(Putnam)[7]도 포커스 그룹 연구의 절차와 보고의 variation에 놀랐고,
간호 연구에서 포커스 그룹 연구를 검토한 웹과 케번[58]은 저자들이 "근거 이론"과 같은 용어를 non-rigorous한 방식으로 사용했다는 것을 발견했다.
또한 연구자들이 전체적으로 동시적 데이터 생성 및 분석, 또는 "반복적 프로세스"와 같은 포화 상태에 도달하기 위한 기본적인 전제를 따르지 않았다고 결론짓는다[15].
우리의 연구는 동일한 경향을 보여주며, 의료 연구에서 포커스 그룹의 사용이 증가했다고 보고의 질이 향상되지는 않았음을 시사한다. Roughly half of the studies that referred to data saturation as an explanation for number of focus groups did not appear to be consistent in their use of approach. These findings support earlier reviews of the field.
Twohig and Putnam [7], were also startled by the variation in procedures and reporting of focus group studies, and
Webb and Kevern [58], who reviewed focus group studies in nursing research, found that authors used terms such as "Grounded theory" in non-rigorous ways.
These authors also conclude that researchers, on the whole, did not follow basic premises for reaching saturation such as concurrent data generation and analysis, or an "iterative process" [15].
Our study shows the same tendencies, and suggests that the increased use of focus groups in health care studies has not led to an improvement in the quality of reporting.
우리는 또한 우리가 찾지 못한 것에 충격을 받았다. 포커스 그룹 연구에 대한 우리의 경험에서, [모집recruitment 문제]는 이 검토가 나타내는 것보다 훨씬 더 흔하다. 또한 제한된 비용과 시간을 포함하여 수행된 포커스 그룹의 수를 제한할 수 있는 여러 가지 현실적인 한계가 발생한다. 자원 제약이 제기된 한 연구를 제외하고, 언급된 유일한 실질적인 제한은 더 많은 참여자를 모집하는 데 어려움이 있었다.
We were also struck by what we did not find. In our own experience with focus group research, recruitment problems are much more common than this review indicates. In addition, a number of practical limitations arise that can limit the number of focus groups conducted, including limited money and time. Excepting one study, where resource constraints were brought up, the only practical limitations mentioned were difficulties in recruiting more participants.
또 다른 'non-finding'은 [많은 수의 포커스 그룹]을 연구의 잠재적 한계로 논의한 연구가 없다는 것이다. 이러한 연구에서 데이터의 풍부함과 깊이를 도출하기 위한 정성적 방법론의 장점에 대한 빈번한 언급을 고려할 때, 저자들이 다수의 포커스 그룹의 데이터를 철저히 분석하기 어렵다는 주장을 전혀 사용하지 않은 이유는 명확하지 않다.
Another non-finding was that none of the studies discussed a large number of focus groups as a potential limitation of the study. Given frequent references in these studies to the advantages of qualitative methodology for eliciting richness and depth of the data, it is not evident why the authors never used the argument that data from a large number of focus groups is difficult to analyse thoroughly.
잘못된 보고는 어떻게 설명할 수 있는가? How can poor reporting be explained?
연구에 나타난 부적절한 보고는 [대부분의 건강 과학 저널이, 질적 연구자들에게 구체적인 보고 기준을 요구하지 않는다는 사실]을 반영할 수 있다. 그러나, 이러한 저자들 사이의 부실한 보고는 또한 포커스 그룹 기반 데이터 수집을 수행하고자 하는 연구자들에게 적절하게 기술되고 일관된 조언이 부족함을 반영하는 포커스 그룹의 수를 언제 어떻게 결정해야 하는지에 대한 혼란을 나타내는 것 같다. The inadequate reporting indicated in our study could reflect the fact that most health science journals do not require specific standards of reporting from contributors presenting qualitative research. However, the poor reporting among these authors also seem to indicate confusion about when and how to decide the number of focus groups, which may reflect a lack of properly described, consistent advice to researchers wishing to carry out focus group-based data collection.
teaching material에서 표본 크기에 대한 주의의 부족은 표본 크기가 그러한 연구에서 중요하지 않다는 표시로 쉽게 인식될 수 있다. 게다가, 제공되는 조언은 혼란스럽고 때로는 상충되기도 한다.
글레이저와 스트라우스의 이론적 포화 절차는 저자들에게 이론적인 표본 추출을 사용하고 포화 상태가 될 때까지 반복적으로 데이터를 분석하고 수집하도록 지시하지만, 이 접근법을 어떻게 운용할지에 대한 자세한 해석을 제공하지 않는다.
한편, 포커스 그룹 방법론에 관한 "how to do" 문헌은 [포화점에 도달하기 전에 연구자들이 수행하기를 기대해야 하는 그룹의 수]에 관한 실용적인 조언을 제공하지만, [실제 포화점을 어떻게 결정할지]는 명확히 하지 않는다. 따라서 이 조언은 연구자들이 그룹 수에 대한 그들의 제안을 따르고, 모든 데이터를 수집한 후에 분석을 하도록 유혹할 수 있다. 그런 다음 데이터가 포화 상태에 이를 것으로 예상함에 따라 포화 상태에 대한 결론을 도출할 때 비판적 감각이 저하될 수 있습니다.
The lack of attention to sample size in the teaching material could easily be perceived as an indication that sample size is unimportant in such studies. In addition, the advice that is offered is confusing and sometimes conflicting.
While the Glaser and Strauss's procedure of theoretical saturation instructs authors to use theoretical sampling and to analyse and collect data iteratively until saturation is achieved, it does not offer a detailed interpretation of how to operationalise this approach.
The "how to do" literature on focus group methodology, on the other hand, offers pragmatic advice regarding the number of groups that researchers should expect to conduct before point of saturation is reached, but do not clarify how to decide about point of saturation in practice. This advice may thus tempt researchers to follow their suggestions for number of groups and do the analysis after collecting all data. Then, as they expect data to be saturated, their critical sense could be undermined when drawing conclusions about saturation.
데이터 포화 개념의 실제 적용 문제가 있음에도, '데이터 포화'는 질적 건강 연구에서 무언가 이상적인 것이 된 것 같다. 이는 비록 제대로 운영되지 않았지만, 필요한 정확한 인터뷰 수에 대한 조언을 제공하는 유일한 이론이기 때문일 수 있다. 전통적으로 건강 연구의 긍정적인 영역에서 편집자들은 정확한 수의 그룹에 대한 설명을 선호하는 경향이 있을 것이다. 실무적 한계, 특히 경제적 또는 자원적 한계에 대한 명시적 언급은 허용되지 않을 수 있다. Despite problems associated with the practical application of the concept of data saturation, it seems to have become something of an ideal in qualitative health research. This could be due to the fact that it is the only theory that offers advice, albeit, poorly operationalised, about the exact number of interviews needed. It is plausible that editors in the traditionally positivistic realm of health research are inclined to prefer explanations for exact number of groups. Practical limitations might not be as acceptable, especially not explicit references to economic or resource limitations.
이러한 연구의 방법론 논의에서 저자들은 종종 질적 연구에서 작은 표본 크기가 합법적이라고 지적한다. 동시에, 그들은 종종 항상 연구 한계로 간주되는 작은 표본 크기를 정당화해야 할 필요성을 느낀다. 이것은 질적 연구가 보건 과학 저널에서 여전히 소수라는 사실의 결과일 수 있다. 실증주의적 관점에서는 "지나치게 많은 그룹"이라는 것이 가능하다는 주장을 어렵게 만든다. 그럼에도 불구하고, 질적연구의 품질은 데이터의 깊이와 풍부성 및 분석에 따라 달라진다. 따라서 [포커스 그룹의 수]와 [설명의 thickness] 사이의 tradeoff에 대한 레퍼런스는 (제한된) 표본 크기에 대해 허용 가능한 설명이어야 한다. 표본 규모에도 윤리적 측면이 있다: 과도한 인터뷰는 추가적인 과학적 가치에 의해 정당화되지 않고, 환자나 의료 종사자들에게 부담을 주는 것을 의미하므로 비윤리적인 것으로 간주될 수 있다.
In the methodology discussions of these studies, authors often point out that small sample sizes are legitimate in qualitative studies. At the same time, they often feel the need to justify small sample sizes which they invariably see as a study limitation. This may be a consequence of the fact that qualitative studies are still in a minority in health science journals. Here, more positivistic traditions may make it difficult to argue that a qualitative study can have too many groups. Nevertheless, the quality of qualitative studies does depend on the depth and richness of the data and its analysis. Reference to the trade-off between number of focus groups and the thickness of our description should therefore be an acceptable explanation for (a limited) sample size. There is also an ethical side to sample size: an excessive number of interviews means placing a burden on patients or health workers that is not legitimised by added scientific value and can thereby be seen as unethical.
강점 및 제한 사항 연구 Study strengths and limitations
우리의 연구의 한계는 우리의 샘플이 오픈 액세스 저널에서 채취되었다는 것이었다. 이를 통해 관리 가능한 연구 샘플에 쉽고 즉시 액세스할 수 있고 독자가 결과를 쉽게 확인할 수 있지만, 열린 액세스 필터 없이 빠르게 검색하면 2008년에 발표된 모든 포커스 그룹 연구의 20% 미만을 나타내는 샘플이다. 우리는 우리의 샘플이 사용 가능한 연구의 나머지 80%와 어떻게 다를 수 있는지에 대해 상대적으로 거의 알지 못한다. 현재 연구에 따르면 개방형 저널에 게재된 기사는 다른 기사보다 더 자주 인용된다[59]. 따라서 우리가 평가한 논문은 다른 비개방형 기사보다 더 높은 프로파일일 수 있으며 다른 연구자의 예로서 사용될 가능성이 더 높을 수 있다. 우리는 우리의 연구 결과가 주로 개방형 접근 연구에 유효하다는 것을 강조하지만, 따라서 이러한 보고서의 품질을 확보하는 것이 더욱 중요해 보인다. A limitation of our study was that our sample was taken from open-access journals. While this gave us easy and immediate access to a manageable sample of studies and also allows our readers to easily check our results, a quick search without the open access filter indicates that our sample represents less than 20% of all published focus group studies in 2008. We know relatively little about how our sample might differ from the remaining 80% of available studies. Current research does suggest that articles published in open-access journals are more often cited than other articles [59]. It is therefore possible that the articles we evaluated are of a higher profile than other non-open-access articles and may be more likely to serve as examples for other researchers. While we emphasise that our findings are primarily valid for open access studies, it therefore seems all the more important to secure the quality of these reports.
우리는 포커스 그룹 인터뷰가 종종 주로 정량적 설계의 일부인 혼합 방법 연구도 포함시켰다. 그러한 연구에서 저자들은 질적 연구를 보고하기 위한 표준을 준수하는 것을 목표로 하지 않을 수 있다. 한편, 포커스 그룹을 사용했다고 보고한 연구자들은 그러한 연구에 대한 방법론적 기준을 준수해야 한다고 주장할 수 있다. We have therefore also included mixed method studies, where the focus group interviews are often part of a predominantly quantitative design. In such studies the authors may not aim to adhere to standards for reporting qualitative studies. On the other hand, it could be argued that researchers who report that they have used focus groups should adhere to the methodological standards for such studies.
결론 Conclusions
연구자들은 사용된 방법에 대해 항상 정확하고 상세한 정보를 제공해야 하지만, 우리의 연구는 포커스 그룹 샘플 크기에 대한 불충분하고 일관되지 않은 보고를 보여준다.
While researchers should always provide correct and detailed information about the methods used, our study shows poor and inconsistent reporting of focus group sample size. Editorial teams should be encouraged to use guidelines for reporting of methods for qualitative studies, such as RATShttp://www.biomedcentral.com/info/ifora/rats.
우리의 연구는 또한 잘못된 보고가 최적의 표본 크기를 달성하는 방법에 대한 명확하고 증거 기반 지침의 부족을 반영할 수 있다는 것을 보여준다. 이러한 상황을 수정하기 위해서는, (경험적 연구에 기초한) 교재와 교과서를 포커스 그룹 방법론에 사용해야 하며, 적용 가능하고 정확한 권고사항이 필요하다. 아이러니하게도 [고품질 방법론 연구]의 한 가지 장애물은 현재와 같은 [일차 연구 저자들의 부적절한 보고]이다.
Our study also indicates that poor reporting could reflect a lack of clear, evidence-based guidance about how to achieve optimal sample size. To amend this situation, text books and teaching material based on empirical studies into the use of focus group methodology and applicable and precise recommendations are needed. Ironically, one barrier to high-quality methodological studies is the current lack of proper reporting by authors of primary studies.
BMC Med Res Methodol.2011 Mar 11;11:26.
doi: 10.1186/1471-2288-11-26.
What about N? A methodological study of sample-size reporting in focus group studies
Background:Focus group studies are increasingly published in health related journals, but we know little about how researchers use this method, particularly how they determine the number of focus groups to conduct. The methodological literature commonly advises researchers to follow principles of data saturation, although practical advise on how to do this is lacking. Our objectives were firstly, to describe the current status of sample size in focus group studies reported in health journals. Secondly, to assess whether and how researchers explain the number of focus groups they carry out.
Methods:We searched PubMed for studies that had used focus groups and that had been published in open access journals during 2008, and extracted data on the number of focus groups and on any explanation authors gave for this number. We also did a qualitative assessment of the papers with regard to how number of groups was explained and discussed.
Results:We identified 220 papers published in 117 journals. In these papers insufficient reporting of sample sizes was common. The number of focus groups conducted varied greatly (mean 8.4, median 5, range 1 to 96). Thirty seven (17%) studies attempted to explain the number of groups. Six studies referred to rules of thumb in the literature, three stated that they were unable to organize more groups for practical reasons, while 28 studies stated that they had reached a point of saturation. Among those stating that they had reached a point of saturation, several appeared not to have followed principles from grounded theory where data collection and analysis is an iterative process until saturation is reached. Studies with high numbers of focus groups did not offer explanations for number of groups. Too much data as a study weakness was not an issue discussed in any of the reviewed papers.
Conclusions:Based on these findings we suggest that journals adopt more stringent requirements for focus group method reporting. The often poor and inconsistent reporting seen in these studies may also reflect the lack of clear, evidence-based guidance about deciding on sample size. More empirical research is needed to develop focus group methodology.
질적 면담 연구에서 샘플 사이즈: 정보력에 의하여 (Qual Health Res, 2016)
Sample Size in Qualitative Interview Studies: Guided by Information Power Kirsti Malterud1,2,3, Volkert Dirk Siersma1, and Ann Dorrit Guassora1
배경 Background
정성적 연구자는 연구를 계획하는 동안 표본 크기를 먼저 평가한 다음, 연구 과정에서 표본 크기를 지속적으로 평가하여 최종적으로 분석 및 최종 출판에 적합한지를 확인할 수 있는 도구가 필요하다(Guest, Bunce, & Johnson, 2006; Morse, 1995; Sandelowski, 1995). 정량적 연구에서 검정력 계산은 개입에 따른 특정 크기의 효과를 입증하는 데 필요한 표본 크기(N)를 결정합니다. 질적 인터뷰 연구의 경우 표본 크기를 평가하기 위한 유사한 표준은 존재하지 않는다. Qualitative researchers need tools to evaluate sample size first while planning a study, then during the research process to appraise sample size continuously, and finally to ascertain whether the sample size is adequate for analysis and final publication (Guest, Bunce, & Johnson, 2006;Morse, 1995;Sandelowski, 1995). In quantitative studies,power calculationsdetermines which sample size (N) is necessary to demonstrate effects of a certain magnitude from an intervention. For qualitative interview studies, no similar standards for assessment of sample size exist.
리뷰에 따르면 정성적 연구자가 보이는 [표본 크기와 이에 대한 기본 논거에 관한 투명성]은 낮다(Carlsen & Glenton, 2011; Mason, 2010). 종종, 저자들은 포화가 달성되었다고 주장하면서, 더 많은 참여자들의 추가는 포화가 어떻게 평가되었는지에 대한 그들의 이해를 명시하지 않고 분석에 아무것도 추가하지 않았다고 추론한다. 포화 개념은 원래 Glaser와 Strauss(1999)에 의해 기초 이론(GT) 분석에서 지속적 비교constant comparison의 특정 요소로 만들어졌다. GT 프레임워크 내에서 샘플 크기는 모든 새로운 관측치를 이전 분석과 비교하여 유사점과 차이점을 식별하는 진행 중인 분석의 한 요소로 평가됩니다. 그러나 포화 개념은 GT가 아닌 맥락에서 개념을 어떻게 이해해야 하고 참여자 수를 정당화하는 데 어떻게 기여해야 하는지에 대한 설명 없이 다른 분석 접근법에 기초한 연구에서 반복적으로 주장된다. Reviews indicate that qualitative researchers demonstrate a low level of transparency regarding sample sizes and the underlying arguments for these (Carlsen & Glenton, 2011;Mason, 2010). Often, the authors just claim that saturation was achieved, inferring that addition of more participants did not add anything to the analysis, without specifying their understanding of how saturation has been assessed. Thesaturationconcept was originally coined byGlaser and Strauss (1999)as a specific element of constant comparison in Grounded Theory (GT) analysis. Within the GT framework, sample size is appraised as an element of the ongoing analysis where every new observation is compared with previous analysis to identify similarities and differences. The saturation concept is, however, again and again claimed in studies based on other analytic approaches, without any explanation of how the concept should be understood in this non-GT context and how it serves to justify the number of participants.
정성적 연구에서 표본 크기를 결정하는 일반적인 원칙은 N이 연구의 목적을 설명하기에 충분히 크고 다양해야 한다는 것이다(Kuzel, 1999; Marshall, 1996; Patton, 2015). 비록 경험이 풍부한 연구자들이 책임 있는 분석에 도달하기 위해 이전의 비교 연구에서 필요했던 대략적인 단위 수에 대한 자체적 규칙을 따르는 것처럼 보이지만, 이 원칙은 계획을 위한 가이드를 제공해주지는 않는다(Mason, 2010). A commonly stated principle for determining sample size in a qualitative study is thatNshould be sufficiently large and varied to elucidate the aims of the study (Kuzel, 1999;Marshall, 1996;Patton, 2015). However, this principle provides no guidance for planning, although experienced researchers seem to follow their own rules of thumb about approximate numbers of units that were needed in previous comparable studies to arrive at a responsible analysis (Mason, 2010).
우리는 계획 수립을 위해 표본 크기의 근사치가 필요한 반면, 최종 표본 크기의 적합성은 연구 과정 동안 지속적으로 평가되어야 한다는 전개념을 공유한다. 정성적 연구에서 표본 크기의 원칙을 검토하면서, 우리는 공식이나 인식된 중복성에 의해 표본 크기를 예측할 수 없다고 주장할 것이다. We shared the preconception that an approximation of sample size is necessary for planning, while the adequacy of the final sample size must be continuously evaluated during the research process. Reviewing principles of sample size in qualitative studies, we shall below argue that sample size cannot be predicted by formulae or by perceived redundancy.
표본 크기를 안내하는 도구는 특정 분석 방법의 절차에 의존해서는 안 되며, 적절한 단위, 사건 또는 참가자의 수를 추정하기 위한 공유된 방법론적 원칙shared methodological principles에 의존해야 한다. 이를 위해 정보력information power라는 개념을 제안한다. 표본이 보유한 정보력이 클수록 N이 낮아져야 하며, 그 반대도 마찬가지이다. Tools to guide sample size should not rely on procedures from a specific analysis method, but rest on shared methodological principles for estimating an adequate number of units, events, or participants. For this purpose, we propose the conceptinformation power. The larger information power the sample holds, the lowerNis needed, and vice versa.
방법 Method
우리는 유도적으로 모델을 개발하고 정교하게 만들었다. 먼저, 우리는 가상의 연구로 제시된 사례를 스케치했습니다. 이 연구는 계획되거나 시행된 것은 아니지만 우리의 논의와 조사의 구체적인 참고 자료로 이용되었다. 그런 다음, 우리는 이 사례를 출발점으로 삼아 이 특정 연구에서 정보력과 표본 크기에 영향을 미치는 것으로 간주한 조건을 검토했다. 마지막으로, 우리는 허구 연구의 특정 맥락을 넘어 인터뷰 연구로 이전될 수 있도록 의도된 항목 및 그 차원을 모델로 개념화했다. We have developed and elaborated the model inductively. First, we sketched a case presented as a fictional study. This study has neither been planned nor conducted but served as a specific reference for our discussions and elaborations. Then, we took this case as our point of departure for a review of conditions we considered to have an impact on information power and sample size in this specific study. Finally, we conceptualized the items and their dimensions as a model, intended to be transferable to interview studies beyond the particular context of the fictional study.
사례: 당뇨성 족궤양 체험에 관한 인터뷰 연구 The Case: Planning an Interview Study on Diabetic Foot Ulcer Experiences
우리는 이 경우를 자가 치료 이론에 기여하고 보건 전문가에 대한 환자의 관행을 설명하는 것이 전반적인 목표인 박사 연구의 세 가지 하위 프로젝트 중 첫 번째 프로젝트로 위치시켰다. 이번 하위프로젝트의 목적은 환자가 궤양을 치료하기 위해 수행하는 활동과 이를 위한 동기를 설명함으로써 당뇨병성 발궤양 환자의 자기관리를 탐구하는 것이었다. 박사과정 학생은 서술적 교차사례 분석이 실시된 이전 프로젝트의 질적 연구에 이미 약간의 경험이 있는 젊은 MD였다. 참가자는 최근 첫 궤양 진단을 받은 당뇨병 외래환자 중 한 명이다. 추가 표본 추출 전략과 기준은 반구조 개별 인터뷰를 통한 데이터 수집과 함께 단계적 분석을 통해 통보될 것이다. We situated the case as the first of three subprojects of a PhD study where the overall objective was to contribute to theories of self-care and to describe patients’ practices for health professionals. The aim of the present subproject was to explore self-care among patients with diabetic foot ulcers by describing activities performed by patients to treat the ulcers and their motivation for doing so. The PhD student was a young MD who already had some experience with qualitative research from a previous project where descriptive cross-case analysis had been conducted. Participants would be recruited among patients in a diabetes out-patient clinic who had recently been diagnosed with their first ulcer. Further sampling strategies and criteria would be informed by stepwise analysis along with data collection by means of semi-structured individual interviews.
이 과정 중에 언제 모집을 중단해야 하는지는 초보 연구자에게 간단한 결정이 아닐 것이다. 연구비 제안서는 연구의 목적을 설명하고 데이터 수집에 얼마나 많은 시간이 필요한지에 대한 아이디어를 얻기 위해 얼마나 많은 참가자가 필요한지 계획하기 위해 인터뷰 횟수의 사전 추정치를 요청했다. 이전의 조사로부터, 그녀의 상사는 이 프로젝트에 필요한 참가자 수에 대한 몇 가지 생각을 가지고 있었다. 그러나 학생은 자신의 연구를 계획하고 책임 있는 분석을 수행하는 데 얼마나 많은 참가자가 필요할지에 대한 몇 가지 기준에 따라 결정을 내리는 것을 선호할 것이다. 아래에서는 서로 다른 방식으로 샘플의 정보 파워를 결정하는 5가지 주요 항목을 평가하여 샘플 크기를 평가하는 도구로 개발한 모델을 제시합니다.
When to stop recruitment during this process would not be a simple decision for the novice researcher. The grant proposal requested an advance estimate of the number of interviews to plan how many participants were needed to elucidate the aim of the study and to get an idea of how much time the data collection would require. From previous research, her supervisor had some ideas about the number of participants needed for this project. The student would, however, prefer to plan her study and make her decisions on the basis of some standards about how many participants she would need to conduct a responsible analysis. Below, we present the model we developed as a tool to appraise sample size by appraisal of five major items that in different ways determine the information power of the sample.
정보 파워에 영향을 미치는 항목 Items Having an Impact on Information Power
그러나 실제 생활에서는 아이템이 서로 연관되어 있고 상호 영향을 미친다. In real life, however, the items are related and have a mutual impact on each other.
연구 목표—좁습니까? 넓습니까? Study Aim—Narrow or Broad?
적절한 표본 크기를 안내하는 정보 파워는 연구 목적과 관련이 있다. 광범위한 연구 목표는 충분한 정보 전력을 제공하기 위한 좁은 목표보다 더 큰 샘플이 필요하다. 왜냐하면 연구 중인 현상이 더 포괄적이기 때문이다. 첫 당뇨병성 족궤양 환자가 붕대의 이동을 어떻게 관리하는지 알아보는 것을 목표로 하는 연구는 발궤양 환자가 일상 생활에서 어떻게 자기 관리를 하는지에 대한 연구보다 참여자가 훨씬 더 적게 필요할 것이다. Information power, guiding adequate sample size is related to the study aim. A broad study aim requires a larger sample than a narrow aim to offer sufficient information power, because the phenomenon under study is more comprehensive. A study aiming to explore how patients with their first diabetic foot ulcer manage shift of bandages would need notably fewer participants than a study about how patients with foot ulcer generally manage self-care in everyday life.
우리의 경우, 연구원은 더 크고 목적 있는 샘플을 모집하여 참가자의 수를 늘리거나, 충분한 정보 능력을 유지하기 위해 연구의 목표를 좁히는 것 중 하나를 선택해야 할 것이다. 그러나 이 연구의 목적이 당뇨병성 발궤양을 가진 맹인 환자의 자기 관리와 같은 매우 구체적이거나 드문 경험에 관한 것이라면, 이는 그 자체로 적격 참가자의 수를 제한할 것이다. 연구의 대안적 강조점은 개인 자원이 [당뇨병성 발궤양]의 자기 관리를 어떻게 방해하는지를 탐구하는 것일 수 있다. 만약 그렇다면, 한 명의 단일 참가자나 소수의 참가자와의 인터뷰를 기반으로 한 연구는 높은 수준의 정보 파워로부터 흥미로운 가설에 접근할 수 있다. 인터뷰 연구의 목적을 정의하면서, 연구자는 또한 연구 결과의 전이가능성transferability에 관한 몇 가지 약속을 제공한다. 그 목적을 달성하기 위해서는 샘플의 정보력이 매우 중요할 것입니다.
In our case, the researcher would have to choose between extending the number of participants by recruiting a larger, purposive sample, or narrowing the aim of the study to maintain sufficient information power. If, however, the aim of the study concerns a very specific or rare experience, such as self-care among blind patients with diabetic foot ulcers, this would in itself limit the number of eligible participants. An alternative emphasis of the study could be to explore how individual resources interfere with self-care of diabetic foot ulcers. If so, a study based on interviews with one single or just a few participants might provide access to exciting hypotheses from a high level of information power. Defining the aim of the interview study, the researcher also offers some promises regarding transferability of the findings. The information power of the sample will be critical to achieve the aim.
샘플 특수성—밀도가 높은가, 희소성이 있는가? Sample Specificity—Dense or Sparse?
정보 파워는 또한 샘플에 포함된 참가자 사이의 경험, 지식 또는 속성의 특수성과 관련이 있다. 충분한 정보 파워를 제공하기 위해서는, (희박한 특이성sparse specificity을 가진 참가자를 포함하는 샘플과 비교한다면) [연구 목적에 매우 특정한 특성을 가진 참가자]가 있을 때 덜 광범위한 샘플이 필요하다. 특정 목표 그룹에 속한 참가자는 여기서 탐구해야 할 경험 내에서 일부 변화를 보여준다. Information power is also related to the specificity of experiences, knowledge, or properties among the participants included in the sample. To offer sufficient information power, a less extensive sample is needed with participants holding characteristics that are highly specific for the study aim compared with a sample containing participants of sparse specificity. Specificity concerns here participants who belong to the specified target group while also exhibiting some variation within the experiences to be explored.
[타겟 그룹의 개인이 이전에 설명하지 않은 경험을 보유한 경우] 이러한 샘플도 정보 파워를 향상시킬 수 있다. 예를 들어, 환자 자원에 의해 자가 치료가 제한된다는 것을 알기에, 우리는 [궤양을 다루는 데 있어서의 성공정도의 variation]과 [연령, 성별, 당뇨병 유형에 관한 variation]을 모두 포함하여, 당뇨병 클리닉의 간호사들과의 논의를 통해 식별된 특별한 샘플을 목표로 할 수 있다. 만약 우리가 발궤양 환자만을 포함하도록 모집 절차를 제한하지 않는다면, 우리가 연구한 경험을 가진 사람들을 다루기 위해 훨씬 더 많은 참가자가 필요할 것이다. A sample including individuals from the target group holding experiences not previously described could also enhance information power. Knowing that self-care is limited by patient resources, we could, for example, aim for an especially specific sample identified by discussions with the nurses at the diabetic clinic including variations of both success in handling ulcers and some variation in age, gender, and type of diabetes. If we do not constrain recruitment procedures to include only patients with foot ulcers, a much larger number of participants would be needed to cover those whose experiences we study.
그러나 특정한 변이variation 측면을 염두에 두고 수립된 목적적 표본이 항상 실현 가능한 것은 아니다. 표본 구성에 영향을 주지 않고 이용 가능한 참가자를 수용하는 편의 표본 추출 전략은 더 제한된 특수성의 위험을 의미하므로 더 많은 참가자가 필요하다. 그러한 모집 전략에 따라, 우리는 아마도 궤양과 그들의 근본적인 동기를 치료하기 위해 환자가 수행하는 충분히 광범위한 활동 범위를 얻기 위해 더 많은 인터뷰와 참가자가 필요할 것이다. 하지만, 우리는 운이 좋아서 다양한 경험을 가진 참가자 그룹을 얻을 수도 있습니다. 따라서 표본 특수성은 항상 예측할 수 없지만 적절한 모집에 의해 뒷받침될 수 있다.
Still, a purposive sample, established with specific aspects of variation in mind, is not always feasible. The strategy of convenience sampling, accepting participants who are available, without trying to influence the configuration of the sample, implies the risk of more limited specificity, thereby requiring more participants. Following such a recruitment strategy, we would probably need more interviews and participants to obtain a sufficiently broad scope of activities performed by patients to treat the ulcers and their underlying motivations. However, we might be fortunate and drop into a group of participants with a diversity of experiences. Hence, sample specificity cannot always be predicted but can be supported by suitable recruitment.
확립된 이론—적용 여부? Established Theory—Applied or Not?
또한 적절한 표본 크기를 안내하는 정보 파워는 연구의 이론적 배경 수준과 관련이 있다. 일반적으로 [제한된 이론적 관점에 의해 뒷받침되는 연구]는 [계획 및 분석에 특정 이론을 적용하는 연구]보다 충분한 정보력을 제공하기 위해 더 큰 샘플이 필요할 것이다. 예를 들어, [전문가들이 행사하는 권위에 대한 사회과학의 이론]은 당뇨병성 발궤양에 대한 자기관리 경험에 대한 우리의 연구의 정보력을 향상시킬 수 있다. 다소 작은 샘플에서도, [특정 자가 치료를 수행하도록 의도하는 professional authority]에 대항하기 위해 환자가 사용하는 전략을 모색한다면, 새로운 지식을 얻을 수 있다.
Furthermore, information power, guiding adequate sample size is related to the level of theoretical background of the study. A study supported by limited theoretical perspectives would usually require a larger sample to offer sufficient information power than a study that applies specific theories for planning and analysis. Theories from social science about the authority that professionals exercise might, for example, enhance the information power of our study about self-care experiences with diabetic foot ulcers. New knowledge, even from a rather small sample, might be obtained by looking for strategies used by patients to counter professional authority intended to make them perform specific self-care.
이론은 경험적 인터뷰 데이터 이상으로 지식의 출처를 확장할 뿐만 아니라 기존 지식을 통합하는 역할을 한다. 반대로, 이론적 배경이 없는 상태에서 처음부터 시작하는 또 다른 연구는 결론의 근거를 마련해야 한다. 그렇다면 충분한 정보 파워를 부여하기 위해서는 더 큰 표본 크기가 필요할 것이다. 이론적 프레임워크는 경험적 데이터의 다른 측면 간의 관계를 일관성 있는 방식으로 설명할 수 있는 모델과 개념을 제공한다. 아주 적은 수의 경험적 연구도, 이론에 중요한 것을 다루고 설명한다면 변화를 일으킬 수 있다.
Theory serves to synthesize existing knowledge as well as extending the sources of knowledge beyond the empirical interview data. On the contrary, another study starting from scratch with no theoretical background must establish its own foundation for grounding the conclusions. If so, a larger sample size would probably be needed to grant sufficient information power. Theoretical frameworks offer models and concepts that may explain relations between different aspects of the empirical data in a coherent way. Empirical studies with very small numbers can make a difference if they address and elucidate something crucial to theory.
대화의 질—강력한가, 약한가? Quality of Dialogue—Strong or Weak?
정보력은 인터뷰 대화의 질과도 관련이 있다. 연구자와 참가자 간의 강력하고 명확한 커뮤니케이션이 있는 연구는 모호한 또는 집중되지 않은 대화를 가진 연구보다 충분한 정보 파워를 제공하는 참가자의 수가 적다. 정성적 연구에서, 경험적 데이터는 연구자와 참여자 사이의 복잡한 상호작용에 의해 공동 구성되며, 정보력이 확립되는 의사소통의 품질을 결정하는 이슈는 여러가지이다. 경험적 자료의 분석적 가치는 인터뷰어의 스킬과 참가자의 명확성, 그 사이의 화학성 등에 따라 달라지며 대화의 질을 미리 예측하기 어렵다. Information power is also related to the quality of the interview dialogue. A study with strong and clear communication between researcher and participants requires fewer participants to offer sufficient information power than a study with ambiguous or unfocused dialogues. In a qualitative study, empirical data are co-constructed by complex interaction between researcher and participant, and a number of issues determine the quality of the communication from which the information power is established. Analytic value of the empirical data depends on the skills of the interviewer, the articulateness of the participant, and the chemistry between them, and it is difficult to predict the quality of the dialogue in advance.
저희 연구에서, 박사과정 학생은 지난 2년 동안 이 분야에서 자신의 지역 가정간호서비스의 컨설턴트로 일해왔기 때문에 당뇨발궤양에 대한 평균 이상의 배경지식을 보유하고 있습니다. 그녀에게 있어서 인터뷰는 주제 영역과의 첫 만남이 아닐 것이며, 그녀는 쉽게 참가자들의 자기 관리 방식에 접근할 것이다. 하지만, 천성적으로, 그녀는 다소 수줍어하고, 신뢰를 쌓고 보고하는 데 시간이 좀 걸립니다. 따라서 그녀는 사전에 추가 인터뷰 교육을 받거나 샘플 크기를 늘려야 할 수도 있다. 그녀의 더 경험이 많은 감독관과 경험 많은 면접관은 그녀의 이전 프로젝트에서 기존 지식에 기여할 수 있는 분석을 위한 적절한 정보 능력을 가진 샘플을 만들기 위해 여섯 번의 인터뷰를 사용했다. 긴장과 상반된 견해와의 인터뷰 상호작용은 친밀한 세부사항에 대해 이야기하는 데 필요한 자신감을 감소시킬 수 있다. 그러나, 연구자가 참여자에게 결코 도전하지challenge 않는다면, 낮은 정보력만 가진 경험적 데이터를 개발할 위험을 가지고 있으며, 그 결과 분석 중에 이전부터 알려진 것만 재현할 수 있다.
In our study, the PhD student holds more than average background knowledge about diabetic foot ulcers, because she has been a consultant for the home nursing service in her area within this field the last 2 years. For her, the interviews would not be her first encounter with the subject area, and she would easily approach the participants’ self-care practices. However, by nature, she is rather shy, and it takes her some time to establish trust and report. It might therefore be necessary for her to obtain some extra interview training in advance, or to increase sample size. Her more experienced supervisor, well read in diabetes complications, and an experienced interviewer, used six interviews to establish a sample with adequate information power for an analysis that could contribute to existing knowledge in her previous project. An interview interaction with tensions and conflicting views may reduce the confidence needed to talk about intimate details. However, a researcher who never challenges his or her participant runs the risk of developing empirical data holding low information power, which, during analysis, only reproduces what is known from before.
분석 전략—사례 또는 교차사례? Analysis Strategy—Case or Cross-Case?
마지막으로, 정보 파워는 특정 프로젝트에서 분석을 위해 선택한 전략과 관련이 있습니다. 탐색적 사례 분석을 위해서는 [소수의 선택된 참가자의 내러티브 또는 담화 세부 정보의 심층 분석을 위한 프로젝트에 비해] 더 많은 참가자가 충분한 정보 파워를 제공해야 한다. 이 프로젝트에서는 일반적인 자가 치료 관행과 그 기초에 대한 현실적이고 실용적인 설명을 임상 실습에 적용할 수 있는 기여로 밝혀내고 싶기 때문에 주제 교차 사례 분석이 수행될 것이다(Malterud, 2012). 따라서 다양한 경험을 가진 6명에서 10명의 참가자를 대상으로 한 객관적인 샘플은 보건 전문가에게 유용한 교훈을 가르치는 다양한 자기 관리 관행에 대한 설명에 충분한 정보 능력을 제공할 수 있다. Finally, information power is related to the strategy chosen for analysis in the specific project. An exploratory cross-case analysis requires more participants to offer sufficient information power compared with a project heading for in-depth analysis of narratives or discourse details from a few, selected participants. In this project, a thematic cross-case analysis will be conducted, because we want to uncover realistic and pragmatic descriptions of customary self-care practices and their foundations as a contribution applicable in clinical practice (Malterud, 2012). Referring to the supervisor’s experience, a purposive sample of six to 10 participants with diverse experiences might therefore provide sufficient information power for descriptions of different self-care practices teaching health professionals some useful lessons.
탐색적exploratory 분석에서, Ambition은 전체 범위의 현상을 다루는 것이 아니라 연구 목적과 관련된 선택된 패턴을 제시하는 것이다.
의도적으로 선택되고 설명이 잘 된 단일 참가자는 일반적인 사례를 설명할 수 있지만 자가 치료의 변화variation를 보여주지는 않는다.
정반대의 습관을 가진 두 명의 참가자는 연속체의 다른 측면을 설명할 수 있지만 본선에서 벗어나는 불일치를 받아들이기에는 충분하지 않을 것이다.
50명의 참가자는 실제 관행에 관한 일탈뿐만 아니라 모든 충분한 변형을 제공할 수 있다. 그러나 경험적 데이터의 개요를 파악하는 것은 더 어려워질 것이다(개요를 파악하는 것은 잠재적 패턴의 주제분석의 시작점이다). 또한 적절한 상호 주관성 제시하거나 추가 분석을 위해 구성하기도 어려워질 것이다.
Within an exploratory analysis, the ambition is not to cover the whole range of phenomena, but to present selected patterns relevant for the study aim.
A single, deliberately chosen and well-articulated participant might illustrate a typical case but not demonstrate variations in self-care.
Two participants with diametrically opposite habits might illustrate different aspects of a continuum but would not be sufficient to embrace discrepancies deviating from the main line.
Fifty participants might provide all the sufficient variations as well as deviances regarding the actual practices. However, the overview of empirical data, needed as the point of departure for an accountable, thematic analysis of potentially relevant patterns, would become difficult to grasp, to present appropriate intersubjectivity, and to organize for further analysis.
질적 인터뷰 연구에서의 정보력—모델 Information Power in Qualitative Interview Studies—The Model
위의 반영으로부터, 우리는 질적 인터뷰 연구에서 일반적으로 샘플 크기를 평가하기 위한 도구로 의도된 모델로 항목과 항목 치수를 개념화했다(그림 1). 이 모델을 사용하여 실제 스터디의 정보 능력에 영향을 미치는 항목에 체계적으로 반영할 수 있습니다.
From our reflections above, we have conceptualized the items and their dimensions as a model intended as a tool to appraise sample size in qualitative interview studies in general (Figure 1). The model can be used to reflect systematically on items with an impact on the information power in the actual study.
Figure 1.Information power—Items and dimensions.
모델에 따르면, 연구 목적, 표본 특이성, 이론적 배경, 대화의 질 및 분석 전략에 대한 고려사항은 표본에 포함된 참여자가 더 적거나 더 많으면 충분한 정보력을 얻을 수 있는지 여부를 결정해야 한다.
According to the model, considerations about study aim, sample specificity, theoretical background, quality of dialogue, and strategy for analysis should determine whether sufficient information power will be obtained with less or more participants included in the sample.
아래의 경우 더 적은 수의 참여자가 필요할 것이다.
연구 목표가 좁을 때,
참가자 조합이 연구 목적에 매우 구체적일 경우,
확립된 이론에 의해 뒷받침될 경우,
인터뷰 대화가 강할 경우,
분석에 서술어나 담화 세부사항에 대한 종적 심층 탐색이 포함될 경우,
A study willneed the least amount of participants
when the study aim is narrow,
if the combination of participants is highly specific for the study aim,
if it is supported by established theory,
if the interview dialogue is strong, and
if the analysis includes longitudinal in-depth exploration of narratives or discourse details.
다음의 경우 더 많은 참가자가 필요하다.
연구 목표가 광범위할 때,
참가자의 조합이 연구 질문에 덜 구체적일 경우,
이론적으로 알려지지 않은 경우,
인터뷰 대화가 취약할 경우,
사례 간 분석이 수행될 경우,
특히 연구 현상에 대해 가능한 최대로 광범위한 범위의 다양한 변형을 다루는 것이 목표인 경우
A study will needa larger number of participants
when the study aim is broad,
if the combination of participants is less specific for the research question,
if it is not theoretically informed,
if the interview dialogue is weak, and
if cross-case analysis is conducted, especially
if the aim is to cover the broadest possible range of variations of the phenomena studied.
모형에 포함된 여러 항목 간의 역동적 상호작용은 표본에 더 많은 참여자와 더 적은 참여자를 필요로 하는 조건 간의 절충을 포함한다. 예를 들어,
좁은 목표를 표현하고 우수한 인터뷰 대화를 달성하는 숙련된 연구자는 작은 샘플로도 충분한 결과의 변이를 가진 교차 사례 분석을 수행할 수 있다.
그러나 이론적 지식이 제한된 초보 연구자는 목표가 잘 집중되어 있고 면접 대화도 좋지만 새로운 것을 밝히기 위해 더 많은 참여자들이 필요할 수 있다.
The dynamic interaction between the different items included in the model involves a trade-off between conditions that require more versus fewer participants in a sample.
For example, an experienced researcher who expresses a narrow aim and achieves an excellent interview dialogue may be able to conduct a cross-case analysis with sufficient variation of results even with a small sample.
However, a novice researcher with limited theoretical knowledge may need a larger group of participants to reveal something new although the aim is well-focused and the interview dialogues are good.
우리의 모델은 N을 계산하기 위한 체크리스트로서 의도된 것이 아니라 연구 과정의 다른 단계에서 모집에 대해 체계적으로 고려해야 할 사항을 권고하는 것이다.
우리의 경우에 필요한 정보 제공자의 수에 대한 초기 평가는 연구자가 초보 연구자라는 사실을 고려해야 한다.
그녀의 개인적인 수줍음은 대화를 잘 하는 그녀의 능력에 영향을 미친다.
그러나 그녀의 연구는 이론적으로 근거가 있으며, 그녀는 문제의 경험적 문제에 대한 철저한 경험을 가지고 있다.
그녀는 더 많은 참가자가 필요한 교차 사례 분석을 향해 가고 있으며, 그녀의 연구의 목적은 특별히 넓지도 좁지도 않다.
간호사들이 그녀의 공부와 관련된 특성을 가진 참가자들을 선발하는데 도움을 줄 것이기 때문에, 참가자들에 대한 필요성은 더 작아질 것이다.
마침내, 그녀의 노련한 연구 책임자는 작년에 6번의 성공적인 면접에서 나온 두꺼운 자료와 함께 비슷한 연구를 수행했다.
이러한 고려사항에 기초하여, 잠정적으로 10명의 참가자가 우리의 사례에 대한 신중한 초기 평가의 예가 될 수 있다.
Our model is not intended as a checklist to calculateNbut is meant as a recommendation of what to consider systematically about recruitment at different steps of the research process.
An initial appraisal of the number of informants needed in our case should consider the fact that the researcher is a novice researcher.
Her personal shyness affects her ability to establish a good dialogue (more participants).
Her study is, however, theoretically founded, and she has thorough experience with the empirical matters in question (less participants).
She is heading for cross-case analysis requiring more participants, and the aim of her study is neither especially broad nor narrow.
Because nurses will help her select participants with characteristics specific to her study, the need for participants will be smaller.
Finally, her experienced research supervisor conducted a similar study last year, with thick data from six successful interviews.
Based on these considerations, a provisional number of 10 participants could be an example of a cautious initial appraisal for our case.
토론 Discussion
특수성의 논리 The Logic of Particularities
공식 power calculation은 표본 크기 평가를 위한 정성적 연구에서 비공식적이고 경험적인 rule of thumb에 대한 대안으로 제안되었다(DePaulo, 2000; Guest et al., 2006). 이러한 시도를 뒷받침하는 기본 원칙은 각각 다른 유병률을 가진 일련의 정보(예: 당뇨병성 발궤양 관리를 위한 자가 치료 방법)를 이용할 수 있는 모집단을 가정하며, 목적은 무작위로 선택된 최소 참가자의 수로 가능한 많은 정보를 식별하는 것이다. 우리는 그러한 가정이 적절할 수 있는 상황의 존재를 부인하지 않으나, 대부분의 경우 질적 연구에서는 위반될 것이다. 참가자는 가장 많은 정보를 제공하기 위해 의도적으로 선택되며, 정보는 단순히 존재하는 것이 아니라, (이론으로 supported되면서) 연구자에 의해서 elaborate된다. (Kvale, 1996; Patton, 2015; Sandelowski, 1995). Formal power calculations have been proposed as an alternative to informal, heuristic rules of thumb in qualitative studies for appraisal of sample size (DePaulo, 2000;Guest et al., 2006). The basic principle behind such attempts assumes a population where a set of information (such as self-care methods for management of diabetic foot ulcers) of some sort is available, each with different prevalence, and the aim is to identify as much of this information as possible with the least number of participants, selected at random. We do not repudiate the existence of settings where such assumptions might be adequate. Most often, however, they will be violated in a qualitative study. Participants are selected purposively as to provide the most information, and information will simply not exist, but is elaborated by the researcher, supported by the theory applied (Kvale, 1996;Patton, 2015;Sandelowski, 1995).
성립불가한 가정으로 이뤄진 구속복은 연구 과정에 해를 끼칠 수 있다. (Bacchetti, 2010) McWhinney는 의학 연구자들이 보편적 연구뿐만 아니라 [특수성]에 더 집중해야 한다고 촉구했고(McWhinney, 1989), Sandelowski는 사례 연구(N = 1)가 경험적 데이터의 양과는 무관하게 모든 정성적 연구에서 분석의 기본 단위라고 주장했다(Sandelowski, 1996). 해석적 패러다임에 속하는 정성적 연구에서, [탐구의 논리]는 [정당성의 논리]보다 강조되고, 표본 추출에 대한 다른 가정은 일반적으로 예측하거나 계산할 수 있는 것보다 더 적절하다. (Kunh, 1962; Malterud, 2001; Marshall, 1996; Sandelowski, 1996) A straightjacket of untenable assumptions may harm the research process (Bacchetti, 2010). McWhinney urged medical researchers to focus more on particularities, not only universals (McWhinney, 1989), and Sandelowski argued that the case study (N= 1) is the basic unit of analysis in any qualitative study, independent of the amount of empirical data (Sandelowski, 1996). In qualitative research, belonging to the interpretative paradigm, the logic of exploration is more emphasized than the logic of justification, and other assumptions for sampling are usually more adequate than what can possibly be predicted or calculated (Kuhn, 1962;Malterud, 2001;Marshall, 1996;Sandelowski, 1996).
모델—장점과 한계 The Model—Strengths and Limitations
정보력은 우리 모델의 핵심 개념이다. 우리는 인터뷰 샘플의 정보 파워가 연구 목표, 샘플 특수성, 확립된 이론의 사용, 대화의 질, 그리고 분석 전략과 같은 항목에 의해 결정된다고 주장해왔다. 이러한 각 항목에 대해, 우리는 책임 있는 분석에 필요한 대략적인 참가자를 평가하기 위해 연구자가 자신과 연구를 위치하도록 초대되는 연속체를 따라 치수를 제안했다. 이러한 평가는 연구 과정에 따라 단계적으로 재검토되어야 하며, 확실히 미리 결정되어서는 안 된다고 주장한다. 이러한 방식으로 샘플이 충분한 정보력을 보유한 시점에서 모집이 종료될 수 있습니다. 그럼에도 불구하고, 이 모델은 질적 인터뷰 연구의 초기 계획에서도 지원을 제공할 수 있다. Information poweris the core concept of our model. We have argued that information power of an interview sample is determined by items such as study aim, sample specificity, use of established theory, quality of dialogue, and analysis strategy. For each of these items, we have proposed dimensions along a continuum where researchers are invited to position themselves and their study to assess an approximate number of participants needed for responsible analysis. We argue that such an assessment should be stepwise revisited along the research process and not definitely decided in advance. In this way, recruitment can be brought to an end when the sample holds sufficient information power. Still, the model may offer support also in the initial planning of a qualitative interview study.
우리가 모델에 포함시킨 5개 항목은 상호 배타적이지도 않고 유일한 정보력 결정요인도 아니다. 공통점은 [포괄적인 현상을 탐색하려면 연구자가 선택한 어떤 특질qualities에 대해 적절한 변동이 있는 데이터가 필요하다는 것]이다. 그러나 구현을 위한 실용적 모델은 우선 순위를 요구한다. 따라서 우리가 설명한 유도 개발 경로를 따라, 우리는 정보 전력에 영향을 미치는 치수를 쉽게 식별, 평가 및 제시할 수 있는 제한적이고 실현 가능한 양의 필수 호환 항목을 포함하기로 결정했다. The five items we have included in our model are neither mutually exclusive nor the only conceivable determinants of information power. A common denominator is that exploration of a comprehensive phenomenon requires data with appropriate variation regarding some selected qualities. However, a pragmatic model intended for implementation calls for prioritization. Following the inductive development path we have described, we therefore decided to include a limited and feasible amount of vital compatible items whose dimensions with an impact for information power could be easily identified, appraised, and presented.
모델에 포함될 수 있는 잠재적 리스트에서 [모집문제recruitment issue]가 누락되어있는데, 이는 사실상 역설을 제기하고 있다. 모집이 쉬울 때는 연구자가 자유롭게 목적적합하고 목적적합한 샘플을 선정해 참여인원을 줄일 수 있다. 그러나 많은 잠재적 참가자 중 일부만 자원하는 경우, 표본의 특수성이 저하되어 필요한 참여자의 수가 증가할 수 있다. 그렇다면, 정보력은 감소 이유를 고려하여 강화될 수 있다. 진료소 대신 집에서 인터뷰하는 것과 같은 간단한 절차 변경은 이러한 장애물을 제거하고 참가자가 더 적은 샘플에 기여할 수 있다. 이 다섯 가지 항목은 보편적으로 중요하지는 않으며, 따라서 다섯 항목의 상대적 중요성은 연구 과정에서 프로젝트마다, 그리고 연구 과정에 걸쳐 변할 수 있다. On a list of potential items to be included in the model, we have omitted the recruitment issue, which actually raises a paradox. When recruitment is easy, the researcher is at liberty to select a relevant and purposive sample and thereby reduce the number of participants. However, if only a few among many potential participants volunteer, the specificity of the sample may be jeopardized and thereby increase the number of participants necessary. If so, information power may be enhanced by considering the reasons for the declines. Simple changes in procedure, such as interviewing at home instead of in the clinic, may remove these obstacles and contribute to a sample where fewer participants are needed. The five items do not have universal importance, and their relative importance may therefore change from project to project and over the course of a research process.
모델을 단순하고 쉽게 이해하기 위해, 우리는 샘플 크기에 대한 질문이 일반적으로 참가자의 수를 나타내는 [개별 인터뷰 연구의 맥락]에서 모델을 개발하기로 선택했다. 표본 크기 개념은 아래와 같은 다른 정성적 연구 설계에서는 더 모호하다.
포커스 그룹 연구(그룹 수, 참가자 수 또는 인터뷰 수),
관찰 연구(기록할 이벤트 수, 포함 인원 수, 방문 사이트 수)
서면 데이터 연구(텍스트 페이지, 문서 수, 조직 수).
To make the model simple and readily understood, we chose to develop it for the context of individual interview studies, where the question of sample size usually refers to the number of participants. The sample size concept is more ambiguous when it comes to other qualitative research designs, such as
focus group studies (number of groups, number of participant, or number of interviews),
observational studies (number of events to be recorded, number of people to be included, number of sites to visit), or
studies with data from written sources (pages of text, number of documents, number of organizations).
오래된 것, 새로운 것, 빌린 것, 파란 것... Something Old, Something New, Something Borrowed, Something Blue . . .
우리 모델의 대화 항목은 샘플링을 통한 적정성의 측면으로 논의되는 "좋은 정보원good informants"(Spradley, 1979년)의 개념과 일부 특징을 공유한다. 그러나 우리의 모델은 이러한 차원이 모두 데이터의 접근성을 포함하지만, 주제 속성보다는 대화의 품질을 강조한다는 점에서 다르다. Morse가 논의한 바와 같이 [적절성adequacy]은 데이터의 충분성과 품질과 관련이 있다. 적절성의 개념과 달리, 우리의 모델은 GT의 특정한 절차인 이론 또는 이론적 샘플링의 개발과 관련이 없다.
The dialogue item in our model shares some features with Spradley’s notion of “good informants” (Spradley, 1979), which is discussed as an aspect of adequacy by sampling (Morse, 1991,2000,2015b). Our model differs, however, in that we emphasize the quality of the dialogue rather than the nature of the topic, although these dimensions both cover the accessibility of the data. Adequacy, as discussed by Morse, concerns the sufficiency and quality of data. Unlike the concept of adequacy, our model is not tied to development of theory or theoretical sampling, which are specific procedures of GT.
최상의 질적 분석은 우리가 탐색하고자 하는 현상의 새로운 측면에 대한 풍부하고 다양한 설명을 포함하는 경험적 데이터로부터 수행된다(Morse, 1991년, 2015a; Patton, 2015년). 표본이 너무 작거나 크면 안 됩니다(Kvale, 1996; Sandelowski, 1995). 우리의 경험에서, 리뷰어들은 종종 이러한 특정 인터뷰의 분석 결과를 평가하는 대신 표본이 너무 작다는 것에 더 신경을 쓰는 것처럼 보인다. 우리는 비성찰적으로unreflectedly 너무 큰 샘플로 이어지는 방법론적 이념이나 전략에 대해 경고한다(Chamberlain, 2000). 정보력의 초기 및 연속적 평가를 통해, 연구자는 불필요한 데이터의 수집, 연구의 목적과 관련이 없는 정보의 상세화, 철저한 분석에 필요한 개요overview의 부족을 피할 수 있다. 우리의 모델은 정보 파워가 충분하다면, 다소 적은 수의 참가자로도 이 정보를 얻을 수 있다는 것을 나타낸다.
The best qualitative analysis is conducted from empirical data containing abundant and various accounts of new aspects of the phenomenon we intend to explore (Morse, 1991,2015a;Patton, 2015). The sample should be neither too small nor too large (Kvale, 1996;Sandelowski, 1995). In our experience, reviewers often seem to be more concerned with samples being too small than being too large, instead of appraising the outcome of analysis from these particular interviews. We would warn against methodological ideologies or strategies unreflectedly leading to too large samples (Chamberlain, 2000). By initial and consecutive assessment of information power, the researcher may avoid waste of time and resources for collection of unnecessary data, elaboration of information that is not relevant for the aim of the study, and lack of overview needed for a thorough analysis. Our model indicates that this can be obtained even with a sample of rather few participants, provided that the information power is sufficient.
"포화"를 "정보력"으로 대체해야 합니까? Should “Saturation” Be Replaced by “Information Power?”
질적 연구에서 포화도는 표본 크기에 대한 기준으로 자주 언급된다(Morse, 1995). 이 개념은 경험적 데이터에서 이론을 생성하기 위한 GT의 중심 요소인 constant comparative method의 한 요소로 제시되었다(Glaser & Strauss, 1999). 데이터 수집 중에, 연구자는 범주 속성과 범주 간의 관계에 대한 완전한 포화 상태를 얻을 때까지 순차적으로 추가된 이벤트를 비교한다(Charmaz, 2006). 또한 GT 분석의 포화도가 최종적으로 포화도에 도달하려면 연구에서 개발된 예비 이론에 기초한 이론적 표본 추출이 필요하다. 포화상태는 연구자가 더 이상 개발된 이론에 추가되는 정보를 받지 못할 때 발생한다. Saturationis often mentioned as a criterion for sample size in qualitative studies (Morse, 1995). The concept has been presented as an element of theconstant comparative method, which is a central element of GT, intended to generate theories from empirical data (Glaser & Strauss, 1999). During data collection, the researcher compares sequentially added events until exhaustive saturation of properties of categories and of relations among them is obtained (Charmaz, 2006). Furthermore, theoretical sampling based on preliminary theory developed in the study is required for saturation in a GT analysis to finally arrive at saturation. Saturation occurs when the researcher no longer receives information that adds to the theory that has been developed.
그러나 이러한 절차는 모든 정성적 연구의 일부는 아니며, O'Reilly와 Parker(2013)는 일반적인 품질 표시로 포화를 채택하는 것은 부적절하다고 주장한다. 비록 GT가 이론적 포화를 구성하는 것이 무엇인지에 대한 명확한 지침을 가지고 있지만, 다른 정성적 접근법에서 포화의 의미는 명확하지 않다. 저자들은 포화가 달성된 방법에 대해 항상 투명한 것은 아니라고 주장하며, 여러 연구는 실제로 GT의 포화 개념과 호환되지 않는다. 리뷰에 따르면 이 포화라는 개념은 종종 잘 명시되지 않으며, GT의 원래 포화 의미와 분명히 일치하지 않는다(Carlsen & Glenton, 2011). These procedures are, however, not part of all qualitative studies, andO’Reilly and Parker (2013)argue that adopting saturation as a generic quality marker is inappropriate. Although GT has clear guidance about what constitutes theoretical saturation, the meaning of saturation within other qualitative approaches is not clear. Authors claiming saturation are not always transparent about how it has been achieved (Morse, 2015a), and several studies are actually not compatible with the saturation concept of GT. Reviews reveal that the concept is often poorly specified and definitely not corresponding with the original meaning of saturation from GT (Carlsen & Glenton, 2011).
탐색적 연구에서, 우리는 [연구하는 현상의 모든 측면에 대한 완전한 설명]을 향하지 않는다. 연구가 현재 이해에 크게 기여하거나 도전하는 새로운 통찰력을 제공할 때 우리는 대개 만족한다. 또한, 확실한 변형 집합set of variation의 철저한 표본 추출이 얻어지고, 포화 상태에 의해 적용될 수 있다는 [GT의 인식론적 기대]는 대부분의 정성적 연구에서 핵심적 theory of science가 아니다(Malterud, 2012). 확실히 모스는 포화도에 대한 이해를 거부하고 포화 도메인과 같은 범주 내의 특성을 철자로 표기한다. (모르세, 2015a)
For an exploratory study, we do not head for a complete description of all aspects of the phenomenon we study. We are usually satisfied when a study offers new insights that contribute substantially to or challenge current understandings. Furthermore, the epistemological anticipation of GT that exhaustive sampling of a definite set of variations can be obtained and covered by saturation is not the theory of science at the heart of most qualitative research (Malterud, 2012). To be sure, Morse rejects such an understanding of saturation, spelling out characteristics within categories as the domain to be saturated (Morse, 2015a).
우리는 이 점에 대한 모스의 정확성을 "모두 들었다heard it all"는 것을 더 자주 언급하는 정성적 연구자들 사이에서 다소 이례적인 것으로 간주한다(Morse, 2015a). [지식이 부분적이고 중간적이며 연구자의 위치적 관점에 종속된 것]으로 간주되는 [사회 구성주의적 뿌리를 가진 연구]는, 질적 연구가 이상적으로 "총량total"의 사실을 구성해야 한다는 생각을 지지하지 않는다(Alvesson & Schöldberg, 2009; Haraway, 1991). We consider Morse’s accuracy on this point as rather unusual among qualitative researchers, who more often refers to “heard it all” (Morse, 2015a). Research with social constructivist roots, where knowledge is considered partial, intermediate, and dependent of the situated view of the researcher, does not support an idea that qualitative studies ideally should comprise a “total” amount of facts (Alvesson & Sköldberg, 2009;Haraway, 1991).
DePaulo는 정성적 연구의 표본이 부적절하거나 너무 작을 때 중요한 것을 놓칠 위험에 대해 경고한다(DePaulo, 2000). 우리는 그 요점에 동의하지만, 문제의 현상의 모든 범위를 다루려는 그의 야망에는 동의하지 않는다.
DePaulo warns against the risk of missing something important when the sample of a qualitative study is inappropriate or too small (DePaulo, 2000). We agree to his point, but not to his ambitions of covering the full range of the phenomenon in question.
마지막으로, 적어도 동료 검토자의 관점에서, '포화'는 겉으로 보이는 것만큼 객관적이고 논란의 여지가 없는 것이 아니다. 한 연구원은 사례를 종결된 것으로 간주하고 추가 인터뷰로 지루함을 느낄 수 있는 반면, 다른 동료는 현장에 대한 지식이 부족하거나 변동이 적은 경험적 데이터를 사용하여 추가 데이터를 새로운 정보로 평가할 수 있다(Malterud, 2012; Morse, 1995).
Finally, saturation is not as objective and indisputable as it might appear, at least from a peer reviewer’s perspective. One researcher may regard the case as closed and get bored by further interviewing, while another colleague, perhaps with a less thorough knowledge of the field or with empirical data containing less variation, may assess further data as new information (Malterud, 2012;Morse, 1995).
정보력은 여러 측면에서 포화상태와 다른 개념이다. 그러나 우리의 모델은 매우 독창적인 방법론적 아이디어에 기초하지 않는다. 우리는 정보력를 [내부 타당성]의 한 측면으로 보며, (분석 및 이론적 해석을 통해) 새로운 지식에 대한 액세스를 제공하기 위해 사용 가능한 경험적 데이터의 잠재력potential에 영향을 미친다. (코헨 & 크랩트리, 2008; Kvale, 1996) 이러한 점에서, [표본적 적절성, 데이터 품질 및 관련 사건의 variation]이 참가자 수보다 더 중요한 경우가 많다. 따라서 샘플의 정보 파워는 연구의 목적을 설명하기에 충분히 크고 다양하지만 이를 달성하는 방법에 대한 사양으로 간주할 수 있다(Kuzel, 1999; Marshall, 1996; Morse, 1995; Patton, 2015; Sandelowski, 1995).
Information power is a concept that differs from saturation in several respects. Our model is, however, not based on a very original methodological idea. We look on information power as an aspect of internal validity, influencing the potential of the available empirical data to provide access to new knowledge by means of analysis and theoretical interpretations (Cohen & Crabtree, 2008;Kvale, 1996). In this regard, sample adequacy, data quality, and variability of relevant events are often more important than the number of participants. Hence, information power of a sample is not very different from being sufficiently large and varied to elucidate the aims of the study but can be considered a specification of how to accomplish it (Kuzel, 1999;Marshall, 1996;Morse, 1995;Patton, 2015;Sandelowski, 1995).
연구실천에 미치는 영향 Implications for Research Practice
정성적 인터뷰 연구는 [참가자의 numerical input]에서 [분석을 통한 새로운 지식의 기여]로 주의를 이동시킴으로써 샘플링 전략의 이점을 얻을 수 있다. 정보력은 실제 연구와 관련된 샘플의 정보가 많을수록 참가자 수가 더 적어야 한다는 것을 나타냅니다. 계획 수립을 위해 샘플 크기의 초기 근사치가 필요한 반면, 최종 샘플 크기의 적합성은 연구 프로세스 동안 지속적으로 평가되어야 합니다. 최종 간행물에 제시된 결과는 실제 표본이 당면한 연구의 목적을 참조하여 새로운 지식을 개발할 수 있는 적절한 정보력을 보유했는지를 입증할 것이다.
Qualitative interview studies may benefit from sampling strategies by shifting attention from numerical input of participants to the contribution of new knowledge from the analysis. Information power indicates that the more information the sample holds, relevant for the actual study, the lower number of participants is needed. An initial approximation of sample size is necessary for planning, while the adequacy of the final sample size must be evaluated continuously during the research process. The results presented in the final publication will demonstrate whether actual sample held adequate information power to develop new knowledge, referring to the aim of the study at hand.
Qual Health Res.2016 Nov;26(13):1753-1760.
doi: 10.1177/1049732315617444.Epub 2016 Jul 10.
Sample Size in Qualitative Interview Studies: Guided by Information Power
Sample sizes must be ascertained in qualitative studies like in quantitative studies but not by the same means. The prevailing concept for sample size in qualitative studies is "saturation." Saturation is closely tied to a specific methodology, and the term is inconsistently applied. We propose the concept "information power" to guide adequate sample size for qualitative studies. Information power indicates that the more information the sample holds, relevant for the actual study, the lower amount of participants is needed. We suggest that the size of a sample with sufficient information power depends on (a) the aim of the study, (b) sample specificity, (c) use of established theory, (d) quality of dialogue, and (e) analysis strategy. We present a model where these elements of information and their relevant dimensions are related to information power. Application of this model in the planning and during data collection of a qualitative study is discussed.
이론과 설계기반연구가 PBL의 실천과 연구를 어떻게 성숙시킬 것인가(Adv Health Sci Educ Theory Pract,2019)
How theory and design‑based research can mature PBL practice and research Diana H. J. M. Dolmans1
도입 Introduction
PBL에서는 소규모 그룹(6-10명)이 교사가 주도하는 문제에 대해 논의한다. 선생님은 학생들이 어떤 준비나 독학도 허용하지 않고 주제에 대한 사전 지식을 활성화하는 것으로 토론을 시작한다. 초기 토론이 끝난 후, 추가 연구가 필요한 학생들에 의해 질문이 공식화된다. 개별적 자율 학습에 이어, 그룹은 그들이 배운 것을 합성하고 토론하기 위해 다시 한 번 더 만난다. 또한 소그룹에서 학습 지원을 위해 제한된 수의 강의와 기술 교육이 제공된다.
In PBL, small groups (6–10 students) discuss problems, led by a teacher. The teacher starts the discussion by activating the students’ prior knowledge of the topic, without allowing for any preparation or self-study. After the initial discussion, questions are formulated by students that need further study. Following individual self-study, the group meets again to synthesize and discuss what they have learned. In addition, a limited number of lectures and skills trainings are offered to the students to support their learning in the small groups.
PBL에서 학생들은 사전 지식을 활성화하고, 새로운 정보를 사전 지식과 연관시키고, 아이디어를 체계화하고, 기본 원리를 찾고, 지식을 비판적으로 평가할 것으로 예상된다.
In PBL, students are expected to activate their prior knowledge, to relate new information to their prior knowledge, to structure ideas, to look for underlying principles and critically evaluate their knowledge.
비록 PBL이 전세계적으로 시행되고 있지만, 많은 학교들이 다양한 이유로 실제로 PBL과 싸우고 있다. 예를 들어, PBL이 항상 딥 러닝으로 귀결되는 것은 아니기 때문이다(Dolmans et al. 2016). PBL에서 직면한 문제는 잘못된 구현으로 인해 학습에 대한 통찰력과 일치하지 않는 프로그램이 발생한다고 주장되어 왔다(Dolmans et al. 2005). Although PBL is implemented worldwide, many schools struggle with PBL in practice for various reasons; e.g. because PBL does not always result in deep learning (Dolmans et al.2016). Problems encountered with PBL have been claimed to stem from poor implementation, resulting in a program inconsistent with insights into learning (Dolmans et al.2005).
이 반성 논문에서 우리는 PBL의 관행을 이론과 더 잘 일치시키기 위해 조정해야 한다고 주장한다. 우리는 이론의 관점에서 PBL을 보아야 한다. 또한, 우리는 재설계된 PBL 관행을 조사하고 PBL의 특정 특성이나 성분이 딥 러닝을 향상시키는 데 어떻게 작용하는지 연습에 정보를 제공하고 이해를 증진시키는 연구를 수행해야 한다. In this reflective paper we argue that we should adapt the practice of PBL to align it better with theories. We should look at PBL from the perspective of theory. In addition, we need to investigate the redesigned PBL practices and conduct studies that will both inform practice and advance our understanding of how certain characteristics or ingredients of PBL might work to enhance deep learning.
제1부: 이론과 원리 Part I: Theories and principles
PBL은 맥락적, 건설적, 자기주도적, 협업적 학습의 네 가지 원칙에 잘 부합한다는 점에서 학생들이 미래 학습을 효과적으로 준비할 잠재력을 가지고 있다고 주장되어 왔다(Dolmans et al. 2005). 하지만, 이 원리나 이론들이 실제로 무엇을 의미할까요? PBL has been claimed to have the potential to prepare students effectively for future learning in that it fits well with four principles: contextual, constructive, self-directed and collaborative learning (Dolmans et al.2005). But, what do these principles or theories actually mean?
우선, 이론이라는 단어는 무엇을 의미합니까? 이론은 보르디지(2009)가 설명하듯이, 어떤 것이 어떻게 작용하는지에 대한 생각의 한 방법으로 여겨질 수 있다. 이론은 [종종 특정한 관점에서 문제를 정의하거나 분석하는 일련의 원칙들로 구성]된다. 이론은 우리가 특정한 문제를 이해하고 특정한 관점에서 문제를 해결하기 위한 해결책을 제시하는데 도움을 줄 수 있다. 일반적으로 문제를 이해하고 해결하기 위해서는 일련의 이론이 필요하다(Bordage 2009; Rees and Monroxe 2010).
First of all, what is meant with the word theory? A theory can be considered as a way of thinking about how something might work, as Bordage (2009) explains. A theory often consists of a set of principles to define or analyze a problem from a particular perspective. A theory might help us understand a certain problem and offer solutions to address the problem from a particular perspective. Usually a set of theories is needed to understand and solve a problem (Bordage2009; Rees and Monrouxe2010).
맥락적 학습 Contextual learning
맥락적 학습 원칙은 [새로운 상황으로 학습을 전이하기 위해서는, 전문적으로 관련된 맥락에서 파생된 과제에 학생들을 참여시키는 것으로 시작해야함]을 함의한다. 다시 말해서, 모든 학습을 task-centered instruction(Francom 2016)이라고 하는, [전체의whole, 복잡하고, 잘 정의되지 않는 과제]를 중심으로 집중시킨다. 학습자가 다양한 새로운 과제나 문제를 다룰 수 있는 미래 학습을 준비하기 위해, 우리는 학습자를 강의와 같이 새로운 명확화clarifying 정보에 노출시킬 뿐만 아니라, 가급적 관련된 맥락에서 도출된 과제를 비교하고 대조하도록 자극해야 한다(Bransford 및 Schwartz 1999). The contextual learning principle implies that learning preferably starts by engaging students in tasks derived from a professionally relevant context in order to stimulate transfer of learning to new situations. In other words, center all learning around whole, complex, ill-defined tasks, so called task-centered instruction (Francom2016). In order to prepare learners for future learning in which they can deal with a variety of new tasks or problems, we should not only expose learners to new clarifying information, e.g. by means of lectures, but preferably also stimulate them to compare and contrast tasks derived from relevant contexts (Bransford and Schwartz1999).
대조적인constrasting 과제에 대해 토론함으로써 학습자들은 다양한 과제의 중요한 특징이 무엇인지 알게 된다. 이는 특히 잘 정의되지 않은 작업, 즉 실제 세계에 종종 위치한 하나 이상의 미지의 요소 및 다양한 솔루션을 가진 작업의 경우에 해당된다(Jonassen 1997). 커리큘럼을 설계하거나 재설계할 때, 의미 있는, 진짜 또는 전문적으로 관련된 작업이 시작점이 되어야 한다(Harden 2018). 학습과제는 문제로 제시될 수 있지만 사례나 프로젝트로도 제시될 수 있다. 기본 아이디어는 학습 과제가 세분화된 특정 지식, 기술 및 태도 집합이 아닌 통합된 지식, 기술 및 태도를 습득할 수 있도록 하는 데 목적이 있다는 것이다. 지식, 기술 및 태도를 하나하나 가르치는 대신, 정해진 과제는 지식, 기술 및 태도의 통합을 강화해야 한다.
Through discussing contrasting tasks, learners notice what critical features are of a variety of tasks. This is especially true for ill-defined tasks, i.e. tasks with one or more unknown elements and a variety of solutions which are often situated in the real world (Jonassen1997). When designing or redesigning curricula, meaningful, authentic or professionally relevant tasks should be the starting point (Harden2018). Learning tasks can be presented as problems, but also as cases or projects. The basic idea is that learning tasks are aimed at enabling the student to acquire an integrated set of knowledge, skills and attitudes, instead of a fragmented set of specific knowledge, skills and attitudes. Instead of teaching knowledge, skills and attitudes piece by piece, the tasks set should enhance the integration of knowledge, skills and attitudes.
또한 교사는 단순한 것에서 복잡한 것의 순서로 다양한 과제를 제공하고, 학습자에게 각 복잡도 수준에서 감소하는 스캐폴드를 제공하여 새로운 상황으로 지식을 전이하는 것을 강화해야 한다(Merrill 2002, 2012; Van Merriëboer 및 Kirschner 2017). PBL에서 학생들의 학습은 학생들의 미래 직업과 관련된 문제에 대해 토론하는 것에서 출발한다.문제는 학습의 중심에 있으며 향후 작업 환경에서 발생하는 실제 문제real-life problems에 기초한다.
In addition, teachers should offer a variety of tasks, ordered from the simple to the complex, and provide the learner with scaffolds that diminish at each level of complexity to enhance the transfer of knowledge to new situations (Merrill2002,2012; Van Merriënboer and Kirschner2017). In PBL, students’ learning starts from discussing problems relevant for the students’ future profession. Problems are at the centre of learning and are based on real-life problems encountered in the future work setting.
건설적 학습 Constructive learning
또한 PBL은 학생들이 새로운 지식을 습득하도록 자극해야 하며, 가급적 그들이 그들의 지식 네트워크를 구성 및 재구성하고, 심화된 이해를 얻기 위한 의미를 창조하는 적극적인 과정을 자극해야 한다. 이는 [사전 지식 활성화 이론](Schmidt 1993; Norman and Schmidt 2000)에 따르면 사전 지식이 새로운 지식을 습득하기 위한 기초이기 때문에 학생들이 사전 지식을 활성화하도록 장려함으로써 이루어질 수 있다.
PBL should also stimulate students to acquire new knowledge, preferably in an active process in which they construct and reconstruct their knowledge networks and create meaning to gain a deep understanding. This can be done by encouraging students to activate their prior knowledge, because prior knowledge is the foundation for acquiring new knowledge, according to the prior knowledge activation theory (Schmidt1993; Norman and Schmidt2000).
사전 지식의 활성화는 학생들이 자세히 설명하도록 격려함으로써 이루어질 수 있다. [정교화 이론elaboration theory]에 따르면, 학습자들은 대개 문제의 주요 부분을 보여주는 광각wide-angle 시야에서 시작하여, 그 후에는 특정 부분을 확대zoom in하게 된다. 그 후에 학습자는 의미 있는 학습을 강화하고 세분화된 정보를 피하기 위해 문제의 다른 부분들 사이의 관계를 확인하기 위해 축소할 필요가 있다(Reigeluth 등. 1980). 다시 말해서, 정교함은 새로운 정보와 사전 지식을 연관시키는 것입니다. 학생들이 사전 지식과 새로운 지식 사이에 의미 있는 새로운 관계를 생성하도록 자극하는 것은 장기 기억력에 긍정적인 영향을 미친다. (Van Blankenstein et al. 2011)
It can also be done by encouraging students to elaborate (Schmidt1993). According to the elaboration theory, learners will usually start with a wide-angle view showing the major parts of a problem, which lacks much detail, after which the learner will zoom in on a certain part. Thereafter the learner needs to zoom back out to see the relationships among the different parts of the problem to enhance meaningful learning and avoid segmented information (Reigeluth et al.1980). In other words, elaboration is about relating new information with prior knowledge. Stimulating students to generate meaningful new relations between prior knowledge and new knowledge positively affects long-term memory (Van Blankenstein et al.2011).
PBL에 관한 이론적 주장에 대한 가능한 증거를 반영하는 영향력 있는 논문에서, 노만과 슈미트(1992)와 슈미트(1993)는 사전 지식의 활성화, 정교화 및 자기 설명self-explanation에서 파생된 장기 회상의 이점을 설명했다. Dunlosky 등(2013)과 같은 다른 저자들도 효과적인 학습 전략의 비교에서 정교함과 자기 설명이 그들의 사용을 권장할 충분한 가능성을 보여준다고 결론짓는다.
In their influential papers reflecting on the available evidence for the theoretical claims made about PBL, Norman and Schmidt (1992) and Schmidt (1993) described the benefits to long-term recall derived from the activation, elaboration and self-explanation of prior knowledge. Other authors as well, such as Dunlosky et al. (2013), conclude from a comparison of effective learning strategies that elaboration and self-explanation show enough promise to recommend their use.
일반적으로,PBL의 학생들은 자신의 지식 네트워크를 적극적으로 구성하고 새로운 아이디어를 그들의 사전 지식과 연관시키고, 그들이 배우는 것을 정교하고, 의미를 부여하고, 비판적으로 평가하는 딥 접근 방식을 채택할 것을 권고 받는다(Biggs et al. 2001; Dolmans et al. 2016). 그룹에서의 초기 토론과 그룹에서의 최종 토론은 학생들이 그들의 지식 네트워크를 구성하고 재구성하도록 자극하는 것을 목표로 한다. 토론하는 동안 학생들은 비판적인 질문을 하고, 추론을 하고, 다른 사람들에게 설명을 하고, 인지적 불일치에 대해 토론하고, 다양한 과제와 실생활 문제에 새로운 지식을 적용하도록 격려 받는다.
In general, students in PBL are recommended to actively construct their knowledge network and adopt a deep approach to study in which they relate new ideas to their prior knowledge and elaborate, give meaning and critically evaluate what they learn (Biggs et al.2001; Dolmans et al.2016). The initial discussion in the group and the final discussion in the group are aimed at stimulating students to construct and reconstruct their knowledge network. During the discussion, students are encouraged to ask critical questions, to reason, to give explanations to others, to discuss cognitive disagreements, and to apply new knowledge to varied tasks and real life problems.
자기주도학습 Self-directed learning
자기주도학습 이론(SDL)의 이면에는 학생들이 주도적으로 자신의 학습 니즈를 결정하고, 이러한 목표를 달성하기 위한 목표와 전략을 설정하고, 자신의 학습을 평가한다는 것이 있다(Knowles 1975).
SDL 이론은 학습자가 학습을 주도해야 할 뿐만 아니라, 자율성을 부여하고 학생들이 개별 학습 요구에 맞게 학습을 맞춤화할 수 있는 기회를 제공함으로써 학습자가 이러한 학습을 주도하도록 유도하도록 [학습 환경]이 설계되어야 한다고 가정한다.
SDL의 개념은 [학습 환경이 자기 주도 학습을 육성하도록 설계되어야 한다]고 강조한다. 예를 들어, 학생들이 질문을 공식화하거나 추가 연구가 필요한 학습 문제를 정의하고 더 나은 이해를 위해 학습해야 하는 관련 리소스를 선택하도록 자극함으로써(Loyens et al. 2008).
SDL은 학습자에게 주어지는 서포트를 제한하기 위한 plea가 아니다. 학생들은 학습 환경에서 충분한 지원과 자신의 학습을 스스로 지도할 수 있는 선택권을 동시에 제공받아야 한다(Kusurkar 및 Croiset 2015).
The idea behind the theory of self-directed learning (SDL) is that students take the initiative to determine their own learning needs, set goals and strategies to achieve these goals and evaluate their learning (Knowles1975).
SDL theory postulates not only that learners should take the lead in their learning but also that the learning environment should be designed to encourage the learner to take this lead by giving autonomy and providing opportunities for students to customize their learning to their individual learning needs.
The concept of SDL emphasizes that the learning environment should be designed to foster self-directed learning; e.g. by stimulating students to formulate questions or define learning issues that need further study and select relevant resources they need to study to gain a better understanding (Loyens et al.2008).
This is not meant as a plea to limit the support given to the learner. Students should simultaneously be offered both plenty of support in the learning environment and the option to self-direct their learning (Kusurkar and Croiset2015).
그룹 내 초기 토론 후 학생들이 스스로 학습 요구를 진단하거나, 질문을 생성하거나, 추가 학습이 필요한 학습 문제를 나열하는 것을 감안할 때, PBL은 학생들이 학습을스스로 지시하도록self-direct 자극하는 것으로 가정한다. 종종, SDL 대신 자기 조절 학습(SRL)이라는 용어를 사용한다. SRL은 학생들을 조절하는 것, 즉 그들의 공부 행동이나 학습을 모니터링하고 통제하는 것뿐만 아니라 감정, 감정, 동기를 조절하는 것에 관한 것이다(Boekaerts 1997; Pintrich 2000; Zimmerman 1990).
모니터링은 학습자가 자신의 성과를 정기적으로 평가함으로써 자신이 이미 알고 있는 것에 대한 메타인지 의식을 가지고 있다는 것을 암시한다.
통제controlling는 학습자가 자신의 필요에 따라 학습을 조정한다는 것을 암시한다. 예를 들어, 학습 문제와 관련된 자료를 공부하는 동안, 학생은 자신의 이해를 평가하거나, 본문을 이해하기 어렵다고 느끼면 자신을 테스트하고 다른 자료를 사용해야 한다.
Given that students after the initial discussion in the group diagnose their own learning needs, generate questions or list learning issues that need further study, PBL is assumed to stimulate students to self-direct their learning. Instead of SDL, often the term self-regulated learning (SRL) is used. SRL is about students regulating, i.e. monitoring and controlling their study behavior or learning, but also about regulating feelings, emotions and motivation (Boekaerts1997; Pintrich2000; Zimmerman1990).
Monitoring implies that a learner has meta-cognitive awareness of what he already knows e.g. by regularly evaluating his performance.
Controlling implies that a learner adapts his learning to his needs. For example, while studying materials related to the learning issues, a student should evaluate his understanding, or test himself and use another resource if he feels the text is difficult to understand.
SDL과 SRL 사이에는 목표 설정, 모니터링 및 제어 측면에서 많은 유사점이 있다. 그럼에도 불구하고, SDL은 학생들이 이러한 목표를 달성하기 위해 자신의 학습 문제 및 자원을 선택하는 데 역할을 할 수 있도록 학습 환경을 설계하는 것이 중요하다고 강조하는데, 이는 PBL(Loyens et al. 2008)의 중요한 특징이다.
There are many similarities between SDL and SRL in terms of goal-setting, monitoring and control. Nevertheless, SDL stresses the importance of designing the learning environment in such a way that students play a role in the selection of their own learning issues and resources to achieve these goals, which is an important feature of PBL (Loyens et al.2008).
협업 학습 Collaborative learning
두 명 이상의 학습자 간의 협업은 학습자가 복잡한 과제에 직면할 때 학습을 향상시키는 것으로 알려져 있다(Kirschner 등 2009). 협력적으로 학습하는 것이 특정 조건에서의 개별 학습보다 낫다. 가장 중요한 조건은 [학습 과제의 복잡성]이다(Kirschner 등 2009). 학습 과제는 ill-defined 되거나 complex해야 한다. 즉, 하나 이상의 알려지지 않은 요소와 다양한 가능한 해결책을 가진 과제이다(Jonassen 1997). 또한 학생들은 공통된 목표를 공유해야 하며, 학생들은 목표를 성공적으로 완수하기 위해 서로의 기여에 의존해야 한다. 이를 [상호의존성 이론interdependence theory]이라고 한다. Collaboration between two or more learners is known to enhance learning when learners are confronted with a complex task (Kirschner et al.2009). Learning collaboratively is better than individual learning under certain conditions. The most important condition is the complexity of the learning task (Kirschner et al.2009). The learning task should be ill-defined or complex, i.e. tasks with one or more unknown elements and a variety of possible solutions (Jonassen1997). In addition, students should share a common goal and students should depend on each other’s contributions to successfully complete it; this is called interdependence theory (Torre et al.2016).
그룹의 성공을 위해서는 지식과 정보를 공유해야 하며, 또한 공동 구성(즉, 서로의 아이디어를 구축하고 통합하는 것)과 인지적 불일치에 대한 열린 대화를 해야 한다(Decuyper et al. 2010). 그룹은 인지 및 사회 프로세스가 모두 역할을 하는 복잡한 시스템이다(Van den Bosche et al. 2006).
심리적 안전, 즉 집단의 구성원들이 특정한 생각을 내세우는 것에 대해 그 누구도 당황하게 하지embarrass 않을 것이라는 공동의 믿음은 그룹이 서로에게서 그리고 함께 학습을 강화하는 중요한 조건이다.
집단 구성원들 간의 연결성, 즉 사회적 응집력도 한몫한다. 사회적 응집력은 학습에 긍정적인 영향과 부정적인 영향을 둘 다 줄 수 있다. 그룹 구성원은 사회적으로 관련이 있다고 느끼기 때문에 작업에 더 전념할 수 있지만, 너무 강한 사회적 연결을 형성하는 것은 해로울 수 있다. 예를 들어, 그룹 구성원은 중요한 질문을 하지 않거나 인지적 불일치에 대한 논의를 회피할 수 있기 때문이다(Van Den Bosche 등 2006).
Successful groups require sharing of knowledge and information, but also co-construction (i.e. building upon and integrating one another’s ideas), as well as having open dialogue about cognitive disagreements (Decuyper et al.2010). Groups are complex systems in which both cognitive and social processes play a role (Van den Bossche et al.2006).
Psychological safety, i.e. a shared belief that the members of a group will not embarrass anyone for bringing forward a particular idea, is an important condition for a group to enhance learning from and with each other.
Connectivity among group members, or social cohesion, also plays a role. Social cohesion might have both positive and negative effects on learning. Group members might be more committed to a task because they feel socially related, but forming too strong a social connection could be detrimental; e.g. because group members might not ask critical questions or might avoid discussing cognitive disagreements (Van den Bossche et al.2006).
Lave와 Wenger(1991)가 도입한 [실천 공동체(CoP)]는 또 다른 관련 이론이다. 이 이론의 이면의 원칙은 [학습은 특정한 장소와 시간에 다른 사람들과 상호작용을 한다는 것]이다. 학습은 상호 목표와 관심사를 가진 구성원들의 공동체에 참여하는 문제이다(클레랜드와 더닝 2019). 실천 공동체에는 정기적으로 서로의 참여와 상호 작용을 통해 학습하는 구성원들이 포함되어 있으며, 이 기간 동안 그들은 실천을 공유하고 상호 참여하며 자신에게 중요한 것들을 중심으로 발전한다(Wenger 1998). Communities of practice (CoP) introduced by Lave and Wenger (1991), is another relevant theory. The principle behind this theory is that learning involves interacting with others in a specific place and time; learning is a matter of participation in a community of members with mutual goals and interests (Cleland and Durning2019). A community of practice contains members who learn through their participation and interactions with one another on a regular basis, during which they share practices, mutually engage, and develop around things that matter to them (Wenger1998).
요컨대, 협동 학습은 다음의 상황에서 유익하다. 학생들이...
복잡한 과제를 수행하고,
상호의존감을 느끼고,
공통의 목표를 가지고,
정보를 공유하고,
서로의 기여를 기반으로 할 때
In sum, collaborative learning is beneficial for learning when students
work on complex tasks,
feel interdependent,
have a common goal,
share information and
build upon each other’s contributions.
이러한 형태의 학습에서는 다음을 가정할 수 있다. 학생들은,
인지적 불일치에 대해 논의하고,
심리적으로 안전하다고 느끼며,
실천을 공유하고 서로 배우고 서로 배우는 동안, 어느 정도 사회적으로 연결된다
In this form of learning they are assumed to
discuss cognitive disagreements,
feel psychologically safe and
connect socially to some extent while they share practices and learn from and with each other.
제2부: PBL의 실제 Part II: PBL in practice
맥락적 학습 Contextual learning
많은 PBL 프로그램에서 학습은 새로운 상황으로 학습을 전달하기 위해 전문적으로 관련된 맥락에서 파생된 과제 또는 문제에서 시작되거나 과제 중심이지만, 일반적으로 추가 설명 또는 관리 전략이 필요한 현상을 포함하여 서면 종이 기반 문제에 의존한다.
Although learning in many PBL programs starts from tasks or problems derived from a professionally relevant context in order to stimulate transfer of learning to new situations, or is task-centered, usually it relies on written, paper-based problems including phenomena that need further explanation or a management strategy.
오늘날에는 다른 형식도 PBL에서 사용된다.
가상 환자(Huwendik et al. 2013), 시뮬레이션 환자(Tremblay et al. 2017; Behrens et al. 2018) 및 실제 환자(Diemers et al. 2008) 등
또한 PBL은 둘 이상의 건강 직업의 구성원들이 함께 대화식으로 배우는 교육적 개입(Inter-professional education)을 도입하는 데 사용될 수 있다(Reeves et al. 2013).학생들은 전문적으로 관련된 문제에 직면하여, 그들이 그들 자신의 학문의 경계를 넘도록 자극하는 동시에, 복잡한 잘못 정의된 과제를 중심으로 진정한 맥락에 관여함으로써, 직업간 협업을 준비하고 있다.
Nowadays, other formats are used as well in PBL,
such as virtual patients (Huwendiek et al.2013), simulated patients (Tremblay et al.2017; Behrens et al.2018) and even real patients (Diemers et al.2008).
PBL can also be used to introduce inter-professional education; an educational intervention in which the members of more than one health profession learn interactively together (Reeves et al.2013). (seehttps://www.youtube.com/watch?v=prKUYNGwdFI&feature=youtu.be). In this example, students are being prepared for inter-professional collaboration by confronting them with a professionally relevant problem, stimulating them to cross the boundaries of their own discipline, while engaging in an authentic context around a complex ill-defined task.
건설적 학습 Constructive learning
PBL을 강화하기 위한 또 다른 옵션은 PBL에서 사용되는 [구조화된 동료 피드백을 통합하는 것]이다(Dolmans et al. 2015).
PBL 그룹에서의 토론의 피상성이 딥 러닝을 방해하는 경우가 너무 많다.
팀 기반 학습(TBL)에서 팀 구성원은 그룹의 성공에 대한 서로의 기여도를 평가한다(Burgess et al. 2017).
인지적, 사회적, 동기적 기여에 대한 동료 피드백이 PBL에서 적용되었지만, 아직 일반적으로 사용되지 않는 반면, 특정 조건에서 초기 기여가 좋지 않은 학생들에게는 효과적으로 개선되는 것으로 알려져 있다(Kamp et al. 2013).
Another option to strengthen PBL is to incorporate structured peer feedback used in PBL (Dolmans et al.2015).
All too often the superficiality of discussions in PBL groups impedes deep learning.
In team-based learning (TBL), team members evaluate each other’s contributions to the success of the group (Burgess et al.2017).
Although peer feedback on cognitive, social and motivational contributions has been applied in PBL, it is not used commonly yet, whereas it is known to effectively improve for students who initially make poor contributions under certain conditions (Kamp et al.2013).
[개념도(concept map)]는 일련의 관련 개념들의 스키마이다.
개념 맵은 학생들의 의미 있는 학습을 자극하고 교사가 피드백을 제공할 수 있도록 하는 것으로 알려져 있다(Daley와 Torre 2010).
다양한 팀이 각자 컨셉 맵을 제시하고 서로의 컨셉 맵을 비교, 구축 및 비판적으로 평가할 수 있다.
개념 맵은 학생들이 지식을 적극적으로 재구성하고 검색하도록 자극받는 정도(예: 학생들이 자신의 지식을 적극적으로 재구성하고 검색하는 정도)에 따라 효과가 달라질 수 있지만, 학생들이 지식 네트워크를 적극적으로 구성하도록 자극하는 것을 목표로 한다(Karpicke and Blunt 2011).
A concept map is a schema of a set of related concepts.
Concept maps are known to stimulate meaningful learning in students and enable teachers to provide feedback (Daley and Torre2010).
The various study teams present their concept map and can compare, build upon and critically evaluate each other’s concept maps.
Concept maps are aimed at stimulating students to actively construct their knowledge networks, although their effectiveness might be dependent on the context in which they are used; e.g. on the degree to which students are stimulated to actively reconstruct and retrieve their knowledge (Karpicke and Blunt2011).
자기주도학습 Self-directed learning
PBL에서 학생들은 추가적 자율 학습이 필요한 학습 문제learing issues를 생성한다. 그들은 자율 학습을 위해 많은 시간이 주어지고, 그들 자신의 학습 접근법을 선택할 수도 있고, 그들 자신의 학습 자원을 선택할 수도 있다. 이러한 측면은 SDL의 원칙에 부합한다. 일반적으로 PBL 학생들은 개인적인 필요에 맞는 학습 과제를 선택할 수 있는 제한된 기회를 제공한다. 일반적으로 개인 맞춤형 교육은 지금까지 제한적인 관심을 받아온 반면, 개인 맞춤형 교육과정은 미래 의대의 핵심 특징으로 꼽힌다(Harden 2018; Hays 2018). In PBL, students generate learning issues that need further self-study. They are given much time for self-study, may choose their own study approach, and may select their own learning resources. These aspects fit with the principles of SDL. Usually in PBL students are offered limited opportunities to choose learning tasks that fit their personal needs. In general, personalized education has received limited attention so far, whereas personalized curricula are regarded as a key feature of the medical school of the future (Harden2018; Hays2018).
하지만, '개인화된 커리큘럼'은 무엇을 의미할까요 개인화된 학습은 아직 널리 인정된 정의가 없지만, 종종 다음을 의미한다.
개인화된 교육 목표,
개인화된 과제 선택,
개인화된 수업 또는 비계의 수준
But, what is meant by ‘personalized curricula’? Personalized learning still lacks a widely accepted definition, but is often meant to refer to
personalized instructional goals,
personalized task selection,
personalized instruction or levels of scaffolding
따라서, 개인화된 커리큘럼에서, 학생들은 그들의 학습 요구를 분석하고, 도전적인 목표를 설정하고, 스스로 학습 과제와 학습 자원을 선택한다. 개인화된 커리큘럼을 통해 우리는 표준 '일률적인' 정적 커리큘럼에서 벗어나게 됩니다. 이것은 학생들이 개별적으로 배운다는 말이 아니다.
Thus, in a personalized curriculum, students analyze their learning needs, set challenging goals, and select learning tasks and learning resources by themselves. With a personalized curriculum we move away from a standard ‘one-size-fits-all’ static curriculum. This is not to say that students learn individually.
특정 학생 그룹은 특정 PBL 작업에서 협력적으로 작업할 수 있기 때문에 [동일한 요구]를 공유할 수 있다. 이러한 개인화된 커리큘럼에서는, 학생들이 학습에 어느 정도 자율성을 가질 뿐만 아니라, 선생님에 의해 유능하고 지원받고 관련 있다고 느끼는 자율성 지원 학습 환경이 제공된다(Kusurkar et al. 2011; Ryan 및 Deci 2000). 학생들에게 그들의 필요에 맞는 학습 과제를 선택할 수 있는 자율성을 제공하는 것은 학생들의 공부에 대한 참여와 독립적인 동기를 향상시킬 것으로 기대된다. 또한 학생들의 학습에 대한 소유권이 강화되어 학생들이 스스로 학습과 개발에 앞장설 수 있을 것으로 기대된다. 위에서 주장했듯이 자율성을 제공한다고 해서 학생들이 더 이상 지원을 필요로 하지 않는 것은 아니다. A particular group of students might share the same needs due to which they collaboratively can work on a particular PBL task. In such a personalized curriculum, an autonomy-supportive learning environment is offered in which students not only have some autonomy in their learning, but also feel competent and supported by and related to their teachers (Kusurkar et al.2011; Ryan and Deci2000). Offering students some autonomy to select learning tasks that fit their needs is expected to enhance students’ engagement and independent motivation in studying. It is also expected to enhance students’ ownership over their learning, so that they take the lead in their own learning and development. Offering autonomy does not mean, as argued above, that students no longer need support.
학생들이 자기주도학습자가 되도록 훈련하려면, 학생의 자기평가, 목표설정, 노력 통제를 높이기 위해 교사의 코칭과 스캐폴딩이 매우 필요하다. 분명히, 교사들과 학생들 모두 그렇게 하기 위해 훈련이 필요하다. (Beker et al. 2016) 요컨대, 개인화된 커리큘럼은 SRL 이론에 적합하고, 학생들에게 자신의 필요에 맞는 학습 과제를 선택할 수 있는 자율성을 제공하는 경향이 있지만, 학습자가 자신의 학습 성과를 평가하고 모니터링 및 제어하는데 서툴 때가 많기 때문에 추가 증거가 필요하다(Bjork et al. 2013). So far, what is known about training students to become self-directed learners is that coaching and scaffolding by teachers is very much needed to facilitate self-evaluation, goal-setting and taking control of learning efforts (Sitzmann and Ely2011). Clearly, both teachers and students need training to do so (Beckers et al.2016). In sum, although, personalized curricula seem to fit with self-regulated learning theory and tend to provide students with autonomy to select learning tasks that fit their needs, further evidence is needed, because learners are often poor in estimating their performance and monitoring and controlling their own learning (Bjork et al.2013).
협업 학습 Collaborative learning
수년 동안, 많은 학교들은 학생들의 수가 증가하여 학생들이 익명으로 느끼고 서로 단절되었다고 느끼게 하는 큰 코호트를 야기하는 것에 직면해왔다.
큰 코호트를 더 작은 하위 코호트로 분할하는 것은 학생 간의 소셜 네트워크를 강화하기 위해 PBL 실무에 적용되고 있는 또 다른 방법이다. 소규모 코호트 내에서 학생들은 다른 학생들과 연결하기가 더 쉬워서 학습에 도움이 된다(Homes et al. 2012, 2014).
또 다른 선택은 소규모의 학생들과 연결되는 소규모의 교사들을 도입하는 것이다. 상호 작용하고 관행을 공유하는 이러한 소규모 교사 집단을 전문 학습 공동체(PLC)라고 한다(Stoll et al. 2006).
Over the years, many schools have been confronted by an increase in student numbers resulting in large cohorts that make students feel anonymous and disconnected to one another and the program.
Splitting a large cohort into smaller sub-cohorts is another method being applied in PBL practice to strengthen social networks between students. Within smaller cohorts it is easier for students to connect with other students, which benefits their learning (Hommes et al.2012,2014).
Another option is to introduce smaller cohorts of teachers who connect with smaller cohorts of students. These smaller groups of teachers who interact and share practices are called professional learning communities (PLCs) (Stoll et al.2006).
이러한 생각은 위에서 설명한 바와 같이 실천 공동체 이론과 잘 들어맞습니다.
(대규모 코호트 안에) 학생과 교사의 소규모 커뮤니티를 의도적으로 구축함으로써 학생과 교사는 실천을 공유하고, 정기적으로 서로 배우고 익힐 것으로 기대된다.
학생과 교사가 상호 학습의 상호 목적과 관련이 있고 연결되었다고 느끼게 하고, 학생-직원 파트너십을 구축함으로써 우리는 헌신과 소유권을 강화하고 학생과 교사가 지속적으로 교육 관행을 개선할 수 있도록 힘을 실어줄 수 있다(Cook-Sather 등, 2014; Bobil 등, 2016; Bendermacher 등, 2017).
These ideas fit well with the communities of practice (CoP) theory as explained above.
By intentionally building small communities of students and teachers inside a large cohort, students and teachers are expected to share practices and learn from and with each other on a regular basis.
By making students and teachers feel related and connected to mutual goals of reciprocal learning and by creating student-staff partnerships we can enhance commitment and ownership and empower students and teachers to continuously improve their teaching practices (Cook-Sather et al.2014; Bovill et al.2016; Bendermacher et al.2017).
제3부: 실천과 진보 이론을 강화하기 위한 설계 기반 연구 Part III: Design-based research to enhance practice and advance theory
쿡 등은 의료 교육 연구의 연구 목표를 분류하는 유용한 프레임워크를 개발했다. 그들은 서술적, 정당성, 해명적 연구를 구별했다.
처음에, PBL 연구는 학생들의 인식과 함께 PBL을 수행하는 방법에 대한 설명일 뿐이었다. 이러한 연구들은 학생들과 선생님들 모두가 PBL에 학생들을 적극적으로 참여시키는 것에 매우 긍정적이라는 것을 보여주었고, 따라서 많은 기관들이 PBL을 시행하도록 영감을 주었다는 점에서 가치가 있다.
이러한 초기 긍정적 조사 결과 이후, 그 효과에 대한 의문이 제기되었고, 이는 정당성 연구를 초래했으며, 학생 결과 측면에서 PBL 커리큘럼과 비 PBL 커리큘럼을 비교했다. 이러한 연구는 또한 PBL 커리큘럼이 소통 기술과 같은 일반 역량 획득에 긍정적인 영향을 미치고 지식 응용에 긍정적인 영향을 미친다는 점에서 가치가 있었다. 이러한 연구들은 커리큘럼 비교의 어려움으로 인해 많은 논쟁으로 이어졌다. 두 가지 이유가 있습니다. 첫째, 교육적 개입은 눈가림되어있지 않으며not blinded, 둘째, 다른 커리큘럼(Norman과 Schmidt 2000)에서 PBL이 구현되는 방식과 같은 맥락적 차이를 제어하기 어렵다.
그 후, 제3의 물결의 설명적explanatory 연구가 이 분야로 들어왔고, 보통 (일상적 PBL 실무에서 전 세계적으로 많은 기관들이 직면하고 있는 근본적인 성공과 장애요소를 해소하기 위한) 질적 연구가 이루어졌다. 이러한 설명 연구는 다양한 맥락과 설정에서 PBL에 대한 이해를 증진시키는 데 매우 유익했다.
Cook et al. (2008) developed a useful framework to classify research aims in medical education research. They distinguished descriptive, justification and clarification studies.
Initially, PBL studies were merely descriptions of how to conduct PBL, accompanied by students’ and teachers’ perceptions. These studies are valuable in that they demonstrated that both students and teachers were very positive about actively involving students in PBL and as such inspired many institutions to implement PBL.
After these initial positive findings, questions were raised about its effectiveness, which resulted in justification studies, which compared PBL curricula with non-PBL curricula in terms of student outcomes. These studies were also valuable in that we saw that PBL curricula have a positive effect on the acquisition of generic competencies, such as communication skills, and have a positive effect on knowledge application (Gijbels et al.2005; Hmelo-Silver2004; Schmidt et al.2009; Strobel and Van Barneveld2009). These studies led to a lot of debate due to the difficulty of comparing curricula. There are two reasons. First, educational interventions are not blinded and second, it is hard to control for contextual differences, such as the way PBL is implemented in different curricula (Norman and Schmidt2000).
Thereafter, a third wave of explanatory studies entered the field, usually qualitative studies aimed at disentangling the underlying success and hindering factors that many institutions face worldwide in daily PBL practice. These explanatory studies were very beneficial to advance our understanding of PBL in various contexts and settings (see e.g. Frambach et al.2012,2014).
요컨대, PBL 연구는 서술, 정당화, 명확화 연구로 발전했다. In sum, PBL research evolved from the descriptive, to justification and then clarification studies.
매일의 PBL 교육 연습이 이러한 연구에서 어느 정도 영감을 받았는가? 그것은 분명히 오늘날에도 여전히 이득이 되고 있다. 예를 들어, 과거의 실무자들은 튜터가 무엇보다도 콘텐츠 전문가여야 하는지 아니면 프로세스 전문가여야 하는지 궁금해했다. 오늘날, 좋은 PBL 튜터는 [콘텐츠 전문가]이자 [프로세스 전문가]여야 한다는 분명한 증거가 있다(돌맨스 외 2002). To what extent has daily PBL teaching practice been inspired by these studies? It has definitely benefited and still benefits today. For instance, in the past practitioners wondered whether a tutor should first and foremost be a content expert or a process expert. Nowadays, there is clear evidence available that a good PBL tutor should be both a content and process expert (Dolmans et al.2002).
이것은 PBL에 대한 현재 문헌에 공백이 남아 있지 않다는 것을 의미합니까? 비록 내가 거의 30년 동안 관여해 온 주제에 대해 비판적으로 반성하는 것이 다소 어려울 수 있다는 것을 인정해야 할 지라도, 나는 이것이 몇 가지 이유로 사실이라고 확신하지 않는다. 왜 우리가 더 많은 연구가 필요하다고 생각하는가?
Does this imply that there are no gaps left in the current literature on PBL? I am not convinced that this is true for several reasons, even if I have to admit that it might be somewhat difficult to reflect critically on a topic I have been involved with for almost 3 decades. Why do I think we need further research?
교육은 복잡하고 서로 상호작용하는 많은 다양한 변수들을 포함한다(Berliner 2002). 그 외에도, 교육은 매우 문맥에 따라 다르다. 연구는 종종 모호하고 일관성이 없는 결과를 가지고 있다(Dolmans et al. 2016). 우리는 아직도 PBL이 어떻게, 왜 작동하는지, 왜 작동하지 않는지 완전히 이해하지 못하고 있다. 디자인 기반 연구는 앞으로 나아갈 수 있는 유망한 방법을 제공하는 것 같다.
Education is complex and involves many different variables interacting with each other (Berliner2002). Besides that, education is highly context-specific. The research often has ambiguous and inconsistent findings (Dolmans et al.2016). We still do not fully comprehend how and why PBL works or does not work. Design-based research seems to offer a promising way to move forward.
2003년과 2004년에 발표된 많은 의학 연구는 초기에는 주로 [정량적 결과 지향적 정당성 연구]였다(Cook et al. 2008). 2000년 중반까지 PBL에 발표된 연구도 마찬가지이다(Woei et al. 2019). 더 깊이 이해하기 위해서는 더 많은 명확화 연구가 필요하다(Cook et al. 2008). 학습에서 맥락이 중요하다는 점을 고려할 때 DBR 연구는 실험실이 아닌 자연주의적 환경에서 수행되며, 여기서 변수는 별도로 조사된다(Barab 및 Squire 2004). 자연적 학습 환경에서 DBR 연구(재)는 분석, 설계 및 평가의 반복 주기 변수를 조사하기 위해 혼합 방법을 사용하여 이해관계자(교사, 학생, 교육 설계자, 연구원)와 협력하여 학습 컨텍스트를 설계한다. Many medical studies published in 2003 and 2004 were initially mainly quantitative outcome-oriented justification studies (Cook et al.2008). The same holds for studies published on PBL till mid 2000 (Woei et al.2019). More clarification studies are needed to gain a deeper understanding (Cook et al.2008). Given that context matters in learning, DBR studies are conducted in naturalistic settings and not in the laboratory, where variables are investigated in isolation (Barab and Squire2004). In the natural learning environment, DBR studies (re)design the learning context, based on theory, in collaboration with stakeholders (teachers, students, educational designers, researchers), using mixed methods to investigate the variables in iterative cycles of analysis, design, and evaluation (Brown1992; Collins1992; Barab and Squire2004; McKenney and Reeves2013; Bakker2018; Dolmans and Tigelaar2012).
DBR는 [분석, 설계 및 평가] 단계에서 모든 이해관계자의 강력한 참여를 통해 실무 개선을 목표로 한다. 그것은 또한 이론의 구축과 시험에 초점을 둔다는 점에서 우리의 이해를 증진시키는 것을 목표로 한다. 즉, DBR에서 구축 또는 테스트 이론과 실무 개선은 서로 얽힌 프로세스이므로 연구자와 실무자 모두가 긴밀하게 협업하고 상호 작용해야 한다. DBR aims to improve practice through the strong involvement of all stakeholders in the analysis, design and evaluation phase. It also aims to advance our understanding, given its focus on building and testing theory. In other words, building or testing theory and practice improvements are intertwined processes in DBR, requiring both researchers and practitioners to collaborate and interact closely.
전형적으로, DBR 연구는 다음과 같은 연구 질문에 대답하려고 노력한다: 어떻게 [특정한 특성을 가진 PBL]이 학생들이 [특정한 결과]를 얻을 수 있도록 더 잘 이뤄질 수 있을까? [특별한 특징]은 이론이 역할을 하는 곳이다(Bakker 2018). 이론은 PBL 개입을 설계하기 위한 지침이나 원칙을 제공한다. Typically, DBR studies try to answer a research question such as: How can PBL with certain characteristics better enable students to achieve a particular outcome? The particular characteristics are where theory plays a role (Bakker2018). Theory provides the guidelines or principles for designing a PBL intervention.
일반적으로 하나의 이론이 아니라 이론이나 지침의 혼합이 설계(또는 재설계)와 개입을 조사하기 위해 결합될 것이다. 이 이론은 개입의 설계와 사용된 방법과 도구를 알려줄 것이다. 또한 DBR 연구는 종종 일련의 연구(Bakker 2018)로 구성된다는 것을 명심하는 것이 중요하다. 즉, 연구 질문은 광범위하며 일반적으로 적절한 PBL 설계, PBL 설계 구현 정도 및 그 영향은 무엇인가와 같은 하위 질문으로 나누어질 것이다.
Usually not one theory but a mixture of theories or guidelines will be combined to design (or redesign) and investigate the intervention. The theory will inform the design of the intervention and the methods and instruments used. In addition, it is important to keep in mind that DBR research often consists of a series of studies (Bakker2018); i.e. the research question is broad and will usually be split in sub-questions, such as, what is an appropriate PBL design, how well is the PBL design implemented, and what are its effects?
DBR가 다룰 수 있는 연구 질문 및 주제는 무엇인가?
첫째, PBL 연구는 대개 교실 환경에서 PBL에 초점을 맞추고 있는 반면, 교실과 직장 학습을 연결하는 방법으로써 PBL에 대한 훨씬 더 많은 연구가 필요하다.
PBL 연구는 주로 단일 전문 학습 환경에 초점을 맞추고 있는 반면, 상호 전문적 학습 환경에서는 PBL에 대한 훨씬 더 많은 연구가 필요하다.
이전에 PBL 연구는 학습의 인지적 측면에 초점을 맞추었고 최근에야 학습의 사회적 측면을 다루기 시작했다. 혼합 또는 기술 강화 학습 환경에서 PBL 연구도 드물며 추가 연구가 필요하다(De Jong et al. 2017; Verstegen et al. 2018).
현재까지, PBL 연구는 학생들의 PBL 요구에 맞는 개인화된 커리큘럼에 대해 많이 알려져 있지 않기 때문에 표준 'one size fits all' 학습 형식을 주로 살펴봤다.
Which research questions and themes could be relevant for DBR to address?
First, PBL studies usually focus on PBL in classroom settings, whereas far more research is needed on PBL as a method to link classroom and workplace learning.
PBL research has mainly focused on single professional learning environments, whereas far more research is needed on PBL in inter-professional learning environments.
Previously, PBL research focused on cognitive aspects of learning and has only recently begun addressing the social aspects of learning. PBL research in blended or technology-enhanced learning environments is also scarce and needs further research (De Jong et al.2017; Verstegen et al.2018).
To date, PBL studies usually look at standard ‘one size fits all’ learning formats due to which not much is known about personalized curricula that fit the students’ PBL needs.
결론 및 토론 Conclusion and discussion
우리는 모든 PBL에 맞는 단일 크기의 접근 방식을 고수할 것이 아니라, 이론에 기초하여 PBL과 다른 접근 방식을 조정하고 재설계해야 한다.
We should not stick to a one-size fits all PBL approach, but adapt and redesign PBL and other approaches based on theories.
이러한 어댑테이션이 하이브리드 PBL 솔루션을 나타냅니까? 학생들이 학습에 깊이 접근하고 맥락적, 건설적, 자기 주도적, 협업적 학습의 네 가지 원칙에 맞도록 자극하는 한, 그것들은 PBL 혁신이라고 불릴 수 있다. 이러한 원칙들 중 하나라도 위반하였다면, PBL의 초기 목표에서 한 걸음 멀어졌다고 볼 수 있다. Do such adaptations represent hybrid PBL solutions? As long as they stimulate students to take a deep approach to learning and fit the four principles—contextual, constructive, self-directed, and collaborative learning—they can be called PBL innovations. Violations against any one of these principles may be seen as moving a step away from the initial aims behind PBL.
DBR 연구는 보편적 이론을 테스트하고 구축합니까? 아니면 DBR 소견은 지역적으로만 관련이 있습니까? DBR 연구가 실제 환경에서 수행된다는 점을 고려할 때, DBR 연구는 지역적으로 관련이 있으며 실제에 유용한 통찰력을 제공한다. 그러나 개입 또는 설계가 로컬 컨텍스트를 넘어서는 이론적 주장(Barab and Squire 2004)과 연결되기 때문에 이론적 이해를 진전시키기 위한 유망한 접근 방식도 제공한다. Do DBR studies test and build universal theory or are DBR findings just locally relevant? Given that DBR studies are conducted in the real environment, they are locally relevant and provide useful insights for practice. However, because the intervention or design is connected to theoretical claims that go beyond the local context (Barab and Squire2004), they also offer a promising approach to advance our theoretical understanding.
마지막으로, 우리는 PBL에서 발생하는 문제를 해결할 수 있는 단일 크기의 솔루션은 없다는 것을 명심해야 한다. 우리는 어떤 PBL 접근법이 가장 효과가 좋은지에 대한 결론을 도출하는데 매우 신중해야 한다. 어떤 단일 솔루션도 모든 조건에서 최적으로 작동하지 않습니다. DBR은 가급적 이론에 기초하는 특정 특성을 가진 PBL이 특정 목표를 염두에 두고 특정 맥락에서 작동하는 이유에 대한 더 나은 통찰력을 얻는 데 도움이 될 수 있다. PBL은 상황에 따라 매우 다르며, 컨텍스트를 고정하는 것이 아니라 지속적으로 변화한다는 점에서 계속해서 재창조되어야 한다.
Finally, we should keep in mind that there is no one-size-fits-all solution to address the problems encountered in PBL. We should be very careful in drawing conclusions about which PBL approach works best. No single solution works optimally under all conditions. At most, DBR can help us gain better insight into why PBL with certain characteristics, preferably based on theory, might work in a specific context with particular goals in mind. PBL needs to be continually redesigned in line with current and newly emerging theories. PBL is highly context-specific and needs to be reinvented again and again given that its context is not fixed, but changes continually.
Adv Health Sci Educ Theory Pract.2019 Dec;24(5):879-891.
doi: 10.1007/s10459-019-09940-2.Epub 2019 Nov 13.
How theory and design-based research can mature PBL practice and research
Many educational institutions in higher education switched to problem-based learning (PBL) in the last 5 decades. Despite its' successful implementation worldwide, many institutions still encounter problems in their daily teaching practices that limit deep learning in students. This raises the question: How else can we look at PBL practice and research? The main argument of this reflective paper is to better align PBL practice with the theories or principles of contextual, constructive, self-directed and collaborative learning. This paper explains what these principles or theories are. In addition, it discusses a new way to bridge theory and practice: design-based research (DBR), which combines redesigning theory-based teaching practices with investigating these practices in close collaboration with various stakeholders. There is no one-size-fits-all solution to address the problems encountered in PBL. We should be very careful in drawing conclusions about which PBL approach works best. No single solution works optimally under all conditions. At most, DBR can help us gain better insight into why PBL with certain characteristics, preferably based on theory, might work in a specific context with particular goals in mind.
Twelve tips for conducting educational design research in medical education Weichao Chena and Thomas C. Reevesb
도입 Introduction
의학 교육 연구 분야는 1950년대 이후 꾸준한 성장을 보여 왔다(트레이너와 에바 2010). 오늘날의 의료 전문가들은 다양한 종류의 교육 연구(Eva 및 Lingard 2008)를 수행하는 데 점점 더 많은 투자를 하고 있으며, 해당 기관(Ahmed et al. 2016)의 지원을 받고 있다. 불행히도, 다른 교육적 맥락에서와 마찬가지로 교육적 연구의 영향은 약하다. 결과적으로, 연구와 실제 사이의 차이를 더 효과적으로 메워주는 연구에 대한 요구가 증가하고 있다. The field of medical education research has witnessed steady growth since the 1950s (Traynor and Eva2010). Today’s healthcare professionals are increasingly invested in conducting educational research of various kinds (Eva and Lingard2008), with efforts often supported by their institutions (Ahmed et al.2016). Unfortunately, the impact of educational research on medical education practice is weak, just as it is in other educational contexts (Kaestle1993; Kennedy1997; Albert et al.2007; Dolmans and Tigelaar2012; van Enk and Regehr2018). As a result, there has been a growing call for studies that more effectively bridge the gap between research and practice.
실천에 미치는 영향이 불충분할 뿐만 아니라, 교육 및 학습과 관련된 강력한 이론의 정의와 개선에 적절하게 기여하는 의학 교육 연구 연구는 거의 없다. 쿡 외 연구진(2007)이 2003년과 2004년 사이에 주요 학술지에 발표한 실험 의학 교육 연구를 체계적으로 검토한 결과, 45%의 연구가 개념적 틀을 결여하고 있었다. In addition to the insufficient impact on practice, few medical education research studies contribute adequately to the definition and refinement of robust theory related to teaching and learning. According to Cook et al.’s (2007) systematic review of the experimental medical education research published in leading journals between 2003 and 2004, 45% of the studies lacked a conceptual framework.
'이론 지향적이고 응용과 관련된 두 가지 모두를 다른 사람에게 알리기 위해 사용한다'는 의학적 교육 연구에 대한 수요에 대응하여(Eva 2010, 페이지 4), 본 논문은 이 두 가지 목표를 달성하기 위한 유망한 접근법으로 교육 설계 연구(EDR)를 소개한다. 그림 1은 EDR 프로젝트의 세 가지 주요 단계를 보여줍니다(McKenney 및 Reeves 2019).
Responding to the demand for medical education research that is ‘both theory-oriented and application-relevant, using each to inform the other’ (Eva2010, p. 4), this paper introduces Educational Design Research (EDR) as a promising approach to accomplishing this twofold objective.Figure 1illustrates the three major phases of EDR projects (McKenney and Reeves2019):
'분석 및 탐구'는 중요한 교육 문제에 대한 이해를 얻고 다른 사람들이 어떻게 문제를 해결했는지 조사하기 위해 협력자들과 긴밀히 협력하는 것을 포함한다.
'설계 및 시공'은 적절한 설계 원칙을 식별 또는 작성하고 이러한 원칙을 사용하여 프로토타입 개입을 개발하는 데 초점을 맞춥니다.
'평가 및 성찰'은 프로토타입 개입을 테스트하고 결과가 미치는 영향을 검토하기 위해 여러 번 반복된 데이터 수집 및 분석으로 구성됩니다.
‘Analysis and Exploration’ involves working closely with collaborators to acquire an understanding of a significant educational problem and investigate how others have addressed it;
‘Design and Construction’ focuses on identifying or creating appropriate design principles and using these principles to develop your prototype intervention; and
‘Evaluation and Reflection’ consists of multiple iterations of data collection and analysis to test your prototype intervention and review the implications of the findings.
의학 교육 연구자들(Dolmans and Tigelaar 2012; Wolcott et al. 2019)에게 최근에 소개되었지만, EDR은 1990년대 초 다른 교육 환경에서 출현했으며, [교육 연구가 실제에 미치는 영향을 강화]하는 동시에, [이론을 확장 및 정제하는extending and refining 방식]의 하나로서 꾸준히 증가하고 있다. 설계 기반 연구 및 설계 기반 구현 연구와 같은 유사한 접근 방식을 포괄하는 EDR은 2003년부터 현재까지 주요 교육 연구 저널의 여러 특수 이슈에 실렸다. 그림 1은 맥케니와 리브스(2019)가 설명한 EDR의 과정을 보여주고 있다.
While only recently introduced to medical education researchers (Dolmans and Tigelaar2012; Wolcott et al.2019), EDR emerged in other educational settings in early 1990s and has been steadily increasing as a way of enhancing the impact of educational studies on practice while at the same time extending and refining theory (McKenney and Reeves2019). Encompassing similar approaches such as design-based research and design-based implementation research, EDR has been featured in multiple special issues of leading educational research journals between 2003 and the present.Figure 1illustrates the process of EDR as delineated by McKenney and Reeves (2019).
팁 1 EDR 이니셔티브가 학습 및 교육 관련 중요한 문제에 집중되도록 보장 Tip 1 Ensure your EDR initiative is focused on a significant problem related to learning and teaching
무엇보다도, 당신의 EDR 이니셔티브는 교육 및 학습의 실천과 관련된 의미 있는 문제에 초점을 맞추고 이 확인된 과제를 충족시키는 것을 목표로 해야 한다. [중요한 교육 과제를 해결하기 위한 초점]은 EDR을 교육 연구에 대한 많은 다른 접근 방식(McKenney 및 Reeves 2019)과 구별한다. 그림 1에서 설명한 바와 같이, EDR 이니셔티브의
첫 번째 단계인 집중적인 '분석 및 탐색'을 통해 문제에 대한 여러분의 이해도를 알게 되며, 이후
두 번째 단계인 '설계 및 시공'에서 문제에 대한 프로토타입 솔루션을 개발할 수 있게 됩니다. 이 솔루션은 새롭게 계획되거나 강화된
교육 프로세스(예: 혁신적인 교육학적 전략),
프로그램(예: 교직원 개발 노력 강화) 또는
정책(예: 주민 교육 현장의 변화)...의 형태로 '개입'으로 특징지어질 수 있다(Groupen et al. 2018).
First and foremost, your EDR initiative should focus on a meaningful problem relevant to the practice of teaching and learning and aim to meet this identified challenge. This sharp focus on addressing a significant educational challenge distinguishes EDR from many other approaches to educational research (McKenney and Reeves2019). As illustrated inFigure 1, your understanding of the problem will
be informed by intensive ‘Analysis and Exploration’ during the first phase of your EDR initiative and
subsequently enable the development of a prototype solution to the problem during the second phase, ‘Design and Construction.’ The solution can be characterized as an ‘intervention’ in the form of newly planned or enhanced
programs (e.g. enhanced faculty development efforts), or
policies (e.g. changes in training sites for residents) (Gruppen et al.2018).
오늘날 의료 교육자들에게 심각한 문제를 구성하는 것은 무엇인가? 많은 교육적 과제는 모든 수준의 교사들이 경험하는 것과 다르지 않다(예: 능동적 학습 원칙의 통합 또는 고차원적 학습 성과의 달성 증가). 다음과 같이 의학교육에 더 구체적인 것도 있다. What constitutes serious problems for healthcare educators today? Many educational challenges are not unlike those experienced by teachers at all levels (e.g., increasing the integration of active learning principles or the achievement of higher-order learning outcomes), but others are more specific to medical education, including:
점점 더 유동적인 의료 팀에서 효과적으로 작업할 수 있는 역량을 개발합니다.
환자 및 기타 의료 전문가와 문화적으로 유능한 방식으로 의사소통할 수 있는 기술을 배양합니다.
머신 러닝 알고리듬과 로봇에 점점 더 많이 빠져드는 세상에서 의료 전문가들이 실습을 할 수 있도록 준비한다.
평가 프로토콜 및 피드백 관행을 개선하여 역량 기반 교육을 촉진합니다.
의료 전문가의 임상 추론(CR)을 개선합니다.
Develop capacities to work effectively in increasingly fluid healthcare teams.
Cultivate skills to communicate in a culturally competent manner with patients and other healthcare professionals.
Prepare healthcare professionals for practice in a world increasingly infused with machine learning algorithms and robots.
Improve assessment protocols and feedback practices to promote competency-based education.
의학 교육에서 EDR이 어떻게 수행될 수 있는지를 명확히 하기 위해, 의대생의 임상 추론 강화 문제에 초점을 맞춘 가상의 연구가 다음 팁의 설명에 사용될 것이다. CR이 환자 안전에 중요한 영향을 미치는 의료 실무의 핵심 기술임에도 불구하고, 이러한 기술은 임상 회전 중에 전문 실무자를 관찰하여 개발하는 것으로 여기기 때문에 명시적으로 교육되는 경우는 거의 없다. 학생들의 CR을 향상시키는 것은 의대 교사들에게 분명히 심각한 도전이다(Higgs et al. 2019).
To clarify how EDR can be conducted in medical education, a hypothetical study focused on the problem of enhancing medical students’ clinical reasoning (CR) will be used in the description of the following tips. Despite the fact that CR is a core skill in medical practice with major implications for patient safety, it is rarely explicitly taught because it is assumed that these skills will be developed by observing expert practitioners during clinical rotations (Gay et al.2013; Amey et al.2017). Enhancing the CR of their students is clearly a serious challenge for medical teachers (Higgs et al.2019).
팁 2 실제 및 이론적 결과를 위해 노력합니다. Tip 2 Strive for both practical and theoretical outcomes
McKenney와 Reeves(2019)에서 설명한 바와 같이, EDR 프로젝트는 [개입의 성숙]과 [강화된 이론적 이해]라는 두 가지 주요 결과를 동시에 추구한다.
그림 1에서 설명한 것처럼, EDR의 실제 결과는 새로운 조건이 진화함에 따라 개입도 진화해야 하기 때문에 [어떤 문제 해결도 최종적이지 않다는 인식]에서 성숙된 개입으로 개념화된다.
그림 1은 EDR의 이론적 기여를 이론적 이해로 지정한다. EDR에서 [이론적 이해]는 보통 '설계 원칙design principle'의 형태로 표현된다. 설계 원칙은 [이전 연구로부터 도출된 모범 사례로서, 프로토타입 솔루션의 작성에 정보를 제공하고, 이후 데이터 수집, 분석 및 반영 활동을 통해 구체화하는 데 사용]된다.
As delineated in McKenney and Reeves (2019), two primary outcomes are sought simultaneously in EDR projects, specifically a maturing intervention and enhanced theoretical understanding.
As illustrated inFigure 1, the practical outcome of EDR is conceptualized as a maturing intervention in recognition that no problem solution is ever final because as new conditions evolve, interventions must evolve as well.
Figure 1designates the theoretical contribution of EDR as theoretical understanding. In EDR, theoretical understanding is usually represented in the form of ‘design principles.’ Design principles are the best practices derived from prior research that you will use to inform the creation of your prototype solution and that subsequently, you will refine through your data collection, analysis, and reflection activities.
학생들의 CR 기술 향상 도전에 EDR을 적용할 때, [실용적 결과]는 [CR 기술을 향상시키는 교육적 개입]이 될 것이며, [이론적 결과]는 [다른 높은 차원의 성과를 다루는 개입을 개발하기 위한 설계 원칙의 강화]일 것이다.
개입의 성숙의 예로는 학생들이 대화형 피드백과 코칭으로 실제 사례에 CR을 적용하는 데 관여하는 컴퓨터 기반 시뮬레이션이 있을 수 있다.
설계 원리의 예로는 '사례 기반 시뮬레이션은 임상 추론의 형태적 평가가 실제 작업에 포함되고 피드백이 지연되지 않고 즉시 제공될 때 가장 효과적이다'라고 할 수 있다.
In applying EDR to the challenge of enhancing students’ CR skills, the practical outcome would be an educational intervention that improves CR skills while the theoretical outcome would be enhanced design principles for developing interventions that address other higher order outcomes.
An example of a maturing intervention might be a computer-based simulation that engages students in applying CR to actual cases with interactive feedback and coaching.
An example of a design principle might be that ‘A case-based simulation is most effective when the formative assessment of clinical reasoning is embedded in authentic tasks and feedback is provided immediately rather than delayed.’
팁 3 연구 및 개발 프로세스 전반에 걸쳐 이론적 이해를 구합니다. Tip 3 Seek theoretical understanding throughout the research and development process
EDR 이니셔티브 전반에 걸쳐 (니즈 평가, 문헌 검토, 준 실험과 같은) 다양한 연구 활동이 중요한 문제에 대한 해결책의 주기적인 개발에 통합된다. 이러한 연구 개발 활동은 서로 다른 유형의 [이론적 이해]를 통해 정보를 제공받는다(McKenney 및 Reeves 2019). Throughout an EDR initiative, various research activities such as needs assessment, literature review, and quasi-experiments are integrated into the cyclical development of a solution to the significant problem. These research and development activities are informed by and in turn yield different types of theoretical understanding (McKenney and Reeves2019):
기술적 이해descriptive understanding는 일반적으로 혁신적인 개입의 실제 개발을 시작하기 전에 '분석 및 탐색' 단계에서 이루어집니다. 문헌 검토나 경험적 탐색을 통해 목표 교육 과제와 관련된 현재 상황에 대한 더 나은 이해를 도출하고, 이는 이후 '설계와 건설' 단계를 알려준다.
'평가 및 성찰' 단계에서는 개입의 테스트 및 개선을 통해 원하는 결과에 대한 예측적 이해predictive understading를 구하고, 설계된 개입이 목표 문제를 해결하는지 여부와 어느 정도까지 해결할 수 있습니다.
혁신이 제대로 작동하는지를 평가하는 것은 유용하지만, 혁신이 어떻게, 언제, 그리고 '어떤what' 측면과 '왜' 그것이 발생하였는지를 동시에 연구하는 것도 중요합니다(Regehr 2010). 따라서 설명적 이해explanatory understanding는 개입이 성공하거나 실패하는 방법과 이유를 설명하여 중요한 인과 관계 또는 영향력 있는 상황적 요인을 드러낸다.
'평가 및 성찰' 단계에서 개입의 타당성을 조사하는 여러 번의 반복을 통해, 대개 [정교화된 설계 원리refinded design principle]의 형태로 규범적인 이해prescriptive understanding를 도출할 수 있습니다. 이상적으로, 이러한 정교한 설계 원칙은 자신이나 다른 사람이 새로운 교육 맥락에서 유사한 개입의 설계와 실행을 가능하게 할 것이다.
Descriptive understandingis typically pursued during the ‘Analysis and Exploration’ stage, before starting the actual development of your innovative intervention. Through literature reviews or empirical exploration, you derive a better understanding of the current situation related to the target educational challenge, which subsequently informs the ‘Design and Construction’ stage.
At the ‘Evaluation and Reflection’ stage, through the testing and refinement of your intervention, you can seekpredictive understandingof the desired outcomes, addressing whether, and to what extent, the designed intervention addresses the target issue.
While it is useful to assess ‘if’ your innovation works, it is also important to simultaneously study ‘how,’ ‘when,’ and ‘what’ aspects of it work and ‘why’ that happens (Regehr2010).Explanatory understanding, therefore, explicates how and why the intervention succeeds or fails, revealing important causal relationships or influential contextual factors.
Through multiple iterations of investigating the efficacy of your intervention during the ‘Evaluation and Reflection’ stage, you can deriveprescriptive understanding, usually in the form of refined design principles. Ideally, these refined design principles will enable the design and implementation of similar interventions in new educational contexts by yourself or others.
가상 환자, 대화형 시뮬레이션, 반응성 매니킨, 질병 스크립트 워크샵, 서비스 학습, 문제 기반 학습, 개념 매핑, 혼합 학습 및 3-D 게임과 같은 의료 학습자의 CR을 향상시키기 위해 수 많은 혁신이 개발되었다. 하지만 이러한 개입 중 어느 것도 이 과제를 제대로 해결하지 못했습니다. 적어도 이 실패의 일부는 [CR에 대한 타당한 이론적 이해 없이 개입을 개발하는 모든 너무 일반적인 관행]과 [이러한 기술을 가르치는 복잡성]에 기인할 수 있다(Rencic 2011).
Numerous innovations have been developed to enhance the CR of healthcare learners, such as virtual patients, interactive simulations, responsive manikins, illness scripts workshops, service learning, problem-based learning, concept mapping, blended learning, and 3-D games (among others), but none of these interventions has adequately met this challenge. At least part of this failure may be attributed to the all-too-common practice of developing interventions without a sound theoretical understanding of CR and the complexities of teaching these skills (Rencic2011).
팁 4 개념적 프레임워크 식별 및 적용 Tip 4 Identify and apply conceptual frameworks
'분석 및 탐색' 단계(그림 1 참조)에는 [연구 및 설계 활동의 계획을 안내하기 위해 가능한 한 일찍 하나 이상의 개념 프레임워크를 식별하는 것]이 포함됩니다. 개념적 프레임워크는 관찰을 기반으로 개발되거나 경험적 연구에 의해 검증되거나 다른 well-grounded theory에서 도출된 이론, 모델 및 실천 원칙을 포함한다. 각 프레임워크는 복잡한 교육 현상을 검토하고 해석하기 위한 렌즈를 제공한다(Bordage 2009). 다시 말해서, 서로 다른 프레임워크는 [대상 문제의 상호 관련되고, 또 종종 복잡한 측면에 주의]를 기울이게 하며, [혁신적 개입에 통합될 수 있는 교육 전략의 유형]에 영향을 미친다. The ‘Analysis and Exploration’ phase (seeFigure 1) includes identifying one or more conceptual frameworks as early as possible to guide your planning of both research and design activities (Yin2014). Conceptual frameworks include theories, models, and principles of practice that are developed based on observations, validated by empirical research, or derived from other well-grounded theories. Each framework provides a lens for examining and interpreting complex educational phenomena (Bordage2009). In other words, different frameworks bring attention to interrelated and often complex aspects of the target problem and influence the types of educational strategies that might be integrated into an innovative intervention.
학습 이론에서 프레임워크를 식별하면(Zackoff et al. 2019), 학습이 어떻게 발생하고 성공적인 학습을 지원하기 위한 교육 노력을 개선하는 방법에 초점을 맞출 가능성이 높다.
반면에, 만약 시스템 이론으로부터 도출한다면(Barr 2013), 아마도 혁신이 지속되도록 조직의 능력을 향상시키기 위한 [혁신의 확산에 영향을 미치는 요소]들을 조사할 것이다.
If you identify a framework from learning theories (Zackoff et al.2019), you are likely to focus on the process of how learning occurs and how to improve instructional efforts to support successful learning;
on the other hand, if you derive your framework from system theories (Barr2013), you will probably investigate factors that influence the diffusion of your innovation so as to enhance your organization’s capacity to sustain it.
EDR을 수행하는 연구자와 실무자는 의료 학습자의 CR을 향상시키기 위해 서로 다른 학습 이론을 채택했다.
예를 들어, 라마케어스 외 연구진(2012)은 인지 이론을 채택하고 학습자의 인지 이해 구성을 지원하는 실제 사례와 실천을 갖춘 커리큘럼을 구축한 반면, 레게트(2016)는 CR 성능에 '자기조절학습'의 중요성을 강조했다. 그리고 학생들의 자율 학습 능력을 향상시키기 위해 피드백 연습을 강화하려고 노력했다.
반면 코이비스토 외 연구진(2016, 2017, 2018)은 경험이 학습에서 수행하는 중심 역할에 초점을 맞췄다. 학습자의 CR 능력을 높이기 위한 3-D 게임을 개발하면서, 학생들의 학습 과정을 조사하고 향상시키기 위해 경험 학습 이론을 채택했다.
의학 교육의 맥락에서, 학습 이론의 추가 예는 Zackoff et al. (2019, 페이지 137–138)에서 볼 수 있으며, Bar (2013)는 조직 이론과 활동 이론과 같은 시스템 이론의 예를 제공했다.
Researchers and practitioners conducting EDR have adopted different learning theories to enhance healthcare learners’ CR.
For example, Ramaekers et al. (2012) adopted cognitive theories and built a curriculum with authentic examples and practice to support learners’ construction of cognitive understanding whereas Leggett (2016) emphasized the importance of ‘self-regulated learning’ on the performance of CR and sought to enhance feedback practice to foster students’ self-regulated learning skills.
On the other hand, Koivisto et al. (2016,2017,2018) focused on the central role that experience plays in learning. In developing a 3-D game to enhance learners’ CR skills, they adopted the experiential learning theory to investigate and enhance students’ learning process.
Within the context of medical education, additional examples of learning theories are available in Zackoff et al. (2019, p. 137–138), and Barr (2013) provided examples of system theories, such as organizational theory and activity theory.
팁 5 EDR 이니셔티브에 대해 기꺼이 협력할 수 있는 실무자와 연구자를 식별합니다. Tip 5 Identify practitioners and researchers willing and able to collaborate on the EDR initiative
EDR의 특징은 [연구자와 실무자의 긴밀한 협업을 포함]하거나, 의료 교육에서 실무자와 이론적 이해를 개선하기 위한 [장기적 노력에 협력하고자 하는 실무자 그룹을 포함]한다는 것이다. 교육 생태계에 대한 모든 개입의 성공은 시스템의 다른 요소(Zhao 및 Frank 2003)와의 혁신적 상호작용에 의해 결정된다. 다음 이해관계자는 EDR 프로젝트가 수행되는 생태계에서 중요한 역할을 할 수 있다. A hallmark of EDR is that it involves the close collaboration of researchers and practitioners, or more likely in medical education a group of practitioners willing to engage collaboratively in long-term efforts to improve practice and theoretical understanding. The success of any intervention in an educational ecological system is determined by the innovation’s interaction with other components of the system (Zhao and Frank2003).
당신의 프로젝트가 다루는 문제와 관련된 핵심 기술 및 주변 기술을 가르치는 일에 관련된 전문가들,
프로그램 평가 및 학습 평가에 전문 지식을 갖춘 전문가
교수 및 직원 개발 및 교육 설계에 전문 지식을 갖춘 전문가
행정, 학술, 학생, 기술 지원 인력 및
대상 학습자 모집단의 대표자
professionals involved in teaching the core and peripheral skills related to the problem your project addresses,
professionals with expertise in program evaluation and learning assessment,
professionals with expertise in faculty and staff development and/or instructional design,
administrative, academic, student, and technology support personnel, and
representatives of the target learner population.
교육 개발 및 연구 모두에서 중요한 역할을 수행해야 하지만, 경험이 풍부한 교육 연구자 또는 평가자를 팀에 한 명 이상 포함시키는 것을 고려하십시오. 성공적인 프로젝트 관리(Huggett et al. 2011)를 통해 다학제적 협업을 통해 학술활동의 질을 크게 높일 수 있습니다(Traynor 및 Eva 2010).
While you should play key roles in both instructional development and research, consider including one or more experienced educational researchers or evaluators on your team. With successful project management (Huggett et al.2011), multidisciplinary collaboration can significantly advance the quality of scholarship (Traynor and Eva2010).
또한 의대생 스스로 EDR 이니셔티브에 참여하기를 원할 수 있다. 이들이 소규모 평가의 참여자 및 설계 및 구현 아이디어를 위한 견고한 위원회 역할을 할 수 있기 때문이다.
In addition, you might want to engage medical students themselves in the EDR initiative as they can serve as participants in small-scale evaluations and as sounding boards for design and implementation ideas.
팁 6 대상 문제 및 학습자 분석 Tip 6 Analyze the target problem and learners
[개입의 구성construction of an intervention]에 정보를 제공하기 위해서는, 목표 문제와 다른 사람이 목표 문제를 해결하기 위해 사용한 [기존 혁신에 대한 풍부한 설명적 이해]를 얻어야 하며, [목표 모집단과 학습 환경에 대한 자세한 정보]도 얻어야 합니다(Bass and Chen 2016; Hughes 2016). 이러한 종류의 정보는 일반적으로 문헌 검토, 현장 방문 및 관찰, 학습자 및 교육자 조사를 통해 구해진다. To inform your construction of an intervention, you must acquire a rich descriptive understanding of the target problem and the existing innovations that others have employed to address your target problem, and you must also garner detailed information about the target population and the learning environment (Bass and Chen2016; Hughes2016). This kind of information is typically sought through reviewing the literature, conducting site visits and observations, and/or surveying learners and their educators.
또한 대상 학습자와 학습 환경에 대한 다음 정보를 명확히 설명해야 합니다(Fink 2013). Additionally, you should seek to clarify the following information about your target learners and their learning environment (Fink2013):
학습자 및 강사 특성
학습 환경, 기술 및 기타 자원의 설정
사회, 전문직 협회, 소속 기관 같은 외부 기대치
교육내용subject matter의 특성과 내재된 교육학적 도전.
learner and instructor characteristics;
the setting of the learning environment, technology, and other resources;
external expectations from the society, professional associations, and your institute; and
nature of the subject matter and inherent pedagogical challenges.
팁 7 정렬된 교육 설계 및 구성 Tip 7 Design and construct an aligned educational design
EDR의 '설계 및 시공' 단계는 이전 '분석 및 탐사' 단계에서 습득한 기술 이해를 바탕으로 설계 계획을 수립하기 시작하는 단계입니다(그림 1 참조). The ‘Design and Construction’ phase of EDR is when you begin constructing your design plan based on the descriptive understanding acquired during the previous ‘Analysis and Exploration’ phase (seeFigure 1).
첫째, 프로토타입 개입에 대한 설계 원칙을 도출하기 위해 개념 프레임워크 및 유사한 솔루션과 관련된 문헌을 계속 검토하십시오. 이러한 원칙은 설계 계획design plan으로 전환되며, 여기에는 다음의 세 가지 핵심 요소가 포함되어야 합니다(Fink 2013).
교육 목표,
교육 활동 및 자료,
평가 및 피드백 절차
First, continue to review literature related to your conceptual framework(s) and similar solutions to derive design principles for your prototype intervention. These principles are turned into your design plan, which must include three key elements at a minimum:
내용을 확인하거나 새로운 교육 방법 또는 기술을 탐색하여 혁신을 개발하고자 할 수도 있지만, 교육 목표를 구성하거나 검토하면서 학습자가 교육 개입의 마지막에 무엇을 해야 하는지를 명확하게 설명하는 것으로 시작할 수 있습니다. 이노베이션 개발을 안내하는 명확한 교육 목표를 작성할 때, 나머지 두 가지 주요 설계 요소(교육 활동 및 자료, 평가 및 피드백 절차)를 이러한 목표와 연계할 수 있는 기반을 구축합니다. 이러한 정렬은 학생들이 의미 있는 학습에 참여할 수 있는 기회를 높여 줍니다(Fink 2013).
While you might be eager to start developing your innovation by identifying the content or exploring a novel teaching method or technology, instead begin by composing or reviewing your educational objectives, clearly describing what learners are expected to do at the end of the instructional intervention. When you write clear educational objectives to guide the development of your innovation, you build the foundation for the alignment of the other two major design elements (instructional activities and materials and assessment and feedback procedures) with these objectives. This alignment enhances your students’ opportunities to engage in meaningful learning (Fink2013).
교육 목표를 지정하는 과정은 자연스럽게 다음과 같은 다른 주요 설계 요소를 고려하도록 유도합니다.
학습자의 목표 달성을 지원하기 위한 교육 활동 및 자료를 제작하는 과정과
원하는 학습이 이루어졌음을 입증하기 위한 관련 평가 및 피드백 절차를 개발하는 과정.
The process of specifying your educational objectives naturally prompts you to consider other key design elements,
crafting instructional activities and materials to support learners’ achievement of these objectives and
developing relevant assessment and feedback procedures to demonstrate that the desired learning has occurred.
MedBiquitous Curriculum Inventory Working Group 표준화 어휘 소위원회(2016)는 의료 교육에서 일반적인 교육 및 평가 방법을 식별한다.
MedBiquitous Curriculum Inventory Working Group Standardized Vocabulary Subcommittee (2016) identifies common instructional and assessment methods in medical education.
'분석 및 탐구' 단계 이후, 여러분과 동료들이 학생들의 CR을 개선하기 위하여, 'flipped classroom'을 활용한 교육적 개입의 설계를 스케치했다고 가정합시다. 반복 설계 프로세스 중에 이러한 각 설계 구성요소를 수정하고 다시 검토하여 해당 구성요소가 서로 일치하고 개입이 제안된 설계 원리에 부합하는지 확인합니다. 다음과 같은 질문을 합니다. Suppose that after the ‘Analysis and Exploration’ phase, you and your colleagues have sketched out a design of an instructional intervention to enhance students’ CR, specifically a ‘flipped classroom’. During the iterative design process, you will revise and revisit each of these design components to make sure that they are in alignment with each other and that the intervention is congruent with the proposed design principles. Ask questions such as:
FC 모델은 모든 교육 목표를 효과적으로 다루고 학생들이 학습 평가를 준비하도록 하는가?
평가 활동이 모든 목표를 어느 정도까지 다루고 있는가?
프로토타입 FC 접근 방식에 당신의 설계 원칙이 얼마나 잘 반영되어 있습니까?
대상 학습자, 학습 환경 및 리소스에 대한 이해를 바탕으로 이 혁신을 실제로 구현하는 것이 얼마나 실현 가능합니까?
To what extent does the flipped classroom model effectively address all the educational objectives and prepare students for learning assessments?
To what extent do the assessment activities cover all the objectives?
How well are your design principles reflected in your prototype flipped classroom approach?
Based on your understanding of the target learners, learning environment, and resources, how feasible is it to actually implement this innovation?
팁 8 프로토타입 개입 구현 평가 Tip 8 Evaluate the implementation of your prototype intervention
EDR의 3단계는 '평가와 성찰'을 통해 혁신적인 개입을 개선하고 이론적 이해를 확대 또는 강화한다(그림 1 참조). 주기적인 평가를 수행하여 지역 및 광범위한 제도 생태계에서 개입의 기능을 조사하고 개입의 성공에 영향을 미치는 요인을 식별한다. 권장 질문은 다음과 같습니다.
The third phase of EDR involves ‘Evaluation and Reflection’ to refine the innovative intervention and extend or enhance theoretical understanding (seeFigure 1). Conduct periodic assessments to investigate the intervention’s functioning in both the local and the broader institutional ecological systems and identify factors impacting its success. Recommended questions include:
선생님과 학습자 모두 여러분의 개입이 그들의 필요와 관련이 있다고 어느 정도 인식했는가?
학습자가 개입에 얼마나 관여하고engaged 있습니까?
당신의 개입이 그것의 의도된 목표를 얼마나 잘 다루고 있는가?
의도하지 않은 결과가 나타날 경우, 긍정적인 결과인가 부정적인 결과인가? 그리고 왜 그런 결과가 나타났는가?
당신의 원래 계획에 어떤 수정이 이루어졌고, 왜 이러한 변경들이 이루어졌는가?
To what extent have both teachers and learners perceived your intervention as relevant to their needs?
How engaged are learners in the intervention?
How well does your intervention address its intended goals?
If any unintended outcomes emerge, are they positive or negative and why have they occurred?
What modifications have been made of your original plan and why were these changes made?
이러한 유형의 질문을 어떻게 해결할 수 있습니까? 관찰, 인터뷰 및 설문지를 포함하여 평가 작업에 사용할 수 있는 다양한 데이터 수집 방법과 도구가 있습니다(Reeves 및 Hedberg 2003).
How can you address these types of questions? There are many different data collection methods and tools that can be used in your evaluative work, including observations, interviews, and questionnaires (Reeves and Hedberg2003).
학생들의 CR을 향상시키기 위해 뒤집힌 교실 접근법과 같은 교육적 혁신을 구현하기 시작한다고 상상해 보십시오. 혁신이 설계한 대로 구현되는지 여부를 확인하고 해당 설계에 필요한 조정을 수행하는 방법을 결정하기 위해 몇 번의 반복 시험과 개선을 수행할 계획이다.
Imagine beginning to implement an instructional innovation such as a flipped classroom approach to enhance your students’ CR. Plan to conduct several iterations of testing and refinement to see whether the innovation is being implemented as designed and determine how to make any needed adjustments to its design.
팁 9 개입의 결과 평가 Tip 9 Evaluate the outcomes of your intervention
실제 결과와 이론적 결과를 모두 향상시키기 위해 수행하는 '평가 및 성찰'의 반복 횟수에 대해 정해진 규칙은 없지만 대부분의 EDR 연구는 [최소 세 번의 반복]을 포함한다. 각 반복에 대해, 개입의 구현을 평가하는 것 외에도, 의도하지 않은 효과를 포함하여 EDR 이니셔티브의 즉각적인 교육 목표와 장기적인 최종 목표의 성취를 분석한다. 평가할 수 있는 결과의 범위는 Kirkpatrick과 Kirkpatrick(2016)에 의해 네 가지 수준으로 나뉜다.
Although there is no set rule for the number of iterations of ‘Evaluation and Reflection’ you carry out to enhance both your practical and theoretical outcomes, most EDR studies encompass at least three iterations (McKenney and Reeves2019). For each iteration, in addition to evaluating the implementation of the intervention, analyze the achievement of both the immediate educational objectives and the long-term ultimate goals of the EDR initiative, including unintended effects. A range of outcomes that can be evaluated are divided into four levels by Kirkpatrick and Kirkpatrick (2016):
학습자의 학습 경험과 개입의 유용성에 대한 인식에 대한 만족도
학습 평가 결과에 반영되는 개입에서 얻은 학습
행동 변화 또는 새로운 학습의 성과 맥락으로의 전이transference
환자 안전 결과 개선과 같은 개입 이후의 조직 결과.
learner satisfaction with their learning experience and perception of the usefulness of the intervention;
learning acquired from the intervention as reflected in the learning assessment outcomes;
behaviors changes or transference of new learning to a performance context; and
organizational results following the intervention such as improved patient safety outcomes.
실현 가능성, 가용 리소스 및 목표를 기반으로 평가할 결과의 적절한 수준을 결정하고 적절한 평가 방법 및 도구를 사용합니다. 학생들의 CR을 개선하기 위해 FC를 활용한 경우, 적어도 커크패트릭과 커크패트릭(2016)이 설명한 처음 세 단계의 평가를 수행하고자 할 것이다.
레벨 1의 경우 설문지와 관찰을 사용하여 학생들이 FC 방식에 어떻게 반응하는지 확인할 수 있습니다.
레벨 2의 경우, 학습자의 CR 지식과 기술이 이 혁신에 의해 실제로 어느 정도 향상되었는지 평가하도록 한다(Durning et al. 2012).
레벨 3의 경우, 관찰, 인터뷰 및 포커스 그룹을 사용하여 학생들이 실제 또는 가상 환자와 상호작용할 때 새로 습득한 CR 기술을 어느 정도 사용하는지를 평가한다.
Determine the appropriate level(s) of outcomes to evaluate based on feasibility, available resources, and your objectives, and use appropriate evaluation method(s) and instrument(s) (Cook2010). In the case of a flipped classroom approach to improving students’ CR, you will at least want to carry out evaluations of the first three levels described by Kirkpatrick and Kirkpatrick (2016).
For Level 1, you could use questionnaires and observations to determine how students are reacting to the flipped classroom approach.
For Level 2, seek to assess to what extent learners’ CR knowledge and skills are actually improved by this innovation (Durning et al.2012).
For Level 3, use observations, interviews, and focus groups to assess the degree to which the students are using their newly acquired CR skills in their interactions with real or virtual patients.
대부분의 혁신은 [의도된 구현]과 [실제 구현] 간의 차이를 수반하므로, 학습 결과를 구현 프로세스에 대한 연구 결과와 다시 연관시키십시오(Reeves와 Hedberg 2003). 교육 개입에 대한 반복적인 평가를 실시함으로써, 개입의 실제적이고 이론적 영향을 입증하는 데 필요한 정보가 포착되도록 보장합니다. 이러한 평가 활동은 예측, 설명 또는 규범적 이해의 생성으로 이어져야 한다.
Make sure to relate learning outcomes back to your findings about the implementation process, since most innovations are subject to differences between the intended and actual implementation (Reeves and Hedberg2003). By conducting iterative evaluations of your educational intervention, you ensure that the information necessary to demonstrate the practical and theoretical impact of your intervention is captured. These evaluation activities should lead to the generation of predictive, explanatory, or prescriptive understanding.
팁 10 테크놀로지 도입 시 사용적합성 검토 Tip 10 Examine usability when adopting technologies
학생과 교사가 자신의 교육 과제를 효과적이고 효율적으로 수행하고 학습 경험에 진정으로 참여할 수 있도록, 테크놀로지의 손쉬운 사용에 관한 가용성을 통합적으로 고려해야 한다(Asarbakhsh 및 Sandars 2013). [사용적합성 평가]는 기술 기반 개입(Reeves and Hedberg 2003)을 구축하기 전에 수행할 수 있습니다. With the increasing use of technologies in medical education, it is necessary to incorporate usability considerations to ensure that students and teachers can easily use the technology to effectively and efficiently accomplish their instructional tasks and truly engage with their learning experience (Asarbakhsh and Sandars2013). Usability evaluation can be conducted even before you begin constructing any technology-based intervention (Reeves and Hedberg2003).
예를 들어 PowerPoint 또는 기타 그래픽 소프트웨어를 사용하여 몇 가지 프로토타입 화면을 설명하고 대상 학습 시스템의 주요 기능을 나타낼 수 있습니다. 이 프로토타입을 사용하여 대상 학습자를 인터뷰하고, 설계 계획과의 상호 작용을 관찰하고, 시스템의 기능과 '모습과 느낌'에 대한 의견을 물어볼 수 있습니다. 마찬가지로 사용적합성 평가는 사용자의 완료되거나 거의 완료된 제품을 사용하여 수행될 수 있으며, 수집된 피드백은 개입의 개선을 안내한다.
For example, you can use PowerPoint or other graphics software to illustrate a few prototype screens and to represent the target learning system’s main functionalities. You can use this prototype to interview target learners, observing their interaction with the design plan and asking for their opinion about the functions and ‘look and feel’ of the system. Similarly, usability evaluation can be conducted using your completed or nearly completed product, with collected feedback guiding the enhancement of the intervention.
대상 사용자(Sandars 및 Lafferty 2010)로부터 관점을 이끌어내는 것 외에도, 다른 사용자가 사용적합성 원칙에 대해 학습 시스템을 검토하도록 초대할 수 있는데, 이는 [휴리스틱 평가]라고 불리는 방법이다. 다른 사용적합성 평가 방법과 비교할 때, 휴리스틱 평가는 상대적으로 자원이 덜 소비되지만 효과적이다.
In addition to eliciting perspectives from target users (Sandars and Lafferty2010), you can invite others to review your learning system against usability principles, a method called heuristic evaluation (Reeves and Hedberg2003). Compared with other usability evaluation methods, heuristic evaluation is relatively less resource consuming and yet effective.
팁 11 반복 시 반성의 힘을 발휘합니다. Tip 11 Unleash the power of reflection in your iterations
[성찰적 사고방식]은 EDR을 수행한 사람들의 주요 특징이다. 사려 깊은 성찰은 [실천와 연구 사이의 격차를 해소]하여, [실천에 정보를 제공하는 연구 결과의 채택]과 [습득한 경험을 이론적 통찰로 전환하는 것]을 촉진한다. 의미 있는 성찰은 힘을 실어주는 것empowering이다. 성찰은 과거의 경험에 대한 비판적인 검사를 포함하지만, 그것의 초점은 자기 비판이나 단순한 오류 탐지에 있지 않다. 오히려, 이것은 여러분이 실무를 개선하고 이론을 향상시킬 기회를 식별하는 데 도움이 되는 여러분의 경험에 대한 새로운 관점을 발견하게 합니다. The possession of a reflective mindset is a key characteristic of those who conduct EDR. Thoughtful reflection enables you to bridge the gap between practice and research, facilitating the adoption of research findings to inform your practice and the transformation of acquired experience into theoretical insights. Meaningful reflection is empowering. Although reflection involves a critical examination of past experience, its focus is not on self-criticizing or simply the detection of errors. Rather, it leads you to discover new perspectives on your experiences that will help you identify opportunities to improve practice and enhance theory.
한 가지 아이디어는 다른 관점(Visscher-Voerman 및 Procee 2007, Hong 및 Choi 2011)에서 여러분의 경험에 접근하여 예상치 못한 통찰력을 얻는 것입니다. 예를 들어, 뒤집힌 교실 활동에 참여하는 학습자를 관찰한 후, 여러분이 놀라고, 혼란스럽고, 좌절하거나, 흥분하는 순간을 기억하라. 그런 감정은 어디서 오는 것일까? 주요 이해관계자 또는 다른 연구 또는 실무자 커뮤니티 구성원의 해석을 고려하여 상황에 대한 이해도를 높일 수도 있습니다. 또한 현재 상황을 이상적인 상황과 비교할 수 있으며, 다음과 같은 질문을 할 수 있습니다:
FC 설계 계획의 이상적 구현과 실제 구현 사이에 어떤 불일치가 관찰됩니까?
다음 번 반복에서는 무엇을 다르게 해야 합니까?
어떻게 하면 다른 사람들에게 내 개입의 확산을 촉진할 수 있을까?
One idea is to approach your experience from different viewpoints (Visscher-Voerman and Procee2007; Hong and Choi2011), yielding unexpected insights. For instance, after observing learners engaging in flipped classroom activities, recall a moment when you feel surprised, confused, frustrated, or excited. From where do such feelings come? Your understanding of the situation can also be enriched through considering the interpretations by some of the key stakeholders or different research or practitioner community members. Further, you might compare the current situation with an ideal one, asking questions such as:
What, if any, discrepancies are observed between the ideal and actual implementation of the flipped classroom design plan?
What would I do differently during the next iteration?
How might I best foster the spread of my intervention to others?
팁 12 다양한 EDR 단계에서 발표나 논문을 통해 전략적으로 결과를 전파하고 확산시킨다. Tip 12 Strategically disseminate and diffuse outcomes through presentations or papers at different EDR stages
여러분 중 일부는 자신의 연구 프로파일을 만들고 싶어할 수도 있으므로 EDR을 수행하는 것은 혁신이 목표를 달성한 후까지 자신의 연구 결과를 발표하기를 기다려야 한다는 것을 의미할 수도 있다고 우려합니다. 그러나 EDR 프로젝트의 초기 단계부터 연구 결과를 공유할 수 있는 기회를 모색하는 것이 좋습니다. 예를 들어 '분석 및 탐색' 단계 중에 EDR 이니셔티브에 대한 이론적 프레임워크를 설명하는 논문을 작성하거나 EDR이 다루고 있는 문제에 대한 문헌 리뷰를 게시하려고 할 수 있습니다. '평가 및 반영' 단계는 여러 개의 출판 가능한 논문(예: 데이터 수집, 분석 및 개입의 개선의 각 반복마다 하나)을 산출할 수 있다. Some of you might be eager to build up your research profile and therefore worry that conducting EDR might mean that you have to wait to publish your work until after the innovation has achieved its goals. However, you are encouraged to seek opportunities to share your research findings from the earliest stages of your EDR project. For example, during the ‘Analysis and Exploration’ phase, you might write a paper describing the theoretical framework for your EDR initiative, or you might seek to publish a literature review concerning the problem the EDR is addressing. The ‘Evaluation and Reflection’ phase may yield several publishable papers, e.g., one for each iteration of data collection, analysis, and refinement of the intervention.
연구 활동 및 결과의 성공적인 보급은 프로젝트 추진력을 유지하여 팀원들에게 지속적인 동기를 제공할 뿐만 아니라, 같은 생각을 가진 동료들로부터 피드백을 수집하고 의미 있는 성찰에 참여함에 따라 실용적이고 연구적인 제품을 지속적으로 개선하는 데에도 기여합니다. 이러한 보급 노력은 결과적으로 혁신이 새로운 설정novel setting으로 확산되도록 장려하여 개입의 영향을 확대한다(예: Chen 등 2015). 그러므로 EDR 프로젝트의 궁극적인 목표는 당신이 당신의 지역적 맥락에서의 개입의 성공적인 구현일 뿐만 아니라 당신의 실제적인 아이디어와 이론적 통찰의 성공적인 확산이다, 당신이 당신의 개입을 새로운 맥락에 소개하고 다른 실무자 또는 연구자의 작업에 inform하기 위해 당신의 이론적 이해를 공유하기를 열망하기 때문이다. 이상적으로, 다른 교육자들은 여러분의 노력을 전달하고 여러분의 개입이나 이론적인 연구 결과를 연구하기 위해 EDR을 수행할 것입니다. Successful dissemination of research activities and results not only helps maintain the project momentum, providing continuous motivation to your team members, but also contributes to the continuous improvement of both practical and research products as you collect feedback from like-minded colleagues, and engage yourself in meaningful reflection. These efforts of dissemination subsequently encourage the diffusion of your innovation into novel settings, extending the impact of your intervention (e.g. Chen et al.2015). The ultimate goal of an EDR project is, therefore, not only the successful implementation of your intervention in your local context, but also successful spread of your practical ideas and theoretical insights, as you aspire to introduce your intervention to new contexts and share your theoretical understanding to inform the work of other practitioners and researchers. Ideally, other educators will relay your effort and conduct EDR to study the outcomes of implementing your intervention or theoretical findings in their institutes.
Despite a steady growth in educational innovations and studies investigating the acceptance and effectiveness of these innovations, medical education has not realized sufficient improvement in practice and outcomes from these investments. In light of this lack of impact, there has been a growing call for studies that more effectively bridge the gap between research and practice. This paper introduces Educational Design Research (EDR) as a promising approach to address this challenge. Twelve tips are provided to inspire and guide medical educators to conduct EDR to achieve the dual goals of tackling a significant educational problem in a specific context while at the same time advancing the theoretical knowledge that may be used to improve practice elsewhere.
교육이론을 활용하는 다섯 가지 원칙: HPE 연구를 발전시키기 위한 전략(Acad Med, 2020)
Five Principles for Using Educational Theory: Strategies for Advancing Health Professions Education Research Anita Samuel, PhD, Abigail Konopasky, PhD, Lambert W.T. Schuwirth, MD, PhD, Svetlana M. King, PhD, and Steven J. Durning, MD, PhD
보건직업 교육(HPE) 문학은 상대적으로 새롭고 성장하고 다양화되고 있다.1 HPE의 교육자와 연구자들은 HPE의 작업을 알리는 다양한 배경의 학자들의 입력input을 중요시한다. 실제로, 이 다양성은 이론이 실제로 어떻게 "작동"하는지를 경험적으로 연구하는 능력과 결합되어, HPE의 강점으로, 다른 탐구분야와 구별짓는 특징이다. HPE 학자들은 학습자의 교육과 국가 보건에 영향을 미치는 [복잡한 과제]에 직면해 있으며, 예를 들어, 근본적인 사회적 영향을 미치는 의료 및 교육의 기술 혁신이 빠르다. HPE에서, 우리는 [복잡한 과제 이면에 존재하는 현상의 메커니즘을 더 잘 이해]하고 이러한 [도전의 실제적 의미를 탐색할 때 안내guide]하는 용도로 이론을 사용한다. The health professions education (HPE) literature is relatively new and is growing and diversifying.1Educators and researchers in HPE value the input of scholars from diverse backgrounds who inform the work of HPE. Indeed, this diversity, coupled with the ability to empirically study how theory “works” in practice, is a strength of HPE that sets it apart from other fields2of enquiry. An additional point of distinction is that HPE scholars face complex challenges that have an impact on the education of learners and the health care of nations, for example, rapid innovations in technology in health care and education with fundamental societal impacts. In HPE, we use theory to better understand the mechanics of the phenomena underlying these complex challenges and to guide us as we navigate the practical implications of these challenges.
HPE에서 이론을 사용하는 것은 Ostrom이 지적한 바와 같이 균형을 잡는 행위입니다. Using theory in HPE is a balancing act, as Ostrom notes:
이론이 없다면, 우리는 다른 상황에서 많은 추측에서 작용하는 일반적인 근본적인 메커니즘을 결코 이해할 수 없다. 경험적 퍼즐을 푸는 데 활용되지 않는다면, 이론적인 작업은 경험적 세계를 거의 반영하지 못한 채로, 자기만의 추진력 아래에서 spin off할 수 있다.3 Without theory, one can never understand the general underlying mechanisms that operate in many guises in different situations. If not harnessed to solving empirical puzzles, theoretical work can spin off under its own momentum, reflecting little of the empirical world.3
이론에 지나치게 의존하는 것은 그 일의 교육적 실천과의 연관성을 위태롭게 할 위험이 있다. 반대로, HPE 연구가 비-이론적(atheoretical, purely practical순전히 실용적)으로 남아 있는 경우, 비효율적이고 비효율적인 교육 혁신을 추구할 위험이 있다. 이론을 이해하는 것은 '바퀴의 재발명'을 막는 데에도 중요하다.
예를 들어, 신기술의 출현과 함께, 혁신은 때때로 이전의 교육 혁신이 왜 비효율적이었는지에 대한 더 깊은 이론적 이해 없이 구현된다.
예를 들어, 임상 추론의 "스킬"을 평가하기 위해 새로운 기술을 사용하는 것을 생각해보자. [종이 기반의 현명한 솔루션]이 이미 존재하는 상황에서 [가상 현실 솔루션]으로 이동하는 것은, 이것이 충실성fidelity의 문제가 아니라, 임상 추론의 본질이 더 기본적이라는 사실을 무시한다(즉, 우수한 성능이 일반적인 문제 해결 능력에 전적으로 기반을 둔 것은 아님).4
Overreliance upon theory runs the risk of jeopardizing the work’s connection with educational practice. Conversely, if HPE research remains atheoretical (purely practical), there is a risk of pursuing inefficient and ineffective educational innovations. Understanding theory is also important in preventing a reinvention of the wheel.
For example, with the advent of new technology, innovation is sometimes implemented without a deeper theoretical understanding of why previous educational innovations were ineffective.
Consider the use of new technologies to assess the “skill” of clinical reasoning, for example. Moving from clever, paper-based solutions to virtual reality solutions ignores the fact that the issues are not a matter of fidelity but, rather, are more fundamental to the nature of clinical reasoning (i.e., superior performance is not solely based on some sort of generic problem-solving ability).4
이론을 효과적으로 통합하기 위해서는 그 범위와 한계를 이해해야 한다.
To incorporate theory effectively, we must understand its scope and limitations.
원칙 1: 모든 이론이 동등하게 만들어지지 않았다. Principle 1: All Theories Are Not Created Equal
[이론]은 우리의 이해를 증진시키고 잠재적인 행동 과정을 안내하기 위해 복잡한 교육 문제를 맥락화하거나 재구성하는 방법이다. 그들은 상황이나 문제를 볼 수 있는 렌즈를 제공하며, 모든 렌즈가 동일한 것은 아니다.
Theories are a way to decontextualize or recontextualize complex educational problems to enhance our understanding and to guide potential courses of action. They provide lenses for viewing a situation or problem, and not all lenses are equal.
어떤 이론들은 문제를 보는 일반적인 구조나 발판을 제공한다.
[위치 인식situated cognition]은 그러한 이론의 한 예이다. 그것은 학습이 일어나는 상황에 의해 강하게 영향을 받는다고 주장하며, 연구자가 그 상황의 요소들과 그들이 상호작용하는 방법을 검토하도록 지시한다.
그렇게 함으로써, 만약 이 이론을 적용하지 않았다면 검토되지 않았을 상황의 측면과 그러한 측면들 사이의 연관성이 나타날 수 있다. 그 결과 학습이 효과적인(또는 비효율적인) 것을 더 잘 이해할 수 있게 됩니다.
Some theories provide a general structure or scaffold to view a problem.
Situated cognition is an example of such a theory. It argues that learning is strongly influenced by the situation in which it occurs and directs the researcher to examine the components of that situation and how they interact.5
In so doing, aspects of the situation and connections among those aspects may emerge that would otherwise have remained unexamined had this theory not been applied. The result is a better understanding of what makes learning effective (or ineffective).
더 일반적인 발판을 제공하는 이론의 또 다른 예는 생태 심리학이다. 이 이론에서는 상황 6(예: 교육 활동)을 일련의
어포던스(즉, 교육 방법의 속성이 교사 및/또는 학습자에게 허용 또는 허용하지 않음)와
효과(즉, 교사 및 학습자가 교육 방법에 있다고 인식하는 비용)로 본다.
Another example of a theory that provides a more general scaffolding is ecological psychology. It views a situation6(e.g., an educational activity) as a series of
affordances (i.e., what the properties of the educational method allow or disallow the teacher and/or learners to do) and
effectivities (i.e., those affordances that teachers and learners perceive to be in the educational method).
그러한 "그랜드" 이론 7,8은 학습 상황의 모든 측면을 이론화하려고 하기 때문에 [매크로 레벨 이론]으로 간주될 수 있다. 이러한 유형의 이론은 교육 과정과 관심의 결과에 기여하는 특징들을 식별하고 이해하는 데 도움을 주기 위해 많은 상황에 적용될 수 있다. 그러나, 그들의 성격상, 그들은 주어진 상황에서 일어날 일을 예측하거나 최선의 다음 단계를 결정하는 면에서 종종 효용성이 부족하다. 결과적으로, 이러한 이론은 종종 단일 연구에서 시험될 수 없고 오히려 연구 프로그램이 필요하다(즉, 일관되거나 연결된 조사 라인을 추구하는 다중 연구).9
Such “grand” theories7,8can be considered as macro-level theories because they attempt to theorize all aspects of a learning situation. This type of theory can be applied to many situations to help identify and understand the features that contribute to the educational processes and outcomes of interest. By their nature, however, they often lack utility in terms of predicting what will happen in a given situation or of determining the best next steps. Consequently, these theories often cannot be tested in a single study but rather require a program of research (i.e., multiple studies pursuing a coherent or connected line of enquiry).9
다른 이론은 [마이크로 레벨]이며, 여기에 해당하는 이론들은 학습 환경의 특정 상황 및/또는 구성 요소에만 적용할 수 있다. 그것들은 더 미세한 시야를 제공하며, 종종 grand theories보다 더 많은 설명과 때로는 더 예측력을 제공한다. 일반화 가능성 이론 10이 한 예이다. 이 이론은 복잡한 상황에서 여러 현상을 설명하는 것을 목표로 하는 것이 아니라 평가 결과 행렬에서 분산 요소를 분리하기 위한 매우 실용적인 접근법이다. 다시 말해서, 일단 연구에 대한 설계가 결정되면, 일반화 가능성 이론은 연구자들이 잠재적 오류 원인을 측정할 수 있게 한다.
Other theories are micro level8and can only be applied to specific circumstances and/or components of the learning environment. They offer a more microscopic view, often providing more explanatory and, at times, predictive power than the grand theories. Generalizability theory10is one example. This theory does not aim to explain multiple phenomena in complex situations but is a highly practical approach to separate components of variance in an assessment results matrix.In other words, once a design for a study has been determined, generalizability theory allows researchers to gauge potential error sources.
위치 인식과 같은 [거시 이론]은 연구자들이 더 넓은 현상에 대한 이해를 강화하고 발판을 마련하는데 도움을 주지만,
일반화 이론과 같은 [미시 이론]은 연구자들이 구체적이고, 기능적이며, 방어할 수 있는 주장과 추론을 만들어내기 위해 데이터를 다룰 수 있게 한다.
While macro theories, such as situated cognition, help researchers to scaffold and enhance understanding of broader phenomena,
micro theories, such as generalizability theory, enable researchers to work with data to create specific, functioning, defensible claims and inferences.
미시 이론과 거시 이론을 결합하는 것은 직관적이지 않은 것처럼 보일 수 있지만, 이 접근법은 의학 분야의 관행과 다르지 않다. 예를 들어, 일반적으로 상당히 민감한 매크로 선별 테스트를 사용한 다음 고려 중인 조건에 더 구체적인 후속 확인(마이크로) 테스트를 수행한다. 적절한 이론(즉, 매크로, 마이크로 또는 두 가지 모두의 조합)을 선택하면 이론적 관점을 조사 중인 문제와 더 잘 정렬할 수 있다. 비록 우리가 미시 이론과 거시 이론을 예시적인 예로 선택했지만, 이러한 관점은 이분법으로 존재하지 않고 오히려 연속체를 따라 존재한다.
거시적 관점을 제공하는 이론은 일어나고 있는 것에 대한 대규모 뷰를 얻는 데 특히 유용하며,
마이크로 이론은 후속 실험에 통합하는 데 도움이 된다.
While combining micro and macro theories may seem counterintuitive, this approach is not dissimilar to practices in medicine. For instance, we use macro screening tests that are typically quite sensitive and then perform follow-up confirmatory (micro) tests that are more specific to the condition being considered. When we select an appropriate theory (i.e., macro, micro, or a combination of both), we are better able to align our theoretical perspective(s) with the problem under investigation. Although we have chosen micro and macro theories as illustrative examples, these perspectives do not exist as a dichotomy but, rather, along a continuum.
Theories that provide macro perspectives are particularly useful for obtaining large-scale views of what is occurring,
while micro theories are helpful to incorporate into subsequent experiments.
원칙 2: 주어진 연구에 복수의 이론을 사용할 수 있다. Principle 2: Multiple Theories Can Be Used in a Given Research Study
하나의 이론이 제시된 연구 문제를 다루기에 불충분한 경우가 있다. 이러한 상황에서 여러 이론을 사용하여 다른 관점에서 조사 중인 현상을 탐색할 수 있다. 예를 들어, 연구자들이 임상 추론과 같은 복잡한 현상을 이해하려고 할 때,
인지주의 이론은 추론이 학습 경험을 어떻게 장기 기억에 포함시키는지 틀을 짜는 데 도움이 될 수 있다.
이와 병행하여, 임상적 추론은 사회적 구성주의 이론을 사용하여 검토할 수도 있다. 5,6
There are times when a single theory may be insufficient to address the research question posed. In these situations, multiple theories can (and should) be used to explore the phenomenon under investigation from different perspectives. When researchers are trying to understand a complex phenomenon such as clinical reasoning, for instance,
cognitivist theories11may help to frame how reasoning incorporates learning experiences into long-term memory.
In parallel, clinical reasoning can also be examined by using social constructivist theories.5,6
이 접근법은 (예를 들어, 주장과 증거의 명확성, 일관성 및 신뢰성에 의해 입증되는) 임상추론의 퀄리티가 학습자와 교사 또는 동료 간의 상호작용을 촉진하여 학습 과정의 품질에 어떻게 영향을 미치는지 이해하는 데 도움이 될 수 있다. 연구자들이 주어진 교육적 개입의 과정과 결과를 더 완전하게 이해하기 위해 [질적 인터뷰 데이터]와 [정량적 평가 데이터]를 결합할 수 있는 것처럼, 그들은 HPE 맥락의 다른 측면과 관점을 이해하기 위해 여러 이론을 사용할 수 있다.
This approach can aid in understanding how the quality of reasoning—judged by, for example, the clarity, coherence, and plausibility of the claims and evidence—promotes interaction between learner and teacher or peers and thus affects the quality of the learning process. Just as researchers might bring together qualitative interview data and quantitative assessment data to more fully understand both the processes and outcomes of a given educational intervention, they can use multiple theories to understand different aspects and perspectives of an HPE context.
다시, 이 접근법은 [학제간 의료의 관행]과 유사하다. 만성적이고 양성적인 낮은 요통의 복잡한 현상을 이해하려면 이론적으로 한 가지 이상의 접근법이 필요하다. 이 의료 문제의 모든 측면을 완전히 이해하려면 신경학적, 심리학적, 정형외과적, 물리치료학적, 직업적, 사회적, 그리고 제약적 관점을 고려해야 할 것이다. 마찬가지로, HPE에서, 우리는 학자들이 여러 이론이 어떻게 그들의 연구를 도울 수 있는지를 고려하도록 권장한다. 이론 수준에서 이 삼각측정의 형태는 교육 문제에 대한 우리의 이해를 심화시킬 수 있다. 이 삼각측정은 특히 복잡한 현상을 자주 다루는 분야로서의 HPE의 특성 때문에 관련이 있다. Again, this approach is similar to the practice of interdisciplinary health care. Understanding the complex phenomenon of chronic, benign low back pain requires more than a single theoretical approach. Gaining a full understanding of all the facets of this medical problem may require consideration of neurological, psychological, orthopedic, physiotherapeutic, occupational, social, and pharmaceutical perspectives. Similarly, in HPE, we encourage scholars to consider how multiple theories can assist them with their work. This form of triangulation, at the theory level, can deepen our understanding of the educational problem. This triangulation is particularly relevant because of the nature of HPE as a field that often deals with complex phenomena.
그러나 이 원칙에는 한 가지 주의사항이 있다. 서로 다른 이론들은 동일한 영역8 또는 교육의 패러다임에 속해야 한다.12 이론들 사이에 인식론적 가정과 일치하지 않는 경우(예: 구체적이고 고정된 지식 vs 가변적이고 변화적인 지식), (적절한 혼합방법 프레임워크가 없는 상태에서) 연구 결과를 통합하고 이해 가능한 결과를 생성하는 것은 매우 어려울 것이다.
There is, however, one caveat to this principle: The different theories should belong to the same domain8or paradigm of education.12If there is misalignment with the epistemological assumptions between theories (e.g., a view of knowledge as concrete and fixed versus a view of knowledge as malleable and shifting), it may prove very difficult to integrate study findings and generate comprehensible claims without an appropriate mixed methods framework.13
원칙 3: 이론의 명제에서 벗어날 수 있다. Principle 3: You Can Deviate From a Theory’s Propositions
앞에서 논의했듯이, HPE는 interdisciplinary한 탐구분야이다. 이것 때문에 그리고 HPE가 상대적으로 젊기 때문에(심리학이나 사회학과 같은 분야와 비교할 때), 기존의 이론들은 항상 우리 공동체를 위해 설계되는 것은 아니다. 이를 위해서는 연구자들이 이론을 적용하고 사용하는 데 있어 민첩성을 유지해야 한다. 결과적으로, 우리는 HPE 학자들이 작업에 기존의 이론적 제안을 사용할 뿐만 아니라 HPE 설정에 더 잘 적용하기 위해 필요에 따라 이론을 개정할 수 있도록 할 것을 권장한다. HPE의 좋은 박사 논문은 종종 주제에 더 잘 정렬되도록 이론을 수정하거나 연구 중인 현상을 설명하기 위해 둘 이상의 이론을 사용하는 [대안적 이론 모델]을 제안해야 한다. 한 예는 (인지주의 이론에서)14 이전 요소를 사용하여 평가 전문지식의 개발을 이해하는 것이다. As discussed earlier, HPE is an interdisciplinary field of enquiry. Because of this and because HPE is relatively young (when compared with fields like psychology or sociology), existing theories are not always exclusively designed for our community. This requires researchers to remain agile in their application and use of theories. Consequently, we encourage HPE scholars not only to use existing theoretical propositions in their work but also to be open to revising theory as needed for better application to HPE settings. Good doctoral dissertations in HPE often require revising theories to facilitate better alignment to the topic and/or proposing an alternative theoretical model that uses more than one theory to explain the phenomenon under investigation. One example is using the element of transfer (from cognitivist theories)14to understand the development of assessment expertise, such as in the domain of rater decision-making processes.15,16
임상 실습에서도 [일반적인 치료 접근법에 도전하는 것]은 드문 일이 아니다. 예를 들어, 심폐소생술에 대한 우리의 접근 방식은, 10년 동안, 더 단단하고 더 빠른 압축, 다른 단계의 순서(순환 우선), 그리고 호흡에 대한 새로운 압축 비율과 함께 극적으로 변화해 왔다. HPE 연구자들이 다른 분야의 이론을 사용하기 때문에, 그들은 보건 분야에서 발견되는 학습자, 강사, 환경과 더 잘 일치하도록 그것들을 적응하고 수정해야 할 수도 있다.
Challenging the prevailing treatment approaches is not uncommon in clinical practice either. Our approach to CPR, for instance, has changed dramatically over the course of a decade, with harder and faster compressions, a different ordering of steps (circulation first), and a new ratio of compressions to breaths. As HPE researchers use theories from other fields, they may need to adapt and modify them to better align with the learners, instructors, and environments found in the health professions.
원칙 4: 용어가 이론에 따라 조정될 수 있음 Principle 4: Terminology Can Be Reconciled Across Theories
용어를 명확히 하고 전문 용어를 동시에 줄임으로써 HPE 커뮤니티에서 학문 간 협업을 촉진하고 이론적 민첩성을 향상시킬 수 있다. 그렇게 하는 한 가지 방법은 [서로 다른 이론과 용어의 유사점과 차이점을 검토]하고 이 비교 결과를 사용하여 조사 중인 문제에 대한 용어를 수정하는 것이다.
We can facilitate interdisciplinary collaboration and enhance theoretical agility in the HPE community by clarifying terminology and simultaneously reducing jargon. One way to do so is by examining the similarities and differences in terms from different theories and to use the results of this comparison to revise the terminology for the problem under investigation.
예를 들어, [자기 조절, 자기 주도, 자기 결정]이라는 용어에 대해 약간의 혼란이 있었다.17
한 가지 접근 방식은 난제를 피하고 단일 이론을 선택하고, 자기 조절 학습이라고 하며, 용어를 고수하는 것이다.
그러나 그렇게 함으로써, 연구원들은 자기 주도 학습 이론에 특정한 성인 학습과 자기 결정 이론에 특정한 내재적 동기 부여에 대한 잠재적인 통찰력을 잃게 된다.
대신, 이러한 용어를 명확하고 신중하게 비교하고 수정하면 관련된 이론적 맥락을 보다 투명하게 하고 특정 작업(예: 시험을 위해 공부하는 간호 학생, 의사소통 전략에 대해 일하는 전문가 간 팀, 진행 중인 실무자)을 더 잘 지원할 수 있다.
For example, there has been some confusion regarding the termsself-regulation,self-direction, andself-determination.17
One approach would be to avoid the conundrum and to choose a single theory, say self-regulated learning, and to adhere to its terminology.
In so doing, however, the researcher loses potential insights on adult learning that are specific to self-directed learning theory and on intrinsic motivation that are specific to self-determination theory.
Instead, explicitly and carefully comparing and revising these terms can help make the associated theoretical contexts more transparent and better support the specific work (e.g., nursing students studying for exams, interprofessional teams working on communication strategies, practitioners improving their ongoing practice).
임상적 실천에서도 용어의 개정revision은 내재되어 있다. 예를 들어, 간호학에서는 의사 소통, 환자 치료 및 데이터 수집을 개선하기 위해 용어를 전환하고 표준화하려는 움직임이 있다.18 예를 들어, "소량", "중량" 또는 "대량" 출혈이 실제 상황에 걸쳐 일관되도록 재정의되었다. 마찬가지로, HPE에서 학자들은 용어를 주의 깊게 검토하고 이 용어를 다양한 실제 및 이론적 맥락에서 사용하기 위해 적응할 수 있는 혁신적인 방법을 찾을 수 있다.18
Revision of terminology is also inherent in clinical practice. There is a movement in nursing, for instance, to shift and standardize terminology to improve communication, patient care, and data collection.18For instance, “small,” “moderate,” or “large” amounts of bleeding have been redefined to be consistent across practice contexts. Similarly, in HPE, scholars can carefully examine terminology and find innovative ways to adapt this terminology for use across a variety of practical and theoretical contexts.18
원칙 5: 이론에 도전할 수 있다 Principle 5: Theories Can Be Challenged
이론들은 (경험적 연구의 중요한 구조에 기초하기 때문에) 도전할 수 없다고 종종 생각됩니다. 우리는 이론이 도전할 수 있고 도전해야 한다고 주장하지만, HPE에서 "이론 검증theory testing"는 표준, 인과 비교 설계 또는 실험과 다를 수 있다. 이론의 테스트는 이론적 개념의 전달 가능성을 입증하기 위해 다양한 맥락에서 반복된 응용을 포함할 수 있다.
정량적 연구에서 이론 테스트는 결론의 일반화 가능성을 입증하기 위해 추론 통계가 있는 수치 결과를 통해 발생한다.
정성적 연구에서 발견의 명확성과 신뢰성, 즉 새로운 통찰력을 창출하는 정도와 이러한 통찰이 과학계에 의해 채택되는 정도도 일반화의 한 형태이다.
두 경우 모두, 연구 결과는 "더 나은 진실"이 확인될 때까지만"진실"을 구성한다. It is often thought that theories cannot be challenged because they are based on a significant body of empirical research. We argue that theory can and should be challenged, but in HPE, “theory testing” can differ from the standard, causal comparative design or experiment. The testing of a theory may involve repeated applications in various contexts to demonstrate transferability of a theoretical concept.
In quantitative research, theory testing occurs through numerical outcomes with inferential statistics to demonstrate the generalizability of the conclusion.
In qualitative research, the clarity and plausibility of the findings—the extent to which they create new insights and the extent to which these insights are adopted by the scientific community—are also forms of generalization.
In both cases, the research outcomes constitute the “truth” only until a “better truth” is identified.
이론이 없는 실천은 유용하지 않다; 이론도 실천이 없는 것은 아니다. 실제로, 우리는 HPE가 학생들이 [여러 잘 정의된 보건전문영역에 전문가가 되도록 교육받기 때문에] 교육 결과를 검토할 수 있는 고유한 기회를 제공한다고 생각한다. 따라서 [실제 수행능력]과 [훈련 중의 수행능력]을 연계하는 것이 더 용이하다. 우리는 이론이 우리 분야의 증거에 따라 지속적으로 시험되고 수정되어야 한다. After all, practice devoid of theory is not useful; neither is theory devoid of practice. Indeed, we suggest that HPE offers a unique opportunity to examine educational outcomes because we educate students to become professionals across well-defined health professional domains. Thus, it is easier to link performance in practice with performance during training. We argue that theories should be continually tested and revised according to the evidence in our field.
예를 들어, 의학 및 공중 보건에서 흡연은 폐암과 인과 관계를 가지고 있다는 이론은 단일 인과 비교 연구에 의해 테스트된 것이 아니라, 전체 연구 프로그램에 의해 결국 합의를 이끌어냈다. HPE에서, 프로그램 이론 테스트는 종종 단 하나의 결정적인 "빅뱅" 연구보다 더 유용하다. 예를 들어, 맥락 특수성을 이해하는 도전(의사가 동일한 증상 및 소견을 가진 2명의 환자를 보고(그리고 동일한 기본 진단) 2개의 다른 진단 결정에 도달하는 성가신 의료 현상을 예로 들 수 있다.19 우리는 이 과제를 어떻게 5가지 원칙을 이해하는 컨텍스트로서 다음에 논의한다. 교육 이론을 사용하는 것은 복잡한 연구 문제에 적용될 수 있다.
In medicine and public health, for example, the theory that smoking has a causal relationship with lung cancer was not tested by a single causal comparative study but, rather, by a whole program of research eventually leading to consensus. In HPE, programmatic theory testing is often more useful than a single, definitive “big bang” study. Take, for example, the challenge of understanding context specificity—a vexing medical phenomenon whereby a physician sees 2 patients with identical symptoms and findings (and the same underlying diagnosis) but arrives at 2 different diagnostic decisions.19We discuss this challenge next as a context in which to understand how the 5 principles of using educational theory can be applied to a complex research problem.
실제 사례 A Practical Example
임상 추론에서 [맥락 특수성] 현상은 복잡한 문제이다. 전통적으로 임상적 추론은 의료 사례의 내용의 난이도에 의해서만 영향을 받는 개별적인 기술로 생각되었다. 그러나 맥락 특수성이 관찰될 때 의료 내용 이상의 무언가가 의사의 임상적 추론을 유도하고 있다. 먼저, 우리는 이 현상을 탐구하기 위해 "자극"을 제어할 수 있는 시뮬레이션 환경에서 상황별을 경험적으로 조사하려고 했다. 우리는 비디오와 실시간 시뮬레이션 사례를 모두 동일한 내용으로 세심하게 제작했는데, 이는 상황적 요인(환자가 영어가 모국어가 아닌 사람, 전자 건강 기록 오작동 또는 지친 의사 등 정확한 진단에 도달하는 데 필요한 내용 이외의 정보)의 유무에 의해서만 달랐다. The phenomenon of context specificity in clinical reasoning is a complex problem. Traditionally, clinical reasoning was conceived as an individual skill, affected only by the difficulty of the content of the medical case. However, something more than the medical content is driving the physician’s clinical reasoning when context specificity is observed. First, we sought to empirically investigate context specificity in the simulation environment where we could control the “stimulus” to explore this phenomenon. We carefully crafted both video and live simulation cases with identical content, which differed only by the presence or absence of contextual factors (information other than the content needed to arrive at a correct diagnosis, such as the patient being a non-native English speaker, electronic health record malfunctions, or a fatigued physician).
[추론이라는 개념을 개인의 능력으로 통합]하거나, 추론 능력이 건강 전문가의 환경에 의해 어떻게 영향을 받을 수 있는지에 대한 명확한 HPE 이론이 없었기 때문에 어떤 이론을 [맥락 특이성 현상에 적용할 것인지 고심했다(원칙 3: 이론의 명제에서 벗어날 수 있음).
따라서, 우리는 임상적 만남에서 몇 가지 중요한 특징과 상호작용을 작동시키고 맥락 특수성을 이해하는 데 중요한 것이 무엇인지에 대한 기본적인 이해를 얻기 위해 위치 인식 이론(SCT)이라는 [매크로 이론]으로 시작했다. (원칙 1: 모든 이론이 동등하게 만들어지지 않음)
그런 다음 우리는 이 이론을 우리의 특정 연구 상황에 맞게 조정해야 한다는 것을 깨달았다. 20,21 우리는 의사의 임상 추론에 단순한 의료 내용 이외에, 의사의 임상적 추론에서 역할을 하는 측면의 예들이 진단에 도달해야 한다는 것을 확인했다(이것은 우리가 맥락적 요인이라고 불렀다). SCT를 사용하여 이러한 문제를 해결하고 환자, 의사 및 조우에 관련된 상황적 요인을 그룹화했다(그림 1 참조).
We struggled with what theory to apply to the phenomenon of context specificity because there were no readily apparent HPE theories that integrated the notion of reasoning as an individual ability and how it could be affected by the health professional’s environment (Principle 3: You can deviate from a theory’s propositions).
Therefore, we started with a macro theory, situated cognition theory (SCT), to help us operationalize some of the important features and interactions in a clinical encounter and to obtain a basic understanding of what might be important in understanding context specificity (Principle 1: All theories are not created equal).
We then realized that we had to adapt this theory to our specific research context, requiring multiple discussions and experiments.20,21We identified examples of aspects that played a role in a physician’s clinical reasoning, other than merely the medical content, needed to arrive at the diagnosis (which we termed contextual factors). Using SCT, we grappled with these matters and grouped contextual factors related to the patient, the physician, and the encounter (seeFigure 1).
이 매크로 이론에서, 우리는 그러한 맥락적 요인이 의사의 임상 추론에 어떻게 영향을 미칠 수 있는지를 볼 수 있었고, 우리는 연구를 더 나아가게 하기 위해 2개의 [미시 이론]을 식별하도록 이끌었다: 인지 부하 이론(CLT)과 자기 조절 학습 이론(SRLT) (원칙 1: 모든 이론이 동등하게 만들어지지 않았다; 원칙 2: 하나의 연구에 여러 이론이 사용된다.)
CLT를 사용하여, 우리는 상황적 요인의 결과로 발생할 수 있는 잠재적인 증가된 정신 노력(즉, 인지 부하)에 대한 측정을 개발했다. CLT가 학습 이론이지만(수행능력 이론과 달리) 성능을 평가하는 학습을 위해 CLT 원칙을 채택하여 HPE 학자로서 우리의 요구를 충족하도록 이론을 강화했다(원칙 3: 이론의 명제에서 벗어날 수 있다).
그런 다음, CLT와 함께, 우리는 의사가 증가된 인지 부하(예: 전략적 계획, 목표 설정)를 관리하기 위해 사용할 수 있는 도구를 탐색하기 위해 SRLT를 사용했다(그림 2 참조).
From this macro theory, we were able to see how such contextual factors can affect a physician’s clinical reasoning, leading us to identify 2 more micro theories to further guide the investigation: cognitive load theory (CLT) and self-regulated learning theory (SRLT) (Principle 1: All theories are not created equal; Principle 2: Multiple theories can be used in a given research study).
Using CLT, we developed measures of the potential increased mental effort (i.e., cognitive load) that might be generated as a result of the contextual factors. Although CLT is a learning theory (as opposed to a theory of performance), we adapted CLT principles for learning to evaluate performance, thereby enhancing the theory to meet our needs as HPE scholars (Principle 3: You can deviate from a theory’s propositions).
Then, alongside CLT, we used SRLT to explore the tools that physicians might be using to manage this increased cognitive load (e.g., strategic planning, setting goals) (seeFigure 2).
이 세 가지 이론(SCT, CLT, SRLT)의 통합으로 인해 우리는 임상 추론의 정의와 같은 일부 용어 불일치와 씨름하고 화해할 수 밖에 없었다(원칙 4: 용어는 이론 간에 조정될 수 있다). 우리는 여러 분야에 걸친 임상 추론이라는 용어의 의미를 조정하고 컨텍스트 특수성을 정의하는 과제를 해결하는 데 도움이 되는 방어 가능한 의미를 설정해야 했다. The integration of these 3 different theories (SCT, CLT, and SRLT) forced us to grapple with—and reconcile—some terminology mismatches, such as the definition of clinical reasoning (Principle 4: Terminology can be reconciled across theories). We had to reconcile the meaning of the termclinical reasoningacross multiple fields and establish a defensible meaning to help address the challenge of definingcontext specificity.
이 통합 프레임워크를 적용하여, 우리는 다음과 같은 작업을 수행할 수 있었다: 일련의 실험을 사용하여 현상을 조사하고, 맥락 특수성을 이해하고, 임상적 자리에서 이러한 이론에 대한 이해를 높이고, 이론적 예측을 테스트할 수 있는 새로운 렌즈를 제공한다(원칙 5: 이론에 도전할 수 있다).
Applying this integrated framework, we were able to do the following: investigate the phenomenon using a series of experiments, provide a new lens through which to understand context specificity, enhance our understanding of these theories in a clinical sitting, and test our theoretical predictions (Principle 5: Theories can be challenged).
Aligning and Applying the Paradigms and Practices of Education
The Spectrum of Inductive and Deductive Research Approaches Using Quantitative and Qualitative Data
Acad Med.2020 Apr;95(4):518-522.
doi: 10.1097/ACM.0000000000003066.
Five Principles for Using Educational Theory: Strategies for Advancing Health Professions Education Research
1A. Samuel is assistant professor, Graduate Programs in Health Professions Education, Uniformed Services University, Bethesda, Maryland. A. Konopasky is assistant professor, Graduate Programs in Health Professions Education, Uniformed Services University, Bethesda, Maryland. L.W.T. Schuwirth is professor and director, Prideaux Centre for Research in Health Professions Education, Flinders University, Adelaide, South Australia, Australia. S.M. King is lecturer, Prideaux Centre for Research in Health Professions Education, Flinders University, Adelaide, South Australia, Australia. S.J. Durning is professor and director, Graduate Programs in Health Professions Education, Uniformed Services University, Bethesda, Maryland.
Health professions education (HPE) research often involves examining complex phenomena. Theory provides a means for better understanding the mechanics of these phenomena and guiding health professions researchers and educators as they navigate the practical implications for teaching, learning, and research. Engaging with educational theory is, therefore, critical to facilitating this understanding. However, this engagement presents a key challenge for HPE researchers and educators without a background in social science. This article outlines 5 key principles of engaging with theory and offers integration strategies to assist HPE researchers and educators who wish to apply theory to their HPE scholarship and practice. The article concludes with a practical example of how these principles were applied to an HPE research project, demonstrating the value of theory in enhancing research quality. Existing theories can facilitate opportunities for individual researchers to better understand complex phenomena while simultaneously moving forward the field of HPE.
RIME을 앞으로: 교육연구의 과학을 구성하는 것은 무엇인가? (Acad Med, 2020)
RIME Foreword: What Constitutes Science in Educational Research? Applying Rigor in Our Research Approaches
교육연구에서 과학을 구성하는 것은 무엇인가? 이 질문은 보건 직업 교육에 대표되는 학문의 다양성을 고려할 때 대답하기가 그렇게 간단하지 않다.1 연구자로서, 우리는 우리의 분야를 발전시키기 위한 과학적 연구에 종사한다. 또한 우리는 실무와 변화로 번역될 수 있는 지식을 생산하는 목표를 가진 응용 분야이다. 우리 분야는 교육, 심리학, 사회학, 생물 의학 및 임상 과학을 포함한 여러 분야와 데이터 과학 및 언어 역학 같은 신흥 분야에 뿌리를 두고 있다. 따라서, 과학과 과학적 조사의 원리를 정의하는 특정 요소는 다양할 수 있다.2 그럼에도 불구하고, 우리는 연구에서 생성된 과학의 질이 부분적으로 질문의 유형과 관련성 그리고 어떻게 답이 도출되는지에 기인한다는 것에 합의agree할 수 있다.3.4 What constitutessciencein educational research? This question is not as straightforward to answer given the diversity of disciplines represented in health professions education.1As researchers, we engage in scientific study to advance our field; we are also an applied field, with goals to produce knowledge that can translate into practice and change. Our field has roots in multiple disciplines, including education, psychology, sociology, biomedical and clinical sciences, as well as in emerging areas, such as data science and linguistic dynamics. As such, the specific elements that define science and principles of scientific inquiry may vary.2And yet, we can agree that the quality of science generated from a study stems, in part, from the type and relevance of questions asked and how the answers are derived.3,4
오브라이언과 동료 5의 2019년 의학 교육 연구(RIME) 서언에서는 [추구할 가치가 있는 질문]과 [연구 질문을 유망한 investigation으로 만들어주는 요소]를 식별하는 방법에 대해 논의하였다. Promising question은 여러 가지 다른 연구 접근법을 통해 조사할 수 있지만, 일부 접근법은 질문 유형을 기반으로 추구하기에 더 효과적일 수 있다. 각 접근방식은 교육 커뮤니티에서 표준과 인정된 관행에 따라 "과학적인" 연구를 산출할 수 있다. 연구자들이 그들의 질문에 가장 잘 맞는 접근법을 선택하도록 돕기 위해, Ringsted와 동료 6은 관련된 해답을 얻기 위해 경로의 다양성을 탐색하기 위해 연구 나침반을 만들었다. The 2019 Research in Medical Education (RIME) Foreword by O’Brien and colleagues5discussed how to identify questions worth pursuing and factors that make research questions promising for investigation. Promising questions can be investigated through several different research approaches, though some approaches may be more fruitful to pursue based on the type of question. Each approach may yield “scientific” studies according to the standards and accepted practices in the educational community. To help researchers choose the approach that best fits their question, Ringsted and colleagues6created the research compass to navigate the diversity of pathways toward reaching relevant answers.
[연구 접근 방식research approach]은 [과학]을 [저널리즘, 제품 테스트 또는 개인적 성찰과 같은 다른 유형의 탐구 및 조사]와 구별되는 것이다. 과학적 연구 접근법에는 현상에 대한 더 나은 설명을 제공함을써, ["무엇이" 작동하였는지 뿐만 아니라 "어떻게" 또는 "왜" 작동하는지"] 물어봄으로써 현상에 대한 더 나은 설명과 더 미묘한 이해를 찾기 위한 연구 공동체의 지속적인 노력이 수반된다. 그렇다면, 연구가 그 분야를 발전시키고 우리의 과학을 더 높은 지위로 끌어올리는 것인지 어떻게 알 수 있을까요? Theresearch approachis what sets science apart from other types of investigation and inquiry such as journalism or product testing or personal reflection. Scientific research approaches involve continuous efforts by the research community to find better explanations and more nuanced understanding of phenomena by asking “what” works as well as “how” or “why” it works by providing better explanations of the phenomenon. One approach rarely suffices to answer all these questions. , then, do we know if research is advancing the field and bringing our science to higher state?
연구 접근 방식: 연구설계, 연구방법론, 과학철학과의 연계성 연구 Research Approaches: Aligning Questions With Research Design, Research Methodology, and Philosophy of Science
[연구 접근법]은 우리가 연구에 참여하는engage in 방법이라고 설명할 수 있고, 연구 질문은 연구 접근법의 출발점이다. [연구 접근법]은 데이터 수집, 분석 및 해석과 관련된 연구 형성에서 방법론에 이르는 과정을 개괄적으로 설명하는 계획 및 결정을 명확히 한다.8-10 설명, 정당화, 명확화 연구로 특징지어질 수 있는 건강 직업 교육의 연구 질문과 유사하게, 연구 접근법은 식별한 연구 질문에 뒤따느는 후속 연구 과정에 inform and line하는 여러 계층을 가질 수 있다. How we engage in research is described as the research approach, and a research question is the starting point for the research approach.Research approachesarticulate the plans and decisions that outline the process from study formation to methodologies involved in data collection, analysis, and interpretation.8–10Similar to research questions in health professions education that can be characterized as description, justification, and clarification studies,11research approaches can have multiple layers that inform and link the subsequent research process following the identification of a research question.
연구자들은 종종 접근방식을 본질적으로 정량적, 정성적 또는 혼합적 방법으로 특징짓는다. HPE의 과학 상태가 발전함에 따라, 데이터의 유형에 기초한 이러한 분류는 우리 분야에서 이용 가능한 일련의 규율 전통과 관행을 고려할 때 불충분하다.12 연구 접근법은 연구를 guide하는 [연구 질문, 가정 및 개념적 프레임워크]에 기초한 결정을 요구한다.9 과학 연구에서 보다 구체적으로, 의사결정 과정에 영향을 미치는 연구 접근법에는
(1) 철학 가정(연구 패러다임 또는 과학의 철학),
(2) 연구 설계(조사의 과정) 및
(3) 연구 방법(데이터 수집, 분석 및 해석)
...의 세 가지 원칙이 있다.
Researchers often characterize an approach as being quantitative, qualitative, or mixed-methods in nature. As the state of the science advances in HPE, these classifications, based on the type of data, are insufficient given the array of disciplinary traditions and practices available in our field.12Research approaches require decisions based on research questions, assumptions, and conceptual frameworks guiding the study.9More specifically in scientific studies, there are 3 principles of research approaches that influence the decision-making process:
(1) philosophical assumptions (research paradigm or philosophies of science),
(2) research designs (processes of inquiry), and
(3) research methods (data collection, analysis, and interpretation).
그림 1은 세 가지 연구 접근법의 관계를 나타내며, [연구 질문]과 [답변] 사이에서 프레임워크를 운용한다. 연구접근법은 연구자가 조사한 방향과 범위를 알려준다.
Figure 1illustrates this relationship of the 3 research approaches, operationalizing the framework within research questions and answers. Research approaches inform the direction and scope examined by the researcher.
그림 1: 과학적 연구를 위한 프레임워크: 질문과 답변을 연구 접근법과 일치시킵니다.
연구자는 연구질문을 식별하고, 해당 질문에 맞는 연구 접근 방식을 선택하고, 결과를 사용하여 답변을 작성하는 것으로 시작한다.
이 프로세스 내에서 연구원은 엄격한 기준을 적용하여 세 가지 연구 접근 방식(철학, 설계 및 방법)을 식별한다.
A framework for scientific research: Aligning questions and answers with research approaches. A researcher conducting a study begins by identifying a research question, selecting research approaches that align with the question, and using the results to form answers. Within this process, the researcher identifies three research approaches (philosophy, design, and methods), applying standards of rigor. The application of scientific rigor in the three research approaches support making a scientific study.
[과학의 철학]은 세계가 어떻게 작동operate하는지에 대한 가정을 하며, 다음의 것에 기초하여 과학이 수행conducted되는 방식을 가이드한다 Philosophies of science2,13make assumptions about how the world operates, guiding the way in which science is conducted based on
존재론(현실을 보는 방식),
인식론(지식의 본질이 어떻게 생각되는가)
가치론(연구 과정에서 가치의 역할과 장소, 특히 인식론, 방법론 및 방법 사이의 관계에 대한 가치의 영향)
방법론(패러다임이 과학을 정의하고 처리하는 방법), 그리고
엄격함(연구의 품질을 정당화하기 위한 노력)
ontology (how reality is viewed),
epistemology (how the nature of knowledge is conceived),
axiology (role and place of values in the research process specifically the influence of values on the relationship between epistemology, methodology, and methods),
methodology (how the paradigm defines and processes science), and
rigor (criteria to justify the quality of research).
그림에 열거된 철학은 실증주의, 후기실증주의, 비판이론, 구성주의, 실용주의, 현실주의, 포스트모더니즘을 포함한 보건직 교육 연구자들이 이용할 수 있는 광범위한 패러다임의 하위 집합이다.14
The philosophies listed in the figure are a subset of the wide range of paradigms available for health professions education researchers, including positivism, postpositivism, critical theory, constructionism, pragmatism, realism, and postmodernism.14
[연구 설계](탐구 전략)는 연구의 특정 방향과 프로세스에 대한 지침을 제공한다. 보건 직업 교육 연구자는 광범위한 연구 설계를 이용할 수 있다.
실험 설계(랜덤화 제어 연구 또는 준-치과학적 연구 포함) 및 조사와 같은 정량적 지향 설계부터,
서술적 연구, 현상학, 근거 이론, 민족학, 사례 연구와 같은 질적 지향적 설계로
수렴적/설명적 순차적 연구, 변형적 연구를 포함하는 혼합적 설계로
Research designs (strategies of inquiry) provide guidance on the specific direction and process for the study.15Health professions education researchers have a wide selection of research designs available, ranging
from quantitatively oriented designs such as experimental designs (including randomized controlled studies or quasi-experimental studies) and surveys,
to qualitatively oriented designs such as narrative research, phenomenology, grounded theory, ethnography, case studies, and
mixed-methods designs that include convergent, explanatory/exploratory sequential, and transformative studies.
[연구 방법론]은 연구 결과를 합성하고 연구 질문에 답하기 위해 데이터 수집, 분석 및 해석을 수행하는 방법에 대한 프레임워크를 제공한다. 연구 방법론은 또한 정량적, 정성적 또는 혼합적 방법 방향을 가질 수 있다. 데이터를 수집하기 위한 도구를 식별하는 특정 방법에 따라, 다양한 데이터 소스를 컴파일하고, 분석을 수행하고, 해석을 수행합니다. 예를 들어,
해석을 위한 상관관계 또는 회귀 분석과 같은 통계적 방법을 사용하여 채점되고 분석되는 정보를 수집하기 위해 정신 측정 척도를 사용하는 것이 포함될 수 있다.
해석 과정의 일부로서 주제와 패턴을 식별하기 위한 스크립트 분석과 함께 인터뷰를 통해 데이터를 수집하기 위해 개방형 질문을 사용할 수 있다.
또는 이러한 방법론의 조합을 사용하여 숫자 및 텍스트 기반 데이터에서 추론을 도출할 수 있다.
The research methodology provides the framework for how data are collected, analyses performed, and interpretation conducted to synthesize findings and arrive at answering the research question.9,15Research methodologies may also have a quantitative, qualitative, or mixed-methods orientation, depending on the specific method for identifying the tools to collect data, compile the different sources of data, perform analysis, and conduct interpretation. For example, this may involve
using psychometric scales to gather information that is scored and analyzed using statistical methods such as correlations or regression analysis for interpretation;
open-ended questions may be used to gather data through interviews, with analysis of transcripts to identify themes and patterns as part of the interpretive process.
Alternatively, a combination of these methodologies can be used, drawing inference from numeric and text-based data.
이러한 연구 접근법의 3가지 핵심 구성요소의 구별에서 보건 직업 교육에 연구를 수행하는 선형 경로가 없다는 것이 다소 명확해진다.
실증주의 또는 후기실증주의 지향성을 가진 연구원은 사전에 설정한 검증가능한 가설(과학철학)로 시작하여, 조사 및 지식시험(연구방법론)에서 수집된 데이터를 사용하여, 실험연구(연구설계)를 수행할 수 있다.
구성주의적 오리엔테이션(과학철학)에서 일하는 연구원은 현장 노트에 포착된 인터뷰 및 관찰 데이터(연구방법론)를 수집 및 분석하는 민족학적 연구(연구설계)를 수행할 수 있다. 15,16
It becomes somewhat clear from the distinction of these 3 core components of research approaches that there is no linear pathway for conducting research in health professions education.
A researcher with a positivist or postpositivist orientation may begin with an a priori testable hypothesis (philosophy of science) and choose to conduct an experimental study (research design) using data collected from a survey and knowledge test (research methodology).
A researcher working from a constructivist orientation (philosophy of science) may choose to conduct an ethnographic study (research design) that involves collecting and analyzing interview and observational data captured in field notes (research methodology).15,16
또한, 의학 교육에 대한 연구는 여러 연구 접근법을 수반할 수 있으며, "방법론적 다원론"으로 과학 연구를 촉진한다.
Moreover, studies in medical education may involve multiple research approaches, prompting scientific research with “methodological pluralism.”17
건강직업교육의 과학적 엄격성을 이용한 연구접근법 개발 Advancing Research Approach Using Scientific Rigor in Health Professions Education
그렇다면 무엇이 연구를 [과학적]으로 만들까요? 만약 우리가 연구 접근법의 3가지 요소를 고려한다면, 3가지 요소들 사이에 정렬, 접근법에 적용되는 엄격성 표준의 신중한 고려, 그리고 그러한 표준이 연구 과정 동안 충족되었다는 증거가 있어야 한다.10 [엄격성]에 대한 표준은 연구 접근법의 구성요소에 따라 다르다. 예를 들어,
[실험 설계]에서 엄격성의 증거는 연구자가 객관성을 입증하고 연구에 영향을 미칠 수 있는 주관적 편향을 최소화하는 정도이며, 가설 검증에 대한 위협이 최소화되는 방법에 대한 증거를 제공함으로써, 연구된 요인 간의 연관성 또는 인과 관계를 달성한다. 또한 큰 표본 크기와 추론 통계를 통해 연구를 복제하거나 연구의 소견을 일반화하려는 목적이 있다.
이와는 대조적으로, [구성주의자 근거 이론]을 채택한 연구에서, 엄격성의 기준은 연구팀이 연구 과정 전체에 걸쳐 그들의 가정과 관점을 어떻게 생각했는지에 대한 증거로서 [반사성]의 개념을 포함하며, 또한 연구 참여자를 어떻게 의도적으로 선택했는지 설명하는 [지속적 비교 기법]을 포함할 수 있다. 또한 주제와 주제 사이의 관계를 식별하기 위해 [반복 프로세스]를 사용했음을 보여주는 것이다. 이 때의 목표는 [통계적 일반화가능성과 복제]보다는 [개념적 또는 이론적 일반화 가능성]이다.
So what makes a research studyscientific? If we consider the 3 components of research approach, then there must be alignment among the 3 components, careful consideration of standards of rigor that apply to the approach, and evidence that such standards have been met throughout the research process.10Standards for rigor vary depending on the components of the research approach. For example,
in an experimental design, the evidence of rigor is in the degree to which the researcher demonstrates objectivity and minimizes subjective bias that can influence the study, providing evidence on how threats to hypothesis testing is minimized and thereby achieving the association or causal relationship between the factors studied. There is also an aim toward study replication and generalizing findings through large sample sizes and inferential statistics.
In contrast, in a study employing constructivist grounded theory, the criteria for rigor may include concepts of reflexivity as evidence of how the research team considered their own assumptions and perspectives throughout the research process and constant comparative techniques to explain how the researchers purposefully selected study participants and used an iterative process to identify themes and relationships among themes.18,19Conceptual or theoretical generalizability is a goal rather than statistical generalizability and replication.
[연구 설계]의 경우 엄격성에 대한 표준을 적용하고 입증해야 한다.
설문조사를 실시할 경우 파일럿 조사나 설문 구성의 모범사례지침을 적용하는 등 엄격성 원칙을 보고해야 한다.
예를 들어, 민족학 연구에서 데이터 소스의 장기 참여를 통한 삼각 측량, 참가자 반응성의 고려에 대한 증거는 엄격함을 보여줄 수 있다.
마찬가지로, 연구 방법론의 경우, 참가자 감소를 최소화하기 위한 노력, 타당성 증거를 뒷받침하는 측정 도구의 사용, 회귀 모델에서 추정치의 통계적 모델 적합 및 표준 오차 평가와 같은 데이터 수집의 엄격성 표준에 대한 합의 지침이 있다.
For research design, standards for rigor should be applied and demonstrated.
If a survey was administered, principles of rigor such as pilot testing the items or applying best-practice guidelines to survey construction should be reported.
In an ethnographic study, for example, evidence of prolonged engagement triangulation of data sources and consideration of participant reactivity can demonstrate rigor.
Likewise, for research methodology, there are consensus guidelines on standards of rigor in data collection such as efforts to minimize participant attrition, use of measurement tools with supporting validity evidence, or evaluating the statistical model fit and standard error of estimates in a regression model.
이러한 각 연구 접근법에 대한 표준은 문헌에 보고되고 연구자에게 지침을 제공한다. 그러나 특히 과학의 엄격성과 증거를 구성하는 것에 대해 현장의 추가적인 주의가 필요한 혼합 방법 영역에서, 새로운 접근법과 새로운 접근법에 대한 엄격성 원칙과 지침이 결여된 연구 접근법도 있다.
Standards for each of these research approaches are reported in the literature and provide guidance to researchers.20,21However, there are also research approaches that lack principles of rigor and guidance for newer and emerging approaches, particularly in mixed-methods domains that require further attention from the field on what constitutes rigor and evidence of science.
상황에 따라 [엄격함]과 [관련성] 사이에서 진자의 균형을 맞출 필요가 있을 수 있다.22 연구가 목적적합하기 위해서는 [최종 사용자의 근본적인 관심사]에 초점을 맞춰야 한다. 그러나 관련성을 지원하는 연구 접근 방식은 추가적인 논의, 추가 합의, 문화적 맥락과 규범에 대한 민감성을 요구할 수 있다.23,24
Depending on context, there may be a need to balance the pendulum between rigor and relevance.22For research to be relevant, it must focus on the fundamental concerns of the end users. Yet the research approach supporting relevance may require additional discussion, further consensus, and sensitivity to cultural contexts and norms.23,24
RIME 2020의 연구접근법 : 보건직업 교육을 위한 신흥 및 개척적 연구접근법 Research Approaches in RIME 2020: Emerging and Frontier Research Approaches for Health Professions Education
최근 기술과 대량의 데이터 수집 능력(양적, 질적 및 시각적 이미지)의 진보는 이용 가능한 방법론에 대한 우리의 시야를 넓힐 수 있는 수많은 기회를 촉발시켰다.29 Recent advances in technology and ability to gather large quantities of data (quantitative, qualitative, and visual images) have prompted numerous opportunities to expand our horizon on the available methodologies.29
데이터 과학의 출현과 컴퓨팅 능력의 향상으로 어떤 연구 접근 방식을 활용할 수 있습니까? 이는 2020년 RIME 전체회의의 초점이었으며, 패널들은 인공지능, 학습자 분석, 실습 기반 연구 네트워크를 포함하는 신흥 및 개척자 연구 접근 방식을 논의하였다.27 What research approaches can be leveraged with the emergence of data science and improvements in computing power? This was the focus of the 2020 RIME plenary, with panelists discussing emerging and frontier research approaches covering the domains of artificial intelligence,25learner analytics,26and practice-based research networks.27
대규모 데이터 합성에 대한 상당한 진보가 딥 러닝 및 인공지능 방법론을 사용하여 보건 전문가를 양성하는 데 사용할 수 있는 잠재력을 보여주었다. 30
학습자와 교수진에게 실시간 분석 데이터를 제공하여 종방향 및 발전적 진보를 위한 훈련 시스템을 개선할 수 있다31
또한 평가, 학습자, 프로그램 및 기관에 걸쳐 다양한 수준의 데이터를 포함하는 대량의 데이터를 수집할 수 있는 능력은 실무 기반 연구 네트워크의 과학에 의해 안내된 바와 같이 협업 인프라와 데이터 공유를 필요로 합니다.32
Significant advances to synthesizing large-scale data have shown potential for their use to train health professionals using deep learning and artificial intelligence methodologies30;
real-time analytic data may be provided to learners and faculty, allowing improved systems of training for longitudinal and developmental progress31;
and the ability to gather large quantities of data that cover multiple levels of data across assessments, learners, programs, and institutions requires collaborative infrastructure and data sharing, as guided by the science of practice-based research networks.32
보건직업교육의 연구접근법 연구기여부 Contributions in Research Approach From Health Professions Education
우리는 종종 우리의 많은 핵심 연구 접근법과 개념 체계를 심리학, 사회학, 통계학과 같은 전통적인 학문에서 이전되거나 채택된 것으로 간주한다. 사회과학 연구의 많은 원칙이 핵심 연구 접근법의 프로파일에 기여했지만, 우리는 새로운 접근 방식을 수정하고 개발하였다.33 예를 들어, 평가를 연구하는 데 사용되는 많은 연구 접근 방식은 심리학적 접근 방식을 포함한 K-12 교육 환경에서 비롯되었다. 지난 수십 년 동안, 의학교육 분야는 성과 기반 평가를 위한 연구를 구현하고 운영하는 방법에 있어 이러한 아이디어를 수정해 왔다. 이러한 방법은 현재 객관적인 구조화된 임상 검사 및 작업장 기반 평가를 분석하는 방법을 포함하여 보건 직업 교육 외부의 분야에 영향을 미치고 있다.34 We often regard many of our core research approaches and conceptual frameworks as being transferred or adopted from traditional disciplines such as psychology, sociology, and statistics. While many principles of social science research have contributed to our profile of core research approaches, we have modified and also developed new approaches.33For example, many research approaches used to study assessments have originated from K-12 educational settings including psychometric approaches. Over the past decades, the field has modified these ideas in how we implement and operationalize research for performance-based assessments—these methods are now influencing disciplines outside health professions education, including how we analyze objective structured clinical examinations and workplace-based assessments, to name a few.34
또한 [표준화된 환자 방법론]은 현재 다른 분야의 전문가 교육에 혁명을 일으키고 있는 건강 직업 교육에 채택된 독특한 연구 접근법이다. 의학교육의 엄격성에 대한 표준은 또한 공학 교육 및 법률 교육의 영역을 포함한 치과 교육 및 기타 보건 교육 분야의 연구 표준에 영향을 미치고 있다. 우리는 점차 혁신적인 연구 방법론과 다른 분야로의 접근을 수출하는 분야로 옮겨갔다. In addition, the standardized patient methodology is a unique research approach adopted in health professions education that is now revolutionizing the training of professionals in other fields. Standards for rigor in medical education are also impacting research standards in dental education and in other health education fields, including domains of engineering education and legal education. We have gradually shifted into a field that now exports innovative research methodology and approaches to other disciplines.
우리는 확립된 단일 방법론을 따르기를 거부하는 일반적인 질적 접근법에서 예시처럼, 방법론의 혼합을 채택하는 새로운 접근법을 보고 있다.35,36 그러한 [새로운 접근법]의 영향은 보건 직업 교육 연구자들 사이의 엄격성에 대한 신중한 고려가 필요하다. 더욱이, 형평, 다양성, 포함inclusion의 문제를 진전시키는 방법론을 포함하여, 여전히 그 분야의 개발을 기다리고 있는 연구 접근법과 엄격성 표준이 있다.37 [인력 구성과 다양성]을 검토하는 파이프라인 프로그램을 검토하는 평가 연구는 (특히 이러한 중요한 주제와 일치하는 연구 질문들에서) 연구 접근법과 엄격성에 대한 지침이 여전히 부족하다.
We are seeing newer approaches that adopt a mixture of methodologies, as exemplified in generic qualitative approaches that refuse to follow a single established methodology.35,36The impact of such newer approaches requires thoughtful consideration for rigor among health professions education researchers. Furthermore, there are research approaches and standards of rigor that still await development for the field, including methodologies that advance issues in equity, diversity, and inclusion.37Evaluation studies examining pipeline programs that examine workforce composition and diversity still lack guidance in research approach and rigor, particularly among research questions that align with these important topics.
게다가, [교육의 프랙세올로기praxeology]에 대해서도 구체적인 고려가 필요하다.38 프랙세올로기는 "프랙시스"에서 비롯되는데, 이는 교육이 어떻게 실행되어야practiced 하는지에 대한 문제와 관련이 있다. 그것은 구체적으로 교육이 효과를 발휘하도록 하는 연구가 무엇을 의미하는지 묻는 질문에 대답한다. 프랙세올로기는 가치 중립적이지 않으며 기관과 국가 기관의 우선순위에 따라 달라진다.
Additionally, praxeology of education needs to be given specific consideration.38Praxeology stems from “praxis”—action, which has to do with the question of how education is to be practiced. It specifically answers the question of what research means for making education work. Praxeology is not value-neutral and depends on the priorities of institutions and national bodies.
블랙 라이프 매터(BLM, Black Life Matter) 운동이 한창인 가운데, 의학교육 연구가 소수민족에게 어떤 영향을 미쳤는지 되새겨볼 것을 독자들에게 당부한다. 연구의 결과로 praxis, change, action이 이루어졌는가? 다양성, 형평성, 포괄성 분야의 연구가 교육 변화를 구현하기 위한 제도적 조치에 부합할 필요가 있다는 점을 유념해야 한다. 이러한 분야에 대한 기여는 과학 발전을 위한 다른 관련 분야뿐만 아니라 우리 분야에도 상당한 영향을 미칠 수 있다.39
In the midst of the BLM (Black Lives Matter) movement, we challenge our readers to reflect on how medical education research has impacted minorities. Has the research resulted in praxis, change, and action? It is important to note that research in the field of diversity, equity, and inclusion need to be met with institutional action to implement changes in education. Contributions in these areas can have significant impact for our field as well as other related disciplines in how we advance science.39
끝맺는 말 Concluding Remarks
여러 분야의 학자들이 있는 분야에서, 최고의 과학의 모든 원칙과 가치를 포괄하는 하나의 엄격한 기준을 명확히 하는 것은 쉽지 않다. 여전히 많은 엄격한 기준이 존재한다. 우리는 질문의 유형과 작업의 보고 표준에서도 상당한 진전을 이뤘습니다. 그리고 우리의 연구 접근법과 관련된 과학적 엄격함은 여전히 지속적으로 다듬을 가치가 있는 분야로 남아있을지도 모른다. In a field with scholars from many disciplines, it is not easy to articulate a single standard of rigor that encompasses all principles and values of best science—there still are many contending standards of rigor. We have made significant progress in the types of questions we ask and also in the reporting standards of our work. And perhaps the scientific rigor associated with our research approach still remains to be a domain worth continuously refining.
그러나, 연구자들을 위한 테이크-홈 메시지는, 연구자가 연구 설계, 연구 방법론, 그리고 과학철학의 가정과 선택에 걸쳐 엄격성 표준을 따르고 있음을 입증하고 노력해야 한다는 것이다. 다음을 명확하게 설명하는 것은 모두 과학적 엄격함의 프로세스에 공헌할 것이다.
연구가 우리 분야의 문제나 현상과 관련된 지식을 어떻게 발전시키는가,
다른 문화적 맥락에서 연구의 목적적합성과 적용 가능성,
연구의 결과로 교육에서 어떤 변화가 필요한가(praxeology),
연구가 우리 분야의 핵심 원칙과 가치에 어떻게 이야기를 걸어오는가(axiology)
Yet, the take-home message is for researchers to demonstrate and to strive toward adherence in standards of rigor across their selection of research design, research methodology, and assumption and choices in the philosophy of science. Clear articulation of
how a research study advances knowledge relevant to a problem or phenomenon in our field,
the relevance and applicability of the study in different cultural contexts,
what needs to change in education as a result of the finings (praxeology), and
how the research speaks to core principles and values of our field (axiology)
...all contribute to the process of scientific rigor.
2020년은 우리가 교육 연구원과 실무자로서, 그리고 전문가로서 어떻게 기능하는가에 대한 불확실성과 도전으로 가득 찬 특이한 한 해이다. 우리는 우리가 봉사하는 직업과 사회에 어떤 특성과 가치를 가져다 주는지 잠시 멈추고 반영해야 할 중요한 시기에 있다. 또한 올해는 59번째 RIME 프로그램으로, 우리는 RIME의 다음 이정표에 접어들고 있으며, 보건직업 교육의 과학을 움직이는 연구와 발견에 있어 새로운 10년을 내다보고 있다.
The year 2020 marks an unusual year, full of uncertainties and challenges in how we function as educational researchers and practitioners and more importantly as professionals; we are at a crucial time to pause and reflect what character and value we bring to the profession and communities we serve. This year also marks our 59th RIME program, where we are at a cusp entering the next milestone for RIME, as we look toward a new decade of excellence in research and discoveries that drive the science of health professions education.
Acad Med.2020 Nov;95(11S Association of American Medical Colleges Learn Serve Lead: Proceedings of the 59th Annual Research in Medical Education Presentations):Si-Sv.
doi: 10.1097/ACM.0000000000003636.
RIME Foreword: What Constitutes Science in Educational Research? Applying Rigor in Our Research Approaches
1Y.S. Park is chair, Research in Medical Education (RIME) Program Planning Committee, and director of health professions education research, Massachusetts General Hospital and Harvard Medical School, Boston, Massachusetts; ORCID: http://orcid.org/0000-0001-8583-4335. Z. Zaidi is incoming chair, Research in Medical Education (RIME) Program Planning Committee, and associate chief for faculty development, Division of General Internal Medicine, University of Florida College of Medicine, Gainesville, Florida; ORCID: https://orcid.org/0000-0003-4328-5766. B.C. O'Brien is immediate past chair, Research in Medical Education (RIME) Program Planning Committee, professor of medicine, Department of Medicine, and education scientist, Center for Faculty Educators, University of California, San Francisco, San Francisco, California; ORCID: http://orcid.org/0000-0001-9591-5243.
하버드 Pathways 교육과정: 현대 학습자를 위한 발달적으로 적합한 의학교육(Acad Med, 2020)
The Harvard Medical School Pathways Curriculum: Reimagining Developmentally Appropriate Medical Education for Contemporary Learners Richard M. Schwartzstein, MD, Jules L. Dienstag, MD, Randall W. King, MD, PhD, Bernard S. Chang, MD, John G. Flanagan, PhD, Henrike C. Besche, PhD, Melanie P. Hoenig, MD, Eli M. Miloslavsky, MD, K. Meredith Atkins, MD, Alberto Puig, MD, PhD, Barbara A. Cockrill, MD, Kathleen A. Wittels, MD, John L. Dalrymple, MD, Holly Gooding, MD, David A. Hirsh, MD, Erik K. Alexander, MD, Sara B. Fazio, MD, and Edward M. Hundert, MD, for the Pathways Writing Group
플렉스너 리포트가 기초와 임상 과학의 탄탄한 토대 위에 의학 교육을 확립한 이후, 의과대학 개혁에 대한 1가지 요구가 빈번했고 2010년 카네기 리포트 이후 더욱 가속화되었다.3.4 공통 주제에는
의학교육이 사회적 필요와 공공 보건에 대해 더 충실히 Alignment 될 것
생물 의학 지식의 급속한 성장과 인지 과학에 대한 현대적 이해에 adjustment할 것
의료 전달 시스템의 변화하는 조직organization에 대해 adaptation할 것
Since the Flexner Report established medical education on a solid foundation of basic and clinical sciences,1calls for medical school reform have been frequent2and have accelerated following the 2010 Carnegie Report.3,4Common themes have included
more faithful alignment of medical education with societal needs and public health,
adjustment to the rapid growth in biomedical knowledge and contemporary understanding of cognitive science, and
adaptation to the changing organization of the health care delivery system.3–9
의료 분야에서 다양한 주제를 옹호하는 사람들은 재설계된 교육학보다 새로운 내용을 선호하는 경향이 있지만, 교육학적 혁신은 학생들이 무엇을 얼마나 잘 배우는지에 더 큰 영향을 미칠 수 있다. 너무 자주 우리는 우리가 가르치는 것과 실제 배우는 것을 혼동한다.
While advocates for various themes in health care tend to favor new content over redesigned pedagogy,9pedagogical innovation may have a larger impact on what and how well students learn; too often we confuse what we teach with what students actually learn.
2011년, 이러한 고려사항들을 염두에 두고 교수진 중심의 이니셔티브를 통해 하버드 의과대학(HMS)은 인지과학(표 1)의 최상의 증거를 기반으로 커리큘럼 변화를 계획하기 시작했고, 2015년 Pathways 커리큘럼의 개시로 정점을 찍었다. 우리의 목표는 문화를 바꾸는 것이었다.
주로 수동적인 정보 전달에서 혁신적이고 상호 작용성이 높은 증거 기반 강의실 경험으로: 개념을 강화하기 위한 문제 해결에 초점을 맞추고, 개인 및 팀 학습에 대한 높은 기대치와 책임감을 설정한다.
분절된 학문분야 중심의 교육에서 고도로 통합되고, 조정되고, 협력적은 교육으로: 학습자에게 발달적으로 적합하다.
In 2011, with these considerations in mind, through a faculty-driven initiative, Harvard Medical School (HMS) began planning curricular change, based on the best evidence from the cognitive sciences (Table 1), culminating in the 2015 launch of the Pathways curriculum. Our objective was culture change—
from predominantly passive transfer of information
to innovative, highly interactive, evidence-based classroom experiences
that focus on problem solving to reinforce concepts and set high expectations and accountability for personal and team learning, and from fragmented, discipline-centered instruction to highly integrated, coordinated, collaborative teaching that is developmentally appropriate for learners.
Table 1:Principles of Cognitive Science Embedded in the Harvard Medical School Pathways Curriculum
교육원칙과 철학 Educational Principles and Philosophy
HMS의 새로운 경로(New Pathway)는 1985년에 도입된 커리큘럼으로, 큰 강의에서 작은 그룹의 문제 기반 학습(PBL) 교육로 균형을 바꾸었다.
그러나 시간이 지나면서, 우리는 학생 준비가 쇠퇴하고 있고, 그룹 토론이 종종 비효율적으로 맹목적인 골목길을 헤매고 있으며, 경험은 튜토리얼 그룹마다 매우 다양하다는 점에 주목했다.
튜토리얼에 대한 학생 참여의 점진적인 저하와 밀레니얼 학습자의 변화하는 요구 사이에서, 교수진은 현대 학습자의 요구를 충족시킬 수 있는 새로운 교육 접근법을 탐구해야 할 필요성을 인식했다.
HMS’s New Pathway, a curriculum introduced in 1985, had shifted the balance from large lectures to small-group, problem-based learning (PBL) tutorials.10–13
Over time, however, we noted that student preparation was waning, group discussions often wandered inefficiently down blind alleys, and experiences varied widely across different tutorial groups.
Between gradual degradation of student engagement in tutorials and the changing needs of millennial learners,14,15the faculty recognized the imperative to explore new teaching approaches that could meet contemporary learners’ needs.
지속적 학습을 지원하는 학습 기법의 성장 뒤에 있는 과학으로 무장한 16-21 교직원-학생의 교실 학습 Task Force는
강의시간은 상호작용형 추론을 위하여 사용되도록 하는 것을 포함하여 능동적 학습과 비판적 사고를 함양하는 것으로 나타났던 보다 효과적인 교육 접근법의 채택을 장려했다 (플립 클라스룸).
표면 학습에서 딥 러닝을 강조하는 것으로 전환되었다. 통합되고, 일관되며, 이전 지식과 연결되며, 임상적으로 관련이 있으며, 문제 해결 및 분석에 집중되었다.27
Armed with the growing science behind learning techniques that support enduring learning,16–21the faculty–student Task Force on Classroom Learning encouraged
the adoption of more effective teaching approaches that had been shown to foster active learning and critical thinking, including reserving classroom time for interactive reasoning (“flipping” the classroom).22–26
Emphasis shifted fromsurfacelearning todeeplearning—integrated, coherent, linked to previous knowledge, clinically relevant, and anchored in problem solving and analysis.27
궁극적으로, 우리는 사례 기반, 문제 기반 및 팀 기반 학습 요소를 융합한 새로운 방법(사례 기반 협업 학습 [CBCL])을 연구하는 강의실 과정 내에서 무작위화되고 통제된 시험을 수행했다. 표준 PBL 튜토리얼 크기의 두 배임에도 불구하고, 16명의 학생 그룹이 4의 표로 세분화된 본 연구의 CBCL 수업은 학습 환경과 학생의 성취도 향상과 관련이 있었다.28
Ultimately, we conducted a randomized, controlled trial within a classroom course in which we studied a new method (case-based collaborative learning [CBCL]),28which fused elements of case-based, problem-based, and team-based learning.29–31Despite being twice the size of standard PBL tutorials, CBCL classes in this study, in which a group of 16 students was subdivided into tables of 4, were associated with an improved learning environment and student achievement.28
그 후에 유사하게 구성된 Preclerkship 커리큘럼 재설계에 관한 태스크 포스는
책무성이 거의 없는 학습환경에서
학술과 전문직업성에 대한 높은 기대치와 개인/그룹의 책무성으로 책임으로 특징지어지는 학습 환경으로의
...균형을 재보정할 것을 주장했다. 태스크 포스는 중간 규모의 학습자 그룹과 교육학 혁신으로 작업하는 훈련된 교수진의 핵심 교육 모델을 승인했으며, 이를 통해 학생들은 블룸의 분류법을 더 높은 수준으로 끌어올릴 수 있었다.32 Subsequently, the similarly constituted Task Force on Redesign of the Preclerkship Curriculum advocated for recalibration of the balance
from a learning environment with little accountability
to one characterized by higher expectations and personal/group accountability for scholarship and professionalism.
The task force endorsed a core teaching model of trained faculty working with intermediate-size groups of learners and pedagogic innovations that push students to higher levels of Bloom’s taxonomy.32
우리는 핵심 기초/인구 과학이 전임상 시기에 필요하지만, 보다 advanced science의 풍부함과 영감은 임상실습에 몰입하여 경험하는 학생들에게 가장 적합하다는 것을 인식했다. 학생들은 임상실습에 있는 동안 이러한 과목들을 접한 후 advanced 주제와 심층적이고 맥락적인 학습과 강화에 더 잘 수용한다. We recognized that, while core basic/population science is needed before the clinical year, the richness and inspiration of more advanced science is best suited to students seasoned by their immersion in clinical clerkships. Students are more receptive to advanced topics and to deep, contextual learning and reinforcement after encountering these subjects during their clinical clerkships.
이러한 고려 사항이 결합되고 CBCL에 대한 실험이 성공함에 따라, 재설계 태스크 포스는 전통적인 교육 경계에 얽매이지 않고 전체 4년 과정의 커리큘럼을 포괄적으로 검토할 것을 요구했다. 교육과정 개편 태스크포스(TF)는 이러한 지도 질문을 고려하여 4년제 교육과정에 대한 공통의 교육 주제, 목표, 원칙, 가치 등을 명확히 기술하였다(목록 1).
As these considerations coalesced and our experiment with CBCL succeeded, the redesign task force called for a comprehensive review of the entire 4-year curriculum, unencumbered by traditional disciplinary boundaries—what we teach, when we teach it, how we teach, who does the teaching, and how to assess students. Considering these guiding questions, the curriculum reform task force articulated common curricular themes, objectives, principles, and values for the 4-year curriculum (List 1).
목록 1. 목표, 원칙 및 가치: 교육과정 변경에 대한 문제점과 근거, 하버드 의과대학 경로프로그램 List 1 Objectives, Principles, and Values: Statement of Problem and Rationale for Curriculum Change, Harvard Medical School Pathways Program
새로운 커리큘럼의 목표: Objectives of the new curriculum: - 의료 지식의 급속한 성장 -정보 접근에 필요한 시간을 단축하고 몇 초에서 몇 분 내에 얻을 수 있는 주제/콘텐츠의 범위를 확대하는 기술의 발전 -현재 세대의 교사와 학습자 사이의 불일치 및 학생들을 참여시키는 교육학적 기법에 대한 함의 -학습자 및 진료 제공자로서 팀의 성과 요구 증가 -평생학습에 필요한 기술 및 태도의 지원/개발 필요성 증대 -여러 분야에 걸친 지식 통합 달성 과제 -응집력 있는 공통 주제 강화의 과제 -커리큘럼을 지원하기 위해 적절하게 준비되고 헌신적인 교수진을 보유하는 문제 -오류를 줄이고 환자의 안전을 개선하는 의료 오류 및 인지 처리에 대한 집중 강화
Rapid growth in medical knowledge
Advances in technology that reduce the time needed to access information and increase the range of topics/content that can be obtained within seconds to minutes
Mismatch between the current generation of teachers and learners and the implications for pedagogical techniques that engage students
Increasing need for performance of teams as learners and as providers of care
Increasing need to support/develop skills and attitudes that are necessary for lifelong learning
Challenges in achieving integration of knowledge across disciplines
Challenges of reinforcing cohesive common themes
Challenges of having an adequately prepared, highly committed group of faculty to support the curriculum
Increased focus on medical errors and cognitive processing that would diminish errors and improve patient safety
새로운 커리큘럼의 원칙 구성: Organizing principles of the new curriculum:
- 학생들이 유능하고 호기심이 많고 배려심이 많은 의사로서 탁월함을 추구하도록 격려합니다. -기초 생물학, 사회학, 인구학, 기초학, 임상학 간의 통합을 강화하는 동시에 과학적 엄격성의 중요성을 강화한다. - [학습 스타일의 이질성을 수용하는 다양한 학습 자원의 도움을 받아], 팀 기반 활동에서 자율 학습을 통해, 콘텐츠/지식, 기술, 태도 및 자기 성찰 원리에 대한 학생 획득에 집중함으로써 평생 학습의 발전을 촉진한다. -고차 인지 작업, 즉 평가, 합성 및 분석을 지원하기 위한 정보 처리에 집중함으로써 비판적 사고의 개발을 강화한다. - 평가/평가 활동으로 지속적인 학습과 개인적 책임감을 강화한다. = (평가활동은) 학습을 강화하고, = (평가활동은)지식의 축적과 기술 개발을 다루고, =(평가활동은) 내용 뿐만 아니라, 문제 해결을 위한 지식의 적용에 중점을 둔 사고력을 검사하기 위한 다각적인 연습이다 -학생 중심적이고 참여적인 혁신적이고 효과적이며 효율적인 교육학 모델에 의존합니다. = 창의성과 학문을 모델링하고, =학습의 흥미을 갱신/강화하며, = 적응적이고 유연하며 = 하버드 대학 전체의 교수-학습 이니셔티브에서 포착한 커리큘럼 수준을 초안화합니다. -과학적 엄격성 및 임상적 관련성 제고 -[미래에 변화의 주체가 됨으로써 모든 차원의 의학 혁신을 촉진할 수 있도록] 팀과 자신의 분야에서 리더가 되는데 필요한 기술을 학생들에게 제공함으로써, 탐구inquiry와 학술scholarship을 촉진한다.
Inspire students to pursue excellence as competent, curious, caring physicians
Enhance integration among the basic biological, social, and population sciences and between the basic and clinical sciences while reinforcing the importance of scientific rigor
Enhance development of lifelong learning by focusing on student acquisition of content/knowledge, skills, attitudes, and principles of self-reflection via self-study in team-based activities with the assistance of a variety of learning resources that accommodate the heterogeneity of learning styles
Enhance development of critical thinking by focusing on processing information to support higher-order cognitive tasks, that is, evaluation, synthesis, and analysis
Enhance durable learning and personal accountability with assessment/evaluation activities - that enhance learning, - that address cumulative knowledge and skill development, and - that are structured as multifaceted exercises to examine content as well as thinking skills with a focus on application of knowledge to solve problems
Rely on innovative, effective, and efficient pedagogic models that are student centered and engaging, - that model creativity and scholarship, - that renew/reinforce the excitement of learning, - that are adaptive and flexible, and - that draft off the level of Harvard University-wide curricular foment captured by the Harvard Initiative in Learning and Teaching
Raise the level of scientific rigor and clinical relevance
Promote inquiry and scholarship while providing students with the skills needed to be leaders of teams and in their fields to enable them to catalyze innovation in all dimensions of medicine by being agents of change
새 커리큘럼에 포함된 가치: Values embedded within the new curriculum:
학생중심성 - 임상의, 교육자 및/또는 과학자로서의 미래 직업에 대한 준비 -능동적 학습 -다양한 학습 스타일, 장소 및 클래스 크기를 통합할 수 있는 유연성 -창의력 해방 -호기심과 탐구문화 육성 및 지원 -안전한 학습 환경과 장학금 및 전문성에 대한 높은 기대치 사이의 적절한 균형 달성 -학습을 향상시키는 평가 작성 -학생들이 재료에 대한 숙달력을 기를 기회의 창출
Student centeredness
Preparation for future careers as clinicians, educators, and/or scientists
Active learning
Flexibility to incorporate different learning styles, venues, and class sizes
Liberation of creativity
Fostering and supporting a culture of curiosity and inquiry
Achieving an appropriate balance between a safe learning environment and high expectations for scholarship and professionalism
Creation of assessments that enhance learning
Creation of opportunities for students to develop mastery of material
환자 중심성 - 초기 임상 경험 -종방향 환자 경험 -팀 기반 부가 가치 관리 지원 및 모델링 -휴머니즘적 공감 케어 지원 및 모델링
Patient centeredness
Early clinical experiences
Longitudinal patient experiences
Supporting and modeling value-added, team-based care
Supporting and modeling humanistic, empathic care
지역사회와 사회에 대한 헌신 -다양한 환자 모집단의 존중 및 이해 -사회적, 시스템적 맥락에서의 관리 제공
Commitment to community and society
Respect for and understanding of diverse patient populations
Providing care within a social and system context
수월성에 대한 헌신 -높은 기준, 학습자료의 숙달 -발달 이정표와 연계된 성과 기반 평가 -소규모 그룹 학습 사이트(예: 자습서, 임상 사이트)의 엄격성 통일성 -지속적인 질 향상 사고방식의 적용으로 커리큘럼의 개선방향
Commitment to excellence
High standards; mastery of material
Performance-based assessment linked to developmental milestones
Uniformity of rigor across small-group learning sites (e.g., tutorials, clinical sites)
Application of a continuous quality improvement mindset to further refinements of curriculum
전문직업성에 대한 헌신 - 모든 과정 및 활동에 포함됨 - 멘토링 및 모델링
Commitment to professionalism
Embedded in all courses and activities
Mentoring and modeling
평생학습에 대한 헌신 -성찰과 자기 평가를 통합한 자기주도학습 -발달, 단계적 복잡성 -팀 학습 및 문제 해결
Commitment to lifelong learning
Self-directed learning that incorporates reflection and self-assessment
Developmental, stepwise complexity
Team learning and problem solving
교육 경험 향상을 위한 적절한 기술 사용 - 혁신적이고 미래 지향적인 교육학 -기술/학습 랩 통합 -시뮬레이션이 포함된 임상 기술 센터 -온라인 리소스 -질문은행
Appropriate use of technology to enhance the educational experience
Innovative, forward-looking pedagogy
Incorporation of skills/learning labs
Clinical skills center with simulation
Online resources
Question banks
교수진과 학생 간의 파트너십 - 가르침과 배움에 있어서 -학술적 탐구에서 -지적 담론의 문화에서
Partnership between faculty and students
In teaching and learning
In scholarly inquiry
In a culture of intellectual discourse
티칭 사이언스 Teaching Science
오랫동안 고립된 학문분야별 과정(예: 해부학, 생화학, 생리학)의 전통에도 불구하고, 이전 커리큘럼의 과정 교수진(대부분 임상 부서에서 뽑음)은 교육과정에 걸쳐 과학과 임상 의학의 가르침을 통합하기 위한 계획을 정기적으로 지지하고 회의함으로써 이 개혁을 시작했다. 우리의 목표는 [active learning pedagogy]에 닻을 내리고, "근본적foundational"과 "경계적boundary" 과학을 구별하도록 구조화된 개발적으로 적절한 커리큘럼이었다(표 2).
Despite a long-standing tradition of siloed, discipline-specific courses (e.g., anatomy, biochemistry, physiology), course faculty in the prior curriculum (mostly drawn from clinical departments) initiated this reform by advocating and meeting regularly to plan for integrating the teaching of science and clinical medicine across the curriculum. Our goal was a developmentally appropriate curriculum anchored in active learning pedagogy and structured to distinguish “foundational” and “boundary” science (Table 2).
[14개월 전임상실습 단계]에서는 기초과학/인구과학의 기초개념 획득을 학생들에게 임상 의학의 기초를 소개하고 기초와 임상과학 원리를 연계하기 시작할 수 있는 [낮 동안의 임상경험daylong clinical experience]과 함께 주 중반midweek에 인터리빙된다. Science 과목에서의 교육은 주로 pedagogy에 전문성을 가진 교수에게 위임된다. "외부" 콘텐츠 전문가의 강의는 제한되어 있다. 각 과정마다 내용 양, 사실에 대한 개념, 단순한 정보 보존에 대한 문제를 해결하기 위해 지식을 사용하는 능력에 대한 이해의 깊이가 강조된다. 우리는 학생들의 발달적 학습 요구에 부합하기 위해 기초과학/인구과학에 대한 교수-학습을 명시적으로 전임상실습-임상실습-후임상실습에 나누어 배분했다.
In the 14-month preclerkship phase, the acquisition of foundational concepts in the basic/population sciences is interleaved midweek with daylong clinical experiences that introduce students to the basics of clinical medicine and permits students to begin linking basic and clinical science principles. Teaching in science courses is delegated primarily to faculty expert in pedagogy; lectures by “outside” content experts are limited. For each course, depth of understanding is emphasized over quantity of content, concepts over facts, and the ability to use knowledge to solve problems over mere retention of information. We explicitly distributed the teaching/learning of basic/population sciences among preclerkship, clerkship, and postclerkship phases to align with students’ developmental learning needs.
Table 2:Approach to Teaching Science in 3 Phases of the Harvard Pathways Curriculum
귀납적 추론inductive reasoning과 과학 개념을 임상 사례에 적용하는 것을 강조하는 교육 접근법 CBCL을 구현했다.
입학하는 각 학급은 학회를 기준으로 4개의 학습 스튜디오(CBCL 교육학을 위해 특별히 설계됨)로 나뉘는데, 2명의 교수진이 이끄는 스튜디오당 약 40명의 학생이 있으며, 2명의 핵심 교수진 또는 1개의 [핵심 교수진] 및 1개의 콘텐츠 전문가로 구성되어 있으며, [핵심 교수진]은 전체 과정에 걸쳐 학생들과 종방향적인 연결을 유지하고 있다.
각 학습 스튜디오 내에서 학생들은 4인용 테이블에서 일하는데, 이는 수업 토론에서 모든 사람들의 참여를 유도하고, 전문직업적 정체성의 근본적인 부분으로서 팀워크의 좋은 습관을 확립하기 위해 고안된 구성이다. CBCL에 대한 우리의 이전 연구는 학생들이 8-9명의 학생 PBL 튜토리얼에서는 "숨을 수 있다"고 느꼈지만, 4인용 테이블의 classroom deliberation에서는 참여하도록 강요당했다는 것을 보여주었다.9
필수, 준비, 지시된 자체 학습 과제(자기 주도 학습 연습으로 보완), 모든 학생이 답할 수 있어야 하는 일련의 주요 질문에 의해 주도되며(그리고 매일의 준비 상태 평가 연습에 대해 시연), CBCL 세션을 위한 학생 준비, 강의실 개념 및 내용 및 초기 임상 경험 통합과 학생의 학습 동기를 향상시키기 위해 조정된다.
호기심을 자극하고 이해를 평가하는 '왜'와 '어떻게' 질문이 강조된다.
의무 출석은 CBCL 세션에서 그룹 학습의 가치를 뒷받침한다. 이 형식에 수반하는 학습 환경의 현저한 개선으로(다른 곳에서 자세히 설명됨) 학생들은 이 요구 사항을 수용했다.
faculty implemented CBCL,28a teaching approach that emphasizes inductive reasoning and application of science concepts to clinical cases.
Each entering class is divided into 4 learning studios (designed specifically for CBCL pedagogy) based on academic society, with roughly 40 students per studio led by 2 course faculty—either 2 core teaching faculty or 1 core teaching and 1 content expert; core faculty maintain a longitudinal connection with the students over the full course.
Within each learning studio, students work at 4-person tables, a configuration designed to encourage engagement byallin class discussion and establish good habits of teamwork as a fundamental part of professional identity. Our prior study of CBCL revealed that students felt they could “hide” in 8- to 9-student PBL tutorials but were compelled to engage in classroom deliberations in 4-person tables.9
Required, preparatory, directed self-learning assignments (supplemented by self-directed learning exercises), driven by a series of key questions that all students should be able to answer (and demonstrate on daily readiness assessment exercises), prepare students for CBCL sessions; concepts and content of classroom and early clinical experiences are coordinated to enhance integration and student motivation to learn.
The emphasis is on “why” and “how” questions that stimulate curiosity and assess for understanding.
Mandatory attendance supports the value of group learning in CBCL sessions; with the significant improvement in the learning environment accompanying this format (detailed elsewhere), students have embraced this requirement.
Pathways 커리큘럼은 첫 6개월동안
기본 기초 과학(Foundations)과
인구 과학(윤리, 역학, 의료 정책/질 및 안전을 포함하는 직업의 필수) 과정으로 시작한다
The Pathways curriculum begins with
foundational basic science (Foundations) and
population science (Essentials of the Profession, which includes ethics, epidemiology, health care policy/quality and safety) courses (see Supplemental Digital Appendix 1, athttp://links.lww.com/ACADMED/A820) during the first 6 months,
이 기간 동안에는, 학생들에게 기관 시스템을 탐색하기 위한 도구와 언어를 갖추게 한다. 해부학적 개요는 Foundation에 통합됩니다.
equipping students with the tools and language to navigate organ systems; an overview of anatomy is incorporated into Foundations.
그 뒤에 뒤따르는 기관 기반 과정organ-based course는
구조/기능 및 정상/비정상 프로세스에 초점을 맞추고
기초 과학을 강화하며 (예를 들어, 해부학적 측면은 장기 시스템 과정 중에 연구된다).
병리생리학에 빛을 비추는 약리학적 원리들을 소개한다.
The organ-based courses that follow
focus on structure/function and normal/abnormal processes,
reinforce the foundational sciences (e.g., anatomy prosections are studied during the organ system courses), and
introduce pharmacological principles that illuminate pathophysiology.
또한 상호보완성을 강조하기 위해 그룹화된 장기 시스템(예: 호메오스타시스 1 모듈의 심혈관 호흡)을 함께 학습하여 핵심 원칙의 통합을 강조한다. 기초과학 교실basic science department이 "소유"하는 강좌는 없다. 기초 및 임상 과학 부서의 교수진들은 각각 12개월에 걸쳐 기초부터 개발된 새로운 과정의 내용에 대해 협력했다.
Moreover, organ systems grouped to highlight their complementarity (e.g., cardiovascular–respiratory in the Homeostasis 1 module) are taught together, emphasizing integration of core principles. No course is “owned” by a basic science department; faculty from across basic and clinical science departments collaborated on the content of the new courses, each of which was developed from the ground up over a 12-month period.
계획된 반복은 학습을 강화하고 지식 전달을 촉진한다(계획된 반복은 후속 과정에서 [이전 과정 또는 중 교차 학습 통합 세션에서 학습한 내용을 준비자료로 재배치]하는 형태이다. 이를 통해 학생들은 새로운 맥락에서 자료를 재방문revisit합니다.). 그림 1은 통합되고 보완적인 과정 모듈을 병렬로 가르치면서 강조와 진폭amplitude으로 진화(예: 초기 해부학 강조, 이후 면역학/미생물학/병리학 강조)하는 방법을 보여주는 Foundation course의 이러한 접근법의 예를 제시한다.
Planned repetition—in the form of reassignment of preparatory material from a prior course or cross-module integration sessions during a subsequent course (Figure 1) whereby students revisit material in a new context—reinforces learning and facilitates knowledge transfer.Figure 1offers an example of this approach from the Foundations course, which demonstrates how integrated, complementary course modules are taught in parallel but evolve in emphasis and amplitude (e.g., early emphasis on anatomy, later emphasis on immunology/microbiology/pathology), as the course proceeded.
14개월 전임상실습 커리큘럼은 병동에 들어가기 전에 [정보를 통합하고 상황에 맞게 조정하기 위해 설계된 과정인 "주요 임상 경험으로의 전환"]으로 마무리된다. 여기서 과학 자료는 매우 임상적인 관점(예: 말초 및 중심선 배치와 같은 표준 절차와 관련된 팔다리와 목 해부학)에서 재검토되고 강화되며 임상 기술을 연마한다. The 14-month preclerkship curriculum concludes with a course designed to consolidate and contextualize information before entering the wards, Transition to the Principal Clinical Experience. Here, science material is revisited and reinforced from a very clinical perspective (e.g., limb and neck anatomy relevant for standard procedures such as peripheral and central line placement) and clinical skills are honed (Supplemental Digital Appendix 1, athttp://links.lww.com/ACADMED/A820).
핵심 임상실습 또는 Principal Clinical Experience (PCE) 동안 학생들은 기초과학 및 임상과학의 통합과 증상, 신체적 발견 및 치료법을 이해하기 위한 과학적 원리에 대한 의존을 강조하는 [종단적 다학제적 사례 컨퍼런스]에 참여한다.34-37 임상 교수진은 [bedside에서 학생들에게 던질 질문의 성격을 변형시키는 훈련]을 받는다. 이 질문은 전임상실습 학습 스튜디오에서 했던 "어떻게"과 "왜" 질문에 기초함build upon으로써 깊은 이해를 증진시킨다. 38,39 이 컨퍼런스에서 전임상실습 과정에서 배운 비디오를 포함하여 preparatory material을 참조할 수 있다. During the core clinical clerkships, or Principal Clinical Experience (PCE,33see below), students participate in longitudinal multidisciplinary case conferences that emphasize integration of basic and clinical science and reliance on scientific principles to understand symptoms, physical findings, and therapeutics.34–37Clinical faculty undergo training to transform the nature of the questions they ask students at the bedside, building upon the “how” and “why” questions of the preclerkship learning studios to promote deep understanding.38,39Preparatory materials (including videos) from preclerkship courses may be referenced during these conferences.
[PCE와 후속 미국 의료면허시험 1단계 시험](기본과학과 임상과학의 통합을 강조하기 위해 PCE 이후 단계의 시작으로 이동)을 완료한 후, 학생들은 확장된, 19개월 동안의 Post-PCE 단계 밟는다.
이 때, 기초과학 및 인구과학 교육을 계속하면서 더 발전시키고, 임상 기술이나 관심사를 연구할 수 있습니다.
전임상실습에서의 다뤘던 인구과학population science는 Essentials of the Profession II라는 필수 과목 과정에서 재방문 및 강화되는데, 이는 1년간의 병동 기반 임상 경험 후에 이러한 기초 학문을 재방문해야 한다.
기초과학으로의 회귀return는 학생이 11가지 옵션(목록 2)에서 선택하는 2가지 필수 통합과학 과정(AISC)에서 이루어진다. AISC에서 학생들은 임상 의학 및 학술 프로젝트에 대한 관심과 관련된 심층적인 특정 과학 주제를 탐구한다.
After completing the PCE and subsequent United States Medical Licensing Examination Step 1 exam (moved to the beginning of the post-PCE phase to emphasize the integration of basic and clinical sciences), students have an expanded, 19-month post-PCE phase,
during which they continue their basic and population science education, while further developing their clinical skills and interests.
The preclerkship population sciences are revisited and reinforced in the Essentials of the Profession II course, a required revisit to these foundational disciplines after a year of ward-based clinical experiences.
A return to the basic sciences occurs in 2 required Advanced Integrated Science courses (AISCs) that students select from 11 options (List 2). In the AISCs, students explore in-depth specific scientific topics relevant to their interests in clinical medicine and to their scholarly projects.
목록 2하버드 의과대학 Pathway 프로그램의 첨단통합과학과정 AISC 옵션 List 2 Options for the Advanced Integrated Science Courses of the Harvard Medical School Pathways Program
암생물학 재생생물의학 번역 바이오의학 번역약학 계산 가능한 의학 인간유전학 면역학 신진대사, 영양, 생활습관의학 미생물 및 전염병 글로벌 및 커뮤니티 건강 신경생물학
Cancer biology Regenerative biomedicine Translational biomedical engineering Translational pharmacology Computationally enabled medicine Human genetics Immunology Metabolism, nutrition, and lifestyle medicine Microbiology and infectious diseases Global and community health Neurobiology
기초과학과 임상과학 전문가들이 공동 가르치는 AISC의 강사들은 학생들이 생물학과 의학의 접점에서 질문을 하도록 장려한다. 그들은 받아들여진 지식의 기초보다는 [지식의 경계]를 탐구한다. 모든 AISC는 학생들이 관련 문헌 평가, 충족되지 않은 임상 요구 및 질문 확인, 동료와 환자에게 과학 정보를 전달하는 등 일반화할 수 있는 기술을 개발하는 데 초점을 맞춘 [공통 프레임워크를 공유]한다. AISC에서 학생들은 연구를 하든 임상을 하든 상관없이, [required scholarly project와 앞으로 커리어 전반]에 걸쳐 사용할 수 있는 지적 프레임워크와 기술 세트에 종사한다. Instructors in the AISCs, co-taught by experts in both basic and clinical sciences, encourage students to ask questions at the interface of biology and medicine; they explore the boundary of knowledge rather than the foundation of accepted knowledge. All AISCs share a common framework focused on helping students develop generalizable skills such as evaluating relevant literature, identifying unmet clinical needs and questions suitable for investigation, and communicating scientific information to peers and patients. In AISCs, students engage in an intellectual framework and skill set they can use both in their required scholarly projects and throughout their careers, whether they pursue research or clinical medicine.
위에서 설명한 바와 같이 전임상실습 및 AISC 과정에 종사하는 임상 교수진은 [학생과의 접촉 시간에 기초하여 급여를 지급]하여 [교육적 헌신으로 발생한 임상 수입의 손실을 부분적으로 상쇄]한다. 의과대학은 많은 핵심 교수진들이 선택하는 교육적 우수성과 리더십을 위한 승진 경로promotion pathway가 있다.
Clinical faculty engaged in preclerkship and AISC courses as described above are paid stipends based on contact time with students to partially offset the loss of clinical income associated with their teaching commitment. The medical school has a promotion pathway for teaching excellence and leadership, which is chosen by many of the core faculty.
임상 기술 교육 Teaching Clinical Skills
Pathways는 처음부터 임상 기술을 가르치고 임상 및 기초 과학을 통합하는 것을 우선시해 왔다. 이 철학은 첫 달부터 시작하여 졸업 전에 [임상 캡스톤 코스]로 마무리하는 4년 내내 적용된다. From its outset, Pathways has prioritized teaching clinical skills and integrating clinical and basic science; this philosophy is applied across all 4 years—beginning in the first month and concluding with a clinical capstone course preceding graduation.
HMS의 1년에 걸쳐 진행되는 전임상실습의 임상 스킬 과정인 [POM(Practice of Medicine) 과정]은 PCE를 위한 임상 준비를 제공한다. 학생들은 [환자와 의사 사이의 관계, 임상 의학, 그리고 다양한 사람들의 보살핌에 기초하는 기본 기술]을 배웁니다: 면담interviewing과 의사소통 기술, 신체 검사, 그리고 임상 추론. The Practice of Medicine (POM) course, HMS’ yearlong preclerkship clinical skills course, provides clinical preparation for the PCE. Students learn basic skills fundamental to the patient–physician relationship, clinical medicine, and the care of diverse populations: interviewing and communication skills, physical examination, and clinical reasoning.
POM은 기본/인구 및 임상 과학을 통합한다. 임상 기술과 추론 연습은 동시에 진행되는 1학년 전임상실습 과학 과정의 강의실 경험과 조정된다. (예를 들어, 폐소리의 생리학은 POM의 병리학적 폐소리를 학습하면서 호모스타시스 1에서 지속적으로 연구된다.) 또한 본 코스는 전문 개발, 자기 성찰 및 웰빙 교육에 중점을 두고 있습니다(the Developing Physician [TDP] 교육 과정, 아래 참조).
The POM integrates basic/population and clinical sciences; clinical skills and reasoning exercises are coordinated with classroom experiences in contemporaneous year-1 preclerkship science courses (e.g., the physiology of lung sounds is studied in Homeostasis 1 concomitantly with learning pathological lung sounds in POM). The course also focuses on professional development, self-reflection, and wellness training (the Developing Physician [TDP] curriculum, see below).
각 병원 관련 임상 사이트에서 POM은 (clinical faculty에서 도출된) 핵심 교수진 교육자core faculty educator에게 의존한다. 이들은 소규모 그룹 대화형 세션에서 강의하며, 입원 및 외래 세팅에서 번갈아 강의하며, 일년 내내 학생들과 종단적 관계를 유지한다. 학생들은 또한 임상 교사와 긴밀하게 협력하여 1년간의 longitudinal foundation continuity clinic(FCC)에 참여하여 1차 진료 관행에서 환자의 코호트를 돌본다. FCC는 임상 의학에 대한 다원적, 전문적 접근 방식을 모델링하고, 의료 시스템의 평가를 위한 컨텍스트를 제공하고, 홍보한다. 질 향상, 환자 안전 및 의료 차이점에 대한 주의. 명시적인 POM 목표는 일차 치료 의학의 중요성과 중심성을 학생들에게 증명하는 것이다. At each hospital-associated clinical site, POM relies on core faculty educators drawn from the clinical faculty, who teach in small-group interactive sessions, alternating between inpatient and ambulatory settings, maintaining longitudinal relationships with students throughout the year. Working closely with clinical preceptors, students also participate in a yearlong longitudinal foundational continuity clinic (FCC), caring for a cohort of patients in a primary care practice; FCC models the multidisciplinary, interprofessional approach to clinical medicine; provides context for appreciation of the health care system; and promotes attention to quality improvement, patient safety, and health care disparities. An explicit POM goal is to demonstrate for students the importance and centrality of primary care medicine.
매주 수요일 전체(전임상실습 중 contact time의 약 30%)를 POM의 임상 의학에 바치는 것은 의과대학이 [초기 환자 경험, 임상 기술, 학생의 전문적 정체성 형성]에 중요성을 둔다는 것을 강조한다. 또한, 주 중반에 POM을 배치함으로써, 학생들의 강의실 학습에 동기를 부여하며, 한 주의 주변 기간surrounding days 동안 그들의 임상 경험의 기초가 된다. Dedication of a full Wednesday each week (approximately 30% of preclerkship contact time with faculty) to clinical medicine in POM underscores the importance the school places on early patient experiences, clinical skills, and formation of students’ professional identities. Additionally, midweek POM placement motivates students’ classroom learning of the basic sciences underlying their clinical experiences during the surrounding days of the week.
POM이 완성된 후, 그리고 핵심 임상실습이 시작되기 직전에 학생들은 PCE에 대비하여 기초 임상 및 기초 과학 경험을 통합하는 [5주 과정의 TPCE]에 참여하는데, 이 과정은 기본적으로 전임상실습 커리큘럼의 캡스톤 체험으로 기능한다. Following completion of POM and just before the start of core clerkships, students participate in the TPCE, as described above, a 5-week course that consolidates fundamental clinical and basic science experiences in preparation for the PCE, functioning essentially as a capstone experience for the preclerkship curriculum.
Pathways의 종단적 교수-학생 학습에 대한 헌신과 일관되게, 학생들은 POM과 PCE를 위해 동일한 임상 사이트에 배정된다. FCC의 임상 실무 경험을 바탕으로 학생들은 2학년에도 일차의료 임상실습에서 이 작업을 계속하며, 가능한 경우 FCC 외래진료 사이트 및 교사와 함께 유지된다. 이로써 2년 내내 환자 및 교사의 종단적 경험을 제공한다.
Consistent with the commitment to longitudinal faculty–student learning in Pathways, students are assigned to the same clinical site for POM and PCE. Building on their experiences in clinical practice from FCC, students continue this work in their primary care clerkship in year 2, remaining when possible with their FCC ambulatory site and preceptors, offering longitudinal patient and preceptor experiences that span 2 full years.
POM에서 시작된 [TDP 커리큘럼]은 학생들이 자신의 직업적 정체성이 진화함에 따라 자신의 경험을 되새기도록 장려하기 위해 PCE 전반에 걸쳐 계속된다. 핵심 테마로 휴머니즘은 TDP, TCPE 과정, 전문 개발 주간(PDWs, 아래 참조), 다양한 선택형 오퍼링을 통해 짜여진다.
The TDP curriculum, initiated in POM to encourage students to reflect on their experiences as their professional identities evolve, continues throughout the PCE. As a core theme, humanism is woven through TDP, the TCPE course, professional development weeks (PDWs, see below), and a rich array of elective offerings.
3학년 10월부터 시작되는 post-PCE 단계의 확대는 학생들에게 임상의로서 지속적인 성장의 기회를 제공하여 내과의 의무적 서브인턴십을 포함한 일련의 필수적이고 선택적인 임상 경험을 통해 학습 경험을 개인의 진로 '경로'에 맞게 조정할 수 있게 한다. NBME시험 2단계는 의과대학 최종학년의 1월까지 완료되어야 한다. The increased length of the post-PCE phase, beginning in October of year 3, provides students with opportunities for continued growth as clinicians, allowing them to tailor learning experiences to individual career “pathways” through a series of required and elective clinical experiences, including a mandatory subinternship in internal medicine. Step 2 of the National Board of Medical Examiners examination must be completed by January of the final year of medical school.
임상 교육의 절정인 [임상 캡스톤 코스]는 졸업 직전에 집중적이고 통합된 임상 경험을 제공합니다. 다른 곳에서 가르치는 "신병 훈련소boot camps"와 구별되는 이 과정의 목적은 학생들이 커리큘럼의 모든 프로그램적 목표를 달성했는지 확인하는 것이다. 캡스톤은 특정한 대학원 과정을 위한 준비 과정으로 의도된 것이 아니다. 의대 마지막 4개월 동안 수강한 이 필수 서브인턴 과정에는 졸업생에게 기대하는 복잡한 임상, 진단 및 커뮤니케이션 기술이 집중되어 있습니다.40 이 과정에는 front-end와 back-end 강의실 체험 사이에 포함된 3주의 임상 작업이 포함됩니다. 학생의 강점/약점 평가에 초점을 맞춘 이 과정은 모든 뛰어난 학습 요구 사항을 해결함으로써 졸업 준비를 보장하고 거주 중에 계속 일할 수 있는 영역을 파악한다. 이 과정에는 또한 학생들이 평생 동안 연습할 수 있도록 준비하기 위한 자기 관리 및 관리 기술에 대한 교육 세션도 포함되어 있습니다.
The culmination of clinical training, the Clinical Capstone course, offers an intensive, consolidating clinical experience just before graduation. The purpose of this course, distinct from that of “boot camps” taught elsewhere, is to ensure that students have achieved all of the programmatic goals of the curriculum; the capstone is not intended as a preparatory course for specific postgraduate training. Taken in the last 4 months of medical school, this mandatory subinternship-level course focuses on complex clinical, diagnostic, and communication skills expected for a graduating student.40The course includes 3 weeks of clinical work embedded between front- and back-end classroom experiences. Focusing on assessing students’ strengths/weaknesses, this course ensures readiness for graduation by addressing any outstanding learning needs and identifies areas for continued work during residency. The course also includes didactic sessions on self-care and management skills to prepare students for a lifetime of practice.
평가, 프로페셔널 개발 및 ID 형성 Assessment, Professional Development, and Identity Formation
평가원칙 Principles of assessment
학습을 강화하는 빈번한 형성적 피드백은 모든 과정, 임상실습 및 선택 과정 중에 발생하며, 공식 평가는 커리큘럼의 다음 단계로 진출할 준비를 확인하는 종합 평가를 포함하여 정의된 체크포인트에서 예약된다. 전임상실습 커리큘럼(PDW) 동안 3개의 1주간의 세션을 통해, 교수진은학생들이 자기성찰, 질문, 적극적인 참여에 기초한 피드백 토론을 탐색 및 시작하는seek and initiate 방법을 배우고, 의사로서 그들의 발전의 중요한 부분으로 건설적인 피드백을 받아들이는 것을 돕는다. Frequent formative feedback that reinforces learning occurs during all courses, clerkships, and electives, and formal assessments are scheduled at defined checkpoints, including summative assessments that confirm readiness to advance to the next phase of the curriculum and, ultimately, readiness to practice upon graduation. Through three 1-week intersessions during the preclerkship curriculum (PDWs), faculty help students learn to seek and initiate feedback discussions based on self-reflection, inquiry, and active engagement and to accept constructive feedback as an important part of their development as physicians.
임상 기술 및 평가 방법 Clinical skills and assessment methods
정의된 수준의 위탁성에서 임상 기술을 수행하는 학생의 능력은 모든 PCE 임상실습에 통합된 임상실습 평가 및 공식 평가 방법(목표 구조 임상 시험(OSCE), mini-CEX, 구두 시험)에 의해 측정된다. Students’ abilities to perform clinical skills at a defined level of entrustability are measured by clerkship evaluations and formal assessment methods incorporated into all PCE clerkships: objective structured clinical exams (OSCEs), mini-clinical evaluation exercises, and/or oral examinations.
등급 지정, 교정 및 고급화 Grading, remediation, and advancement
핵심 임상실습 등급은 몇 가지 이유로 만족/불만족으로 전환되었다:
성장 마인드를 강조하고 임상실습 등급의 경쟁적 성격을 줄이기 위해(전임상실습에서는 수십 년 동안 합격/불합격 점수가 달성되었음),
임상실습이 2학년 초로 이동하면서, 조기에 고부담 평가를 피한다
역량 기반 의료 교육을 향한 국가적 움직임movement을 준수하고,
PCE(Pathways 학생의 경우 10월, 하버드-MIT 보건 과학기술 프로그램 학생의 경우 4월)에 입학하기 위해 6개월 간격으로 떨어진, 두 개의 뚜렷한 비동기적 시점의 복잡성을 수용하기 위하여
Grading in the core clerkships was shifted to satisfactory/unsatisfactory for several reasons:
to emphasize a growth mindset and reduce the competitive nature of grading in the clerkships (as pass/fail grading had accomplished for decades in preclerkship courses),
avoid high-stakes evaluations early in medical school given the shift of clerkships earlier in year 2,
conform with the national movement toward competency-based medical education, and
accommodate the complexity of 2 distinct, asynchronous time points, staggered 6 months apart, for student entry into the PCE (October for Pathways students and April for students in the Harvard-MIT Health Science and Technology program who have a longer preclerkship curriculum).41,42
핵심 임상실습의 합격/불합격 제도로의 이동을 해결하기 위해, 지원자를 심사하기 위해 임상실습 성적에 의존하는 레지던트 프로그램에 의해 학생들이 불이익을 받지 않도록 하기 위해 새로운 학과 종합 평가(DSA) 등급제를 시행했다. DSA는 학생이 신청한 레지던트와 관련된 분야에서 학생의 임상 기술 개발 및 성과에 대한 포괄적이고 종적인 평가를 제공한다. 핵심 임상실습, 서브인턴십 및 관련 임상 선택 과목에서 학생들의 성과를 검토하는 것에 기초하여 부서 평가 위원회(각 교육 병원의 교수진으로 구성)는 DSA를 assign한다. 이러한 성적 변화가 학생 학습과 레지던트 신청 과정에 미치는 영향은 여전히 연구되고 있다. To address the move to a pass/fail system for core clerkships, we implemented a novel departmental summative assessment (DSA) grading scheme to ensure that students are not disadvantaged by residency programs that rely on clerkship grades to screen applicants. The DSA provides a comprehensive, longitudinal assessment of a student’s clinical skills development and achievement in a field relevant to the student’s residency application. Based on a review of students’ performance in their core clerkship, subinternship(s), and relevant clinical elective(s), departmental assessment committees (comprising faculty from each of the teaching hospitals) assign DSAs. The impact of these grading changes on student learning and the residency application process is still being studied.
[종합적인 OSCE 프로그램]은 개별화된 학습 계획으로 이어지는 종적 임상 기술 평가를 제공하기 위해 3개의 커리큘럼 단계에 있다. 그 중 하나는 4학년 초에 고부담 종합시험(이 시험의 합격이 졸업 요건)을 실시하는데, 학생들은 의과대학 마지막 4개월 동안 임상 캡스톤 코스에서 기술 유지를 입증해야 한다.
A comprehensive OSCE program spans the 3 curriculum phases (Supplemental Digital Appendix 1, athttp://links.lww.com/ACADMED/A820) to provide longitudinal clinical skills assessment leading to individualized learning plans. One of these, a high-stakes comprehensive examination (passing is a graduation requirement), is administered at the beginning of year 4; students must demonstrate maintenance of skills in the clinical capstone course during the final 4 months of medical school.
평가교수 Assessment faculty
임상 기술 평가 프로그램의 성공은 고도로 동기 부여되고, 가용성이 높으며available, 잘 훈련된 교수진에 의존한다. 따라서 OSCE 사례, 체크리스트, 위탁 가능한 전문 활동 규모, 효과적인 피드백 제공 등에 대한 정규 교육을 받은 69명의 평가 평가자를 대상으로 핵심 평가 교수core assessment faculty를 개발하였습니다. 이 평가 코호트는 상호 신뢰도를 높임으로써 OSCE 타당성을 강화했다. 학교는 이들 교수진의 일을 지원하기 위해 적은 임금을 제공한다.
Success of the clinical skills assessment program relies on a highly motivated, available, and well-trained faculty. Therefore, we developed a core assessment faculty of 69 raters who received formal training on OSCE cases, checklists, entrustable professional activity scales, and providing effective feedback. This assessment cohort has enhanced OSCE validity by increasing interrater reliability. The school provides a small stipend to support the work of these faculty.
학술활동 Scholarship
이전 10년간의 커리큘럼 개혁 이니셔티브 동안, 학술 프로젝트 요건scholarly project requirement이 도입되었을 때, 목표는 각 학생을 심층적인 교수 멘토링 학술 파트너십에 참여시키는 것이었다. 학생들은 자기 주도적 학습, 비판적 사고, 탐구 능력을 통합하고, 의학적 실천에 어떻게 탐구심이 내재될 수 있는지 감사하며, 어떻게 그들이 변화요원이 될 수 있는지를 인식합니다. When a scholarly project requirement was introduced33during the curriculum reform initiative of the previous decade, the objective was to involve each student in an in-depth faculty-mentored scholarly partnership (Supplemental Digital Appendix 1, athttp://links.lww.com/ACADMED/A820). Students consolidate skills of self-directed learning, critical thinking, and inquisitiveness; appreciate how inquiry can be embedded in medical practice; and recognize how they can become change agents.
원래의 학술 프로젝트 프로그램은 일반적으로 학생들이 의학과 교수진에 폭넓게 노출되기 전인 1학년 여름(2개월) 동안 완료되었다.; 학생들이 나중에 연구 경험을 통해 더 나은 서비스를 받을 수 있을 것이라는 공감대가 형성되었다. 새로운 커리큘럼의 구조는 우리가 핵심 임상실습 연도에 이어 이러한 프로젝트를 배치하는 목표를 달성할 수 있게 해주었다. PCE 연도 이후에 시작된 학술 프로젝트는 최소 4개월의 기간으로, 학생이 선택한 훈련과 직업의 궤적에 더 적합한 조사 영역에서 수행될 수 있다. 또한, 새로운 구조는 1학년과 2학년 학생들의 경험과 교수진 노출의 광범위한 레퍼토리에 의해 프로젝트와 멘토 선택을 알 수 있게 했다.
The original scholarly project program was completed typically during the summer of year 1 (2 months), before students had a broad exposure to medicine and faculty; a growing consensus evolved that students would be better served with a later research experience. The structure of the new curriculum allowed us to achieve the goal of placing these projects following the core clinical year. Scholarly projects initiated after the PCE year, with a duration of at minimum 4 months, can be done in an area of inquiry more relevant to a student’s chosen discipline and career trajectory. Additionally, the new structure enabled project and mentor choices to be informed by a broader repertoire of first- and second-year student experiences and faculty exposures.
구현의 어려움 Implementation Challenges
교수개발 Faculty development
Pathways 구현에는 교수진과 학생 참여 모두에 변화가 필요했다. CBCL 교육 형식과 종단적 교수-학생 관계를 지원하기 위해 핵심 교수진core faculty이 신설되었다. 초기 교육 노력은 새로운 커리큘럼이 시작되기 전에 교수진을 준비하기 위한 과정별 프로그램에 집중되었다. 각 코스가 시작되기 몇 주 전에 "Just-in-Time" 집중 훈련이 실시되었습니다. Implementation of Pathways required changes in both faculty and student engagement. To support the CBCL teaching format and longitudinal faculty–student relationships, a core faculty was created. Initial training efforts focused on course-specific programs to prepare faculty before the new curriculum started. “Just-in-time” intensive training occurred weeks before the start of each course.
커리큘럼 개혁은 교수진의 구상, 추진, 계획이었기 때문에, [새로운 페다고지에 대한 흥분과 참여에 대한 학생들의 긍정적인 피드백이 뒤따르면서], 이 과정에 참여하는 교수진이 변화의 효용성에 대해 가진 회의적인 태도는 미미하고 더욱 진정되었다. 물론, 이 프로세스에서 주변부에 머물었던 몇몇 교수들은 의심을 품었다.
Because the curriculum reform was faculty conceived, driven, and planned, skepticism about the utility of change among faculty engaged in this process was minimal and subsided further as excitement over and engagement with the new pedagogy was followed by positive student feedback; some faculty more peripheral to the process had doubts.
핵심 교직원은 직무기술서에 교직이 명시돼 있는 기초과학부 출신을 제외하고 교직과 평가에 소요되는 시간과 노력에 대한 급여를 받는다. 그럼에도 불구하고, 새로운 커리큘럼의 비용은 근본적으로 변하지 않았다. 즉, 예산 중립적이었지만, 그 방식은 이전의 New Pathway와 달랐다.더 적은 수의 교수진이, 종단적인 교육에 더 전념하고 더 잘 훈련되었으며, 이전 커리큘럼에서 더 짧은 참여에 대해 더 적은 임금을 받는 교사들의 더 많은 수보다 더 많은 급여를 받는다.
Core faculty members, with the exception of those from the basic science departments whose job description explicitly includes teaching, receive stipends for their time and effort in teaching and assessment. Nevertheless, the cost of the new curriculum was essentially unchanged, that is, budget neutral, from that of the previous New Pathway; fewer faculty, more committed to and better trained for their longitudinal teaching, receive larger stipends than the higher number of tutors receiving smaller stipends for shorter engagements in the prior curriculum.
학생교육대표자 Student education representatives
변경 과정에 대한 학생들의 참여도를 높이기 위해, 우리는 태스크포스(TF)에서 "교육과정 컨설턴트"로서 New Pathway의 상급senior 학생들과 협력했습니다. 새로운 커리큘럼의 롤아웃에 대한 실시간 피드백을 제공하기 위해 Pathways의 계획 단계에 걸쳐 그리고 취임 Pathways 클래스에서 모집된 "교육 대표자"와 함께 커리큘럼 자료의 파일럿.
To enhance student engagement in the change process, we partnered with senior New Pathway students as “curriculum consultants” during task forces and pilots of curricular materials throughout the planning stages of Pathways and with “educational representatives” recruited from the inaugural Pathways class to provide real-time feedback on the rollout of the new curriculum.43,44
조언 Advising
새로운 교육학은 개인의 준비와 적극적인 학습에 더 중점을 둘 것을 의무화했다. 그것은 의과대학 이전에 학생들이 경험했던 것과는 상당히 달랐다. 45 결과적으로, 우리는 학생들의 학업과 직업적인 필요를 최대한 지원하기 위해서는 [조언 구조advising structure를 개혁할 필요성]이 있었고, 전임상실습 기간동안 매 8주마다 할당된 교수진과 일대일 미팅을 의무화했다. Academic societies와 전임상실습 수업 섹션의 연계로, [소사이어티 지도교수와 teaching faculty 사이의 긴밀한 소통을 확립]하고, [학생들의 학업진행, 속도, 전반적인 행복, 진로고문 요구를 정기적으로 감시]할 수 있었습니다.
The new pedagogy mandated a greater focus on individual preparation and active learning, which was quite different from what students experienced before medical school.45Consequently, we saw the need to revamp the advising structure to maximally support students’ academic and professional needs, mandating one-on-one meetings with assigned faculty advisors every 8 weeks during the preclerkship curriculum. Because of the association between academic societies and preclerkship class sections, we were able to establish closer communication between society advisors and the teaching faculty and to monitor regularly students’ academic progress, pace, overall well-being, and career advising needs.
구성 테마 Organizing Themes
본 기사를 통해 우리는 2015년 HMS에서 소개된 내용(가르친 내용), 구조(가르친 때), 교육학(가르친 방법), 교수 역할(가르친 사람), 평가(학생들이 배웠을 때)를 다시 구상하고 재구성한 종합적인 커리큘럼 변화를 설명했다. With this article, we have described a comprehensive curriculum change introduced at HMS in 2015 in which
content (what is taught),
structure (when it is taught),
pedagogy (how it is taught),
faculty roles (who teaches), and
assessment (did students learn)
...were reimagined and reconfigured.
이번 교육과정 개편은 성인학습의 기본원칙(목록 1)에 초점을 맞췄다. 커리큘럼은 4년간의 연구 기간 동안 상호 연결된 4가지 주요 원칙에 따라 수행된다.
This curriculum overhaul focused on foundational principles of adult learning (List 1). The curriculum is committed to 4 key principles described, interwoven throughout the 4 years of study.
비판적 사고 및 개발적으로 적절한 전달 Critical thinking and developmentally appropriate delivery
컨텐츠의 양보다 사고가 강조됩니다. 즉, 암기보다 내용의 적용이 강조됩니다. 비록 전임상실습 교육과정의 기간이 짧았지만, 우리는 기대치를 낮추거나, 교육과정을 '지나치게 단순화dumb down' 하지 않았다; Pathways는 그것의 전임자보다 더 엄격하다. 그 의도는 학생들을 [임상실습을 하기 전, 중, 후]에 중요한 기초 과학에 점진적으로 노출하여, 기초 생명과학 및 인구 과학을 가르치는 것을 학생들이 임상 의학과 협력하여 가장 발달적으로 학습할 준비가 되어 있는 시간에 맞추려는 것이었다. 우리는 의학 및 교육학의 전문가인 [핵심 교수진core faculty의 창설]을 이 접근법의 성공에서 중요한 요소인 학습에 필수적인 것으로 간주한다. Thinking is emphasized over quantity of content—application of material over memorization. Although the duration of the preclerkship curriculum was truncated, we did not reduce expectations or “dumb down” the curriculum; Pathways ismorerigorous than its predecessor. The intent was to expose students to the important foundational sciences progressively over time, before, during, and after their clinical clerkships, aligningteachingbasic biological/population sciences with the time when students are most developmentally ready tolearnthem in coordination with clinical medicine. We consider the creation of a core faculty, expert in both the science of medicine and the pedagogy essential to learning, a critical element in the success of this approach.
통합 Integration
새로운 커리큘럼의 설계에서 과정 감독들의 긴밀한 작업은 수평적, 수직적 콘텐츠 통합의 여러 기회를 제공했다. 통합 커리큘럼을 만드는 실제 과정은 그 자체만으로도 컨텐츠 인터리빙 및 강화에 있어 중요한 요소였습니다. 다른 모든 사람이 무엇을 가르치고 있는지 정확히 이해하는 course director가 계획 프로세스에서 자연스럽게 드러났다emerged. 내용과 개념은 이제 기본, 임상 및 모집단 과학뿐만 아니라 과정 내 및 과정 간에 지속적으로 통합됩니다. PCE 이후의 필수 고급 과학 과정은 전체 경력에 걸쳐 의학의 실천에 과학의 중요성을 분명히 한다.
The close work of course directors in the design of the new curriculum provided multiple opportunities for horizontal and vertical content integration. The actual process of creating an integrated curriculum was itself an important factor in interleaving and reinforcing content—course directors emerged from the planning process knowing exactly what everyone else was teaching. Content and concepts are now integrated across disciplines continuously, within and between courses as well as among basic, clinical, and population sciences. Required advanced science courses in the post-PCE phase make explicit the importance of science to the practice of medicine over an entire career.
학생 참여: 학습자에게 집중 Student engagement: Focus on the learner
학생의 참여는 학습에 있어 매우 중요하다. 강의실이든 임상 영역이든 우리가 제공하는 과제와 질문 방식을 통해 호기심을 지원하고 학생들이 학습 과정에 완전히 참여할 수 있도록 하는 것이 목표다. 본질적으로, 우리는 모든 단계에 교사-학습자 패러다임을 우리가 무엇을 어떻게 가르치는 것이 아니라 학생들이 무엇을 어떻게 배우는가에 초점을 맞추는데 집중했습니다. Engagement of the student is critical for learning to occur. Whether in the classroom or the clinical arena, through the assignments we provide and the way we ask questions, the goal is to support curiosity and ensure that students are engaged fully in the learning process. Essentially, we concentrated at every step on shifting the teacher–learner paradigm to focus not on what and how we teach but on what and how students learn.
전문직 정체성 형성 Professional identify formation
의사가 되는 과정은 고달프고, 대학생에서 의사로 학습하는 접근 방식의 전환은 학습자의 발달 수준에 맞게 세심하게 인식되고 구조화되어야 한다. 우리의 CBCL 형식의 과제는 학생들이 자기 주도적인 학습에 필요한 마음가짐을 개발하는 데 도움을 준다. 의대 첫 달 일차의료체험primary care experience이 시작되면서 교육과정의 각 단계를 통한 졸업책임과 자율성이 확보되면서 교육과정에 임상적 관련성이 배어 학생들에게 동기를 부여한다. The process of becoming a doctor is arduous, and the transition in the approach to learning from college student to doctor must be recognized and structured carefully to meet the developmental level of the learner. Assignments in our CBCL format assist students in developing the skills and habits of mind necessary for self-directed learning. The initiation of primary care experience in the first month of medical school, with graduated responsibility and autonomy through each phase of the curriculum, motivates students by imbuing the curriculum with clinical relevance.
의도적인 설계에 기반하여, Pathways는21세기의 의사들을 교육하고 준비하기 위한 학습 과학을 이용한다. 궁극적으로 전체는 부분의 총합보다 크다. 각 부분(핵심 원칙에서 활성화 정책에 이르기까지)은 변화와 도전으로 특징지어질 진로를 시작할 때 준비된 학생을 배출하기 위해 전략적으로 배치된다.
By deliberate design, Pathways employs the science of learning to educate and prepare physicians for the 21st century. Ultimately, the whole is greater than the sum of its parts—each piece (from core principles to enabling policies) is positioned strategically to yield a student prepared at commencement for a career that will be characterized by change and challenge.
Acad Med.2020 Nov;95(11):1687-1695.
doi: 10.1097/ACM.0000000000003270.
The Harvard Medical School Pathways Curriculum: Reimagining Developmentally Appropriate Medical Education for Contemporary Learners
1R.M. Schwartzstein is professor of medicine, Department of Medicine, Beth Israel Deaconess Medical Center and Harvard Medical School, Boston, Massachusetts. J.L. Dienstag is professor of medicine, Department of Medicine, Massachusetts General Hospital and Harvard Medical School, Boston, Massachusetts. R.W. King is professor of cell biology, Harvard Medical School, Boston, Massachusetts. B.S. Chang is associate professor of neurology, Beth Israel Deaconess Medical Center and Harvard Medical School, Boston, Massachusetts. J.G. Flanagan is professor of cell biology, Harvard Medical School, Boston, Massachusetts. H.C. Besche is instructor in cell biology, Harvard Medical School, Boston, Massachusetts. M.P. Hoenig is associate professor of medicine, Beth Israel Deaconess Medical Center and Harvard Medical School, Boston, Massachusetts. E.M. Miloslavsky is assistant professor of medicine, Massachusetts General Hospital and Harvard Medical School, Boston, Massachusetts. K.M. Atkins is assistant professor of obstetrics, gynecology and reproductive biology, Beth Israel Deaconess Medical Center and Harvard Medical School, Boston, Massachusetts. A. Puig is associate professor of medicine, Massachusetts General Hospital and Harvard Medical School, Boston, Massachusetts. B.A. Cockrill is associate professor of medicine, Brigham and Women's Hospital and Harvard Medical School, Boston, Massachusetts. K.A. Wittels is assistant professor of emergency medicine, Brigham and Women's Hospital and Harvard Medical School, Boston, Massachusetts. J.L. Dalrymple is associate professor of obstetrics, gynecology and reproductive biology, Beth Israel Deaconess Medical Center and Harvard Medical School, Boston, Massachusetts. H. Gooding is assistant professor of pediatrics, Emory University School of Medicine, Atlanta, Georgia. D.A. Hirsh is associate professor of medicine, Cambridge Health Alliance and Harvard Medical School, Boston, Massachusetts. E.K. Alexander is professor of medicine, Brigham and Women's Hospital and Harvard Medical School, Boston, Massachusetts. S.B. Fazio is professor of medicine, Beth Israel Deaconess Medical Center and Harvard Medical School, Boston, Massachusetts. E.M. Hundert is dean for medical education and professor in residence of global health and social medicine at Harvard Medical School, Boston, Massachusetts.
As the U.S. health care system changes and technology alters how doctors work and learn, medical schools and their faculty are compelled to modify their curricula and teaching methods. In this article, educational leaders and key faculty describe how the Pathways curriculum was conceived, designed, and implemented at Harvard Medical School. Faculty were committed to the principle that educators should focus on how students learn and their ability to apply what they learn in the evaluation and care of patients. Using the best evidence from the cognitive sciences about adult learning, they made major changes in the pedagogical approach employed in the classroom and clinic. The curriculum was built upon 4 foundational principles: to enhance critical thinking and provide developmentally appropriate content; to ensure both horizontal integration between courses and vertical integration between phases of the curriculum; to engage learners, foster curiosity, and reinforce the importance of student ownership and responsibility for their learning; and to support students' transformation to a professional dedicated to the care of their patients and to their obligations for lifelong, self-directed learning.The practice of medicine is rapidly evolving and will undoubtedly change in multiple ways over the career of a physician. By emphasizing personal responsibility, professionalism, and thinking skills over content transfer, the authors believe this curriculum will prepare students not only for the first day of practice but also for an uncertain future in the biological sciences, health and disease, and the nation's health care system, which they will encounter in the decades to come.
A systemic framework for the progress test: Strengths, constraints and issues: AMEE Guide No. 71
WILLIAM WRIGLEY, CEES PM VAN DER VLEUTEN, ADRIAN FREEMAN & ARNO MUIJTJENS Department of Educational Development and Research, The Netherlands
소개 Introduction
보건과학 교육의 새로운 교육 철학으로서의 문제 기반 학습(PBL)의 도입은 1970년대 초 캐나다에서 맥마스터스 대학교에서 시작되었고 곧이어 네덜란드의 마스트리히트 의과대학에서 시작되었다. 이러한 변화는 학생 지향성, 심층 및 평생 학습의 PBL 신조와 일치하는 지식을 평가하기 위한 새로운 방법의 필요성을 가져왔고, 전통적인 객관식 테스트(vander Vleuten et al 1996)와 함께 인식된 단순 암기 및 시험 지향 학습의 장려를 피했다.
The introduction of problem-based learning (PBL) as a new educational philosophy in health sciences education began in the early 1970's in Canada at McMasters University and soon after at Maastricht Medical School in the Netherlands. This change brought the need for new methods to assess knowledge that were consistent with the PBL tenets of student-directedness, and deep and life-long learning, and which avoided the encouragement of rote and test-directed learning that were recognised to accompany traditional multiple-choice testing (van der Vleuten et al.1996).
이러한 자극은1970년대 말 마스트리히트 대학교와 미주리 대학교 둘 다에서 독립적으로 응용 의학 지식의 발달시험을 도입하는 결과를 가져왔다. 그 이후로, 그것은 전 세계의 의학 프로그램에서 점점 더 많이 사용되고 있다. 최근 조사에 따르면 이 종적 객관식 질문(MCQ) 평가 도구는 남 아프리카, 아시아, 유럽의 여러 나라, 중동, 남북 아메리카, 뉴질랜드와 호주(Freeman et al. 2010b)와 같은 다양한 지역을 포함하는 남극을 제외한 모든 대륙에 도입되었다.
This impetus resulted in the introduction of the progress test of applied medical knowledge in the late 1970s at both Maastricht University and the University of Missouri independently. Since then, it has been increasingly used in medical programs across the globe. A recent survey showed that this longitudinal, multiple choice question (MCQ) assessment tool has been introduced on all continents except Antarctica, involving such diverse regions as Southern Africa, Asia, several countries in Europe, the Middle East, North and South America, and in New Zealand and Australia (Freeman et al.2010b).
의학교육의 평가 도구의 경우, 발달시험은 다른 유형의 평가와 구별되는 몇 가지 독특한 특성을 제공한다.
보통 전체 학업 프로그램 전체에 걸쳐 동시에 그리고 정기적으로 (보통 일년에 두 번에서 네 번) 의학 프로그램에 있는 모든 학생들에게 시행된다.
이 시험은 학생의 연도 레벨에 관계없이 의대생 과정 수료 시 예상되는 전체 지식 영역을 표본으로 추출한다.
결과 점수는 전체 프로그램의 목표(지식)에 대한 종단적, 반복적 척도이며, 커리큘럼-독립적 평가를 제공한다. (반데르 볼루텐 외 1996). For an assessment tool in medical education, the progress test offers some distinctive characteristics that set it apart from other types of assessment.
It is usually administered to all students in the medical programme at the same time and at regular intervals (usually twice to four times yearly) throughout the entire academic programme.
The test samples the complete knowledge domain expected of medical students on completion of their course, regardless of the year level of the student.
The resultant scores provide longitudinal, repeated measures, curriculum-independent assessment of the objectives (in knowledge) of the entire medical programme. (van der Vleuten et al.1996).
네덜란드, 캐나다, 영국 및 아일랜드의 의과대학과 치과 및 심리학 대학원 의과대학에서 얻은 상당한 경험적 증거는 진도 시험의 종적 특성이 학습과정 전반에 걸친 학생들의 지식의 성장과 효과에 대한 독특하고 입증 가능한 측정을 제공한다는 것을 보여주었다. Considerable empirical evidence from medical schools in the Netherlands, Canada, United Kingdom and Ireland, as well postgraduate medical studies and schools in dentistry and psychology have shown that the longitudinal feature of the progress test provides a unique and demonstrable measurement of the growth and effectiveness of students’ knowledge acquisition throughout their course of study.
결과적으로, 이 정보는 진단, 예측 및 교정 교육 및 학습 개입에 일관되게 사용될 수 있다. 네덜란드에서 이러한 개입은 ProF(Muijtjens et al. 2010)로 알려진 웹 기반 결과 피드백 시스템의 제공으로 도움을 받는다.
As a result, this information can be consistently used for diagnostic, prognostic and remedial teaching and learning interventions. In the Netherlands, these interventions have been aided by the provision of a web-based results feedback system known as ProF
또한 종단적 데이터는 학교가 커리큘럼 목표를 충족하는 정도에 대한 평가를 제공함으로써 프로그램 검토를 위한 투명한 품질 보증 척도로 작용할 수 있다. 또한 이 테스트는 원샷 방법(Schuwirth 2007)이 아닌 연속 학습의 여러 측정 방법을 사용하여 높은 이해도의 평가 결정을 위한 보다 신뢰할 수 있는 데이터를 제공한다. Additionally, the longitudinal data can serve as a transparent quality assurance measure for programme reviews by providing an evaluation of the extent to which a school is meeting its curriculum objectives (van der Vleuten et al.1996; Verhoeven et al.2005; De Champlain et al.2010). The test also provides more reliable data for high-stakes assessment decisions by using multiple measures of continuous learning rather than a one-shot method (Schuwirth2007).
대학 간 발달시험 협업은 문항, 문항 작성자, 검토자 및 관리자의 더 큰 풀을 공유함으로써 평가의 비용 효율성을 향상시키는 수단을 제공한다. 네덜란드와 다른 컨소시엄이 채택한 협업 접근 방식은 발달시험이 지식의 교육 결과 품질을 측정하는 벤치마킹 도구가 될 수 있게 했다. 이러한 방식으로 발달시험이 성공함에 따라 국제 발달시험 개발을 고려하게 되었다.
Inter-university progress testing collaborations provide a means of improving the cost-effectiveness of assessments by sharing a larger pool of items, item writers, reviewers, and administrators. The collaborative approach adopted by the Dutch and other consortia has enabled the progress test to become a benchmarking instrument by which to measure the quality of educational outcomes in knowledge. The success of the progress test in these ways has led to the consideration of developing an international progress test (Verhoeven et al.2005; Schauber & Nouns2010).
의료 프로그램의 모든 이해당사자에 대한 편익은 발달시험을 평가 시스템에 포함할 자원과 시간을 투자하기 위한 매력적인 도구로 만든다. 이러한 매력은 전 세계의 개별 의료 교육 기관 및 교수간 컨소시엄에서 점점 더 널리 사용되고 있으며 국가 및 국제 벤치마킹 관행에 사용된다는 점에서 입증된다.
발달시험은 현재 영국(스완슨 외 2010), 네덜란드(슈비탈 외 2010), 독일(오스트리아 포함) 및 아프리카(아르트 외 2010), 사우디아라비아(알 알완 외 2011), 동남아시아(남아시아)의 학교에서 사용되고 있다. 뉴질랜드, 스웨덴, 핀란드, 영국 및 미국(Freeman et al. 2010b).
미국의 국가 의료 검사 위원회도 다양한 국가에서 진행 상태 테스트를 제공하고 있습니다(De Champlain et al. 2010; International Foundation of Medicine 2011).
발달시험에 대한 국제적인 접근법의 실현 가능성은 최근에 인정되었고(Finucane et al. 2010) 독일, 네덜란드 및 이탈리아의 의과대학에서 시험 점수를 비교한 알바노 외 연구진(1996)에 의해 처음으로 입증되었다.
아일랜드, 호주, 캐나다, 포르투갈 및 서인도 제도의 교수진이 참여하는 국제 컨소시엄이 캐나다에 설립되었다.
The benefits for all stakeholders in a medical programme make the progress test an appealing tool to invest resources and time for inclusion in an assessment regime. This attractiveness is demonstrated by its increasingly widespread use in individual medical education institutions and inter-faculty consortia around the world, and by its use for national and international benchmarking practices.
The progress test is currently used by national consortia in the United Kingdom (Swanson et al.2010), The Netherlands (Schuwirth et al.2010), in Germany (including Austria) (Nouns & Georg2010), and in schools in Africa (Aarts et al.2010), Saudi Arabia (Al Alwan et al.2011), South East Asia (Mardiastuti & Werdhani2011), the Caribbean, Australia, New Zealand, Sweden, Finland, UK, and the USA (Freeman et al.2010b).
The National Board of Medical Examiners in the USA also provides progress testing in various countries (De Champlain et al.2010; International Foundations of Medicine2011).
The feasibility of an international approach to progress testing has been recently acknowledged (Finucane et al.2010) and was first demonstrated by Albano et al (1996) who compared test scores across German, Dutch and Italian medical schools.
An international consortium has been established in Canada (Finucane et al.2010; International Partnership for Progress Testing2011) involving faculties in Ireland, Australia, Canada, Portugal and the West Indies.
그 중요성, 모든 이해 관계자에 대한 장점, 그리고 점점 더 널리 사용되고 있음에도 불구하고, 증거는 발달시험의 내용과 적용에 상당한 차이가 있음을 시사한다(Ricketts et al. 2010).
Blueprint와 컨텐츠 샘플링 프로파일은 크게 다를 수 있습니다.
시험 관리 및 구성에서도 상당한 차이를 발견할 수 있으며, 시험 반복 횟수는 연간 2-4회, 시험 항목 수는 100~250회이다.
또한 인정된 채점 및 점수 계산 절차도 없으며, '모름' 옵션에 대해서도 차이가 있고, 무작위 찍기를 예방 및 교정하기 위한 채점공식, 결과 분석을 위한 누적 편차 방법의 사용절차 등에 차이가 있다.
총괄평가 또는 형성 평가로서 시험 목적의 차이가 있어 시험 결과 상태에 따라 학생의 시험 응시 태도에 영향을 미쳐 다른 결과를 제공할 수 있다.
Despite its significance, its advantages for all stakeholders and its increasingly widespread use, evidence suggests that there is considerable variation in the content and application of the progress test (Ricketts et al.2010).
The blueprint and content sampling profiles can differ widely.
Considerable divergence in test administration and composition can also be found, with testing repetitions varying between two to four tests per year, and the total number of items in a test differing between 100 and 250.
There are also no accepted scoring and score calculation procedures, with differences evident in the inclusion of the ‘don’t know’ option and formula scoring to prevent and correct for uninformed guessing, (McHarg et al.2005) and using procedures, such as the cumulative deviation method for the analysis of results (Muijtjens et al.2008; Schauber & Nouns2010).
Furthermore, there are differences in the purpose of the test as a summative or formative assessment, which can influence the student's test-taking attitude according to the outcome status of the test, thereby providing different results.
이러한 변동은 자원, 기관의 약속 및 평가 프로그램 설계의 상이한 가용성에서 부분적으로 기인했을 가능성이 높으며 따라서 예기치 않은 것은 아니다. 또한, 이는 지역 조건과 문제를 수용하고 존중하기 위해 평가 관행이 다양해야 한다는 널리 인정된 필요성을 반영한다(2003년 Pridaux & Gordon 2002; World Federation for Medical Examination). These variations are likely to have resulted in part from the differing availability of resources, institutional commitments and assessment programme designs, and are therefore not unexpected. They also reflect the widely acknowledged need for assessment practices to vary in order to accommodate and respect local conditions and issues (Prideaux & Gordon2002; World Federation for Medical Examinaton2003).
그러나 [다양한 평가 접근법을 수용하는 것]과, [타당하고 신뢰할 수 있는 데이터를 달성하기 위한 전제 조건인 엄격한 테스트 균일성과 일관성의 필요성]을 혼동하지 않는 것이 중요하다. 실제로, 영국의 최근 평가 연구 결과는 원하지 않는 결과가 평가 관행에 차이가 있을 수 있다는 것을 보여주었다. However, it is important to not confuse the accommodation of plurality in assessment approaches with the need for rigorous test uniformity and consistency that are prerequisites for achieving valid and reliable data. Indeed, the results of a recent study of assessments in the UK showed that unwanted outcomes can result from variations in assessment practices.
발달시험에서 일관성 및 균일성 개선의 필요성의 근거 중 하나는 의학 및 보건 과학에서 MCQ 테스트가 "구조와 무관한 분산CIV"에 대해 상당한 민감도를 보인다는 것이다.
비핵심 의료 지식을 반영하는 것으로 판단된 항목에서 의심스러운 표본 추출 절차가 경험적으로 발견되었다.
결함 있는 시험 항목의 빈번한 발생, 부정확한 용어의 사용, 발달시험 공동출제 시 문항 출처 편향, 시험 난이도의 변화, 최대 15%까지 점수를 낮춘 고위험 시험의 결과 결함 있는 시험 항목의 영향이 모두 입증되었다.
The need for improved consistency and uniformity in progress testing is also suggested by evidence that MCQ tests in medicine and the health sciences show considerable sensitivity for“construct-irrelevant variance”(Downing2002).
Questionable sampling procedures have been empirically found in which items were judged to reflect non-core medical knowledge (Koens et al.2005).
Frequent occurrences of flawed test items (Downing2002; Jozefowicz et al.2002; Downing2005; Stagnaro-Green & Downing2006; Tarrant et al.2006; Tarrant & Ware2008; Danish & Khan2010), the use of imprecise terms (Holsgrove & Elzubeir1998), item origin bias in progress test collaborations (Muijtjens et al.2007), variation in test difficulty (van der Vleuten et al.1996), and the influence of flawed test items in the outcome of high stakes examinations that lowered scores by up to 15% (Downing2005; Tarrant & Ware2008) have all been demonstrated.
시스템 발달시험 프레임워크 Systemic progress test framework
그림 1은 네덜란드 컨소시엄 시스템, 페닌슐라 스쿨 및 문헌에 기술된 원칙과 프로세스의 검토에서 일반적으로 채택된 체계적 발달시험 프레임워크의 주요 구성 요소를 보여준다.
Figure 1displays the main components of a systemic progress test framework that has been generically adapted from the Dutch consortium system, Peninsula School and from a review of the principles and processes described in the literature.
Figure 1.A generic systemic progress test framework.
프레임워크의 주요 단계는
테스트 구성,
테스트 시행,
결과 분석 및 검토,
이해관계자에 대한 피드백
...등 4가지 단계로 구성되며, 각 구성요소와 관련된 중첩된 상호작용적 파트와, 네 가지 요소 중 세 가지 요소에서 핵심 기능으로 작동하는 품질 관리 메커니즘이 있다. There are four main phases of the framework, comprising
test construction,
test administration,
results analysis and review, and
feedback to stakeholders,
with nested interactive parts pertaining to each, and quality control mechanisms operating as a central feature in three of the four components.
개별 학교 또는 국가 또는 국제 발달시험 시스템에 대해, 검토 위원회와 관련 지역 조정자(컨소시엄의 추가 중앙 조정자)는 시험 구성, 결과 분석 및 검토, 피드백 단계에서 품질 관리 절차에서 중추적이고 재귀적인recursive 역할을 수행한다.
Whether for an individual school, or a national or international progress test system, the review committee(s) and their associated local coordinator(s) (an additional central coordinator for consortia) play pivotal and recursive roles in the quality control procedures at the test construction, results analysis and review, and feedback phases.
각 시험문항은 작성자 또는 항목 뱅크에서 내용의 청사진에 따라 로컬 또는 중앙 코디네이터에 의해 추출됩니다.
그런 다음 중앙 위원회의 검토를 거쳐 조정자가 검토한다.
항목은 이 세분화 과정에서 위원회와 저자들 간에 왔다갔다 한다.
최고 실무그룹(국내 또는 국가/국제 진도 시험 개요 위원회(관계자에게 피드백 하위시스템, 그림 1 참조)은 시스템의 전반적인 품질을 보장할 책임이 있으며, 주기적인 시험 검토와 시험 시공 및 분석 프로세스의 추가 개선을 통해 투입된다.
Items for each test are drawn from the authors or item bank by the local or central coordinator according to a blueprint of content.
They are then reviewed by a central committee and subsequently by the coordinator(s).
Items are passed back and forth between committee and authors during this refinement process.
A supra working group (the local or national/international progress test overview committee (in the Feedback to Stakeholders subsystem, seeFigure 1) has the responsibility for ensuring the overall quality of the system, and has input through periodic test reviews and additional refinements of test construction and analyses processes.
네덜란드 컨소시엄에서는 대부분의 다른 기관과는 달리, 학생들도 [시험 항목의 품질과 정확성 검증] 및 [사후 평가 의견을 제공]하여 품질 검사에 참여하고 있으며, 이는 결과 분석 및 검토 단계에 통합된다. 이 피드백은 학생 점수 및 합격/불합격 표준을 계산할 때 항목 풀을 세분화하는 데 도움이 되는 장점이 있습니다. 또한 시험 항목의 수정과 변화에 대한 필수 입증 권장 사항으로 인해 학생들이 학습할 수 있는 장점도 있다. 다만, 이러한 evaluation을 하게되면 학생들이 사후시험에서 시험 책자와 정답을 받아야 하기 때문에 시험마다 새로운 문항을 출제해야 한다. 이로 인해 발생하는 리소스와 시간에 대한 추가 부담은 발달시험 시스템의 이 구성요소가 많은 교수진에게 매력적이지 않다는 것을 의미할 수 있다. In the Dutch consortium, unlike in most other institutions, students are also involved in quality checks by providing substantiated, post-test evaluative comments about the quality and accuracy of the test items which are then incorporated in the results analysis and review phase. This feedback has the advantage of helping to refine the item pool in the calculation of student scores and pass/fail standards. There are also learning advantages for students that come from their revision of test items and their required substantiated recommendations for changes. However, because this evaluation requires students to receive the test booklet and answers at post-test, new test items are required to be written for each test. The extra burden on resources and time this creates may mean that this component of the progress test system is not attractive for many Faculties.
시스템 진행 상태 테스트 프레임워크의 구성 요소 The components of the systemic progress test framework
조직 Organisation
전 세계적으로 발달시험을 수용하는 많은 개별 학교가 있지만, 벤치마킹, 리소스 공유 및 비용 편익을 극대화하기 위해 국내 및 국제 대학 간 컨소시엄이 점점 더 인기를 얻고 있다. 자원이 제한된 지역에서 컨소시엄은 특히 유용한 구조적 옵션이 될 수 있다.
Although there are many individual schools worldwide that embrace the progress test, national and international inter-university consortia are becoming increasingly popular, in order to maximise their benchmarking, resource-sharing, and cost benefits. In regions where resources are limited, a consortium may be a particularly useful structural option.
네덜란드와 독일 컨소시엄의 경험에 따르면 [생산적인 협업]을 위해서는 비용 분담과 자금 조달, 연구 간행물에 대한 데이터 사용, 특정 행정, 조직 및 물류 준비와 관련된 파트너십 계약이 필요할 가능성이 높다(Suwbirth et al. 2010). 모든 파트너가 기금 직원 및 인프라에 수수료를 지불한다는 합의도 필요할 수 있습니다(Nons & Georg 2010).
Experience from the Dutch and German consortia has suggested that a productive collaboration is likely to require a partnership agreement in regard to cost-sharing and funding arrangements, the use of data for research publications, as well as specific administrative, organisational and logistical arrangements (Schuwirth et al.2010). An agreement that all partners pay fees to fund staff and infrastructure is also likely to be necessary (Nouns & Georg2010).
시험 구성 Test construction
발달시험 시스템의 시험구성 단계는 설계도, 항목작성, 항목은행, 심사위원회, 사례관리자로 구성된 5가지 주요 구성부품을 포함한다. The test construction phase of the progress test system involves five main components, comprising the
blueprint,
item authoring,
item bank,
review committee and
case administrator.
이러한 부분들은 전체 활동 순서를 반영하기 위해 그림 1에서 순차적으로 번호가 매겨지지만, 실제로는 품질 관리의 유지에 종종 이들 요소들 사이의 빈번한 상호작용과 상호호혜성이 요구된다.
Although these parts are numbered sequentially inFigure 1to reflect the overall order of activities, in practice the maintenance of quality control often requires a frequent interaction and reciprocity between these elements.
1 청사진 1 Blueprint
지식을 분류하는 청사진은 발달시험이 내용의 유효하고 신뢰할 수 있는 구성에 의존하는 기본적이고 근본적인 요구사항이다. 이 청사진은 동일한 내용의 대표적이고 균형 잡힌 샘플링을 통해 각 테스트의 적절한 타당성과 비교 가능성을 보장한다(Bridge et al. 2003). The blueprint of knowledge classification is a basic and fundamental requirement on which the progress test relies for the valid and reliable construction of its content. The blueprint ensures adequate validity of and comparability for each test through representative and balanced sampling of the same content (Bridge et al.2003).
청사진은 각 시험에 대해 규정된 내용을 포함하고 있으며, 일반적으로
장기 시스템(호흡기, 근골격계 등)과 기술(진단, 관리 등)을 포함하는 [열]과
분야(해부학, 수술 등) 또는 프로세스 및 작업(질병의 메커니즘, 원칙)을 포함하는 [행]의 분류 매트릭스에 따른다. The blueprint contains the prescribed content for each test, usually according to a classification matrix of
columns containing, for example, organ systems (respiratory, musculoskeletal etc) and skills (diagnosis, management etc), and
rows containing disciplines (anatomy, surgery etc) or processes and tasks (mechanisms of disease, principles of therapeutics etc) (Coombes et al.2010; Muijtjens & Wijnen2010; Nouns & Georg2010; Swanson et al.2010).
이 행렬의 각 셀에는 해당 행 x 열 조합에 대해 각 검정에 포함할 항목(질문)의 합의된 빈도가 포함됩니다. 이 가중치는 지식에서 교육 프로그램의 최종 목표 측면에서 셀의 중요성 또는 우선순위를 규정한다(Muijtjens & Wijnen 2010).
Each cell in this matrix contains the agreed frequency of items (questions) to be included in each test for that row x column combination. This weighting prescribes the importance or priority of the cells in terms of the end objectives of the educational programme in knowledge (Muijtjens & Wijnen2010).
일부 청사진은 또한 항목이 테스트하는 인지 난이도의 다양한 수준에 대한 항목의 빈도를 지정한다. 일반적으로 지식 응용 및 문제 해결의 더 높은 인지 수준을 테스트하기 위해 항목을 작성해야 한다고 인식되어 왔다(Haladyna et al. 2002). 웨어와 토스타인(2009)은 최근 문항 품질에 대한 5가지 기준을 요약했는데, 여기에는 상위 인지 수준(응용 및 추론)에서 최소 50%를 포함하는 것이 포함되어 있다.
Some blueprints also specify the frequency of items for various levels of cognitive difficulty that the items test. It has been generally recognised that items need to be written so that they test the higher cognitive levels of knowledge application and problem-solving (Haladyna et al.2002). Ware and Torstein (2009) have recently outlined five criteria for quality items that include at least 50% of items at a higher cognitive levels (application and reasoning).
청사진구축 Blueprint construction
청사진 내용은 보통 캐나다(Frank 2005)의 CanMEDs Good Medical Practice in UK(General Medical Council 2009), 네덜란드의 Raamplan(van Herwarden 등)과 같은 국가 인증 기관에서 개발한 학습 목표와 역량에 따라 정렬되고 반영된다. 또는 미국 대학원 의학 교육을 위한 인증 위원회(2012)의 구성원. 여기서 주목해야 할 점은 청사진이 커리큘럼에 직접 맞춰져 있지 않다는 것입니다. 교육과정이 자연스레 최종 목표와 맞물려 있지만, 발달시험의 청사진과 커리큘럼은 직접적인 연관이 없다. 이렇게 하면 모든 커리큘럼 개혁에 따라 설계도를 변경할 필요가 없습니다. The blueprint content is aligned to and reflects the end-of-programme learning objectives and competencies, usually according to those developed by national accreditation bodies, for example the CanMEDS in Canada (Frank2005) Good Medical Practice in the UK (General Medical Council2009), the Raamplan in the Netherlands (van Herwaarden et al.2009), or those from the Accreditation Council for Graduate Medical Education in the USA (2012). It is important to note here that the blueprint is not directly aligned to a curriculum. Although the curriculum is naturally aligned with the end objectives, the progress test blueprint and curriculum are not directly related. This prevents having to change the blueprint with every curriculum reform.
시험 내용의 under-representation에 의해 타당성이 훼손되지 않도록 주의할 필요가 있다(2002년 하향). 이는 청사진의 범주가 너무 광범위하거나 정의되지 않거나, 교육 목표를 충분히 반영하지 못하거나, 범주 간 질문 빈도의 분포가 덜 객관적인 방법으로 선택되는 경우에 발생할 수 있다. Care is required to ensure that validity is not compromised by the under-representation of test content (Downing2002). This can occur if the categories in the blueprint are too broad or ill-defined, insufficiently reflect the educational objectives, or if the distribution of question frequencies across categories are selected by less objective means.
따라서 청사진 구성은 [행렬의 내용에 대한 결정]과 [행렬의 각 행 x 열 셀 내의 상대적 항목 가중치에 대한 결정] 등 두 가지 순차적 의사결정 과정이 필요하다. 이러한 두 가지 결정은 일반적으로 전문가의 합의에 의해 완료된다
Therefore, the blueprint construction requires two sequential decision processes – decisions about the content in the matrix and then decisions about the relative item weightings within each pertinent row x column cell of the matrix. Both these decisions are usually completed by expert consensus (Tombleson et al.2000; McLaughlin et al.2005; Coderre et al.2009; Sales et al.2010), for example by a Delphi procedure (Munro et al.2000).
청사진 구축에 공감대를 형성할 전문가를 선정할 때 고려해야 할 두 가지 중요한 요소가 있다.
청사진에 반영될 조직의 수준(조직에 따라 지역, 국가, 지역 또는 글로벌)에 부합하는지 확인하기 위한 전문가의 폭넓은 경험
항목 가중치를 결정하는 데 사용되는 기준입니다.
There are two important factors to consider when selecting experts to seek consensus in constructing a blueprint -
the experts’ breadth of experience to ensure that it corresponds to the level of organisation that the blueprint will reflect (local, national, regional or global depending on the organisation), and
the criteria they use to determine item weightings.
지역 또는 국가 경험을 가진 전문가를 선택하여 생태학적 및 내용적 타당성을 얻을 수 있다.
국제 청사진은 일반적이고 문화적으로 중립적인 분류를 개발하기 위해 국제 또는 지역 실무 경험을 가진 전문가들의 참여를 필요로 할 것이다.
The selection of experts with local or national experience to devise a blueprint for progress test organisations at these corresponding levels is an approach likely to yield acceptable ecological and content validity.
An international blueprint will require the involvement of experts with international or regional practice experience to develop generic and culturally neutral classifications.
전체 교육 프로그램의 전체 연도 수준에서 적용 청사진의 구성을 설명하는 연구는 없는 것으로 보이지만, 일부 연구는 프로그램의 임상 학년에 대한 청사진을 구성하기 위한 내용 선택 또는 항목 가중치 부여 절차를 기술했다.
Although there appear to be no studies that describe the construction of a blueprint for application across all year levels of an entire educational programme, a few studies have described the content selection or item weighting procedures for constructing a blueprint for the clinical years of a programme. (Munro et al.2000; McLaughlin et al.2005; Coderre et al.2009; Sales et al.2010)
2 문항 작성
2 Item authoring
설계도가 작성되면 설계도 매개변수 및 항목 뱅크의 내용 격차에 따라, 발달시험의 각 문항을 준비하기 위해 다양한 전문가와 교육받은 저자가 필요합니다. 네덜란드 컨소시엄의 경험을 통해 잘 작성된 품목의 흐름을 유지하는 데 몇 가지 어려움이 있다는 것을 보여주었다.
교수진과 직원들은 문항을 지속적으로 개발할 동기를 요구합니다. 특정 단위나 과정과 직접 관련이 없는 대신 프로그램의 잘못 정의된 최종 목표를 측정하는 것은 종종 어렵고 까다로운 작업이며, 이는 문헌 참조와 함께 수반되어야 한다.
결과적으로, 시험 항목은 너무 상세하거나 충분히 관련이 없어서 거부되는 경우도 많다.
정기적인 교육 세션, 업데이트, 강점과 개선 영역을 보여주는 저자별 항목 분석 피드백, 엄격하고 지원적인 환경(Malau-Aduli & Zimitat 2011)에서 수행된 피어리뷰 등은 항목 작성자의 동기 및 항목의 품질을 개선하는 데 도움이 될 수 있다.
Once the blueprint has been prepared, a range of expert and trained authors are required to prepare each item of the progress test according to the parameters of the blueprint and the content gaps in the item bank. Experience from the Dutch consortium has shown that there are several challenges in maintaining a flow of well-written items.
Faculty and staff require motivation to frequently contribute questions on a continuing basis. It is often a challenging and demanding task to produce items that are not directly related to a particular unit or course but instead measure the ill-defined end objectives of the programme, and which should be accompanied by a literature reference.
As a result, test items often have to be rejected because they are too detailed or not sufficiently relevant (van der Vleuten et al.2004).
Regular training sessions, updates, author-specific item analysis feedback that shows strengths and areas for improvement, and peer reviews all of which are undertaken in a rigorous and supportive environment (Malau-Aduli & Zimitat2011) can help to improve item writer motivation and the quality of items.
Training
고품질 MCQ 항목을 쓰는 것은 복잡하고 시간이 많이 걸리는 작업이다. 문항 개발 규칙에 대한 유용한 분류법을 사용할 수 있으며(Haladyna & Downing 1989a,b), 이를 수정하는 데 도움이 되는 조언이 잘 문서화되었다(Case & Swanson 2002; Haladyna et al. 2002). 문항작성 결함의 빈번한 발생이 경험적으로 발견되었다(Downing 2002; Inchigaro-Green & Downing 2006). 이는 문항 작성자는 좋은 문항 개발을 위하여 지속적이고 주기적인 교육을 필요로 한다는 것을 의미한다. 그래야만 지속적인 개선을 보장할 뿐만 아니라 결함 품목 생산에 따른 품질 관리 점검의 지속적 시간과 비용을 줄일 수 있다.
Writing high quality MCQ items is a complex and time consuming task. A useful taxonomy of item writing rules is available (Haladyna & Downing1989a,b), and advice to help rectify them has been well documented (Case & Swanson2002; Haladyna et al.2002). Frequent occurrences of item writing flaws have been empirically found (Downing2002; Stagnaro-Green & Downing2006). This means that item writers require ongoing and periodic training to not only ensure continual improvement in writing quality items but also to help reduce the time and cost of prolonged quality control checks resulting from the production of flawed items.
Relevance
문항의 관련성은 발달시험의 타당성을 손상시킬 수 있는 잠재적인 오류 원인이다. 각 항목은 커리큘럼 목표의 종료를 위해 졸업 시 요구되는 핵심 지식에 따라 관련될 필요가 있다(Koens et al. 2005). 다우닝(2002)은 미래 학습이나 임상 치료를 위해 중요도가 낮은 사소한 질문의 포함이 달성 의학교육 시험에 너무 자주 나타났다고 주장해왔다. 이는 문항 개발자에게 제공된 [관련성의 정의에 대한 불명확한 기준]에서 비롯되었을 수 있다. The relevance of items for testing a new graduate's knowledge is a potential source of error that can compromise progress test validity. Each item needs to be relevant according to the core knowledge required at graduation to meet end of curriculum objectives (Koens et al.2005). Downing (2002) has maintained that the inclusion of trivial questions that have a low degree of importance for future learning or clinical care have too often appeared in medical education tests of achievement. This may have resulted from unclear criteria for the definition of relevance to guide item writers.
네덜란드 컨소시엄의 과거 경험에 따르면, 관련성의 정확한 정의에 대한 항목 작성자 간의 합의된 합의를 얻는 것은 상당히 어려울 수 있으며, 개념이 항목 난이도 와 잘못 혼동될 수 있다는 것을 알게 되었다. 결과적으로, 최근에는 항목을 구성하고 검토할 때 항목 작성자 간의 해석의 일관성과 정확성을 높이기 위해 네덜란드 컨소시엄 파트너 간의 합의 전문가 합의가 5가지 관련성 기준을 개발하는 데 사용되었다. Past experience from the Dutch consortium has found that it can be quite difficult to obtain a consensus agreement among item writers on the precise definition of relevance, and that the concept can be mistakenly confused with item difficulty. As a result, in more recent times consensual expert agreement among Dutch consortium partners has been used to develop five criteria of relevance in order to encourage more consistency and accuracy in its interpretation among item authors when constructing and reviewing items.
다음 사항으로 합의되었다.
의학분야에 특화된 지식을 시험한다.
준비지식(실제 상황에서 기능하기 위한 전제조건으로 필요한 지식)을 테스트합니다.
의학의 성공적 실천에 필요한 중요한 지식이다.
고위험성 또는 고위험성 의료 상황의 성공적인 처리와 실질적인 관련성이 있어야 한다.
평가하는 지식은 커리큘럼에서 하나 이상의 중요한 개념의 기초를 형성해야 한다(Suwbirth 2011).
It was agreed that the items should
test knowledge that is specific to the specialty of medicine,
test ready knowledge (knowledge required as a prerequisite to function in a practical situation),
be important knowledge which is required for the successful practice of medicine,
have a practical relevance for the successful handling of high-prevalence or high-risk medical situations, and
the knowledge should form the basis of one or more important concepts of the curriculum (Schuwirth2011). \
Item format, guessing and item number
형식 FORMAT
원-베스트 답변, 대안 선택, 참-거짓, 다중 참-거짓, 확장 일치 및 복잡한 다중 선택을 포함하여 여러 가지 객관식 항목 형식이 문헌에서 설명되었다(Case & Swanson 2002; Haladyna et al. 2002). Several multiple choice item formats have been described in the literature, including the one-best-answer, alternative-choice, true-false, multiple true-false, extended matching and complex multiple choice (Case & Swanson2002; Haladyna et al.2002).
네덜란드 컨소시엄 테스트에서 각 품목에 대해 선택된 옵션 수는 2개에서 5개까지 다양하며, 대부분 3개 또는 4개의 옵션이 있는 반면, 페닌슐라 발달시험은 일관되게 5개 옵션 문항을 사용되었다.
옵션 번호의 변동은 특정 문제와 관련된 만큼 많은 대안을 구성하고, 항목에 대한 지식이 부족한 학생도 부정확하다고 쉽게 인식되는 덜 적절한 대안을 포함하도록 강요받지 않는 장점이 있다.
그러나 Peninsula는 5-옵션 테스트를 일관되게 사용하여 정답이 틀릴 경우 -0.25의 일정한 감산 마크를 제공하므로 자동으로 표시되는 프로그램에서 루빅을 정기적으로 변경할 필요가 없다는 것을 발견했습니다.
In the Dutch consortium test the number of options selected for each item varies between two and five, with most having three or four options while the progress test at Peninsula has consistently used 5-option items.
The variation in option numbers has the advantage of constructing as many alternatives as are relevant for a particular question, and of not being forced to include less appropriate alternatives that are easily recognised as being incorrect, even by students lacking knowledge of the item.
However, Peninsula have found that consistently using a 5-option test provides a constant subtracted mark of –0.25 for an incorrect answer thereby removing the need to regularly alter the rubric in programmes that mark automatically.
찍기와 '모름' 보기
GUESSING AND THE USE OF ‘DON’T KNOW’ OPTION
추측에 대한 벌칙과 함께 항목의 대안 중 '모름' 옵션을 사용하는 것은 의과대학 전체에 걸쳐 다양하게 사용되어 왔으며, 결과적으로 기관들 사이의 결과에 유의한 불일치discrepancies에 기여할 수 있다.
네덜란드, 독일, 캐나다 컨소시엄의 진행 테스트와 반도에서 진행되는 테스트에서 추측 빈도를 줄이고 점수에 대한 추측의 영향을 줄이기 위해 포함되어 있다.
영국과 일부 미국 컨소시엄 테스트에서는 포함되지 않았다. 그것은 또한 혼합된 연구 지원을 받았다. 그들의 계산에서, 짐머만과 윌리엄스(2003)는 추측의 오차가 많은 MCQ의 다른 분산 소스보다 클 수 있다는 것을 발견했다.
Muijtjens 외 연구진(1999년)은 발달시험이 프로그램의 모든 학생과 커리큘럼 전체에 걸쳐 반복적이고 종방향으로 이루어지기 때문에 "학생들이 시험에서 평가된 모든 목표를 다루지 않았을 것으로 예상하기 때문에 모르는 선택권은 불가피하다"고 주장해왔다. ( 페이지 268)
Wade 외 연구진(2011)의 최근 연구 결과는 [찍기를 제어하기 위한 방법 사용]을 서포트한다. 그들은 발달시험에 대한 학생들의 인식을 조사했고, 학생들은 발달시험에서 [운과 추측]이 [지식]보다 더 큰 기여를 한다고 믿는다는 것을 발견했다. 그 믿음은 추측하기 위해 벌칙을 사용하지 않는 학교에서 훨씬 더 강했다.
The use of the ‘don’t know’ option among the alternatives of an item in combination with a penalty for guessing has been used variably across medical schools, and as a result, can contribute to significant discrepancies in outcomes between institutions.
It is included in the progress tests of the Dutch, German and Canadian consortia's and at Peninsula to reduce the frequency of guessing as well as to reduce the influence of guessing on the score.
However, in the UK and some USA consortia tests it is not included. It has also received mixed research support. From their calculations, Zimmerman and Williams (2003) found that error from guessing could be larger than for other sources of variance for many MCQs.
Muijtjens et al (1999) have argued that because the progress test measures achievement of the curriculum end-objectives repeatedly and longitudinally throughout the curriculum with all students in the programme, “a don't-know option is inevitable because it expects students not to have covered all the objectives assessed in the test”(p. 268).
The results of a recent study by Wade et al. (2011) provide empirical support for the use of methods to control for guessing. They examined students’ perceptions of the progress test and found that students believed that luck and guessing were stronger contributors to their success on the progress test than their knowledge. That belief was significantly stronger in a school that did not use a penalty for guessing.
더욱이, '모름' 옵션을 생략하는 것은 [확신에 찬 지식]과 [불확실성]에 대해 동등한 보상을 제공한다는 주장이 제기되었다(Burton 2002). 또한, 모르는 선택권의 사용은 실제 의료행위의 요구조건을 모방하는 방식으로 추측하는 관행을 단념시키면서, 학생들에게 모르는 것을 보여줌으로써 지식의 한계에 대한 척도를 제공한다. Furthermore, it has been argued that omitting the ‘don’t know’ option and using number correct scoring gives equal reward for uncertainty as for confident knowledge (Burton2002). Also, the use of the don’t know option provides students with a measure of the limits of their knowledge by showing them what they don’t know, while discouraging the practice of guessing in a way that emulates the requirements of real medical practice (Burton2002).
'모름' 옵션을 포함하면 성격적으로 [위험 회피적 보기]를 선택하는 학생들을 차별함으로써 측정 오류가 발생한다고 주장하기도 한다. 그러나 수학적 분석에 따르면 이러한 효과는 예방 목적으로 설계되었다고 추측하는 측정 오류에 비해 작다(Espinoza & Gardeazabal 2010). 더 큰 불이익은 프로그램의 초기 연도에 적용될 수 있다. 매우 높은 빈도의 미지의 달성은 예상되기는 하지만, 지식의 진보적 발달과 그에 따른 동기 부여에 대한 신뢰를 떨어뜨리는 원치 않는 부정적인 결과를 가져올 수 있다. However, some have argued that including the ‘don’t know’ option introduces measurement error by discriminating against those students whose personalities encourage them to adopt a risk-averse response set. However, mathematical analysis has suggested that this effect is small compared with the measurement error of guessing that it is designed to prevent (Espinoza & Gardeazabal2010). A further disadvantage may apply to the early years of the programme for whom the achievement of a very high frequency of don’t-knows, although to be expected, may have the unwanted negative result of lowering confidence in their progressive development of knowledge and therefore their motivation.
이러한 주장의 개요와 '모름' 옵션의 포함에 대한 찬반 경험적 증거로부터, 옵션을 포함하는 것이 더 효과적일 수 있는 것으로 보일 것이다. 그러나 이러한 결론을 뒷받침할 증거를 제공하기 위해서는 추가 연구가 필요하다.
From this outline of the arguments and empirical evidence for and against the inclusion of the ‘don’t know’ option, it would appear that it may be more efficacious to include the option. However, further research is required to provide evidence to support this conclusion.
ITEM NUMBER
차이가 크다. 네덜란드와 독일의 컨소시엄은 200개, 캐나다, 180개, 그리고 영국의 학교들을 120개 또는 125개 문항을 선정한다.
이 변동은 연간 시험 빈도의 함수일 수 있다.
그러나 일부 연구는 너무 짧은 테스트는 과소 표현된 내용을 반영할 수 있으므로 시험의 내용 타당성과 추론 정당성에 대한 지원에 이의를 제기하였다(Downing 2002).
이와 일관되게, 상당히 많은 품목이 권장되었다(Langer & Swanson, 2010). 항목 번호와 시험 빈도 간의 신뢰성에 대한 상호작용 효과 분석은 아래에 제시되어 있다(아래 섹션 "연도 수준, 시험 빈도 및 시험 크기" 참조).
There is considerable variability in the number of items selected for the test. The Dutch and German consortia select 200, Canada, 180, and schools in the United Kingdom 120 or 125 items.
This variation may be a function of the test frequency per year.
However, some research has suggested that tests that are too short can reflect under-represented content, thereby challenging the content validity of the test and support for the legitimacy of its inferences (Downing2002).
Consistent with this, a fairly large number of items have been recommended (Langer & Swanson,2010).
3 문제 은행
3 Item bank
모든 발달시험 시스템은 항목 은행과 관리자가 청사진에 따라 들어오는 항목 및 기존 문제은행을 안전하게 보관, 분류, 확인 및 검토해야 합니다.
All progress test systems require an item bank, and an administrator to securely house, classify, check, and review incoming items and existing stocks in accordance with the blueprint.
정전blackout이나 퇴직retirement 규칙(예: 1년에서 5년)과 관련하여 이전 테스트에서 학생들이 친숙할 수 있는 항목을 만나는 것을 피하기 위한 합의가 필요하다. Agreement is required in regard to the blackout or retirement rule, for example one to five years, to avoid students encountering an item they may be familiar to them from a previous test.
아이템 작성자와 관리자 모두를 위한 안전하고 잘 작동하는 아이템 뱅크를 위해서는 로컬이든 온라인이든 전용 IT 하드웨어 및 소프트웨어 리소스, 지원 및 조정이 필요합니다. 컨소시엄의 장점은 이러한 약정이 비용 효율적이 된다는 것이다. Dedicated IT hardware and software resources, support and coordination, whether locally or online, are required for a secure and well-functioning item bank for both the item writer and administrator. An advantage for a consortium is that these arrangements become more cost-effective.
문제은행의 규모는 학년 시험 빈도, 시험 항목 수, 재사용성 정책, 사후시험에서 수험 책자와 답안 제공 여부 등에 영향을 받는다. 이러한 요소들은 은행에 필요한 새로운 항목의 빈도도 결정할 것이다. 예를 들어, 네덜란드 컨소시엄은 [3년 경과 후 아이템 재사용 정책]을 가지고 있다. 즉, 각 시험에 연간 4회 200개 항목이 요구되며, 항목 뱅크는 최소 2400개 항목(3 × 4 × 200)을 포함해야 한다.
The size of the item bank will be influenced by the frequency of the test in the academic year, the number of items in the test, the reusability policy, and whether the students are given the test booklet and answers at post-test. These factors will also determine the frequencies of new items that are required for the bank. As an example, the Dutch consortium has a policy of item reuse after the elapse of three years. This means that with 200 items required for each test four times per year, the item bank needs to contain at least 2400 items (3 × 4 × 200).
4 검토 위원회
4 Review committee and local/central coordinator(s)
문항 확인 및 검토의 반복적 프로세스는 공정 시스템의 중요한 품질 관리 기능입니다. 여기에는 각 항목이
현재 문헌에 비추어 최신 상태이고,
관련성이 있으며,
청사진과 일관성이 있으며,
각 항목에 특정 결함이 없는지 점검하는 작업이 포함된다(Haladna et al. 2002).
An iterative process of item checking and review is an important quality control feature of the progress system. This involves checks that each item
is up-to-date with the current literature,
is relevant,
consistent with the blueprint,
and that each is free of specific item writing flaws (Haladyna et al.2002).
여기에 설명된 발달시험 프레임워크에서 이러한 점검은 현지 검토 위원회와 컨소시엄에 의해 테스트 건설 단계에서 감독되며, 또한 국가 또는 국제 검토 위원회가 감독한다. 네덜란드 컨소시엄은 4개의 지역 및 1개의 국가 검토 위원회로 구성되며, 각 위원회는 기초, 임상 및 행동 과학 분야에 경험이 있는 약 6명의 위원으로 구성된다.
In the progress test framework described here, these checks are overseen during the test construction phase by a local review committee, and for consortia, also by a national or international review committee. The Dutch consortium comprises four local and one national review committee, each consisting of approximately six members who have backgrounds in the basic, clinical and behavioural sciences.
각 위원회에는 지정된 위원장 및 관련 코디네이터가 있다.
문항 작성을 운영하고,
품질 검사를 수행하며,
위원회가 검토할 품목 은행으로부터 시험을 위한 예비 항목 세트를 구성하고,
최종 시험 품목 세트의 편집 검사를 완료하고,
시험 책자를 구성한다.
Each of these committees has a designated chairperson and associated coordinator to
organise the item authoring,
undertake quality checks,
construct a preliminary set of items for a test from the item bank for the committee to review,
complete editorial checks of the final set of test items, and
construct the test booklet.
시험관리 Test administration
발달시험 프레임워크의 시험 관리 구성요소의 몇 가지 특징은 시험 결과의 결과와 상당히 관련이 있다. 여기에는 시험의 목적, 시험에 포함된 연도 수준, 시험 납품 방법, 그리고 시험 빈도 및 기간이 포함된다. 그림 1은 시험 관리 하위 시스템의 중심 조직 기능으로서 시험 전달 방법을 보여준다.
There are several features of the test administration component of the progress test framework that have significant bearing on the outcome of the test results. These involve the purpose of the test, the year levels included in the test, the test delivery method, and the test frequency and duration.Figure 1shows the test delivery method as a central organising feature of the test administration subsystem.
시험 목적 Test purpose
발달시험의 목적은 기관 전체에 걸쳐 다양하게 사용된다(형성, 총괄).
네덜란드 컨소시엄과 Peninsula에서는 학생들이 다음 연도 수준으로 발전하기 위해 1년 내에 모든 시험 사례의 집계 결과에 기초하여 시험을 통과해야 한다.
그러나, 독일과 캐나다의 컨소시엄에서는 학생들의 학습에 대한 피드백을 제공하는 결과에 주안점을 두는 형성적 접근법을 채택한다. 형성적 시험의 선택은 국가 면허 시험과 같은 외부 평가가 존재하거나 내부 등급 정책에 의해 영향을 받는 경우가 많다.
네덜란드 컨소시엄은 학생들이 이 항목에 높은 위험도 평가로 대응하도록 유도하고, 이에 따라 깊고 지속적인 학습을 자극하기 위해 종합 접근법을 선정했다. 또한 이 접근 방식에는 학생과 기타 이해 관계자에게 광범위한 피드백을 제공함으로써 형성적인 초점도 포함되어 있습니다(이해 관계자에게 피드백 섹션 참조).
The purpose of the progress test as a formative or summative test is variably used across institutions.
In the Dutch consortium and at Peninsula it is summative whereby students are required to pass the test, based on the aggregated results of all instances of the test (4) in a year, in order to progress to the next year level.
However, in the German and Canadian consortia, a formative approach is adopted in which the main focus is on the results providing feedback for the students’ learning. The choice of a formative test is often influenced by the presence of external assessment, such as a national licensing exam, or by internal grading policies.
The Dutch consortium selected a summative approach in order to encourage students to respond to the items as a high stakes assessment and thereby to stimulate deep and continuous learning. This approach also includes a strong formative focus through the provision of extensive feedback to students and other stakeholders (see section on Feedback to Stakeholders).
어떤 목적이든 시험 피드백의 품질과 세부사항은 영향을 받지 않아야 한다.
Experience shows that whether a combined or singular purpose is chosen, the quality and detail of the test feedback should not be affected.
동기화 테스트 Test synchronicity
컨소시엄 파트너 간의 점수를 벤치마킹하기 위해서는, 한 기관의 모든 학생 코호트에 대해 시험 관리가 같은 날 동시에 이루어지는 종이 또는 컴퓨터 기반 시험인지의 동기화된 시험이 필요하다.
네덜란드 컨소시엄은 종이 기반 동기식 테스트를 사용하며 벤치마킹 이점이 단점을 능가한다는 것을 발견했다. 동기화된 시험을 보려고 한다면 물류 및 자원 압력을 생성한다. 이는 어느 정도 컴퓨터 기반 시험에 의해 완화될 수 있다.
그러나 컴퓨터 테스트에서도 다른 어려움이 발생한다. 이 배열은 보통 제한된 공간이나 컴퓨터 접근 때문에 학생들이 일괄적으로 시험받아야 한다. 이러한 상황에서 학생 집단 간에 정보가 교환되는 것을 방지하기 위해 동일한 테스트의 여러 버전이 필요하다. 이를 위해서는 아이템 뱅크에서 요구되는 아이템의 수가 크게 증가하거나 아이템을 추출할 수 있는 충분히 큰 아이템 뱅크가 필요하다.
Synchronised testing, whether paper- or computer-based in which test administrations occur on the same day at the same time for all student cohorts in an institution, or with all participating institutions in a consortium, is required in order to benchmark scores among the consortium partners.
The Dutch consortium uses paper-based synchronised testing and has found the benchmarking benefits to outweigh the disadvantages. Synchronised testing produces logistical and resource pressures which may be alleviated by computer-based testing to some degree.
However, other difficulties also arise with computer testing. This arrangement usually requires students to be tested in batches because of limited space or computer access. Under these circumstances, several versions of the same test are required to prevent information being exchanged between batches of students. This necessitates either a significant increase in the number of items required in the item bank or a sufficiently large item bank from which to draw items.
네덜란드의 경험은 아이템 제작 과정에서 아이템 생산량이 문제가 될 수 있다는 것을 보여주었다. 또한 테스트 버전은 동일한 난이도를 가져야 하며 제한된 자원을 가진 컨소시엄에게는 어려운 작업이 될 수 있는 엄격한 심리측정학 교정이 필요하다.
The Dutch experience has shown that the volume of item production can become problematic in the item construction process. The versions of the test also need to be of the same difficulty and require stringent psychometric calibration which may be a daunting task for a consortium with limited resources.
동기화된 시험은 구성원들이 서로 1~2주 이내에 시험을 시행하는 독일 컨소시엄(오스트리아 기관을 포함한다)과 같이 형성적 접근법을 선택하는 시스템에서 덜 중요하다. 이런 맥락에서, 시험의 형성적 특성으로 인해 부정행위로 얻을 것이 없다는 것을 의미하고, 학생 개개인의 잠재적인 형성적 이득만을 방해하기 때문이다. 학생들이 부정행위에 대한 동기가 제거되지는 않았지만, 부정행위에 대한 동기는 크게 줄어든다. Synchronised testing is less important with systems that choose a formative approach, such as the German consortium (which includes Austrian institutions) where members administer the test within one to two weeks of each other. In this context, the motivation for students to cheat, although not removed, is greatly diminished because the formative nature of the test means there is nothing to gain for them by cheating, and only interferes with the potential formative gains for the individual student.
(학생들의 성적 수준에 맞게 시험 문항이 제공되는) Computerised adaptive testing은 이러한 압력을 더 감소시키고 synchronicity 필요성을 제거할 수 있다. 그러나 이 접근법에 따라 다른 제약조건이 발생한다. 예를 들어, 모든 항목은 사전 테스트 및 교정이 필요하며, 이는 항목 작성 요건에 상당한 부담을 줄 수 있다.
Computerised adaptive testing, in which students are administered test questions that are matched to their performance level, may also reduce this pressure further and remove the need for synchronicity. However, other constraints arise with this approach. For example, all items need to be pre-tested and calibrated which can place considerable pressure on item authoring requirements.
연도 수준, 테스트 빈도 및 테스트 크기 Year level, test frequency and test size
일부 변형이 있기는 하지만, 전 세계의 대부분의 학교는 발달시험에 프로그램의 모든 연도 수준을 포함하는 것으로 보인다(Freeman et al. 2010b). Although there is some variation, it seems that most schools around the world include all year levels of their programme in the progress test (Freeman et al.2010b).
그러나, 시험을 위해 선택된 항목 수("항목 번호" 위의 하위섹션 참조)와 마찬가지로 학년 내 발달시험의 빈도는 상당히 다양하며, 보통 2회(독일 컨소시엄, (Schauber & Nambers 2010)와 4회(예: 영국의 네덜란드 컨소시엄 및 학교) 사이에 차이가 있다. However, the frequency of progress testing within the academic year, as with the number of items selected for the test (see subsection above “Item Number”) varies considerably, usually between twice (German consortium, (Schauber & Nouns2010)) and four times (for example, the Dutch consortium and schools in the UK).
공정시험에서 항목의 빈도와 개수 선택에 대한 정해진 지침은 없으며, 비용과 자원의 가용성과 같은 요소들이 영향력 있는 고려사항이다.시험 신뢰도 검사는 진행 중인 시험 시스템에서 시험 크기와 빈도 선택을 결정하는 데 도움이 되는 유용하고 중요한 지침이다. 이를 위해, 마스트리히트 대학교 학생들이 프로그램 6년 동안 각각 획득한 2010/2011학년도 4개 진도 시험의 총 점수(수정 점수)를 사용하여 시험당 항목 번호의 신뢰성에 대한 결합된 영향을 검토하는 최근 일반화 분석이 수행되었다. Although there are no fixed guidelines for choosing the frequency and number of items in the progress test, and factors, such as cost and the availability of resources are influential considerations, the examination of test reliability is a useful and important guide in helping to determine the selection of test size and frequency in a progress test system. To this end, a recent generalizability analysis examining the combined effect on reliability of item number per test and test frequency was undertaken using the total scores (correction scoring) in the four progress tests of the academic year 2010/2011 obtained by Maastricht University students in each of the six years of the programme.
분석 설계에는 p(사람, 즉 학생), m(측정 사건), i:m(측정 사건 내에 내포된 문항)으로 표시된 세 가지 변동 요인이 포함되었습니다. 내포라는 용어는 측정 시마다 다른 항목 집합이 사용됨을 나타냅니다. 사람은 측정의 대상이기 때문에 관심의 분산과 관련이 있다. 측정 발생 시와 측정 발생 시 항목들은 두 개의 면을 나타내며 해당 분산은 측정 오차의 원인이 됩니다. 총 분산 Vtot은 다음과 같이 정의됩니다.
The design of the analysis involved three sources of variation indicated asp(persons,that is, students),m (measurement occasions), andi:m (itemsnested withinmeasurement occasions). The term nested indicates that permeasurement occasiona different set ofitems is used.Personis the subject of measurement and, hence, is associated with the variance of interest.Measurement occasionanditems within measurement occasionsrepresent two facets and the corresponding variances contribute to measurement error. The total varianceVtotis defined as:
여기에서 Vp, Vm, Vpm, Vpm 및 Vpi:m은 측정 시점 내 사람, 측정 시점 내 항목의 주효과, 그리고 측정 시점 내 사람과 항목의 상호작용 영향의 분산 성분을 각각 나타냅니다. 일반화 가능성 계수 G는 다음과 같이 정의된다.
whereVp,Vm,Vi:m,Vpm, andVpi:m, represent the variance components of the main effects ofpersons,measurement occasions, anditems within measurement occasions, and the interaction effects ofpersonsandmeasurement occasions, andpersons anditems within measurement occasions, respectively. The generalisability coefficientGis defined as:
여기서 Nm과 Ni:m은 각각 측정 횟수와 측정 횟수 내의 항목이다.
일반화 가능성 분석의 첫 번째 단계인 G 연구에서 위의 분산 성분은 사용 가능한 데이터를 기반으로 추정됩니다.
두 번째 단계인 D 연구에서 이러한 분산 추정은 위의 식에서 Nm과 Ni:m에 대한 다양한 가상 값을 대체하여 일반화 가능성 G를 예측하는 데 사용된다.
where nopagenumbersNmandNi:mare the numbers ofmeasurement occasions, anditems within measurement occasion, respectively.
In the first step of the generalizability analysis, the G study, the above variance components are estimated on the basis of the available data.
In the second step, the D study, these variance estimations are used to predict the generalizabilityGby substituting varying hypothetical values forNmandNi:mintheexpression above.
표 1은 총 분산에 대한 다섯 가지 분산 성분의 상대적 기여도를 보여줍니다. 오차항 분산 Vpi:m, 즉 사람과 항목의 교호작용 효과가 훨씬 큰 경우(72%–78%)가 되고, Vi:m, 항목 주효과 분산(20%–27%), Vp, 사람 분산(0.7%–1.5%), 측정 사건의 주효과(0.2%–1.1%), 마지막으로 Vpm이 그 뒤를 이습니다.8%–0.24%).
Table 1presents the relative contribution of each of the five variance components to the total variance. The error term variance
Vpi:m, that is, the interaction effect of persons and items, is by far the largest (72%–78%), followed by
Vi:m, the item main effect variance (20%–27%),
Vp, the person variance (0.7%–1.5%)Vm, the main effect of measurement occasion (0.2%–1.1%), and finally
Vpm, the interaction effect of person and measurement occasion (0.08%–0.24%).
Table 1. Percentage of total variance for each variance component in each year level for Maastricht University students Years 1-6 in the academic year 2010/11
표 2는 테스트 주파수(Nm) 및 테스트 크기(Ni:m) 값의 지정된 조합에 대해 계산된 일반화 계수 G에 대한 해당 값을 보여줍니다. 예상대로, 일반적인 패턴은 빈도 및 테스트 크기가 증가함에 따라 테스트 신뢰성이 증가한다는 것을 보여줍니다. 표 2의 결과는 또한 시험에 사용할 수 있는 총 문항의 양이 고정된 경우, 신뢰성이 [시험 크기]보다는 [빈도 증가]에 따라 더 유리해진다는 것을 나타낸다.
예를 들어, 표 2의 1년차에 대한 신뢰도 계수는 200개 항목에 대한 두 번의 테스트에서 0.70의 신뢰도를 얻은 반면,
100개 항목에 대한 네 번의 테스트는 0.74를 달성한 것을 보여줍니다.
Table 2shows the corresponding values for the generalizability coefficientGcalculated for the indicated combinations of values for test frequency (Nm),andtestsize(Ni:m. As expected, the general pattern shows that test reliability increases with increasing frequency and test size. The results inTable 2also indicate that, given a fixed total amount of items available for testing in an academic year, reliability becomes more favourable with an increase in the frequency rather than the test size. For example,
the reliability coefficients for Year 1 inTable 2show that two tests of 200 items produced a reliability of 0.70,
while four tests of 100 items achieved 0.74.
이는 G에 대한 방정식을 점검할 때 놀랄 일이 아니다: 항목의 총량을 일정하게 유지하면서 Nm이 증가하면 오차항 Vpi:m/(Nm × Ni:m)는 변하지 않지만 오차항 Vpm/Nm은 감소하므로 신뢰도가 높아질 수 있다. 따라서 신뢰도를 위해 이러한 결과는 다른 방법보다 더 많은 테스트 횟수를 지정하고 더 작은 테스트 크기를 갖는 것이 더 낫다는 것을 시사합니다. 물론 마스트리히트 대학이 이 원칙을 최대한 따르는 것을 막는 비용과 자원 가용성에 대한 실질적인 고려가 있다.
This is not surprising when inspecting the equation forG: whenNmis increased while keeping the total amount of itemsNm×Ni:mconstant, the error-termVpi:m/(Nm×Ni:m) does not change, but the error-termVpm/Nmdecreases, allowing the reliability to increase. So, for the sake of reliability these results suggest that it is better to have more test occasions and a smaller test size than the other way around. Of course there are practical considerations of cost and resource availability that prevent Maastricht University from following this principle to its utmost consequence.
Table 2. G coefficients for test size (number of items) by test frequency for Maastricht University students Years 1-6 in the academic year 2010/11
표 2의 왼쪽 상단 패널은 1학년 0.80의 신뢰도를 위해, 네덜란드 컨소시엄이 현재 사용하고 있는 빈도와 시험 크기에 해당하는 학년당 4회, 시험당 200개 항목이 필요하다는 것을 보여준다. 이 빈도와 테스트 크기 역시 학년이 높아지는 경우 0.90보다 큰 신뢰도를 산출합니다(4~6년). 언뜻 보기에 이것은 불필요하게 높아 보일 수 있다. 그러나 특히 하위 도메인 점수에서 학생들에게 신뢰할 수 있는 피드백을 제공하는 것은 네덜란드 컨소시엄 발달시험 시스템의 매우 중요한 목적이었다. The upper left panel ofTable 2shows that for a reliability level of 0.80 in Year 1, four test occasions per academic year and 200 items per test is required which corresponds to the frequency and test size currently used by the Dutch consortium. This frequency and test size also produces reliabilities greater than 0.90 for the higher years (four to six). At first glance this might seem unnecessarily high. However, providing reliable feedback to students, particularly from sub-domain scores, has been a highly valued purpose of the Dutch consortium progress test system.
이러한 하위 영역(예: 호흡계, 혈액 및 림프계, 소화계)은 일반적으로 각각 25개 미만의 항목으로 테스트에서 표현된다. 25개 항목을 포함하는 시험에 대한 모든 연도에 걸쳐 표 2의 신뢰성 계수를 검사한 결과 하위 영역 점수가 허용 가능한 신뢰도 수준에 도달하기 위해서는 연간 4회의 빈도는 과도하지 않은not overdone 것으로 나타났다. 또한, 네덜란드 컨소시엄의 경험에 따르면, 프로그램의 학년 동안 모든 연도의 빈번한 측정은 학생들의 발달 및 종방향 진행에 대한 신뢰할 수 있는 추적과 모니터링을 극대화하는 데 도움이 된다.
These sub-domains (for example, respiratory system, blood and lymph system, digestive system) are generally represented in the test with less than 25 items each. An inspection of the reliability coefficients inTable 2across all years for tests containing 25 items demonstrates that in order for sub-domain scores to reach an acceptable level of reliability, a frequency of four occasions per year is not overdone. Furthermore, experience has shown in the Dutch consortium that frequent measurement of all year levels during the academic year of a programme helps maximise the reliable tracking and monitoring of students’ developmental and longitudinal progression.
시험 시간 Test duration
각 테스트를 완료하는 데 허용되는 기간은 전 세계적으로 2.5시간(영국)에서 5시간(NBME, 미국) 사이입니다. 테스트 기간은 [테스트 문항 수]와 [각 문항을 읽는데 필요한 시간]에 따라 크게 달라집니다. 네덜란드 컨소시엄은 학생들이 추측하는 것을 단념시키는 것과 진행 테스트가 속도 테스트가 아니라는 기본 원칙에 부합되는 것 사이에서 균형을 찾는 것이 중요하다는 것을 발견했다. 경험에 따르면 단일 항목의 답변에 허용되는 유용한 시간은 약 75~85초이다. 테스트에 대해 선택한 항목 수는 청사진에 의해 규정되지만, 이 권장 사항을 달성하기 위해서는 테스트가 읽는 데 시간이 오래 걸리는 너무 많은 항목으로 구성되지 않도록 하는 것이 중요합니다.
The duration allowed to complete each test varies worldwide between 2.5 hours (UK) to five hours (NBME, USA). The duration of the test will significantly depend on the number of items in the test and the reading time required for each item. The Dutch consortium has found that it is important to find a balance between discouraging students from guessing and being consistent with the underlying principle that the progress test is not a speeded test. Experience has shown that a useful time permitted for answering a single item is approximately 75–85 seconds. Although the number of items chosen for a test will be prescribed by the blueprint, to achieve this recommendation, it is important to ensure that the test does not consist of too many items that take a lengthy time to read.
결과분석 및 검토 Result analysis and review
발달시험 시스템의 3단계는 시험 결과의 분석과 검토이다.
The third phase of the progress test system involves the analysis and review of the test results.
점수계산방법 Score calculation method
학생의 총 점수는 그것이 계산되는 방식에 의해 크게 영향을 받는다. 사용된 두 가지 주요 점수 계산 방법은 총 점수에 기초한 점수(숫자 수정 점수 또는 수정 점수)이다. The total score a student achieves on an MCQ test is significantly influenced by the way in which it is calculated. The main two score calculation methods used are scores based on the total score, either
number correct or
correction scoring.
수정채점correction scoring 또는 공식채점formula scoring은 숫자 정답 점수 매김을 고려하지 않은 추측에서 발생하는 측정 오류를 제어하기 위해 사용되었다. 학생들이 이러한 형태의 오류 분산에 관여하지 않도록 하기 위해, 네덜란드 컨소시엄은 문제의 옵션 수에 따라 오답에 대한 분수 점수가 올바른 점수에서 감점되는 잘못된 점수에 대해 패널티를 적용한다. Correction or formula scoring has been used to control for the measurement error arising from guessing that is not taken into account with the number-correct scoring. In order to dissuade students from engaging in this form of error variance, the Dutch consortium applies a penalty for incorrect scores whereby fractional points for incorrect responses, depending on the number of options for the question, are subtracted from the correct score.
추측할 때, 정답을 얻을 확률이 더 작습니다. 예를 들어, 4가지 옵션 질문에 대한 정답을 추정할 확률은 25%이고 오답의 경우 75%입니다. 따라서 공정성을 추구하면서 오답에 대해 감점된 부분점수의 크기를 오답의 수로 나누어 계산한다. 즉, 잘못된 항목의 경우 두 가지 옵션(즉, 1→1)이 있는 항목의 총점에서 1점 만점을 차감하고, 세 가지 옵션 항목의 경우 -0.5(1→2)와 네 가지 옵션 항목의 경우 -0.33(1→3) 및 다섯 가지 옵션 항목의 경우 -0.25(1→4)를 감점한다. 이 방법은 모든 테스트 항목에 '모름' 옵션을 포함시키는 것에 의존하며, 이 옵션에 대한 응답은 0점입니다. When guessing, the chances of achieving a correct answer are smaller than for choosing an incorrect response. For example, the chance of guessing a correct answer to a four-option question is 25% and for an incorrect answer, 75%. Therefore, in the pursuit of fairness, the size of the deducted fractional score for an incorrect answer is calculated by dividing one by the number of incorrect options. This means that for an incorrect item, a score of one is deducted from the total score for an item with two options (that is, 1÷1), −0.5 (1÷2) for three-option items, −0.33 (1÷3) for four-option items and −0.25 (1÷4) for five-option items. This method relies on the inclusion of the ‘don’t know’ option in all test items, and responses to this option are given a score of 0.
공식 채점에 대한 설득력 있는 주장과 증거가 제공되어 왔다.
특히 발달시험의 기본 철학과 일치한다.
'모름' 옵션은 학생과 교사가 학습 촉진을 위해 지식 격차를 확인하는 데 있어 직접적인 정보를 제공한다.
또한 '모름'옵션을 사용하면 [무지의 인정]이 [그냥 찍기]보다 바람직하다는 견해를 강화한다(Tweed & Wilkinson 2009).
특히, 능력에 비해 너무 어려운 항목이 많은 아래 학년의 경우에 적절하다(McHarget et al. 2005).
There have been persuasive arguments and evidence provided for formula scoring.
It is particularly consistent with the underlying philosophy of progress testing.
The ‘don’t know’ option provides direct information for students and teachers in determining gaps in knowledge in order to promote learning.
It's use also reinforces the view that the admission of ignorance is preferable to guessing (Tweed & Wilkinson2009), and
is appropriate for longitudinal tests such as the progress test in which many items are too difficult for the abilities of students in the lower years (McHarg et al.2005).
Formula scoring은 개별 기관(Freeman et al. 2010a)에서 좋은 효과와 함께, 그리고 누적 편차 방법(Muijtjens et al. 2008; Schauber & 명사 2010)과 함께 학교 간의 안정적인 차이를 드러내는 방법으로 사용되어 왔다. 추측으로 인한 오차 분산도 다른 오차 분산 소스보다 큰 것으로 확인되었으며(Zimmerman & Williams 2003), [formula scoring] 점수는 [정답숫자 점수]보다 더 신뢰할 수 있는 것으로 나타났다.
Formula scoring has been used with good effect in individual institutions (Freeman et al.2010a), and as a method of inter-institutional comparison (Schauber & Nouns2010) together with the cumulative deviation method (Muijtjens et al.2008; Schauber & Nouns2010) to reveal stable between-school differences. Error variance resulting from guessing has also been found to be larger than other sources of error variance (Zimmerman & Williams2003), and formula scoring has been shown to be more reliable than number-right scoring (Muijtjens et al.1999; Alnabhan2002).
그러나 점수 계산 방법에서 formula scoring을 사용하는 것은 한동안 논란이 되어 왔다.
예를 들어, 정확한 마이너스 오점에는 시험 응시 태도와 관련된 관련 없는 측정값이 포함되기 때문에 오차 분산을 추가할 수 있다는 주장이 제기되었다(Downing 2003).
또한, 어떻게 보면, 한 항목에 대한 벌칙 때문에 다른 항목에서 이미 획득한 점수가 사라지는 것으로 해석되었다.
However, the use of formula scoring in score calculation methods has been a debated issue for some time.
For instance, it has been argued that it may add error variance because the correct minus incorrect score includes irrelevant measures related to test-taking attitude (Downing2003).
Also, in some quarters it has been interpreted that applying a penalty to an item results in the questionable practice of removing a mark already gained from another item.
점수 계산 방법은 쉬운 선택이 아니며 비용과 자원의 가용성의 실용성에 영향을 받을 가능성이 높다. 실제로 [발달시험]에 [[문제가 학생의 능력에 맞게 조정되는컴퓨터 적응 시험]을 사용할 경우 문제가 완화될 수 있다(Roex & Degryse 2004). 이 접근 방식에서는 추측하는 것이 덜 문제가 되고 '모르겠다'는 옵션의 포함이 불필요해집니다. 이 단계에서는 이 접근법의 유효성을 결정하는 데 도움이 될 수 있는 의학적 발달시험에 대한 컴퓨터 적응 시험 사용을 보고한 발표된 연구가 없다.
The score calculation method is not an easy choice and one that is likely to be influenced by the practicalities of cost and availability of resources. Indeed the issue may be alleviated, if or when computer-adapted testing is used for progress testing in which questions are tailored to the ability of the student (Roex & Degryse2004). With this approach guessing becomes less of an issue and the inclusion of the ‘don’t know’ option becomes superfluous. At this stage there are no published studies that report the use of computer adaptive testing for a medical progress test that might assist in determining the efficacy of this approach.
표준설정방법 Standard-setting method
합격/불합격 컷 점수 및 기타 점수를 결정하는 표준 설정 방법의 선택은 결과 분석 및 검토 과정의 마지막 단계이다. 일반적으로 컨소시엄의 부담stake이 높을수록 기준설정 요건이 더 까다로워진다. 합격선 점수를 결정하기 위한 진행률 테스트에는 다양한 접근법이 사용되어 왔고, 이를 설명하는 방대한 문헌이 있습니다.
The selection of a standard-setting method to determine pass/fail cut scores and other grades is the final step in the results analysis and review process. It is usually the case that the higher the stakes in the consortium, the stronger the requirements become for standard-setting. Various approaches have been used for progress testing to determine the cut scores
가장 일반적으로 사용되는 두 가지 표준 참조 방법과 준거 참조 방법 사이의 장점이 논란이 되고 있다. 각각은 장점과 단점을 가지고 있으며, 각 결과는 리소스에서 다양한 배출을 초래합니다. Muijjens 외 연구진(1998)은 발달시험 난이도의 변화 때문에 [고정된, 절대 컷오프 점수]를 사용하는 것이 [규준-참조 점수]보다 더 위태롭다는 것을 발견했다. The merits between norm-referenced and criterion-referenced methods, two of the most commonly used, are controversial. Each has its advantages and disadvantages, and each result in varying drains on resources. Muijtjens et al. (1998) found that because of the variation in progress test difficulty, using a fixed, absolute cut off score was more precarious than norm-referenced scores.
네덜란드와 독일 컨소시엄은 컷 점수를 결정하기 위해 [Norm-referencing] 계산에 의존해 왔다(Muijtjens et al. 2008; Schauber & Nambers 2010). 비록 Angoff 프로세스처럼 [표준을 결정하기 위해 최소한의 능력의 수행에 대한 전문가 판단 간의 합의를 사용하는 방법]이 더 엄격하고 일반적으로 사용되는 방법이 더 바람직하고 방어할 수 있을지 모르나, 매년 각 시험에 대한 절차에 더 높은 비용이 수반되기에, 이 방법을 사용하기 어렵다. The Dutch and German consortia have relied on norm referencing calculations to determine cut scores (Muijtjens et al.2008; Schauber & Nouns2010). Although a more rigorous and commonly used method may be more preferable and defensible, such as the Angoff process (Muijtjens et al.1998; Verhoeven et al.1999; Basu et al.2004) which uses the agreement between expert judgements of a minimally competent performance to determine standards, the higher costs involved in such a procedure for each of the tests per year prevents the use of this method.
표준 참조의 대안이 될 수 있는 흥미로운 표준 설정 변형은 최근 Ricketts 등에 의해 입증되었다. (2009). 그들은 학생 테스트 결과와 새로 자격을 갖춘 의사의 외부 데이터 소스를 포함하는 다수의 내부 소스에 걸쳐 표준 설정 데이터를 삼각 측량하는 유용성을 보여주었다.
An interesting standard-setting variant that may be an alternative to norm referencing is one recently demonstrated by Ricketts et al. (2009). They have shown the usefulness of triangulating standard-setting data across a number of internal sources involving student test results and an external source of data from newly qualified doctors.
학생문항평가 Student item evaluation
네덜란드 발달시험 시스템에서, 학생들은 집에 가져갈 각 시험이 끝날 때 설명 없이 시험 책자와 정답을 제공받아 critical, substantiated 피드백을 제공할 수 있다(Muijtjens et al. 2010). 이것은 두 가지 귀중한 이점을 제공한다.
최종적으로 기준을 계산하기 전에 시험 결과의 사후 검토 분석 중 결함 항목의 제거를 지원함으로써 중요한 [품질 관리 메커니즘]을 제공한다.
또한 학생들이 지식을 복습, 확인 또는 교정하도록 격려함으로써 학생들의 더 깊은 학습을 장려한다.
In the Dutch progress test system, students are given the test booklet and correct answers without explanation at the completion of each test to take home so that they can provide critical, substantiated feedback (Muijtjens et al.2010). This provides two valuable advantages.
It offers an important quality control mechanism by aiding the removal of flawed items during the post-test review analysis of the test results before the final calculation of the standards.
It also encourages students’ deeper learning by encouraging them to review, confirm or correct knowledge.
발달시험 내용에 대한 [사후 학생검토]의 학습적 편익이 입증되었지만, 여러 기관에서 일반적인 관행은 아니다.
주로 시험 항목이 비밀로 유지되지 않는다는 단점 때문이다. 그 결과 문제은행의 효용성이 감소한다.
새로운 문항이 필요해짐에 따라 다음 시험에서 문항을 새로 써야하여 자원 수요가 증가하기 때문이다.
Although there are demonstrated learning benefits of student post-test reviews of the progress test content, it is not a common practice among institutions, mainly because of the disadvantage that the test items do not remain secret, thereby reducing the utility of the item bank and placing extra demands on resources from the increased need for new items to be written for each subsequent test iteration.
국내외 의장심사위원회 Local and national/international chair review committee
내용 타당성 및 발달시험의 신뢰성을 높이기 위한 중요한 원칙은 [시험 항목의 시험 후 전문가 품질 관리 검토서]를 제공하는 것이다. 이는 "전문가의 권고사항과 해당 권고사항에 대한 조치를 포함하여 이 검토 과정을 증명할 수 있는 과정 책임자의 능력이 내용타당성 보장의 핵심 요소"라는 권고사항과 일치한다(Bridge et al. 2003, 페이지 415). An important principle to enhance content validity and reliability of progress testing is the provision of expert, post-test quality control reviews of test items. This is consistent with the recommendation that“the ability of a course director to demonstrate this review process, including the recommendations of the experts and the actions taken on those recommendations, is a key factor in assuring content validity”(Bridge et al.2003, p. 415).
시험 후 검토 위원회는 모든 문항을 검토하고, 합의에 따라 최종 분석에 포함하거나 철회할 항목을 결정하여, 합격/불합격 기준을 결정한다. 또한 성과가 좋지 않은 문항을 식별하여 문제은행의 변경 또는 거절을 위해 항목 검토 위원회에 피드백을 제공할 수 있습니다. 이 정보는 또한 프레임워크의 피드백 절차의 일부로 문항 작성자에게 전달될 수 있습니다.
The post-test review committee(s) can review all items, and by consensus decide which items will be included in or withdrawn from the final analyses to determine the pass/fail standard. They can also identify questions that have not performed well and feed them back to the item review committee for change or rejection from the bank. This information can also be passed to the item author as part of the feedback procedures of the framework.
심사 위원회 구성원 구성시, [newly qualified doctor]와 정기적으로 업무를 함께하는 의사를 검토 패널에 포함시켜, 커리큘럼의 종료 시점에 요구되는 지식 수준, 즉 [newly qualified doctor]의 지식 수준을 측정하는 발달시험 원칙과 더욱 밀접하게 일치시킬 수 있다.
An adaption of the review committee membership can be to include doctors in the review panel who regularly work with newly qualified doctors, thereby more closely matching the progress test principle of measuring the knowledge level required at the end point of a curriculum, that is, of a newly qualified doctor.
이해 관계자에 대한 피드백 Feedback to stakeholders
발달시험의 기본 원칙은 더 깊은 학습을 돕기 위해 학생들에게 [발달적 및 종적 피드백]을 제공하는 효용이다. 또한 시험 결과는 항목 작성자, 교사, 교수진 및 진도 시험 개요 위원회에 귀중한 품질 관리 정보를 제공할 수 있다.
An underlying principle of the progress test is its utility in providing developmental and longitudinal feedback to students in order to aid deeper learning. The test results can also offer valuable quality control information for item authors, teachers, faculty, and the progress test overview committee.
학생들 Students
네덜란드 컨소시엄의 학생 결과에 대한 자세한 피드백은 ProF 시스템의 그래픽 질의 기반 온라인 정보를 통해 제공된다(Muijtjens et al. 2010). 그림 2는 네덜란드 컨소시엄(화이트라인)의 같은 해 모든 동료와 비교한 마스트리히트 대학 프로그램 6학년 학생의 24회 연속 측정 순간(연간 4회)에 걸쳐 보정 점수(다크라인)를 사용한 총 점수의 ProF 피드백의 예를 보여준다.
Detailed feedback of student results in the Dutch consortium is provided through graphical, query-based online information from the ProF system (Muijtjens et al.2010).Figure 2shows an example of the ProF feedback of total scores using correction scoring (dark line) across 24 consecutive measurement moments (four per year across the 6-year program) for a student in Year 6 of the Maastricht University program compared with all peers in the same year in the Dutch consortium (white line).
Figure 2.Longitudinal view of total scores on 24 consecutive measurement moments for a Maastricht University student compared with all peers from universities in the Dutch consortium.
네덜란드 컨소시엄의 파트너인 마스트리히트 대학교는 [학생들이 더 깊이 있는 학습을 돕기 위해] [그들의 진행 점수를 더 효과적으로 검토하도록 격려하기 위해] [멘토와의 의무적인 탐색과 반성]을 통해 학생들에게 더 많은 발판을 제공하고자 최근 교육적인 움직임을 보이고 있다.
Recent educational moves have been made by Maastricht University, a partner of the Dutch consortium, to provide more scaffolding for students through the mandatory exploration and reflection on their scores with their mentor to encourage them to more effectively examine their progress scores in order to aid deeper learning.
항목 작성자, 교사, 교수 및 개요 위원회 Item author, teacher and faculty and overview committee
또한 발달시험 점수는 품질 관리 메커니즘을 강화하기 위해 발달시험 시스템의 전반적인 기능에 대한 책임이 있는 항목 작성자, 프로그램의 교사, 교수 및 개요 위원회의 중요한 정보 출처이다. 예를 들어,
여러 시험에 걸쳐 구성한 특정 항목에 대한 신뢰성 점수를 문항 작성자에게 제공하는 것은 항목 작성자가 자신의 장점을 결정하고 약점을 인식하고 해결하는 데 도움이 되는 유용한 정보가 될 수 있다.
피드백은 다음에 관한 교사들의 진단, 예후 또는 교정 개입에 도움이된다.
교육과정 개발 및 교직원의 quality assurance 을 지원
관리위원회Overview committee의 발달시험 시스템의 개선을 가이드
Progress test scores are also an important source of information for item authors, teachers in the programme, faculty and the overview committee who has responsibility for the overall functioning of the progress test system in order to foster quality control mechanisms. For example,
providing the item authors with reliability scores for the specific items they constructed over several tests can be useful information in assisting them to determine their strengths and help recognise and address their weaknesses.
Feedback is also useful to teachers to assist with diagnostic, prognostic or remedial interventions,
for curriculum development and quality assurance for faculty, and
for guiding improvements in the progress test system for the overview committee.
결론 Conclusions
네덜란드 컨소시엄은 25년 역사를 통해 개선된 방법과 접근법이 개발 또는 연구됨에 따라 프레임워크의 다양한 측면을 몇 차례 변형시켰다. 이는 개선된 품질 관리 메커니즘을 유지하는 강력하고 체계적인 프레임워크를 유지하는 데 도움이 되었다. 새로운 학교로서, 페닌슐라는 10년간의 발달시험 역사 (Freeman & Ricketts 2010)에서 가장 좋은 증거를 도출할 수 있었고, 그 결과 비교적 안정적인 형식이 되었다. 그러나 의료 교육의 변화하는 환경을 반영하기 위한 피드백 방법 및 표준 설정 공식의 적응과 같은 변화가 일어났다. Over its 25 year history, the Dutch consortium has proceeded through several transformations of various aspects of the framework as improved methods and approaches have been developed or researched. This has helped to maintain a robust and systemic framework within which to maintain improved quality control mechanisms. As a new school, Peninsula was able to draw on best evidence in its 10 year history of progress testing (Freeman & Ricketts2010) resulting in a relatively stable format. However changes have occurred, such as increasing feedback methods and adaptations of standard setting formulae to reflect the moving environment of medical education.
이번 분석에 따르면, 만족스러운 수준의 타당성과 신뢰성을 촉진하도록 보장하려면, 발달시험의 구현과 유지보수를 위한 기관의 헌신과 가용자원이 필요하다는 것을 보여준다.
품질 시스템의 기본 요건은 커리큘럼이 mature함에 따라 [블루프린트의 개발 및 업데이트]가 필요하다는 것을 보여주며,
학제 간, 맥락화된, 관련성 높은 문항을 생성하기 위해 [지속적인 문항 작성 훈련]을 제공하기 위한 상당한 노력이 필요하다.
[결과의 분석 및 검토]에는 몇 가지 품질 관리 점검이 필요하며,
[이해관계자에 대한 피드백]은 분석과 모니터링을 필요로 하며,
[소프트웨어와 하드웨어]에 대한 자금 투자와 서포트에 대한 헌신은 성공적인 운영의 중요한 특징이다.
The present analysis of the framework also shows that its implementation and maintenance requires an institutional commitment and the availability of resources to ensure it promotes satisfactory levels of test validity and reliability.
The basic requirements of a quality system show that a blueprint requires development and updating by reviewers as curricula mature, and
considerable efforts are required to provide ongoing item writing training in order to produce interdisciplinary, contextualised and relevant items (Vantini & Benini2008).
The analysis and review of results requires several quality control checks, feedback to stakeholders requires analysis and monitoring, and
a commitment to software and hardware funding and support are important features of a successful operation.
Med Teach.2012;34(9):683-97.
doi: 10.3109/0142159X.2012.704437.
A systemic framework for the progress test: strengths, constraints and issues: AMEE Guide No. 71
There has been increasing use and significance of progress testing in medical education. It is used in many ways and with several formats to reflect the variety of curricula and assessment purposes. These developments have occurred alongside a recognised sensitivity for error variance inherent in multiple choice tests from which challenges to its validity and reliability have arisen. This Guide presents a generic, systemic framework to help identify and explore improvements in the quality and defensibility of progress test data. The framework draws on the combined experience of the Dutch consortium, an individual medical school in the United Kingdom, and the bulk of the progress test literature to date. It embeds progress testing as a quality-controlled assessment tool for improving learning, teaching and the demonstration of educational standards. The paper describes strengths, highlights constraints and explores issues for improvement. These may assist in the establishment of potential or new progress testing in medical education programmes. They can also guide the evaluation and improvement of existing programmes.
The use of progress testing Lambert W. T. Schuwirth • Cees P. M. van der Vleuten
소개 Introduction
발달시험은 오랜 기간 동안 Missouri-Kansas City School of Medicine and Mastricht University of Missouri-Cansa City School of Medicine 네덜란드에서만 사용된 후 네덜란드와 국제적으로 점점 더 인기를 얻고 있습니다 [10, 11]. 그러나, 평가에 대한 종방향 접근법이 본질적인 매력을 가지고 있기 때문에 개념의 급속한 확산은 그리 놀라운 일이 아니다. 학생을 반복적으로 평가하고 이러한 평가에 대한 결과를 결합하여 미래의 역량 및/또는 성과에 대한 예측을 하는 것이 직관적으로 더 논리적이다. 그것은 아동의 발달 감시 프로그램과 비슷하다. 이러한 프로그램에서 어린이의 체중을 측정하고 정기적으로 측정하고 그 결과를 가능한 한 빨리 문제를 감지하고 해결하기 위해 모집단 평균 성장 곡선과 비교한다. 이것이 아마도 이 주제에 관한 수많은 개발 논문과 연구 논문들이 최근 수십 년 동안 문학에 진출해 온 이유일 것이다. Progress testing is becoming increasingly popular both in the Netherlands and internationally [1–9] after having been used for a long time only in those institutions where it was invented: the University of Missouri-Kansas City School of Medicine and Maastricht University in the Netherlands [10,11]. The rapid spread of the concept, however, is not surprising because a longitudinal approach to assessment has an intrinsic appeal. It is intuitively more logical to assess students repeatedly and combine their results on these assessments to make predictions about future competence and/or performance. It is similar to a child’s development monitoring programme. In such programmes the child is weighed and measured at regular intervals and the outcomes are compared with population mean growth curves in order to detect and remedy problems as early as possible. This is probably also the reason why such an abundance of developmental and research papers on this topic have found their way to the literature in recent decades.
그러나 이것은 보이는 것만큼 간단하지 않다; 발달시험을 도입하는 것은 평가에 대한 생각뿐만 아니라 학문적 문화적 변화도 포함한다. 더욱이, 발달시험에 대한 협업을 모색할 때, 개방성, 비경쟁성, 교환 및 상호 신뢰가 필수적입니다. 본 논문의 목적은 가장 중요한 기대치를 요약하고 실제 실무 경험을 제공하는 것입니다.
But it is not as straightforward as it looks; introducing progress testing involves not only a change in thinking about assessment but also an academic cultural change. Even more so, when collaboration on progress testing is sought; in such situations openness, non-competitiveness, exchange and mutual trust are essential. The purpose of this paper is to summarize the most important expectations and to accompany them with experiences from actual practice.
발달시험이란? What is progress testing?
발달시험에 대한 많은 다른 설명은 주로 학생들의 기능적 지식functional knowledge에 대한 종적이고 반복적인 평가의 원칙에 수렴한다. 종종, 많은 시험이 학년별로 정해지는데, 각각의 시험은 졸업생 수준의 기능적(관련) 지식에서 출제되는 많은 문항들로 구성된다. 이 시험들은 각각 복수 또는 전년도 수업의 학생들이 응시하며, 각 개별 시험의 결과는 보상적인 방법으로 결합하여 연말에 승진 결정의 기초를 형성한다. 테스트는 광범위한 관련 의료 지식을 포괄하는 질문으로 구성되며, 중앙 집중식 테스트 생산, 검토, 관리 및 분석을 기반으로 조직적으로 구축된다. 여기에서 우리의 설명은 다양한 구현이 가능하고 더 자세한 설명은 문헌[1, 3, 5, 7, 11, 12]에 제공되기 때문에 의도적으로 일반적이다.
The many different descriptions of progress testing largely converge on the principle of longitudinal, repeated assessment of students’ functional knowledge. Often, a number of tests are set per academic year, each consisting of a large number of questions pitched at graduate level functional (relevant) knowledge. Each of these tests is sat by students of multiple or all year classes, and the results of each individual test are combined in a compensatory way to form the basis for a promotion decision at the end of the year. The test is comprehensive in that it consists of questions covering a broad domain of relevant medical knowledge, and it is organizationally founded on centralized test production, review, administration and analysis. Our description here is intentionally general because there are various different implementations possible, and more detailed descriptions are provided in the literature [1,3,5,7,11,12].
발달시험에 대한 기대 및 실용성 Expectations and practicalities of progress testing
시험 스트레스 경감 Reduction of examination stress
발달시험은 종방향 측정이기 때문에 한 번 나쁜 결과가 있더라도, 전체적인 좋은 결과를 되돌릴 수 없기 때문에 학생들이 시험 스트레스를 덜 경험할 것으로 본다 [11–13]. 독일어를 사용하는 국가에서 이루어지는 협업 발달시험은 주로 학생 주도형 [5]이며 상향식 개발을 기반으로 합니다. McMaster가 새로 도입된 발달시험을 공식적으로 평가했을 때, 상당한 비율(39%)은 스트레스를 거의 내지 전혀 받지 않는다고 보고했고, 절반 정도(48%)는 제한된 스트레스를 보고했고, 단지 적은 비율(27%)만이 중등도에서 높은 수준의 스트레스를 나타냈다[3].
Because progress tests are longitudinal measurements it is assumed that students will experience less examination stress, because a one-off bad result cannot undo a series of good results [11–13]. The—formative—collaborative progress test in the German speaking countries is even largely student led [5] and largely based on a bottom-up development. When McMaster formally evaluated their newly introduced progress test, a fair proportion (39%) of the students reported very little to no stress, a larger proportion (48%) reported limited stress and only a small proportion (27%) indicated moderate to high stress [3].
하지만, 동전의 또 다른 면이 있다; 만약 한 번의 나쁜 결과가 좋은 시리즈를 망칠 수 없다면, 나쁜 시리즈를 만회하는 것도 마찬가지로 어렵다. 이는 특히 학생들이 졸업을 앞둔 시점, 다른 모든 시험요건을 충족시켰지만 여전히 발달시험의 성적이 좋지 않은 상황이 발생할 수 있다. 이 경우 일련의 좋지 않은 발달시험 결과를 교정해야 하며, 그 이후의 각각의 상황은 그러한 학생들에게 스트레스를 준다고 생각할 수 밖에 없으며, 실제로 우리의 경험상 그러하다.
Yet, there is another side of the coin; if a single bad result cannot ruin a good series it is likewise difficult to make up for a bad series. This is particularly an issue when students are about to graduate, and all other examination requirements have been met, but they still have poor progress test results. A bad series of progress test results then has to be remediated, and one can safely assume that each of the subsequent sittings is a stressful event for those students, and in our experience in practice they are.
반복 검사가 불필요해집니다. Repeat examinations become unnecessary
발달시험의 또 다른 보고되는 이점은 재시험resit를 불필요하게 만든다는 것입니다. 재시험은 조직에게 부담이 된다. 그들은 소수의 학생들만을 위한 양질의 시험이어야 한다. 또한, 학생들은 미니멀리즘적인 공부 방식을 채택하도록 이끌 수 있다. 왜 항상 재시험이 있는데 굳이 열심히 공부해야 할까? [14] 그러나 다시 말하지만, 그 부작용은 어려움에 처한 학생들은 재빠른 반복 가능성이 없고, 매우 부정적인 재정적 결과를 초래하면서, 그들의 졸업을 당분간 연기할 필요가 있을 수 있다는 것이다.
Another reported advantage of progress testing is that it renders resit examinations unnecessary. Resits are a burden for the organization; they have to be good quality examinations for only a small number of students. Also, they can lead students to adopt a minimalistic study approach; why study hard when there are always the resits [14]? But again, the side effect is that students in trouble have no quick repeat possibility, and may need to defer their graduation for some time, with very negative financial consequences.
학생 학습의 긍정적인 영향 Positive influence of student learning
학생 학습에 긍정적인 영향을 준다는 것에는 논쟁의 여지가 없다. 이것이 사실 발달시험이 원래 개발되었던 이유이며 [10, 11] 다양한 구현에서 이러한 긍정적인 효과를 뒷받침하는 증거가 있다. 맥마스터에서는 이 시험을 통해 학생들이 더 지속적으로 공부하고 더 나은 지식 기반을 구축하여 국가 면허 시험에 더 잘 대비할 수 있게 되었다[15]. 발달시험의 긍정적인 효과는 의학 지식의 성장을 보여주는 곡선으로부터 명확하게 볼 수 있다. 기능적 지식의 양은 (큰 봉우리나 수조 없이) 지속적으로 증가한다는 것을 알 수 있을 뿐만 아니라, 기본 지식이 연중 내내 유지된다는 것을 알 수 있다[3, 5, 11, 12, 16–18]. Non-PBL 또는 Non-Integrated 교육과정에서 발달시험을 사용한 경우에도 이러한 지속적인 성장이 발생했지만 [8, 9] 발달시험이 프로그램의 총괄적 요소가 아닐 때 성장 곡선은 더 불규칙했다. [19]
Undisputed is the positive influence on student learning. This is actually why progress testing was originally developed [10,11], and in the various implementations there is evidence to underpin this positive effect. In McMaster the test led students to study more continuously and to build a better knowledge base, preparing them better for the national licensing examinations [15]. The positive effect of progress testing can be seen clearly from curves showing the growth of medical knowledge. Not only can it be seen that the amount of functional knowledge grows continuously (without huge peaks and troughs), but also that the basic knowledge is retained over the year classes [3,5,11,12,16–18]. Though such continuous growth occurred even if non-problem based learning or non-integrated curricula used progress testing [8,9], growth curves were more irregular (with more peaks and troughs) when progress testing was not a summative element of the programme [19].
그러나 어떤 평가 방법도 공백 상태에서 학생 학습에 영향을 미칠 수 없다. 항상 평가 프로그램의 나머지 부분에서 효과가 있다[14, 20]. 마스트리히트에 진도 테스트가 도입되고 블록 테스트가 형성평가가 되었을 때, 학생들은 지속적인 자기 주도 학습으로 초점을 바꾸었지만, (mastery-oriented) 블록 테스트가 다시 총괄평가가 되자, 많은 학생들은 발달시험은 그대로였음에도 불구하고 단기 암기로 되돌아갔다.
However, no assessment method can exert its influence on student learning in a vacuum; it always works in the context of the rest of the assessment programme [14,20]. When progress testing was introduced in Maastricht and block tests were made formative, students changed their focus to continuous self-directed learning, but when the—mastery orientated—block test was made summative again, many students reverted to short-term memorization despite the progress test remaining unchanged.
더 나은 예측 타당성 Better predictive validity
또 다른 가정된 장점은 종방향 데이터 수집이 일회성 측정보다 미래 역량/성능을 더 잘 예측한다는 것이다. 이를 위해, 후속 시험의 정보를 어떻게 결합할지를 선택해야 한다. 어떤 학교는 보다 연속적인 접근방식으로 [3] 회귀 기법을 사용하여 예측을 하고, 다른 학교들은 정보의 이산성을 인정하고 qualification을 결합한다[5, 11, 13]. 우리가 보기에는 이 두 가지 모두 방어가능한 선택이지만, 그보다 난이도의 변동을 동일시하거나 제어하는 것이 더 시급한 문제라고 생각한다.
Another assumed advantage is that longitudinal data collection is more predictive of future competence/performance than one-off measurements. For this, choices have to be made with respect to how to combine the information of subsequent tests. Some schools opt for a more continuous approach [3] and use regression techniques to make predictions, others acknowledge the discrete nature of the information and combine qualifications [5,11,13]. We feel that both are defensible choices but that equating or controlling for difficulty variation is a more pressing issue.
랑게르 외 [21]에서는 이 문제에 대해 자세히 설명하고 몇 가지 해결 방법을 제안했습니다. 불행히도 대부분의 해결책은 의과대학 환경에서 실용적이지 않다[21–25].
등가 기법은 정상적인 루틴에서 적용이 불가능할 수 있으며(앵커 항목의 사용은 학생들이 오래된 테스트를 암기하도록 유도할 수 있다),
항목 반응 이론(IRT)은 단순히 실용적이기 위해 너무 많은 사전 테스트가 필요할 수도 있다.
반면에 베이지안 모델[24] 또는 이동 평균 기술[22, 23]과 같은 더 실현 가능한 통계 평활 기법은 특히 통계 절차에 의해 원래 점수가 하향 조정되어야 하는 학생들에게 설명하기가 너무 어려울 수 있다. 이것은 이미 대학의 발달시험 개념에 대한 수용에 대한 이미 암담한 기반을 심각하게 제한할 것이다.
Langer et al. [21] have elaborated on this problem and have suggested some solutions. Unfortunately, most solutions are not practical in a medical school setting [21–25].
Equating techniques may be impossible to apply in the normal routine (the use of anchor items may induce students to memorize old tests) and
item response theory (IRT) may simply require too much pretesting to be practical either.
More feasible statistical smoothing techniques such as Bayesian models [24] or moving average techniques [22,23] on the other hand may be too difficult to explain, especially to students whose original score has to be downgraded by the statistical procedures. This would seriously limit the already rocky base for university acceptance of the concept of progress testing.
의사 결정의 신뢰성 향상 Better reliability of decisions
마지막으로, 결과의 종적 결합은 결정의 신뢰성을 더한다. 1980년대, 그리고 이후의 연구[26, 27]에서는 [표본 추출 특성]이 [시험이 얼마나 잘 구조화되었는지]보다 신뢰성에 훨씬 더 중요하다는 것을 명확히 했다 [28]. 각각 200개 항목(마스트리히트의 경우)에 대한 네 가지 테스트의 결합된 결과가 하나의 큰 테스트보다 낫고, 다양한 경우에 걸쳐 분포된 큰 테스트는 일회성 큰 테스트보다 더 나은 샘플링이 있다고 가정하는 것이 논리적이다.
Finally, longitudinal combination of results adds to the reliability of the decision. Research in the 1980s and onwards [26,27] has made it clear that the sampling properties are much more important for reliability than how well structured the test is [28]. It is logical to assume that the combined result of four tests of 200 items each (in the case of Maastricht) is better than one big test, and a large test distributed over various occasions has better sampling than a one-off large test.
리케츠 외 [29] generalizability theory을 사용하여 이를 정량화하고, 측정의 표준오차(SEM)를 시험당 항목 수와 연간 시험 수 사이의 trade-off으로 보고하였다. 연구 결과는 연간 200개 항목의 두 가지 테스트가 각각 100개 항목의 네 가지 테스트 또는 100개 항목의 다섯 가지 테스트보다 더 신뢰할 수 있는 결과(낮은 SEM)를 산출한다는 것을 보여준다. 그래서 더 많은 기회를 갖는 것은 가치가 있지만, 단순히 더 많은 기회를 갖는 것이 더 낫지 않다.
Ricketts et al. [29] quantified this using generalizability theory and reported the standard errors of measurement (SEM) as a trade-off between number of items per test and number of tests per year. Their findings indicate that two tests of 200 items per year produce more reliable results (lower SEMs) than four tests of 100 items each, or even five tests of 100 items. So although there is value in having more occasions it is not simply more-occasions-is-better.
신뢰성의 또 다른 중요한 논의 포인트는 대부분의 발달시험은 정답-빼기-오답 채점 시스템을 사용한다는 것이다. 이것은 시험이 저학년 학생에게도 시행되기 때문에 필요하다. 대부분의 질문에 대답할 수 없는 우리 후배들이 많은 항목을 추측하도록 강요받는 것은 바람직하지 않다고 여겨집니다. 따라서 공식채점formula scoring과 함께 물음표 옵션이 제공되어야 한다.
Another important discussion point in reliability is that most progress tests employ a correct-minus-incorrect (formula) scoring system. This is necessary because the tests are also administered to junior students. It is not considered desirable that our junior students—not being able to answer most of the questions—would be forced to guess on many items. Therefore, a question-mark option has to be offered with formula scoring.
이것이 발달시험 점수의 신뢰성을 떨어뜨리는지는 논쟁의 여지가 있다. 공식채점 조건에서 시험을 실시할 때 정답숫자 신뢰성의 수가 더 높습니다(약 0.20의 차이(네덜란드 대학 간 진행 테스트의 미발표 결과)). 그러나 공식 채점과 정답 숫자 조건에서 점수를 비교한 실험 연구는 공식 채점에 대해 더 나은 신뢰성을 보여주었다 [30, 31].
Whether or not this decreases the reliability of progress test scores is open to debate. When the test is taken under formula scoring conditions the number of correct reliabilities is higher—the difference being roughly 0.20 (unpublished results of the interuniversity progress test in the Netherlands)—but experimental studies where scores under formula scoring and number-right conditions were compared showed better reliabilities for the formula scoring [30,31].
종합적인 시험은 시험에 능통한 학생들에게는 예측하기가 어렵다. Comprehensive tests are less predictable for the test-savvy students
시험 내용의 포괄성도 종종 장점으로 간주된다. 전략적인 수정이 작동하지 않기 때문이다(의학적 지식 전체를 표본으로 추출한다면 무엇을 공부할 것인가?) [3, 11, 15, 32, 33]. 따라서 종단적 성격이 시험의 촉박함과 위협적 성격에 영향을 미치며, 시험의 포괄성은 [꾸준한 공부만이 최선의 준비]가 될 수 있는 방식으로 평가 자료의 특성에 영향을 미친다[34]. The comprehensiveness of the test content is often seen as an advantage too, because specific strategic revision does not work (what would you study if the whole of medical knowledge is sampled from?) [3,11,15,32,33]. So the longitudinality influences the imminence and threatening nature of the test [34] and the comprehensiveness influences the nature of assessable material in such a way that the best preparation is continuous learning [34].
하지만 이것에는 또 다른 면이 있습니다. 왜냐하면 평가 가능한 내용의 본질이 무엇인지 매우 명확해야 하기 때문입니다. 다시 말해서, 관련된 기능적 지식은 무엇이고 그렇지 않은 것은 무엇인가? 이것은 여전히 해결되지 않은 문제이다. 시험 작성자, 검토자 및 사용자가 각 문항의 목적적합성에 대해 합의할 수 있도록 '관련성'의 실현 가능한 조작화operationalization가 필요하다.
But there is, again, another side to this, as it has to be very clear what the nature of assessable material is. In other words, what is relevant functional knowledge and what is not? This is an issue that still remains unresolved. It will take a feasible operationalization of ‘relevance’ for test writers, reviewers and users to be able to agree on the relevance of each item.
커리큘럼 독립성 및 협업 Curriculum independence and collaboration
마지막 장점은 진도 시험의 커리큘럼 독립성이다. 졸업생 수준에서 지식을 테스트하기 위해 설계되었다는 사실은 그것이 공동 생산, 공동 행정, 공동 연구에 완벽하다. 새롭게 부상하고 있는 수많은 협업[1, 2, 5–9, 35]이 그 증거입니다. 협업이 쉽거나 자연스럽게 이뤄진다는 말은 아니다. 예를 들어, 학교는 평가 자료의 완전한 소유권을 갖는 데 익숙해져 있고, 협력은 그들이 그 소유권 중 일부를 포기해야 한다는 것을 의미합니다. 또한 시험 행정의 조정, 상호의존성 및 분업화는 상당한 기반구조와 행정적 장애를 초래할 수 있다[6].
A final advantage is the progress test’s curriculum independence. The fact that it is designed to test knowledge at graduate level makes it perfect for joint production, joint administration and joint research. The many emerging collaborations [1,2,5–9,35] are proof of this. This is not to say that collaboration is easy or comes naturally. Schools for example are used to having complete ownership of their assessment material and collaboration means that they have to give up some of that ownership. Also coordination of test administrations, mutual dependency and division of labour may present considerable infrastructural and administrative hurdles [6].
에필로그 Epilogue
발달시험은 사용 가능한 평가 방법에 중요한 추가 사항임이 분명합니다. 평가 프로그램에서는 현재의 방법을 대체하기 위해서가 아니라 추가하는데 사용되어야 한다는 것이 명확해졌다 [20, 36, 37]. 장단점, 지표와 제약에 대한 충분한 지식이 발달시험을 잘 활용하기 위한 전제조건이며, 본 논문이 이에 기여했기를 바란다.
Progress testing is definitely an important addition to the available assessment methods. It has become clear that in a programme of assessment it should not be used to replace current methods but to add to them [20,36,37]. Good knowledge of the pros and cons, the indications and contraindications, is a prerequisite for good usage of progress testing, and we hope this paper has contributed to this.
핵심 Essentials
발달시험은 기능적 지식 또는 역량에 대한 개발을 평가하기 위해 고정된 간격으로 주어진 동등한 시험에 기초한 종적 시험 접근법이다.
발달시험의 가장 큰 장점은 테스트 중심 학습 전략을 최소화한다는 것입니다.
반복 테스트의 결과를 결합하면 합격-불합격 결정의 신뢰성과 예측 유효성을 모두 높일 수 있습니다.
발달시험과 관련된 주요 관심사는 개별 테스트의 동등성 보장입니다.
테스트 생산 및 관리를 공유하는 공동 작업 방식으로 발달시험을 사용하는 경우 비용-효율적일 뿐만 아니라 지속적인 벤치마킹과 품질 개선을 위한 풍부한 원천이 됩니다.
Progress testing is a longitudinal test approach based on equivalent tests given at fixed intervals with the intention to assess the development on functional knowledge or competence
The biggest advantage of progress testing is that it minimizes test-driven learning strategies
Combining the results on the repeated tests increases both the reliability of pass–fail decisions and its predictive validity
A major concern with progress testing is ensuring the equivalence of the individual tests
When progress testing is used in a collaborative fashion—sharing test production and administration—it is not only more cost-effective but also a rich source for continuous benchmarking and quality improvement
1Flinders Innovation in Clinical Education, Flinders University, Adelaide, Australia ; Department of Educational Development and Research, Maastricht University, Maastricht, the Netherlands.
Progress testing is gaining ground rapidly after having been used almost exclusively in Maastricht and Kansas City. This increased popularity is understandable considering the intuitive appeal longitudinal testing has as a way to predict future competence and performance. Yet there are also important practicalities. Progress testing is longitudinal assessment in that it is based on subsequent equivalent, yet different, tests. The results of these are combined to determine the growth of functional medical knowledge for each student, enabling more reliable and valid decision making about promotion to a next study phase. The longitudinal integrated assessment approach has a demonstrable positive effect on student learning behaviour by discouraging binge learning. Furthermore, it leads to more reliable decisions as well as good predictive validity for future competence or retention of knowledge. Also, because of its integration and independence of local curricula, it can be used in a multi-centre collaborative production and administration framework, reducing costs, increasing efficiency and allowing for constant benchmarking. Practicalities include the relative unfamiliarity of faculty with the concept, the fact that remediation for students with a series of poor results is time consuming, the need to embed the instrument carefully into the existing assessment programme and the importance of equating subsequent tests to minimize test-to-test variability in difficulty. Where it has been implemented-collaboratively-progress testing has led to satisfaction, provided the practicalities are heeded well.
The progress test of medicine: the Dutch experience (Perspect Med Educ,2016) René A. Tio1 · Bert Schutte2 · Ariadne A. Meiboom3 · Janke Greidanus4 · Eline A. Dubois5 · Andre J. A. Bremers6 · the Dutch Working Group of the Interuniversity Progress Test of Medicine
소개 Introduction
진정한 문제 기반 학습(PBL) 커리큘럼은 '적극적이고 자기 주도적인 방식으로 지식을 습득하고 구조화하는 것을 목표로 한다'[1]. 비평가들은 그러한 프로그램의 타당성에 의문을 제기할 수 있으며, 이러한 방식으로 가르친 학생들이 그들의 지식에서 결여를 발전시킬 수 있다고 주장한다. [2] 그러한 커리큘럼에 적합한 평가 프로그램을 개발하는 것은 도전이다. 지식의 평가, 그리고 더 나아가서 지식 증가현황의 모니터링은 PBL 커리큘럼과 다른 커리큘럼의 외부 및 내부 타당도 검사에 대한 요건으로 간주될 수 있다. 이를 해결하고 지식 습득이 요구되는 수준이라는 것을 증명하기 위해 미주리와 마스트리히트에서 1970년대에 발달시험이 도입되었습니다 [3, 4]. 그 이후로 발달시험의 사용이 증가했습니다. 현재 발달시험을 사용하지 않는 대륙은 없다[5]. 이 짧은 개요에서 우리는 네덜란드에서 발달시험의 형태적 측면과 종합적 측면을 포함한 현재 상황을 설명한다. 또한 벤치마킹을 위한 사용에 대해서도 논의될 것이다. A true problem-based learning (PBL) curriculum ‘aims at acquisition and structuring of knowledge …. in an active iterative and self-directed way’ [1]. Critics may question the validity of such a programme and argue that students taught in this way may develop deficiencies in their knowledge [2]. It is a challenge to develop an assessment programme fit for such a curriculum. Assessment of knowledge and even more so monitoring knowledge growth may be considered a requirement for external and internal validation of a PBL curriculum and also other curricula. In order to address this and to prove that knowledge acquisition is at the required level, progress testing was introduced in the 1970s in Missouri and Maastricht [3,4]. The use of progress testing has increased ever since. Nowadays there is no continent (except for Antarctica) where progress testing is not used [5]. In this short overview we describe the present situation including the formative and summative aspects of progress testing in the Netherlands. Furthermore, its use for benchmarking will be discussed.
네덜란드에 발달시험이 처음 도입된 이후 많은 것이 바뀌었다. 처음에, 8개의 의과대학 중 단 한 곳만이 그것을 사용했다. 1990년대 이후 이 숫자는 급격히 증가하여 현재 5개 학교가 네덜란드 발달시험에 참여하고 있으며, 2015-2016학년도에 6번째 학교가 시작될 것이다. 이는 만 명 이상의 학생들이 동시에 시험을 치르는 것을 의미한다. 우리는 지역 물류와 지역 및 국경일을 고려하여 협력해서 날짜를 미리 계획합니다. 시험은 200개 항목에 대한 4개 분기별 시험으로 구성된다. 이러한 항목은 고정 2차원 행렬(표 1)에 따라 분포되어 있습니다. 1년에 4번 200개 항목의 시험을 사용하는 것은 모든 연간 코호트에 대한 높은 신뢰도를 가지고 있다. 크론바흐의 알파 범위는 0.898 - 0.943이며, 평균은 0.92였다. 또한, 그러한 높은 시험당 항목 수를 사용하는 것은 시험 내 항목의 큰 하위 범주에 대한 적절한 신뢰성을 제공한다[6].
Many things have been changed since the first introduction of progress testing in the Netherlands. Initially, only one of the eight medical schools used it. Since the 1990s the number has increased rapidly and at present five schools are participating in the Dutch progress test and a sixth will start in the academic year 2015–2016. This means that more than 10,000 students sit the exam at the same time. In our collaboration we plan the dates well ahead taking into account local logistics and local and national holidays. The exam consists of 4 quarterly tests of 200 items each. These items are distributed according to a fixed two-dimensional matrix (Table 1). Using a test with 200 items 4 times a year has a high reliability for all the year cohorts. Cronbach’s alpha ranged from 0.898 to 0.943 with a mean of 0.92 during the period from 2005 to 2011. Furthermore, using such a high number of items per test also introduces adequate reliability for large subcategories of items within the test [6].
단일 기관에서 다기관 시험으로 시험을 발전시키는 동안, 결과는 지속적으로 평가되었고 가능한 한 개선이 구현되었다. 이 예는 다음과 같습니다. 협력 초기에 마스트리히트 학생들은 다른 참여 학교들보다 더 좋은 점수를 받았다. 이는 당시 대부분의 문항이 마스트리히트에서 출제되었다는 사실과 관련이 있었다. 이는 다른 참여 학교들이 품목 생산을 증가시키고자 하는 강한 충동이었고, 이제 모든 학교들은 각 시험에 동등하게 기여한다[7]. 이런 식으로 시험은 하나에서 더 많이 강조되고 다른 커리큘럼에서는 덜 강조된 특정 문제와 관련된 더 많은 항목을 가지고 있기 때문에 어느 학생도 혜택을 받지 못한다. 오늘날 참여 학교들 사이에는 큰 차이가 없다. 시험 항목의 품질을 유지하기 위해 모든 항목은 항목 구성 및 문헌 참조와 관련된 엄격한 기준을 충족해야 한다. 모든 항목은 필요한 경우 지역 검토 위원회가 먼저 확인한 후 테스트에 사용하기 전에 국가 검토 과정에 들어갑니다. 각각의 시험 후에 모든 학생들은 그들이 틀렸다고 생각하는 항목에 대한 해설을 보낼 수 있다. 이러한 의견들은 우선 지역 심의위원회에서 논의된다. 그 후, 의심스러운 항목에 대한 최종 결정은 전국 회의에서 내려집니다.
During the evolution of the test from one single institution to a multicentre test, results have continuously been evaluated and whenever possible improvements implemented. This is illustrated by the following example. In the beginning of the cooperation, Maastricht students scored better than those of the other participating schools. This was related to the fact that most questions originated from Maastricht at that time. This was a strong impulse for the other participating schools to increase item production and now all schools contribute equally to each test [7]. In this way none of the students benefit because the test has more familiar items or more items related to specific issues highlighted more in one and less in another curriculum. Nowadays no large differences between the participating schools are present. In order to maintain quality of test items all items have to fulfil strict criteria regarding item construction, and literature references. All items are first seen by a local review committee, if necessary rewritten, and then enter a national review process before they can be used in a test. After each test all students can send in commentary on items they think are not correct. These comments are first discussed in the local review committees. Subsequently, the final decision about questionable items is made in a national meeting.
다른 학교에서 실시하는 시험은 커리큘럼을 비교할 수 있는 강력한 도구이다[8]. 우리의 경우, 다른 커리큘럼에서 PBL의 비율은 기존(비PBL), 기존과 PBL 사이의 하이브리드에서 거의 완전히 PBL에 이르기까지 다양하다. 이것은 PBL 학교의 학생들이 비 PBL 학교의 학생들과 비슷하게 수행하는지 여부를 질문할 수 있는 가능성을 제공한다. 이것은 이전 논문에서 조사되었다. 두 개 시험점수만 고려되었지만 전반적으로 체계적인 차이는 발견되지 않았다. 그러나 하위 범주에서는 차이가 존재했습니다. 비 PBL 학교의 학생들은 기초 과학 항목에서 더 높은 점수를 받은 반면, PBL 학교의 학생들은 사회 과학 항목에서 더 높은 점수를 받았습니다 [9]. 이런 방식으로 학교 간, 그리고 코호트 간의 차이를 감시할 수 있다. 이러한 데이터는 커리큘럼을 비교하고 커리큘럼 변경, 학생의 성과 및 학습 영역 간의 관계를 평가하는 데 유용할 수 있다[10, 11]. A test which is conducted at different schools is a powerful instrument to compare curricula [8]. In our case the proportion of PBL in the different curricula varies from traditional (non-PBL), a hybrid between traditional and PBL to almost completely PBL. This gives the possibility to pursue the question whether students in a PBL school perform similarly to those in a non-PBL school. This was investigated in a previous paper. Although only two tests were taken into account, overall no systematic differences were found. However, in subcategories differences were present. Students from non-PBL schools scored higher on basic science items whereas students from a PBL school scored better on social science items [9]. In this way differences between schools and between cohorts can be monitored. Such data can be useful for comparing curricula and for evaluation of curriculum changes, students’ achievements and relationship between learning domains [10,11].
시험이 졸업반 수준의 시험이기 때문에, 학부생들이 모든 학습 자료를 다 알고 있을 것이라고 기대할 수는 없다. 따라서, 발달시험에서는, 학생들이 추측하도록 강요하거나 학생들이 알지 못한다는 것을 인정할 수 있는 기회를 주는 것 중 하나를 선택해야 합니다. 우리는 학생들이 우리가 [알 수 없음question mark option]을 사용하는 모든 것을 알 수는 없다는 것을 배우는 것이 중요하다고 느끼기 때문이다. 이것은 학생들이 답을 모를 경우 인정할 수 있는 기회를 준다. 발달시험은 이러한 형태의 채점을 사용하므로 실제 환경real life setting에서 평가할 수 있습니다. 이러한 목적을 위해 학생들은 답을 모를 때 가장 옳다고 생각하는 선택지를 표시하도록 요구받았다.
Since the test is a test at the end level, it cannot be expected that undergraduate students know all the study material. Therefore, in case of progress testing the choice has to be made between forcing students to guess or giving them the opportunity to acknowledge that they do not know. Since we feel that it is important for students to learn that they cannot know everything we use the question mark option. This gives students the opportunity to acknowledge if they do not know the answer. Since the progress test uses this form of marking we could evaluate it in a real-life setting. For this purpose students were asked to indicate the option they thought the most correct when they did not know the answer.
공식채점formula scoring이 옳게 답한 질문의 비율을 낮춘다는 것을 관찰했다. 이는 모든 질문에 답하도록(추측) 강요함으로써 부분 지식이 더 잘 동원될 수 있다는 가정에 유리하다 [11]. 심리학적 분석에 따르면 공식채점formula soring은 추측하는 경향이 덜한 학생들에게 불리할 수 있지만, 위에서 언급한 다른 교육적 고려 사항도 평가되어야 한다. 더욱이, 시험의 신뢰성에 관한 한, 공식채점 시험은 숫자 정답 채점 방식보다 더 나쁠 수도 있고 좋을 수도 있다.
We observed that formula scoring yielded a lower percentage of correctly answered questions. This favours the assumption that partial knowledge can better be mobilized by forcing them to answer (guess) all questions [11]. Although psychometric analysis showed that formula scoring may be a disadvantage for students who are less inclined to guess, other educational considerations as mentioned above should also be valued. Furthermore, as far as reliability of a test is concerned, it has previously been shown that formula scoring tests may perform better than number right scoring tests, [12,13] as well as worse [14].
각 시험 학생들은 양호/합격/실패 점수를 받는다. 모든 연도의 평균 및 표준 편차를 고려하여 상대 표준 설정이 사용됩니다. 그 기준은 연구가 진행됨에 따라 증가한다. 다음 각 테스트는 합격하기 위해 더 높은 점수를 요구합니다. 매년 연말에 학생들은 4개의 시험들의 조합에 기초하여 시험에 전반적인 합격 또는 불합격한다. 이러한 방식으로 발달시험의 합격-불합격 결정은 단일 측정을 기반으로 하는 것이 아니라 4의 조합을 기반으로 합니다. 시험에 합격하기 위한 전반적인 기준은 매년 적절한 수준의 지식을 습득하여 충분한 '합격' 또는 '우수' 점수에 반영되는 것이다. 하나 이상의 '실패'가 발생할 경우 충분한 '합격'과 '우량' 점수로 보상해야 합니다.
For each test students receive a score Good/Pass/Fail. A relative standard setting is used, taking into account the mean and standard deviation of all year cohorts. The standards increase with the progress in their study. Each following test requires a higher score to get a pass. At the end of each year students receive an overall pass or fail for the exam based on the combination of the 4 tests. In this way the pass-fail decision of the progress test exam is never based on a single measurement but on a combination of 4. The overall criteria to pass the exam is that each year an adequate level of knowledge is acquired, which is reflected in sufficient ‘pass’ or ‘good’ scores. In case of one or more ‘fails’ this should be compensated for by sufficient ‘pass’ and ‘good’ scores.
시험은 5개의 다른 학교에서 실시되기 때문에, 종합적 결정을 일치시키는 데 가장 큰 관심이 주어집니다. 이러한 목적을 위해 4가지 형성 시험의 결과를 총괄적 결정(실패, 합격 또는 양호)으로 변환하는 전국적인 방법이 받아들여졌다. 그 결과, 가능한 모든 조합(81)이 포함된 표(각각 해당 종합 결과 포함)가 작성되었다. 비록 우리는 국가 실무그룹으로서 이것에 동의하지만, 최종 결정은 각 지역 심사 위원들에게 달려 있다. 결과에도 영향을 미칠 수 있는 차이를 방지하기 위해, 일반 정책은 모든 지역 이사회에 의해 인수되는 경향이 있으며, 이는 모든 조합이 있는 이 표의 경우에 해당된다.
Since the test is conducted at 5 different schools, the greatest care is given to aligning the summative decisions. For this purpose a nationwide way of translating the results of the 4 formative tests into a summative decision (fail, pass or good) has been accepted. This resulted in a table in which all possible combinations (81) are included, each with their corresponding summative result. Although we agree upon this as national working group, the final decision lies with each local board of examiners. In order to prevent differences that may also influence the results, the tendency is that the general policy is taken over by all the local boards, which is the case for this table with all the combinations.
평가가 학습을 추진한다는 가정은 교육에서 널리 받아들여지는 도그마이다 [4, 14–17]. 각 발달시험의 항목은 고정 2차원 행렬(표 1)에 따라 분포되어 있다. 각 시험 후 학생들은 시험지를 가지고 갈 수 있으며, 정답 키는 곧 출판된다. 이렇게 하면 답변을 확인하고 부족한 점을 식별할 수 있습니다. 분기별 테스트의 항목 분포는 동일하므로 다음 테스트에서 특정 하위 범주의 점수를 향상시킬 수 있습니다. 또한 PROgress test Feedback system 'PROF'라는 온라인 피드백 시스템을 구축하였다(그림 1과 그림 2). 이 시스템을 통해 학생들은 전체 점수(그림 1)와 부문별 점수(그림 2)에 대한 이해를 얻을 수 있으며, 자신의 점수를 동료 그룹, 시험 모멘트 당 평균과 비교할 수 있다[18]. 이 지속적이고 반복적인 테스트와 피드백의 맥락에서, 우리는 학생들이 그들의 결함을 복구하도록 자극하는 강력한 도구를 구성했다. PROF 시스템의 높은 사용 또한 높은 지식 증가와 관련이 있었다(Donkers et al., 출판용으로 제출된 Donkers et al.) [19]. 이러한 맥락에서 발달시험은 지식 성장을 감시하는 형태 형성적 평가 도구로도 사용할 수 있는 귀중한 도구라는 점을 언급하는 것이 중요하다[20].
The assumption that assessment drives learning is a widely accepted dogma in education [4,14–17]. The items in each progress test are distributed according to a fixed two-dimensional matrix (Table 1). After each test students are allowed to take the test booklet with them and the answer key is published shortly after. In this way they can check their answers and identify their deficiencies. Since each of the quarterly tests has the same item distribution they can improve their score in certain subcategories in the following tests. In addition we constructed an online feedback system called PROgress test Feedback system ‘PROF’ (Fig. 1and Fig. 2). This system allows students to gain understanding in their overall score (Fig. 1) as well as their scores per discipline or per category (Fig. 2) and to compare their own score with the average in their peer group, per test moment but also longitudinally [18]. In the context of this continuous and repeated testing and feedback, we have constructed a powerful tool to stimulate students to repair their deficiencies. A higher use of the PROF system was also associated with a higher knowledge growth (Donkers et al. submitted for publication) [19]. In this context it is important to mention that progress testing is also a valuable tool to use as a formative assessment monitoring knowledge growth [20].
마지막으로, 발달시험은 커리큘럼의 유일한 평가가 아니라는 것을 깨달아야 한다. 그것은 종종 다양한 평가 도구에 의한 기술과 역량의 블록 테스트와 평가를 포함하는 전체 평가 프로그램의 일부이다. 따라서 그것은 다른 모든 평가에 추가되는 평가이기 때문에 constructive alignment의 틀 밖에서 사용될 수 있다. 커리큘럼의 가장 중요한 지식 평가가 될 수 있다는 것을 깨달아야 한다.
Finally, it should be realized that a progress test is not the only assessment in a curriculum. It is part of the complete assessment programme which often includes block tests and assessment of skills and competencies by a wide variety of assessment tools. As such it can be used outside the framework of constructive alignment as it is an assessment in addition to all other assessments. It should be realized that it could be the most important (if not the only) knowledge assessment of a curriculum.
결론 Conclusion
네덜란드 발달시험은 몇 가지 이유로 인해 특별하다. 5개 의과대학이 시험생산은 물론 시험생성, 채점생성 등에서 협력하는 교육과정 독립시험이다. 그것은 평가의 형성적 측면과 총괄적 측면을 결합한다. 의과대학 커리큘럼의 최종 단계에서 커리큘럼-독립적 평가입니다. 마지막으로, 이는 예를 들어 커리큘럼 비교와 커리큘럼 변화 모니터링과 같은 학생, 연구자, 학교 및 정책 입안자들에게 풍부한 정보 출처이다.
The Dutch progress test is extraordinary for several reasons. It is a curriculum-independent test in which 5 medical schools cooperate in test production, as well as testing and scoring students. It combines formative and summative aspects of assessment. It is a curriculum-independent assessment at the end level of the medical curriculum. Finally, it is a rich source of information for students, researchers, schools and policymakers, for instance for comparing curricula and monitoring curricular changes.
Perspect Med Educ.2016 Feb;5(1):51-5.
doi: 10.1007/s40037-015-0237-1.
The progress test of medicine: the Dutch experience
Progress testing in the Netherlands has a long history. It was first introduced at one medical school which had a problem-based learning (PBL) curriculum from the start. Later, other schools with and without PBL curricula joined. At present, approximately 10,000 students sit a test every three months. The annual progress exam is not a single test. It consists of a series of 4 tests per annum which are summative in the end. The current situation with emphasis on the formative and summative aspects will be discussed. The reader will get insight into the way progress testing can be used as feedback for students and schools.
Supporting a teacher identity in health professions education: AMEE Guide No. 132 Thea van Lankvelda , Harish Thampyb , Peter Cantillonc , Jo Horsburghd and Manon Kluijtmanse
도입 Introduction
저는 의사로서의 제 역할을 꼭 지키고 싶어요. 그리고 제가 학생들에게 환자를 진찰하는 법을 가르치기 위해 침대 옆에 서 있을 때, 저는 제가 의사라는 것을 느낍니다. 나는 그때 내가 선생님이라고 생각하지 않는다. (Van Lankveld et al. 2017a) I really want to hold on to my role as a doctor. […] And when I’m standing at a bedside to teach students how to examine patients, I do feel that I’m a doctor. I don’t see myself as a teacher then. (Van Lankveld et al.2017a)
직업적인 시간을 어디에 투자할지 결정할 때, 우리는 우리가 누구인지, 그리고 우리가 되고 싶은 사람에 대한 우리의 이해를 암묵적으로 또는 명시적으로 고려합니다. 다시 말해서, 우리의 직업적 정체성입니다. 우리가 일에 대해 이야기할 때, 우리는 특정한 방식으로 우리 자신을 표현하고, 따라서 전문적인 정체성을 형성합니다. 우리가 스스로를 정당화하거나 특정 직업 집단과 제휴할 때, 우리는 우리가 누구인지, 혹은 되고 싶어 하는 것에 대한 우리의 이해에 비추어 이것을 하고, 그렇게 함으로써, 우리는 또한 우리가 누구인지에 대한 다른 사람들의 인상을 관리하고, 따라서 전문적인 정체성을 협상합니다. When we make decisions about where to invest our professional time, we either implicitly or explicitly take into consideration our understanding of who we are and who we would like to be. In other words, our professional identity. When we talk about our work, we present ourselves in a certain way and thus construct a professional identity. When we justify ourselves or align with certain professional groups, we do this in the light of our understanding of who we are, or would like to be, and by doing so, we also manage others’ impressions of who we are and thus negotiate a professional identity.
그러나 보건직업 교육(HPE) 교사들의 문제는 [어느 정도까지 교사가 되는 것이 그들의 직업 정체성의 중요한 부분인지]이다. 위의 발췌문에서 선생님은 비록 직업 생활의 약 95%를 교직에 소비하고 있지만, 스스로도, 다른 사람에게도, 선생님으로가 아니라, 임상의로 보는 것이다. HPE의 교사들은 종종 여러 가지 역할을 결합한다. 그들은 교사일 뿐만 아니라 임상의나 연구자이기도 하다. 어떤 사람들에게는 교사 역할이 정체성의 중요한 부분이지만, 다른 사람들에게는 임상 또는 연구자 역할이 훨씬 더 중심적이다. The question for teachers in health professions education (HPE) is, however, to what extent being a teacher is an important part of their professional identity. The teacher in the excerpt above, though spending about 95% of her professional life on teaching, does not see herself, nor present herself to others, as a teacher, but rather as a clinician. Teachers in HPE often combine several roles; they not only are teachers, but also clinicians or researchers. For some, the teacher role is an important part of their identity, but for others, the clinical or researcher roles are much more central.
이들이 자신을 교사로 보는지, 타인에게 교사로 내세우는지present, 자신의 교직에 정서적으로 애착을 갖는지 여부는 교사의 정체성에 중요한 질문이다. 연구에 따르면 많은 교사들이 자신의 역할이 연구원과 임상의의 더 가치 있는 역할에 종속되어 있다고 느끼는 것으로 나타났기 때문에 HPE 교사 정체성을 강화하는 것이 중요하다(Sabel and Archer 2014; Hu et al. 2015; Van Lankveld et al. 2017a). 그러나, 교직과 더 강하게 동일시하는 사람들은 HPE에 머무르려는 의도, 교직원으로서의 전문적 발전에 투자하려는 의지, 교직 역할에 대한 즐거움 면에서 그렇지 않은 사람들과는 다르다(Baochamp and Thomas 2009; Trutwe in 2018).
Whether or not these individuals see themselves as teachers, present themselves as teachers to others and are emotionally attached to their teaching role, are the questions central to teacher identity. It is important to strengthen HPE teacher identity, since research has shown that many teachers feel their role is seen by others as subordinate to the more valued roles of researcher and clinician (Sabel and Archer2014; Hu et al.2015; Van Lankveld et al.2017a). Yet, those who more strongly identify with the teaching role differ from those who do not in terms of their intention to stay in HPE, their willingness to invest in their professional development as teachers, and their enjoyment of the teaching role (Beauchamp and Thomas2009; Trautwein2018).
교사 정체성의 현대적 개념 Contemporary conceptions of teacher identity
교사 정체성이란 무엇인가? What is teacher identity?
교육 문헌에서 [교사 정체성]은 [교사가 자신을 교사로 생각하고, 제시하는 것]으로 정의된다. 이는 다음에 관한 것이다.
스스로를 선생님이라고 생각하는지
교사의 역할에 감정적으로 애착을 느끼는지, 만약 느낀다면 어떻게 느끼는지
자기자신을 어떠한 교사라고 생각하는지, 어떤 교사가 되고싶은지, 그렇게 타인에게 자신을 present하는지
In the educational literature, teacher identity is defined as a teacher’s understanding and presentation of him/herself; it concerns
whether teachers conceive of themselves as a teacher,
whether and how they feel emotionally attached to the teacher role,
the kind of teacher they consider themselves to be and would like to be, and as such present themselves to others (Beijaard et al.2004; Holland and Lachicotte2007).
정체성은 [한 개인의 특징]과 [관계적 현상] 사이의 연속체로 이해될 수 있다.
연속체의 한 쪽에는 선생님들의 정체성을 [한 사람이 가진 것]으로 보는 학자들이 있다. 선생님들이 스스로를 선생님으로 생각하는 방식(즉, 베이자드 외). 2004)
연속체의 반대편에는 교사 정체성을 [교사가 하는 어떤 것]으로 보는 학자들이 있다.사회적 상호작용 동안 자신에 대한타인의 인상impression에 대응하여 스스로를 표현하는 방식이다. (Sfard and Prusak 2005; Akkerman and Meijer 2011)
Identity can be understood as a continuum between an individual feature of a person and a relational phenomenon.
On the one side of the continuum are scholars who see teacher identity as something a person has, as a way teachers conceive of themselves as teachers (i.e. Beijaard et al.2004).
On the other side of the continuum are those scholars who see teacher identity as something teachers do, as a way they present themselves during social interactions in response to others’ impressions of themselves (Sfard and Prusak2005; Akkerman and Meijer2011).
우리가 보기에, 정체성은 두 가지를 모두 포함한다. 정체성은 [한 사람과 그들의 사회적 환경 사이의 끊임없는 대화 속에서 형성되고 재편된 자신에 대한 이해이자 표현]으로 볼 수 있다(그림 1).
In our view, identity includes both. It can be seen as both an understanding and as a presentation of oneself, shaped and reshaped in constant dialogue between a person and their social environment (Figure 1).
Figure 1.A graphic representation of the continuum of views of identity.
조직 요소로서의 정체성 Identity as an organising element
교사의 정체성은 교사의 직업 생활에서 중요한 조직 요소organizing element로 생각됩니다(보샹과 토마스 2009). 그것은 교사들이 그들의 맥락에서 중요하게 생각하는 것, 그들이 열광하는 것, 그리고 위협받을 때 그들이 화를 내는 것을 형성합니다. 정체성은 전문적인 약속, 이상, 관심사, 신념과 가치, 윤리적 기준 및 도덕적 의무와 강하게 관련되어 있다(Eteløpelto et al. 2014). 교사들은 자신의 정체성에 비추어 과거와 현재, 미래를 해석하고, 자신과 타인을 소중하게 생각하며, 어떻게 행동할 것인가에 대한 선택을 한다(보샹과 토마스 2009; 스타이너트 외 2019). Teacher identity is thought to be a critical organising element in a teacher’s professional life (Beauchamp and Thomas2009). It shapes what teachers find important within their context, what they get enthusiastic about, and what they get upset about when threatened. Identity is strongly related to professional commitments, ideals, interests, beliefs and values, ethical standards and moral obligations (Eteläpelto et al.2014). Teachers interpret the past, present and future, value themselves and others, and make choices about how to act, in light of their identity (Beauchamp and Thomas2009; Steinert et al.2019).
다른 말로 하자면, 정체성은 [의미의 출처]이자 [교사의 직업 생활을 조직화하는 요소]로 작용한다. 아이덴티티는 '한 사람이 다른 사람과의 관계에서, 그리고 더 넓게는 세계와의 관계에서, 설명하고, 정당화하고, 자기자신을 이해시키기 위해 사용하는 자원'(보샹과 토마스 2009)이다.
In other words: identity serves as a source of meaning and organising element in teachers’ professional lives. Identity is ‘a resource that people use to explain, justify and make sense of themselves in relation to others, and to the world at large’ (Beauchamp and Thomas2009).
교사 정체성 개발 Developing teacher identity
교사 정체성의 현재의 개념은 교사의 정체성을 [안정적인 것이 아니라 변화하고 역동적인 것]으로 본다. 또한 정체성이 형성되고 수행되는engendered and performed 여러 사회, 정치, 문화, 제도적 맥락 사이의 끊임없는 대화의 산물로 묘사한다. (로저스와 스콧 2008; 보샹과 토마스 2009; Monroxe 2010)). Current conceptions of teacher identity portray teacher identity not as stable, but as shifting and dynamic and as a product of a constant dialogue between one’s inner self and the multiple social, political, cultural and institutional contexts in which it is engendered and performed (Rodgers and Scott2008; Beauchamp and Thomas2009; Monrouxe2010).
특히 정체성에 대한 [서술적 접근]에서, 교사들이 가르치는 것에 대한 그들의 이야기에서 자신을 표현하는 방식에 많은 관심이 집중된다. (Säreide 2006) 교사가 되는 것이 어떤지에 대한 이야기를 할 때, 교사들은 적극적으로 다른 사람에 관하여vis a vis 교사 정체성을 협상한다. (Sfard and Prusak 2005) 이러한 서술적 자원을 통해, 그들은 타인의 모습과 자신에 대한 인상을 관리한다(Monrouxe 2010). 아이덴티티에 대한 서술적 접근 방식은, 진행 중인 [이야기된storied 자기 표현의 역동적 과정]에 [다양한 전문적 역할, 배경, 맥락 또는 상황과 관련하여 여러 아이덴티티]가 포함될 수 있다는 것을 인정한다. 상황에 따라 교사들은 자신을 다르게 보고 제시할 수도 있다. 이러한 서로 다른 정체성은 때때로 서로 충돌할 수 있고, 이것은 관련된 선생님들의 긴장을 초래할 수 있다. Particularly in narrative approaches to identity, much attention is given to the ways teachers present themselves in their stories about teaching (Søreide2006). In telling stories about what it is like to be a teacher, teachers actively position themselves vis a vis others and thus negotiate a teacher identity (Sfard and Prusak2005). Through these narrative resources, they manage others’ and their own impressions of themselves; not only of who they are, but also of who they are not or would (not) like to be (Monrouxe2010). Narrative approaches to identity acknowledge that in this ongoing dynamic process of storied self-presentation, multiple identities can be involved, relating to different professional roles, backgrounds, contexts or situations. Depending on the situation one is in, teachers might see and present themselves differently. These different identities might sometimes conflict with each other, which might lead to tensions for the teachers involved.
정체성에 대한 [사회문화적 접근법]에서는 교사가 자신의 업무를 실현하는 [사회적, 문화적, 역사적, 제도적 맥락](Holland and Lachicotte 2007)에 관심이 집중된다. 교사들은, 자신의 정체성을 [고립 속에서가 아니라], (자신의 역할이 자신의 직장 환경에서 다른 사람들에 의해 인식되고, 지지되고, 보상을 받는 방법과의) [지속적인 대화에서] 형성하고 집행한다(Hermans and Hermans-Konopka 2010; Hermans and Gieser 2012). 이러한 맥락에서 [가르치는 것에 대해 전달되는told about 믿음과 메시지]는 교사들이 자신을 평가하고 보게 되는 렌즈가 될 수 있다. (Holland et al. 1998) In sociocultural approaches to identity, attention is paid to the social, cultural, historical and institutional contexts in relation to which teachers realise their work (Holland and Lachicotte2007). Teachers construct and enact their identity not in isolation, but in continuous dialogue with the ways their role is recognised, supported and rewarded by other people in their workplace contexts (Hermans and Hermans-Konopka2010; Hermans and Gieser2012). The beliefs and messages told about teaching in these contexts may become a lens through which teachers come to evaluate and see themselves (Holland et al.1998).
그러므로 교사들에게 중요한 것은 [그들의 정체성이 그들 자신의 공동체 구성원들에 의해 길러지는nurtured 정도]와 [그것이 다른 공동체들에 의해 검증되는valiated 정도]이다(Penuel과 Wertsch 1995). 학문과 직장의 맥락은 특정한 정체성을 더 가능하게 하고 다른 사람들을 소외시킨다. 교사들이 여러 가지 맥락에 참여함에 따라, 이러한 다른 맥락에서 드러난 메시지들은 때로는 모순되고 상충되어 교사의 정체성에 긴장을 초래할 수 있다. What matters for teachers, therefore, is the degree to which their identity is nurtured by members of their own community and the degree to which it is validated by other communities (Penuel and Wertsch1995). Academic and workplace contexts make certain identities more possible and marginalise others. As teachers participate in multiple contexts, the messages revealed in these different contexts may be sometimes contradictory and conflicting, leading to tensions in teachers’ identity.
보건직업 교육에서 교사 정체성 개발 Developing a teacher identity in health professions education
HPE의 교사들에 대한 문헌은 많은 HPE 교사들이 teaching을 그들의 정체성의 중요한 부분으로 본다는 것을 보여준다. 이러한 교사들은 학생들의 성장과 발전에 기여할 수 있다는 것에 대해 가르칠 책임을 느끼고 만족감을 느낀다
그러나 그들 중 다수는 또한 [정체성의 긴장]을 보고한다. 특히 그들은 교육을 임상의나 연구자의 더 가치 있는 역할에 대한 추가 또는 부속물로 보는 경우가 많다고 생각한다(Sabel and Archer 2014; Van Lankveld et al. 2017a). 그들은 임상 작업과 연구 생산성이 종종 강의보다 더 가치 있게 여겨지며, 교육은 환자 치료와 연구와 비교할 때 위신과 인지가 부족하다고 느낀다
HPE의 교사들은 교육 활동을 위한 전용dedicated 시간의 부족을 보고한다(De Cossart and Fish 2005; Budden et al. 2017). 따라서 HPE의 컨텍스트는 일반적으로 교사보다 보건의나 연구자의 ID에 더 도움이 되는 것으로 보인다.
사실상 많은 직장 환경에서 교사의 정체성을 훼손하는 숨겨진 교육과정이 있다. 이는 자신을 교사로 보는 사람들에게 긴장을 유발한다; 이 교사들은 소외감과 자존감 결여를 느낀다고 보고한다.
Literature on teachers in HPE shows that many HPE teachers see teaching as an important part of their identity. These teachers feel responsible to teach and feel satisfied that they can contribute to students’ growth and development (Hu et al.2015; Steinert and Macdonald2015).
However, many of them also report tensions in their identity; they particularly feel that education is often viewed by others as additional or accessory to the more discursively valued roles of clinician or researcher (Sabel and Archer2014; Van Lankveld et al.2017a). They feel that clinical work and research productivity are often more valued than teaching, and that teaching lacks prestige and recognition when compared to patient care and research (Kumar et al.2011; Brownell and Tanner2012; Bartle and Thistlethwaite2014; Sabel and Archer2014; Hu et al.2015).
Furthermore, teachers in HPE report a lack of dedicated time for educational activities (De Cossart and Fish2005; Budden et al.2017). It thus seems the case that the context in HPE is usually more supportive to the identity of health practitioner or researcher over that of teacher (Cantillon et al.2019).
There is in effect a hidden curriculum in many workplace settings that undermines teacher identity. This causes tension for those who see themselves as teachers; these teachers report feeling marginalised and lacking self-esteem (Kumar et al.2011, Sabel and Archer2014; Hu et al.2015; Van Lankveld et al.2017a).
HPE의 많은 교사들이 종종 여러 가지 역할을 결합하기 때문에, 그들은 그들의 정체성에서 이러한 다른 역할들을 고려해야 한다. 최근의 문헌은 교사들이 다른 방식으로 이것을 한다는 것을 보여준다.
일부에서는 교육 역할이 의료 제공자 또는 연구자의 기본 역할(Dybowski 및 Haendza 2014; Sabel and Archer 2014; Van Lankveld et al. 2017a)에 보조적 역할을 한다고 보고 있습니다. 이 선생님들은 자신들을 임상의나 연구자로 가장 먼저 생각합니다. 비록 그들이 공식적인 교육적 역할을 맡긴 하지만 말이죠.
반면, 다른 교사들은 의료 제공자, 연구자 및 교사의 다른 역할을 구획화된 것으로 본다(Roccas and Brewer 2002). 상황에 따라, 그들은 교원, 연구자 또는 치료 제공자로 그들 자신을 대신 본다.
다른 이들은 서로 다른 역할을 교차 또는 병합(Cantillon et al. 2019)으로 본다. 이 교사들은 두 가지 역할을 모두 중요하게 생각하며, 맥락에 관계없이 두 역할의 고유한 조합을 강조하거나 두 역할 모두에 동일한 중요성을 부여한다.
As many teachers in HPE often combine several roles, they have to consider these different roles in their identities. The recent literature shows that teachers do this in different ways (seeFigure 2).
Some see their teaching role assecondaryto their primary role of care provider or researcher (Dybowski and Harendza2014; Sabel and Archer2014; Van Lankveld et al.2017a). these teachers see themselves as clinician or researcher first and foremost, even though they do take on formal educational roles.
Other teachers, on the other hand, see their different roles of care provider, researcher and teacher ascompartmentalised(Roccas and Brewer2002). Depending on the context, they alternatively see themselves as teacher, researcher or care provider.
Others again, see their different roles asintersectingormerged(Cantillon et al.2019). These teachers find both roles important, and either stress the unique combination of those roles (intersecting) or attribute equal importance to both roles, regardless of the context (merged).
긴장감이 덜하고 다른 역할들 사이에 긍정적인 연관성을 더 많이 보이는 것은 두 후자 그룹의 선생님들이다. 예를 들어, 이러한 교사들은 임상 실무에 대한 전문지식이 교사로서의 신뢰성을 강화하거나(Davies et al. 2011) 공식적인 교육적 역할을 갖는 것이 임상 동료들 간의 지위를 향상시킨다고 주장한다(Lake and Bell 2016). [서로 다른 역할들 사이의 다른 긍정적인 연결]은 [의사가 되는 것은 암시적으로 교사가 되는 것을 의미]하거나 [한 역할의 개발이 다른 역할에 긍정적인 영향을 미치는 것]으로 보는 관점을 강하게 유지하는 것과 관련이 있다(Steinert 및 Macdonald 2015; Van Lankveld et al. 2017a).
It is the teachers in the two latter groups who experience less tensions and who are more likely to see positive connections between the different roles. For example, these teachers hold that expertise in clinical practice reinforces their credibility as a teacher (Davies et al.2011) or that having a formal educational role enhances their status amongst clinical peers (Lake and Bell2016). Other positive connections between the different roles concern strongly holding the view that being a physician implicitly also means being a teacher, or seeing the development in one role as positively impacting on the other (Steinert and Macdonald2015; Van Lankveld et al.2017a).
Figure 2.Variety of ways in which teachers juggle their different identities. (based on data from an earlier study (Van Lankveld2017))
요약하자면, HPE에서 교사들이 갖는 여러 가지 역할의 특성으로 인해 [학업 및 임상 작업 환경에서 교사 정체성을 개발하는 것]은 어려운 일이다. 많은 사업장이 뚜렷하고 강한 교사 정체성을 그다지 지지하지 않기 때문에 더욱 문제가 된다. 이것은 그들의 교사의 정체성에 긴장감을 가져오고 계층적이고 구획화된 정체성으로 이어진다. 대신, 앞에서 설명한 것처럼, 교사로서의 강한 정체성을 가진 개인들이 교사의 역할을 더 즐기고, 건강 직업 교육에 더 머물 가능성이 높으며, 전문적 학습에 더 많은 투자를 할 의향이 있기 때문에 [교차하고 융합된 정체성]이 바람직하다. In summary, developing a teacher identity in academic and clinical workplace settings is challenging by nature of the multiple roles teachers in HPE have. It is even more problematic since many workplaces are not very supportive of a distinct and strong teacher identity. This leads to tensions in their teachers’ identity and to hierarchical and compartmentalised identities. Instead, intersecting and merged identities are preferable, since, as explained earlier, individuals with a strong identity as a teacher enjoy their teaching role more, are more likely to stay in health professions education, and are more willing to invest in their professional learning.
교사정체성 지원 Supporting teacher identity
이 섹션에서는 HPE에서 교사의 교원 정체성을 지원하기 위한 권장 사항을 제공합니다. 우리는 직장 맥락과 교수진 개발 맥락을 구별한다. 이러한 두 환경의 차이는 오설리반과 어비(2011년)의 통찰력 있는 작업에 바탕을 두고 있는데, 이들은 직장과 교수진 개발 모두 보건직 교사의 전문적인 학습에 영향을 미친다고 주장한다. 우리는 O'Sullivan과 Irby의 직장과 교수진 개발의 구별을 우리의 권고사항을 분류하기 위해 사용해 왔다. 업무 환경에서 O'Sullivan과 Irby는 다음과 같은 네 가지 영향력 있는 요소를 설명합니다. In this section, we provide recommendations for supporting teacher identity of teachers in HPE. We distinguish between the workplace context and the faculty development context. This distinction between the two environments is based on the insightful work of O’Sullivan and Irby (2011), who argue that both workplaces and faculty development influence the professional learning of teachers in the health professions. We have used O’Sullivan and Irby’s distinction between workplace and faculty development to classify our recommendations. Within the workplace context, O’Sullivan and Irby describe four influential components:
(1) 관련 제도 및 문화를 갖춘 기관 (2) 교원이 수행하는 업무의 성격 및 내용 (3) 교사가 관여하는 관계 및 네트워크 (4) 교사들이 접근할 수 있는 멘토링 및 코칭.
(1) The institution with its associated systems and culture;
(2) The nature and content of the work that teachers do;
(3) The relationships and networks that teachers engage in;
(4) The mentoring and coaching that teachers have access to.
1번 상자 교사 정체성 서포트를 위한 권고 사항 Box 1Recommendations for supporting teacher identity
근무현장의 권장사항: - 진로 프레임워크에서 교육을 인정하고 보상합니다. - 연구비와 수상을 통해 교육의 우수성을 인정합니다. -가르침에 대한 긍정적인 메시지를 지지하세요. -새로운 교사 개발에 대한 신중하고 능동적인 접근 방식을 취합니다. -경쟁적 demands로 인한 충돌을 최소화합니다. -모든 교사가 특정 교사 역할에 필요한 지식과 기술을 제공받는지 확인합니다. -비공식적인 교사 네트워크 및 커뮤니티를 설립하거나 장려한다. -교사들이 지역 또는 국가 의료 교육 기관에 참여하도록 장려한다. -교사에게 (더 경험이 풍부한) 동료의 교육 활동을 관찰할 기회를 제공한다. -동료 멘토링 활용 -성찰적 연습을 통해 코칭 활용
Recommendations for the workplace:
Recognise and reward teaching in career frameworks.
Acknowledge teaching excellence in grants and awards.
Support a positive message about teaching.
Take a deliberate and proactive approach to new teacher development.
Minimise the conflict created by competing demands.
Ensure that all teachers are provided with the knowledge and skills needed for their specific teaching role(s).
Establish formal or encourage informal teacher networks and communities.
Encourage teachers to join local or national medical education organisations.
Provide (novice) teachers with opportunities to observe teaching activities of (more experienced) colleagues.
Utilise peer mentoring
Utilise coaching through reflective practice.
교수 개발을 위한 권장 사항: -가르치는 것에 대한 이야기를 하도록 격려하세요. -가르침에 대한 감사하고 긍정적인 이야기와 가르침과 다른 역할 사이의 연관성에 대한 이야기를 강화합니다. -교사들이 그들의 교직 역할, 그들을 위한 그것의 의미, 그리고 그들의 근본적인 가치, 믿음 그리고 동기를 돌아보게 합니다. -선생님들이 일하는 맥락에 민감하게 반응하세요. -사회적 관계 구축과 서포트 네트워크를 촉진합니다. -교사 개발에 대한 종방향적이고 지속적인 접근 방식을 확립한다.
Recommendations for faculty development:
Encourage storytelling about teaching.
Reinforce appreciative and positive stories about teaching and about connections between teaching and other roles.
Facilitate teachers to reflect on their teaching role, its meaning for them, and their underpinning values, beliefs and motivations.
Be sensitive to the context teachers work in.
Stimulate the building of social relations and support networks.
Establish a longitudinal and continuing approach to teacher development.
작업장에 대한 권장 사항 Recommendations for the workplace
관련 제도 및 문화를 갖춘 기관 The institution with its associated systems and culture
교사 정체성은 주관기관의 규범적·문화적 맥락(쿠마르·그린힐 2016)에 의해 형성되는 만큼, 교육에 대한 인센티브와 기구의 제정된 가치관을 통해 교수-학습에 긍정적인 제도적 문화를 육성함으로써 뒷받침될 수 있다. 아래에서는 세 가지 관련 권장 사항을 제공합니다.
As teacher identity is shaped by the normative and cultural context of the host institution with its associated systems and culture (Kumar and Greenhill2016), it can be supported by fostering an institutional culture that through its incentives for teaching and the enacted values of the organisation, is positive towards teaching and learning. Below we provide three relevant recommendations for doing so.
권장 사항 1: 경력 프레임워크에서 교육을 인정하고 보상합니다. Recommendation 1: Recognise and reward teaching in career frameworks
문헌에서는 교육에 긍정적인 제도적 문화를 확립하는 데 있어 교사의 역할에 대한 공식적인 인정과 보상의 가치를 지적하지만, 많은 대학에서 teaching credentials는 승진의 근거로 이용되지 않거나 약하게 이용된다(Kumar et al. 2011; Paslawski et al. 2013; Steinert and Macdonald 2015). 경력 프레임워크는 교사 ID를 검증하는 데 도움이 된다(Kumar와 Greenhill 2016). 진로 프레임워크는 교사와 감독관이 교사 성과를 더 잘 인식하고 교사의 발전을 반영할 수 있도록 한다. 여러 저자들은 이러한 프레임워크가 전달뿐만 아니라 설계, 평가, 관리/리더십, 장학금 및 자신의 전문성 개발 등 교직 역할의 전폭을 다루어야 한다는 것을 보여준다(Graham 2018; Harden and Lilley 2018). 교육을 인식하기 위한 공식적인 정책이 실제로 적용되는 것이 중요하다. 그렇지 않으면 원래 의도와 배치되거나 훼손되는 숨겨진 메시지를 전달할 위험이 있다(Cox 외 2011; Hafler 외 2011).
Although literature points to the value of formal recognition and reward of the teacher role in establishing an institutional culture positive to teaching, at many universities teaching credentials are not or only weakly used as basis for promotion (Kumar et al.2011; Paslawski et al.2013; Steinert and Macdonald2015). Career frameworks help in validating the teacher identity (Kumar and Greenhill2016). A career framework enables teachers and their supervisors to better recognise teaching achievements and reflect on a teacher’s development. Several authors show that these frameworks should address the full breadth of teaching roles: not just delivery, but also design, assessment, management/leadership, scholarship and own professional development, thus acknowledging and valuing the full breath of teaching-related activities (Graham2018; Harden and Lilley2018). It is important that formal policies to recognise teaching are applied in practice, else it risks conveying a hidden message that contradicts or undermines the original intentions (Cox et al.2011; Hafler et al.2011).
조직에 대한 제안 Suggestions for organisations 학문적 직업에서 교직에 대한 인식을 높이고자 하는 기관들은 학문적 직업에서 교직 성취를 명백하게 하기 위해 교육적 틀을 채택하는 제도적 논의를 이끌 수 있다. Institutions that want to increase recognition of teaching in academic careers could lead an institutional discussion to adopt a teaching framework to make teaching achievement explicit in an academic career.
가능한 단계는 다음과 같습니다. Possible steps could be: - 기존 교육 프레임워크를 출발점으로 삼으십시오. 한 예로 대학 교육을 위한 경력 프레임워크(Graham 2018)를 들 수 있지만, 아래 그림을 참조하지만, 영국 전문 표준 프레임워크(HEA 2011) 또는 AAMC Toolbox for Evaluating Educators(Gusic et al. 2013)와 같은 많은 다른 프레임워크가 존재한다. - 그러한 프레임워크가 자신의 기관으로 어떻게 전환될 수 있는지 광범위한 이해 관계자들과 논의한다. * 당신의 기관의 다양한 수준에 대한 승진 기준은 어떻게 보일까요? * 당신의 맥락에서 어떤 형태의 증거를 생각할 수 있습니까? * 교육 성과는 학업 경력의 다른 과제와 어떻게 비교되어야 하는가?
Take an existing teaching framework as starting point. One example is the Career Framework for University Teaching (Graham2018), see figure below, but many other frameworks exist like the UK professional standards framework (HEA2011), or the AAMC Toolbox for Evaluating Educators (Gusic et al.2013).
Discuss with a broad range of stakeholders how such a framework could translate to the own institution:
What would promotions criteria look like for the different levels in your institution?
Which forms of evidence could you think of in your context?
How should teaching achievements be weighed against the other tasks in an academic career?
교사제안 Suggestions for teachers
• 이력서, 연례 평가 보고서 또는 학업 성적에 대한 기타 보고서를 작성할 때, 반드시 자신의 교육 활동 및 성과를 언급해야 합니다. 혁신 프로젝트, 교육 제품, 위원회, 수상, 초청 강연 등 여러분의 교육 역할을 충분히 고려하십시오. • 이러한 데이터를 사용하여 여러분의 발전을 프레임워크에 매핑하고 감독자 및/또는 멘토와 함께 교사로서의 현재 위치와 미래의 야망을 반영합니다. • When writing your CV, yearly evaluation report, or other accounts of your academic performance, make sure to mention your educational activities and achievements. Take into account your education roles in full breath: including for instance innovation projects, educational products, committees, awards, invited lectures, etc. • Use these data to map your development on a framework and reflect on your current positioning and future ambitions as a teacher together with your supervisor and/or mentors.
권장 사항 2: 교육의 우수성을 연구비나 어워드로 인정 Recommendation 2: Acknowledge teaching excellence in grants and awards
교사상 및 교육 혁신 또는 장학금과 같은 인센티브는 우수 및 혁신적 가르침이 높이 평가되고 가치 있다는 생각을 제정하고 열성적이고 활동적인 교사들이 눈에 띄고 승진을 위한 사례를 구축하는 데 도움을 준다. 이와 같이, 보조금grant은 그들의 부서 동료들 사이에서 HPE 교사의 지위를 향상시키고, 그들의 경력을 향상시키며, 지역 또는 심지어 국가적인 인지도로 이어진다(Adler et al. 2015). 또한, 상을 받는 것은 한 교사의 정체성을 검증하고, 교사의 자신감을 향상시키며, 그들의 명성을 쌓는다. (스켈튼 2012; 피츠패트릭과 무어 2015) 그러나 중요한 것은 teaching award가 교육에 긍정적인 직장 문화를 정착시키기 위해 사용되는 유일한 도구는 아니라는 점이다. 왜냐하면 그러한 경우 그들은 립서비스로만 해석될 위험이 있기 때문이다(Skelton 2012). 그럼에도 불구하고, 보조금과 상은 가르침이 중요하다는 메시지를 전달하기 때문에 가르침과 배움에 대한 긍정적인 직장 문화를 확립하는 데 중요한 상징적 기능을 할 수 있다.
Incentives like teaching awards and educational innovation or scholarship grants enact the idea that outstanding and/or innovative teaching is appreciated and valued and help enthusiast, active teachers to stand out and build cases for promotion. As such, grants improve HPE teachers’ status among their colleagues in their departments, enhance their careers, and lead to local or even national recognition (Adler et al.2015). Further, receiving an award validates ones teacher identity, improves teachers’ self-confidence, and builds their reputation (Skelton2012; Fitzpatrick and Moore2015). It is important though, that teaching awards are not the only instruments used to establish a workplace culture that is positive towards teaching, since in that case they risk being interpreted as lip service only (Skelton2012). Nevertheless, grants and awards can play an important symbolic function in establishing a positive workplace culture towards teaching and learning because they convey a message that teaching is important.
예 Example
네덜란드에서, 국가 정부는 최근 고등교육 교사들에게 매년 교육 혁신을 위한 66개의 코메니우스 보조금을 50.000 유로에서 500.000 유로에 이르는 3단계로 나누어 주기 시작했다. 이 보조금은 교사들이 교육 비전을 실천에 옮기고 교육 혁신 분야에서 경력을 쌓을 수 있도록 한다. 이러한 국가 보조금 외에도, 몇몇 네덜란드 대학들은 교육 혁신 교사들을 지원하기 위해 그들 자신의 교육 장려 기금을 설치한다. In the Netherlands, the national government recently started to award 66 Comenius grants on a yearly basis for educational innovation to teachers in higher education, in three levels ranging from 50.000 to 500.000 euro. The grants allow teachers to bring their educational vision to practice and build a career in educational innovation. Besides these national grants, several Dutch universities have their own educational incentive funds installed to support teachers in educational innovation.
조직에 대한 제안 Suggestions for organisations
교직상 관련 문헌은 다음과 같은 조언을 제공한다(Huggett 등 2012; Newton 등 2017). As far as teaching awards are concerned, the literature gives the following advice (Huggett et al.2012; Newton et al.2017):
* 공정하고 투명한 기준을 사용해야 합니다. *학생, 동료 교사 및 교육 분야의 전문가로 jury를 구성한다. *교사 개인뿐만 아니라 교수팀에게도 상을 수여해야 한다. * [가장 혁신적인 교수팀, 가장 우수한 1학년 과정, 가장 열성적인 새 교사, 가장 혁신적인 과정, 가장 강력한 학습 성과, 최고의 교육 리더십을 제공하는 시험 등], 그 범위 내에서 좋은 교육을 수여하는 것을 신중히 고려함으로써 '평범한 용의자'가 상을 지배하는 것을 방지한다. *수상자뿐만 아니라 수상자의 부서와 동료들뿐만 아니라 폭넓은 인정을 받을 수 있도록 수상자를 널리 홍보하여 교사 계발에 도움을 준 맥락이다. *최고 지도자와 학생이 시상식에 적극적으로 참여할 수 있도록 보장해야 합니다. 이는 교육 기관의 심각한 참여입니다. *기관의 품질 보증 정책뿐만 아니라 기관의 홍보 및 테뉴어 시스템에 상을 포함시킨다.
Make sure to use fair and transparent criteria.
Consider a jury for granting the awards, consisting of students, peer teachers as well as experts in the field of education.
Do not only award individual teachers, but also teaching teams.
Prevent the ‘usual suspects’ to dominate the awards, by carefully considering to award good teaching in its full breadth, e.g. most innovative teaching team, best improved 1st year course, most enthusiastic new teacher, most innovative course, exam that yielded strongest learning outcomes, best educational leadership, etc.
Publicise the awards widely such that not only winners, but also nominees get broad recognition, as well as the department and colleagues of the winners, for being the context that supported them in their teacher development.
Ensure active participation of top leadership and students in the awards ceremony since this shows serious involvement of the institution.
Embed the awards in the institution’s quality assurance policy, as well as in the institution’s system of promotion and tenure.
교사제안 Suggestions for teachers
* 보조금과 상금을 받을 기회를 찾아보세요. 자신을 적용하거나 동료들에게 그렇게 하도록 격려하세요. *보조금이나 상을 수여하는 패널 또는 위원회에 참여: 네트워크를 확대하고, 우수한 교육 또는 교육 혁신에 대한 통찰력을 얻으며, 동시에 자신만의 교육용 CV를 구축할 수 있습니다. *소속 기관이나 부서에 아직 기회가 없는 경우, 솔선수범하여 상을 수여합니다. 열정보다 더 필요한 것은 없다.
Look for opportunities for grants and awards. Apply yourself or encourage colleagues to do so.
Participate in panels or committees awarding grants or awards: you will enlarge your network, gain insight in what is excellent teaching or educational innovation, and build your own teaching CV at the same time.
If opportunities do not yet exist in your institution or department, take initiative to start an award. Little more is needed than enthusiasm.
권장 사항 3: 교육에 대한 긍정적인 메시지 지원 Recommendation 3: Support a positive message about teaching
공식적인 제도 정책과는 별도로, 교사들이 민감하게 여기는 것은 [가르침에 대해 들려주는 이야기와 내러티브가 있는 비공식적인 조직 문화]이다(Cantillon et al. 2019). 교사, 동료 및 관리자가 전하는 이야기는 가르침이 어떻게 가치 있게 평가되고 있는지에 대한 암묵적인 기저 메시지를 전달한다(Van Lankveld et al. 2017a). 특히 학장, 관리자, 부서장 등과 같은 주요 직책에 있는 사람들은 공공장소에서 강의, 연구, 임상 작업에 대해 하는 이야기와 그들이 드러내는 근본적인 메시지를 알아야 한다. 조직적 모임(예: 회의) 및 커뮤니케이션 전략(예: 웹사이트 및 뉴스레터)에 긍정적이거나 혁신적인 교육 내러티브를 포함시키는 의도적인 정책은 연구와 의료 관행과 비교하여 동등하게 가치 있는 교육을 포지셔닝하는 데 핵심적인 역할을 할 수 있다.
Apart from the formal institutional policies, it is particularly the informal organisational culture with the stories and narratives told about teaching that teachers are sensitive to (Cantillon et al.2019). Stories that teachers, colleagues and managers tell, convey implicit underlying messages about how teaching is being valued (Van Lankveld et al.2017a). Particularly those in leading positions such as deans, managers and department leaders, should be aware of the stories they tell in public about teaching, research and clinical work and the underlying message they reveal. A deliberate policy of including positive or innovative teaching narratives in organisational gatherings (e.g. conferences) and communication strategies, (e.g. websites and newsletters) can play a key role in positioning teaching as equally valued compared with research and healthcare practices.
조직에 대한 제안 Suggestions for organisations 공식 및 비공식 커뮤니케이션(예: 뉴스레터, 소셜 미디어, 신년 연설 등)에서 교육, 임상 및 연구 성과에 동일한 관심을 쏟습니다. '팩트 & 피겨스'(예: 연도 보고서)에서 교량과 학생 만족도뿐만 아니라 혁신, 수상 및 보조금과 같은 기타 교육 성과도 언급한다.
In both formal and informal communication (e.g. newsletter, social media, new year speech, etc) devote equal attention to teaching, clinical, and research achievements.
In ‘facts & figures’ (e.g. in year report) mention not just teaching volume and student satisfaction but also (numbers of) other teaching achievements such as innovations, awards and grants.
교사제안 Suggestions for teachers
강의 활동에 대한 뉴스 항목을 입력할 수 있는 기회를 적극적으로 모색합니다. Actively seek opportunities to provide input for news items about your teaching activities:
* 당신의 수업 경험에 대해 블로그를 쓰세요. *여러분의 연구소의 커뮤니케이션 부서에 그들이 놀라운 학생 학습 경험, 선생님으로서의 여러분에 대한 인터뷰, 교육 혁신, 교육 상 또는 보조금, 또는 여러분 또는 여러분의 동료들의 가르침을 각광받을 수 있는 다른 것에 관심이 있는지 물어보세요.
Write a blog about your teaching experiences.
Ask your institute’s communication department whether they are interested in a remarkable student learning experience, an interview about you as a teacher, an educational innovation, a teaching award or grant, or anything else that could put your or your colleagues’ teaching in the spotlights.
교사들이 하는 일의 성격과 내용 The nature and content of the work that teachers do
참가자들이 [직장에서 하는 일의 성격과 내용] 또한 전문적 정체성을 지지하거나 억제하는 데 중요하다(Wenger 1998). 교사들에게 있어 교직역할을 제정하고 학습자와 교류하고 관계를 형성할 수 있는 기회를 통해 교사의 정체성을 키우고 구축하는 것이다. 교사의 practice와 그 정체성은 서로 연결되어 있다(Akkerman과 Meyer 2011). 아래에서는 HPE 교사의 업무와 관련된 교사의 아이덴티티를 지원하기 위한 세 가지 권고사항을 제시하겠습니다.
The nature and content of the work that participants do at the workplace are also crucial in supporting or inhibiting professional identity (Wenger1998). For teachers, it is through the opportunities to enact the teaching role and interact and build relationships with learners, that they grow and construct a teacher identity. A teacher’s practice and his or her identity are mutually linked (Akkerman and Meijer2011). Below we will provide three recommendations for supporting teacher identity related to the work of HPE teachers.
권장사항 4: 새로운 교사 개발에 대한 신중하고 능동적인 접근 방식 채택 Recommendation 4: Take a deliberate and proactive approach to new teacher development
의료 및 임상 기관은 교사 개발에 대해 신중하고 능동적인 접근법을 취한다면 신규 진입 교육 인력으로부터 더 큰 이익을 얻을 가능성이 있다.
신규 진입자는 주최 기관의 규범, 가치 및 목표에 사회화됨에 따라, 경험과 참여를 통해 학습한다(Eng et al. 2017).
Lave와 Wenger(1991) 개념의 '합법적인 주변 참여'는 유용한 관점을 제공하며, 새로 온 사람들이 커뮤니티의 주변부에서 합법적으로 참여를 시작할 것을 제안한다.
의도적 지원과 더 확립된 지역사회 구성원을 관찰할 수 있는 기회를 통해, 그들은 교육 기술을 습득하고 더 많은 참여를 할 수 있다(Jippes et al. 2013; Van Lankveld et al. 2016).
더 [경험이 많은 구성원과 디브리핑 미팅]을 갖거나, [가르침과 학습 경험에 대한 성찰]을 통해 new entrant의 학습이 향상되었음을 보여주는 좋은 증거도 있다. 그들이 지역사회에 더 많이 참여하기 위해 구심점 방식으로 움직이기 때문에, 교육팀의 새로운 구성원들은 증가하는 교육 책임을 제공받을 수 있을 것이다. (Steinert 2010).
경험이 증가함에 따라, 그들은 더욱 복잡하거나 진보된 교육 역할을 맡을 수 있습니다. 역할이 커지는 과정에서 교육계의 가치와 규범을 채택하고, 그 공동체 내에서 인지도와 지위를 얻으며 교사의 정체성을 더욱 강화한다(Cruess et al. 2018).
Healthcare and clinical institutions are likely to derive greater benefit from new entrant teaching staff if they take a deliberate and proactive approach to teacher development.
New entrants learn through experiences and engagement, as they are socialised into the norms, values and goals of the host institution (Ng et al.2017).
Lave and Wenger (1991) concept of ‘legitimate peripheral participation’ offers a useful perspective, suggesting that newcomers legitimately start their participation at the periphery of a community.
With deliberate support from and opportunities to observe more established community members, they can gain teaching skills and become more engaged (Jippes et al.2013; Van Lankveld et al.2016).
There is also good evidence to show that new entrants’ learning is enhanced through reflection on teaching and learning experiences as well as debriefing meetings with more experienced members (Stupans and Owen2010). As they move in a centripetal fashion towards fuller participation in the community, new members of the teaching team could be provided with increasing teaching responsibilities (Steinert2010).
With increasing experience, they can then take on more complex or advanced teaching roles. In the process of growing in their role, they adopt the values and norms of the educational community, and gain recognition and status within that community, and thus further strengthen their teacher identity (Cruess et al.2018).
권장 사항 5: 경쟁 수요로 인한 갈등 최소화 Recommendation 5: Minimise the conflict created by competing demands
직장 역할 간 기대와 활동에 충돌이 있을 때 정체성 간 긴장이 발생할 수 있다. 이러한 긴장감은 직원들이 자신의 역할을 떠맡는 대신 자신의 역할에 대해 협상할 수 있게 함으로써 줄어들 수 있다(Rodgers and Scott 2008). 또한, 다른 작업 과제를 희생하여 수행되는 부담스러운 활동이 되는 것을 피하기 위해 적절한 시간과 자원을 가르치는 활동을 하는 것이 중요하다(Pratt et al. 2006). 낮은 직급 서비스로 제시하기보다는 교육을 명예롭고 보람 있는 업무로 규정하는 것이 중요하다. When there is conflict in expectations and activities between workplace roles, tensions between identities can occur. These tensions can be reduced through allowing staff members to negotiate their roles rather than getting roles thrust upon them (Rodgers and Scott2008). Furthermore, it is important to afford teaching activities appropriate time and resources in order to avoid teaching becoming a burdensome activity that is conducted at the expense of other work tasks (Pratt et al.2006). Rather than presenting it as a low-status duty service, it is important to frame teaching as an honourable and rewarding task.
competing demands에 의해 야기되는 갈등을 최소화하는 또 다른 방법은 대학 병원에 전담 교육 단위(DEU)를 설립하는 것이다(Moscato et al. 2007). 이들은 환자들에게 정기적인 임상 치료를 제공하는 단위, 센터 또는 병동이지만, 의료기관 내에서도 임상 교육을 위한 특별한 장소로 간주되고 있다. DeMeester(2012)는 DEU에 참여하는 임상의사 교육자들이 같은 생각을 가진 동료 교사들과 함께 일하고 아이디어와 통찰력을 교환할 수 있는 기회를 제공하면서 교사 정체성에 대한 의식이 강화되었음을 발견했다. DEU의 직원들이 주최 기관의 다른 곳과 동일한 임상 치료를 제공해야 함에도 불구하고 교사 정체성이 향상되었다(DeMeester 2012). 왓슨 외 연구진(2012)의 상세한 가이드를 포함하여 전담 교육부의 설립을 알리는 많은 안내서가 있다.
Another way to minimise the conflict created by competing demands, is to establish dedicated education units (DEUs) in university hospitals (Moscato et al.2007). These are units, centres or wards that provide routine clinical care for patients, but are also regarded within the institution as a special place for clinical education. DeMeester (2012), found that clinician educators participating in a DEU had a strengthened sense of teacher identity, given the opportunities to work with like-minded colleague-teachers and exchange ideas and insights. Enhanced teacher identity was sustained despite the fact that staff in the DEU had to provide the same clinical care as elsewhere in the host institution (DeMeester2012). There are many guides to inform the establishment of dedicated education units, including a detailed guide by Watson et al. (2012).
조직에 대한 제안 Suggestions for organisations 교육을 지원하는 임상 작업장에서, competing demands에 의해 야기되는 충돌을 최소화하기 위해 다음과 같은 다양한 조치를 시행할 수 있다. In a clinical workplace supportive of teaching, a number of measures can be implemented to minimise the conflict created by competing demands, e.g.: * [직업 계획job plans에서 교사 활동을 가시화]함으로써, 개인과 동료에게 이 활동의 중요성을 강조한다. *교육 기회가 다른 직무에 악영향을 미치지 않도록 다른 필수 직무와 함께 시간 보호를 받도록 해야 합니다. * 대면 교육 회의뿐만 아니라 사전 준비와 후속 평가, 설계, 평가 및 자신의 전문적 개발을 위해 시간을 할당합니다. 어떤 사람들에게는, 멘토링, 교육 관리, 교육학 장학금도 추가될 수 있다. *임상 환경에서, 향상된 감독 및 학습 경험을 용이하게 하기 위한 추가 시간을 허용하기 위해, 예를 들어 'teaching clinics' 동안 [환자 상담 시간을 연장]함으로써 [진료와 동시에 높은 품질의 교육 약속을 제공해야 할 필요성]을 고려하도록, [전통적인 서비스 전달 모델을 수정]한다.
Make teaching activity visible in job plans, thus emphasising the importance of this activity for the individual and colleagues.
Ensure that teaching opportunities are time-protected alongside other required duties such that each does not adversely impact on the other.
Allocate time not just for face-to-face teaching encounters but also for prior preparation and subsequent evaluation, design, assessment, and own professional development. For some, additional tasks may also include mentoring, management of education and pedagogic scholarship.
In clinical settings, modify traditional service delivery models to take into account the need to provide concurrent high quality teaching commitments for example through extending the consultation time for patients during ‘teaching clinics’ to allow extra time to facilitate enhanced supervision and learning experiences.
교사제안 Suggestions for teachers
* 다양한 교육 역할 및 책임을 협상하고 관리하는 데 있어 전향적인 자세를 취합니다. *예를 들어, 강의 역할의 내용이나 복잡성을 담당 직원의 임상 및 강의 전문성에 맞추어 팀 간에 강의 작업량을 배분하는 새로운 방법을 고려합니다. VITAL(교습 및 학습 모델의 수직적 통합)이라는 그러한 모델은 일반 실습생과 상급생이 더 많은 선배 동료와 공동 교사로 임명된 호주에서 일반 실습에서 성공적으로 적용되었다(Dick et al. 2007).
Take a proactive stance in negotiating and managing the various teaching roles and responsibilities.
Consider novel ways of distributing teaching workload amongst the team e.g. by aligning the content or complexity of teaching roles to the clinical and teaching expertise of staff members. One such model named VITAL (vertical integration in teaching and learning model) has been successfully applied in general practice in Australia where general practitioner trainees and senior students were inducted to be co-teachers with more senior colleagues (Dick et al.2007).
권장사항 6: 모든 교사가 자신의 특정 교사 역할에 필요한 지식과 기술을 제공받는지 확인 Recommendation 6: Ensure that all teachers are provided with the knowledge and skills needed for their specific teaching role(s)
모든 교사들이 특정 교수 기술 훈련을 통해 공식적으로 교수 연습을 개발할 기회를 갖는 것이 중요하다. 교사들이 교사로서의 역량과 자신감을 함양함에 따라 교사 정체성이 강화된다(Lieff et al. 2012; Van Lankveld et al. 2017c). 게다가, HPE 교사들은 공식적인 교사 자격을 추구하는 것을 고려하고 싶어할 수도 있다. 이러한 방식으로 공식적인 인증은 교직의 합법화와 전문화를 더욱 촉진하고, 교육 실무와 장학금을 장려하며, 자기효율을 향상시키고, 교육자 커뮤니티에 속한 사람들을 육성하는 것으로 나타났다(Sethi et al. 2018).
It is important that all teachers have the opportunity to formally develop their teaching practice through specific teaching skills training. As teachers build competence and confidence in teaching, their teacher identity is strengthened (Lieff et al.2012; Van Lankveld et al.2017c). Additionally, HPE teachers may wish to consider pursuing formal teaching qualifications. Formal certification in this way has been shown to further promote legitimisation and professionalisation of the teaching role, encourage educational practice and scholarship, improve self-efficacy and foster belonging to an educator community (Sethi et al.2018).
예 Example
의과대학에서 의대생 교육을 하는 모든 사람은 공식적인 교육 분야의 훈련을 받아야 한다. 이는 다음을 통해 달성됩니다. In an undergraduate medical school, all individuals who have input into the teaching of medical students are expected to undertake formal training in this area. This is achieved through: * 고급 방법에 이르기까지 기본적인 교육 기술을 다루는 다양한 교수진 개발 워크숍을 제공합니다. *교육생부터 고위 컨설턴트 및 비임상 및 임상 직원까지 모든 관련자가 교수진 개발 워크숍에 액세스할 수 있도록 합니다. * 해당 교육을 수료한 사람만 학생 교육 활동에 참여할 수 있습니다. *이러한 워크숍은 의료 교육에서 대학원 수료증과 같은 보다 공식적인 교육 자격에 대한 학점 쌓기의 일환으로 사용될 수 있다. 직원들은 이 경로를 추구하도록 적극 권장된다.
Offering a range of faculty development workshops that cover basic teaching skills through to advanced methods.
Making faculty development workshops accessible to all involved, from junior trainees through to senior consultants and nonclinical and clinical staff members alike.
Only allowing those who have completed such training to participate in student teaching activities.
Such workshops can be used as part of building up credits towards more formal teaching qualifications such as a postgraduate certificate in healthcare education. Staff are positively encouraged to pursue this route.
교사제안 Suggestions for teachers 가르치는 것은 여러분이 가르치는 기술에 더 잘 훈련 받을수록 더 쉽고 더 즐거워집니다. 따라서: Teaching becomes easier and more enjoyable the better you are trained in teaching skills. Therefore: *개인의 필요에 맞는 교수진 개발 워크숍에 참석하여 교육 역량을 개발할 수 있는 기회를 모색하십시오. *교육 과정에서의 대학원 자격 취득과 같은 자격 증명 및 인증 경로를 통해 교육 전문 지식을 공식화합니다. *강의의 동료 검토에 참여한다(Siddiqui et al. 2007). *교사로서의 성취와 학습자로부터 받은 피드백을 반영할 수 있도록 교육자 포트폴리오를 만들고 유지하십시오(Klenowski et al. 2006).
Seek out opportunities to develop your teaching abilities through attending faculty development workshops matched to your personal needs.
Formalise your teaching expertise through credentialing and certification routes such as pursuing postgraduate qualifications in teaching.
Participate in peer-review of teaching (Siddiqui et al.2007).
Create and maintain an educator portfolio to help you reflect on your accomplishments as teacher and the feedback you receive from learners (Klenowski et al.2006).
교사들이 관여하는 관계와 네트워크 The relationships and networks that teachers engage in
[관계와 네트워크]는 사람들이 자신을 인식하는 방법을 형성하므로, 교육 기관들은 교육자들 사이의 관계와 네트워크를 발전시킬 수 있는 방법을 고려할 필요가 있다.
관계는 교사 정체성 형성을 위한 풍부한 환경을 제공한다.
관계는 [거주 방법how to inhabit]과 [교사 역할을 수행하는 방법]에 대한 지침을 제공하기 때문에 직장의 신규 진입자에게 특히 중요하다(Hoffman과 Donaldson 2004).
관계와 네트워크는 또한 교사들에게 소속감과 그들의 역할이 중시되는 공동체의 일부라는 느낌을 제공한다(Van Lankveld et al. 2017b).
관계와 네트워크는 교사가 자신의 교육 경험에 대해 의사소통할 수 있는 공통 개념 언어를 개발하는 데 도움이 된다(Barrett 2013; Sabel and Archer 2014).
As relationships and networks shape how people perceive themselves, educational institutions need to consider ways of enabling relationships and networks between educators to develop.
In so doing, they provide a rich environment for teacher identity formation.
Relationships are particularly important for new entrants to a workplace because they provide guidance on how to inhabit and perform the role of teacher (Hoffman and Donaldson2004).
Next to that, relationships and networks also provide teachers a sense of belonging and a feeling that they are part of a community in which their role is valued (Van Lankveld et al.2017b).
Additionally, relationships and networks help teachers to develop a common conceptual language in which they can communicate about their teaching experiences (Barrett2013; Sabel and Archer2014).
그러므로 관계와 네트워크의 개념은 교사의 정체성을 지원하고 향상시키는 데 중요한 고려사항이다. 아래에서는 관계와 네트워크를 육성하기 위한 두 가지 권장 사항을 제공한다.
The concept of relationships and networks is therefore an important consideration in supporting and enhancing teacher identity. Below we provide two recommendations for nurturing relationships and networks.
권장 사항 7: 비공식적인 교사 네트워크 및 커뮤니티를 공식 또는 장려합니다. Recommendation 7: Establish formal or encourage informal teacher networks and communities
공식 또는 비공식 네트워크 및 커뮤니티는 교사 ID를 상당히 지원한다(Hurst 2010; Steinert et al. 2019). 심지어 느슨하게 뭉침으로써, 선생님들은 [academic workplace에 만연한 개인주의를 극복]하고 공통의 관심사, 경험, 관점을 가진 다른 사람들을 발견할 수 있다. 확립된 교사 역할 모델은 중요한 역할을 할 수 있으며, 젊은 교사들이 교사로서 미래의 발전 궤적을 상상할 수 있도록 식별 가능한 자원 역할을 할 수 있다. Formal or informal networks and communities provide considerable support for teacher identity (Hurst2010; Steinert et al.2019). By grouping together, even loosely, teachers can overcome the individualism prevalent in academic workplaces and discover others with common interests, experiences and perspectives. Established teacher role models can play a critical role, and can serve as resources to identify with, enabling younger teachers to imagine a future developmental trajectory as teacher (Kumar et al.2011; Lieff et al.2012; Burton et al.2013; Bartle and Thistlethwaite2014).
네트워크와 커뮤니티는 의도적으로 하향식으로 구축되거나 상향식으로 성장할 수 있다.
톱다운된 기성 네트워크나 커뮤니티, 때로는 교육자 아카데미라고 불리는 커뮤니티는 교사들이 [교사 경험과 관행을 공유할 수 있는 공간]을 제공한다; 휴버와 허칭스(2005)는 '교육적 공유지teaching commons'이라고 불렀다.
네트워크와 커뮤니티에 대한 상향식 접근 방식은 종종 자기 조직적이고 덜 형식적이며 느슨하며, 유사한 맥락에서 공통 관심사를 공유하거나 일하는 교사들(Brown and Duguid 2001)이 모인다. 쿠마르와 그린힐(2016)은 이를 위해 임상교사가 기존 네트워크를 의도적으로 활용해 교직에 대한 관심을 공유하고 협업을 원하는 다른 교사를 찾을 수 있다고 제안한다.
Networks and communities can be deliberately established top-down, or can grow bottom-up.
Top-down established networks or communities, sometimes called academies of educators, provide spaces for teachers to share teaching experiences and practices; what Huber and Hutchings (2005) termed the ‘teaching commons.’
Bottom-up approaches to networks and communities often are self-organised, less formal and looser, with teachers coming together who share a common interest or work in similar contexts (Brown and Duguid2001). In order to get started, Kumar and Greenhill (2016) suggest that clinical teachers could deliberately utilise their existing networks to find other teachers who share their interest in teaching and who would like to collaborate.
이렇게 서로를 찾는 선생님들은 그들의 공통 관심 영역과 그들이 어떻게 만나고, 소통하고, 상호작용하는지를 결정할 수 있다. 그러한 작은 시작으로부터, 같은 생각을 가진 교사들은 교육 혁신과 기회 공유를 촉진할 뿐만 아니라 교사의 정체성을 강화시키는 지속적인 비공식 지원 네트워크를 구축할 수 있다(Kumar와 Greenhill 2016).
Teachers who find each other this way could then decide their areas of common interest and how they meet, communicate and interact. From such small beginnings like-minded teachers can establish enduring informal support networks that shore up their teacher identity as well as facilitate the sharing of educational innovations and opportunities (Kumar and Greenhill2016).
조직에 대한 제안 Suggestions for organisations
교사 네트워크 또는 커뮤니티를 지상에서 벗어나기 위해, 취할 수 있는 몇 가지 초기 단계가 아래에 제시되어 있지만(De Carvalho-Filho 등 2019년 기준) 지역 맥락과 문화에 대한 적응이 필요할 수 있다. In order to get a teacher network or community off the ground, some initial steps that could be taken are presented below (based on De Carvalho-Filho et al.2019), but might need adaptation to the local context and culture:
* 예를 들어 비공식적인 교육 리더를 의도적으로 포함시킴으로써 워크 플로어 바이인(Work Floor Buy-in)을 구성합니다. *교육 전문성이 인정된 교사나 교육 혁신에 대한 평판을 가진 사람들을 모집하려고 노력하라. * Bottom-up으로 성장하라: 회원들이 스스로 새로운 회원들을 초대하도록 격려하라. * 모두가 공통적으로 가지고 있는 합의된 긴급하지만 해결 가능한 교육 문제부터 시작하세요. 이것은 모든 참가자들에게 조기 참여와 윈-윈을 보장한다. * 포괄적이고 다양한 수준의 구성원 자격을 허용하십시오(모든 항목에 참석하는 전체 구성원부터 가끔 들리는 주변 구성원까지). * 기존 교육 구조 및 이벤트를 통한 모집 대상. * 주최 기관에 접근하여 인정, 인정 및 지원을 구합니다.
Organise work floor buy-in, e.g. by deliberately including informal educational leaders.
Try to recruit teachers with acknowledged educational expertise or people with a reputation for educational innovation.
Grow from the bottom up: encourage members to invite new members themselves.
Get started with an agreed urgent but solvable educational problem that everyone has in common. This ensures early engagement and a win-win for all participants.
Be inclusive and allow varying degrees of membership (from full members who attend everything to peripheral members who drop in occasionally).
Target recruitment via existing educational structures and events.
Approach the host institution to seek recognition, acknowledgement and support.
교사제안 Suggestions for teachers
많은 단체들은 교육 회의, 점심 또는 다른 선생님들을 만날 수 있는 다른 기회를 제공한다. 참여는 여러분의 가르침에 영감을 주지만 가장 중요한 것은 같은 생각을 가진 선생님들을 만나는 데 기여할 것입니다. 또한 비슷한 수준의 경험을 가진 5-7명의 동료들을 찾아 정기적으로 만나는 동료 그룹을 형성하는 것도 가치 있는 일이다. 이러한 동료 회의는 서로의 교육 및 교육 경력에 대한 교육 및 조직적인 문제를 반영하는 데 사용될 수 있습니다. 예를 들어, 동종 반사 과정을 안내하는 많은 모델은 인터넷 상에서 자유롭게 이용할 수 있다(Franzenburg 2009). Many organisations offer educational meetings, lunches or other opportunities to meet other teachers. Participation will lead to inspiration for your teaching but most importantly also will contribute to meeting like-minded teachers. Also, it is worthwhile to find 5–7 peers who are at a similar level of experience and form a peer group that meets regularly. These peer-meetings can be used to help each other reflect on didactic and organisational issues regarding your teaching and teaching career. Many models to guide the peer-reflection process are freely available on the internet, for instance intervision (Franzenburg2009).
권장 사항 8: 지역 또는 국가의료 교육 기관에 교사를 참여하도록 권장 Recommendation 8: Encourage teachers to join local or national medical education organisations
임시 네트워크나 로컬 네트워크 외에도 교사가 지원 네트워크를 개발할 수 있는 공식 또는 조직 경로도 있다. 보건 분야의 교사들은 호주와 뉴질랜드의 ANZAHPE 또는 영국의 ASME와 같은 국가 교육자 그룹에 참여하도록 적극적으로 권장될 수 있다. 또한 AMEE 및 FAIMER와 같은 일반적인 초국가 보건 직업 교육 기관 또는 ASPIH, The Association for Simulated Practice in Healthcare와 같은 특정 관심사를 가진 기관도 있다. 이러한 조직이나 네트워크에 참여하면 고립을 완화하고 관심 분야와 열정을 공유하는 다른 사람들을 만나고 교류할 수 있는 교사의 기회를 향상시킬 수 있다.
Apart from ad hoc or local networks, there are also official or organisational routes whereby teachers can develop networks of support. Teachers in the health professions could be actively encouraged to join national educator groupings, such as ANZAHPE in Australian and New Zealand, or ASME in the UK. There are also general transnational health professions education organisations such as AMEE and FAIMER (the latter supporting health professions educators in low income countries; Burdick et al.2010), or those with a specific interest, such as ASPIH, The Association for Simulated Practice in Healthcare. Participation in such organisations or networks can mitigate isolation and enhance teachers’ opportunities to meet and interact with others who share areas of interest and passion.
교사들이 접근할 수 있는 멘토링과 코칭 The mentoring and coaching that teachers have access to
멘토링과 코칭 프로그램은 강력하고 탄력적인 교사 정체성을 발전시키는 데 중요한 요소로 나타났다(삼분작 외 2006; 가시와기 외 2013). 신중하고 긴밀한 멘토링은 교육 기술을 개발하는 데 도움이 될 수 있지만, 기관 문화를 탐색하고 네트워크와 연결에 대한 접근을 제공하는 데도 도움이 될 수 있다(Carey and Weissman 2010; Santhosh et al. 2020). 아래에서는 멘토링과 코칭을 통한 교사 정체성 지원에 대한 세 가지 권고사항을 제시합니다. Mentoring and coaching programs have been shown to be an important constituent in developing a strong and resilient teacher identity (Sambunjak et al.2006; Kashiwagi et al.2013). Whilst careful and close mentoring can be helpful in developing skills in teaching, it can also be helpful in navigating institutional culture and providing access to networks and connections (Carey and Weissman2010; Santhosh et al.2020). Below we provide three recommendations for supporting teacher identity through mentoring and coaching.
권장사항 9: (초심자) 교사에게 (더 경험이 많은) 동료의 교육 활동을 관찰할 수 있는 기회를 제공한다.
Recommendation 9: Provide (novice) teachers with opportunities to observe teaching activities of (more experienced) colleagues
[경험 많은 동료]들은 그들이 희망적이고 잠재적으로 혁신적인 관행을 모델화한다는 점에서 초보 교사들의 역할 모델 역할을 한다. 그들은 또한 비판적인 친구 역할을 하고, 정서적인 지원을 제공하며, 교사의 정체성을 구현한다. (Dahlgren et al. 2006) 또한, 그것들은 HPE의 다중 작업 환경의 일부로서 교사의 복잡성을 다루는 방법과 여러 가지 작업을 가지고 있고 다양한 실무에서 중개 역할을 수행할 때의 잠재적 이점을 보여주는 실제 사례이다(Van Den Berg et al. 2017).
Experienced colleagues serve as role models for novice teachers, in that they model desired and potentially innovative practices. They also serve as a critical friend, provide emotional support, and embody a teacher identity (Dahlgren et al.2006). Furthermore, they are living examples of how to deal with the complexity of teaching as part of the multiple task environment of HPE, and the potential benefits of having multiple tasks and acting in a brokering role across different practices (Van den Berg et al.2017).
조직에 대한 제안 Suggestions for organisations
제도적 멘토링 프로그램은 교사 정체성 개발을 유용하게 지원할 수 있다(Steinert et al. 2019). 이러한 프로그램에는 다음이 포함될 수 있습니다. Institutional mentoring programmes can usefully support teacher identity development (Steinert et al.2019). Such programmes may involve:
* 신입 및 경험이 적은 교직원에게 멘토를 배정합니다. *멘토는 역할 모델 역할을 하며 멘토가 그들의 가르침을 관찰합니다. *현재의 관행을 성찰하고 미래의 목표를 설정하기 위한 정기 회의.
Assigning mentors to new and/or less experienced faculty members.
The mentor acting as a role model and having their teaching observed by the mentee.
Regular meetings to reflect on current practice and set future goals.
게다가, 이러한 프로그램들은 네트워크나 커뮤니티의 역할도 할 수 있다. Furthermore, these programmes can also act as networks or communities.
교사제안 Suggestions for teachers
제도적 멘토링 프로그램이 이용 가능한 경우 멘토와 멘티 역할을 동시에 수행합니다. 이러한 프로그램이 아직 존재하지 않는 경우, 멘토링이 함께 일하는 프로그램뿐만 아니라 여러분 자신의 연습 내에서 어떻게 사용될 수 있는지 생각해 보십시오. AMEE와 같은 의료 교육 기관이 제공하는 멘토링 프로그램에 참여합니다. 이러한 프로그램은 참가자가 다른 기관의 멘토와 협력하여 교사로서의 강점과 더 전문적인 개발을 위한 영역을 식별할 수 있도록 한다. 다른 기관이나 국가에서 온 멘토는 여러분의 교육 실습을 새로운 통찰력으로 이끌어 낼 수 있습니다. Where institutional mentorship programmes are available, act as both a mentor and a mentee. Where such programmes do not yet exist, consider how mentoring could be used within your own practice, as well as with those you work with.
Engage with mentoring programmes offered by medical education organisations such as AMEE. Such programmes enable participants to work with a mentor from another institution to identify strengths as a teacher, as well as areas for further professional development. A mentor from a different institution or country could bring new insights to your teaching practice.
멘토링은 일반적으로 경험이 적은 동료보다 경험이 많은 사람이 멘토링을 합니다. [동료 멘토링]에는 멘토와 멘토 역할을 하는 쌍방이 참여하므로, 멘토로서의 기술 개발뿐만 아니라 멘토링의 혜택을 모두 누릴 수 있습니다. 동료 멘토링은 기존의 멘토링보다 더 지속 가능한 멘토링 모델이며, 위대하고 장기적인 사회화로 이어지는 모델인 것으로 밝혀졌다(Carey and Weissman 2010). 또한 동료 멘토링은 커뮤니티(Santhosh et al. 2020)를 개발하는 데 기여하고 따라서 신원 개발을 지원한다(Kalola and Mahlakaarto 2011).
Mentoring typically involves someone more experienced mentoring a less experienced colleague. Peer mentoring involves both parties acting as mentee and mentor, allowing both to benefit from both the mentoring as well as the development of skills as a mentor. Peer mentoring has been found to be a more sustainable mentoring model than traditional mentoring, and one that leads to great and longer term socialisation (Carey and Weissman2010). Peer mentoring also contributes to developing a community (Santhosh et al.2020) and thus supports identity development (Kalliola and Mahlakaarto2011).
권장 사항 11: 성찰적 실천을 통한 코칭 활용 Recommendation 11: Utilise coaching through reflective practice
코칭은 개인적 또는 조직적인 목표 달성을 위한 성과에 초점을 맞춘 멘토링보다 덜 지시적less directive이라고 주장됩니다(Lovell 2018). 코칭은 개인에게 특히 성찰적 관행을 통해 직업적 정체성 개발을 고려할 수 있는 기회를 제공함으로써 교사의 정체성을 강화하는 데 사용될 수 있다(Walkington 2005; Hökä et al. 2017). 코칭 유형의 대화는 조언을 제공하는 대신 개인이 자신의 행동 방침을 배우고 발전시킬 수 있도록 지원하는 데 초점을 맞춥니다. 대화를 코칭하면 개별 교사가 목표를 식별하고, 옵션을 탐색하고, 행동을 계획할 수 있습니다(Deiorio et al. 2016). Coaching is argued to be less directive than mentoring with a focus on performance for the achievement of goals, either personal or organisational (Lovell2018). Coaching can be used to strengthen teacher identity by providing opportunities for individuals to consider their professional identity development, particularly through reflective practice (Walkington2005; Hökkä et al.2017). Coaching type conversations focus on supporting an individual to learn and develop his or her own course of action, rather than providing advice. Coaching conversations enable individual teachers to identify goals, explore options and plan for action (Deiorio et al.2016).
조직에 대한 제안 Suggestions for organisations 교사 정체성 발전은 코칭 대화를 통해 뒷받침될 수 있다. 코칭 질문에는 다음이 포함될 수 있습니다. Teacher identity development can be supported through the use of coaching conversations. Coaching questions might include: * 선생님으로서 당신의 목표는 무엇입니까? * 이것이 어떻게 이루어질 수 있을까요? * 목표를 달성하기 위해 어떤 단계가 필요합니까? * 현재 당신의 교육 연습/역할에서 잘/잘 안 되는 것은 무엇입니까? * 가능한 장애물과 과제는 무엇입니까? * 성공은 어떤 모습인가?
What is your goal as a teacher?
How might this be achieved?
What steps are needed to achieve your goal?
What is currently working well/not well in your teaching practice/role?
What are possible obstacles and challenges?
What does success look like?
이러한 대화에서 경력 프레임워크를 사용할 수 있다(문단 4.1.1 참조). 예를 들어 멘티가 이러한 프레임워크와 자신의 전문적 가치를 연관시키는 데 도움을 준다. In these conversations, career frameworkscan be used (see paragraph 4.1.1), for example by supporting the mentee in relating their own professional values to these frameworks.
교사제안 Suggestions for teachers
목표와 관련하여 위의 코칭 질문을 사용하여 목표를 달성할 수 있는 방법을 코칭하십시오.
Coach yourself by using the above coaching questions in relation to your goals and how these could be achieved.
교수 개발을 위한 권고사항 Recommendations for faculty development
교수개발 이니셔티브는 HPE에서 교사 정체성 형성을 지원하고 재확인하는 데 중요한 역할을 할 수 있다;
그것은 교사들이 그들의 교수 역량을 개발할 수 있는 환경을 제공하므로, 실력 있는 교사가 될 뿐만 아니라, 동료 또는 미래의 잠재적 고용주들에게 가르침에 대한 그들의 헌신을 보여 주고, 관리하도록 한다. (Sabel and Archer 2014).
또한 교사가 교육에 대해 소통할 수 있는 공통 언어, 교육에 대한 긍정적인 이야기 등 교사 정체성을 구축하기 위한 서술적 자원을 제공함으로써 교사의 정체성을 지원한다(Lieff et al. 2012).
또한, 교육을 중시하고, 교사 역할이 복잡하고 중요하다고 인정되는 환경을 제공한다(Van Lankveld et al. 2017c).
그런 의미에서 교수진 개발은 교사들이 감사함을 느끼고 전문 커뮤니티에 소속감과 연대감을 찾을 수 있는 환경을 제공한다(Lieff et al. 2012).
Faculty development initiatives can play an important role in supporting and reaffirming teacher identity formation in HPE;
it provides an environment where teachers can develop their teaching competencies, thus adding not only to their own sense of being a skillful teacher, but also making their commitment to teaching visible to colleagues, managers or potential future employers (Sabel and Archer2014).
It also supports teacher identity by offering narrative resources for constructing a teacher identity, like a common language in which teachers can communicate about teaching and positive stories about teaching (Lieff et al.2012).
Additionally, it provides an environment in which teaching is valued, and where the teaching role is acknowledged for being complex and important (Van Lankveld et al.2017c).
In that sense, faculty development provides an environment where teachers feel appreciated and find a sense of belonging and solidarity to a professional community (Lieff et al.2012).
권장 사항 1: 교육에 대한 스토리텔링을 장려합니다. Recommendation 1: Encourage storytelling about teaching
교사 체험에 대한 스토리텔링은 교사들 간의 연결과 소통을 강화한다(Huber와 Hutchings 2005). 개인적인 이야기에서 교사들은 직업적으로 중요한 경험을 공유하는데, 이는 교습의 복잡성을 이해하는 데 도움이 될 뿐만 아니라 교사들이 스스로 반성할 수 있는 거울도 제공한다(2006년 샹크). 교사의 경험을 교환하는 것은 교사들에게 다른 사람을 방문하고 교사의 정체성을 협상할 수 있는 기회를 제공한다. 그렇게 하는 동안, 그들은 자신이 누구인지에 대한 다른 사람들의 인상을 관리할 뿐만 아니라, 자신이 누구인지도 관리합니다. 따라서 이야기를 하는 것은 한 사람의 정체성에 대한 협상negotiating을 수반한다.
Storytelling about teaching experience enhances connection and communication between teachers (Huber and Hutchings2005). In personal stories, teachers share professionally significant experiences, which not only helps in understanding the complexity of teaching practice, but also provides mirrors for teachers to reflect on their own (Shank2006). Exchanging teaching experiences provides teachers with opportunities to position themselves vis a vis others and negotiate a teacher identity. While doing so, they not only manage others’ impressions of who they are, but also of who they are not. Telling stories thus entails negotiating one’s identity (Watson2006).
권장 사항 2: 교육에 대한 감사와 긍정적인 이야기, 그리고 가르침과 다른 역할 사이의 연관성 강화
Recommendation 2: Reinforce appreciative and positive stories about teaching and about connections between teaching and other roles
교수진 개발은 [널리 퍼진 부정적인 이야기의 대안을 형성]하는 [가르침에 대한 긍정적인 이야기]가 공유될 수 있는 곳이다. 따라서 이러한 이야기를 나눌 기회를 만드는 것이 중요하다.
그러한 긍정적인 이야기의 예로는 차세대 보건 전문가 교육 및 미래의 환자 치료에 상당한 기여를 하는 것과 관련된 서비스 개념을 포함한다(Steinert 및 Macdonald 2015).
다른 이야기들로는 선생님에게 보답하고 의료 전문가에게 무언가를 돌려주겠다는 생각들이 있다.
Faculty development is the place where positive stories about teaching can be shared that form an alternative for the prevalent negative stories. It is thus important to create opportunity for sharing these stories.
Examples of such positive stories include notions of service in relation to teaching the next generation of health professionals and making a significant contribution to the patient care of the future (Steinert and Macdonald2015).
Other stories include notions of repaying one’s own teachers and giving something back to the healthcare profession.
이러한 요소들은 교사들이 현재 HPE에서 지배적인 것들보다 교육에 대한 대안적인 이야기를 개발할 수 있는 토대를 제공할 수 있다. 특히 의료 제공자 또는 연구자와 같은 기존의 다른 아이덴티티를 기반으로 구축되는 스토리는 강력하다. 이는 학계가 가진 여러 역할 간의 연대를 정신적으로 창출하고, 이러한 서로 다른 아이덴티티 사이의 긴장을 감소시키고 계층적이고 구획화된 것이 아니라 교차 및 병합된 아이덴티티를 자극하기 때문이다.(Hermans and Hermans-Konopka 2010).또한 학습자가 발전하는 것을 보는 만족감과 그들과 상호작용하는 재미가 교사의 강한 동기부여가 되어 대안적 정체성 이야기의 빌딩블록으로 기능할 수 있는 것으로 밝혀졌다(Sabel and Archer 2014; Hu et al. 2015).
These elements can provide the building blocks for teachers to develop alternative stories about teaching than the ones dominant in current HPE. Particularly the stories that build on other existing identities like those of care provider or researcher are strong, as they mentally create coalitions between the multiple roles academics have and reduce tensions between these different identities and stimulate intersecting and merged identities rather than hierarchical and compartmentalised ones (Hermans and Hermans-Konopka2010). Also, the satisfaction of seeing learners develop and the fun of interacting with them have been found to be strong motivators of teachers and thus can function as building blocks for alternative identity stories (Sabel and Archer2014; Hu et al.2015).
교수개발을 위한 제안 Suggestions for faculty development
교원 개발 활동에서 교사는 다음을 고려하고 논의하도록 자극함으로써 교사, 의료 제공자 및/또는 연구자의 서로 다른 역할 사이의 가능한 연관성을 반영하도록 자극받을 수 있다. In a faculty development activity, teachers can be stimulated to reflect on possible connections between their different roles of teacher, care provider and/or researcher by stimulating them to consider and discuss:
*다른 역할이 기여하는 중요성. * 진료 제공자나 연구자의 역할 및 교사 역할 간의 유사성 * 좋은 교사가 되는 것이 좋은 임상의나 연구자가 되는 데 도움이 되는 방법 및 그 반대 방법 * 가르침이 치료 제공자 또는 연구자의 역할의 필수적인 부분인 정도입니다.
The importance they attribute to the different roles;
The similarities between the teaching role and their role of care provider or researcher;
The ways in which being a good teacher helps them to be a good clinician or researcher and the other way around;
The extent to which teaching is an integral part of the care provider’s or researcher’s role.
권고사항 3: 교사들이 그들의 교직 역할, 그들에게 주는 의미, 그리고 그들의 기본 가치, 신념, 동기를 되새기도록 한다.
Recommendation 3: Facilitate teachers to reflect on their teaching role, its meaning for them, and their underpinning values, beliefs and motivations
성찰은 전문적인 신분 형성(Wald 2015, Trutwe in 2018)을 강화하는 것으로 나타났다. 교수진 개발에서 이러한 성찰은 여러 가지 방법으로 자극될 수 있다.
Reflection has been shown to strengthen professional identity formation (Wald2015; Trautwein2018). In faculty development, this reflection can be stimulated in several ways.
아이덴티티에 대한 반성을 자극하는 다른 방법에는 예술에 기초한 반성의 형태가 있다. 이미지, 사진, 그림 및 다른 공예품들이 선생님에 대한 그들의 기억, 선생님으로 보는 시각, 그리고 선생님으로서의 발전을 수년간(Lavina와 Lawson 2019) 자극하기 위해 선생님들을 자극한다.
Other ways to stimulate reflection on identity entail art-based forms of reflection, in which images, photos, drawings and other artifacts are used to stimulate teachers to reflect on their memories of teachers, the way they see themselves as a teacher, and their development as a teacher over the years (Lavina and Lawson2019).
교수진육성을 위한 제안 Suggestions for faculty development 교사가 자신의 정체성을 되새기도록 자극할 때는 과거와 현재, 미래뿐 아니라 타인과 관련한 자기 이해에 대해서도 성찰하도록 하는 것이 도움이 된다. 교사들이 자신의 역할을 되새기도록 자극하기 위한 유용한 성찰 질문은 다음과 같다. When stimulating teachers to reflect on their identity, it is helpful to have them reflect on the past, present and future, as well as on their self-understanding in relation to others. Helpful reflection questions to stimulate teachers to reflect on their role are:
- 과거 관련 내용: * 당신은 왜 선생님이 되었어요? * 지금까지 선생님으로서의 발전상을 돌이켜보면, 어떻게 변했나요? * 선생님으로서 어떤 과거의 경험이 당신에게 영향을 주었습니까? * 과거에 선생님으로 성장하는데 도움이 된 것은 무엇인가요? - 현재와 관련하여: * 당신은 당신이 선생님이라고 생각합니까? * 당신의 다른 업무와 비교했을 때, 가르치는 것이 당신에게 얼마나 중요합니까? * 무엇을 가르치는 것이 좋은가? * 선생님으로서 당신의 자질은 무엇입니까? * 학생들과의 접촉에서 당신에게 중요한 것은 무엇입니까? * 이상적인 선생님에 대한 당신의 이미지는 어떤가요? - 타인과의 관계에서 자아에 관한 것: * 여러분은 선생님들의 공동체의 일부라고 생각하나요? * 당신이 다른 선생님들과 비교해서 선생님으로서 어떤 특징이 있습니까? * 선생님으로서 당신에게 롤모델은 누구입니까? - 미래에 관한 사항: * 당신은 미래에 어떤 선생님이 되고 싶습니까? * 미래에 대한 당신의 목표와 포부는 무엇입니까? * 어떤 진로를 꿈꾸고 계십니까?
Concerning the past:
Why did you become a teacher?
Looking back at your development as a teacher so far, how did you change?
Which past experiences have influenced you as a teacher?
What in the past helped you to grow as a teacher?
Concerning the present:
Do you consider yourself a teacher?
How important is teaching to you, compared to your other tasks?
What (according to you) is good teaching about?
What are your qualities as a teacher?
What is important to you in your contacts with students?
How does your image of an ideal teacher look like?
Concerning self in relation to others:
Do you feel part of a community of teachers?
What characterises you as a teacher compared to other teachers?
Who are role models to you, as a teacher?
Concerning the future:
What kind of teacher do you want to be in the future?
What are your goals and aspirations for the future?
What career path do you envision?
(기준: Kortagen 및 Vasalos 2005; Akkerman 및 Meijer 2011; Steinert 등. 2019) (based on: Korthagen and Vasalos2005; Akkerman and Meijer2011; Steinert et al.2019).
교사제안 Suggestions for teachers
위의 질문을 사용하여 자신의 정체성을 되새겨 보세요.
Reflect on your identity using the questions above.
권고사항 4: 교사들이 일하는 상황에 민감하게 반응하라. Recommendation 4: Be sensitive to the context teachers work in
교사의 정체성은 교사가 일하는 곳에서 만연한 암묵적 문화와 규범에 의해 강하게 영향을 받는다. 일부 연구자들은 교직원 개발의 효과를 저해하는 숨겨진 커리큘럼의 존재를 제안한다(Hafler et al. 2011). 좋은 접근 방식에는 학습자가 자신의 작업장에서 예상되는 문화적 현실에 대한 새로운 접근 방식을 맞춤화할 수 있도록 하는 것이 포함된다. 이를 위한 한 가지 방법은 학습자가 직장 문화에서 탐색해야 할 요소들을 드러내는 교육적 실천에 대한 이야기를 공유하도록 유도하는 것이다. 시간이 허락한다면, 교수개발자는 업무 현장에서 학습자를 관찰하고 자신이 목격한 문화적 환경에 적합한 교사 개발 접근 방식을 개발하는 것이 중요하다(Silver and Leslie 2009).
Teacher identity is strongly influenced by the implicit culture and norms that prevail in the places where teachers work. Some researchers suggest the existence of a hidden curriculum in the workplace that undermines the effectiveness of faculty development (Hafler et al.2011). Valuable approaches include facilitating learners to customise new approaches to the anticipated cultural realities of their workplaces. One way of doing this is to encourage learners to share stories about teaching practice in their workplace that reveal elements of workplace culture that need to be navigated. If time allows it is valuable for faculty developers to observe their learners in the places of work and develop teacher development approaches appropriate to the cultural landscapes that they have witnessed (Silver and Leslie2009).
권장사항 5: 사회적 관계 구축 및 지원 네트워크 활성화
Recommendation 5: Stimulate the building of social relations and support networks
사회적 관계는 교사 정체성에 대한 중요한 결정 요소이자 서포트이다(Cantillon et al. 2016). 교수개발은 자극적인 그룹 작업을 통해 이를 자극할 수 있으며, [휴식 시간 동안의 비공식적인 대화]를 위한 시간을 허용하고 [교수 간 네트워크] 또는 [특수 관심 그룹]을 자극할 수 있다(Lieff et al. 2012). 또한, 아래 상자에서 논의한 네트워크 워크숍과 같이 교수진 개발 프로그램에 자신의 지원 네트워크 구축에 대한 반영을 포함할 수 있다.
Social relationships represent critical determinants and supports for teacher identity (Cantillon et al.2016). Faculty development can stimulate this through stimulating group work, allowing time for informal conversations during breaks and stimulating networks or special interest groups (Lieff et al.2012). Additionally, one could include reflection on building one’s own support networks in the faculty development program, such as the network workshop discussed in the box below.
교수개발을 위한 제안 Suggestions for faculty development Van Waes 외 연구진(2018)은 교사에게 교육 네트워크 개발을 명시적으로 권장하는 간단한 네트워크 워크숍(예: 45분)을 교수진 개발 프로그램에 포함할 수 있는 방법을 설명한다. Van Waes et al. (2018) describe how brief network workshops (e.g. 45 minutes) can be included in faculty development programs, in which teachers are explicitly encouraged to develop their teaching networks: * 먼저 네트워크의 잠재력을 논의하여 관행을 개선한다. *그런 다음 참가자들에게 네트워크(예: 교육적 아이디어나 조언을 위해 정기적으로 상담하는 사람)를 시각화하게끔 하고, 네트워크에 상주하는residing 자원과 전문성expertise에 대해서 성찰하게 요청한다. 그러한 성찰적인 연습을 사용하여, 교사들은 교사로서 그들의 일과 발전을 지원하는 데 있어 현재의 네트워크의 역할을 인식하게 된다. *그런 다음 교사들에게 교직 경험과 부서 내부 및 외부의 연락 측면에서 네트워크의 다양성을 반성하고 강점과 약점을 파악하도록 요청한다. 그들은 종종 이 단계에서 자신의 부서(지원 인력 포함)를 넘어서는 것이 유익하다는 것을 깨닫는다. *네트워크를 리와이어하고 최대화하는 전략에 대한 지식을 공유한 후, 교사들이 기존 네트워크를 확장하는 첫 번째 단계에서 서로 협력하도록 장려한다.
First discuss the potential of networks to improve one’s practice.
Then ask participants to visualise their network, i.e. who they routinely consult with for educational ideas or advice, and have them reflect on the resources and expertise residing in it. Using such a reflective exercise, teachers become aware of the role of their current network in supporting their work and development as teachers.
Then ask teachers to reflect on the diversity of their network in terms of teaching experience and in terms of contacts within and outside the department and have them identify strong and weak points. They often realise at this stage that it is beneficial to reach beyond their own department (including supporting staff).
After sharing knowledge about strategies to rewire and maximise one’s network, encourage teachers to work with each other on the first steps towards expanding their existing network.
네트워크 워크숍에 참여한 교사들은 시간이 지남에 따라 네트워크 역학이 증가하여 더 크고 더 다양한 네트워크를 개발할 수 있었다. Teachers who participated in the network workshop were able to develop larger and more diverse networks over time with increased network dynamics.
교사제안 Suggestions for teachers
부서 안팎에서 교사 및 교육 지원 인력으로 구성된 네트워크를 구축하고 조언이 필요하거나 새로운 아이디어를 테스트하기 위해 네트워크를 사용하십시오.
Build your network of teachers and educational support staff, both in and outside your department, and use your network if you need advice or to test emerging ideas.
권장 사항 6: 교사 개발에 대한 종방향적이고 지속적인 접근 방식 확립 Recommendation 6: Establish a longitudinal and continuing approach to teacher development
교원 정체성을 지원하고 유지하는 데 관계적 요인이 중요하므로 종단적 전문성 개발 프로그램은 종종 적용되는 일시적episodic 모델보다 교원 정체성을 지원하는 데 더 유익하다(Lieff et al. 2012). 종방향 프로그램은 참가자들 사이에 더 큰 신뢰를 유발하므로, 더 강한 소속감과 그들이 가르치는 일에 대한 그들의 헌신을 공유하고 새로운 아이디어를 시험할 수 있는 그들 자신의 부서 밖의 동료들과 연결감을 준다. 2009; Jauregui et al. 2019).
Since relational factors are important in supporting and sustaining teacher identity, longitudinal professional development programs are more beneficial for supporting teacher identity than the episodic models that often apply (Lieff et al.2012). Longitudinal programs engender greater trust between participants and therefore a stronger sense of belonging and a sense of connectedness with like-minded peers from outside their own department, with whom they share their commitment to teaching and can test new ideas (Andrew et al.2009; Jauregui et al.2019).
5. 결론 5. Concluding remarks
교사 정체성이 강한 교사는 가르치는 것에서 더 큰 즐거움과 의미를 경험하고 교수진 개발에 더 많이 관여하는 경우가 많다. 그러나 HPE의 많은 작업장에서 교사의 정체성은 임상 및 연구 성과에 주로 초점을 맞추기 때문에 저해된다. 결과적으로, 교사는 다른 역할을 잘 다루기가 어려울 수 있으며, 서로 다른 정체성을 교차하거나 병합하는 것이 아니라 계층적 또는 구획화된 것으로 볼 수 있다. Teachers who have a strong teacher identity often experience greater enjoyment and meaning from teaching and are more involved in faculty development. In many workplaces in HPE however, teacher identity is hampered because of the predominant focus on clinical and research performance. Consequently, teachers may find it difficult to juggle their different roles and may see their different identities as hierarchical or compartmentalised, rather than as intersecting or merged.
이 가이드에서 우리는 교사 정체성을 강화하고 향상시킬 것으로 믿는 권고 사항을 제공했습니다. 이러한 제안 중 일부는 상대적으로 구현이 쉬우며, 다른 제안들은 상당한 조직적 매수 및 투자를 필요로 할 것이다. HPE의 교사 정체성에 대한 연구의 대부분은 서구 국가, 상대적으로 자원이 풍부한 기관에 기반을 두고 있다는 점에 주목했다. 따라서, 특히 자원이 적은 기관에서는, 권고안은 지역 기관의 특정 상황, 구조, 시스템 및 문화에 대한 적응을 요구할 것이다. In this guide we have provided recommendations that we believe will shore up and enhance teacher identity. Some of these suggestions are relatively easy to implement and others will require considerable organisational buy-in and investment. We noted that much of the research on teacher identity in HPE is based in Western countries, in relatively resource-rich institutions. Hence, particularly in institutions with less resources, the recommendations will require adaptation to the specific context, structures, systems and culture of the local institution.
향후 연구를 위한 몇 가지 의문점이 여전히 남아 있다. Several questions for future research still remain.
첫째, 업무의 맥락에서, HPE 교사들은 임상의, 교육자, 지도자 및 연구자로서 그들의 다양한 역할 사이의 긴장을 어떻게 헤쳐나갈 것인가? 그들은 각각의 역할 사이에 겹치거나 상호작용을 경험하는가? 그리고 그것이 어떻게 정체성에 영향을 미치는가? 이러한 서로 다른 역할의 균형을 맞추고 각각의 역할 정체성을 강화하기 위해 어떤 전략을 개발하고 있는가? 그리고 이것이 어떻게 한 사람의 경력에서 발전할까요? 경험 많은 선생님들은 중후반 진로에서 어떻게 그들의 교육 동기를 유지할까? First, in the context of their work, how do HPE teachers navigate the tension between their various roles as clinicians, educators, leaders and researchers? Do they experience overlap or interaction between their respective roles, and how does that influence identity? What strategies do they develop to balance these different roles and shore up the respective role identities? And how does this develop over one’s career? How do experienced teachers sustain their teaching motivation in mid and late career?
둘째, 직장 문화의 변화와 관련하여 교사의 정체성에 대한 결과는 무엇인가? 특히, 교직에 대한 보상과 인정의 체계와 관련, 그리고 교직의 지위에 관한 관련 담론과 관련된다. Second, what are the consequences for teachers’ identities in relation to changes in workplace culture? In particular, in relation to systems of reward and recognition for teaching and the associated discourse with regard to the status of teaching.
셋째, 우리는 교사 정체성 강화, 특히 여러 역할 간의 긴장을 줄이기 위한 개입, 그리고 직장 생활 동안 교사 성장, 개발 및 정체성을 강화하기 위한 개입에 초점을 맞춘 교수 개발 개입에 대한 더 많은 연구를 환영한다. 또한, 외부 전략보다 상황에 더 민감하고 작업장에 기반하는 교수진 개발 전략의 개발과 평가는 환영받을 것이다. Third, we welcome more research on faculty development interventions focused on strengthening teacher identity, particularly interventions for reducing the tensions between the multiple roles, and interventions to enhance teacher growth, development and identity over the course of a working life. Additionally, the development and evaluation of faculty development strategies that are more context-sensitive and workplace-based than off-site strategies would be welcome.
넷째, HPE의 교원 정체성에 대한 많은 연구가 현재 유럽과 캐나다에 기반을 두고 있기 때문에, 우리는 교원 정체성이 다른 문화적 맥락에서 다르게 경험되는지를 알아내기 위해 다른 나라에서 더 많은 연구가 필요하다고 생각한다. Fourth, as much of the research on teacher identity in HPE currently is based in Europe and Canada, we think more research in other countries is needed to find out whether teacher identity is experienced differently in different cultural contexts.
교사 정체성을 지원하는 것은 교육적 사명을 가진 교수진 개발자와 의료 기관에게 핵심 초점이 되어야 한다. 우리는 교사 정체성의 지원support을 보건직업 교육에 참여하는 모든 기관의 본질적인 가치이자 목표로 간주해야 할 때가 왔다고 생각한다.
Supporting teacher identity is, or certainly should be, a core focus for faculty developers and healthcare organisations with an educational mission. We think the time has come to regard the support of teacher identity as an essential value and goal for all institutions involved in health professions education.
Med Teach.2021 Feb;43(2):124-136.
doi: 10.1080/0142159X.2020.1838463.Epub 2020 Nov 6.
Supporting a teacher identity in health professions education: AMEE Guide No. 132
This guide provides an understanding of what teacher identity is and how it can be developed and supported. Developing a strong teacher identity in the context of health professions education is challenging, because teachers combine multiple roles and the environment usually is more supportive to the identity of health practitioner or researcher than to that of teacher. This causes tensions for those with a teaching role. However, a strong teacher identity is important because it enhances teachers' intention to stay in health professions education, their willingness to invest in faculty development, and their enjoyment of the teaching role. The guide offers recommendations on how to establish workplace environments that support teacher identity rather than marginalise it. Additionally, the guide offers recommendations for establishing faculty development approaches that are sensitive to teacher identity issues. Finally, the guide provides suggestions for individual teachers in relation to what they can do themselves to nurture it.
Keywords:Teacher identity; faculty development; professional identity; role of teacher; workplace.
강의 없는 교육과정: 평생학습을 위한 무대 설정(AMEE Guide No. 135) (Med Teach, 2020)
The lecture-free curriculum: Setting the stage for life-long learning: AMEE Guide No. 135 Dean Parmeleea , Brenda Romana , Irina Overmana and Maryam Alizadehb
이론적 근거 – 왜 우리가 수세기 동안 사용해왔던 것을 바꾸는가?
Rationale – why change that which we have used for centuries?
우리 두 기관에서 강의 없는 커리큘럼으로의 변화를 위한 자극은 2002년 라이트 주립 대학교 분쉬소프트 의과대학(BSOM)에서, 2011년 테헤란 의과대학(TUMS)에서 시작되었다.
BSOM은 2002년부터 팀 기반 학습(TBL)을 사용하기 시작하여 2017년 여름 강의 없는 커리큘럼으로 전환을 완료했다. 입학을 위해 학사학위가 필요한 4년제 석사학위 수여학교로 매년 120명을 입학시킨다. 지역사회에 기반을 둔 의과대학으로, 임상 교육 프로그램을 위한 하나의 학문적 의료 센터가 없고 오히려 미국 남서부 오하이오 지역의 모든 의료 시설과 함께 가르치기 위해 협력적인 제휴를 사용한다.
이란에서 가장 오래되고 규모가 큰 의과대학인 테헤란 의과대학(TUMS)은 2011년부터 TBL을 새로운 커리큘럼의 핵심 교육 전략으로 사용하기 시작했으며, 2020년 현재 수업 시간의 약 30%는 강의가 없고 나머지는 강의 구조 내에서 상호작용하고 있다(헤지리 외 2018). 그것은 일부 교실을 '활성 학습' 공간으로 변화시켰고 계속해서 '강의 없는' 상태로 전환하고 있다. 우리 두 학교 모두, TBL에 대한 긍정적인 학생 피드백은 교수진들이 수업 시간을 줄이도록 하는데 도움을 주었다. 왜냐하면 학업 성적이 향상되고 학생들이 수업에 참여하고 참여했기 때문이다. 이런 것은 강의에서는 일어나지 않았다.
The impetus for change to lecture-free curricula at our two institutions began in 2002 at Wright State University Boonshoft School of Medicine (BSOM) and 2011 at Tehran University School of Medicine (TUMS). BSOM began to use Team-Based Learning (TBL) in 2002 and completed the transformation to a lecture-free curriculum in summer 2017. It is a 4-year M.D. degree granting school that requires a Bachelor’s degree for admission and accepts 120 students each year. It is a community-based medical school, which means it has no single academic medical center for its clinical education programs, but rather uses collaborative alliances for teaching with all health care facilities in the southwest Ohio region of the US. Tehran University of Medical Sciences (TUMS), the oldest and largest medical university in Iran started using TBL as a core instructional strategy in their new curriculum in 2011, and, as of 2020, about 30% of its classroom time is lecture-free with the remainder being interactive within a lecture structure (Hejri et al.2018). It has transformed some of its classrooms into ‘active learning’ spaces and continues to transition to a ‘lecture free’ status. For both of our schools, positive student feedback about TBL helped drive faculty to reduce lecture time because the academic outcomes had improved and students attended and were engaged in their learning, something that was not happening in lectures.
우리의 근거의 중심은 보건과학 교육에서 가르치는 '전략'으로서 [강의하는 것]이 학생들이 일반적으로 어떻게 배우고, 임상적 추론에 필요한 과학과 생의학을 어떻게 배우는지에 대해 우리가 현재 알고 있는 것과 거의 부합하지 않는다는 것이다. 강의의 지속성은 쓰여진 단어written word를 사용하는 전통에 깊이 뿌리박고 있다; 강의는 심화 학습이 아니라 정보를 전달하기 위한 것이었다(Taylor and Hamdy 2013, 페이지 1567). 일부 교수들이 교육자로서 느끼는 기능이다.
The center point of our rationale is that lecturing as a ‘strategy’ for teaching in the health science education is a colossal misfit with what we know now about how students learn, in general, and how they learn the science and biomedical science needed for clinical reasoning. Persistence of lecture is deeply rooted in a tradition that pre-dates the use of the written word; it was and still is meant to transmit informationnotfordeep learning(Taylor and Hamdy2013, p. e1567), a function that some faculty feel is their purpose as educators.
BSOM에서 우리는 거의 20년간 좋은 학업 성과와 TBL에 대한 학생들의 지지를 받아왔으며, 학습 환경을 더욱 향상시키기 위한 추가 전략을 모색하고 개발할 수 있었다. 다른 많은 학교들처럼, 우리의 강의 참석률은 10%까지 떨어졌고, 우리는 다음 단계에서 창의력을 발휘해야 한다는 것을 알았습니다. 교수진과 우리 학교의 리더십을 위해, 학부 수학 및 과학 교육 연구의 새로운 증거(Freeman et al. 2014; Wieman 2014)는 대형 강의실에서 능동적인 학습 전략의 이점을 입증하고 강의 없는 커리큘럼으로 이동하도록 영감을 주었다. We, at BSOM, having had almost twenty years of good academic outcomes and student endorsement of TBL, were open to explore and develop additional strategies to further enhance the learning environment. Like many other schools, our lecture attendance had dropped to as low as 10%, and we knew we had to be creative in our next steps. For faculty and the leadership at our schools, the emerging evidence from undergraduate math and science education research (Freeman et al.2014; Wieman2014) demonstrated the benefits of active learning strategies in large classrooms and inspired us to move to a lecture-free curriculum.
마지막으로, 에마뉴엘(2020, 페이지 1)의 코멘트에 따르면, '의학 교육이 현재 점진적이지만 중대한 변화를 겪고 있다'며, '전임상 강의 종료'의 정점에 서게 될 수도 있다.
attending to Emanuel’s (2020, p. e1) comment that ‘Medical education is currently undergoing a gradual but significant change’ and that we may be at the cusp of ‘The End of Preclinical Classroom Instruction’,
학문의 과학 The science of learning
인지신경과학의 기여 Contributions from cognitive neuroscience
인지 신경과학은 강조, 밑줄 긋기 또는 재독서가 학습 방법이며 '학습 스타일'과 같은 것이 있다는 신화를 부인하고 학습에 대한 증거 기반 접근법을 발견했다(Pashler et al. 2008). 학습 요건과 경험 설계를 담당하는 학습자와 교사 모두에게 HPE 교육 및 학습 전략에 통합될 수 있는 6가지 원칙이 있다. Cognitive neuroscience has discovered evidence-based approaches to learning, dispelling myths that highlighting, underlining, or re-reading are ways to learn (Karpicke2012; Brown et al.2014) and that there is such a thing as ‘learning styles’ (Pashler et al.2008). For both the learner and the teacher who is responsible for designing the learning requirements and experiences, there are six principles that can be incorporated into HPE teaching and learning strategies.
인출 기반 학습
Retrieval-based learning
HPE는 엄청난 양의 정보를 학습하고 이를 임상 영역 내에서 의사 결정에 적용할 수 있는 지식으로 변환해야 한다. 학습을 이해하고 촉진하는 열쇠는 검색을 통해서이다.
HPE demands learning an enormous amount of information and to transform it into knowledge that is applicable for making decisions within the clinical domain. A key for understanding and promoting learning is through retrieval.
이러한 발견의 실제적 의미는 학습자뿐만 아니라 강사에게도 심오합니다. 학습자에게 있어 정보는 더 잘 기억될 수 있으며 새로운 상황에서 더 많은 정보를 의도적으로 검색할수록 적용되어 지식을 얻을 수 있다. 강사의 경우,강의실 내 학습자를 준비하는 수업 외 과제에 대한 '인출 기반' 활동 설계를 포함한다. '플립 클래스룸' 또는 '활성/참여 클래스' 패러다임이 이러한 결과와 일치한다.
The practical implications of these findings are profound for the learner as well as the instructor. For the learner, information can be remembered better and applied in novel situations the more one retrieves it purposefully– resulting in knowledge gained. For the instructor, the teaching task includes designing ‘retrieval-based’ activities for the out-of-class assignments that prepare the learner for the in-class ones; the ‘flipped-classroom’ or ‘active/engaged classroom’ paradigm aligns with these findings.
…지식을 인출할 때마다 그 지식은 바뀌는데, 이는 지식을 검색할 때 그 지식을 다시 검색할 수 있는 능력이 향상되기 때문입니다. 인출을 연습하는 것은 단순히 암기하고 일시적인 학습을 생산하는 것이 아니라 의미 있는 장기 학습을 생산한다. 그러나 많은 학생들이 메타인지 인식이 부족하고, 학생들은 인출연습을 해야 할 만큼 자주 사용하지 않는다.적극적 인출은 의미 있는 학습을 촉진하기 위한 효과적이지만 저평가된 전략이다(Karpicke 2012, 페이지 157).
…every time a person retrieves knowledge, that knowledge is changed, because retrieving knowledge improves one’s ability to retrieve it again in the future. Practicing retrieval does not merely produce rote, transient learning; it produces meaningful, long-term learning. Yet retrieval practice is a tool many students lack metacognitive awareness of and do not use as often as they should. Active retrieval is an effective but undervalued strategy for promoting meaningful learning (Karpicke2012, p. 157).
간격 반복
Spaced repetition
검색 기반 학습과 연계된 '간격두기 반복'은 '시간 간격을 두고 학습할 자료와의 반복적인 만남…'(강2016, 페이지 13)으로 정의된다. 학습자에게 있어, 한 블록의 자료를 처음 학습하는 것과 시간의 차이가 난 후에 검토하는 발견은 그것을 기억으로 굳히는 데 도움이 된다. 강사의 경우, 시간적 공백 후에 자료를 검색해야 하는 학습 활동을 의도적으로 계획하는 것이 해당 자료를 학습하는 데 도움이 됩니다. 이는 특히 중요한 과정 개념을 '스캐폴딩'하여 커리큘럼에서 정기적으로 '재방문'할 때 적용됩니다.
Linked to retrieval-based learning is ‘spaced repetition,’ defined as ‘Repeated encounters with to-be-learned material that are spaced out in time…’ (Kang 2016, p. 13). For the learner, this finding of reviewing a block of material after a gap in time from first learning it, helps cement it into memory. For the instructor, deliberately planning learning activities that require retrieving material after a gap in time helps assure learning that material. This is especially applicable when ‘scaffolding’ important course concepts so that ‘revisiting’ them occurs regularly in the curriculum.
인터리빙
Interleaving
'정보 헤비information heavy'한 HPE에 적용되는 thoughful한 교육 설계는 단일 주제 또는 도메인의 학습을 '매스'하는 것이 아니라 여러 관련 개념을 동시에 통합하는 전략이다. 'Massing'은 학생들이 시험을 위해 외운 후 즉시 모든 것을 잊어버리는 '먹고 토하기binging and purging'을 장려하는 것이다.
Thoughtful instructional design, applicable to ‘information heavy’ HPE, incorporates this strategy of not ‘massing’ the learning of a single topic or domain, but incorporating multiple related concepts at the same time. The ‘Massing’ is one that encourages ‘binging and purging’ where students memorize for the exam and then promptly forget it all.
의학 교육에서 기존의 접근 방식은 중복되는 개념에 대해서는 생각하지 않고, 각 생물의학 분야를 별도로 제시하는 것이었다. 더 많은 프로그램이 하는 인터리빙의 경우, 심혈관 같은 시스템은 기초 해부학으로 시작하지만 분자 메커니즘의 기초에 따라 빠르게 생리학으로 전환된 후 심전도(ECG)가 작동하는 방식을 이해하기 위해 다시 해부학으로 전환된다. 각각의 반복을 통해, 시작 주제는 다음 단계의 복잡성 수준에서 학습될 수 있다.
The conventional approach in medical education has been to present each biomedical science discipline separately with minimal attention to overlapping concepts. For interleaving, which more programs do, a system such as cardiovascular starts with fundamental anatomy but quickly shifts to physiology with its underpinning of molecular mechanisms, then back to anatomy to understand how an electrocardiogram (ECG) works. With each iteration, a beginning topic can be learned at its next level of complexity.
빈번한 테스트
Frequent testing
시험은 주로 배워야 할 것에 대한 평가로 간주되며, 다른 의미를 가진 범주들이 많이 있다: 고부담, 저부담, 청각적, 교육적, 자율 관리, 강사 관리, 객관식, 논술, 구두, 필기. 연구에 따르면 시험은 학습을 향상시키며, 특히 피드백을 자주 받을 때 그러하다. '플립 교실'은 수업 외 활동 및 수업 내 활동 모두를 위한 빈번한 '시험'을 포함하도록 잘 설계되었다. 이러한 테스트를 짧게, 저부담 수준으로 유지하고, 즉각적인 피드백을 제공하면 학생 학습이 향상됩니다. HPE 학생은 자신의 학과에 따라 자격시험과 면허시험의 폭과 난이도를 나타내도록 설계 및 교정된 독점 시험은행을 구입한다.
Testing is seen primarily as assessment of what should have been learned, and there are many categories with different implications: high stakes, low stakes; auditive, educative; self-administered, instructor-administered; multiple-choice, essay; oral, written. Research has shown that testing also enhances learning (Larsen et al. 2009), particularly when done frequently and with feedback (Larsen et al. 2009; Roediger and Pyc 2012). The ‘flipped-classroom’ is well-designed for incorporating frequent ‘tests’ for both out-of and in-class activities. Keeping these tests short, low-stakes, and providing immediate feedback enhances student learning. HPE students purchase proprietary test banks that are designed and calibrated to represent the breadth and difficulty of the qualifying and licensure exams respective to their discipline.
정교한 심문 및 자기 설명
Elaborative interrogation and Self-Explanation
이 두 가지 전략은 학습 효과를 위해 밀접하게 연결되고 광범위하게 연구된다. (Roediger 및 Pyc 2012) 정교한 질문은 새로운 내용을 배울 때 '왜' 질문을 하는 것을 의미한다. 예를 들어, 울혈성 심부전으로 페달 부종이 발생하는 이유는 무엇인가? 자기 설명은 개념에 대한 여러분의 생각을 여러분 자신이나 다른 사람들과 나누는 것입니다. 만약 학생들이 동료나 자신에게 그들의 생각을 보여주거나 말하기 위해 화이트보드를 사용한다면, 배움은 확대된다. 이러한 두 가지 전략을 실천하는 사람들은 처음에는 학습이 '느려'지지만, 실습으로 학습 효율이 증가한다는 것을 알게 됩니다(Roediger 및 Pyc 2012). 능동적/참여형 교실에서 강사는 개별 학생이나 소규모 그룹의 학생들이 이웃의 동료나 전체 학급에게 그들의 생각을 설명할 수 있는 여러 기회를 만들 수 있다.
These two strategies are closely linked and extensively researched for their effectiveness for learning. (Roediger and Pyc 2012) Elaborative interrogation means asking the ‘why’ questions when learning new content, e.g. why does pedal edema develop with congestive heart failure? Self-explanation is sharing your thoughts about a concept with yourself or others. If students use a white board to display or articulate their thinking to a peer or themselves, then learning is magnified. Those who practice these two strategies will encounter a ‘slow down’ of their study at first – but with practice they discover their learning efficiency increases (Roediger and Pyc 2012). In the active/engaged classroom, the instructor can create multiple opportunities for individual students or small group of them to explain their thinking to neighboring peers or the whole class.
메타인지
Metacognition
HPE의 최우선 과제는 학습자가 자기주도적이 되어 평생 학습자가 될 수 있는 기술, 태도, 습관을 개발하는 것이다.이를 위해 학습자는 '…개인이 자신의 현재 지식과 기술 수준을 모니터링하고, 최적의 효율성으로 제한된 학습 자원을 계획 및 할당하고, 현재 학습 상태를 평가하고, 인지 전략을 수정 또는 변경할 수 있도록 하는 메타인지 기술을 개발해야 한다'(Schraw et al. 2006, 페이지 116).
A top priority in HPE is for learners to become self-directed and develop the skills, attitudes, and habits to become life-long learners. For this to happen, the learners must develop metacognitive skills which ‘…enable individuals to monitor their current knowledge and skill levels, plan and allocate limited learning resources with optimal efficiency, and evaluate their current learning state and modify or change cognitive strategy’ (Schraw et al. 2006, p. 116).
인지 및 동기 부여를 포함하는 '자기조절학습'의 훨씬 더 광범위한 구성의 일환으로, 우리는 그것이 특정 교실 개입을 통해 과학 교육에서 개발될 수 있다는 것을 알고 있다(Schraw et al. 2006). 과학 교육에서 '검증된' 두 가지 접근 방식은 질의 기반 학습inquiry based learning과 협업 학습collaborative learning이며, 이 두 가지 접근 방식은 모두 능동적/참여적 학습 전략에 특징이다. As part of the much broader construct of ‘self-regulated learning,’ that includes cognition and motivation, we know that it can be developed in science education through specific classroom interventions (Schraw et al. 2006). Two ‘proven’ approaches from science education are inquiry based learning and collaborative learning, both of which are featured in active/engaged learning strategies.
과학과 임상적 추론의 학습 The learning of science and clinical reasoning
건강직업교육(HPE)은 생물, 화학, 물리학, 수학, 통계학 분야에서 만들어진 생물 의학에 기초한다. Health professions education (HPE) is founded largely upon the biomedical sciences, which are built from the disciplines of biology, chemistry, physics, mathematics, statistics.
과학교육(K-12와 대학)는 21세기 초부터 사실과 공식에 초점을 둔 것에서 벗어나 논증과 해명의 학생개발과 비판적 담론(National Research Council 2012)을 중심으로 담론이 풍부한 문제해결로 바뀌었다. Instruction in science (K-12 and collegiate) has changed since the beginning of the twenty-first Century – moving away from a focus on facts and formulae to discourse-rich problem-solving with emphasis on student development of argumentation and explanation, and critical discourse (National Research Council2012).
HPE에 입문하는 사람들에게 과학에서 생의학(생리학, 해부학, 생화학, 약학, 병리학) 학습으로의 전환은 중요한 과제이다. 어휘는 풍부하며, 그 개념들은 하나 이상의 핵심과학과 관련된 심리사회과학과 인문과학에서 파생되었다. 일부 임상적 조건은 '패턴 인식'을 통해 직접적이고 인식할 수 있다. 다른 것들은 더 복잡하며 정교하고 역동적인 문제 해결 프로세스 내에서 생물 의학 및 심리 사회 과학 지식을 사용해야 한다. The transition from learning science to learning biomedical sciences (physiology, anatomy, biochemistry, pharmacology, pathology) is a major task for those entering HPE. The vocabulary is voluminous, and the concepts are derived from more than one of the core sciences and related psychosocial sciences and humanities. Some clinical conditions can be straight-forward and recognizable through ‘pattern recognition.’ Others are more complex and require use of biomedical and psychosocial science knowledge within a sophisticated and dynamic problem-solving process (ten Cate et al.2018).
학습 과학 및 과학 학습과 마찬가지로 임상 추론 연구도(그것이 무엇이고, 어떻게 발전하며, 어떻게 평가되고, 어떻게 학습되고 가르쳐지는가)가 진화하고 있다. 효과적 교육 전략으로는 다음이 있다.
바이오메디컬과 임상 사이의 빈번한 연결,
아날로지를 사용하여 임상 문제의 기초가 되는 추상 개념에 대한 이해를 강화
다양한 맥락에서 설정된 많은 임상 문제를 가지고 학습자를 challenge하는 것
As with the science of learning and the learning of science, research on clinical reasoning – what it is, how it develops, how it is assessed, how it is learned and taught – is evolving (Castillo J et al.2018). Teaching strategies that show benefit include those that
make frequent connections between the biomedical and clinical,
use analogies (Kulasegaram et al.2012) to strengthen understanding of abstract concepts that underlie clinical problems, and
challenge learners with many clinical problems set in varied contexts (Kulasegaram et al.2013).
학습의 발생 방법과 일치하는 학습 활동을 만들면서, 우리는 (HPE의 임상 전 단계 동안) 임상 추론과 함께 진화하는 생물 의학 학습이
(1) 생물 의학 및 임상 과학을 통합하는 임상 문제 해결 활동,
(2) 학생 간 빈번한 토론discourse를 통해서 임상추론을 구축하는 협력적 활동.
(3) 지식 격차를 식별하고 성공적인 학습 전략을 강화하기 위한 학습에 대한 빈번한 피드백,
(4) 광범위한 읽기를 위한 충분한 수업 외 시간과 학습에 대한 메타인지 접근 방식을 개발할 기회 제공.
In creating learning activities that align with how learning happens, we conclude that learning of biomedical science as it evolves with clinical reasoning (during the pre-clinical phase of HPE) should incorporate:
(1) clinical problem-solving activities that integrate biomedical and clinical sciences;
(2) collaborative activities where frequent discourse between students builds their clinical reasoning;
(3) frequent feedback on learning to identify knowledge gaps and reinforce successful study strategies;
(4) sufficient out-of-class time for extensive reading and opportunities to develop metacognitive approaches to learning.
능동적 학습 Engaged and active learning
과학 학습의 대학 수준의 영역인 경우, 학생들이 수동적 강의가 아닌 강의실에서 적극적으로 참여할 때 학습이 더 크다는 증거가 입증된다(Freeman et al. 2014; Wieman 2014). HPE의 경우, 수업 시간이 수업 외 학습 내용(Hew and Lo 2018)의 적용에 초점을 맞춘 학습 활동을 사용할 때 학생들이 점점 더 잘 학습한다는 증거가 설득력을 얻고 있다. 비록 HPE 학생은 자격 시험에 합격하거나 [우수한 성적]을 거두기 위해 필요한 것을 배우려는 의욕이 강하지만, 그들은 또한 그들의 어떤 것이 ['실무practice'에 유용]한지 배우기를 원한다. 그들은 이 두 가지 목표를 모두 준수하는 교육적 노력을 높이 평가합니다. For the college-level domain of science learning, the evidence is incontrovertible that learning is greater when students are actively engaged in the classroom and not in a passive lecture (Freeman et al.2014; Wieman2014). In HPE, the evidence is increasingly convincing that students learn more and better when classroom time uses learning activities focused on the application of what they have learned outside of class (Hew and Lo2018). Although the HPE student is highly motivated to learn what is needed to pass or excel on a qualifying exam, they also want to learn what will be useful for their ‘practice’ in the workforce. They appreciate curricular efforts that attend to both of these goals.
학생들이 건강 직업에 중요한 비인지적 역량(즉, 리더십(직접적이고 분산), 대인 커뮤니케이션, 팀워크, 메타인지적 실무 등)을 학습하고 실습 기회를 제공하는 데 도움이 되는 증거 기반 교육 전략이 있다. 새로운 커리큘럼에 가장 적합한 교육 전략을 찾기 위해 다음을 추구했습니다.
(1) 모든 학생이 우리의 6가지 프로그램 목표를 달성하는 데 필요한 기술을 자주 연습할 수 있는 증거
(2) 그것들이 학습 과학의 원칙과 실천, 그리고 우리가 생물 의학 및 임상 추론을 이해하는 방법을 통합한다는 증거
(3) 강의실 안팎에서 협업 학습을 지원하기 위해 시너지 효과를 발휘한다는 보장
There are evidence-based instructional strategies that help students learn and provide them the practice opportunities with the non-cognitive competencies critical for the health professions, i.e., leadership (direct and distributed), interpersonal communication, team work, and metacognitive practice. To find the ‘best fit’ instructional strategies for our new curriculum, we sought:
(1) evidence to enable all students to practicefrequentlythe skills needed to meet our six program goals;
(2) proof that they incorporate the principles and practices of the science of learning, as well as how we understand biomedical science and clinical reasoning are learned; and
(3) assurance that they work synergistically to support collaborative learning in and out of the classroom.
피어 지침(PI)
Peer Instruction (PI)
1990년대 초(Mazur 1997년)에 하버드 대학의 에릭 마저에 의해 개발된 이 교육 전략은 대학 수준의 물리학과 수학 교육에서 주로 사용된다(Crouch and Mazur 2001; Vickrey et al. 2015). 관객 반응 시스템(ARS) - '클릭커'는 성공의 필수 요소이지만, 이 전략은 단순히 '클릭커'를 사용하는 것 그 이상입니다.
강사는 심화 준비 과제에서 파생된 개념 중심의 질문(리콜이 아님)을 쓰고 학생(개별)은 몇 분간 고민 끝에 '클릭커'로 질문에 답한다.
응답시스템 소프트웨어를 통해 강사가 모니터링한 문제의 수업실적이 정답에 대한 공감대 부족을 드러낼 경우, 학생들에게 몇 분 정도 주어져 인근 반 친구들과 답을 상의한 뒤 개별적으로 다시 답한다.
이러한 또래 집단 담론과 논쟁의 결과로, 학생들은 배운 것에 기초하여 첫 번째 대답을 바꿀 수 있다.
이러한 두 번째 '설문조사'에 이어 강사가 무작위로 학생을 선발하여 어떻게 학생들이 정답을 선택하고 다른 학생들을 탈락시켰는지 설명합니다.
Developed by Eric Mazur at Harvard in the early 1990s (Mazur1997), this instructional strategy is used largely in physics and mathematics instruction at the college-level (Crouch and Mazur2001; Vickrey et al.2015). An Audience Response System (ARS) –‘clickers’– is integral to its success, but the strategy is much more than just using ‘clickers’. The instructor writes concept-oriented questions (not recall) derived from an advanced preparation assignment and students (individually) answer a question using their ‘clicker’ after a couple of minutes of thinking. If the class performance on the question, monitored by the instructor through the response system software, reveals a lack of a consensus for the correct response, the students then are given a few minutes to discuss their answer with nearby classmates and answer again individually. As result of this peer-peer discourse and argumentation, students may change their first answer based on what they have learned. Following this second ‘poll’, the instructor selects a student at random toexplainhow they arrived at their answer choice and eliminated others.
거의 변함없이, 질문에 대한 두 번째 '조사' 등급의 성과는 '정답'에 대한 거의 일치된 결과를 보여줄 것이다. 강사는 이 단계에서 추가적인 탐색 질문을 던지고, 오해를 풀고, 핵심 학습 요점을 간결하게 강조함으로써 강력한 '교습 순간teaching moment'의 기회를 갖게 됩니다.
Almost invariably, second ‘poll’ class performance on a question will show near consensus for the ‘correct’ answer. The instructor has opportunities for powerful ‘teaching moments’ during this phase by asking additional probing questions, clarifying misconceptions, and succinctly highlighting the key learning points.
피어 디렉션은 수학과 물리학(Crouch 및 Mazur 2001)에서 강의 기반 지침에 비해 향상된 학습 결과를 입증할 뿐만 아니라, 새롭고 도전적인 자료를 학습하는 데 있어 학생들의 자신감 수준에 도움이 된다는 것을 보여주었다(Ping Zang 등 2016). HPE에서 광범위하게 사용되지 않았지만, 최근의 연구 결과는 HPE(Versteege et al. 2019)에서 많은 잠재력을 가지고 있음을 시사한다. 사전 준비에 이은 인출 기반 연습, 피어-피어 대화와 주장, 강사의 명확화 설명은 새로운 개념 문제를 해결하는 데 적용할 수 있는 지식 획득으로 이어진다. 또한 강사 촉진 기술은 피어-피어 담론과 학문적 성과 수준을 모두 향상시킨다(Knight et al. 2013). Peer Instruction, in addition to demonstrating improved learning outcomes over lecture-based instruction in math and physics (Crouch and Mazur2001), has shown that it helps students with their confidence levels in learning new and challenging material (Ping Zhang et al.2016). Although it has not been used extensively in HPE, recent findings suggest that it has much potential in HPE (Versteeg et al.2019). Advance preparation followed by retrieval-based practice, peer-peer discourse and argumentation, instructor clarification, leads to knowledge gains that are applicable to solving novel concept problems. In addition, instructor facilitation skills enhances both level of peer-peer discourse and academic outcomes (Knight et al.2013).
'팀워크'나 합의 의사 결정이 없다는 점에서 팀 기반 학습(TBL)과는 차이가 있지만, 학생들은 자신의 답변을 설명하고 다른 사람이 문제를 어떻게 해결하는지 학습하는 데 있어 서로 엄격하게 임한다. 강사의 역할은 탐색적 질문을 하고, 수업 중에 토론과 대화를 촉진하며, 잘못된 인식을 명확히 하기 위한 '적절한 시간' 교육을 제공하는 것이다. It differs from Team-Based Learning (TBL) in that there is no ‘teamwork’ or consensus decision-making, however, students engage rigorously with each other in explaining their answers and learning how others address questions. The instructor’s role is to ask probing questions, promote debate and dialogue in the class, and provide ‘just-in-time’ teaching to clarify misconceptions.
피어 지침을 사용하는 데 필요한 리소스는 광범위하지 않습니다. 모든 학생은 지정된 ARS 장치(클릭커)를 구입하거나, 평균 비용이 약 35달러이거나, 프로그램이 대체 장치를 선택하거나, 휴대폰에서 APP를 사용할 수 있다. 독점 소프트웨어는 가격이 적당하다. 강사가 수업 내에서 일어나는 일에 집중할 수 있도록 하고 효과적으로 활용하기 위해, 학생 클릭기, LCD 프로젝터, 조명, 오디오 지원에서 발생할 수 있는 모든 기술적 문제를 소프트웨어 작동, 데이터 수집 및 문제 해결을 수행할 수 있는 강의실 기술자를 추천합니다. PI를 위한 우리 교실(120명)에는 네 명당 한 명꼴로 마이크가 설치되어 있다. The resources required to use Peer Instruction are not extensive. Every student purchases a specified ARS device (clicker), average cost about $35 US, or a program can select an alternative device or use an APP on cell phones. Proprietary software is reasonably priced. To enable the instructor to be able to concentrate on what’s happening within the class and to facilitate effectively, we suggest a classroom technician who can attend to the operation of the software, data collection, and trouble-shoot any technical issues that may arise with student clickers, LCD projector, lighting, audio support. Our classroom (120 students) for PI has microphones placed between about every four students.
우리는 PI 세션을 위한 두 가지 구조적인 개입을 시작했다.
(1) 학생들은 수업에 올 때마다 무작위로 다른 좌석을 배정받는다. 우리는 소셜 클러스터링을 방지하고 학생들이 '가장 똑똑하다'고 생각하는 학생들과 가까운 자리를 선택하는 것을 막기 위해 이 일을 했다. 우리는 학생들이 반 친구들을 더 많이 알고 동료들이 생각하는 다양한 방식을 발견하기를 좋아한다는 것을 발견했다.
(2) 2차 투표 후에 강사가 학생에게 답안을 설명할 시간이 되면, 우리는 무작위로 학생을 선택하는 아이패드 애플리케이션(APP)을 사용한다. 강사는 APP를 다시 사용하여 추가 학생 설명을 이끌어 낼 수 있습니다. 시간이 지남에 따라, 반의 모든 학생들은 '공개 연설' 기회를 얻게 됩니다. 구두 설명은 점수와 무관하며, 한 학생은 '짐작을 했다'거나, 이웃 친구의 설명이 자기보다 낫다고 생각했기 때문에 특정한 대답을 선택했다고 자유롭게 말할 수 있다. 교수진은 준비되지 않은 학생이나 잘못된 설명을 제시하는 학생을 부끄럽게 하지 않음으로써 PI와의 교실을 '안전한' 장소로 만들었다.
We initiated two structural interventions for our PI sessions:
(1) Students are randomly assigned different seats each time they come to class. We did this to prevent social clustering and prevent students from selecting seats close to students they feel are the ‘smartest’. We found that students like getting to know more of their classmates and discovering the different ways their peers think;
(2) After second-polling, when it is time for the instructor to call upon a student to explain their answer choice, we use an in-house designed iPAD application (APP) that picks a student randomly. The instructor can use the APP again to elicit additional student explanations. Over time, every student in the class gets a ‘public speaking’ opportunity. There is no grade attached to their oral explanation, and a student is free to say they ‘took a guess’, or that that chose a particular answer because they thought their neighbor peer’s explanation was better than theirs. Faculty have made the classroom experience with PI a ‘safe’ place by not shaming an unprepared student or one who presents a faulty explanation.
팀 기반 학습(TBL)
Team-Based Learning (TBL)
1990년대 초 오클라호마 대학의 경영학 교수인 래리 마이클슨은 학생들이 사업 직업에 필요한 것을 강의로부터 배우는 것이 아니라고 생각했기 때문에 TBL을 만들었다. 이 교육 전략은 현재 HPE(Michaelsen et al. 2008; Parmelee et al. 2012)를 포함하여 매우 많은 분야에서 사용되고 있으며, 추가 개발, 구현 및 장학금에 전념하는 국제 기관이 있다. TBL은 PI와는 다른데, 주로 장기간의 팀으로서 활동하는 소규모 그룹 (5-7 멤버)을 사용한다는 점에서 다르다. 그들은 직장 생활에서 직면할 문제의 종류에 대해 합의된 결정을 내린다. 채점에는 팀 학습에 대한 기여도를 평가하는 동료들이 포함된다. PI와 마찬가지로 강의실에는 강사가 한 명만 있으면 되는데, 과정을 원활하게 진행하고 탐색적 질문을 하며 오해를 풀고 '강의'는 최소한만 유지한다. 모든 것이 서류상으로 이루어질 수 있기 때문에 어떠한 기술도 필요하지 않지만, 산업계와 학교들은 TBL 용지를 대체할 기술 기반 도구를 만들었다. Larry Michaelsen, a professor of business at the University of Oklahoma in the early 1990s, created TBL because he felt that students were not learning from lectures what they needed for business careers. This instructional strategy has now been used in a great many disciplines, including HPE (Michaelsen et al.2008; Parmelee et al.2012), and there is an international organization devoted to its further development, implementation, and scholarship (teambasedlearning.org). TBL differs from PI, primarily in that it is uses small groups (5–7 members) that work as teams over an extended period. They make consensus decisions on the kinds of problems to be encountered in their careers. Part of the grading includes peers evaluating teammates for their contribution to the team’s learning. Similar to PI, only one instructor is needed in the classroom, and he/she facilitates the process, asks probing questions, clarifies misconceptions, and keeps ‘lecturing’ at a minimum. It does not require any technology since all can be done on paper, but industry and schools have created technology-based tools to replace paper for TBL.
TBL 모듈의 구조는
(1) 사전 읽기 또는 연습 과제 할당,
(2) 수업 시작 시 개별적으로 치르는 준비성 보증 테스트(RAT)라고 불리는 10-15 문항 객관식 테스트로 구성되며, 이어서 팀은 동일한 시험을 치르고 질문에 대한 답변에 대한 합의를 도출한다.
(3) 전체 수업특히 어려웠던 질문들에 대한 토론과 잘못된 생각들에 대한 강사의 명확화;
(4) 강사는 RAT의 주요 학습 요점을 요약하고,
(5) 팀은 임상 사례에서 도출된 2-4개의 복잡한 질문들로 구성된 팀 애플리케이션(tAPP)에 대해 작업하며, 팀은 해결책에 대한 합의를 이루고 준비한다.
(6) 강사가 남아 있는 중요한 오해의 소지를 명확히 하고 세션의 주요 학습 요점을 요약합니다.
The structure of a TBL module consists of: (1) preparatory reading or laboratory task assignment; (2) a 10–15 question multiple choice test, called the readiness assurance test (RAT) taken individually at the beginning of class, followed immediately by teams taking the same test and achieving consensus on the answers to the questions; (3) whole class discussion of questions that were particularly challenging, and instructor clarification of misconceptions; (4) instructor summarizes key learning points from the RAT; (5) teams work on the team Application (tAPP) which consists of 2–4 complex questions derived from a clinical case; teams much achieve consensus on their solutions and be prepared to defend them; (6) instructor clarifies any significant misconceptions that remain, summarizes the key learning points from the session.
학생 성적은 개인 성적과 RAT에서의 팀 성적, 그리고 때때로 tAPP에서 이루어진다. 한 학기 동안 최소 두 번 이상 수행되며 종합 성적의 일부인 양적, 양적, 질적, 동료 평가. 이는 여러 가지 방법이 있으며 프로그램별 전문성 목표에 맞게 조정될 수 있다(Sheakley et al. 2019). Student grades are composed of both their individual and their team performance on the RAT, and occasionally on the tAPP. Peer evaluation, quantitative and qualitative, is conducted at least twice during a semester and is a small part of a summative grade. There are many ways this can be done and it can be tailored to program specific professionalism goals (Sheakley et al.2019).
TBL은 HPE에서 광범위하게 사용되며, 작동 방식, 결과, 학생, 교수 만족도에 대해 많이 출판되었다. PI와 유사하게, TBL의 단계적 절차(수습 관행, 동료 연구, 피드백, 학습 이전)는 리더십, 대인 커뮤니케이션 및 팀워크와 같은 비인지적 기술의 개발과 더불어 지식 재통합 가설(Schmidt et al. 2019)을 지원한다. 2009; Borges 외 2012; Thompson 외 2015; Alizadeh 외 2018). TBL is used extensively in HPE, and there is a great deal published about how it works, its outcomes, student, and faculty satisfaction (Thomas and Bowen2011; Mennenga2013; Burgess et al.2017). Similar to PI, the step-wise procedure of TBL (retrieval practice, peer elaboration, feedback, transfer of learning) supports the hypothesis of knowledge reconsolidation (Schmidt et al.2019) in addition to the development of non-cognitive skills such leadership, interpersonal communication, and teamwork (Thompson et al.2009; Borges et al.2012; Thompson et al.2015; Alizadeh et al.2018).
우리는 전략에 최소한의 적응을 했고, delivery를 위한 전자 플랫폼을 만들었다. 의과대학인 우리의 모든 RAT 및 tAPP 질문은 임상 사례이며 임상 조건에 적용될 때 생물 의학 개념에 초점을 맞춘다. 학생들은 tAPP 동안 현재 진단 및 치료 옵션에 대한 '적시에' 연구를 위해 웹에 접속하고, 그들의 출처를 확인하고, 임상 문제에 대한 그들의 해결책에 대한 주장을 준비할 수 있다.
We made minimal adaptations to the strategy and have created an electronic platform for its delivery. Being a medical school, all of our RAT and tAPP questions are clinical cases and focus on biomedical concepts as they apply to clinical conditions. Students may access the web for ‘just in time’ research on current diagnostic and treatment options during the tAPP, identify their sources, and prepare arguments for their solutions to the clinical problems.
문제 기반 학습(PBL) Problem-Based Learning (PBL)
PBL은 전 세계적으로 HPE에서 가장 널리 사용되는 능동 학습 전략이다. 1980년(Barrows 1980)에 캐나다의 의사이자 의학 교육자인 하워드 배로우스에 의해 처음 보고되었으며, 널리 연구되었고 다른 분야에 사용하기 위해 채택되었다.PBL은 학생들이 새로운 임상 사례를 이해하고, 학습 목표에 대한 연구를 수행하며, 촉진자의 최소 지침으로 소규모 그룹의 동료들과 토론하는 방법을 학습함으로써 '자기 주도 학습자'가 될 수 있는 구조를 제공한다. 또한 사례의 '문제'와 가능한 해결책에 대한 이해를 명확히 한다(Bate et al. 2014). PBL is the most widely used active learning strategy in HPE around the globe. Reported first by Howard Barrows, a Canadian physician and medical educator in 1980 (Barrows1980), it has been studied extensively and adopted for use in other disciplines. PBL provides a structure for students to become ‘self-directed learners’ by learning how to identify what they need to learn in order to understand a novel clinical case, conduct research on their learning goals, discuss with peers in a small group with minimal guidance from a facilitator, and clarify their understanding of the ‘problems’ in the case and their possible solutions (Bate et al.2014).
PBL의 guiding principle은 HPE 학생들이 임상 사례의 맥락에서 생물의학을 학습하여 초기 임상 추론을 개발하는 데 도움이 되게 하는 것이다. 그것의 가장 큰 강점은 '불확실성 대처, 의료의 법적 및 윤리적 측면의 감사, 커뮤니케이션 기술 및 자기 주도적 지속적 학습'이라는 임상 실무에 중요한 [비인지적 역량을 개발]하는 것이다(Koh et al. 2008). The guiding principles of PBL are supportive of HPE students learning the biomedical sciences within the context of clinical cases and thereby developing early clinical reasoning. Its greatest strength is to develop the non-cognitive competencies important for clinical practice: ‘coping with uncertainty, appreciation of legal and ethical aspects of health care, communication skills and self-directed continuing learning’ (Koh et al.2008).
우리가 '라이트Q'라고 부르는 라이트 주립 대학의 PBL의 경우, 소그룹 크기는 6명의 학생이며, 교수도 한 학기 동안 동일하게 유지된다. 사례는 고혈압, 울혈성 심부전, 우울증, 천식, 당뇨병 등 학생들이 임상 1년차에 직면할 가장 일반적인 상태를 나타낸다. 한 주에 case가 open되고, 그 다음 주에 종결된다. 한 그룹의 모든 학생들은 사건이 종결될 때 그룹의 확인된 학습 목표를 연구하고 숙달할 것을 기대한다.
For our PBL at Wright State University, which we call ‘WrightQ’, our small group size is six students, and faculty facilitators remain with their groups for a semester. Cases represent the most common conditions that students will encounter in their first year of clinical medicine, i.e. hypertension, congestive heart failure, depression, asthma, diabetes. A case opens one week and closes the following week. All students in a group are expected to research and master the group’s identified learning goals at the closing of a case.
퍼실리테이터는 그룹 구성원들이 이러한 질문을 하지 않을 경우 기호나 증상이 어떻게, 왜 발생했는지, 생리학적으로 어떤 일련의 실험실 결과가 무엇을 나타내며, 어떤 문헌 자원이 가장 신뢰할 수 있는지에 대한 탐색적 질문을 던집니다.
Facilitators ask probing questions about how and why a sign or symptom has developed, what a constellation of laboratory findings represents physiologically, and what literature resources are the most credible – if members of the group do not ask these questions.
퍼실리테이터는 다음에 대해 학생들을 평가한다.
그룹의 학습에 대한 기여,
토론에서 자료에 대한 그들의 command,
그들이 배우는데 사용한 자원의 질,
그들의 전문직업성
Our facilitators evaluate the students for
their contributions to the group’s learning,
their command of the material evident in discussion,
quality of resources they have used to learn, and
their professionalism.
구현을 위한 과제 및 전략 Challenges and strategies for implementation
HPE 커리큘럼을 '콘텐츠'를 넘어 학습 과정까지 포함하는 것으로 바꾸는 것은 어려운 과제다. 졸업식 때 어떤 속성, 지식 및 기술을 갖추기를 원하는지 커리큘럼 계획을 시작했고, '후향적 디자인backward design' 패러다임(Jay Mctighe and Wiggins 2012)과 Dee Fink의 의미 있는 학습 분류법(2013년 핑크)을 사용했다. Fink's Taxonomy는 역량 기반 커리큘럼보다 더 전체적인 커리큘럼 계획을 위한 접근법과 프레임워크를 제공합니다.
It is a challenge to change a HPE curriculum to one that goes beyond ‘content’ and include the processes of learning. We started our curriculum planning at the point of graduation — what attributes, knowledge, and skills do we want our graduates to have – and used the ‘backward design’ paradigm (Jay Mctighe and Wiggins2012) and Dee Fink’s Taxonomy of Significant Learning (Fink2013) to guide us.
Fink's Taxonomy는 단순히 '시험 가능한' 구성요소 이상을 다루는 경로를 통합하기 때문에 역량 기반 커리큘럼보다 더 전체적인 커리큘럼 계획을 위한 접근법과 프레임워크를 제공한다. '…비판적 사고, 성찰, 공감, 자기 주도적 학습과 같은…[이것은] 쉽게 평가되지 않기 때문에 순수한 결과 기반 모델에서 충분한 관심focus를 받지 못한다.' 우리는 미래 의사의 비인지적 특성이 자격 시험에 합격하고 양질의 환자 치료를 제공하는 것과 같이 앞에 놓여 있는 모든 인지적 과제 뒤에 있는 동기 부여와 지속력(의미)을 제공한다고 강하게 느꼈다.
Fink’s Taxonomy provides an approach and framework for curriculum planning that is more holistic than a competency-based curriculum, for it incorporates pathways addressing more than just the ‘testable’ components ‘…such as critical thinking, reflection, empathy, and self-directed learning…[which] are not easily assessed, and thus receive insufficient focus in a purely outcomes-based model’ (Branzetti et al.2019). We felt strongly that the non-cognitive attributes of a future physician provide the motivation and sustaining power (meaning) behind all of the cognitive tasks that lie ahead, such as passing the qualifying exams and providing quality patient care.
처음에 대학 수준의 교육을 혁신하기 위해 작성된 핑크의 분류법은 다음의 여섯 가지 영역으로 구분된다. 우리는 이러한 도메인을 우리 기관의 맥락과 자원에 맞게 조정했다.
(1) 학습 방법,
(2) 기초 지식,
(3) 응용,
(4) 통합,
(5) 인간 차원
(6) 보살핌
Fink’s Taxonomy, initially written to transform college-level teaching, identifies six inter-related and mutually-supportive domains: (1) Learning How to Learn, (2) Foundational Knowledge, (3) Application, (4) Integration, (5) Human Dimension, and (6) Caring. We adapted these domains to our particular institution’s context and resources.
교육과정을 'lecture-free'로 만들겠다는 우리의 결정은 [어떤 학습 활동을 통해 졸업생들에게 기대하는 역량과 속성을 달성할 수 있을지]를 결정하는 과정에서 도출되었다. 강의는 학생들이 배우는 데 필요한 도전들을 박탈한다. 이들은 평생 학습과 임상 실습에 필요한 팀워크, 리더십, 대인 커뮤니케이션, 메타인지 능력을 개발할 기회를 제공하지 않는다. 모든 교육 및 학습 활동은 능동적이고 참여적이어야 하며, 쉽게 평가되지 않는 '결과'를 포함해야 합니다. 우리는 또한 학생들이 수업에 필요한 준비를 할 수 있는 충분한 수업 외 시간을 갖기를 원했고, 따라서 우리는 하루에 수업 시간을 3시간으로 제한했습니다.
Our decision to make our curriculum ‘lecture-free’ emerged as we decided what learning activities would enable our learners to achieve the competencies and attributes we expected of our graduates. Lectures deprive students of the challenges needed to learn how to learn. They do not provide opportunities to develop team work, leadership, interpersonal communication, and metacognitive skills that are so necessary for life-long learning and clinical practice. All of the teaching and learning activities had to be active and engaged, and include ‘outcomes’ not easily assessed. We also wanted the students to have sufficient time out-of-class to do the necessary preparation for class; therefore, we limited classroom time to three hours in a day.
Dee Fink의 작업을 사용하여 커리큘럼의 프레임워크를 구축하는 것 외에도, 커리큘럼에 대한 지원 환경을 구축하기 위한 접근 방식을 탐색했다. 자율결정론(SDT)이 교육과정 설계를 통해 '…의대생 역량, 자율성, 관련성 느낌…'을 지원하는 10종(2011년)의 작업을 바탕으로, 우리는 우리의 행정구조(정책 및 절차)와 교수진 및 직원 개발의 필요성을 인식하였다.바꿀 필요가 있다. 한 학기에 최대 4번까지 결석할 수 있도록 한 우리의 '결석 정책'이 그 예이다. 따라서 현실적인 범위 내에서 학생들의 자율성을 장려한다. In addition to using Dee Fink’s work to establish a framework for the curriculum, we explored approaches to build a supportive environment for the curriculum. Drawing upon the work of ten Cate et al. (2011) in which Self-Determination Theory (SDT) informs the curriculum design to support ‘… feelings of competence, autonomy and relatedness in medical students…’, (ten Cate et al.2011, p. 971), we recognized that our administrative structures (policies and procedure) and faculty and staff development would need to change. An example was our ‘absence policy’, which we changed to allow students to be absent, without question, up to four absences in a semester – thereby encouraging student autonomy within realistic limits.
Dweck 등의 '성장 마인드'에 대한 광범위한 연구(Yageer et al. 2016; Dweck 2017)는 '고정적 사고방식'으로 학문적 과제에 대응하는 젊은 층에 초점을 맞췄지만, 이는 그들이 성공하는데 필요한 지적 능력이 부족하다고 느꼈다는 것을 의미한다. 우리는 많은 새로 입학한 의대 학생들이 '고정형 마인드셋'을 표현하는 것을 본다. 일찍부터 '성장형 마인드셋'를 개발하고, 지적 도전 기간 동안 그것을 유지하는 학생들은, 열심히 학습하면 '더 똑똑해질 수 있다'고 믿고, 효과적이고 종종 새로운 학습 전략을 발견하고, 그들이 필요로 할 때 다른 사람들의 도움을 받을 수 있다. Although, the extensive research on ‘Growth Mindset’ by Dweck and others (Yeager et al.2016; Dweck2017) focused on younger student populations that respond to academic challenges with a ‘fixed mindset’ – meaning they felt they lacked the requisite intellectual ability to succeed – we see many newly matriculated medical students express a ‘fixed mindset’ about their ability to learn what they need to pass the exams. As the research in this domain demonstrates, students who develop a ‘Growth Mindset’ early on, and maintain it during periods intellectual challenge, believe that they can ‘get smarter’ through hard work, discover effective and often new learning strategies, and accept help from others as they need it.
우리는 이 개념을 Make It Stick (Brown et al. 2014) 읽기를 요구하여 의대에 대한 오리엔테이션의 일부로 소개한다. 우리는 첫 해 동안 '성장형 마인드셋'를 다시 살펴보기 위한 추가적인 대화형 학습 세션과 Make It Stick에서 학습 개선을 위한 많은 유용한 '팁'을 제공합니다. 의학교육의 어느 시점에서든 좌절이나 실패를 겪는 소수의 학생들을 위해, 우리의 접근 방식은 학생들이 이것을 성장 과정의 일부로 보고 앞으로 나아가기 위한 선택권을 찾을 수 있도록 돕는 것이다. We introduce this concept as part of our orientation to medical school by requiring the readingMake It Stick(Brown et al.2014). We provide additional interactive learning sessions during the first year to revisit ‘Growth Mindset’ and the many useful ‘tips’ for improving learning found inMake It Stick. For the few students who encounter setbacks or failure at any point of their medical education, our approach is to help them see this as part of their growth process and identify options to move forward. .
계획의 모든 단계에서 리더십을 일찍 참여시키는 것이 필수적이다. 대부분의 HPE 기관들에서, 학장은 주요한 변화에 대한 상당한 권한을 가지고 있으며, 커리큘럼 변화의 챔피언이 되어야 한다. 교육과정의 기획과 집행, 평가를 담당하는 교육과정위원회는 새로운 교육과정의 장기적인 성공을 보장할 혁신과 질적 향상 과정을 수용해야 한다. 약 8명의 교수진이 변화의 필요성을 수용하고, 새로운 교수법을 시도하는 데 열심이며, 활동적인 학습 세션을 설계하고 많은 미팅에 참여하기 위해 긴 하루에 많은 시간을 할애한 것은 다행스러운 일이었다. 학생 리더십과 긴밀하게 협력하는 것은 매년 변화하지만, 진화하는 '문화' 변화와 질적 향상에 필요한 지속적인 학생 피드백에 긍정적인 연계를 제공한다.
It is imperative to involve the leadership early in every step of the planning. In most HPE institutions, the Dean has considerable authority for major change and should become the champion the curricular change. The curriculum committee, responsible for the planning, execution, and evaluation of the curriculum, must embrace innovation and a quality improvement process that will insure the new curriculum’s long-term success. We were fortunate that a group of about eight faculty embraced the need for change, were enthusiastic about trying new ways of teaching, and added many hours to their long days to design active learning sessions and participate in lots of meetings. Working closely with student leadership, although it changes every year, provides positive links for the evolving ‘culture’ change and the continuous student feedback necessary for quality improvement.
HPE 프로그램의 학생들은 대부분 1995년에서 2012년 사이에 태어났으며(Eckleberry-Hunt et al. 2018) 'Z세대'에 있다.
이들은 어려서부터 스마트폰 사용량에 따라 성장했으며 기술에 익숙하며 소셜 미디어 연결과 정보에 전세계적인 웹을 사용한다.
그들은 종종 독립적으로 공부하고 배우는 것을 선호하지만, 온라인 과정(Seemiller 및 Grace 2017, 페이지 23)은 동료 및 강사와의 상호 작용을 중요시하여 잘 설계된 능동적 학습 세션이 교실 안팎에서 콘텐츠 및 동료와 많은 참여를 유발한다(Alizade 등 2019).
Students in HPE programs were mostly born between 1995 and 2012 (Eckleberry-Hunt et al.2018), placing them in ‘Generation Z’.
They have grown up with smart phone usage from an early age and are facile with technology and use the worldwide web for social media connections and information.
They often prefer to study and learn independently, e.g., on-line courses, however, they value interaction with peers and instructors (Seemiller and Grace2017, p. 23), so that well-designed active learning sessions generate much engagement with content and peers, both in- and out- of the classroom (Alizadeh et al.2019).
이 세대의 의대생들과 우리의 가장 큰 도전은
(1) 광범위하고 비판적인 읽기(세부사항의 볼륨과 깊이)에 대한 그들의 저항과 미숙함이다. 우리가 비판적인 사고를 개발하는 데 필요하다고 느낀다. 이들은 인터넷에 쉽게 접근할 수 있는 환경에서 자랐고, '학습'의 상당 부분을 비디오로 시청하고 있다.
(2) '정답'이 여러 변수의 해석에 의존하거나 고맥락적인 옵션을 탐색하는 토론 참여를 꺼린다. 즉, 이들은 '그냥' 그들은 답을 원합니다.
Our greatest challenges with medical students from this generation are:
(1) their resistance to and inexperience with extensive and critical reading (volume and depth of detail), which we feel is necessary to develop critical thinking. They have ‘grown up’ with easy access to the internet and watch videos for much of their ‘learning’ (Seemiller and Grace2017);
(2) their reluctance to engage in discussion to explore options where the ‘answer’ is dependent upon interpretation of multiple variables, or is highly contextualized – they ‘just’ want the answer.
미국의 HPE 학생들은 자격증 시험을 잘 보는 것에 매우 집중하고 있다. 이 시험들은 그들의 직업의 다음 단계, 즉, 특기, 위치, 수입을 결정하기 때문이다. 호기심을 갖고 비판적으로 사고하는 법을 배우려는 그들의 본질적인 동기는 검정고시를 잘 치르려는 외적인 동기부여에 가려져 있다. 우리는 즉각적인 피드백으로 많은 저부담 평가(PI 세션, TBL 세션, 팀별로 수행된 MCQ 시험)를 가지며 개별 작업을 보완하는 피어-피어 담론과 주장으로 수행함으로써 큰 '시험'에 대한 이러한 선점을 적당히 완화시켰다. 학생들은 한결같이 자신들이 내용을 더 잘 '지속'하고 자신의 지식 기반에 더 자신감을 느낀다고 보고한다. 또한 수강생이 코스 종합 시험에 응시하기 전에 매일의 모든 평가에서 최소 개별 성과 수준을 달성하도록 요구합니다. 최소 점수를 충족하지 못할 경우 커리큘럼에 재진입하기 전에 개별화된 성공 계획을 완료해야 합니다. HPE students in the US are extremely focused on doing well on their licensing exams since these exams determine the next step in their careers, i.e., specialty, location, income. Their intrinsic motivation to be curious and learn how to think critically is overshadowed by extrinsic motivation to do well on the qualifying exam. We have modestly mitigated this preoccupation on the big ‘exams’ by having many low-stakes assessments (PI sessions, TBL sessions, MCQ exams done in teams), all with immediate feedback, and conducted with peer-peer discourse and argumentation supplementing the individual work. Students uniformly report that they ‘keep up’ with the content better and feel more confident in their knowledge base. We also require students to achieve a minimum individual performance level on all their daily assessments before they can sit for a course summative examination; if they do not meet the minimum score, then they must complete an individualized success plan before re-entering the curriculum.
우리의 수업 전 과제는 광범위한 독서를 필요로 하며, 우리는 이것이 비판적인 사고를 발달시킨다고 느낀다. 모든 과정에서 상당한 평가 데이터를 조기에 수집하기 때문에, 우리는 빠르게 개입하여 '고생하는' 학생과 학습 접근법에 대해 협력할 수 있다. 필요시 사생활에 대한 심리학적 상담을 받을 수 있도록 돕는 것은 물론, 독서를 더 많이, 더 잘 할 수 있도록 역량을 높이고, 재독서와 하이라이트 등 쓸모없는 공부습관을 없애고, 증거기반 학습기법을 제도화하는 데 힘을 쏟는다.
Our pre-class assignments require extensive reading, which we feel develops critical thinking. Since we capture considerable assessment data early in every course, we are able to intervene quickly to work with a ‘struggling’ student on their study approaches. In addition to helping them get any psychosocial counseling for their personal lives if needed, we work with them on increasing their capacity for more and better reading, eliminating worthless study habits such as re-reading and highlighting, and instituting evidence-based study techniques.
많은 학생들의 경우, [독서를 통한 그들의 더 깊은 학습이 비디오 강의를 보는 것보다 우월하다는 것]을 배우고, [교수진의 '스푼 먹이기'를 기대하는 것으로부터 벗어나기] 위해서는 시간과 많은 지원적인 지도가 필요하다. 비록 우리가 새로운 커리큘럼의 임상 전 단계를 완료하기 위해 단 두 개의 코호트만이 있었지만, 우리는 많은 학생들이 독서를 통해 배우는 것으로의 전환에 대해 언급해왔다. 또한, 그들은 항상 임상 의학의 많은 부분을 특징짓는 이해하기 어려운 '옳은' 대답으로 귀결되지 않는 동료들과의 담화의 이점을 인정한다.
For many students, it takes time and much supportive guidance to move them away from expecting to be ‘spoon-fed’ by faculty as to what to learn and trust that their deeper learning through reading is superior to watching a video lecture. Although we have had only two cohorts complete the pre-clinical phase of our new curriculum, we have had many students comment on their transition to learning from reading. Also, they recognize the benefits of discourse with peers that does not always result in the elusive ‘right’ answer that characterizes much of clinical medicine.
교수진의 경우 '무강좌'로 전환하려면 많은 적응이 필요하다. 다음은 교수진의 많은 질문과 우려를 나타냅니다.
학생들이 시험에 합격하는 데 필요한 모든 정보를 담은 수백 개의 PowerPoint 슬라이드로 무엇을 해야 합니까? 나는 강의할 줄 안다. 어떻게 하면 효과적인 촉진자가 될 수 있을까요?
능동적인 학습 교실은 혼란스러워 보이고 권위에 대한 존경은 줄어든 것처럼 보인다.
시간별 강의 형식 없이 학과 예산은 어떻게 결정됩니까?
저는 임상의가 아니라 과학자입니다. 임상 문제를 어떻게 해결해야 할까요?
나는 임상의사이고 모든 기초 과학을 행복하게 잊어버렸다. 어떻게 다시 배울 수 있죠?
우리는 강의실이 있고 그들은 협력적인 학습에 도움이 되지 않는다.
For faculty, the transition to ‘lecture-free’ requires much adaptation. The following represent the many questions and concerns of faculty:
What do I do with the hundreds of PowerPoint slides with all the information that students need to pass the tests? I know how to lecture. How will I learn to become an effective facilitator?
Active learning classrooms appear chaotic, and respect for authority appears diminished.
How will department budgets be determined without the hour by hour lecture format?
I’m a scientist, not a clinician – how do I come up with clinical problems?
I am clinician and have happily forgotten all basic science. How do I re-learn it?
We have lecture halls and they are not conducive to collaborative learning.
우리는 한꺼번에 전환하지 않았다. 소수의 교수진이 전환일 몇 년 전부터 능동적 학습(PI, TBL)을 채택했다. 이러한 초기 경험에서 학생 피드백, 동료 교수 피드백 및 학업 성과 데이터를 얻음으로써 학생 행동의 변화(수업 출석, 독서 과제 완료)와 능동적 학습에 대한 교수진 개발 워크숍 및 학생 설립에 필요한 수많은 추가 위원회 회의에서 교수진의 참여로 이어졌습니다. 새로운 교육 과정 위험을 감수했던 이 몇 명의 교수진과 '새로운' 학습 접근법에 대한 반응과 반성을 공유한 학생들이 없었다면, 새로운 커리큘럼으로의 전환은 일어나지 않았을지도 모른다. 리더십의 관점에서, 우리는 증거 기반의 교육 및 학습 전략을 채택하는 것이 성공할 것이라는 '프로세스에 대한 신뢰'를 해야 했다. We did not make the transition all at once. A small number of faculty adopted active learning (PI, TBL) several years prior to the transition date. Garnering student feedback, peer faculty feedback, and academic performance data from these early experiences led to changes in student behavior (class attendance, completion of reading assignments) and faculty engagement with faculty development workshops on active learning and in the numerous additional committee meetings necessary to create the new curriculum. Without these few faculty who were risk-takers, and the students who shared their reactions to and reflections on the ‘new’ learning approaches, the transition to the new curriculum may not have happened. From the leadership perspective, we had to ‘trust the process’ that adopting evidence-based teaching and learning strategies would succeed.
과정 계획 회의에서 엄청난 양의 '교수 개발'이 일어났다. 새로운 과정마다 기초 생물의학 및 임상 교수진이 수시로 만나 고급 준비 및 수업 내 활동에 사용될 모든 자료를 검토하고 편집했다. 수백 개의 새로운 MCQ와 학습 활동이 작성, 검토 및 편집되었으며, 필수 읽기 항목(교과서, 기사)을 선택하는 데 큰 숙고가 있었으며, 일부 교수진은 학생들의 작업량을 관리하는 데 도움이 되는 가이드를 만들었습니다. 형식 및 문법 검토 외에도, 우리는 다음 사항에 초점을 맞추기 위해 질문을 편집했습니다. An enormous amount of ‘faculty development’ occurred in course planning meetings. Basic biomedical science and clinical faculty for each new course met frequently to review and editallmaterials that would be used for advanced preparation and in-class activities. Hundreds of new MCQs and learning activities and were written, reviewed, and edited by these interdisciplinary groups; there was great deliberation over selection of required readings – textbooks, articles – and some faculty created guides to help manage the students’ workload. In addition to format and grammar review, we edited questions to focus on the following:
이 질문이나 연습이 revisit해야 하는 고급 과제 또는 이전에 학습한 내용과 일치합니까?
고급 과제는 적절한가요, 아니면 너무 많은가요?
이 질문에는 지식을 적용해야 합니까? 그것이 좋은 교실 토론을 만들어 낼 수 있을까요?
정답이 두 개 이상일 경우, 강의실에서는 앞으로 발생할 다양한 해석과 주장을 어떻게 다룰 것인가?
Does this question or exercise align with the advanced assignment or previously learned content that needs revisiting?
Is the advanced assignment adequate or too much?
Does this question require applying knowledge? Will it generate good classroom discussion?
If there is more than one ‘correct’ answer, how will the classroom facilitation address the different interpretations and arguments that will emerge?
강의 기반 커리큘럼과 달리, 우리 교수진은 수업이 진행되는 대로 학업 성적 데이터와 TBL 및 PI에 대한 총괄적 데이터를 받는다. 그들은 더 이상 학생들이 배우는 것인지 아닌지 추측할 필요가 없다. 강의실 수업이 끝나면 강사는 학생들이 어떤 주제나 영역을 이해하는데 가장 어려움을 겪었는지 알 수 있으며, 스스로 도전 영역을 어떻게 풀어갈지 한 문장을 써달라고 하는 등 성찰적 연습으로 세션을 마무리할 수 있다.
Very unlike a lecture-based curriculum, our faculty receive academic performance data as the class happens, as well as summary data for TBL and PI. No longer do they have to guess whether or not those in attendance are learning. At the end of a classroom session, the instructor knows what topics or areas the students had the most difficulty with understanding, and he/she can conclude the session with a reflective practice exercise such as asking them to write one sentence on how they will address the challenging area on their own.
결론
Conclusion
'교육은 사실을 배우는 것이 아니라 사고하는 마음의 훈련이다.' 1921년 알버트 아인슈타인 (Frank 1947년 인용). ‘Education is not the learning of facts, but the training of the mind to think.’ Albert Einstein, 1921 (cited in Frank1947).
In this AMEE Guide we propose that instruction in health sciences education transform to 'lecture-free.' We present rationale for this proposal, guidance on approaches and strategies to achieve the goal, likely challenges, and what we consider the value-added outcomes. We are supported by a confluence of factors: advances in the science of learningandthe learning of science and clinical reasoning, incontrovertible evidence that active and engaged learning strategies have better outcomes, current and emerging technology infrastructure in and out of the classroom, and best-practice instructional design.
Redefining scholarship for health professions education: AMEE Guide No. 142 Jennifer A. Cleland , Susan Jamieson , Rashmi A. Kusurkar , Subha Ramani , Tim J. Wilkinson and Susan van Schalkwyk
학술활동은 학계의 필수적인 측면이다. 그러나 그것은 복잡하고 모호하다. 특히 전문적 경로마다 정의가 다양하며, 용어가 문맥을 통해 반드시 잘 번역되는 것은 아니다. 이러한 문제들로 인해 보건 전문가 교육자들은 진로 진행을 안내하고 학업 환경을 탐색할 수 있는 로드맵을 수립하기가 쉽지 않다. Scholarship is an integral aspect of academia. Yet it is complex, and ambiguous. Definitions vary, especially across different professional pathways, and the term does not necessarily translate well across contexts. These issues make it challenging for health professions educators to formulate a roadmap to guide their career progression and navigate the academic environment.
전체적으로, 우리는 교육자가 진공vacuum에 존재하는 것이 아니라, "(암묵적이든 명시적이든) 전공특이적 연구를 교육이나 전문직업적 활동보다 중요시하는 전통적 모델과 지속적으로 align하려는 구조와 가치"로 특징지어지는 제도와 시스템 내에 존재함을 인지한다.(Tierney 2020) 우리의 경험은 승진에 대한 교육자 경력이 있는 기관에서도 여전히 문제가 되고 있는데, 이는 승진 기준이 종종 개발되고/또는 전통적인 학술활동사상에 내재된 사람들에 의해 해석되기 때문일 수 있다.
Throughout, we are cognisant that educators do not exist in a vacuum but work within institutions and systems characterised by structures and values which may continue to be aligned (explicitly or implicitly) with traditional models which privilege discipline-specific research over teaching and professional practice, as well as their associated research (Tierney2020). Our experience is that this remains an issue even in institutions with educator tracks for promotion, possibly because promotion criteria are often developed and/or interpreted by those who are embedded in traditional ideas of scholarship.
학술활동이란 무엇인가? What is scholarship?
HPE의 학술활동이란 무엇이며 구체적으로 어떻게 생겼는가? 이 가이드에게 알려준 이 분야에 대한 우리의 지식과 문헌 리뷰는 각각의 학문적 가르침, SoTL 및 학술활동이 수반하는 것, 각 가치, 과정 및 우선순위가 무엇이며 어떻게 인식되는지에 대한 다양한 개념화를 식별했다(Diamond and Adam 2004; Fanghanel et al 2016).
What is scholarship and what does scholarship in HPE specifically, look like? How is it similar or different from concepts such as scholarly teaching, or SoT[L]? (note that SoT and SoTL are variously used in the literature. We use the term SoTL in this article).
이러한 [명확성의 부족]은 교육을 강화하고 장려하는 측면에서 발전을 방해한다. 우리는 이러한 차이점들을 종합하여 세계적인 공감대를 형성하기 위해 출발하지 않는다. 대신, 우리는 HPE의 목적에 적합한 정의와 HPE의 학문에 대한 이해의 연속이 위치할 수 있는 프레임워크를 추구한다. HPE는 학문적 노력의 폭과 깊이에 대한 개념을 전제로 한다.
This lack of clarity hinders progress in terms of enhancing and promoting teaching. We do not set out to synthesise these differences to form a global consensus. Instead, we seek a definition that is fit for the purposes of HPE, and a framework within which a continuum of understandings of scholarship in HPE can be situated – one that is premised on notions of breadth and depth of scholarly endeavour.
학문적 가르침 Scholarly teaching
HPE의 맥락에서 학문을 정의하기 전에 먼저 [학문적 가르침scholarly teaching]을 정의한다. 학술적scholarly이라는 용어는 보통 적절한 문헌의 사용과 적용에 의해 설명되는 '특정 종류의 활동'을 가리킨다(트리그웰과 셰일 2004, 페이지 525).
이 정의에 따르면, 학술적 가르침은 [한 사람의 실천과 교수-학습 경험에 inform하고 guide하기 위해 다른 사람들에 의해 생산된 작품을 사용하는 것]과 관련이 있다.
학문적 가르침은 [질과 지속적인 개선을 보장하고 개인적인 발전을 촉진하기 위한 자신의 가르침에 대한 성찰과 관찰]을 포함한다.
개인의 성과를 넘어서는 학문적 가르침은 또한 [커리큘럼 설계, 개발, 유지보수 및 평가]를 포함한다.
동료들 간의 비공식 대화와 지속적인 개선을 목표로 [자신의 실천에 대한 비판적인 성찰]로서, 종종 [지역적 수준에서 공유하는 것]은 학문적 가르침에 해당된다.
이러한 공유는 교육기관에서 가르치는 것의 가치를 높이고 이후의 교육 실무에서 개인을 개발하고 지원하는 것을 목적으로 한다.
Before defining scholarship in the context of HPE, we first define scholarly teaching. The term scholarly usually refers to a ‘particular sort of activity’ illustrated by the use and application of appropriate literature (Trigwell and Shale2004, p. 525). According to this definition, scholarly teaching relates to using the work produced by others (the literature) to inform and guide one’s practice and the teaching-learning experience. Scholarly teaching involves reflection on (e.g. Mezirow1998; Kreber2005), and observation of, one’s teaching, to assure quality and continuous improvement, and facilitate personal development. Moving beyond individual performance, scholarly teaching also encompasses curriculum design, development, maintenance, and evaluation. Sharing, often at a local level, as informal dialogue amongst colleagues and critical reflection of own practice with the goal of continuing improvement, constitute scholarly teaching. This sharing is aimed at enhancing the value of teaching at the institution as well as developing and supporting individuals in their subsequent teaching practice.
교수 및 학습 학술활동 Scholarship of teaching and learning
한편, SoTL은 종종 [학생 학습에 대한 체계적인 탐구]로 정의되는데, 이는 inquiry의 결과를 공개함으로써 강의의 실천을 발전시킨다.
예를 들어, Hutchings and Shulman(1999, 페이지 13)은 SoTL을 비평과 평가에 개방된 '공공('커뮤니티 재산')'과 다른 사람들이 '구축할 수 있는 형태'로 정의하고, '질문, 질문, 조사, 조사, 특히 [교습과 …학습]의 문제'를 포함한다고 덧붙인다.
마찬가지로, McKinney(2006, 페이지 39)는 SoTL이 '교수 학습에 대한 체계적인 연구'뿐만 아니라 '실시간 또는 가상 프레젠테이션, 공연 또는 출판물을 통한 공공 공유와 리뷰'를 포함한다고 말한다.
SoTL에 내재하는 것은 교사들이 '더 지적으로knowledgeably 가르칠 수 있도록' 함으로써, 교직원과 학과에서 '교육의 질'을 향상시키는 것이다(Trigwell과 Shale 2004 (트리그웰과 셰일 2004, 페이지 524)
On the other hand, SoTL is often defined as systematic inquiry into student learning which advances the practice of teaching by making inquiry findings public.
For example, Hutchings and Shulman (1999, p. 13) define SoTL as work that is ‘public (‘community property’), open to critique and evaluation, and [presented] in a form that others can ‘build on,’ adding that it involves, ‘question-asking, inquiry and investigation, particularly around – issues of [teaching and] … learning.’
Similarly, McKinney (2006, p. 39) states that SoTL involves not only a ‘systematic study of teaching and learning,’ but also ‘the public sharing and review of such work through live or virtual presentations, performances or publications.’
Inherent to SoTL is enhancing ‘the quality of teaching’ (Kreber2003, p. 94) in faculties and departments, through enabling teachers to ‘teach more knowledgeably’ (Trigwell and Shale2004, p. 524).
그러나, SoTL은 더 일반적인, 두 번째 목적을 가지고 있는데, 이는 교육 전문직 그 자체를 발전시키는 것이다(Hutchings and Shulman 1999; Weston and McAlpine 2001). 최근에는 역량, 우수성 및 홍보 프레임워크를 개발하기 위해 제도 및 국가 정책 수준에서 SoTL을 활용하는 것을 포함한다(Fanghanel et al. 2016).
However, SoTL also has a more general, second purpose – to advance the profession of teaching itself (Hutchings and Shulman1999; Weston and McAlpine2001). More recently, this includes harnessing SoTL at the level of institutional and national policy, to develop competence, excellence and promotion frameworks (Fanghanel et al.2016).
모든 교사들은 학자적 교사scholarly teacher가 되기 위해 노력해야 하지만, 모든 학자적 교사가 SoTL에 참여할 필요가 없다. 전통적으로, 두 가지 사이의 본질적인 차이는 [그 활동이 실천에 미치는 영향]이다: 한 사람과 다른 사람의 연습(Smith 2001).
SoT학문적 가르침은 프락시스(실천 또는 행동)에 관한 것이며, 따라서 SoTL보다 성찰에 더 실용적인 초점을 두는 경향이 있으며, 통찰력의 소통의 범위와 특성은 일반적으로 더 국소적local이다(Hutchings and Shulman 1999).
SoTL에서 이러한 조사의 결과는 공개되어야 하며, 비판적 검토와 평가에 취약해야 하며, 한 학계의 다른 구성원이 이용할 수 있어야 한다(Cohen et al. 1999).
간단히 말해서, SoTL이 다른 사람들의 전문지식'에' 기여하는contributes 반면,
학문적 가르침SoT은 다른 사람들의 전문지식'으로부터' 도출draw on한다.
Every teacher should work towards becoming a scholarly teacher, but every scholarly teacher need not engage in SoTL. Traditionally, the essential difference between the two is impact of the activity on practice: one’s own and others’ practice (Smith2001). Scholarly teaching is about praxis (practice or action) and tends, therefore, to have a more pragmatic focus on reflection than does SoTL, and the extent and nature of communication of insights is typically more local (Hutchings and Shulman1999). In SoTL, the outcome of these enquiries must be public, susceptible to critical review and evaluation, and accessible for use by other members of one’s scholarly community (Cohen et al.1999). Put simply, scholarly teachingdraws onthe expertise of others while SoTLcontributes tothe expertise of others.
그러나 실제로는 비공식적인 지역 공유가 대중 보급이 되는 곳을 정확히 구분하기 어려울 수 있다(예 1 참조). 이러한 어려움은 우리가 직면하게 될 SoTL의 품질을 판단하는 데 기여한다. However, in reality, it can be difficult to distinguish precisely where informal local sharing becomes public dissemination (seeExample 1), and such difficulties feed into judging the quality of SoTL, which we shall come to.
예 1 문제 식별부터 솔루션 공유까지 입증된 학문적 가르침.
Example 1Scholarly teaching as demonstrated from identifying a problem to sharing a solution.
보건직업교육학술활동 Scholarship of health professions education
더 넓은 범위에서 scholarship은 무엇인가?
학술활동의 사전적 정의는 기본적인 수준에서 '학술적 학업 또는 성취, 가장 높은 수준의 학문', '학문에 의해 습득된 지식, 학자의 학문적 성취'를 말한다.
좀 더 구체적으로 말하자면, '옛날의 학술활동은 다양한 장소에서 행해지는 다양한 창조적 작업을 언급했고, 그 무결성은 사고, 의사소통, 그리고 학습 능력에 의해 측정되었다' (Boyer 1990, 페이지 15).
그것은 '[고등교육에서 가르치는] 직업의 핵심'으로 여겨졌다. (보이어 1990, 페이지 1)
보이어의 연구는 학문에 대한 모든 논의에서 기초가 되었고 많은 학자들은 그의 아이디어를 발전시켜야 할 필요성을 인식했다(예: Hutchings and Shulman 1999; McKinney 2006).
What then of scholarship, more broadly?
At a basic level, a dictionary definition of scholarship speaks of ‘academic study or achievement; learning at the highest level’; ‘knowledge acquired by study; the academic attainments of a scholar.’
More specifically, ‘scholarship in earlier times referred to a variety of creative work carried on in a variety of places, and its integrity was measured by the ability to think, communicate, and learn’ (Boyer1990, p. 15).
It was considered ‘at the heart of what the profession [of teaching in higher education] is all about’ (Boyer1990, p. 1).
Boyer’s work has become established as foundational in any discussion about scholarship and many scholars have recognised the need to take his ideas forward (e.g. Hutchings and Shulman1999; McKinney2006).
그의 주요 저작에서, Scholarship Replicated: Priorities for the Profriorities, Boyer (1990)는 발견과 창조, 통합, 응용, 그리고 가르침의 네 가지 범주의 학술활동에 대해 설명했다. (표 1 참조) 이러한 학술활동 범주들의 조합은 연습을 지도하기 위해 기존의 지식을 사용하고, 새로운 지식을 개발하고, 활동이나 일이 학습자, 교사, 사회에 얼마나 광범위하게 유용한지를 고려하는 것을 포함한다. 학술활동은 반복적이고 협력적이다. In his seminal work,Scholarship Reconsidered: Priorities for the Professoriate, Boyer (1990) described four categories of scholarship: discovery and creation, integration, application, and teaching(seeTable 1). This combination of scholarship categories encompasses the use of existing knowledge to guide practice, developing new knowledge, and considering how an activity or work is broadly useful for learners, teachers and society. Scholarship is iterative and collaborative.
따라서 [주로 교사로 식별되는 것]과 [주로 연구자로 식별되는 것] 사이의 협력은 학문분야로서 HPE의 진보의 본질이다. 우리는 이것을 사례 2와 3에서 설명한다.
Collaboration between those identifying primarily as teachers and those identifying primarily as researchers is, thus, inherent to advancing HPE as a field. We illustrate this inExamples 2and3.
표 1. 보이어의 1990년 학술활동 모델은 보건직업 교육에 적용되었다.
Table 1.Boyer’s (1990) model of scholarship applied to health professions education.
보이어의 학술활동 재심의(1990)는 '팁핑 포인트 현상'으로 언급되었으며, 이는 교수진의 학문적 작업에서 근본적으로 가치 있는 것이 무엇인지에 있어 결정적인 전환점이었다. (Rice 2002, 페이지 8) 30년 후, 현재 '교육, 연구, 봉사라는 트릴로지'가 HPE 내에서 여전히 합당한가? 우리는 그렇게 믿는다 – 적절히만 적용된다면.
Boyer’s (1990)Scholarship Reconsideredwas referred to as a ‘tipping point phenomenon – a critical turning point in what is fundamentally valued in the scholarly work of faculty members’ (Rice2002, p. 8).However, 30 years on, does a framework designed for Faculty who were expected to contribute holistically to the University via the ‘trilogy of teaching, research and service’? (Boyer1990, p. 15) still have relevance, particularly within HPE? We believe so – if applied appropriately.
학술활동 '하기' ‘Doing’ scholarship
보이어가 학문에 대한 자신의 확장된 관점을 제시했을 때, 네 가지 범주를 계층 구조라기보다는 서로 관련이 있지만 구별되는 학술활동 형태로 정의했다. 그러나, 우리의 글을 알린 토론에서, 우리는 적어도 어떤 맥락에서는 보이어(1990)의 학술활동 유형학이 [HPE에서 학문적 또는 전문적 활동의 정점을 발견하는 진입점과 학술활동으로 간주되는 위계적 방식]으로 본다는 것을 인식했다.
When Boyer presented his expanded view of scholarship, he defined the four categories as distinct, but inter-related, forms of scholarship rather than a hierarchy. However, in the discussions that informed our writing, we recognised that, at least in some contexts, Boyer’s (1990) typology of scholarships is viewed in a hierarchical manner, with SoTL seen as an entry-point and scholarship of discovery the pinnacle of academic or professional activity in HPE.
'통합'의 학술활동에 종사하는 사람들은 한 영역에서 다른 영역으로 지식을 적용한다. 예를 들어, 항공 산업의 승무원 자원 관리 원칙(Helmreich와 Foushee 1993)과 의료 분야의 팀워크에 대한 지식의 통합은 시뮬레이션 기반 교육(예: Ker and Bradley 2018)의 발전을 이끌었다.
Those engaging in the scholarship of integration apply knowledge from one domain to another; for example, integration of the principles of crew resource management from the aviation industry (Helmreich and Foushee1993) with knowledge about teamwork in healthcare led to the development of simulation-based education (e.g. Ker and Bradley2018).
표 1을 인접한 열 사이에 점선으로 제시하는 것은 어떤 학술활동은 보이어의 학술활동 분류 중 하나 또는 그 이상과 일치하기 때문이다.
건강 직업 교육자로서, 우리는 우리, 우리의 동료와 미래의 동료, 그리고 그들의 잠재력을 최대한으로 발전시키기 위한 훈련과 공동체로서의 건강 직업 교육에 참여하는 임무를 맡고 있다(Simpson et al. 2007).
그러기 위해서는 그 분야에 대한 끊임없는 정밀조사가 필요하며, 그 분야에서 지식으로 중요한 것이 무엇이며, 우리가 어떻게 교육하고 더 잘 교육할 수 있는지에 대한 지식의 본체를 어떻게 성장시키는지에 대한 우리가 기여할 수 있는지에 대한 조사가 필요합니다.
물론, 이것은 지식을 확장하는 연구를 필요로 할 것이지만, 우리가 위에서 명확히 하기를 바라듯이, 학문은 학문분야에서 새로운 지식을 발견하는 것보다 훨씬 더 많다. (Boyer 1990; Healey 2000)
또한, 학술활동을 [교육 연구의 생산]으로 좁게 정의하면 정책과 관행을 제약하고, 탐구와 혁신을 제한하며, 학생, 기관, 정부 및 실무 커뮤니티에 대한 기여와 관련하여 많은 가치와 중요성을 배제한다(Lave 및 Wenger 1991).
학술활동에 대한 좁은 정의는 교수진의 우선 순위와 참여에도 영향을 미친다. 교수진은 승진과 종신 재직권(P&T) 구조 내에서 인지도와 보상을 끌어들이는 활동에 시간과 노력을 쏟을 것이다.
In presentingTable 1with dotted lines between adjacent columns, we intend to make the point that individual health professions educators may not be restricted to – or indeed recognise – distinct manifestations of scholarship. Rather, they may find that some of their scholarly activities align with one or more of Boyer’s scholarships.
As health professions educators, we are tasked with engaging with educational scholarship in ways which help us, our colleagues and future colleagues, and health professions education as a discipline and community to develop to their full potential (Simpson et al.2007).
To do so requires constant scrutiny of the field, what counts as knowledge in the field, and of how we can contribute to growing the body of knowledge of how we educate and how we can educate better.
This will, of course, require research which extends knowledge, but, as we hope is clear from the above, scholarship is much more than the discovery of new knowledge in the discipline (Boyer1990; Healey2000).
In addition, narrowly defining scholarship as the production of educational research constrains policies and practices, limits exploration and innovation, and excludes much of value and importance in respect to contributions to students, institutions, governments and communities of practice (Lave and Wenger1991).
Narrow definitions of scholarship also influence faculty priorities and engagement: faculty will understandably devote their time and effort to those activities that attract recognition and rewards within promotion and tenure (P&T) structures.
과정으로서의 학술활동 Scholarship as a process
우리는 학술활동을 [과정]으로, [지속적이고 비판적인 전문적 성찰과 성장 기회에 대한 참여에 의존하는 반복적 여정]으로 포지셔닝합니다. 학술활동도 자신을 매료시키는 질문에 대한 해법을 찾는 작업을 통해 HPE의 교수-학습에 대한 본질적인 동기를 배양할 자세를 갖게끔 한다. We position scholarship as a process, an iterative journey which depends on constant, critical professional reflection, and engagement in growth opportunities. Scholarship is also poised to foster an educator’s intrinsic motivation for teaching and learning in HPE by working on finding solutions to questions that fascinate him/her.
우리가 학문에 대한 이해의 중심은 HPE 학술활동 궤도의 출발점은, [한 사람의 일차primary 학문분야]에서 교육이라는 공간으로 가져오는 경험과 전문성과 연결된다는 것이다. 처음에 교육학자로 훈련받은 사람들은 상대적으로 건강직업 교육에서 드물다. 교육학술활동 분야에 종사하게 된 많은 동료들은 원래 의사, 심리학자, 인지 또는 생의학 과학자 등으로 훈련되었다. 우리는 다양한 그룹입니다. Central to our understanding of scholarship is that where one starts in the HPE scholarship trajectory is linked to the experience and expertise that one brings into the educational space from one’s primary discipline. While those trained initially as educationalists are relatively rare in health professions education, many colleagues who become involved in educational scholarship were originally trained as medical doctors, psychologists, cognitive or biomedical scientists, etc. We are a diverse group.
상자 1 HPE로 들어가는 수많은 경로. Box 1Myriad pathways into HPE.
다른 분야에서 HPE로 전환한 사람들(대부분)의 경우, 이 새로운 분야에 완전히 참여하려면 상당한 시간이 걸릴 수 있습니다. 비록 많은 사람들이 그들의 주요 학문 분야에서 다른 형태의 학술활동(가장 가능성이 높은 발견)을 수행했을지라도, 긴장감이 있을 수 있다:
이러한 형태의 질문enquiry을 숙달하는 문제
정체성 문제,
작업과 관련된 보상 문제에 대한 부정적인 인식
For those (the majority) who shift over to HPE from another discipline (possibly tentatively at first), it can take considerable time to engage fully in this new field. Although many would have been doing some other form of scholarship (most likely discovery) in their primary discipline, there may be tensions:
concerns about mastering this form of enquiry,
identity issues, and
negative perceptions about the work and related reward concerns (Adendorff2011).
HPE에 참여 Engaging with HPE
첫째, 모든 학문에는 고유의 문화와 사고방식이 있다.
우리는 전형적으로 학부생 및 대학원생 등의 기간 동안 우리의 일차 분야primary discipline의 지식 기반, 인식론적 신념 등을 습득한다. HPE에 완전히 관여하는 것 – 자신의 기본 원칙에서 HPE에 초점을 맞추는 것으로 전환되는 것 – 비교적 빠른 변화를 의미하며, '이런 사고 과정, 인식론적 신념과 태도를 바꾸는 것은 지역사회와 개인 차원 모두에서 시간이 걸린다' (Kelly et al. 2013, 페이지 4). 이러한 '인식론적 부조화'와 그에 수반되는 불편함(밀러-영 외 2018)은 다른 학술적 배경에서 HPE로 이행하는 과정의 본질적인 부분이다.
예를 들어, 임상 또는 생물의학 분야에서 나온 사람들에게, 특정한 과제는 낯선 사회과학 용어, 접근법 및 방법론에 관여하는 것일 수 있다. 연구 (발견의 학술활동)와 관련하여, 레헤르 (2010)는 그가 실증주의자/후기실증주의자, 과학 연구와 관련된 '증거의 필수성' (p. 33)에서 '이해의 필수성' (p. 38)로 초점을 전환하는 것의 어려움을 강조했다.참여자의 다양한 경험, 다양한 알 수 있는 방법, 그리고 진실의 범위. 반대로, HPE는 다양한 구성원 자격에서 얻은 다양한 기술과 지식에서 얻을 수 있습니다. 우리의 요점은 기본 원칙에서 HPE로 전환할 때 조정 과정이 있다는 것입니다.
First, every discipline has its own culture and ways of thinking.
We acquire the knowledge base, epistemological beliefs, and so on, of our primary discipline over an extended period of formative time, typically as an undergraduate and/or graduate student, and in the immediate years post-primary qualification. Engaging fully with HPE – shifting over from focussing on one’s primary discipline to focusing on HPE – means relatively rapid change, and ‘changing these thought processes, changing epistemological beliefs and attitudes, takes time, at both the community and individual level’ (Kelly et al.2013, p. 4). This ‘epistemological dissonance’ and its accompanying discomfort (Miller-Young et al.2018) is an inherent part of the process of shifting from many disciplinary backgrounds to HPE.
For example, for those coming from a clinical or biomedical discipline, a specific challenge may be engaging with unfamiliar social science terminology, approaches and methodologies. In respect to research (the scholarship of discovery), Regehr (2010) highlighted the difficulty of switching focus from what he termed the ‘imperative of proof’ (p. 33), associated with positivist/post-positivist, scientific research, to an ‘imperative of understanding’ (p. 38), aligned with a constructivist view which involves incorporating a variety of participant experiences, different ways of knowing and a range of truth. Conversely, HPE does gain from the breadth of skills and knowledge brought from its diverse membership – our point is that there is a process of adjustment when shifting from primary discipline to HPE.
또한, [HPE에서 정당성legitimacy 획득하는 과정]은 새로운 교직원을 시작하는 과정과 숙련된 교직원, 선택과목의 학생 대 의학 교육 박사 학위를 가진 사람 또는 광범위한 포트폴리오의 일부로 교직원을 가진 보건 전문가 대 다르다.
의학 훈련에서 갓 나온 동료나 생물의학(예)에서 HPE로 옮긴 새로운 동료가 HPE에 충분히 내재되어 경험적 교육 연구 및 관련 동료 검토 간행물을 통해 새로운 지식을 발견하고 발견을 공유할 수 있을 것으로 기대하지는 않을 것이다.
오히려, HPE 학술활동 참여의 첫 단계로서, 어떤 주제를 가르치거나 평가하는 최선의 방법에 대한 기존 문헌을 읽기를 기대할 수 있다(즉, HPE 분야에서 다른 사람들의 학문적 기여에 관여한다). 이 새로운 지식을 읽고 사용하여 그들 자신의 (학술적으로) 교육 관행을 알리고 그들 앞에서 학습자에게 영향을 미친다. (Kreber 2003; van Schalkwyk et al. 2013)
교육 경험을 쌓고, 자신의 영역에 대해 더 많이 알게 되면, 교수-학습 프로세스와 관련된 질문과 문제를 식별하고 문헌에서 틈새를 찾아내고(Lingard 2015) 이러한 문제를 해결하고자 할 수 있습니다.
Additionally, the process of acquiring legitimacy in HPE will differ for a new teaching fellow starting out versus an experienced member of teaching staff, a student on an elective versus someone with a PhD in medical education, or a health professional with teaching as part of a broad portfolio.
One would not expect a new colleague, fresh out of medical training or shifting over from biomedical science (e.g.) into HPE, to be sufficiently embedded in HPE to be able to discover new knowledge and share discoveries through empirical educational research and associated peer-reviewed publications in an academic journal.
Rather, as the first steps of engagement in HPE scholarship, one could expect the same colleague to read the existing literature on how best to teach or assess a topic (in other words, engage with the scholarly contributions of others in the HPE field), reflect on what they have read and use this new knowledge to inform their own (scholarly) teaching practice and influence the learners in front of them (Kreber2003; van Schalkwyk et al.2013).
As they gain more experience of teaching and learn more about their area, the same colleague may identify questions and problems related to the teaching-learning process, find a gap in the literature (Lingard2015), and want to address these.
우리는 한 사람의 일차 학문분야primary discipline와 HPE에 양다리를 걸치는 것이 가능하다는 것을 인정하지만, 우리는 'shift'라는 용어를 사용한다. 한 사람의 일차 분야의 연구와 HPE의 연구의 균형, HPE와 임상 서비스의 균형을 유지하는 것이 어렵다는 것을 인정하기 때문이다. 우리는 항상 무언가를 잃게 됩니다. We recognise it is possible to straddle one’s primary discipline and HPE, but we use the term ‘shift’ to acknowledge that it is often difficult to balance HPE and research in one’s primary discipline, and/or HPE and delivering clinical service. something always loses out.
학술활동을 개인적이고 전문적인 발전의 진보적인 과정으로 인식하는 것은 중요하다: 학술활동을 반복적인 소용돌이로 인식하는 것과 마찬가지로: 사람은 HPE의 특정 영역에 대한 전문 지식을 가질 수 있지만 다른 영역에 대한 이해를 얻기 위해 문헌으로 돌아갈 필요가 있다. 우리는 2번 상자에서 우리 중 한 명이 어떻게 기초과학에서 HPE로 옮겨갔는지에 대한 예를 제시한다.
Recognition of scholarship as a progressive process of personal and professional development is important, as is recognising scholarship as an iterative spiral: one may have expertise in a certain area of HPE but yet need to go to back to the literature to gain an understanding of another sphere. We give an example of how one of us shifted from basic science to HPE inBox 2.
상자 2 학술활동 궤적의 예. Box 2An example of a scholarship trajectory.
학술활동으로 식별 Identifying with scholarship
둘째, 개인들도 HPE를 '알기 위해' 배워야 한다.
이러한 '아는 것'은 HPE 커뮤니티(Lave and Wenger 1991년)의 사회문화적 관행(규범과 가치)에 대한 참여를 증가시킴으로써 개인이 합법성을 획득하는 방법을 포괄하는 콘텐츠 지식의 저장고(Repository of Content Knowledge)에 대한 확실한 파악을 훨씬 넘어선다.
넓은 의미에서 '아는 것'은 HPE의 가입을 촉진하고 교육 학술활동에 입문하는 사람들에게 '엉덩이에 손을 얹을 수 있다'(Kamler와 Thomson 2014, 페이지 32)는 자신감에 차 있다. 왜냐하면 그들은 자신들이 '할 만한 것'이 있다고 믿기 때문이다(Clark and Ivani 1997 1997, 페이지 152).
이것은 다시 '당국의 업무를 검토하고 개인적으로 그들의 업무와 자신의 연구로부터 의미 있는 사례를 만드는 것을 포함하는 학술활동으로 건설된다' (Boughey 2005, 페이지 645).
이 점에 도달하는 것은 교육계에 기여하고, 교육계의 전문지식을 끌어내고, HPE 커뮤니티와 동일시하는 학자와 연결된다(나중에 논의됨).
Second, individuals also have to learn to ‘know’ HPE (Dall’Alba and Barnacle2007).
This ‘knowing’ extends far beyond having a solid grasp of the repository of content knowledge, encompassing how individuals acquire legitimacy through increasing participation in the sociocultural practices – the norms and values – of the HPE community (Lave and Wenger1991).
‘Knowing’ in this broad sense facilitates membership of HPE and gives those embarking on educational scholarship the confidence that they can put their ‘hands on hips’ (Kamler and Thomson2014, p. 32) because they believe they have come to a point where they have something ‘worth saying’ (Clark and Ivanič1997, p. 152).
This in turn is ‘constructed out of scholarship, which involves examining the work of authorities and building a case that is personally meaningful out of their work and one’s own research’ (Boughey2005, p. 645).
Reaching this point is linked to a scholar who contributestothe education community, drawsonthe expertise of the education community and identifieswiththe HPE community (discussed later).
경험 간에는 부조화가 있을 수 있다. 일차 학문 분야에서의 지식과 지식 수준은 HPE의 지식 및 지식 수준과 매우 다를 수 있다. 다른 학문 분야에 대한 지식과 아는 것이 자동적으로 전이되는 것은 아니며, 그렇게 한다고 가정하는 것은 마찰을 일으킬 수 있다.
예를 들어, HPE 지식이 더 많은 주니어 교수진들이 옆으로 나란히 서 있는 동안(MacDougall 및 Drummond 2005; Srinivasa et al. 2011) 교육 이론 또는 실습에서 공식적인 교육을 받지 않은 한 분야에서 연공서열을 갖춘 사람이 HPE 리더십 역할을 받는 경우를 생각해 보자. 또한 역할과 직책은 역할 보유자 및 기타의 기대치를 부여하며(예: Jacob et al. 2014), 기대 및 제정된 역할 간의 불일치는 개인 및 제도적 수준에서 문제를 야기할 수 있다.
예를 들어 선임 임상의나 과학자가 건강 직업 커리큘럼의 관리 또는 전달에 중요한 역할을 맡도록 요청 받는 경우, 그들은 교육 증거 기반을 숙달하고 적용하는데 어려움을 겪을 수 있다. 결과적으로, 교육 및 평가의 혁신은 의심스러운 효과를 가질 수 있다(Groupen et al. 2003).
이러한 유형의 상황은 불행히도 매우 흔하며, 예를 들어 임상/생의학 분야로부터 HPE로 무의식적으로 이전되는 연구 가정으로 특징지어지며, HPE 연구의 품질에 대한 허용 기준과 일치하지 않는 연구와 결과물로 이어진다.
There may be a dissonance between experience – levels of knowing and knowledge in one’s parent discipline may be very different from levels of knowing and knowledge in HPE. Knowing and knowledge of another discipline do not automatically transfer over, and to assume they do can cause friction.
Consider, for example, the case of someone with seniority in one discipline who does not have formal training in educational theory or practice being given an HPE leadership role, while more junior faculty with greater HPE knowledge are side lined (MacDougall and Drummond2005; Srinivasan et al.2011). Moreover, roles and job titles confer expectations on and of role holders and others (e.g. Jacob et al.2014), and inconsistencies between expected and enacted roles can pose challenges at individual and institutional levels.
For example, where a senior clinician or scientist is asked to take on a significant role in the management or delivery of a health professions curriculum, they may struggle to master and apply the educational evidence base. As a result, innovations in teaching and assessment may have questionable effectiveness (Gruppen et al.2003).
This type of situation, which is unfortunately quite common, is also characterised by research assumptions being unconsciously carried over from, e.g. a clinical/biomedical discipline to HPE – leading to studies and outputs which are not aligned with the accepted criteria for quality in HPE research.
학술활동의 현황 The status of scholarship
셋째, 교육자들은 P&T 프로세스를 가진 기관 및 시스템 내에서 일하거나 소속되어 있습니다.
이러한 과정들은 제도적 가치, 열망, 특권, 권력 구조를 반영하며, 경력을 발전시키기 위해 협상되어야 한다.
P&T 시스템은 안타깝게도 일부 활동(특히 (임상) 분야별 연구(발견)와 관련 외부 수입 및 학업 결과)에 특권을 주고 다른 활동을 박탈하는 관행을 조직합니다(예: MacFarlane 2011; Park and Brackston 2013; Acker and Weber 2016).
Third, educators work within, or are affiliated with, institutions and systems with P&T processes.
These processes reflect institutional values, aspirations, privileges, and power structures, and must be negotiated to progress careers.
P&T systems organize practices which, sadly, often serve to privilege some activities – particularly (clinical) discipline-specific research (discovery) and its associated external income and academic outputs – and disfranchise others – typically teaching and service (e.g. MacFarlane2011; Park and Braxton2013; Acker and Webber2016).
학술활동도 이 '특권'이라는 개념에 무관하지 않다.
동료 검토 출판물은 다른 출력물보다 고평가되고, 특정 저널의 출판물은 더 많은 kudos가 제공될 수 있다. (우리 자신의 기관 중 하나에서는 지정된 저널의 출판물만 P&T에 대해 인정되며, '허용 가능한' 저널 목록 내에서, 일부는 P&T 프로세스에서 다른 것보다 더 많은 점수를 받는다.)
동료 검토 출판물은, 예를 들어, 전자 학습 자료를 개발하거나, 새로운 증거 정보에 근거한 품질 보증 프로세스를 도입하는 것보다 더 높게 평가될 수 있다.
그러나 그러한 '백스테이지' 교육 및 개발 활동이 없다면, HPE는 붕괴될 것이다.
게다가, 모든 사람이 발견discovery의 학술활동에 참여를 선택하는 것은 아니며, 이는 완전히 합당하다. 교육, 학자 교육, 다양한 유형의 학술활동 등 교육 강화를 추구하는 모든 활동이 이 분야에 가치를 더한다.
Scholarship itself is not immune to this notion of privileging.
Peer-reviewed publications are valued over other outputs, whilst publications in specific journals may be given more kudos. (In one of our own institutions, only publications in specified journals are recognised for P&T, and within the list of ‘acceptable’ journals, some earn more points in the P&T process than others.)
Peer-reviewed publications may be more highly valued than, say, developing e-learning materials, or bringing in a new, evidence-informed quality assurance process.
Yet without such ‘backstage’ educational and developmental activities, HPE would collapse.
Moreover, not everyone opts to engage in the scholarship of discovery – and that is perfectly acceptable. All activities that seek to strengthen education, from teaching to scholarly teaching to scholarship of various types, add value to the field.
보건 전문가 교육자가 SoTL에 참여하고 있는 경우, 자신의 역할이 이를 요구하기 때문일 수 있습니다. P&T 기준은 이러한 새로운 유형의 학술활동(Kelly 2012 및 이전 참조)에 교육되는 데 걸리는 시간을 고려해야 합니다(하지만 실제로는 그러지 않는다). 적절한 시간과 지원이 없으면 SoTL의 품질이 저하될 수 있습니다. Where health professions educators are engaging with SoTL, possibly because their role demands this, P&T criteria ought to – but seldom do – take account of the time it takes to become encultured in this new type of scholarship (Kelly2012and see earlier). Without adequate time and support, SoTL may be of low quality.
교육 연구 전통을 배우고, 고등 교육에서 존재하는 교수학습에 대한 광범위한 문헌을 공부하고(가장 중요한 것은 학습의 이론일 것이다), 정보에 입각한 방식으로 SoTL을 실시하여, [교수 학습의 학술활동]도 학술활동으로 유지되도록 보장해야 한다( 페이지 9). learn about education research traditions, the extensive corpus of literature in teaching and learning in higher education that exists – not the least of which are theories of learning – and conduct SoTL in an informed manner, ensuring the scholarship stays in the scholarship of teaching and learning (p. 9).
다음을 인정한 적절한 P&T 기준이 제시되어야 한다.
첫째, 교수는 scholarship을 배워야 한다.
둘째, 모든 사람이 모든 범위의 학술활동 활동에 참여하기를 바라지는 않을 것이다.
We advocate that P&T criteria must be pitched appropriately, to acknowledge,
first, that one must learn scholarship and,
second, not everyone will wish to engage with the full breadth of scholarship activities (Van Schalkwyk et al.2013: seeTable 1).
중요한 것은 기관들이 학술활동에 종사하는 개인들을 지원하고 장려한다는 것이다.
What is important is that institutions enable and encourage individuals in their engagement with scholarship.
영향 범위 Scope of influence
Boyer의 학술활동 범주에는 여러분 앞에 있는 학습자, 여러분의 부서, 여러분의 기관, 여러분의 지역/전국적 맥락과 글로벌 HPE 실무 커뮤니티를 아우르는 영향력의 범위가 내포되어 있습니다. 우리는 HPE에 대한 scholarship의 현대적 정의는 [한 학자가 교육계에 얼마나 기여하고, 얼마나 교육계의 전문성을 이용하는지draw on, 얼마나 자신을 HPE 커뮤니티와 동일시하는지]에 대한 영향력의 차원을 포함해야 한다고 생각한다. 이 차원들은 서로 중복됩니다(예: 개인이 지역사회에 기여하고 전문 지식을 활용할 수 있음). 그러나 명확성을 위해 아래에 별도로 제시했습니다.
Implicit in Boyer’s categories of scholarship is scope of influence, spanning the learners in front of you, your department, your institution, your local/national context and the global HPE community of practice. We believe that a contemporary definition of scholarship for HPE? should include the dimension of influence with respect to how much a scholar contributes tothe education community, draws onthe expertise of the education community and identifies withthe HPE community. These dimensions overlap – e.g. an individual may contribute to the community and draw on its expertise – but we have set them out separately below for clarity.
교육 공동체의 전문지식을 활용한다. Drawing on the expertise of the education community
학문적 가르침은 기존의 전문지식을 이용하고, 정보와 증거를 성찰하는 데 달려 있다. 다음과 같은 활동이 근거가 된다.
연구와 논문 출판
교수들의 학습 공동체 및 실천 커뮤니티에의 참여
국지적으로 동료와 협력하는 것, 전문성 개발 워크숍 및 기회에 참여하는 것
외부 회의 참석 또는 온라인 웨비나 및 활동
Scholarly teaching depends on drawing on existing expertise and reflecting on information and evidence. This evidence may be drawn from
published research and papers,
engagement with a (Faculty) learning community (Cox2004; Bailey et al.2021), and/or a community of practice (CoP: Lave and Wenger1991; Tierney et al.2020),
engaging with colleagues locally, professional development workshops and opportunities, or
via attendance at an external conference or online webinars and activities.
오늘날과 같은 시대에는, 동료들과 함께 참여하는 것이 지역적일local 필요가 없다. 원격 및 시골 지역의 학생이나 특별한 관심 집단과 같은 온라인 실천 커뮤니티의 많은 예가 있다.
In this day and age, engaging with colleagues does not need to be local: there are many examples of online communities of practice, such as those for students on remote and rural placements, or special interest groups.
HPE CoP의 폭은 지역, 국가 또는 국제 수준에서 존재할 수 있으며, 또는 특정 학문적 관심 분야를 가진 보건 직업 교육자로 구성될 수 있다.
유럽 의학 교육 협회(AMEE)는 학자들의 소규모 커뮤니티를 형성하는 데 도움을 주는 대규모 국제 학술 공동체인 전자의 한 예이다. AMEE는 회원이 활용할 수 있고 다양한 유형의 학술활동을 지원하는 다양한 활동과 자원을 제공합니다(표 2 참조).
후자의 예로는 모든 영국 의과대학(https://www.ukccc.org.uk/)의 커뮤니케이션 교육 기관의 대표 기관인 영국 학부 의학 교육 임상 커뮤니케이션 기술 위원회)가 있다.
The breadth of HPE CoPs may exist at local, national, or international levels; or they may be comprised of health professions educators with specific areas of scholarly interest. The Association of Medical Education in Europe (AMEE) is an example of the former, a large international community of scholarly practice, which in turn facilitates formation of smaller communities of scholars. AMEE offers various activities and resources which members can draw on and which support different types of scholarship (seeTable 2). An example of the latter is the UK Council for Clinical Communication Skills in Undergraduate Medical Education, a representative body of the communication teaching leads from all the UK Medical Schools (https://www.ukccc.org.uk/).
표 2. AMEE(국제 HPE 실무 공동체(CoP)가 제공하는 학술활동 및 학술적 관행의 개발에 기여하는 활동. Table 2.Activities which contribute to the development of scholarship and scholarly practices offered by AMEE (an international HPE community of practice (CoP).
HPE 커뮤니티와 연계하여 집단적 전문지식을 활용하는 다른 방법들이 있다. 예시로는 품질 개선 주기 완료, 벤치마킹, 동료 검토 등이 포함될 수 있다. There are other ways of engaging with the HPE community to draw on collective expertise. These may include, but are not exclusive to, completion of quality improvement cycles, benchmarking, peer review, etc.
그러나, 어떤 것이 지역 문화, 맥락, 그리고 시스템과 교육 동인에 대한 더 큰 그림에 적합한지 여부를 고려하지 않고, 한 문맥에서 다른 문맥으로 관행과 지식을 맹목적으로 끌어내는 것은 학문적인 것이 아니라는 점에 유의해야 한다.[성찰]은 행동의 영향을 고려하는 측면에서 매우 중요하다.
Note, however, that it is not scholarly to blindly draw on practices and knowledge from one context to another, without considering whether something fits the local culture, context and the bigger picture in respect of systems and education drivers. Reflection is critical in terms of considering the likely impact of actions.
예를 들어, 많은 맥락과 교육기관에서 학생들은 자신의 과정/과정에 대한 만족도를 평가하도록 요청 받는다. 그러나, 그러한 설문조사에 대한 학생들의 반응은 그들의 기관의 학생 피드백의 규범에 의해 영향을 받는다.
이것은 필수입니까?
학생들이 그것을 심각하게 받아들이나요?
그들은 그들의 견해가 차이를 만든다고 믿나요?
수업 시간에 쿠키를 제공하는지 여부(Hessler et al. 2018)를 포함하여 수업과 무관한 많은 요소들이 반응에 영향을 미친다. 증거를 고려한다면, 교사의 질적 평가가 학생들의 조사 응답 이상을 포함해야 한다는 것을 의미할 것이다.
For example, in many contexts and institutions, students are asked to rate their satisfaction with their course/aspects of their course. However, student responses to such surveys are influenced by the norms of student feedback in their institution. Is this mandatory? Do students take it seriously? Do they believe their views make any difference? Many factors unrelated to teaching – including whether they are offered cookies in class (Hessler et al.2018) – influence responses. Considering the evidence thoughtfully indicates that assessment of teaching quality should involve more than survey responses from students. \
교육 공동체에 기여 Contributing to the education community
이러한 영향력의 범위(또는 범위) 또는 HPE 커뮤니티에 대한 기여에 대한 개념은 각 장학금 범주 내에서 고려될 수 있다. 예를 들어, SoTL을 실행하는 사람들은 다수의 개인(학습자)에게 직접적인 영향을 미치기 때문에 영향력이 있다. AMEE 회원은 AMEE 활동과 자원이 제공하는 전문 지식을 활용할draw on 뿐만 아니라(표 2) 이러한 활동에 기여함으로써 HPE 커뮤니티에 제공할 수 있다.
논문 작성 및 AMEE 가이드;
발표서, 짧은 커뮤니케이션, 워크숍 등
과정 및 멘토링 프로그램에 대한 교수로 참여
특수 이해 단체(SIG) 참여
웨비나를 하는 것 등등.
This notion of scope (or breadth) of influence, or contribution to the HPE community, can be considered within each scholarship category. For example, those practising SoTL are influential because they directly influence large numbers of individuals (their learners). AMEE members not only draw on the expertise offered by AMEE activities and resources (Table 2) but can give to the HPE community by contributing to these activities:
writing articles and AMEE guides;
presenting papers, short communications, workshops, etc.;
engaging as faculty on courses and in the mentorship programme;
engaging with a Special Interest Group (SIG);
giving Webinars, and so on.
AMEE와 다른 건강 전문 교육 기관이 제공하는 웹 세미나에는 수많은 '실시간' 시청자와 훨씬 더 많은 회원이 보관된 웹 세미나에 접속합니다. 글로벌 '접근'은 이제 온라인 플랫폼으로의 전환으로 인해 훨씬 더 달성 가능합니다.
Webinars offered by AMEE and other health professions education organisations attract huge numbers of ‘live’ viewers and even more members accessing the archived webinars. Global ‘reach’ is now much more achievable because of the shift to online platforms.
PowerPoint 프레젠테이션, 팟캐스트 또는 포스터와 같은 교육 리소스 공유는 커뮤니티에 기여하고 동료들에게 영향을 미칠 수 있는 또 다른 방법입니다. 영국의 국립 교수 연구소가 그 예이다.중요한 것은 이 사이트를 통해 학자들은 [그들의] 작업을 ORCID [디지털 식별자]에 연결하고, 각 항목의 업로드에 대한 고유한 DOI [디지털 객체 식별자]를 요청하며, 출력의 영향을 측정하기 위해 altrics를 사용할 수 있다는 것이다.
Sharing of educational resources – such as PowerPoint presentations, podcasts or posters – is another way to contribute to the community and influence peers. An example is the UK’s National Teaching Repository (https://blogs.edgehill.ac.uk/clt/the-national-teaching-repository/). Importantly, this site allows scholars to link [their] work to their ORCID ID [digital identifier], request a unique DOI [digital object identifier] for each item [they] upload and [use] altmetrics to measure the impact of their output.
그러나 분명히, 영향력은 숫자의 측면에서만 측정될 수 없다: 질이나 적절성에 대한 어떤 의식이 있어야 한다. 예를 들어, 상대적으로 도달 범위가 작은 대상 자원(예: 전문가 청중)은 그럼에도 불구하고 일차 공학자가 필요한 기관과 접근 권한을 가지고 있다면 상당한 영향을 미칠 수 있으며, 이는 그들이 그들의 학습을 동료, 거주자/훈련자 및 학생들에게 캐스케이드할 수 있다는 것을 의미한다. Clearly, however, influence cannot be measured just in terms of numbers: there needs to be some sense of quality or appropriateness. For example, a targeted resource with a relatively small reach (such as a specialist audience) can nevertheless have considerable influence if the primary engagers have the requisite agency and access which means they can cascade their learning to colleagues, residents/trainees and students.
연구자가 연구 커뮤니티에 미치는 영향은 서지학 인용(예: h-index), 저널 영향 계수 및 지식 확장의 전통적인 지표로 측정할 수 있다. 하지만, 시대가 변하고 있고 더 광범위한 영향, 즉 장학금을 측정하는 방법들이 있다. 예를 들어, Altmetrics는 소셜 미디어, 온라인 뉴스 미디어, 온라인 참조 관리자 등과 같은 다양한 온라인 연구 결과에 기초하여 학문적 영향을 계산한다(Eyssenbach 2011).
The academic researcher’s influence on the research community may be measured by traditional metrics of bibliometric citations (e.g. h-index), journal impact factor and extending knowledge. However, times are changing and there are ways of measuring broader impact, or scholarship. For example, altmetrics calculate scholarly impact based on diverse online research output, such as social media, online news media, online reference managers and so on (Eysenbach2011).
물론, 잘 알려지거나 널리 공유된 기사가 반드시 좋은 기사는 아니지만, 나중에 학술 논문에서 인용된 기사가 얼마나 많은지에 더하여 학자들의 커뮤니티에서 얼마나 많은 관심을 모으고 있는지를 조합하면 그 영향에 대해 더 전체적인 이해를 할 수 있을 것이다. 게다가 응용이나 통합이 없는 발견의 학술활동이란 무엇인가? 실제로, HPE에서 연구 영향의 척도는 논문을 인용한 횟수가 아니라 그것이 촉매하는 SoTL 연구의 수 또는 그것이 어떻게 교육 관행을 강화하는지가 될 수 있다. 그러나 이는 특히 단기적으로 정량화하기가 매우 어렵습니다! Of course, a well-publicised or widely shared article is not necessarily a good one, but using a combination of how much attention an article gathers in the community of scholars in addition to how much it is cited in later academic papers may give a more holistic understanding of its impact. Moreover, what is scholarship of discovery without application or integration? Indeed, maybe a measure of research impact in HPE could be the number of SoTL studies it catalyses or how it enhances educational practice, rather than the number of times a paper is cited. However, this would be very difficult to quantify, particularly in the short term!
영향 및 지표의 문제와 연계되어, (HPE 연구 커뮤니티와 달리) 연구자가 실무에 영향을 미치도록 멘토링하는 것과 같은 교육 활동은 간접적일 수 있고, 단기적으로 측정하기 어렵고, 변화를 이끄는 속도가 느릴 수 있다. 다양한 맥락에서 [새로운 지식]과 [그 아이디어의 집행enact] 사이에는 선형 관계가 없다(Cleland et al. 2015). 마찬가지로, 다른 분야의 새로운 접근법을 교육 제공 또는 연구에 도입하는 것은 인식론적 정렬을 보장할 필요성 때문에뿐만 아니라 수용 측면에서도 '느린 불꽃slow burn'가 될 수 있다. 실천에 미치는 영향도 측정하기 어려울 수 있다.
Linked to the issue of impact and metrics, an educational activity such as mentoring a researcher to influence practice (as opposed to the HPE research community) may be indirect, difficult to measure in the short-term and slow to lead to change. There is not a linear relationship between new knowledge and enactment of that idea in diverse contexts (Cleland et al.2015). Similarly, bringing new approaches from other disciplines into education delivery or research can be a ‘slow burn’ in terms of acceptance, not least because of the need to ensure epistemological alignment. Influence on practice may also be difficult to measure.
관련 연구기관(=발견의 학술활동)이 있어도 정부나 국가 동력이 없으면 변화가 어렵다는 점도 눈여겨봐야 한다. 예를 들어, 심리학, 경영학 및 최근의 보건 직업 교육에서 [특정 선택 관행이 다른 것들보다 더 강력하고 공정하다는 것을 나타내는 증가하는 설득력 있는 연구결과]에도 불구하고, 많은 영국의 의과대학들은 새로운 접근법을 채택하는 데 더디게 있었다. 영국의 규제 기관인 GMC(General Medical Council)가 관련 연구 및 실습 권고사항(Cleland, Dowell 등 2013년)에 대한 검토를 의뢰하고 이 review를 사용하여 학교들이 정책 문서와 지침을 통보했을 때 비로소 관행을 변경했다. 국내 및 국제 수준의 인플루언서에 참여하는 것이 종종 보건 전문가 교육에 영향을 미치는 핵심입니다.
It is also important to note that even with a relevant body of research (scholarship of discovery) change is difficult without government or national drivers. For example, despite a growing and convincing body of research from psychology, management science and latterly health professions education indicating that certain selection practices were more robust and fairer than others, many UK medical schools were slow to adopt newer approaches. It was only when the UK’s regulatory body, the General Medical Council (GMC), commissioned a review of the relevant research and recommendations for practice (Cleland, Dowell, et al.2013), and used this review to inform their policy documents and guidance, that schools changed their practice. Engaging with national- and international-level influencers is often key to impact within health professions education.
HPE 커뮤니티와의 동일시 Identifying with the HPE community
CoP 이론의 핵심 개념은 커뮤니티의 새로운 구성원을 위한 상황을 설명하는 '합법적인 주변 참여'(Lave and Wenger 1991)이다. 그들은 합법적으로 CoP의 일부이지만, 새로 온 사람들로서 커뮤니티의 '진짜 일'의 주변에 있다; 경험, 멘토링, 커뮤니티의 '일'에 대한 참여 증가로 그들은 그것의 중심을 향해 나아갈 것이다(Morris 2018). 주변부 참여는 또한 학문적 진보의 방향이나 궤적을 고려하기에 이상적인 시기이다. 예를 들어, AMEE 연례 회의 참여 수준, 발표 없이 처음으로 참석, 포스터, 짧은 커뮤니케이션 또는 워크숍으로 간주할 요약 자료 제출, 심포지엄 아이디어 제출, 기조 연설자로 초대 등을 고려하십시오. 이들은 모두 동일한 이벤트에 참여하는 수단이지만 합법적인 참여를 통해 새로운 구성원으로서 주변부에서 지역사회 중심부로 이동하는 궤적을 보여준다. A key concept in the CoP theory is ‘legitimate peripheral participation’ (Lave and Wenger1991), which describes the situation for new members of the community. They are legitimately part of the CoP, but as newcomers they are on the periphery of the ‘real work’ of the community; with experience, mentoring and increasing engagement in the ‘work’ of the community, they will move towards its centre (Morris2018). Peripheral participation is also an ideal time to consider the direction or trajectory of one’s scholarly progression. Consider, for example, levels of engagement with the AMEE annual meeting; attending for the first time without presenting; submitting an abstract to be considered as a poster, short communication, or workshop; submitting an idea for a symposium; or being invited as a keynote speaker. These are all means of participation in the same event but demonstrate a trajectory of moving from the periphery as a new member, to the centre of the community through legitimate participation.
CoP는 유사한 관심사를 가진 다른 사람들과 학습하고 연결한다는 측면에서 생명줄lifeline이 될 수 있다. 우리 중 한 명(SJ)은 SoTL의 제도적 개발을 지원하고 SoTL의 정의를 탐구하며 궁극적으로 SoTL(Bell et al. 2006; MacKenzie et al. 2010)과 관련된 제도적 정책에 영향을 미치는 것이 목적인 대학 교사들의 학습 커뮤니티에 참여했다. 활동의 초점은 그 집단이 광범위한 문헌과 개인의 경험을 바탕으로 그려내야 했지만, 궁극적으로는 공동체의 집단적 경험을 보급하는 것으로 이어졌다. CoPs can be a lifeline in terms of learning and connecting with others with similar interests. One of us (SJ) participated in a learning community of university teachers, whose purpose was to support institutional development of SoTL, to explore definitions of SoTL, and ultimately to influence institutional policy in relation to SoTL (Bell et al.2006; MacKenzie et al.2010). The focus of activity required the group to draw on a wide literature and individuals’ experience, but ultimately led to dissemination of the community’s collective experience.
HPE에서 일하는 많은 사람들이 복수의 불확실한 정체성을 가지고 있으며(Adendorff 2011) 임상의료 서비스와 특정 교육적 책임을 결합하는 보건 전문가나 부학장 역할을 하는 과학자와 같은 경계 공간liminal space에 살고 있다는 점에서 이러한 연결 개념은 특히 중요하다. 이 경우 개인은 HPE와 자신의 일차 학문분야 모두에서 scholarship에 참여해야 한다. 인식론적, 온톨로지적 신념과 앞에서 언급한 관행의 불일치를 감안할 때 '이중국적citizenship on both sides of the border'은 쉽지 않은 과제이다(Prokola 2009). HPE와의 식별의 중요성은 지역사회와 단체를 설립하는 방법에 대한 조언을 제공하는 가이드(예: Ramani et al. 2020)의 제작에 의해 최근에 인식되었다.
This notion of connecting is particularly important given that many people working in HPE may have uncertain identities (Adendorff2011) and live in a liminal space – for example, the health professional coupling specific educational responsibilities with clinical service, or the scientist who has an Assistant Dean role. Where this is the case, individuals must engage with scholarship in both HPE and in their own discipline. This ‘citizenship on both sides of the border’ is not an easy task given the dissonance in epistemological and ontological beliefs, and practices referred to earlier (Prokkola2009). The importance of identifying with HPE has been recognised recently by the production of guides offering advice in how to establish communities and groups (e.g. Ramani et al.2020).
학술활동의 질 Quality of scholarship
학술활동(내부)의 기초로서의 성찰 Reflection as the foundation of scholarship (internal)
성찰의 정의는 풍부하다. 전문적 학습 실습을 위한 토론 논문에서, 핀레이(2008)는 성찰적 실천을 '경험을 통한 학습 및 경험으로부터의 학습'(페이지 1)으로 정의했다. Definitions of reflection abound. In a discussion paper for professional learning practice, Finlay (2008) defined reflective practice as ‘learning through and from experience’ (p. 1) with the end goal of ‘gaining new insights’ (Finlay2008) either about oneself, or about one’s professional practice.
브룩필드의 (98) 4가지 중요한 반사 렌즈이다. Brookfield(1998) 렌즈의 매력은 개인이 성찰에 대한 다원적 접근법을 취하여 가정에 도전하고 그들의 실천에 대한 새로운 이해를 구성하도록 강요된다는 것이다. 그들은 4개의 렌즈를 통해 그들의 경험이나 연습을 보면서 이것을 한다.
Brookfield’s (1998) four critically reflective lenses. The attraction of Brookfield’s (1998) lenses is that the individual takes a multi-perspective approach to reflection and is thereby forced to challenge their assumptions and construct new understandings of their practice. They do this by viewing their experience or practice through four lenses:
학습자로서 자기자신의 렌즈: 자서전을 통해 학습자로서의 경험에 비추어 볼 수 있습니다.
자신이 가르치는 학습자의 렌즈: 학생 또는 연습생으로부터 피드백을 의미하는 '눈'
'동료의 경험'의 렌즈: 예를 들어 학습 공동체 또는 실습 공동체에서 동료들과의 토론을 통해 또는 동료 교육 관찰을 따를 수 있는 것과 같은 동료 평가의 형태로 나타날 수 있다.
이론의 렌즈: 이것은 교육자들에게 그들의 경험을 해석하거나 그들에 대한 그들 자신의 생각을 시험하는 방법을 제공한다.
through their autobiography, which is the lens of their own experience as a learner;
through their ‘learners’ eyes’ (p. 199), meaning feedback from their students or trainees;
through the lens of ‘colleagues’ experiences’ (p. 200), which may come – for example – through discussions with peers in a learning community or a community of practice, or which may come in the form of peer assessment, such as might follow peer observation of teaching; and, finally,
through the lens of theory, which offers educators ways in which to interpret their experiences or test their own ideas about these.
비록 Grierson 외 연구진(2020)은 이 도구의 신뢰성에 대해 의문을 제기하고 '성찰 평가에 대한 환원주의적 접근에 내재된 도전 과제'에 대해 경고하지만, Wald 등의 REFLECT rubric를 기준으로 성찰 품질을 판단할 수 있다. 그럼에도 불구하고, 교수진 개발자는 특히 더 중요한 접근법을 장려하는 Brookfield(1998) 렌즈와 같은 모델을 사용하여 성찰적 실천을 장려하고 모델링함으로써 교육자의 학술활동 관행 개발을 촉진할 수 있다.
The quality of reflection may be judged against rubrics such as the REFLECT rubric of Wald et al. (2012), although Grierson et al. (2020) query the reliability of this tool and caution against the ‘challenges inherent to reductionist approaches to assessing reflection’ (p. 281). Nonetheless, faculty developers could facilitate educators’ development of scholarship practices by encouraging and modelling reflective practice, particularly using models such as Brookfield’s (1998) lenses, which encourage a more critical approach.
학술활동 품질평가(외부) Evaluating quality in scholarship (external)
글래식 외 연구진(1997)은 양질의 학술활동 평가의 기초가 될 수 있는 학문적 가르침의 기준을 개괄했다. 그들은 건전한 교육을 다음을 포함하는 것으로 정의했다.
명확한 목표,
적절한 준비,
적절한 방법,
그러한 방법의 효과적인 사용,
변화하는 상황을 충족시키기 위한 계획 및 절차의 수정,
중요한 발견의 입증,
효과적인 제시
성찰적 수행비판
Glassick et al. (1997) outlined criteria for scholarly teaching that can serve as the basis for evaluation of quality scholarship. They defined sound teaching as including
clear goals,
adequate preparation,
appropriate methods,
effective use of those methods,
modifications of plans and procedures to meet changing circumstances,
demonstration of significant findings,
effective presentation, and
reflective critique of performance.
이러한 기준을 달성하기 위한 기본은 특정 분야의 문헌 및 기존 학술활동과의 참여와 학습자의 니즈(Allen and Field 2005)를 지향하는 것이다. Fundamental to achieving these criteria is engagement with the literature and existing scholarship in a specific field and being oriented to learners’ needs (Allen and Field2005).
Allen과 Field는 또한 학문적 가르침, 즉 SoTL을 구성하기 위해서는 결과가 공유되고 평가되어야 한다고 주장한다. 종종 학술활동에 대한 해석에는 [비판적인 검토와 평가에 개방]되고, [한 학계의 다른 구성원들이 교환과 사용에 접근할 수 있는 것]이 포함되지만(Cohen et al. 1999) 이러한 산출물은 전통적인 출판물에 한정된다. 그러나 모든 학술활동 결과가 동료 검토 저널 기사에 포함되거나 필요한 것은 아닙니다(표 1 및 예제 1 참조).
Allen and Field also posit that, for scholarly teaching to be evident, that is, for it to constitute SoTL, outcomes must be shared and evaluated. Often interpretations of scholarship include being open to critical review and evaluation, and accessible for exchange and use by other members of one’s scholarly community (Cohen et al.1999) but these outputs are limited to traditional publications. However, not all scholarship results in or requires peer-reviewed journal articles (seeTable 1andExample 1).
학술활동에 대한 공적 설명public account은 사람들이 온라인, 인쇄, 팟캐스트, 트윗, 비디오와 같이 응답할 수 있는 방식으로 자료를 공유하는 것만큼 간단할 수 있다. 앞에서 언급했듯이, 온라인 플랫폼으로 이동하면서, 동료들과의 공유는 대면 회의에서 한 방에 있는 몇 명에게 발표하던 것에서 많은 다른 나라에서 온 수천 명의 동료들에게 온라인으로 도달하는 것으로 바뀌었다.
Public accounts of scholarship can be as simple as sharing materials in ways to which people can respond e.g. online, in print, podcasts, tweets, videos. As mentioned earlier, with the move to online platforms, sharing with colleagues has shifted from presenting to a few people in a room at a face-to-face conference to reaching thousands of colleagues from many different countries online. New media have brought democratic changes in academic communication processes, enabling colleagues from resource-constrained settings to engage with colleagues globally.
비판적 검토와 평가는 강의실 연구를 수행하고 결과를 사용하여 강의를 수정하는 것과 같은 활동을 포함할 수 있지만 (대면 또는 온라인) 세미나 및 회의(The all and Centra 2001)에서 이러한 작업을 공유할 수도 있다. 평가 기준은 메트릭스(예: 학생 출석, 학생 피드백 - 그러나 이전 주의사항 참조), 결과(예: 학생 성과 및 결과) 및/또는 학생 또는 동료 참여 형태로 이루어질 수 있다. Altmetrics는 보다 현대적 통신수단에 의해 공유되는 어떤 것의 도달거리를 평가하는 측면에서 여기서 유용할 수 있다. 이러한 모든 활동의 공통 주제는 이러한 학술활동의 많은 부분이 학습자와 동료에 의해 검증될 수 있다는 것이다(Houglum and Weiser 1998). 이러한 예들은 또한 학문적 가르침, SOTL 및 학문이 구별되지만 필연적으로 일치점을 가지고 있다는 것을 보여준다(예 1 참조).
Critical review and evaluation may encompass such activities as conducting classroom research and using the results to modify teaching, but also sharing such work at (face-to-face or online) seminars and conferences (Theall and Centra2001). Evaluation criteria may be in the form of metrics (e.g. student attendance, student feedback – but see earlier caveat), outcomes (e.g. student performance and outputs) and/or student or colleague engagement. Altmetrics can be useful here in terms of assessing the reach of something shared by more contemporary means of communication. The common theme among all these activities is that much of this scholarship can be validated by learners and peers (Houglum and Weiser1998). These examples also illustrate that scholarly teaching, SOTL and scholarship, while distinct, inevitably have points of congruence (seeExample 1).
앞에서 언급했듯이, 평가하기는 어렵지만 훨씬 더 중요한 것은 [다른 사람들의 관행의 변화]이며, 그러한 변화의 폭이다. Acai, Ahmad, Fenton, Graystone 등(2018, 페이지 52)은 다음과 같이 언급하고 있다:
'개별 영향은 교사의 개인 또는 직업적 정체성의 발달로 나타날 수 있는 반면, 부서 및 제도적 영향은 더 넓은 수준에서 교육 및 학습에 정보를 제공하는 정책, 관행 및 제도적 가치의 변화에 의해 입증될 수 있다.
As alluded to earlier, what is harder to evaluate but even more important, is change in others’ practice, and the breadth of such change. Acai, Ahmad, Fenton, Graystone et al. (2018, p. 52) state that:
‘individual impact may manifest as developments in a teacher’s personal or professional identities while departmental and institutional impact can be evidenced by changes in the policies, practices, and institutional values that inform teaching and learning at a broader level.’
지역사회에 미치는 영향이 국제·지역·국가적 영향과 동일한 신뢰도를 부여받느냐 하는 문제는 제도적 진행성 평가에서 항상 영향 문제가 주요 요소이기 때문에 해결해야 한다. 이 영역에 내포된 것은 scholar의 도달 범위입니다. 다른 누가 그 학자의 활동에 영향을 받습니까? 국내의 다른 교사들인가, 국가 수준의 다른 학자들인가, 또는 국제 수준의 학자들인가? 정책 입안자 및 규제 기관 수준에서 영향력의 수준이 더 높습니까? 이것들은 학술 활동의 다른 지표들과 함께 고려될 수 있다.
The question of whether impact on the local community is accorded the same credibility as international, regional, and national impact is essential to address, because the issue of impact is always a major factor in institutional progression evaluation. Implicit in this area is the breadth of reach of the scholar – who else is influenced by the scholar’s activities? Is it other teachers in the local institution, other scholars at a national level, or scholars at an international level? Is the level of influence more at the level of policy makers and regulators? These could be considered alongside the other indicators of scholarly activity.
승진 및 테뉴어(P&T) 평가 기준은 다음을 포함해야 한다.
인정의 수준과 정도(예: 내부 수상 대 외부 보조금, 지역 프레젠테이션 대 초청 논문),
동료와의 커뮤니케이션(예: 멘토로 기여, 커리큘럼 문서 수정),
재정적 지원(Schimanski 및 Alperin 2018)
Promotion and tenure (P&T) evaluation criteria should encompass
the degree and extent of recognition (e.g. internal awards versus external grants, local presentations versus invited papers),
communication with colleagues (e.g. contributing as a mentor, revising curricular documentation), and
학술활동(영향)으로 인한 실무 및 정책의 변화를 문서화하는 것은 매우 중요하며, 학자와 그 기관은 문서화와 증거를 구성하는 것이 무엇인지 명확히 할 필요가 있다. 요컨대, 학술활동scholarship은 다양한 전파dissemination 메커니즘을 인정하고 수용 가능한 다양한 학술 제품을 인정하는 제도적 정책과 언어의 지원을 받아야 한다.
Documenting changes in practice and policy from scholarship (impact) is critical, and scholars and their institutions need to be clear on what constitutes documentation and evidence. In short, scholarship must be supported by institutional policies and language that acknowledge a diversity of dissemination mechanisms and that recognize a range of acceptable scholarly products.
많은 대학들은 일반적으로 티칭 및 학술활동 트랙(Teaching and Scholarship Tracks) 또는 교육자 트랙(Educator Tracks) 또는 그 버전(Version)으로 분류되는 연구 트랙과 병행하여 교육자를 위한 커리어 트랙을 구현하고 있다. 이러한 교육자 트랙을 통해 대학은 높은 성과를 거둔 전임 교육자를 유치, 육성 및 유지할 수 있으며, 이는 학생들의 성과 향상과 평판 향상으로 이어질 것으로 기대하고 있습니다. Many universities have implemented a career track for educators in parallel to the research track, typically labelled as Teaching and Scholarship Tracks, or Educator Tracks, or versions thereof. These educator tracks enable Universities to attract, nurture, and retain high-performing full-time educators with the expectation that this will lead to improved outcomes for students, and enhanced reputation.
그러나 앞에서 언급했듯이, 교육자 트랙은 학문분야-특이적discipline-specific 연구를 더 중요시하는 구조와 모델을 참고하여 개발되었으며, (비발견) 학술활동 활동은 일반적으로 저평가되어 있다(Tierney 2020). 또한 많은 기관들이 P&T 시스템을 세계 랭킹 시스템과 연계한다 (예: Times Higher Education [THE] World University Rankings, QS World University Rankings, Leiden Ranking).
이러한 순위 시스템의 어떤 것들은 연구 결과(예: Leiden Ranking)만으로 기관을 평가한다.
또 어떤 것들은 교육 및 학습의 우수성, 가치 및/또는 품질을 평가하지만, 직원 대 학생 비율, 박사 대 학사 비율 등과 같은 매우 단순한 측정 기준을 통해 평가합니다.
However, as stated earlier, there is often a sense that the educator tracks have been developed with reference to structures and models which privilege discipline-specific research, and (non-discovery) scholarship activities are generally undervalued (Tierney2020). Moreover, many institutions align their P&T systems to world ranking systems (e.g. Times Higher Education [THE] World University Rankings, QS World University Rankings, Leiden Ranking).
Some of these ranking systems assess institutions solely on research outputs (e.g. Leiden Ranking).
Others do assess the excellence, value and/or quality of teaching and learning, but via very simplistic metrics such as staff-to-student ratio, doctorate-to-bachelor’s ratio, and so on.
요컨대, 많은 세계 랭킹 시스템이 학술활동을 평가하지 않고 우수성의 스냅샷을 제공한다고 주장한다(예: Colyvas 2012). HPE와 다른 대학교육에는 어떤 비용이 들까요? In short, many world ranking systems claim to provide snapshots of excellence (e.g. Colyvas2012) without evaluating scholarship. At what cost to HPE and other university education?
학술활동scholarship은 특정분야의 연구가 아니라 자체적인 장점으로 판단해야 하고, P&T 실무는 교수들의 업무패턴을 반영해야 한다. 이를 설명하기 위해, 우리는 학술활동 궤적의 서로 다른 지점에서 기대할 수 있는 학술활동 활동의 종류에 대한 몇 가지 실질적인 팁을 제공한다(표 3). 이 표에는 개인이 한 단계에서 다른 단계로 이동해야 한다거나, 광범위한 학술 활동을 수행하기를 원하거나 필요로 한다는 가정이 없다(예: 표 2 참조).
Scholarship needs to be judged on its own merits, not on those of disciplinary research, and P&T practices should reflect faculty work patterns. To illustrate this, we provide some practical tips of the kind of scholarship activity one might expect at different points in a scholarship trajectory (Table 3). Note that there is no assumption in this table that individuals will want to or need to move from one stage to another or engage in the full breadth of scholarly activities (e.g. seeTable 2).
표 3. 학술활동 목표의 다른 지점에서 학술활동 활동을 한다.
Table 3.Scholarship activity at different points in a scholarship trajectory.
학술활동 제도적 성과 Institutional performance on scholarship
표 3(및 표 1)에 내포되어 있으며, 앞서 언급한 바와 같이 교육자들은 P&T 시스템을 갖춘 기관 및 시스템과 협력하거나 제휴하고 있습니다. 이러한 시스템은 제도적 가치와 포부를 반영하는 관행을 체계화한다. 신자유주의적 관점에서 볼 때, 이러한 연계는 기업이 되는 대학과 연결되며, 국제 고등 교육 시장에서 경쟁력을 확보하기 위한 목표를 설정한다(예: Giroux 2010). 각 대학이 순위가 매겨지는 범주는 순위 체계(예: THE, QS)에 따라 다소 다르지만, 이러한 모든 시스템은 연구 우수성과 영향, 자금 수입, 대학원 취업, 국제화, 교육 품질 등과 같은 요소를 고려한다. Implicit inTable 3(and indeedTable 1), and as stated earlier, educators work within, or are affiliated with, institutions and systems with P&T systems. These systems organize practices which reflect institutional values and aspirations. From a neoliberal perspective, these link with universities being businesses, setting goals to ensure they are competitive in international, higher education markets (e.g. Giroux2010). The categories by which each university is ranked differ somewhat by ranking system (e.g. THE, QS) but all of these systems consider factors such as research excellence and impact, funding income, graduate employment, internationalization, teaching quality, and so on.
우리는 모든 유형의 학술활동이 평가되도록 하기 위해 HPE 학자와 기관은 다음 세 가지 질문을 반영해야 한다고 제안한다.
개인이 영향력을 가질 수 있도록 어떻게 지원하고 있는가?
개인의 참여를 어떻게 지원하고 있는가?
다양한 수준의 정체성identification을 학술활동으로 수용할 의향이 있는가?
We propose that for all types of scholarship to be valued, HPE scholars and institutions should reflect on the following three questions:
How does the institution support individuals to have influence?
How does the institution support individuals to engage?
How willing is the institution to accommodate a variety of levels of identification with scholarship?
개별 기관이 이를 얼마나 정확하게 수행하느냐는 지역 규범과 문화의 영향을 받을 것이다. 예를 들어, 교육 우수성, 긍정적 교육 성과 인정, 직원 시간, 자금 지원 및 인프라 같은 자원, 또는 직원이 학술활동 중심의 전문적 개발을 수행할 수 있도록 지원하는 것이다. 이러한 방법은 투명하고 P&T 실무에 반영되어야 하며, 교수들의 작업 패턴을 반영하고 [발견의 학술활동]에만 집중해야 하는 압력을 감소시켜야 한다. How precisely individual institutions do this will be influenced by local norms and culture e.g. awards for excellence in teaching, recognition for positive educational outcomes, resources such as staff time, funding and infrastructure, or supporting staff to undertake scholarship-focussed professional development. But how they do so must be transparent and reflected in P&T practices, which should reflect faculty work patterns and reduce pressure to focus solely on the scholarship of discovery.
기관들 사이에는 주목할 만한 다양성이 있다. 예를 들어, 한 명문 기관에서, 교육 및 교육 리더십 경로를 따라 한 단계에서 다음 단계로 승급하는 것은 세 가지 주요 범주 즉, 교육 및 교육 행정, 인정 및 학술활동 범주에서 판단됩니다. 각 범주의 메트릭의 예는 다음과 같습니다.
교수teaching: 지역적 또는 국가적으로 채택된 교실 교육 방법의 혁신, 전문 사회의 교육과 관련된 지역적 또는 국가적 리더십 역할, 후보자가 리더였던 과정의 평가 및 성공, 멘토 활동, 행정 및 교육에서의 리더십 역할
인정recognition: 교육에 대한 지역 또는 국가의 발언, 교육에 관련된 지역 또는 국가 과정에서의 리더십 역할, 교육/훈련 프로그램에 대한 지침 및 정책을 개발하는 지역 또는 국가 위원회에 대한 서비스, 교육 저널 편집 위원회 서비스 및
학술활동scholarship: 동료 검토 출판물, 도서 챕터, 타인에 의해 채택된 교육 자원의 개발 등.
notable diversity across institutions. For example, at one prestigious institution, promotion from one level to the next along the teaching and educational leadership pathway is judged along three major categories – teaching and teaching administration, recognition, and scholarship. Examples of metrics under each category include:
teaching: innovation in classroom teaching methods with adoption regionally or nationally, regional or national leadership roles related to education in a professional society, evaluation and success of courses for which the candidate was a leader, mentoring activities, administrative, and leadership roles in education;
recognition: invitations to speak regionally or nationally about education, leadership roles in regional, or national courses related to education, service on regional or national committees developing guidelines and policies for education/training programs, service on editorial boards of educational journals; and
scholarship: peer reviewed publications, book chapter, development of educational resources adopted by others, etc.
범주는 동일하지만, 영향 범위는 조교수의 지역 및 지역 수준에서 어소시에이트 교수의 국가 수준, 그리고 더 높은 수준의 국내 및 국제 수준으로 확대됩니다.
Though the categories are the same, the scope of impact broadens from local and regional level for Assistant professors to national level for Associate professors and higher level national and international levels for Professors.
개별 기관만으로는 이러한 다양성을 설명할 수 없다. 여기에 가르침과 학습/학술활동에 두는 가치, 대학의 사명, 역사적 맥락, 그리고 사회적, 정치적 힘과 우선 순위와 같은 외부 요인들이 있다.
We cannot explain diversity at the level of individual institutions. However, we suggest it is linked to a combination of factors and how these factors intersect. These are: the value placed on teaching and learning/scholarship; the university’s mission; historical context; and external factors, such as social and political forces and priorities.
기관 및 개인에게 유용할 수 있는 학술활동에 대한 외부적 인정을 추구하기 위한 수단이 있다. AMEE의 ASPIRE to Excellence Awards는 미션 및 교육 및 학습 프로그램 측면에서 뛰어난 성과와 우수성을 홍보하는 기관을 인정합니다. There are means to seek external recognition of scholarship which may be useful to institutions, and individuals. AMEE’s ASPIRE to Excellence awards (www.aspire-to-excellence.org; see also Hunt and Harden2016) recognise institutions that promote outstanding performance and excellence in terms of their mission and teaching and learning programmes.
Aspire to Excellence는 기관적 차원에서 학술활동을 인정하지만, 개인학술활동에 대한 외부의 인정을 받을 수 있는 수단도 늘고 있다. AMEE는 HPE 학술활동 활동을 인정하기 위한 펠로우십 제도를 가지고 있다. 두 가지 범주가 있습니다. 더 많은 하위 교육자를 위한 어소시에이트 펠로우십(AFAME)과 더 많은 상급 교육자를 위한 펠로우십(FAME)은 이러한 범주에 필요한 학술활동의 수준이 다르기 때문입니다. FAMEE 또는 FAMEE를 획득하는 것은 권위 있는 것으로 간주되며 P&T에 잠재적으로 사용될 수 있다.
Aspire to Excellence recognises scholarship at the institutional level, but there are also increasing means of achieving external recognition for individual scholarship. AMEE has a Fellowship scheme for recognising HPE scholarship activities (https://amee.org/fellowship). There are two categories: Associate Fellowship (AFAMEE) for more junior educators and Fellowship (FAMEE) for more senior educators, because the level of scholarship required for these categories is different. Obtaining AFAMEE or FAMEE is considered prestigious and can potentially be used for P&T.
영국의 '어드밴스 HE'(Advanced HE, 이전 고등교육 아카데미, HEA)는 대학 교사들을 위한 전문 인정 제도를 운영하고 있는데, 이들은 자신들의 교육 관행이 교육에서의 우수성을 장려하기 위해 영국 프로페셔널 표준 프레임워크 (UKPSF)와 잘 부합한다고 증명했다.
The UK’s ‘Advance HE’ (formerly the Higher Education Academy, or HEA) operates a professional recognition scheme for university teachers who have demonstrated that their teaching practices are well-aligned with the UK Professional Standards Framework (UKPSF) for encouraging excellence in teaching (https://www.advance-he.ac.uk/).
결론 Conclusion
우리의 목표는 21세기 건강직업 교육의 학술활동을 고려하는 것이었다. 우리는 어떻게 학술활동이 '과거를 긍정할 뿐만 아니라 현재를 반영하고 미래를 적절히 예측하는 방식으로 정의될 수 있는가'를 고려하기 위해 Boyer의 역할에 대한 질문을 HPE의 맥락에서 다시 집중함으로써 시작했다. (Boyer 1990, 페이지 75) 이를 통해, 우리는 학문적 가르침, SoTL과 학술활동 사이의 관계, 그리고 그것들이 HPE에 어떻게 적용되는지, 그리고 어떻게 평가될 수 있는지를 고려했습니다. 우리는 커뮤니케이션 방식의 변화에 따라 보급, 도달, 영향dissemination, reach, impact이 변화하고 있다는 사실을 반영했다. 우리는 기관들이 학술활동에서 그들의 교수진을 어떻게 지원하는지를 고려할 필요가 있다고 주장했다. 이러한 학술 활동의 과정에서 우리는 HPE의 학술활동 정의에 도달할 수 있었다. Our aim was to consider scholarship in the twenty-first century health professions education. We started by refocussing Boyer’s question about the role of the scholar to consider how scholarship can ‘be defined in ways that not only affirm the past but also reflect the present and adequately anticipate the future’ (Boyer1990, p. 75) in the context of HPE. In doing so, we considered the relationships between scholarly teaching, SoTL and scholarship, how these apply to HPE, and how they can be evaluated. We reflected on the fact that dissemination, reach, and impact are changing in line with changes in modes of communication. We advocated that institutions need to consider how they support their faculty in scholarship. In the process of these scholarly activities, we were able to reach a definition of scholarship in HPE:
학술활동이란 HPE 및 HPE 커뮤니티를 위해 실천과 지식을 발전시키는 공적으로 전파된 활동을 말한다. Scholarship refers to publicly disseminated activities that advance practice and knowledge for health professions educators and/or the health professions education community
우리의 정의의 핵심에 따르면 scholarship은 다음을 필요로 한다.
자신의 작업물을 공개하고,
자신의 일을 비판적으로 반성하고,
현재의 지식을 적용하고,
질문을 하고,
조사scrutiny에 개방되고,
그 분야에 기여하고,
구성원들의 실천과 지식으로부터 이익을 얻는 공동체를 만들어야 한다는 것이다.
Central to our definition is that scholarship requires
making work public,
critically reflecting on one’s work,
applying current knowledge,
questioning,
being open to scrutiny,
contributing to the field, and
building a community which benefits from the practice and knowledge of its members.
우리는 학문적 가르침에서 교수와 학습의 학문, 발견, 통합과 응용에 이르기까지 모든 교육 활동이 그 분야에 깊이와 가치를 더한다는 것을 강조함으로써 결론을 내리고 싶다. 전체를 만들기 위해서는 모든 부분이 똑같이 필수적이다.
We would like to conclude by emphasising that all educational activities add depth and value to the field, from scholarly teaching to scholarship of teaching and learning, discovery, integration and application. All parts are equally essential to make the whole.
Med Teach.2021 Apr 7;1-15.
doi: 10.1080/0142159X.2021.1900555.Online ahead of print.
Redefining scholarship for health professions education: AMEE Guide No. 142
Scholarship is an integral aspect of academia. It shapes the practice of individuals and the field and is often used to inform career progression decisions and policies. This makes it high stakes. Yet it is complex, and ambiguous. Definitions vary and the term does not necessarily translate well across contexts. In this AMEE guide, our aim is to establish a contemporary definition of scholarship which is appropriate to health professions education (HPE). Our specific objectives are to provide guidance to support colleagues in their career development as professional educators and to challenge biases and assumptions about scholarship which may still exist in educational systems and structures. Ultimately, we hope that this work will advance the stature/standing of scholarship in the field. We provide a general definition of scholarship and how this relates to the scholarship of teaching (and learning) (SoT[L]) and scholarly teaching. Drawing on Boyer's seminal work, we describe different types of scholarship and reflect on how these apply to HPE, before moving on to describe different types of engagement with scholarship in HPE, including scope of contribution and influence. Using cases and examples, we illustrate differences in scholarly engagement across stages of a career, contexts, and ways of engaging. We provide guidance on how to assess 'quality' of scholarship. We offer practical advice for health professions' educators seeking academic advancement. We advocate that institutional leaders consider their systems and structures, so that these align with faculty work patterns, and judge teaching and professional practice appropriately. We conclude by offering a new definition of scholarship in HPE.
Grounded theory in medical education research: AMEE Guide No. 70 Christopher J. Watling &Lorelei Lingard
소개 Introduction
지난 몇 년 동안 의학 교육 연구에서 질적인 조사 방법의 사용과 수용이 점진적으로 증가해왔다. 이러한 경향은 이 분야에서 가장 시급하고, 목적적합하며, 중요한 질문 중 일부는 전통적으로 생물 의학 영역을 지배해온 실험 및 정량적 연구 방법을 사용하여 만족스럽게 탐색할 수 없다는 인식이 증가하고 있음을 반영한다. 연구자가 이용할 수 있는 많은 정성적 방법 중, 근거이론은 생물의학과 사회과학 영역 모두에서 가장 자주 사용되어 왔다(Harris 2003). The last several years have witnessed a gradual increase in the use and acceptance of qualitative methods of inquiry in medical education research. This trend reflects a growing recognition that some of the most pressing, relevant, and important questions in the field cannot be satisfactorily explored using the experimental and quantitative research methods that have traditionally dominated the biomedical domain. Among the multitude of qualitative methods available to the researcher, grounded theory has been the approach most frequently used in both the biomedical and social science realms (Harris2003).
역사적 관점 An historical perspective
근거이론은 사회학자 창시자인 바니 글레이저와 앤셀름 스트라우스와 불가분의 관계를 유지하고 있는데, 그는 1967년 저서 "근거이론의 발견"에서 경험적 데이터로부터 이론을 생성하는 방법을 설명했다. 그들은 이 방법을 정성적 데이터와 정량적 데이터에 모두 적용할 수 있다고 언급했지만, 이론 생성에 관한 한 두 가지 유형의 데이터 간의 구분이 무의미하다는 것을 암시하기까지 했지만, 그들 자신의 연구는 정성적이었다. 근거이론의 비평가들조차 그들의 선구적인 연구가 사회과학의 질적 연구 방법의 정당화에 중요한 영향을 끼쳤다는 것을 인정한다(Thomas & James 2006). Grounded theory remains inextricably linked with its sociologist founders, Barney Glaser and Anselm Strauss, who described, in their 1967 bookThe Discovery of Grounded Theory, a method for generating theory from empirical data (Glaser & Strauss1967). Although they noted that the method could be applied to both qualitative and quantitative data, even suggesting that the distinction between the two types of data was meaningless as far as theory generation was concerned, their own research was qualitative. Even critics of grounded theory acknowledge that their pioneering work was a key influence on the legitimization of qualitative research methods within the social sciences (Thomas & James2006).
[근거이론이 개발된 시대]의 맥락에 대한 관점이 유용하다. 글레이저와 스트라우스는 지난 수십 년 동안 사회과학 내에서 이론 검증에 대한 강한 경향을 한탄했고, 기존 이론을 시험하고 검증하기 위한 연구만을 이용하기보다는 자료로부터 이론의 생성을 촉진하고 싶었다(글레이저 & 스트라우스 1967). 또한, 질적 연구가 이전에는 잘 알려져 있었지만, 1960년대에 이르러 양적 학자들은 질적 연구를 종속적인 지위로 격하시켰다. (덴진 & 링컨 2005) Glaser와 Strauss는 데이터 분석을 위한 절차와 관행을 명확히 하고 코딩함으로써 정량적 접근법에 의해 점점 더 지배되는 분야에서 질적 연구를 정당화하는 것을 목표로 했다. 요컨대, 그들은 질적 연구가 잘 수용된 정량적 조사 방법과 나란히 설 수 있도록 하는 엄격함의 수준을 달성할 수 있다는 것을 증명함으로써 사회과학 연구의 발전뿐만 아니라 정치적 의제의 발전에도 관심이 있었다. (Bryant 2002) A perspective on the context of the times in which grounded theory was developed is useful. Glaser and Strauss lamented the strong trend toward theory verification within the social sciences over the preceding decades, and wanted to promote the generation of theory from data rather than the use of research exclusively to test and verify existing theories (Glaser & Strauss1967). In addition, although qualitative research had previously been well-regarded, by the 1960s, quantitative scholars had relegated qualitative research to subordinate status (Denzin & Lincoln2005). Glaser and Strauss aimed to legitimize qualitative research in a field increasingly dominated by quantitative approaches by clarifying and codifying their procedures and practices for data analysis. In short, they were interested not only in advancing social science research but also in advancing a political agenda by demonstrating that qualitative research could attain levels of rigour that would allow it to stand alongside well-accepted quantitative methods of inquiry (Bryant2002).
글레이저와 스트라우스의 "이론"과 그 발견에 대한 아이디어에 대한 고찰은 계몽적이다. 이론이 경험적 데이터로부터 나오고, 따라서 데이터에 "근거"되어 있다는 그들의 핵심 개념은, 심지어 출현에 대한 개념이 논쟁되고 비판되었음에도 불구하고 오늘날 많은 근거이론작업을 안내하는 중요한 원리로 남아 있다. (Bryant 2002, 2003; Kelle 2005) 그들은
특정 영역 내의 경험적 조사 영역에 기초한 실질적 이론substantive theory과
특정 설정과 사회 구조의 시간과 장소와는 별개로 존재하며, 개념적conceptual인 형식적 이론formal theory을 구별했다.
An examination of Glaser and Strauss's ideas about “theory” and its discovery is enlightening. Their key notion that theory emerges from empirical data, and is thus “grounded” in data, remains an important principle guiding much grounded theory work today, even as the idea of emergence has been disputed and critiqued (Bryant2002,2003; Kelle2005). They distinguished between
substantive theories, based on empirical areas of inquiry within a particular domain, and
formal theories, which were conceptual, distinct from the time and place of specific settings and social structures.
그들은실질적인 이론substantive theory이 연구자 자신의 데이터로부터 생성될 수 있고 생성되어야 한다고 주장했다. 그들은 ("논리적인 추론 이론가들의 방식을 빌리기" 보다는) 데이터의 공식적 이론formal theory조차 근거가 있어야 한다고 주장했지만(Glaser & Strauss 1967, p.91) 그들은 공식적 이론formal theory이 다양한 실질적인 분야에서 연구되지 않는 한 [연구자 자신의 데이터에서 쉽게 도출될 수 없다는 것]을 인정했다.
Substantive theories, they argued, could and should be generated from the researcher's own data (Glaser & Strauss1967). While they called for grounding of even formal theories in data rather than “borrowing the ways of logico-deductive theorists” (Glaser & Strauss1967, p.91), they acknowledged that formal theory could not easily be derived from the researcher's own data, unless a large number of studies in a variety of substantive areas had been done.
실증주의Positivism
원래의 형태에서, 근거이론은 객관적이고 실증주의적 가정에 뿌리를 두고 있었다. 실증주의 패러다임은 객관적이고 초연한 연구자가 이해할 수 있는 진정한 현실을 가정한다(Guba & Lincoln 2005). 글레이저와 스트라우스의 원작은 사실 포스트 포지티브 패러다임이 출현하고 있던 시기에 일어났다(Guba & Lincoln 2005, p.193). 이 패러다임에서는 현실을 "불완전하고 확률적으로만 이해가능한apprehendable" 것으로, 보다 비판적으로 보았다. 그러나 사실 실증주의와 후기실증주의가 연구질문의 접근법에 미치는 영향은 미미하다. 실증주의적 사고는 근거이론 방법의 원래 설명에서 "발견"이라는 단어의 두드러진 사용에서 명백하다. 그 의미는 진리가 연구자에 의해 "발견"되기를 기다리고 있다는 것이다.
In its original form, grounded theory was rooted in objectivist and positivist assumptions. The positivist paradigm assumes a true reality that is apprehendable by a detached, objective researcher (Guba & Lincoln2005). Glaser and Strauss's original work, in fact, occurred at a time when a post-positivist paradigm was emerging, in which reality is viewed more critically as “only imperfectly and probabilistically apprehendable” (Guba & Lincoln2005, p.193), but in fact the differences between positivism and post-positivism in terms of their influences on the approach to research questions are minor. The positivist thinking is apparent in the prominent use of the word “discovery” in the original description of the grounded theory method; the implication is that truth is waiting to be “discovered” by the researcher.
새로운 패러다임 New paradigms
근거이론의 원래 서술 이후 수십 년 동안, 구성주의를 포함한 새로운 패러다임의 출현과 연구의 기초가 되는 실증주의적 가정에 대한 광범위한 비판을 목격했다. 구성주의 패러다임은 지식을 인간의 상호작용과 관계의 산물로서 능동적으로 구성되고 공동 창조된 것으로 본다.
따라서 데이터와 분석은 "참가자 및 기타 데이터 출처와의 공유된 경험 및 관계"에서 작성된다(Charmaz 2006, 페이지 130).
구성주의 패러다임 내에서 연구 목표는 진리를 발견한다는 실증주의 목표에서, 특정 목적의 이해와 적절한 모델의 개발로 전환된다(Bryant 2002).
구성주의자들은 이론 생성의 해석적 성격을 인정한다. 그들은 이러한 해석을 만드는 데 있어 연구자의 역할에 대해 반사적으로 반응하고 열정 분석가로서의 연구자의 실증주의적 개념을 거부한다(Charmaz 2005).
연구 과정은 연구자가 자신의 배경과 가정을 분석 과정에 가져오는 적극적인 참여의 하나로 간주된다.
The decades that followed the original description of grounded theory witnessed extensive critiques of the positivist assumptions underlying research and the emergence of new paradigms, including constructivism. The constructivist paradigm views knowledge as actively constructed and co-created as the product of human interactions and relationships. Data and analysis are therefore created from “shared experiences and relationships with participants and other sources of data” (Charmaz2006, p. 130). Within the constructivist paradigm, the goals of research shift from the positivist goal of discovering truth toward the development of understanding and adequate models for specific, situated purposes (Bryant2002). Constructivists acknowledge the interpretive nature of theory generation. They are reflexive about the role of the researcher in creating these interpretations and reject positivist notions of the researcher as dispassionate analyst (Charmaz2005). The research process is viewed as one of active engagement, where the researcher brings his or her own background and assumptions to the analytic process.
지식 생산의 포스트모던 개념의 영향은 근거이론 방법을 업데이트해야 하는 추가적인 요구로 이어졌다.
단순하고 일반화될 수 있는 기본적인 사회 과정을 밝혀내려는 실증주의적인 목표와 달리, 포스트모더니즘은 복잡성, 불안정성 및 이질성을 인정하고 강조한다(Clarke 2003).
클라크는 포스트모더니즘이 요구하는 복잡성에 대한 반사성과 명시적 인정 없이는 근거이론과 다른 질적 접근법이 더 이상 받아들여질 수 없다고 주장한다. 그녀는 포스트모던 감성과 더 잘 호환되는 상황 매핑situational mapping과 같은 새로운 접근법의 통합을 통해 근거이론 방법의 보다 전면적인 정비를 주장해왔다(Clarke 2003).
The influence of postmodern notions of knowledge production has led to further calls to updating the grounded theory method. In stark contrast to positivism, with its goal of uncovering basic social processes that are simple and generalizable, postmodernism acknowledges and emphasizes complexity, instability, and heterogeneity (Clarke2003). Clarke contends that grounded theory and other qualitative approaches are no longer acceptable without the reflexivity and explicit acknowledgment of complexity that postmodernism demands. She has advocated for a more sweeping overhaul of the grounded theory method through the incorporation of newer approaches, such as situational mapping, that are more compatible with postmodern sensibilities (Clarke2003).
근거이론조사: 원칙 및 절차 Doing grounded theory research: Principles and procedures
근거이론의 기저 가정에 대한 이 비판적인 질문의 결과로 근거이론이 진화했지만, 근거이론 연구를 정의하는 많은 근본적인 방법론적 전략이 남아 있다.
Although grounded theory has evolved as a result of this critical questioning of its underlying assumptions, there remain a number of fundamental methodologic strategies that define grounded theory studies.
우리는 의사 학습에 대한 중요한 영향을 탐구한 최근근거이론연구('영향 경험 연구')를 참고하여 이러한 원칙과 절차를 설명할 것이다(Watling et al. 2012). 그러나 우리는 모든 연구가 시작되어야 하는 곳에서 강력한 연구 질문으로 시작할 것입니다.
We will illustrate these principles and procedures, where useful, by making reference to a recent grounded theory study of our own (the “influential experiences study”) in which we explored the important influences on physicians’ learning (Watling et al.2012). We will start, however, where every piece of research should start – with a strong research question.
근거이론 연구의 연구 질문 Research questions in grounded theory studies
생물 의학 분야를 지배하는 연구에 대한 실험적 접근법과 달리, 근거이론 연구는 시험 가설에 관한 것이 아니다. 오히려, 근거이론 연구는 관심 대상 현상의 근간을 이루는 [핵심 사회적] 또는 [사회 심리적 과정]을 이해하고자 하는 탐구적인 것이다. 근거이론은 연구자가 "어떤 상황이나 특정한 사건을 둘러싸고, 무엇이 일어나고 있거나 무슨 일이 일어나고 있는지 설명할 수 있게 해준다." (Morse 2009, 페이지 14) 이러한 목표는 근거이론 연구에서 질문해야 하는 연구 질문의 유형을 결정한다.
Unlike the experimental approach to research that dominates biomedical disciplines, grounded theory research is not about testing hypotheses. Rather, grounded theory research is exploratory, seeking to understand the core social or social psychological processes underlying phenomena of interest. Grounded theory allows the researcher “to explicate what is going on or what is happening … within a setting or around a particular event.” (Morse2009, p.14) These aims determine the types of research questions that should be asked in a grounded theory study.
질문은 연구자가 완전히 집중되지 않은 상태에서 주제를 깊이 탐구할 수 있을 정도로 충분히 광범위해야 한다(Corbin & Strauss 2008). 초기 연구 질문은 연구의 범위를 정의하고 데이터 수집을 안내하는 동시에, 연구자가 데이터를 검토할 때 때때로 발생하는 예기치 않은 방향을 유연하게 따를 수 있도록 해야 한다. 예를 들어, 우리의 "영향력 있는 경험 연구"에서, 우리는 의사의 학습에 의미 있는 영향을 미치는 임상 경험의 qualities을 탐구하는 데 관심이 있었다1. 데이터 수집을 위해 진행한 인터뷰에서, 우리는 의사들이 학습에 가장 영향력 있다고 생각하는 유형의 경험과 이러한 경험이 그들에게 반향을 일으킬 수 있는 것이 무엇인지 물었다(Watling et al. 2012). 이러한 질문은 임상 학습 경험을 심층적으로 설명하는 데이터를 수집할 수 있을 정도로 충분히 광범위하면서도 관심 있는 맥락과 개인을 정의할 수 있도록 허용했다.
The questions should be broad enough to allow the researcher the freedom to explore a topic in depth, while not being entirely unfocused (Corbin & Strauss2008). The initial research questions should define the scope of the study and guide the collection of data, while allowing flexibility for the researcher to follow the sometimes unexpected turns that arise as data is examined. For example, in our “influential experiences study”, we were interested in exploring the qualities of those clinical experiences that meaningfully influenced physicians’ learning1. In the interviews we employed for data collection, we asked what kinds of experiences physicians considered most influential in their learning, and what allowed these experiences to resonate with them (Watling et al.2012). These questions were sufficiently broad to allow us to collect data that elucidated the experience of clinical learning in some depth, while still allowing us to define the contexts and individuals of interest.
방법론적 적합성 보장 Ensuring methodologic fit
연구자는 이 단계에서 근거이론방법이 당면한 연구 질문을 탐구하는 데 적합한지 확인하기 위해 일시 중지하는 것pausing에서 이익을 얻을 수 있다. The researcher may benefit, at this stage, from pausing to ensure that the grounded theory method is an appropriate fit for exploring the research questions at hand.
질적 탐구에 대한 다양한 접근법들 사이에 약간의 중복이 있을 수 있지만, 그들의 핵심에는 분명히 다른 목표를 가지고 있으며, 결과적으로 그들은 분명히 다른 제품으로 이어진다.
민족학 연구는 데이터를 해석하는 렌즈로서의 문화 개념을 사용한다(Goodson & Vassar 2011). 민족학자는 사회 조직을 내부에서 이해하는 것을 목표로 하며, 일반적으로 사회적 환경에서 지속적인 몰입적 참여를 통해 얻어지는 데이터 출처로서의 관찰에 크게 의존한다(앳킨슨 & 퍼글리 2005). 민족학 연구의 산물인 민족학은 연구된 집단의 "전체주의적 문화적 초상화"를 제공한다. (크레스웰 2007, 페이지 72)
이와는 대조적으로, 현상학은 경험된 개념이나 현상의 의미를 설명하는 데 초점을 맞추고 있다. 연구는 관심 있는 현상으로 시작하여 그 현상에 대한 여러 개인의 경험을 연구하여 그 본질로 축소한다(Cresswell 2007). 현상학의 중심은 연구자가 데이터 해석에 영향을 미칠 수 있는 선입견, 가정 및 편견을 식별한 다음 이러한 편견을 의도적으로 배제하려고 시도하는 괄호치기 관행이다(Dornan et al. 2005).
사례 연구 접근법에서, 연구원은 경계를 쉽게 정의할 수 있는 사례 또는 소수의 사례를 연구하기로 선택한다(Stake 2005). 사례 연구 연구는 연구 방법보다는 연구된 것에 의해 정의되며, 일반적으로 여러 출처로부터 정보를 수집하고 분석하는 것을 포함한다. 그것의 목표는 이론의 도출이나 일반화할 수 있는 원칙의 정교함이 아닌 개별 사례의 복잡성에 대한 심층적인 이해이다(Cresswell 2007).
Although there may be some overlap between the various approaches to qualitative inquiry, they have, at their core, distinctly different goals, and as a result they lead to distinctly different products.
Ethnographic research uses the concept of culture as a lens through which to interpret data (Goodson & Vassar2011). The ethnographer aims to understand a social organization from within, and typically relies heavily on observations as a data source, often obtained through sustained immersive engagement in a social milieu (Atkinson & Pugsley2005). The product of ethnographic research, anethnography, provides a “holistic cultural portrait” of the studied group. (Cresswell2007, p. 72).
Phenomenology, in contrast, focuses on describing the meaning of an experienced concept or phenomenon. The research starts with a phenomenon of interest, then studies several individuals’ experiences of that phenomenon to reduce it to its essence (Cresswell2007). Central to phenomenology is the practice ofbracketing,in which the researcher identifies preconceptions, suppositions, and biases that may influence data interpretation, then attempts to deliberately set these biases aside (Dornan et al.2005).
In the case study approach, the researcher chooses to study a case or a small number of cases whose boundaries can be readily defined (Stake2005). Case study research is defined by what is studied rather than by how it is studied, and typically involves the collection and analysis of information from multiple sources. Its goal is an in-depth understanding of the complexity of an individual case, rather than the derivation of theory or the elaboration of generalizable principles (Cresswell2007).
우리는 연구자들이 가장 관련성이 높은 방법론적 선택권과 연구과정의 이 단계를 진지하게 받아들이도록 권장할 것이다. 특정한 연구 문제를 해결하기 위해 상대적인 강점과 약점을 따져보는 것. we would encourage researchers to take seriously this step of the research process by informing themselves of the most relevant methodological options and weighing their relative strengths and weaknesses for grappling with a particular research question.
다음은 근거이론연구의 수행을 정의하는 절차적 요소
the procedural elements that define the conduct of a grounded theory study, which we describe below.
반복공정 Iterative process
The Discovery of Ground Theory에서 Glaser와 Strauss는 데이터의 수집, 코딩 및 분석이 "연속적이어야 하며, (경계가) 흐리고 얽혀야 한다"고 언급하면서, 근거이론방법의 반복적 성격을 강조했다(Glaser & Strauss 1967, 페이지 43) 데이터 수집이 신중하게 제어되고 의도적으로 새로운 결과에 영향을 받지 않는 대부분의 실험적이고 가설 중심적인 정량적 연구와 대조적으로, 근거이론연구는 데이터 수집과 데이터 분석을 동시에 수행하며, 서로에게 정보를 제공한다. 예를 들어, 인터뷰 연구에서, 반복 프로세스는 스크립트가 완료될 때 스크립트를 읽고 초기 분석 통찰력과 개념 아이디어가 후속 데이터 수집을 형성할 수 있도록 하는 것을 의미한다. 예상치 못했거나 추가 탐구를 위한 설득력 있는 영역을 나타낼 수 있는 연구 결과는 유도 조사와의 후속 인터뷰에서 후속적으로 추적된다. 결과적으로, 조사를 신흥 지역emerging area으로 유도함으로써 얻은 추가 정보는 진행 중인 분석을 형성한다. InThe Discovery of Grounded Theory, Glaser and Strauss highlighted the iterative nature of the grounded theory method, noting that collection, coding, and analysis of data should “blur and intertwine continually” (Glaser & Strauss1967, p.43). In contrast to most experimental, hypothesis-driven quantitative research, in which data collection is carefully controlled and deliberately not influenced by emerging results, grounded theory research involves performing data collection and data analysis simultaneously, with each informing the other. In an interview study, for example, an iterative process means reading transcripts as they are completed and allowing early analytic insights and conceptual ideas to shape subsequent data collection. Findings that were unanticipated or that may represent a compelling area for further exploration are followed up in subsequent interviews with directed probes. In turn, the additional information gained by directing the inquiry toward emerging areas shapes the ongoing analysis.
부호화 Coding
코딩은 근거이론연구에서 분석 전략의 핵심 부분이다. 코딩과정에서 데이터를 핵심 개념 영역이나 테마를 중심으로 정리한다. 결과적으로, 잘 처리한 코딩은 단순히 데이터의 내용을 기술하거나 요약하는 것 이상을 필요로 한다. 오히려 코딩은 연구자가 데이터를 이해하기 위해 데이터와 상호작용해야 한다. 그러므로 코딩은 이론 구축 과정의 본질적이고 필수적인 부분이다. Coding is a key part of the analytic strategy in grounded theory studies. Through coding, data are organized around key conceptual areas or themes. As a result, coding done well requires more than merely describing or summarizing the contents of the data. Rather, coding requires the researcher to interact with their data in order to make sense of it. Coding is therefore an intrinsic and essential part of the process of theory building.
다른 곳에서 자세히 설명한 코딩 데이터에 대한 여러 가지 접근법이 있다(Charmaz 2006; Corbin & Strauss 2008). [초기 코딩] 중에는 연구자가 가능한 많은 개념적 및 이론적 방향에 열려 있는 것이 중요하다(Charmaz 2006). 스크립트 내의 개별 줄이나 문장과 같은 작은 분석 단위에 초기 코딩 단계를 집중하면 가장 두드러진 아이디어가 식별되고 적절한 주의를 기울이도록 보장한다. 이 초기 상세 데이터 마이닝으로부터 개념적으로 관련된 많은 아이디어를 포함할 수 있는 더 넓은 범주가 개발되는 두 번째 코딩 단계가 온다. 종종, 코딩 체계는 추가 데이터가 수집됨에 따라 진화할 것이다. 특정 범주는 데이터가 특정 통합 기능에 의해 관련된다는 것이 분명해짐에 따라 다른 범주는 흡수될 것이며, 다른 범주는 새로운 데이터를 조사하는 과정에서 뚜렷한 하위 개념이 등장함에 따라 분할될 것이다. There are multiple approaches to coding data that have been described in detail elsewhere (Charmaz2006; Corbin & Strauss2008). During initial coding, it is important that the researcher remains open to many possible conceptual and theoretical directions (Charmaz2006). Focusing the initial coding phase on small units of analysis, such as individual lines or sentences within transcripts, ensures that the most salient ideas are identified and given appropriate attention. From this initial detailed mining of data comes a second coding phase where broader categories are developed that may encompass a number of conceptually related ideas. Frequently, the coding scheme will evolve as further data are collected. Certain categories will be absorbed by others as it becomes clear that their data are related by particular unifying features, while other categories will split as distinct sub-concepts emerge in the process of examining fresh data.
이 단계에서는 보다 상세한 코딩 예제가 도움이 될 수 있다. 상자 1에서, 우리는 "영향력 있는 경험 연구"에서 인터뷰 데이터가 분석됨에 따라 진화한 초기 코딩 체계를 보여준다. 상자 1에 표시된 코딩 방법은 궁극적으로 22개의 인터뷰 대본이 될 첫 15개를 읽고 다시 읽은 후에 개발되었다. 제안된 각 코드는 그 특성과 한계를 정의하는 일련의 [설명자]가 뒤따른다. 이 전략은 데이터 분류 작업에 접근함에 따라 연구자에게 중요한 지침을 제공한다. A more detailed coding example may be instructive at this stage. InBox 1, we show an early coding scheme that evolved as interview data were analyzed in our “influential experiences study”. The coding scheme shown inBox 1was developed after reading and re-reading the first 15 of what would ultimately turn out to be 22 interview transcripts. Note that each proposed code is followed by a series of descriptors that define its characteristics and its limits. This strategy provides important guidance to the researcher as the task of categorizing data is approached.
Box 1 "유입 경험 연구"를 위한 코딩 방법
Box 1 Coding scheme for “Influential Experiences Study”
지속적 비교 Constant comparison
코딩이 진행됨에 따라, 제정된 분석 프로세스는 지속적인 비교 중 하나입니다. 데이터를 조사examine함에 따라, incidents는 다른 incidents와 비교되고 범주의 새로운 특성 및 특성(Glaser & Strauss 1967; Corbin & Strauss 2008)과 비교된다. 비교 프로세스는 각 범주의 폭과 특성을 정의하고, 새로운 개념을 설명하는 사고가 발생할 때 새로운 범주의 출현을 촉진한다. 반례(반대 사례 – 마주치는 "부정적 사례")는 지속적인 비교 과정 내에서 특히 중요하다. 실제로, 그러한 특이치는 이론 개발에 기여하는 중요한 분석 통찰력을 열 수 있다. 이러한 사고를 범주의 기존 속성과 비교함에 있어, 연구원은 마주치는 데이터의 전체 범위를 설명할 수 있는 프로세스 개념 원칙을 드러내며, 이와 같은 간단한 분류를 넘어 생각할 수밖에 없다.
As coding proceeds, the analytic process enacted is one of constant comparison. As the data are examined, incidents are compared with other incidents and with the emerging characteristics and properties of the category (Glaser & Strauss1967; Corbin & Strauss2008). The comparative process defines the breadth and characteristics of each category, and facilitates the emergence of new categories when incidents are encountered that illustrate new concepts. Counter-examples – the “negative cases” that are encountered – are particularly important within the constant comparative process. Indeed, such outliers can unlock vital analytic insights that contribute to theory development. In comparing these incidents with the existing properties of the category, the researcher is forced to think beyond simple categorizations of like with like, revealing in the process conceptual principles that can account for the full range of data that is encountered.
코드에서 개념으로 From codes to concepts
코딩은 그 자체로 끝이 아니다; 오히려, 그것은 이론 개발을 용이하게 하는 전략이다. 전략은 힘을 이용할 때만 성공하며, 그렇게 하려면 연구자가 주제 분류만으로 만족하지 않아도 된다. 이론을 생성하기 위해서는 범주categorical에서 개념conceptual으로 분석이 제기되어야 한다. [개념 수준]에서 분석하려면 데이터에 대해 다음과 같은 질문을 해야 합니다.
여기서 무슨 일이 일어나고 있나요?
이 사건은 어떤 예입니까?
왜 참가자들은 이런 식으로 반응하는가?
Coding is not an end in itself; rather, it is a strategy to facilitate theory development. The strategy only succeeds when its power is harnessed, and doing so requires that the researcher not be satisfied with mere thematic classification. The analysis must be raised from the categorical to the conceptual in order to generate theory. Analysis at the conceptual level requires asking questions of the data:
What is happening here?
What is this incident an example of?
Why are participants reacting this way?
데이터 내에서 기본 스토리를 정의하려는 이러한 노력은 보다 풍부한 분석 제품으로 보상됩니다. 더 깊고 개념적인 분석에 대한 한 가지 접근 방식은 코딩 프로세스에서 발생하는 주요 범주categories 간의 관계를 탐구하는 것을 포함한다. 범주를 연결하는 아이디어는 이론 개발을 지원하는 개념적 발판을 제공할 수 있습니다.
Such efforts to define the underlying story within the data are rewarded with a richer analytic product. One approach to deeper, conceptual analysis involves exploring the relationships among the major categories that emerge from the coding process. The ideas that link categories can provide the conceptual scaffold to support theory development.
우리의 예제로 돌아가면, 코드 체계는 더 많은 데이터가 분석되고 범주 간의 연결이 탐색되고, 말해진 것what was said뿐만 아니라 의미하는 것what was meant이 무엇인지 질문함에 따라 발전되고 다듬어졌다. 이 연구를 위한 코딩 범주의 최종 목록은 [단순히 데이터를 분류하기보다는 개념화하려는 움직임]을 반영한다(박스 2). 예를 들어, 이전의 범주인 "학습자 태도"와 "독립성/자율성"은 "학습 조건"의 요소로 개념화되었고, "측정", "형식 평가", "역할 모델"은 "학습 신호"의 요소로 개념화되었다. "피드백"도 학습 신호였지만, 우리는 이 범주가 매우 중요하다고 느꼈기 때문에 분석에서 풍부함이 손실되지 않도록 구별하는 것을 선택했다. Returning to our example, the coding scheme evolved and was refined as further data were analyzed, as the links between categories were explored, and as we asked not only what was said but what was meant. The final list of coding categories for this study reflects a move toward conceptualizing our data rather than simply categorizing it (Box 2). For example, the previous categories of “learner attitude” and “independence/autonomy” were conceptualized as elements of “learning conditions”, while “measuring up”, “formal assessments”, and “role models” were conceptualized as elements of “learning cues”. Although “feedback” was also a learning cue, we felt this category was so significant that we opted to keep it distinct to ensure that its richness was not lost in the analysis.
상자 2 "유입 경험 연구"를 위한 최종 코딩 방법
Box 2 Final coding scheme for “Influential Experiences Study”
메모 및 다이어그램을 사용하여 분석 촉진 Facilitating analysis with memos and diagrams
메모는 분석의 기록이다(Charmaz 2006; Corbin & Strauss 2008). 근거이론 연구자는 자료를 수집하고 분석할 때 정기적으로 메모를 작성해야 한다. 메모 쓰기는 자료 수집과 출판 원고 초안 작성 사이의 중간 단계 역할을 할 수 있지만, 과정은 자유롭고 비공식적이어야 한다. 연구자들은 축적된 데이터를 탐색하는 과정을 거치면서 발생하는 아이디어를 기록해야 한다. 메모 쓰기는 새로운 통찰력의 출현과 범주 간의 관계의 정교화를 촉진하여 분석 과정을 진전시킨다. 메모를 작성하는 행위는 연구자가 코드화된 데이터를 검토하고 그 의미를 개념적 수준에서 해석하도록 강요force한다.메모 모음에는 근거이론의 개발을 게시하여 프로세스가 논리적이고 체계적이며 데이터에 기반을 두고 있는지 확인합니다. Memos are a written record of analysis (Charmaz2006; Corbin & Strauss2008). Grounded theory researchers should write memos regularly as they collect and analyze their data. Although memo writing can serve as an intermediate step between collecting data and drafting a manuscript for publication, the process should be free and informal. Researchers should record the ideas that occur to them as they move through the process of exploring their accumulating data. Memo-writing facilitates the emergence of new insights and the elaboration of relationships among categories, propelling the analytic process forward. The act of writing a memo forces the researcher to examine coded data and to interpret its meaning at a conceptual level. A collection of memos signposts the development of a grounded theory, ensuring that the process is logical, systematic, and grounded in the data.
상자 3은 "영향 경험 연구" 예제를 위해 수집된 데이터의 분석 중에 작성된 메모의 추출물을 포함한다. 데이터를 검사하면서, 우리는 학습자가 자신의 성과와 관련하여 이용할 수 있는 정보의 신뢰성에 대한 반복적인 언급을 주목했고, 학습자가 특히 감독자로부터 받은 피드백과 관련하여 어떤 정보가 신뢰할 수 있고 없는지를 어떻게 결정했는지에 관심을 갖게 되었다. 상자 2에 표시된 최종 코딩 체계의 "신뢰도를 결정하는" 범주에 포함된 데이터를 면밀하게 검토한 후 작성된 이 메모에는 이 문제에 대한 데이터에서 나오는 핵심 통찰력이 요약되어 있다. 글쓰기가 자유롭고 스타일리스트적으로 조잡하다는 것에 주목하라; 관심은 문법과 구문보다는 아이디어 자체에 집중된다. 분석 과정에서 제기되는 질문들은 더 많은 생각과 주의를 요하는 잠재적으로 중요한 아이디어에 신호를 보내기 위해 메모에 명시되어 있다. Box 3contains an extract of a memo written during the analysis of data collected for the “influential experiences study” example. As the data was examined, we noted recurring references to the credibility of information that was available to learners related to their own performance, and we became interested in how learners determined what information was credible and what was not, particularly as it related to feedback received from their supervisors. In this memo, written after careful examination of the data contained in the “determining credibility” category of the final coding scheme shown inBox 2, key insights emerging from the data on this issue are outlined. Note that the writing is free and stylistically crude; the attention is on the ideas themselves rather than on grammar and syntax. Questions raised in the analytic process are articulated in the memo to signal potentially important ideas requiring further thought and attention.
3번 상자 "신뢰도 결정" 메모
Box 3 Memo on “Determining credibility”
궁극적으로, 우리는 피드백의 신뢰성에 대한 학습자의 판단과 그들의 성과에 대한 다른 정보가 임상 학습에 중추적인 역할을 한다는 것을 인식했다. 이와 같은 메모는 우리가 이 아이디어의 풍부함과 중심성을 인식하는 데 도움이 되었다. 메모가 반복적으로 처리될 경우 분석이 강화되며, 데이터 수집 및 분석이 진행됨에 따라 이를 재검토하고 수정해야 한다. 상자 3에 표시된 메모의 길이가 더 긴 원본 버전에서, 각 나열된 포인트는 데이터에서 직접 추출한 2-3개의 인용구로 지원된다는 점에 주목할 필요가 있다. 메모에 직접 인용문이 등장할 필요는 없지만, 신뢰도 결정에 관한 원래 메모에 삽입하는 연습은 통찰력이 데이터에 기반을 두게 할 뿐만 아니라 나중에 원고를 쉽게 쓸 수 있도록 하는 데 도움이 되었다. Ultimately, we recognized that learners’ judgments about the credibility of feedback and other information about their performance played a pivotal role in their clinical learning. Memos such as this one facilitated our recognition of the richness and centrality of this idea. Analysis is strengthened when memos are treated iteratively; they should be revisited and revised as data collection and analysis proceeds. It is worth noting that in the original, lengthier version the memo shown inBox 3, each listed point was supported by 2-3 quotations directly drawn from the data. Although direct quotations need not appear in memos, the exercise of inserting them into the original memo on determining credibility served not only to ensure that the insights were grounded in the data but also to facilitate the writing of the manuscript later.
다이어그램은 기본 이론 작업에서 메모와 유사한 목적으로 사용될 수 있습니다. 다이어그램은 나타나는 개념 간의 관계를 시각적으로 표현한 것입니다. 다이어그램을 작성하려면 연구자가 데이터에 대한 생각을 범주 수준에서 개념 수준으로 끌어올려 분석에 가치를 더해야 합니다(Corbin & Strauss 2008). 개념 구성, 개념 간의 관계 이해 및 데이터의 본질적 축소를 촉진한다(Corbin & Strauss 2008).
Diagrams can serve a similar purpose to memos in grounded theory work. Diagrams are visual representations of the relationships between concepts that emerge. The creation of a diagram requires the researcher to raise their thinking about the data from the level of categories to the level of concepts, adding value to the analysis (Corbin & Strauss2008). They promote organization of concepts, understanding of relationships among concepts, and reduction of data to its essence (Corbin & Strauss2008).
상자 4는 그러한 다이어그램의 예를 보여준다. 관심 있는 독자들은 이 초기 다이어그램을 우리의 출판된 원고에 포함된 최종 버전과 비교하기를 원할 수 있다(Watling et al. 2012). Box 4shows an example of one such diagram; interested readers may wish to compare this early diagram with the final version that was included in our published manuscript (Watling et al.2012).
상자 4 수집된 데이터에서 그린 다이어그램의 예
Box 4 Example of diagram drawn from data collected
영감과 창의력 Inspiration and creativity
근거이론은 수집된 데이터에서 발생하는 프로세스와 관련된 요소와 범주를 주의 깊게 조사함으로써 프로세스에 대한 개념적 이해를 도출하려고 한다. 범주가 어떻게 개념이 되고 설명이 어떻게 이해되는가 하는 것만으로 신비롭고 이해하기 어려울 수 있다. 창의적 사고는 근거이론 연구의 피할 수 없는 요소로, 단순한 서술보다는 해석이 필요하다. 그러나 해석적 영감은 우연이 아니다.
Grounded theory seeks to derive conceptual understanding of a process by carefully examining the elements and categories related to that process emerging from the data collected. Just how categories become concepts and description becomes understanding can seem mysterious and difficult to grasp. Creative thinking is an inescapable element of grounded theory research, which requires interpretation rather than mere description. Interpretive inspiration, however, is not accidental.
연구자는 의미 있는 해석적 통찰의 출현을 촉진할 조건을 의도적으로 만들어야 한다.
데이터에 반응하는 유연한 코딩 시스템을 유지하고,
정기적인 메모 작성에 관여하며,
아이디어를 일관성 있는 스토리로 모을 수 있도록 도표를 사용하는 것은 모두 해석 과정을 촉진하기 위한 의도적인 전략이다.
The researcher must deliberately create the conditions that will facilitate the emergence of meaningful interpretive insights.
Maintaining a flexible coding system that is responsive to the data,
engaging in regular memo writing, and
using diagrams to help bring ideas together into a coherent story are all deliberate strategies for facilitating the interpretive process.
그러나 궁극적으로 해석의 주요 촉진자는 데이터에 대한 철저한 지식입니다. 데이터를 자세히 검토하고 다시 검토해야만 연구자가 분석 과정을 안내할 패턴과 반복 테마를 인식할 수 있다.
Ultimately, however, the key facilitator of interpretation is a thorough knowledge of the data. Only by examining and re-examining data in detail will the researcher be able to recognize the patterns and recurring themes that will guide the analytic process.
이론 표본 추출 Theoretical sampling
근거이론 연구의 표본 추출 전략은 목적적이며 이론적 고려에 의해 유도된다. [초기 표본 추출]은 연구 질문에 의해 유도된다. 연구원은 이러한 질문과 관련된 풍부한 정보를 제공할 가능성이 있는 것으로 간주되는 데이터의 출처를 의도적으로 선택한다. 차르마즈가 지적한 바와 같이, 이 초기 샘플링은 "출발 지점"만 제공한다(Charmaz 2006, 페이지 100). 후속 이론적 샘플링은 이 초기 데이터 수집에서 나온 범주와 개념에 의해 안내된다. The sampling strategy in grounded theory research is purposive and guided by theoretical considerations. Initial sampling is guided by the research question. The researcher purposefully selects sources of data that are considered likely to provide rich information relevant to these questions. As Charmaz points out, this initial sampling provides only “a point of departure” (Charmaz2006, p.100); subsequenttheoretical samplingis guided by the categories and concepts that emerge from this initial data collection.
[이론적 표본 추출]은 "사람, 장소 및 사건으로부터 데이터 수집을 수반하며, 이들의 특성과 치수의 측면에서 개념을 개발하고, 변화를 발견하며, 개념 간의 관계를 식별하는 기회를 최대화한다."(Strauss & Corbin 2008, 페이지 143).
Theoretical sampling entails the collection of data “from people, places, and events that will maximize opportunities to develop concepts in terms of their properties and dimensions, uncover variations, and identify relationships between concepts” (Strauss & Corbin2008, p.143).
가설 중심 실험 연구에 사용되는 표본 추출 전략과 달리, [이론적 표본 추출]은 연구가 시작되기 전에 확립된 것이 아니라 데이터에 반응적responsive이다(Strauss & Corbin 2008). 따라서 이론적 샘플링은 데이터 분석이 데이터 수집과 동시에 발생할 뿐만 아니라 실제로 데이터 수집을 추진하는 반복 프로세스의 맥락에서만 발생할 수 있다. 연구원은 이론적 구조를 개발하고 다듬는 것을 촉진하는 새로운 데이터 소스를 명시적으로 찾는다. 이론적 표본 추출의 목적은 표본이 모집단을 대표하는지 확인하거나 결과의 통계적 일반화 가능성을 허용하는 것이 아니라, 범주와 개념을 정교하고 다듬기 위한 전략적이고 구체적인 표본 추출을 통해 풍부하고 완전한 이론적 개발을 보장하는 것이다(Charmaz 2006). 이론적인 표본 추출은 연구자가 개발 아이디어를 확인하고, 반박하고, 확장하고, 다듬을 수 있게 한다.
Unlike sampling strategies used in hypothesis-driven experimental research, theoretical sampling is responsive to the data rather than established before the research begins (Strauss & Corbin 2008). Theoretical sampling can therefore only occur in the context of an iterative process in which data analysis not only occurs concurrent with data collection, but actually drives data collection. The researcher explicitly seeks out new sources of data that facilitate developing and refining theoretical constructs. The goal of theoretical sampling is not to ensure that the sample is representative of a population nor to allow statistical generalizability of the results; rather, the aim is to ensure rich and full theoretical development through strategic and specific sampling to elaborate and refine categories and concepts (Charmaz2006). Theoretical sampling allows the researcher to confirm, refute, expand, and refine developing ideas.
포화 Saturation
연구자는 충분한 데이터가 수집되었을 때 어떻게 알 수 있는가? 포화 상태에 도달할 때까지 표본 추출을 계속하는 것이 지침 원칙이지만, 포화도는 단순히 새로운 데이터가 출현하지 않는 상태 이상more than을 가리킨다. 포화도는 분석 프로세스와 밀접하게 연관되어 있으며, 데이터 수집 및 데이터 분석의 반복 프로세스 내에서만 결정할 수 있습니다. 포화도는 데이터 수준이 아닌 [개념적 및 이론적 수준]에서 보아야 합니다. 포화도를 결정할 때 질문해야 할 중요한 질문은 연구자가 출현한 개념과 테마의 차원과 특성에 대해 충분한 이해를 할 수 있도록 충분한 데이터가 수집되었는지와 관련이 있다. How does the researcher know when enough data has been collected? The guiding principle is to continue sampling until saturation has been reached, but saturation refers to more than a state where no new data are emerging. Saturation is intimately linked with the analytic process, and can only be determined within an iterative process of data collection and data analysis. Saturation must be viewed at a conceptual and theoretical level, rather than at a data level. The important questions to ask in determining saturation relate to whether sufficient data has been collected for the researcher to have gained an adequate understanding of the dimensions and properties of the concepts and themes that have emerged.
포화라는 개념은 연구자의 판단과 경험에 달려 있기 때문에 도전적challenging이다. 생물 의학 연구에 익숙한 정량적 방법과는 달리, 근거이론 연구자들이 연구 문제를 적절히 해결하기 위해 필요한 표본 크기를 추정하기 위한 지침이나 공식은 없다. 결과적으로, 질적 연구의 일반적인 표본 크기는 초보 연구자와 기관 검토 위원회 및 허가 기관, 특히 양적, 실험적인 연구 접근법이 지배적인 분야의 연구 기관 모두에게 어려운 문제가 될 수 있다. The notion of saturation is challenging because the determination that it has been reached rests on the judgment and experience of the researcher. Unlike in the quantitative methods familiar in biomedical research, there are no guidelines or formulae available to grounded theory researchers for estimating the sample size that will be required to adequately address the research question. As a result, sample size in qualitative research in general can be a thorny issue for both novice researchers and for institutional review boards and granting agencies, particularly those from fields where the quantitative, experimental approach to research is dominant.
모스(1995)는 포화 문제를 해결하기 위한 많은 유용한 지침을 제공했다. 아마도 가장 중요한 것은, [포화가 편의성 또는 무작위 샘플링보다 이론적 샘플링에서 더 쉽게 발생할 것이라는 점에 주목]하면서, 샘플의 사려 깊고 이론적 정당성을 요구한다. 또한 데이터 양에 대한 데이터의 풍부성과 변동을 강조합니다. 위에서 강조했듯이, 드물게 발생하는 특이치와 부정적인 사례에 대한 세심한 주의는 개념 설명, 개념 연결 및 이론 개발을 용이하게 할 수 있는 이러한 드문 사례에 대한 검토이기 때문에 많은 유사한 사례를 수집하는 것보다 포화를 달성하는 데 훨씬 더 생산적일 수 있다. 간단히 말해서, [데이터 수집]은 [논리의 격차gaps나 비약leaps 없이, 데이터에 대한 그럴듯한 설명을 제공하는, 완전하고 설득력 있는 이론이 개발되었을 때 중단]될 수 있다(Morse 1995).
Morse (1995) has offered a number of useful guidelines for addressing problem of saturation. Perhaps most important, she calls for thoughtful and theoretical justification of the sample, noting that saturation will occur more readily with theoretical sampling than with convenience or random sampling. She also emphasizes data richness and variation over data quantity. As we have emphasized above, careful attention given to the infrequently occurring outliers and negative cases may be much more productive in achieving saturation than collecting a large number of like cases, as it is the examination of these infrequent cases that can facilitate delineation of concepts, linking of concepts, and development of theory. In short, data collection can stop when a complete and convincing theory has been developed that provides a plausible account of the data without gaps or leaps of logic (Morse1995).
근거 이론의 비판 Critiques of grounded theory
그 근거이론 방법은 여러 면에서 비판을 받아왔다. 몇 가지 핵심 비판에 대한 간략한 개요는 방법을 사용하는 연구자와 근거이론 연구의 독자 모두에게 관련된다.
The grounded theory method has been criticized on a number of fronts. A brief overview of some of the key critiques is relevant both for researchers using the method and for readers of grounded theory studies.
해석학자들의 비판 Critiques from the interpretivists
근거이론의 가장 강력한 비판은 [그것의 실증주의적 기원]을 떨쳐 버리고 지식과 그것의 세대에 대한 새로운 사고방식이 등장함에 따라 그 자체를 재상상상하고 재정렬하는 데 실패하는 것을 목표로 한다. (Bryant 2002) 구성주의적 패러다임을 수용하는 사람들에게, 데이터로부터 이론의 "등장"이라는 개념은 특히 문제가 있다. 어떻게 이론이, 사실, 데이터로부터 나올까요?
The strongest critiques of grounded theory target its failure to shake off its positivist origins and to reimagine and realign itself as new ways of thinking about knowledge and its generation have emerged (Bryant2002). To those who embrace the constructivist paradigm, the notion of “emergence” of theory from data is especially problematic. How does theory, in fact, emerge from data?
[고전적인 근거이론가]들은 연구자가 "추상적인 놀라움"(Glaser 1992, 페이지 22)으로 그 분야에 진입enter하고, 연구자의 "정보적인 분리informed detachment"를 강조할 것을 요구한다(Glaser & Strauss 1967) 그러면 연구자는 사전 지식이나 개인적인 관점의 족쇄에서 벗어나 데이터 내에서 진실을 "발견"할 수 있습니다.
Classic grounded theorists call for the researcher to enter the field with“abstract wonderment”(Glaser1992, p. 22), and emphasize the“informed detachment”of the researcher (Glaser & Strauss1967). The researcher, freed from the shackles of prior knowledge or personal perspectives, can then “discover” the truth within their data.
[구성주의자]들은 위와 같은 데이터에 대한 연구자의 수동적 입장과 이론의 출현에 대한 이러한 생각들이 포스트모던 패러다임에서는 도저히 옹호될 수 없다고 주장한다. (Bryant 2002) Fish(1994)는근거이론연구를 하기 위한 목적으로 [개인적인 믿음과 관점을 제쳐두는 것의 얼빠짐zaniness]에 대해 다채롭게 언급헸다. 이 논평은근거이론에 대한 주요 구성주의적 비판을 반영한다: 참여자 및 데이터와의 상호작용을 통해 지식을 구축하고 창출하는 데 있어 연구자의 주요 역할을 인식하지 못한다는 것이다.
Constructivists argue that these ideas about the passive stance of the researcher toward their data and the emergence of theory are simply not tenable within postmodern paradigms (Bryant2002). Fish (1994) speaks colourfully about the zaniness of putting aside personal beliefs and perspectives for purposes of doing grounded theory research, and this comment reflects a key constructivist critique of grounded theory: that it fails to acknowledge the researcher's key role in constructing and creating knowledge through interaction with the participants and with the data.
일부 근거이론가들은 분석 과정에서 연구자의 [반사성의 중요성]을 강조함으로써 이러한 비판에 대응했다. 의도적 성찰deliberate reflection은 연구자가 연구과정에 미치는 영향에 대한 관점을 제공하여 지식의 구축에 대한 연구자 자신의 공헌을 더욱 명확하게 한다. 연구자가 성찰로 얻은 통찰력으로 무엇을 해야 하는지가 토론의 주제다. 예를 들어, 코빈과 스트라우스(Corbin & Strauss 2008)는 근거이론 프로세스에 필수적인 반사성을 포함시키는 데 있어 구성주의의 힌트를 보여주지만, 반사성의 가치는 부분적으로 분석에 대한 개인적 편견이 침입하는 것에 대한 안전성을 제공하는 것이라는 것을 암시한다.
Some grounded theorists have responded to these critiques by emphasizing the importance of researcher reflexivity in the analytic process. Deliberate reflection provides perspective on the researcher's influence on the research process, making clearer his or her own contribution to the construction of knowledge. What the researcher should do with the insights gained from reflection is the subject of debate. Corbin and Strauss, for example, display hints of constructivism in enshrining reflexivity as essential to the grounded theory process, but imply that the value of reflexivity is, in part, in providing a safeguard against the intrusion of personal bias into the analysis (Corbin & Strauss2008).
[이론수립]이라는 과제에 접근하면서, [연구자가 자신의 관점을 인식하고 고의적으로 절제해야 한다는 이 관념]은 여전히 [실증주의적 전통을 강하게 반영]하고 있다는 지적을 받아 왔는데, 이는 연구자가 어떻게든 그 밖에 남아 있어야만 밝혀낼 수 있는 진실이 데이터 안에 존재한다는 것을 시사하기 때문이다. This notion that the researcher must recognize and then deliberately temper his or her perspective as they approach the task of theory-building has been criticized as still firmly reflective of a positivist tradition, as it suggests that there is a truth within the data that can only be revealed if the researcher remains somehow outside of it.
보다 확고하게 [구성주의자]나 [해석주의자]의 입장에서 말하는 사람들은 왜 이런 종류의 해석적 거리가 유용한지에 의문을 제기한다.
[구성주의 근거이론]은 데이터 분석과 개념화에 대한 반복적 접근법에 중점을 두지만, "해석적 이해와 위치적 지식"을 목표로 하는 궁극적인 이론-구축 목표를 재정의한다(Charmaz 2008, 페이지 133).
[구성주의 근거이론]은 반사성을 강조하지만, 이는 연구자의 역할, 연구 참여자의 역할, 지식 구조에서의 연구 상황과 과정을 인정하는 것이다(Charmaz 2008).
[구성주의 근거이론]의 기초가 되는 지식 창출에 대한 근본적인 가정의 변화를 고려할 때, 일부 해석학자들은 '근거 이론'이라는 용어가 왜 구성주의 패러다임에서 질적 연구를 수행하는 사람들에 의해 전혀 유지되는지 의문을 제기하였다(Thomas & James 2006).
Those speaking from a more firmly constructivist or interpretivist position ask why this kind of interpretive distance is useful.
Constructivist grounded theory retains the emphasis on an iterative approach to analyzing and conceptualizing data, but redefines the ultimate theory-construction goal to aim for “interpretive understanding and situated knowledge” (Charmaz2008, p.133).
Constructivist grounded theory stresses reflexivity, acknowledging the roles of the researcher, the research participants, and the research situation and process in knowledge construction (Charmaz2008).
Given the shift in fundamental assumptions about knowledge creation that underlie constructivist grounded theory, some interpretivists have questioned why the term ‘grounded theory’ is retained at all by those who undertake qualitative research in the constructivist paradigm (Thomas & James2006).
고전주의자들의 비판 Critiques from the classicists
바니 글레이저가 이끄는 [고전적 근거 이론의 지지자]들은, 그 방법을 정의하는 몇몇 중요한 원리들을 유지하지 못한 것에 대해, 근거 이론의 구성주의적 수정을 비판해 왔다.
특히 연구자 편향 문제는 데이터를 개념적 수준으로 끌어올리는 것을 확실히 하고, 일부 연구 참여자의 경험과 유사할 경우 연구자 자신의 경험을 다른 데이터와 비교해야 할 데이터로 처리함으로써 해결할 수 있는 문제로 제시된다.
글레이저는 차마즈 및 다른 구성주의자들의 연구가 합법적인 정성적 데이터 분석을 나타내지만, 정당한legitimate 근거 이론이 아니라고 주장한다(글레이저 2002).
그는 근거이론에서 정당성legitimacy은 지속적인 비교 접근법에 대한 신뢰와 고수에서 성장한다고 주장한다.
만약 연구자가 동일한 현상의 여러 사례를 주의 깊게 본다면, 연구자의 편향이 없어지고 데이터가 객관적으로 만들어질 것이라고 그는 주장한다.
그의 견해에 따르면, [정당한 근거 이론은 개념화에 관한 것]이고, 반면에 [구성주의적 수정은 그것의 연구 주체의 목소리와 서술에 초점을 맞추고 있어서, 더 이상 근거 이론이 아니다]. (Glaser 2002)
Led by Barney Glaser, adherents to classical grounded theory have criticized the constructivist modification of grounded theory for its failure to maintain some of the important principles that define the method. In particular, the issue of researcher bias is presented as a problem that can be resolved by ensuring that the data is raised to a conceptual level, and by treating the researcher's own experiences, if they are similar to those of some of the research participants, as data to be compared with other data. Glaser contends that the work of Charmaz and other constructivists represents legitimate qualitative data analysis, but not legitimate grounded theory (Glaser2002). He maintains that legitimacy, in grounded theory, grows out of trust in and adherence to the constant comparative approach. If, he contends, the researcher looks carefully at multiple cases of the same phenomenon, researcher bias will be eliminated and the data will be made objective. Legitimate grounded theory, in his view, is about conceptualization, while the constructivist modification is so focused on description and on representing the voice of its research subjects that it ceases to be grounded theory (Glaser2002).
위치 지정 Positioning ourselves
우리는 이러한 스펙트럼의 양쪽 끝에서 나온 비판을 근거이론 연구에 적합하고 활력을 주는 것으로 본다. 근거이론에 대한 구성주의적 접근법에 내재된 반사성의 정신에서, 우리는 구성주의적 질적 연구자로서 우리 자신의 위치를 인정한다. 목적적합성을 유지하기 위해 우리는 근거이론이 지식 창출에 대한 구성주의적 개념을 통합하도록 진화해야 한다고 믿는다. [연구자가 연구분야에 진입함에 있어 자신의 배경지식, 경험, 이론적인 성향 등을 한 쪽으로 밀쳐둔 채], [수동적이고 객관적인 관찰자 역할을 할 수 있다는 생각]은 시대에 뒤떨어지고 믿을 수 없는 것으로 보인다. We view these critiques from both ends of the spectrum as healthy and invigorating for grounded theory research. In the spirit of reflexivity that is inherent in the constructivist approach to grounded theory, we acknowledge our own position as constructivist qualitative researchers. In order to remain relevant we believe that grounded theory must evolve to incorporate constructivist notions of knowledge creation. To us, the idea that the researcher can set aside his or her own background knowledge, experience, and theoretical leanings on entering the research field and play the role of passive, objective observer seems outdated and implausible.
반면에, 우리는 근거이론이 탐구적이고 질적인 연구에 접근하기 위해 제공하는 원칙에는 많은 가치가 있다고 믿는다. 지식과 그것의 정교함에서 연구자의 역할에 대한 근본적인 가정에 대한 재고에 기초한 방법론적 진화는 이러한 유용한 원칙들을 포기해야 한다는 것을 의미하지는 않는다. Babchuk(1997)이 언급했듯이, 근거이론은 다양한 문헌에 걸쳐 질적 데이터 분석에 대한 다양한 스타일과 접근 방식을 포괄하는 우산umbrella 용어로 사용되어 왔다. 이같은 "뭐든 가능하다anything goes" 접근 방식은 근거이론 연구의 신뢰성과 관련성에 확실히 해롭다.
On the other hand, we believe there is much value in the principles grounded theory provides for approaching exploratory, qualitative research. Methodologic evolution based on reconsideration of underlying assumptions about knowledge and the role of the researcher in its elaboration does not mean that these useful principles should be abandoned. As Babchuk (1997) has noted, grounded theory has been used as an umbrella term for a wide variety of styles and approaches to qualitative data analysis across a range of literatures; this “anything goes” approach is surely harmful to the credibility and relevance of grounded theory research.
따라서 우리는 GT의 infromed use를 지지한다. 다만, 이 때 GT의 핵심 교리tenets을 유지함으로써 달성되는 rigor를 존중하되, GT가 처음 형성된 실증주의적 가정에 대해서는 지식 형성의 구성주의적 개념의 관점에서 다시 생각해 볼 필요가 있음을 인정해야 한다.
We therefore advocate for
an informed use of grounded theory,
combining respect for the rigour provided by maintaining its core tenets
with recognition that the positivist assumptions on which the method was built require rethinking in view of constructivist conceptions of knowledge creation.
근거이론연구자는 패러다임의 충실성, 배경, 데이터 수집에서의 역할, 주제 또는 연구 분야와의 관계에 대해 명시함으로써 독자들이 그들의 작품을 정보에 입각한 방식으로 사용할 수 있도록 도울 수 있다.
Grounded theory researchers can help readers to use their work in an informed way by being explicit about their paradigmatic allegiances, their background, their role in data collection, and their relationship to their subjects or to their field of study.
근거이론연구의 함정 Pitfalls in grounded theory research
해석 프로세스를 충분히 수행하지 않음 Not taking the interpretive process far enough
모든 근거이론 연구가 대담하고 계몽적인 새로운 이론을 만들어 낼 수 있는 것은 아니다. 그러나 일부 연구는 데이터의 "큰 그림"을 렌더링하기보다는 테마나 개념의 목록에 맞춰 시도하지 않는 것으로 만족한다(Kennedy & Lingard 2006). 다른 형태의 질적 조사와 비교했을 때, 근거이론은 연구자들이 그들의 노력을 지도할 수 있는 더 명확한 로드맵을 제공하는 것으로 보인다. 그러나 이러한 구조는 완전히 실현되지 않은 분석을 촉진할 수 있다. 데이터를 분류하고 분류할 수 있는 과정을 기술하는 것은 비교적 쉽지만, 해석적 기술과 창의성을 요구하는 이러한 범주에서 이론을 개발하는 후속 창조적 요소를 기술하는 것은 전혀 간단하지 않다.
Not all grounded theory studies can generate bold, enlightening new theories. However, some studies seem content not to try, settling instead for lists of themes or concepts, rather than a “big picture” rendering of their data (Kennedy & Lingard2006). Compared with other forms of qualitative inquiry, grounded theory seems on the surface to provide a clearer roadmap for researchers to guide their efforts. This very structure, however, might promote an analysis that is not fully realized. It is relatively easy to describe a process by which data can be classified and categorized, but not at all straightforward to describe the subsequent creative element of developing theory from these categorizations, which calls for interpretive skill and creativity.
GT에서 연구자는 겉으로 보여지는 규범적인 코딩 절차의 늪에 빠져 더 큰 목표를 놓치기 쉽다. 근거 이론 방법의 기술과 절차를 상당히 상세하게 설명한 줄리엣 코빈은 "분석 과정이 가장 우선적이고 최우선적으로 사고 과정"이라고 상기시키며, 이는 특정 절차를 따를 필요보다는 데이터와의 상호작용을 통해 얻어진 통찰에 의해 추진되어야 한다. (Corbin 2009, 페이지 41) 차르마즈는 연구자들이 연구 결과의 경계를 넓히고 '그래서 어쩌지so what?'라는 질문에 답할 것을 강력히 촉구한다.
It is easy for the researcher to become bogged down in the apparently prescriptive coding procedures and to lose sight of the larger goal. Juliet Corbin, who has described the techniques and procedures of the grounded theory method in considerable detail, reminds us that “the analytic process is first and foremost a thinking process” (Corbin2009, p.41) that should be driven by the insights gained through interaction with data rather than by a need to follow specific procedures. Charmaz helpfully urges researchers to push the boundaries of their findings and answer the ‘So what?’ questions (Charmaz2006, p.107).
설명할 수 없는 주장을 하는 것 Making unsupportable claims of explanation
근거이론 연구의 산물이 정말로 "이론"인지 여부에 대한 정당한 의문이 제기되었다. (토마스 & 제임스 2006) 토머스는 근거이론이 너무 많은 것을 약속한다고 비판해 왔다; 그의 주장에 따르면, 그 제품이 기술이나 이해가 아닌 "이론"이라는 주장은, 거의 존재하지 않는다고 설명하고 예측하는 힘을 시사한다. (토머스 & 제임스 2006) 사실, 근거이론가들은 그들의 분석으로부터 지지할 수 없는 주장을 하는 것을 경계해야 한다. 그러나 토마스나 제임스와는 달리, 우리는 이론 생성의 목표가 버려져야 한다고 생각하지 않는다. 왜냐하면 이것은 근거이론 작업과 다른 형태의 질적 연구를 구별하는 바로 이 목표이기 때문이다.
Legitimate questions have been raised about whether the product of grounded theory studies is really “theory” at all (Thomas & James2006). Thomas has criticized grounded theory for promising too much; its insistence that its product is “theory” rather than description or understanding suggests a power to explain and predict that, he argues, is rarely present (Thomas & James2006). Indeed, grounded theorists must guard against making unsupportable claims from their analyses. Unlike Thomas and James, however, we do not believe that the goal of theory generation should be abandoned, as it is this very goal that distinguishes grounded theory work from other forms of qualitative research.
차마즈(2006)는근거이론연구자들에게 설명explanation이라기보다는, "상상적 이해imaginative understanding"를 강조하는 이론의 해석적 정의를 추구할 것을 제안함으로써 이 문제를 해결한다. 마찬가지로 브라이언트(2002)는 설명하고 예측하는 힘으로 진실을 발견하거나 일반화할 수 있는 이론을 수립하는 [실증주의적 목표]보다는 특정 맥락과 목적에 대해 적절한 이해를 달성하려는 [구성주의적 목표]를 목표로 삼을 것을 제안한다.
Charmaz (2006) resolves this issue by suggesting that grounded theory researchers look to interpretive definitions of theory that emphasize “imaginative understanding” (p. 126) rather than explanation. Similarly, Bryant (2002) suggests targeting a constructivist goal of achieving adequate understanding for specified contexts and purposes, rather than a positivist goal of discovering truth or establishing generalizable theories with the power to explain and predict.
그러므로 GT 연구자들은 그들의 연구의 목표와 그들의 새로운 이론의 설명력의 한계에 대해 곰곰이 생각해 보아야 한다. 연구 결과의 일반화에 대한 과감한 주장은 의심으로 보아야 한다. 근거이론은 예를 들어, 개인이나 그룹이 직면하는 관련 관계, 프로세스에 대한 주요 영향 또는 도전을 식별할 수 있지만, 이러한 관계, 영향 또는 도전의 크기를 결정할 수는 있다. 이러한 결정을 내리려면 통계 샘플링과 관련된 완전히 다른 연구 접근법이 필요하며, 이는 뚜렷한 목표를 가지고 있다. 따라서 근거이론은 [(정량적 실험 방법을 포함한 다른 방법을 사용하여) 시험될 수 있는 가설을 생성]할 수 있지만, 근거이론은 그러한 [가설을 시험하기 위한 수단이 아니다].
Researchers should therefore reflect thoughtfully on the goals of their work and the limits of their emerging theory's explanatory power. Bold claims of generalizability of findings should be viewed with suspicion. Grounded theory might identify relevant relationships, key influences on a process, or challenges facing individuals or groups, for example, but cannot determine the magnitude of these relationships, influences, or challenges. Making such determinations would require an entirely different research approach, involving statistical sampling, with a distinctly different goal. Grounded theory might therefore generate hypotheses that could be tested using other methods, including quantitative, experimental methods, but grounded theory is not the vehicle for testing those hypotheses.
근거이론연구논란 Controversies in grounded theory research
문학고찰에 관한 논란 The literature review
연구자들이 가변적이고 종종 상충되는 조언을 접할 수 있는 한 영역은 근거이론 연구에서 문헌 검토의 장소이다. Dunne(2011)은 문헌 검토를 수행하는 것이 근거이론의 스펙트럼을 따라 모든 점에서 연구자들에 의해 적절하다고 생각한다는 점에 주목한다. 문헌고찰에 관한 논란은 문헌 검토의 시기에 있다.
예를 들어, 글레이저와 다른 사람들은 조기적이고 포괄적인 문헌 검토가 연구자의 분석 능력이 돌이킬 수 없을 정도로 약화될 선입견과 이론적 짐을 너무 부담한다는 이유로 데이터 수집 및 분석에 앞서 유의한 문헌 검토에 반대한다(글레이저 1992, 나타니).2006년).
다른 사람들은 사전 문헌 검토를 자제하는 것의 비효율성을 미리 언급했고, 문헌 검토가 초점을 날카롭게 하고 연구 질문을 개선함으로써 연구를 풍부하게 할 수 있는 가능성에 대해 언급하였다(Dunne 2011). 한 연구가 선행하는 연구로부터 논리적으로 따르는 프로그램적 연구에서는 연구자가 연구 분야에서 관련 문헌에 대한 친숙함을 증가시키는 것은 피할 수 없으며 사실상 프로그램을 진전시키는 새로운 연구 질문의 생성을 촉진할 것이다.
One area where researchers will encounter variable and often conflicting advice is the place of the literature review in grounded theory studies. Dunne (2011) notes that performing a literature review is considered appropriate by researchers at all points along the spectrum of grounded theory; the controversy lies in the suggested timing of that review. Glaser and others, for example, argue against a significant literature review in advance of data collection and analysis on the grounds that an early, comprehensive literature review will so burden the researcher with preconceived notions and theoretical baggage that his or her analytic capacity will be irretrievably weakened (Glaser1992, Nathaniel2006). Others have noted the inefficiency of abstinence from a literature review in advance, and have commented on the potential for the literature review to enrich the research by sharpening the focus and improving the research questions (Dunne2011). In programmatic research, where one study follows logically from one that precedes it, the researcher's growing familiarity with relevant literature in the area of research is unavoidable and in fact will facilitate the generation of compelling new research questions that advance the program.
흥미롭게도, 글레이저와 스트라우스조차 연구자들이 관련 데이터를 식별하고 그 데이터에서 중요한 테마를 추출할 수 있는 관점을 필요로 한다는 것을 인정했다. (글레이저 & 스트라우스 1967) 우리의 견해는 문헌 검토가 정확하게 이러한 관점을 제공하고 연구 질문을 형성하는데 필수적이라는 것이다. 그러나, 우리는 연구자들이 데이터와 그것이 포함하는 개념과 아이디어에 의도적으로 개방적인 태도를 유지하기를 경고한다. 근거이론가들의 스펙트럼 전반에 걸쳐, 데이터 분석에 대한 이러한 [초기 개방적인 접근법initial open-minded approach]이 널리 지지된다(Glaser & Strauss 1967; Charmaz 2006).
Interestingly, even Glaser and Strauss acknowledged that researchers require a perspective that allows the identification of relevant data and the abstraction of significant themes from that data (Glaser & Strauss1967). Our own view is that a literature review is indispensible in providing exactly this perspective and in shaping the research question. We caution researchers, however, to remain deliberately open-minded to the data and the concepts and ideas that it contains: across the spectrum of grounded theorists, this initial open-minded approach to data analysis is widely endorsed (Glaser & Strauss1967; Charmaz2006).
기존 이론의 통합에 관한 논란 The integration of existing theory
글레이저와 스트라우스는 연구자들에게 기존의 형식 이론에서 도출된 선입견을 이 분야로 끌어들이지 말라고 경고했지만(글레이저와 스트라우스 1967), 그들은 새로운 근거이론의 생성이 기존 이론과 완전히 분리되어 일어날 필요는 없다는 것을 인정했다. 그들의 목적은 열린 마음을 위한 명시적 노력의 중요성을 강조하는 것이었는데, 우리는 이것이 여전히 근거이론 연구의 중심이라고 믿는다. 열린 마음open-mindedness이 기존의 이론적 관점에 대한 지식과 친숙함과 공존할 수 있는가? 기존 이론이 분석 과정을 "오염"하지 않고 근거이론 연구에 통합될 수 있는가? 우리는 그것이 통합될 수 있고 통합되어야 한다고 믿지만, 기존 이론을 사용하는 접근 방식은 여전히 논쟁의 여지가 있다.
Although Glaser and Strauss cautioned researchers against bringing preconceived notions drawn from existing formal theories into the field (Glaser & Strauss1967), they acknowledged that the generation of new grounded theory need not occur in complete isolation from existing theory. Their aim was to highlight the importance of explicit efforts at open-mindedness, which we believe remain central to grounded theory research. Can open-mindedness co-exist with knowledge of and familiarity with existing theoretical perspectives? Can existing theory be integrated into grounded theory research without “contaminating” the analytic process? We believe that it can and should be integrated, but the approach to using existing theory remains controversial.
확실히 근거이론이 emerge하고 난 다음에, 기존의 이론적 프레임워크가 어떻게 데이터 해석을 보완하거나 확장하거나 어려운 데이터에 대한 대체 설명을 제공하는지를 고려하는 것이 적절하다. 실제로, 어떤 사람들은 연구자들이, 물론, 기존 이론들로부터 분리되어 행해진 근거이론 작업은, 이론이 축적되지 못할 위험non-cumulative이 있으며, 따라서 지식의 구축을 억제stifles한다는 비판이 있다. 이에 대한 부분적인 대응으로, 기존 이론의 자료에서 도출한 이론에 명백히 "근거ground"해야 한다고 제안했다. (골드컬 & 크론홀름 2003). 심지어 실증주의적인 경향을 가진 연구자들조차도 (근거이론의 개발이 기존의 이론적 틀에 강요되지만 않는다면), 새로운 근거이론과 기존 이론의 연결을 지지하는 경향이 있다.
Certainlyaftera grounded theory emerges, it is appropriate to consider how existing theoretical frameworks might complement or extend the data interpretation or offer alternate explanations for challenging data. Indeed, some have suggested that researchers should, as a matter of course, explicitly “ground” the theories they derive from data in existing theories, in part as a response to the criticism that grounded theory work done in isolation from existing theories risks non-cumulative theory development and thus stifles the building of knowledge (Goldkuhl & Cronholm2003). Even those researchers with positivist leanings tend to support the linking of emergent grounded theories with existing theories, provided that the timing of doing so is such that the very development of the grounded theory is not forced into a pre-existing theoretical framework.
그러나,구성주의자들은 [먼저 기존의 이론적인 제약에서 벗어나근거이론이 출현하도록 허용하고, 후에 그것을 풍부하게 하기 위해 관련 기존 이론을 통합하는] 이 개념은 인위적이고 비현실적이라고 주장한다. 구성주의자에게 연구자의 훈련 배경과 이론적 관점은 [데이터 내의 가능성과 프로세스에 대해 경각심을 갖게 하며, 관련성 있는 질문을 하도록 안내하는 데 중요한] 민감성 개념sensitizing concept을 제공할 수 있다(Charmaz 2006).
Constructivists would argue, however, that this notion of first allowing the grounded theory to emerge, free of existing theoretical constraints, and then only later integrating relevant existing theories to enrich it is artificial and impractical. To the constructivist, the researcher's disciplinary background and theoretical perspective may provide vital sensitizing concepts that alert them to possibilities and processes within their data and that guide them in asking relevant questions (Charmaz2006).
기존 이론을 어떻게 언제 근거이론 연구에 통합할 것인가에 대한 논란은 연구자뿐 아니라 자신의 작품을 읽고 검토할 사람들에게도 과제를 안겨준다. 근거이론을 사용하는 연구원들은 출판용으로 제출하는 원고에서 기존 이론의 사용에 기초한 잠재적 비판을 예측하고 해결하는 그들의 연구 방법에 대한 설명을 능숙하게 할 필요가 있다. [연구자가 데이터에 부과impose하는 것이 아니라], [코드와 범주가 데이터에서 나오는emerge] 신중하고 체계적인 코딩 프로세스를 명확하게 설명하면, 독자와 리뷰어는 연구자가 데이터에 대한 초기 접근에서 열린 마음을 가졌다는 것을 안심시킬 수 있다. 더욱이, 연구자들은 기존 이론에 대한 그림을 그리는 논리에 대해 논리를 제시해야 한다. 기존 이론을 사용하는 것은 제시된 데이터 분석의 맥락에서 "이치에 맞아야make sense" 한다.
Controversy around how and when to integrate existing theory in grounded theory research creates challenges not only for researchers but also for those who will read and review their work. Researchers using grounded theory need to be skillful in their descriptions of their research methods in manuscripts they submit for publication, anticipating and addressing potential critiques based on their use of existing theory. A clear description of a careful and methodical coding process in which codes and categories emerge from the data rather than being imposed on the data will reassure readers and reviewers that the researcher has been open-minded in their initial approach to their data. Furthermore, researchers should make the case for the logic of drawing on existing theories; the use of existing theory must “make sense” in the context of the data analysis that is presented.
컴퓨터 지원 데이터 분석 Computer-assisted data analysis
연구자들이 산더미 같은 데이터를 관리해야 하는 어려움에 직면하는 경우가 많기 때문에, 모든 유형의 질적 데이터 분석은 매우 어려울 수 있습니다. 점점 더 많은 컴퓨터 소프트웨어 프로그램들이 데이터 분석 과정을 용이하게 하기 위해 근거이론가들과 다른 질적 연구자들에 의해 사용되고 있다. 이 프로그램들은 연구자에게 많은 잠재적인 이점을 제공한다.
소프트웨어 패키지는 데이터를 코딩 카테고리와 하위 카테고리로 구성할 수 있고, 카테고리 간의 연결을 식별할 수 있으며, 카테고리를 메모 및 기타 관련 문서에 연결할 수 있습니다.
이 조직 시스템은 쉽게 검색할 수 있으므로 효율적인 데이터 관리가 가능하며 연구자가 분석을 작성하거나 제시할 때 핵심 개념을 지원해야 할 때 데이터 내의 보석을 쉽게 찾을 수 있습니다.
또한 데이터 분석 소프트웨어를 사용하면 수행된 분석 단계를 추적하는 감사 추적을 제공할 수 있습니다.
Qualitative data analysis of any type can be daunting, as researchers often face the challenge of managing mountains of data. Increasingly, computer software programs are being used by grounded theorists and other qualitative researchers to facilitate the process of data analysis. These programs offer many potential advantages to the researcher. Software packages can allow organization of data into coding categories and subcategories, can identify links between categories, and can link categories to memos and other relevant documents. This organizational system is readily searchable, allowing efficient data management and ensuring that gems within the data are readily found when the researcher needs to support core concepts as they write up or present their analysis. The use of data analysis software also can provide an audit trail that tracks the analytic steps that were taken.
컴퓨터 보조 데이터 분석은 엄격한 데이터 분석 방법을 대체하는 것이 아니며, "N-Vivo를 사용하여 데이터를 분석했다"와 같은 용어로 기술된 근거이론을 사용하는 것을 지지하는 연구는 의심스럽게 보아야 한다(Jones & Diment 2010). 데이터 분석을 안내하는 원칙을 제공하는 것은 소프트웨어 패키지가 아니라 근거 이론grounded theory입니다. 컴퓨터는 연구자가 분석에 철저하고 효율적일 수 있도록 지원하는 도구일 뿐이다. 연구자는 여전히 데이터를 해석하고, 떠오르는 개념을 인식하고, 개념과 범주가 서로 어떻게 관련되는지 묻고, 분석을 이론 개발을 촉진하는 추상적인 수준으로 밀어넣어야 한다. 이론 개발에 있어 연구자가 요구하는 창의성은 컴퓨터에 의해 제공될 수 없다(Becker 1993). 그러나 소프트웨어 패키지는 연구자가 다양한 방법으로 데이터를 시각적으로 탐색할 수 있는 기회를 제공할 수 있으며, 전략적으로 사용될 경우 창의적인 사고를 촉진하고 분석 프로세스를 향상시키는 통찰력의 출현을 자극할 수 있다(Bringer et al. 2006).
Computer assisted data analysis is not a substitute for a rigorous method of data analysis, and studies purporting to use grounded theory whose methods are described in terms such as “Data were analyzed using N-Vivo” should be viewed with suspicion (Jones & Diment2010). It is grounded theory, and not the software package, that provides the principles that guide the data analysis. The computer is merely a tool that can support the researcher in being both thorough and efficient in the analysis. The researcher still must interpret the data, recognize emerging concepts, ask how concepts and categories relate to one another, and push the analysis to an abstract level that promotes theory development. The creativity required of the researcher in developing theory cannot be provided by a computer (Becker1993). However, software packages can provide opportunities for researchers to explore their data visually in a variety of ways, which when used strategically may foster creative thinking and stimulate the emergence of insights that enhance the analytic process (Bringer et al.2006).
단독 분석 대 협업 분석 Solo analysis versus collaborative analysis
많은 근거이론 작업은 마치 컴퓨터 위에 매달려 있는 단일 연구자에 의해 분석이 완전히 수행되거나 데이터에 대한 어떤 감각이 만들어질 수 있을 때까지 테이블 위의 문서 더미를 살펴보는 것처럼 묘사된다. 실제로, 뛰어난 근거이론 연구는 단독 연구자들에 의해 수행될 수 있다. 방법 그 자체만 본다면, 반드시 연구자들 간의 협업을 필요로 하는 것은 없다. 데이터를 단독으로 작업하는 연구자들은 연구 영역에 대한 위치 및 관점에 대해 특히 반성하고, 그러한 관점이 분석과 이론 구성에 어떤 영향을 미치는지 인식하고 설명해야 한다. Much grounded theory work is described as if the analysis is done entirely by a single researcher, hunched over a computer or sifting through piles of documents on a table until some sense can be made of the data. Indeed, outstanding grounded theory work can be done by solo researchers; there is nothing in the method that requires collaboration among researchers. Researchers working alone with their data must be particularly reflective about their position and perspective relative to the area of study, recognizing and accounting for how that perspective influences their analysis and their theory construction.
우리는 협력적으로 일하는 것이 분석 과정을 크게 향상시킬 수 있다는 것을 발견했다. 전체 과정이 그룹 차원의 노력이 될 필요는 없지만, 공동작업자의 전략적 활용이 고도로 생산적이고 조명적일 수 있는 연구 과정에서 핵심 포인트가 있다.
초기 코딩 단계 동안, 두 명 또는 세 명의 연구자가 동일한 데이터를 독립적으로 검사하고 데이터를 코드에서 나오는 것으로 인식하는 테마에 대해 데이터를 코드화하는 것이 도움이 될 수 있다.
공동작업자가 만나서 그들이 고안한 데이터와 코드에 대한 초기 인상을 논의함에 따라, 의견 불일치가 방송되고 합의가 이루어짐에 따라 보다 강력한 코딩 체계가 나타날 수 있다.
따라서 지속적 비교constant comparison 과정은 데이터뿐만 아니라 데이터에 대한 서로 다른 인식과 reading 간의 비교를 포함하도록 확장된다.
또한 공동작업은 초기 코딩이 완료된 후 연구자가 해석 수준을 범주에서 개념으로, 구체적인 것에서 추상적인 것까지 올려야 하는 중요한 단계에서 가치가 있을 수 있다.
우리는 종종 이 단계에서 협력자를 불러서 하나 이상의 범주의 요소를 해석적 수준에서 논의한다. 이러한 논의는 항상 분석적 사고를 개념적 수준으로 높이는 데 도움이 됩니다. 데이터 내에서 확인된 프로세스의 이유why, 방법how, 그리고 so what이 서로 다른 관점에서 검토되기 때문입니다.
새로운 개념에 대한 협력적 논의는 또한 연구자에게 이러한 개념이 목표 대상자에게 어떻게 반향을 일으킬 수 있는지, 또는 연구의 전체 이야기에서 어떤 개념이 가장 중심적이거나 설득력 있는지에 대한 유용한 관점을 제공할 수 있다.
We have found that working collaboratively can enhance the analytic process significantly. The entire process need not be a group effort, but there are key points in the course of the research where strategic use of collaborators can be highly productive and illuminating. During the phase of initial coding, it can be helpful to have two or three researchers examine the same data independently and code the data for the themes that they perceive as emerging from it. As collaborators meet to discuss their initial impressions of the data and the codes they have devised, a more robust coding scheme can emerge as disagreements are aired and consensus is reached. The process of constant comparison is thus expanded to include comparisons not only among the data but among different perceptions and readings of the data. Collaboration may also be valuable after the initial coding is complete, at the critical stage where the researcher needs to raise the interpretive level from the concrete to the abstract – from categories to concepts. We often bring in collaborators at this stage to discuss the elements of one or more categories at an interpretive level. These discussions invariably assist in raising the analytic thinking to a conceptual level, as thewhy,how,andso whatof the processes identified within the data are examined from different perspectives. Collaborative discussions of emerging concepts can also provide the researcher with a useful perspective on how these concepts might resonate with their target audience, or on which concepts are the most central or compelling in the overall story of the research.
협동은 근거이론가의 반사성을 대체하는 것이 아니다. 그러나 서로 다른 관점을 가진 동료와의 의도적인 협업은 분석 프로세스에서 데이터의 균형 잡힌 렌더링을 보장하는 데 도움이 될 수 있습니다. 다른 배경을 가진 동료들은 연구자가 자신의 학문적 상자displinary box를 넘어서 생각하도록 push할 수도 있고, 또는 그 이론이 주로 자신의 배경과 관점에 의해 형성되도록 하기보다는 데이터에서 그들의 이론 개발을 확고하게 뒷받침할 것을 상기시킬 필요가 있는 연구자를 구속할 수도 있다.
Collaboration is not a substitute for reflexivity for the grounded theorist. However, deliberate collaboration with colleagues with distinctly different perspectives can help to ensure a balanced rendering of the data in the analytic process. Colleagues from different backgrounds can push the researcher to think beyond their own disciplinary box, or rein in the researcher who needs reminding to ground their theory development firmly in the data rather than allowing that theory to be shaped primarily by their own background and perspective.
근거이론 연구의 품질 기준 Quality criteria for grounded theory research
근거이론 연구를 수행하는 절차는 고도로 구조화되어 있지만, 근거이론 연구의 품질을 평가해야 하는 기준은 명확하지 않다. 연구자와 독자 모두가 연구의 품질을 평가하기 위한 명확한 지침을 참조할 수 있는 생물 의학 연구를 지배하는 정량적 연구 전략에 비해, 근거이론 작업을 판단하는 기준은 모호하고 해석하기 어려워 보일 수 있다. 그럼에도 불구하고, 많은 저자들이 근거이론 연구를 평가하기 위한 기준을 제안했고, 이러한 기준 중 일부를 간략하게 검토하는 것이 유용하다. Although the procedures for carrying out grounded theory research are highly structured, the criteria on which the quality of a grounded theory study should be evaluated are less clear. Relative to the quantitative research strategies that dominate biomedical research, where researchers and readers alike can refer to clear guidelines for appraising the quality of a piece of research, the criteria for judging grounded theory work can seem vague and challenging to interpret. Nonetheless, a number of authors have suggested criteria for evaluating grounded theory studies, and a brief examination of some of these criteria is useful.
글레이저와 스트라우스는, 그들의 기초 이론 방법에 대한 원래 설명에서, 근거이론은 다음을 갖춰야 한다고 제안했다.
쉽게 이해할 수 있어야 한다.
적용 대상인 실질적인 영역에 "적합"해야 한다.
다양한 일상 상황에 적용할 수 있을 만큼 충분히 일반적이어야 한다.
사용자가 상황 변화를 가져올 수 있을 만큼 충분한 통제 권한을 제공해야 한다.
Glaser and Strauss, in their original description of the grounded theory method, suggested that a grounded theory needed
to be readily understandable,
to “fit” the substantive area to which it was applied,
to be sufficiently general to be applied to a variety of diverse daily situations, and
to provide the user with sufficient control to bring about change in situations.
그들에게는근거이론이 연구된 분야에 유용하고 적용 가능해야 했다. (글레이저 & 스트라우스 1967) 코빈과 스트라우스는 또한 "적합fit"의 중요성을 강조했는데, 이는 이 발견이 연구가 의도된 전문가와 연구에 참여한 참가자, 그리고 적용가능성 또는 유용성 모두에게 반향을 불러일으킨다는 것을 암시한다. 그들은 개념의 개발 및 상황화, 논리, 깊이, 변화, 창의성, 민감성, 메모의 증거 등 많은 다른 품질 기준을 추가했다(Corbin & Strauss 2008). 이 마지막 기준(memo)은 글레이저와 스트라우스에 의해 강조된 투명한 과정의 중요성을 말해준다. 연구자는 데이터로부터 어떻게 이론을 도출했는지 입증할 수 있어야 한다. 메모는 분석 과정을 설명하고 "인상주의적impressionistic" 이론 개발의 감각을 경계한다(Glaser & Straus 1967).
Grounded theory, to them, needed to be useful and applicable to the area studied (Glaser & Strauss1967). Corbin and Strauss also stressed the importance of “fit”, which implies that the findings resonate with both the professionals for whom the research was intended and the participants who took part in the study, as well as applicability or usefulness. They added a number of other quality criteria, including the development and contextualization of concepts, logic, depth, variation, creativity, sensitivity, and evidence of memos (Corbin & Strauss2008). This last criterion speaks to the importance of a transparent process, also highlighted by Glaser and Strauss. The researcher should be able to demonstrate how they derived theory from data; memos elucidate the process of analysis and guard against the sense of “impressionistic” theory development (Glaser & Strauss1967).
차르마즈(2006)는 근거이론 연구를 평가하기 위한 4가지 핵심 기준인 신뢰도, 독창성, 공명, 유용성을 제시했다.
신뢰성은 데이터 수집의 깊이와 범위가 분석적 주장을 뒷받침하기에 충분하다는 것을 의미한다. 신뢰성은 또한 나타나는 인수가 논리적이고 데이터에 명확하게 연결되도록 보장하는 체계적인 비교 프로세스에 따라 달라집니다.
독창성은 연구가 새로운 통찰력, 신선한 개념적 이해를 제공하고 이론적으로나 사회적으로 중요한 분석을 제공한다는 것을 암시한다.
공명resonance은 근거이론이 참가자들에게 이치에 맞으며 그들의 경험의 본질과 충만함을 포착한다는 것을 암시한다.
유용성은 연구 대상 세계에 거주하는 개인이 일상 상황에서 사용할 수 있는 해석을 의미한다(Charmaz 2005, 2006).
매우 다른 패러다임의 관점에서 근거이론에 접근하는 개인에 의해 개발되었음에도 불구하고, 이러한 기준에서 상당한 중복을 인식할 수 있다. 이러한 기준은 근거이론 작업의 품질을 조사하기 위한 접근법으로 독자와 연구자를 모두 무장시킬 수 있다.
Charmaz (2006) has suggested her own set of four key criteria for evaluating grounded theory studies: credibility, originality, resonance, and usefulness.
Credibility implies that the depth and range of data collection is sufficient to support the analytic claims made. Credibility also depends on a systematic process of comparisons that ensures that the argument that emerges is logical and linked clearly to the data.
Originality implies that the research offers new insights, fresh conceptual understandings, and that the analysis is theoretically or socially significant.
Resonance implies that the grounded theory makes sense to the participants and captures the essence and fullness of their experience.
Usefulness implies interpretations that can be used in day-to-day situations by individuals who inhabit the world under study (Charmaz2005,2006).
One can appreciate considerable overlap in these criteria, even though they were developed by individuals who approach grounded theory from very different paradigmatic perspectives. These criteria can arm readers and researchers alike with an approach to interrogating the quality of grounded theory work.
결론 Conclusion
질적 연구 방법론 중에서, 근거이론은 의학 교육자들이 가장 쉽게 접근할 수 있다. 의학교육자라는 청중에게 근거이론의 매력은 그것의 객관주의적 기원과 관련이 있을 수 있는데, 이것은 실험적인 연구 방법에 익숙한 사람들에게 친숙하고 편안해 보일 수 있다. 근거이론은 그것의 시작 이후 상당한 진화를 거쳤고, 점점 더 구성주의적 패러다임과 더 최근에는 포스트모던 지향성을 통합했다.
Among qualitative research methodologies, grounded theory may be the most accessible to medical educators. The appeal of grounded theory to this audience might relate to its objectivist origins, which may seem familiar and comfortable to those accustomed to experimental research methods. Grounded theory has undergone considerable evolution since its inception, increasingly incorporating constructivist paradigms, and, more recently, postmodern orientations.
Med Teach.2012;34(10):850-61. doi: 10.3109/0142159X.2012.704439.Epub 2012 Aug 22.
Grounded theory in medical education research: AMEE Guide No. 70
Qualitative research in general and the grounded theory approach in particular, have become increasingly prominent in medical education research in recent years. In this Guide, we first provide a historical perspective on the origin and evolution of grounded theory. We then outline the principles underlying the grounded theory approach and the procedures for doing a grounded theory study, illustrating these elements with real examples. Next, we address key critiques of grounded theory, which continue to shape how the method is perceived and used. Finally, pitfalls and controversies in grounded theory research are examined to provide a balanced view of both the potential and the challenges of this approach. This Guide aims to assist researchers new to grounded theory to approach their studies in a disciplined and rigorous fashion, to challenge experienced researchers to reflect on their assumptions, and to arm readers of medical education research with an approach to critically appraising the quality of grounded theory studies.
Medical Education in the United States and Canada, 2020 Katherine S. McOwen, MSEd, Alison J. Whelan, MD, and Anne L. Farmakidis, MPS
2000년 9월, 그리고 2010년 9월, 의학 교육의 스냅숏을 제시하는 학술 의학 부록이 출판되었다. 이 보충제는 세기가 바뀔 무렵에 학부 의학 교육(UME)에 대한 2개의 간단한 창구 역할을 했으며, 10년 후에는 미국과 캐나다의 다양한 의료 교육 모델을 강조하여 다음과 같이 설명하였다. 앤더슨과 Kanter1이 2010년 부록에 소개한 바와 같이, "Flexner 보고서 발표 이후 초기 개혁 이후 거의 변화가 없었다는 주장에 반박합니다."우리는 여기에 UME에 대한 세 번째 간단한 창을 제공하면서도, 새로운 의과대학과 기존 의과대학이 지난 10년간의 도전과 기회에 마주치고 반응하는 매우 다른 환경을 강조하면서, 동일한 목표를 가진 새로운 보충 자료를 제시한다.
In September 2000 and again in September 2010, a supplement to Academic Medicine was published presenting snapshots of medical education. The supplements served as 2 brief windows into undergraduate medical education (UME) at the turn of the century and a decade later, highlighting the wide variety of models of medical education in the United States and Canada to, as Anderson and Kanter1 put it in their introduction to the 2010 supplement, “refute the claim that little has changed since the initial reforms that followed the publication of the Flexner Report.” We present here a new supplement with the same goal, offering a third brief window into UME, yet highlighting a vastly different landscape for new and existing medical schools alike encountering and reacting to the challenges and opportunities of the last decade.
2010년에는 128개 학교가 보충에 참여했고, 올해는 새로운 학교가 확산되면서 171개 인가된 의과대학이 훌륭하게 표현된 145개의 스냅사진을 공유하게 되어 기쁘게 생각한다.
In 2010, 128 schools participated in the supplement, and this year, with a proliferation of new schools, we are pleased to share 145 snapshots, a wonderful representation of the 171 accredited medical schools at the time.
이 부록의 작성 과정 The Process of Creating This Supplement
2019년 9월, 미국과 캐나다의 의료교육 연락위원회가 인가한 각 의대 의대 의대 고위 간부들에게 2020년 부록 참여 초청장을 발송했다. In September 2019, medical education senior leaders at each medical school accredited by the Liaison Committee on Medical Education in the United States and Canada were sent an invitation to participate in the 2020 supplement.
학교 보고서 개요 Overview of the School Reports
각 학교의 의료 교육 프로그램의 주요 내용 Highlights of each school’s medical education program
우리는 저자들이 광범위한 독자와 공유하기 위해 가장 중요하다고 생각하는 내용을 바탕으로 포함에 대한 결정을 내리도록 요청했다. 학교들은 다양한 커리큘럼, 학생, 교수진 관련 포인트로 대응해 왔다. We asked authors to make decisions about inclusion based on what they feel is most important to share with a broad audience of readers. Schools have responded with a wide variety of curriculum-, student-, and faculty-related points.
커리큘럼 설명 Curriculum description
독자들은 저자들이 상세한 도표, 서술형 설명, 글머리표 목록 등 다양한 형식으로 커리큘럼의 세부사항을 공유하기로 선택했다는 사실에 주목하게 될 것이다. 커리큘럼 모델의 다양성은 명백하지만, 많은 또는 심지어 대부분의 학교가 커리큘럼, 교육학적 모델 및 평가 프레임워크를 설명하는 몇 가지 주목할 만한 방법이 있다. Readers will note that authors have chosen to share details of their curricula in a variety of formats, including detailed charts, narrative descriptions, and bulleted lists. While the diversity of curricular models is apparent, there are several notable ways in which many or even most schools describe their curricula, pedagogical models, and assessment frameworks.
조기 임상 경험: 학교는 더 통합된 기초 과학과 임상 콘텐츠를 통합한 더 짧은 전임상preclinical 시간으로 가는 움직임을 설명한다. 학생들은 의과대학 교육에서 종종 일찍 또는 훨씬 더 일찍 임상적 만남을 경험한다.
전문직업성, 준비성 및 웰빙에 중점을 둔 새로운 콘텐츠 영역: 학교에서는 사회 및 행동 건강, 건강, 직업 정체성 형성, 인구 건강, 시험 준비 및 거주 준비에 중점을 둔 새로운 콘텐츠 영역을 설명합니다.
역량 기반 의료 교육의 지속적인 확대: 학교는 3가지 프레임워크 중 1가지 프레임워크: 대학원 의학 교육 핵심 역량 인증 위원회, 2가지 CanMED 프레임워크, 3가지 또는 의사 역량 참조 세트 프레임워크로 학습 목표를 설명한다.4
변경된 평가 환경: 평가는 형성적으로, 그리고 종종 동료 평가자와 의료팀의 다른 구성원을 평가자로 통합한다. 학교는 학생들이 저부담 형성 평가 모델뿐만 아니라 고부담 총괄 모델로 평가될 수 있는 더 많은 기회를 설명한다. 또한 학교는 기준을 참조하는 역량 기반 평가 모델을 설명한다.
Earlier clinical encounters:Schools describe a move toward shorter preclinical time incorporating more integrated basic science and clinical content. Students often experience clinical encounters early or even much earlier in their medical school education.
New content areas focusing on professionalism, preparedness, and wellness:Schools describe new content areas focused on social and behavioral health, wellness, professional identity formation, population health, exam preparation, and preparation for residency.
Continued expansion of competency-based medical education:Schools describe their learning objectives in 1 of 3 frameworks: the Accreditation Council for Graduate Medical Education core competencies,2the CanMEDS framework,3or the Physician Competency Reference Set framework.4
Altered assessment landscape:Assessment has changed in format and often in assessor, with schools incorporating peer assessors and other members of the health care team. Schools describe more opportunities for students to be assessed in low-stakes formative assessment models as well as high-stakes summative models. Schools also describe competency-based assessment models that are criterion referenced.
학교에서 표현하는 공통 과제는 [다수의 임상 실습기관으로의 학습 분산]과 [교수진에 의한 광범위한 임상실습장소의 학습 품질 평가]에서 생기는 어려움에 초점을 맞춘다. 일부 학교들은 또한 점점 더 경쟁이 치열해지는 임상 학습 사이트에서 학생들을 가르치는 데 필요한 시간과 경험을 갖춘 교수진을 찾아야 하는 과제를 안고 있다.
A common challenge expressed by schools focuses on the dispersion of learning to many clinical sites and the difficulty of assessing the quality of learning in a wide variety of sites by faculty. Some schools also share the challenge of finding faculty with the time and experience necessary to teach students in an increasingly competitive environment for clinical learning sites.
교육 거버넌스 Curricular governance
예상한 바와 같이, 교육과정 위원회나 협의회는 종종 위원회에서 다른 역할을 하는 다른 교직원으로 구성되지만, 대부분의 학교는 교육에 대한 일관된 감독을 제공하는 [중앙 집중식 공유 커리큘럼 거버넌스 모델]을 설명한다. 때때로 이 중앙집중화된 구조는 GME의 대표자를 포함하지만, 위원회는 항상 UME 커리큘럼의 설계와 실행을 지원하는 방식으로 구성된다. 일반적으로 기초과학과 임상과학은 서로 다른 분과위원회에서 다루며, 다른 분과위원회는 기관에 대한 평가나 그 밖의 중요 우선순위를 다룰 수 있다. 지역 캠퍼스에서 지원되는 것과 메인 캠퍼스에서 지원되는 것은 학교마다 크게 다르지만, 커리큘럼 위원회는 모든 교육 현장에서 교육 프로그램을 궁극적으로 책임진다. 표시되는 모델의 다양성에 대한 이해를 높이기 위해 제공된 경우 커리큘럼 거버넌스 수치를 검토할 것을 강력히 권고한다.
As expected, most, if not all, schools describe a centralized shared curricular governance model providing consistent oversight of education, although curriculum committees or councils are often composed of a different set of faculty members with different roles on the committees. While at times this centralized structure includes representation from graduate medical education, the committees are always structured in such a way as to support the design and implementation of the undergraduate medical curriculum. Typically, basic sciences and clinical sciences are handled by different subcommittees, and other subcommittees may address assessment or other priorities of importance to the institution. The curriculum committee is always ultimately responsible for the educational program at all educational sites, although what is supported on regional campuses and what is supported on the main campus vary significantly from school to school. We strongly recommend reviewing the curricular governance figures, when provided, for a richer understanding of the variety of models displayed.
교육인원 Education staff
어떤 때는 사무실로 조직되고 어떤 때는 부서로 조직되어, 교육 담당자들은 일반적으로 [교육 감독, 학생 평가, 그리고 프로그램 평가]를 포함하여, 의과대학 입학에서 졸업까지의 모든 교육 프로그램의 모든 측면을 책임진다.
의학교육실은 종종 의과대학의 다른 곳에서도 부서별 제휴를 맺고 있는 직원들과 행정학자들의 혼합으로 구성되어 있다.
일부 학교는 입학, 학생부, 등록/기록부 및 조언과 같은 학생 지원의 모든 측면을 자신의 사무실 또는 과에 통합하며,
다른 학교들은 사무실 또는 부서의 산하에 교수 개발 및 교수 업무를 통합한다.
또한 일부 학교에는 교육과정, 등록, 평가, 조언 등을 지원하는 정보기술(IT) 인력 등 기술지원 서비스도 포함된다.
몇몇 학교에는 연구지원실, 도서관, 다양성 및 포함 사무실, 협동 학위 프로그램, 의학교육 연구가 포함된다.
이러한 조직 단위의 리더는 다양한 직함을 가지고 있지만, 일반적으로 부학장 또는 선임 부학장입니다.
At times organized as an office and at times structured as a department, the education staff of schools typically are responsible for all aspects of the educational program from medical school entry to graduation, including curricular oversight, student assessment, and program evaluation. The offices consist of a mix of staff and administrative faculty who often have departmental affiliations elsewhere in the medical school as well. Some schools incorporate into their office or department of medical education all aspects of student support, such as admissions, student affairs, registration/records, and advising; other schools incorporate faculty development and faculty affairs under the umbrella of the office or department of medical education. Also included in some but not all schools are technical support services such as the information technology staff who support curriculum, registration, assessment, and advising. A few schools include the grants office, library, diversity and inclusion office, combined degree programs, and medical education research. The leaders of these organizational units have a variety of titles, but they are typically vice deans or senior associate deans.
교육분야의 교수진육성 및 지원 Faculty development and support in education
비록 대부분의 학교가 교수진과 다른 사람들을 포함한 다양한 교사들의 대면 및 가상 학습 기회를 모두 보고하지만, 교수개발은 여러 형태를 취한다.
지역 캠퍼스가 있는 학교들은 먼 곳의 교사를 지원하기 위한 지역 프로그램이나 여행 프로그램을 종종 주최해 왔다.
몇몇 학교들은 그들의 교육자를 지원하기 위한 학습 아카데미, 점심과 학습lunch and learn, 저널 클럽, 의학 교육 펠로우쉽, 그리고 자격증 프로그램을 설명한다.
주제는 교직, 멘토링, 커리큘럼, 평가 및 평가를 위한 질문 작성과 같은 교육에 중점을 두는 경향이 있지만, 종종 리더십과 다양성 그리고 편견 훈련을 포함한 포함과 같은 다른 영역도 설명된다.
승진 및 테뉴어 과정을 기술하기로 선택한 학교의 경우, 교육 평가는 임상 및 행정 서비스 및 연구에 대한 데이터와 함께 거의 항상 승진 및 테뉴어 포트폴리오에 포함된다.
Faculty development takes many forms, although most schools report both face-to-face and virtual learning opportunities for a variety of teachers including faculty and others. Schools with regional campuses often have regionally hosted programs or traveling programs to support distant teachers. Some schools describe learning academies to support their educators, as well as lunch and learns, journal clubs, medical education fellowships, and certificate programs. Topics tend to be focused on education such as teaching, mentoring, curriculum, assessment, and question writing for assessments; however, other areas are often described as well, such as leadership and diversity and inclusion, including bias training. For schools choosing to describe their promotion and tenure process, teaching evaluations are almost always included in promotion and tenure portfolios along with data about clinical and administrative service and research.
지역 의료 캠퍼스 Regional medical campuses
학교들은 1에서 15개의 지역 의료 캠퍼스(RMC)를 포함하는 많은 멀티캠퍼스 학교를 포함하여 많은 [분산 의료 교육 모델]을 보고한다.
학교들은 그들의 캠퍼스에 대한 설명과, 때로는 그들의 모델이 된 이유에 대한 설명을 제공하며, 이것은 종종 주state의 의학적으로 서비스가 부족한 지역에 대한 서비스에 초점을 맞춘다.
RMC는 1년 교육에서 4년 전체까지의 어느 곳에서든 제공할 수 있으며, 많은 학교의 RMC 모델은 2년의 기초과학과 본 캠퍼스의 임상 의학 도입으로 구성되며, 그 다음으로는 최대 2년의 RMC의 임상 교육이 뒤따른다.
메인 캠퍼스와 RMC 교육 프로그램 사이의 일관성을 보장하는 것은 각 학교에 있어 어려운 과제이지만, 그들은 효과적인 모델의 증거를 제공하기 위해 데이터 중심적인 방법에 의지한다. 궁극적으로, 학교들은 RMC를 위한 성공의 열쇠로 모든 교육 기관의 리더십, 교수진 및 학생들 사이의 의사소통을 설명한다.
Schools report a number of models of distributed medical education, including many multicampus schools encompassing from 1 to as many as 15 regional medical campuses (RMCs). The schools offer descriptions of their campuses and, sometimes, the reasons for their model, which often is focused on service to the state’s medically underserved areas. RMCs might offer anywhere from just 1 year of education up to the full 4 years, with many schools’ RMC models consisting of 2 years of basic sciences and introduction to clinical medicine at the main campus followed by up to 2 years of clinical education at an RMC. Ensuring consistency between main campus and RMC educational programs is a challenge for each school, but they turn to data-driven methods to provide evidence of their effective models. Ultimately, the schools describe communication between leadership, faculty, and students at all of the institutions’ educational sites as the key to success for RMCs.
진행 중인 이니셔티브 Initiatives in progress
학교 저자들에게 제안된 형식을 소개할 때, 우리는 많은 학교들이 현재 증가하고 있지만 아직 완전히 시행되지는 않은 몇몇 새로운 이니셔티브를 포함하기를 원한다는 피드백을 받았다. 학교들은 그들의 새로운 계획을 설명하는 데 열성적이었다.
몇몇 흥미로운 예들은 인공지능과 빅데이터를 포함한다.
많은 학교들이 웰빙 이니셔티브를 설명하고 있는데, 때로는 학생들을 위해 그리고 때로는 의과대학 전체를 대상으로 한다.
다른 학교들은 EPA 프레임워크를 포함한 일부 역량 기반 의료 교육 모델을 시행할 계획을 공유하고 있다.
일부 학교는 매치 이후 [전공의로의 전환]을 서포트하는 것을 데이터 인계 및 전공의 준비 부트 캠프의 형태로 설명합니다.
When introducing the suggested format to school authors, we received feedback that many schools would like to include some new initiatives currently ramping up but not fully implemented yet. Schools have been enthusiastic about describing their new initiatives. Some interesting examples involve artificial intelligence and big data. Many schools describe wellness initiatives, sometimes for students and sometimes for the entire medical school. Other schools share plans to implement some model of competency-based medical education including entrustable professional activities frameworks. A few schools describe transition to residency support in the form of data handovers after match and residency preparation boot camps.
결론 Conclusion
Acad Med.2020 Sep;95(9S A Snapshot of Medical Student Education in the United States and Canada: Reports From 145 Schools):S2-S4.
doi: 10.1097/ACM.0000000000003497.
Medical Education in the United States and Canada, 2020
1K.S. McOwen is senior director, Educational Affairs, Association of American Medical Colleges, Washington, DC. A.J. Whelan is chief medical education officer, Association of American Medical Colleges, Washington, DC. A.L. Farmakidis is senior director, Education Resources and Scholarship, Association of American Medical Colleges, Washington, DC.
For the third time this century, the Association of American Medical Colleges has coordinated a collection of reports from their member medical schools that collectively reflect the state of medical education in the United States and Canada. This introduction to the September 2020 supplement to Academic Medicine provides an overview of the collection, with 145 out of 171 eligible medical schools participating in the project. The authors observe trends and similarities across the reports from participating schools, structuring the introduction to mirror the main questions posed to the schools: highlights of each school's medical education program, curriculum description, curricular governance, education staff, faculty development and support in medical education, regional medical campuses, and initiatives in progress. Key findings from the authors include expansion of student enrichment tracks, early clinical encounters, focus on wellness, expansion in competency-based medical education, and continued evolution of approaches to assessment. The authors note that this supplement was produced before COVID-19, and although it robustly chronicles the prepandemic state of medical education, medical education has already evolved and will continue to do so. This view offers important opportunities to observe and study changes in the curricula.
Medical Education in the United States and Canada, 2010 M. Brownell Anderson and Steven L. Kanter, MD
이 솔루션은 현재와 가까운 미래, 즉 기껏해야 한 세대에 대해서만 다룹니다. 향후 30년 동안, 필요성은 우리가 고려하지 않는 것으로 발전될 것이다.1(p143) This solution deals only with the present and the near future—a generation, at most. In the course of the next thirty years, needs will develop of which we here take no account.1(p143) 2000년 9월, 많은 의대 교수진의 기여와 AAMC의 지원 덕분에, 학술 의학에 대한 부록인 "21세기 초 의대 교육의 스냅숏"이 출판되었다. In September 2000, thanks to the contributions of many medical school faculty and the support of the AAMC, a supplement to Academic Medicine was published, “Snapshots of Medical Education at the Beginning of the 21st Century.”
2000년 부록은 확실히 그 주장을 잠재웠고 또한 유용한 참고 자료로 작용했다. 하지만 2000년 이후 의대생 교육에 지속적인 변화가 있었고, 2010년이 플렉스너 보고서 발간 100주년이기 때문에, 우리는 100주년 기념행사를 이용하여 지난 100년 동안, 그리고 지난 10년 동안 얼마나 많이 변화했는지 보여 주기 위해 현재의 부록을 만들었습니다. 다른 중요한 교육적 변화들 중에서, 8개의 새로운 의과대학의 설립과 다가오는 몇 년간의 더 많은 약속들을 보았다. The 2000 supplement certainly put that claim to rest and also has served as a useful reference. But there has been continued change in the education of medical students since 2000, and since 2010 marks the 100th anniversary of the publication of the Flexner Report, we took advantage of the 100th anniversary celebration to create the present supplement to show how much has changed both in the past 100 years and in the past ten, a decade that, among other important educational changes, has seen the establishment of eight new medical schools and the promise of several more in the coming years.
1910년에는 155개의 북아메리카 의과대학이 있었다; Flexner는 이 각각의 의과대학들을 방문했다. 여러분은 이 부록을 읽고 미국과 캐나다에 있는 128개의 의과대학들을 "방문"하도록 초대받았습니다. 그 중 일부는 2년, 일부는 200년 이상 된 것입니다. 10년 안에 8개의 새로운 학교가 도입되고 10개 이상의 학교가 더 있을 것이라는 전망과 함께, 미국과 캐나다는 곧 더 많지는 않더라도 155개의 의과대학이 다시 생길 것이라는 것을 고려하는 것은 흥미롭다.
In 1910 there were 155 North American medical schools; Flexner visited each of these. You are invited to read this supplement and “visit” 128 medical schools in the United States and Canada, some a mere two years old, others more than 200 years old. It is interesting to consider that with the introduction of eight new schools in a decade and the prospect of another 10 or more, the United States and Canada will again soon have 155 medical schools, if not more.
이 부록의 작성 방법 How This Supplement Was Created
스냅샷 보고서의 설명 및 예제
Explanations and Examples from the Snapshots Reports
커리큘럼 관리 및 거버넌스 구조 Curriculum Management and Governance Structure
가능하면 커리큘럼 관리 및 거버넌스 구조에 대한 도표를 제공하십시오.
커리큘럼을 담당하는 위원회 또는 그룹을 식별합니다(즉, 커리큘럼 위원회가 있습니까? 상임위원회인가요? 전체 교육 프로그램을 책임지는 위원회 외에 커리큘럼 연도별로 커리큘럼 위원회를 구성하고 있는가?
Please provide a diagram of the curriculum management and governance structure, if possible.
Identify the committees or groups responsible for the curriculum (i.e., is there a curriculum committee? Is it a standing committee? Are there curriculum committees organized by year of the curriculum in addition to a committee with responsibility for the entire educational program?).
대부분의 보고서에는 교육 프로그램 및/또는 커리큘럼 관리에 대한 다이어그램이 하나 이상 포함되어 있습니다. 2000년 부록에 있었던 것보다 더 많은 도표가 있으며, 거의 모든 경우에, 그들이 묘사한 구조는 2000년 보다 더 복잡하다. 프로그램의 더 많은 통합이 있으며, 일반적으로 위원회의 활동은 "교육부학장"의 단일 사무실에서 조정된다. 캘리포니아 대학교, 샌디에이고, 의과대학, 로마 린다 의과대학은 이러한 접근법을 사용하는 학교 중 하나이다. The majority of the reports contain one, sometimes more than one, diagram of the management of the educational program and/or the curriculum. There are more diagrams than there were in the 2000 Supplement, and in almost every case, the structures they depict are more complex than they were in 2000. There is more integration of the program, and typically the activities of the committees are coordinated in a single office of a “vice dean for education”; the University of California, San Diego, School of Medicine and Loma Linda University School of Medicine are two of the schools that use this approach.
위원회 구성원들이 더 이상 학과를 대표하지 않고 대신 교육 프로그램을 대표하기 때문에 일부 학교들은 교육 프로그램에 참여하는 사람들의 수를 줄였다. 예를 들어, 투싼과 피닉스의 애리조나 의과 대학과 UMDNJ-뉴저지 의과 대학 같은 일부 학교에서는 교육 프로그램의 변화를 수용하기 위해 위원회 구조가 더 복잡해졌다. In some cases, schools reduced the number of individuals involved in the educational program because the members of the committee no longer represent departments but instead represent the educational program. In some schools, for example, the University of Arizona College of Medicine at Tucson and Phoenix and UMDNJ–New Jersey Medical School, the committee structure became more complex to accommodate change in the educational program.
2000년부터의 중요한 변화 중 하나는 의과대학 [사서]들을 교과과정 거버넌스의 구성원으로 포함시키는 것이다.
One of the significant changes from 2000 is the inclusion of medical school librarians as members of the curriculum governance.
의학교육청 Office of Medical Education
의대생 교육 프로그램의 지원을 담당하는 사무소가 있습니까?
의료교육과 지정사무실 또는 직원(전체 또는 시간제)이 있는가? 이 사무실/부서와 관련된 전문가/교육자는 몇 명입니까?
교육 프로그램에서 교육/의학 교육부의 역할은 무엇입니까?
교육청이 없을 경우 의료교육 활동(교육과정 담당 위원회 외)을 조직하고 지원하는 일차적인 책임은 누가 줍니까?
Is there an office with responsibility for support of the medical student education program?
Is there a designated office of medical education or department of medical education with staff (full or part-time)? How many professionals/ educators are associated with this office/ department?
What is the role of the office of education/medical education unit in the educational program?
If there is no office of education, who holds the primary responsibility to organize and support medical education activities (other than the committees responsible for the curriculum)?
응답 학교 128곳 중 6곳을 제외한 나머지 학교는 모두 지정된 의학교육실office of medical education이 있으며, 지정된 사무소가 없는 학교는 교육프로그램 지원실이 있다. 이 부록에 실린 그녀의 에세이에서, "의학 교육의 변화를 요구하는 10년간의 보고서: 그들은 뭐라고 하는가?",2 Skochelak는 의학 교육을 변화시켜야 할 필요성에 대한 다양한 발표된 보고서에서 공통적으로 다루는 8가지 주제를 파악한다. 진정한 변화가 일어나려면 원로 지도부의 지지가 중요하다는 게 주제 중 하나다. 모든 학교와 제공된 모든 다이어그램에서 교육 프로그램을 지원하는 사무실 또는 행정 단위는 학장에게 자문하고, 학장 및/또는 그 지명자는 교육 프로그램의 관리를 책임진다. All but six of the responding 128 schools have a designated office of medical education and those without a designated office have an office for support of the educational program. In her essay in this supplement, “A Decade of Reports Calling for Change in Medical Education: What Do They Say?”,2Skochelak identifies eight themes common to a variety of published reports about the need to change medical education. One of the themes is the importance of the support of senior leadership if true change is to occur. In every school and in every diagram provided, the office or administrative unit that supports the educational program is advisory to the dean, and the dean and/or his or her designee is responsible for the administration of the educational program.
많은 학교들이 새로운 사무실을 만들었지만, 어떤 학교들은 30년 이상 된 학교들도 있다 – 남부 캘리포니아 대학의 케크 의과대학은 1963년에 설립되었고, 반면에 시카고의 일리노이 의과대학은 1958년에 설립되었다. While many schools created new offices, some are more than 30 years old – the unit at the Keck School of Medicine of the University of Southern California was established in 1963, while the unit at the University of Illinois College of Medicine at Chicago began in 1958.
이들 사무실은 교육과정을 지원하는 것 이상의 일을 하고 있으며, 대다수의 학교에서는 교육 프로그램에 대한 변경이 영향을 미치는지(스코켈락이 에세이에서 확인한 또 다른 주제)를 결정하기 위해 연구를 수행하고 있는 교수진을 포함하고 있다. 이 사무실들은 [교수개발]과 [교사로서의 전공의의 개발]을 지원한다. 이 사무실의 여러 업무 중 하나는 [학생 서비스]와 [학생 문제] 그리고 [교육 기술의 지원 및 구현]이다. These offices do more than support the curriculum, and in the majority of the schools, they include faculty who are conducting research to determine whether changes being made to the educational program have an impact (another of the themes identified by Skochelak in her essay). These offices support faculty development and the development of residents as teachers; among the many duties of members of these offices are work with student services and student affairs and the support and implementation of educational technology.
의학교육실은 2000년보다 현재 [학제간 프로그램]에 더 많은 지원을 하고 있다. 예를 들어, 조지 워싱턴 대학교 의학과 보건과학대학은 2002년에 현재의 학제간의학교육실인 작은 사무실을 확장했다; 뉴욕 대학교 의과대학과 플로리다 주립 대학교 의과대학은 2009년에 교육 프로그램을 더 잘 지원하기 위해 그들의 기존 사무실을 개편했다.e-루이스빌 의과대학과 노스웨스턴 대학교 파인버그 의과대학은 학생 프로그램으로 확장되었다. The offices of medical education provide more support now than in 2000 for interdisciplinary programs. For example, George Washington University School of Medicine and Health Sciences expanded a small office, which is now the Office of Interdisciplinary Education, in 2002; New York University School of Medicine and Florida State University College of Medicine reorganized their existing offices in 2009 to better support education programs, and at the University of Louisville School of Medicine and Northwestern University The Feinberg School of Medicine, offices were expanded to include student programs.
로욜라대학교 스트릿치 의과대학과 같은 학교에서는 의학교육실의 물리적 위치가 학습 커뮤니티의 한가운데에 의도적으로 자리 잡고 있다. 의과대학들이 교육 프로그램에 관심을 쏟고 있는 중요한 실례는 목록 1에서 보듯이 의과대학 학생 교육에 전념하는 건물을 후원하고 건설한 많은 학교들이다.
In schools such as Loyola University Stritch School of Medicine, the physical location of the office of medical education is deliberately located in the midst of learning communities. A significant illustration of the attention medical schools are giving to their educational programs is the large number of schools that have funded and constructed buildings devoted to medical student education, as shown inList 1.
새로운 의과 대학들 외에도 콜로라도 덴버 의과 대학 (Anschutz Medical Campus), 하와이 대학교 (University of Hawaii University of Mänoa John A. 번스 의과대학과 미시간 주립대학의 휴먼 의과대학은 의과대학에 대한 새로운 위치와 완전히 새로운 캠퍼스를 가지고 있다.
In addition to the new medical schools, the University of Colorado Denver School of Medicine (Anschutz Medical Campus), the University of Hawaii at Mãnoa John A. Burns School of Medicine, and Michigan State University College of Human Medicine have new locations and entirely new campuses for their medical schools.
교육 프로그램의 재정 관리 Financial Management of Educational Programs
우리 대학들은 의과대학 교육이 심각하고 비용이 많이 드는 벤처라는 것을 깨닫는 것이 중요하다. 그리고 의과대학은 의과대학에 대한 청구서를 제출하고 교육을 대학 평면에 투하할 준비가 되어 있지 않는 한, 의과대학과의 모든 연결을 거부하거나 종료해야 한다. It is important that our universities realize that medical education is a serious and costly venture; and that they should reject or terminate all connection with a medical school unless prepared to foot its bills and to pitch its instruction on a university plane.1(p13)
교육 프로그램을 계속 지원하기 위해 현재의 재정 위기를 어떻게 해결했습니까?
How have you addressed the current financial crises to continue to support the educational programs?
이 질문에 대한 반응은 행복한 놀라움을 보여주었다. 학교들은 경기 침체가 영향을 미쳤다는 것을 인정했지만, 그 결과는 교육 프로그램을 보호하기 위한 움직임과 프로그램의 중요성을 강화한 것이 가장 많았다. 리소스를 중앙 집중화해야 하는 필요성이 효율성 향상으로 이어졌습니다. 오직 두 개의 학교에서만 실제 인원 감축이 있었다. 일부 사례에서 교수진은 연장된 '휴가'나 휴학을 강요받았고, 샌디에이고 의과대학 캘리포니아대에서는 수강료가 인상됐다. 하버드 의과대학과 세인트 워싱턴 대학교. 루이스 의과대학은 급여 인상이 없었다고 말했다. The responses to this question presented a happy surprise. While the schools acknowledged that the downturn in the economy had an impact, the result was most often a move to protect the educational program and a subsequent strengthening of the importance of the program. The need to centralize resources led to greater efficiency. At only two schools was there actual downsizing of staff. In a few cases, faculty were forced to take extended “vacations” or furloughs, and at the University of California, San Diego, School of Medicine, there was an increase in student fees. Harvard Medical School and Washington University in St. Louis School of Medicine noted there were no salary increases.
학교들은 [지역 사회 및 지역 캠퍼스 커뮤니티와 제휴]하여 임상 교대에 필요한 지원을 제공하고 교육 프로그램을 지원하기 위한 수익을 창출하였다. 거의 모든 학교들은 학과 예산에서 배정된 것 외에 학장실과 학장의 교육 프로그램 지원금에 주목했다. The schools developed partnerships with communities and with regional campus communities to provide the necessary support for clinical rotations and to generate revenue to support the educational program. Almost every school noted the support from the dean's office and a dean's fund for the educational program, in addition to that allocated from department budgets.
몇몇 학교는 [미션 기반 예산 운영]을 하고 있으며, 예산은 의대생 교육 노력에 따라 부서에 배정된다. 보스턴 의과대학, 매사추세츠 의과대학, UMDNJ-뉴저지 의과대학, 마운트 시나이 의과대학, 베일러 의과대학, 펜실베이니아 주립 의과대학 등이 있다. Several schools have a mission-based budget management, and budgets are allocated to departments based on medical student teaching effort. Among those schools are Boston University School of Medicine, the University of Massachusetts Medical School, UMDNJ–New Jersey Medical School, Mount Sinai School of Medicine, Baylor College of Medicne, and Pennsylvania State University College of Medicine.
두 개 이상의 학교에서, 재정 위기는 분배된 자금의 수준과 교육 및 연구에 대한 부서의 참여를 연계하기 위해 새로운 방법론의 개발을 촉진하였다. In more than one school, the financial exigencies fostered the development of new methodology to link the level of funds distributed and a department's participation in education and research.
교육 프로그램을 위한 예산이 따로 있는 학교들이 있습니다. 앨라배마 의과대학과 테네시 의과대학 건강과학센터, 의과대학, 프로그램에서는 첫 2년 동안에 대하여. 그리고 유타 의과대학의 전체 커리큘럼을 위하여 (다시 말해서, 그 학교의 교육의 중요성을 강조함) 오타와 의과대학은 교육을 위한 헌신적인 기금을 가지고 있다.
There are schools with a discrete budget for the educational program, including the University of Alabama School of Medicine and the University of Tennessee Health Science Center, College of Medicine, for the first two years of the program, and for the entire curriculum at the University of Utah School of Medicine (which, in turn, highlights the importance of education at that school). The University of Ottawa Faculty of Medicine has dedicated funds for education.
가치 교육 Valuing Teaching
반면에 의과대학이나 대학 교수진의 모든 교수가 진정으로 생산적인 과학자라는 것은 결코 일어나지 않을 것이다. 또 다른 유형의 남성들을 위한 공간이 있는데, 넓은 학습, 지속적인 수용성, 비판적 감각, 반응적 관심의 비생산적이고 동화적인 교사이다. 동정심에서는 카톨릭 신자, 정신과 방법에서는 학구적인 이 남성들이 새로운 아이디어가 조화를 이루고 최신이 되는 구매자와 배급자를 증명하는 경우가 드물지 않다. 그들은 균형을 유지하고 관계를 맺습니다. 의과대학에 자리가 없는 단 한 사람은 바로...[과학적으로 죽어있는 교육자practitioner]이다. 그의 지식은 정지한 지 오래고 그의 강의는, 그가 처음 의자에 앉았을 때, 마치 시냇물에 굴러다니는 조약돌처럼, 시간이 흐를수록 점점 더 부드러워진다.1
On the other hand, it will never happen that every professor in either the medical school or the university faculty is a genuinely productive scientist. There is room for men of another type, the nonproductive, assimilative teacher of wide learning, continuous receptivity, critical sense, and responsive interest. Not infrequently these men, catholic in their sympathies, scholarly in spirit and method, prove the purveyors and distributors through whom new ideas are harmonized and made current. They preserve balance and make connections. The one person for whom there is no place in the medical school….the scientifically dead practitioner, whose knowledge has long since come to a standstill and whose lectures, composed when he first took the chair, like pebbles rolling in a brook get smoother and smoother as the stream of time washes over them.1
♦ 귀하의 학교에는 교육자를 위한 학원/학원이 있습니까? ♦ 홍보 및 테뉴어 과정은 가르침을 어떻게 가치 있게 하는가?
♦Does your school have an academy/ institute for educators?
♦How does the promotion and tenure process value teaching?
2000년, 두 학교(캘리포니아 대학교, 샌프란시스코 대학교, 의과 대학, 시카고 일리노이 의과 대학)는 교수진을 지원하는 아카데미를 설립했다. 2010년에 아카데미가 있는 학교는 부록 1에 명시되어 있다; 이 글의 현재 또는 곧 개교할 65개의 학교가 있다. 또한, 캘리포니아 대학교, 샌프란시스코, 의과 대학, 조지아 의과 대학, 하버드 의과 대학 등 일부 학교는 학원의 영향과 결과에 대한 기사를 실었다. 2008년 하버드에서 교직은 "교직과 교육 리더십"이 교수진의 우수 영역으로 지정되었기 때문에 승진과 종신 재직 분야에서 새로운 단계로 격상되었다. In 2000, two schools (the University of California, San Francisco, School of Medicine, and the University of Illinois College of Medicine at Chicago) had identified academies to support the faculty. Schools with academies in 2010 are identified inAppendix 1; as of this writing, there are 65 in existence or about to be launched. In addition, some of the schools—the University of California, San Francisco, School of Medicine, the Medical College of Georgia, and Harvard Medical School—have published articles about the impact and the outcomes of the academies. In 2008, at Harvard,teachingwas elevated to a new level in the areas of promotion and tenure because “teaching and educational leadership” was designated as an area of excellence for faculty.
지정된 아카데미가 없는 학교들은 다양한 교수상을 제공하며, 종종 졸업식 때 수여되며, 모두 강력한 교수진 육성 프로그램을 가지고 있다. 보고서 전반에 걸쳐 교수진 개발에 대한 관심이 확연히 높아지고 있다. 푸에르토리코에 있는 Universidad Central del Caribe School of Medicine에서, 새로운 위원회가 교직원의 교육을 지원하기 위한 평가 기준과 도구를 확립하는 데 전념하는 데 임명되었다. 그리고 유타 의과대학에서 전문성, 책임감, 평가에 전념하는 새로운 사무실이 설립되었습니다; 그 목표들 중 하나는 의료 교육에 대한 교수진의 기여도를 평가하는 것입니다. 컬럼비아 대학교 의사 및 외과의 대학에는 성찰적 실천을 촉진하는 교수진 개발 프로그램이 있으며, 뉴욕 메디컬 칼리지에는 "교사로서의 레지던트" 프로그램이 있다. The schools without designated academies offer various teaching awards, often conferred during commencement, and all have strong faculty development programs. Throughout the reports, there is a decided increase in attention to faculty development. At Universidad Central del Caribe School of Medicine in Puerto Rico, a new committee has been named devoted to establishing criteria for the evaluation of and tools to support faculty teaching. And at the University of Utah School of Medicine, a new office has been created that is devoted to professionalism, accountability, and assessment; one of the goals is to evaluate faculty contributions to medical education. At Columbia University College of Physicians and Surgeons there is a faculty development program to promote reflective practice, and at New York Medical College there is a “Resident as Teacher” program.
일부 학교는 정식 아카데미가 없는 대신 사회와 학회 내 교직원이 지원돼 의대생 교육에 시간(30%)을 할애할 수 있는 소사이어티(에모리대 의대)를 두고 있다. 워싱턴 대학 의과대학 프로그램은 의과대학 교수들로 구성된 학습 커뮤니티를 만들었다. 웨이크 포레스트 대학 보건과학대학은 교수진의 핵심 그룹을 지정하는 메커니즘을 마련했다. Some schools do not have a formal academy but havesocieties(Emory University School of Medicine) where students are assigned to societies and faculty in the societies are supported so they can devote time (30%) to medical student education. At the University of Washington School of Medicine the Colleges program has created a learning community of medical school faculty. Wake Forest University Health Sciences School of Medicine has instituted a mechanism to designate a core group of teaching faculty.
학교들은 다르지만 모두 똑같이 가치 있는 교수진의 종류가 있다는 Flexner의 주장을 인정하기 위해 다른 트랙을 개발했습니다. [임상 교육자 트랙]은 1997년 예일 대학교 의과대학에서 시작되었다. 비슷한 트랙이 보스턴 의과대학이나 폰세 의과대학 같은 곳에 존재한다. 어떤 경우에는 "교육 트랙"이 비정년 트랙이 되기도 하지만, 모든 경우에 있어서 승진의 기초는 탁월한 교육excellence in teaching이다. 한 학교는 교육과정 개혁이 교수진 교육의 중요성과 교수진의 시간 보호에 초점을 맞춰 새로운 교육과정 시행에 성공했다고 지적한다. Schools have developed different tracks to acknowledge Flexner's assertion that there are different and equally valuable kinds of faculty. A clinical educator track was initiated at Yale University School of Medicine in 1997. A similar track exists at places like Boston University School of Medicine and Ponce School of Medicine. In some instances the “teaching track” is a nontenure track, but in every instance the basis for promotion is excellence in teaching. One school notes that its curriculum reform focused on the importance of faculty teaching and on protecting faculty members' time so they could succeed in implementing the new curriculum.
이 학교들은 승진과 종신 재직권 정책에서의 장학금 4와 종신 재직권에 대한 요건으로 teaching을 포함시키고, 승진과 종신 재직권이 부여되는 하나의 기준으로 교육적 우수성에 초점을 맞추고 있다고 보고한다. The schools report an increased focus on scholarship4in their promotion and tenure policies and the inclusion of teaching as an expectation for tenure (University of Arkansas for Medical Sciences College of Medicine) and educational excellence as one criteria on which promotion and tenure are granted (University of Alabama School of Medicine).
교육적 가치 단위(EVU, Relative Value Unit, RVU)는 사우스 플로리다 의과대학과 버지니아 커먼웰스 의과대학에 개설된 교육적 노력과 자원의 정렬이다. 한 학과에서 시행된 아이오와 대학교 카버 의과대학에서, 그 성공으로 의과대학 전체에 걸쳐 새로운 학장이 그것을 시행하게 되었다.
The Educational Value Unit (EVU—also called the Relative Value Unit (RVU)—is the alignment of resources with teaching effort that has been instituted at the University of South Florida College of Medicine and at the Virginia Commonwealth University School of Medicine. At the University of Iowa Carver College of Medicine, where it was implemented in a department, its success led a new dean to implement it throughout the medical school.
커리큘럼 갱신 프로세스 'Curriculum Renewal Process
현재 진행 중인 품질 개선 활동 외에 이 프로세스가 시작된 날짜가 따로 있었습니까?
' 커리큘럼 갱신 프로세스의 주요 목표를 식별합니다.
'갱신 프로세스의 구성 요소를 식별합니다.
‘Was there a particular date on which this process was launched in addition to being an ongoing quality improvement activity?
‘Identify the key objectives for the curriculum renewal process.
‘Identify the components of the renewal process.
부록 1의 "교육과정 갱신" 열에 있는 날짜는 모든 대응 학교가 커리큘럼 검토 및 갱신에 대한 진행 중인 프로세스와 이 과정에 참여했던 연도를 가지고 있음을 나타낸다. 이들 중 상당수는 다음과 같은 새로운 커리큘럼의 상표명을 보유하고 있습니다. The dates in the “curriculum renewal” column ofAppendix 1indicate that every responding school has an ongoing process for curriculum review and renewal and the years in which they have been engaged in this process. Many of them have trademarked names for their new curricula including:
사회에의 유전자—존스 홉킨스 의과대학
쥬빌리 커리큘럼—미국 뉴저지 의과대학(UMDNJ)-뉴저지 의과대학
컬럼비아 교육과정—Columbia University 의사 및 외과의 대학
21세기 교육과정 - 뉴욕대학교 의과정에 관한 연구
더블 헬릭스—로체스터 의과대학 및 치과대학
우수성을 위한 기반—듀크 의과대학
환자 중심 학습—North Dakota University of Medicine and Health Sciences
커리큘럼 2000—Pennsylvania University of Medicine
버몬트 통합 교육과정 - 버몬트 의과대학
나침반 교육 과정—Michael G. DeGroote School of Medicine of Health Sciences, McMaster University
Genes to Society—Johns Hopkins University School of Medicine
Jubilee Curriculum—University of Medicine and Dentistry of New Jersey (UMDNJ)–New Jersey Medical School
Columbia Curriculum—Columbia University College of Physicians and Surgeons
Curriculum for the 21st Century—New York University School of Medicine
Double Helix—University of Rochester School of Medicine and Dentistry
Foundations for Excellence—Duke University School of Medicine
Patient-Centered Learning—University of North Dakota School of Medicine and Health Sciences
Curriculum 2000—University of Pennsylvania School of Medicine
The Vermont Integrated Curriculum (the VIC)—University of Vermont College of Medicine
COMPASS curriculum—Michael G. DeGroote School of Medicine Faculty of Health Sciences, McMaster University
커리큘럼 갱신은 사회적 관심사, 의료 격차, 품질 향상, 노인 돌봄, 완화의료, 말기 진료 등을 해결하기 위한 의료 교육의 필요성에 의해 동기 부여되었다. [통합]은 각 프로그램의 핵심 요소이다. 학생들의 프로그램에서 [유연성]을 창조하는 것은 문화적 역량, 다양성, 노인학에 대한 강조와 함께 다른 사람들에게 동기를 부여했다. 이러한 각각의 동기 부여 요인이 스코켈라크의 리뷰에서 확인된다는 것은 흥미롭다.2 The curriculum renewal has been motivated by the need for medical education to address societal concerns, health care disparities, quality improvement, care for the elderly, palliative care, and end-of-life care, among other areas; integration is a key ingredient of each program. Creating flexibility in the students' programs motivated others, coupled with an increased emphasis on cultural competency, diversity, and geriatrics. It is interesting to note that each of these motivating factors are identified in Skochelak's review.2
대부분의 보고서에 설명된 커리큘럼을 통해 짜여진 것은 의학에 기초하는 과학의 탄탄한 기초와 함께 [임상 의학에 대한 조기 노출]이다. 입원환자 교육 현장의 변화, 병원 밖에서의 임상 교육의 이동, 새롭고 다른 종류의 의대생이 있다는 인식에서 개혁의 추가적인 동기가 나왔다. 하나는 정교함과 세계 경험을 증가시킨다고 묘사된다. Woven throughout the curricula described in most of the reports is early exposure to clinical medicine with a solid grounding in the sciences basic to medicine. Additional motivation to reform has come from changes in inpatient teaching sites, the movement of clinical education out of the hospital, and the recognition that there is a new and different kind of medical student, one described as having increased sophistication and world experience.
앨라배마 의과대학, 노스웨스턴 대학 파인버그 의과대학, 버지니아 의과대학은 모두 의학에 기초하는 과학의 중요성을 강조하면서 임상 및 기초과학의 커리큘럼 통합의 예를 제공한다; 애리조나 의과대학은 다음과 같은 것들을 포함한다.인문학을 포함한 행동 및 사회과학에 대해 설명합니다. 모든 경우에 있어서, 그 접근 방식은 캘리포니아 대학교 샌프란시스코 의과대학에서 보여지는 협력적 학습의 하나이다. The University of Alabama School of Medicine, Northwestern University The Feinberg School of Medicine, and the University of Virginia School of Medicine all provide examples of curricular integration of the clinical and basic sciences, emphasizing the importance of the sciences basic to medicine; the University of Arizona College of Medicine includes the behavioral and social sciences, including the humanities. In every case, the approach is one of collaborative learning, as illustrated by the program at the University of California, San Francisco, School of Medicine.
의과대학 경험 전반에 걸쳐 의학분야의 전문직업성을 강조하는 커리큘럼의 예로는 맥길대 의과대학 내과대학 내과대학에서 4년간 '리본'으로 운영되는 분야를 강조하는 과정으로 구성돼 있다. An example of a curriculum that emphasizes professionalism in medicine throughout the medical school experience is the physicianship program at McGill University Faculty of Medicine, which consists of courses emphasizing those areas that run as “ribbons” through the four years.
전문직업성에 대한 주제는 메릴랜드 의과대학, 드렉셀 의과대학 (전문 피어 리뷰 포함), 토마스 제퍼슨 의과대학의 제퍼슨 의과대학과 같은 거의 모든 학교의 포커스였다.
The topic of professionalism is a focus in almost all schools–for example, at the University of Maryland School of Medicine, Drexel University College of Medicine (which includes Professional Peer Review), and Jefferson Medical College of Thomas Jefferson University.
학습 성과/역량 Learning Outcomes/Competencies
당신의 학원은 당신의 졸업생들을 위해 확인된 능력이나 학습 성과를 가지고 있는가? 그렇다면 사본을 포함하십시오.
Does your institution have competencies or learning outcomes identified for your graduates? If so, please include a copy.
이 질문이 있었던 것은, 10년 전만 해도 소수의 학교만이 학습 성과를 명확하게 밝혀냈기 때문이다. 이젠, 모든 학교에는 이런 학습 성과, 때로는 능력이라고 불리는 것들이 있을 뿐만 아니라, 대개 학교 웹사이트에서 이용할 수 있는 목록들도 있습니다. 부록 1은 이러한 학습 결과를 가진 모든 학교에 대한 표시를 제공하며, 개별 문서에는 가능한 경우 목표 URL이 포함되어 있습니다. 학교들은 ACGME 핵심역량, 5 의과대학 목표 프로젝트 보고서 I, 6 캔메드, 7 그리고 한 가지 사례로는 모범 의료 관행 – USA.8을 사용하여 학습 성과를 공식화하였다. This question was posed to the schools because ten years ago, only a handful of the schools had identified learning outcomes that were articulated. Now, not only does every school have these learning outcomes, sometimes called competencies, but they have lists available, usually on the school Web site.Appendix 1provides an indication of all the schools with these learning outcomes, and the individual articles contain the URLs for the objectives, wherever possible. The schools formulated their learning outcomes using the ACGME core competencies,5the Medical School Objectives Project Report I,6Canmeds,7and in one case, Good Medical Practice – USA.8
학습 성과와 역량의 명백한 목적은 교육 프로그램이 달성해야 하는 목표를 명확히 설명하는 것이다. 이러한 목표를 달성하기 위한 학교들의 노력은 다음 세 절에 요약되어 있다.
The obvious purpose of the learning outcomes and competencies is to articulate the goals that the educational program should achieve. The schools' efforts to achieve those goals are summarized under the next three sections.
커리큘럼의 새 항목 New Topics in the Curriculum
2000년 이후 학교 커리큘럼에 새로 추가된 주제를 파악합니다.
환자 안전, 품질 개선, 팀 기반 학습 및 시뮬레이션에 대한 주제를 구체적으로 설명합니다.
Identify any topics that are new to your school's curriculum since 2000.
Comment specifically on the topics of patient safety, quality improvement, Team-Based Learnin,and simulations.
우리는 학교들의 구체적인 반응을 부록 1에 요약했지만, 동일한 관심사가 학교 보고서에 기술된 많은 새로운 주제이다. 여기에는 다음이 포함됩니다.
We have summarized the schools' specific responses inAppendix 1, but of equal interest are the many new topics described in the school reports. These include:
비판적 사고/임상적 추론: 세인트루이스 의과대학과 뉴욕 의과대학
생체 테러, 재난 준비: Loma Linda University of Medicine; Howard University of Medicine; 툴레인 대학교 의과대학; 보건과학 대학교 F. 에드워드 헤버트 의과대학; 올버니 의과대학; 신시내티 의과대학; 피츠버그 의과대학
노인학: 시카고 대학 생물과학부 프리츠커 의과대학(완화진료 포함) 미주리 대학교 - 캔자스 시립 의과대학 (전체에 통합) 오클라호마 의과대학과 사우스캐롤라이나 의과대학(그들의 "Senior Mentor"
의료 서비스 차이: 시카고 대학 생물과학부 프리츠커 의과대학 폰세 의과대학 위스콘신 의과대학
문화적 다양성/문화적 역량: 뉴저지 의과대학 로버트 우드 존슨 의과대학, 노스 다코타 의과 및 보건과학 대학(인디안 인더스 인더스 인더스 인더스 인더스 인더스 인더스 의과대학) 텍사스 기술 대학교 보건 과학 센터 의과 대학(스페인어 의학) 텍사스 공과대학교 보건과학센터 폴 L. 포스터 의과대학과 워싱턴 의과대학
학생에게 필요한 학자/연구 활동: 다른 많은 학교들 중에서, 다음 학교들은 의대생들을 위한 필수 연구 또는 학술 활동을 시행하고 있다. 앨라배마 의과 대학; 피닉스 애리조나 의과 대학; 아이오와 의과 대학; 스탠포드 의과 대학; 콜로라도 덴버 의과 대학; 노스웨스턴 대학교 더 페인버그 의과 대학; 뉴저지 의과 대학d 존슨 의과대학; 뉴멕시코 의과대학; 예시바 대학의 알버트 아인슈타인 의과 대학; 컬럼비아 대학 의사 및 외과의사 의과 대학; 듀크 대학 의학 대학; 케이스 웨스턴 리저브 대학 의과 클리블랜드 클리닉; 펜실베니아 주립 대학센트럴 플로리다 의과 대학; 그리고 피츠버그 의과 대학.
집중적인 개별화된 연구 경험: 플로리다 의과 대학, 버몬트 의과 대학, 에모리 의과 대학, 시카고 대학 학부(학생의 60% 이상이 그들의 연구를 발표한 곳)
레즈비언, 게이, 양성애자, 성전환자 – 보스턴 의과대학
예일대학교 의과대학은 "파워 다이내믹스"를 보고 학생들에게 병원 내 복잡한 파워 다이내믹스와 의학과 상호 전문성의 실천을 소개한다.
Critical thinking/clinical reasoning: Saint Louis University School of Medicine and New York Medical College
Bioterrorism, disaster preparation: required at Loma Linda University School of Medicine; Howard University College of Medicine; Tulane University School of Medicine; Uniformed Services University of the Health Sciences F. Edward Hébert School of Medicine; Albany Medical College; University of Cincinnati College of Medicine; and the University of Pittsburgh School of Medicine, among others
Geriatrics: University of Chicago Division of the Biological Sciences Pritzker School of Medicine (including palliative care); University of Missouri– Kansas City School of Medicine (integrated throughout); University of Oklahoma College of Medicine; and the University of South Carolina School of Medicine (their “Senior Mentor” program)
Health care disparities: University of Chicago Division of the Biological Sciences Pritzker School of Medicine; Ponce School of Medicine; Medical College of Wisconsin
Cultural diversity/cultural competence: University of Medicine and Dentistry of New Jersey Robert Wood Johnson Medical School; University of North Dakota School of Medicine and Health Sciences (Indians into Medicine); Texas Tech University Health Sciences Center School of Medicine (medical Spanish); Texas Tech University Health Sciences Center Paul L. Foster School of Medicine; and University of Washington School of Medicine
Required scholarly/research activity for students: Among many others, the following schools have in place a required research or scholarly activity for medical students: University of Alabama School of Medicine; University of Arizona College of Medicine, Phoenix; University of Iowa Carver College of Medicine; Stanford University School of Medicine; University of Colorado Denver School of Medicine; Northwestern University The Feinberg School of Medicine; University of Medicine and Dentistry of New Jersey Robert Wood Johnson Medical School; University of New Mexico School of Medicine; Albert Einstein College of Medicine of Yeshiva University; Columbia University College of Physicians and Surgeons; Duke University School of Medicine; Case Western Reserve University School of Medicine and Cleveland Clinic; Pennsylvania State University College of Medicine; University of Central Florida College of Medicine; and University of Pittsburgh School of Medicine.
Focused individualized research experience: the University of Florida College of Medicine; University of Vermont College of Medicine, Emory University School of Medicine; and the University of Chicago Division of the Biological Sciences Pritzker School of Medicine (where more than 60% of students have published their research)
Lesbian, gay, bisexual, and transsexual topics – Boston University School of Medicine
Yale University School of Medicine reports on “Power dynamics” to introduce students to the complicated power dynamics in the hospital and the practice of medicine and interprofessionalism.
사회적 책무성은 스코첼락이 에세이 2에서 확인한 주제 중 하나로 많은 학교가 지역사회에 대한 학교의 관계, 사회적 책임, 서비스 학습 기회에 대해 보고한다. 이러한 서비스 학습 경험은 아이오와 대학교 카버 의과대학; 애리조나 대학교 의과대학; 조지타운 대학교 의과대학에서 "Social Justice Scholars" 프로그램을 통해 볼 수 있으며, 플로리다 국제대학교 허버트 워트하임 의과대학과 이웃돕기 프로그램을 통해 볼 수 있다.의학의 우얼(1학년 프로그램); 하와이 대학교 마노아 존 A. 번스 의과대학; 툴레인 대학 의과 대학; 보스턴 의과 대학; 미시간 주립 대학 인체의학 대학 (사회 헌신을 위한 계약) 미주리 대학교 – 캔자스 시립 의과 대학, 뉴저지 의과 대학 로버트 우드 존슨 의과 대학 및 뉴멕시코 의과 대학; 버지니아 공대 의과 및 연구소에서 전문 서비스 학습을 가르칩니다. 뉴욕 주립 대학교 스토니 브룩 대학 의학 센터에서는 학생이 운영하는 클리닉을 설명하고 있으며, 웨스트 버지니아 대학 의과대학의 버섯 프로젝트는 노숙자들을 위한 학생 주도의 클리닉이다. Social accountability is one of the themes Skochelak identified in her essay2and many of the schools report on the relationship of the school to the community, its social responsibility, and service learning opportunities. These service learning experiences can be found at the University of Iowa Carver College of Medicine; University of Arizona College of Medicine; Georgetown University School of Medicine with its “Social Justice Scholars” program; Florida International University Herbert Wertheim College of Medicine with the Neighborhood HELP program; Morehouse School of Medicine (a first-year program); University of Hawaii at Mãnoa John A. Burns School of Medicine; Tulane University School of Medicine; Boston University School of Medicine; Michigan State University College of Human Medicine (The Contract for Social Commitment); University of Missouri – Kansas City School of Medicine; University of Medicine and Dentistry of New Jersey Robert Wood Johnson Medical School and the University of New Mexico School of Medicine; interprofessional service learning is taught at Virginia Tech Carilion School of Medicine and Research Institute. The State University of New York, Stony Brook University Medical Center describes a student-run clinic, and the MUSHROOM project at West Virginia University School of Medicine is a student-initiated clinic for the homeless.
지역 봉사 프로그램이 있는 학교로는 템플 대학교 의과대학, 유니버시아드 센트럴 델 캐리비어 의과대학, 이스트 테네시 주립 대학교 등이 있다. 텍사스 공과대학교 보건과학센터 폴 L. Foster School of Medicine은 지역사회와 학생들에게 멕시코/미국 국경에서의 경험을 제공하는데 전념하고 있다. 지역사회 단체와 협력할 수 있는 기회는 맥길 대학교 의과대학에 있는 지역사회 건강 동맹 프로그램(CHAP)에서도 찾을 수 있다. Schools with community service programs include Temple University School of Medicine, Universidad Central del Caribe School of Medicine, and East Tennessee State University. Texas Tech University Health Sciences Center Paul L. Foster School of Medicine has a commitment to community and to providing students with experiences at the Mexico/US border. Opportunity to work with community organizations are also found at the Community Health Alliance Program (CHAP) at McGill University Faculty of Medicine.
[영성과 의학]과 같은 주제에 관한 종방향 커리큘럼은 루이스빌 의과대학과 이스트캐롤라이나 대학의 브로디 의과대학에서 찾을 수 있다. 버몬트 의과대학은 [영적 치료, 지구 건강, 영양]과 같은 주제에 대한 종적 커리큘럼을 도입했다. Vanderbilt University School of Medicine에서는 1-3년 동안 진행되었던 [만성 질환 교육과정]이 있으며, Virginia Commonwealth University School of Medicine에서는 종방향 커리큘럼이 있다.
Longitudinal curricula in topics such as spirituality and medicine are found at the University of Louisville School of Medicine and at the Brody School of Medicine East Carolina University. The University of Vermont College of Medicine has introduced longitudinal curricula on topics such as spiritual care, global health, and nutrition (to name a few). There is a chronic illness curriculum threaded through years 1–3 at Vanderbilt University School of Medicine, and a longitudinal curriculum at Virginia Commonwealth University School of Medicine
교육학의 발전 Advances in Pedagogy
사실, 이 recital에 언급된 많은 학교들은 아마도 어떤 종류의 특징도 보충하지 못할 것이다.교재는 교재나 퀴즈 보상의 비지시적 리허설이며, 환자, 악기, 모델, 그림 없이 가르친 수술과 마주친다. 1(p142) As a matter of fact, many of the schools mentioned in the course of this recital are probably without redeeming features of any kind…The teaching is an uninstructive rehearsal of textbook or quiz compend; one encounters surgery taught without patient, instrument, model or drawing.1(p142)
2000년 이후 교육학에서 어떤 변화가 시행되었는가?
그러한 교육학적 변화의 성공은 어떻게 측정되었는가?
What changes, if any, in pedagogy have been implemented since 2000?
How was the success of such pedagogical changes measured?
한 학교(토머스 제퍼슨 대학의 제퍼슨 의과대학)는 "교육학의 변화에 영향을 받지 않은 커리큘럼의 한 요소는 없습니다."라고 지적한다. 이것은 2000년 이후 그리고 확실히 플렉스너 보고서 이후 교육학의 변화에 대한 정확한 설명이다. One school (Jefferson Medical College of Thomas Jefferson University) notes that “there is not one element of the…. curriculum that has not been affected by changes in pedagogy.” This is a fair description of the changes in pedagogy since 2000 and certainly since the Flexner Report.
학교 대부분은 문제 기반 학습과 팀 기반 학습의 지속적 성장 등 [강의 시간 감소]와 [능동적 학습]의 증가에 주목했다. Most of the schools noted a continued reduction in lecture time and an increase in active learning, including continued growth of problem-based learning and Team-Based Learning.
[시뮬레이션]은 표 1의 영역으로 포함되며, 모든 학교는 다양한 형태의 시뮬레이션 적용에 대해 기록합니다. Simulation is included as an area onTable 1, and every single school writes about the application of simulations in their various forms.
예를 들어, Morehouse School of Medicine, University of Morhouse School of Medicine, ITunesU, University of Biological Sciences Pritzker School of Medicine(TIME) 프로젝트와 같은 온라인 강의 자료를 사용하면 전체 커리큘럼을 통해 강의 내용을 이용할 수 있습니다. 전임상 학년과 임상 학년 교육의 통합을 촉진한다. 존스 홉킨스 의과 대학과 터프츠 의과 대학을 포함한 많은 학교에는 [학습 관리 소프트웨어]가 설치되어 있다. 밴더빌트 의과대학에는 새로운 [경험학습 및 평가 센터(CELA)]가 생겼으며, 올해 오타와 의과대학에 개설된 시뮬레이션 센터가 있다. The use of online materials for instruction— for example, at Morehouse School of Medicine; the University of Central Florida College of Medicine (ITunesU); the University of Chicago Division of the Biological Sciences Pritzker School of Medicine (the Technology in Medical Education (TIME) project)—makes the entire curriculum available through online media, fostering integration between preclinical and clinical years. There is learning management software in place at many schools, including Johns Hopkins University School of Medicine and Tufts University School of Medicine. Vanderbilt University School of Medicine has a new Center for Experiential Learning and Assessment (CELA), and there is a simulation center opening this year at the University of Ottawa Faculty of Medicine.
사우스캐롤라이나 대학교 의과대학은 [무선wireless 캠퍼스]이며 수직 초음파 교육과정을 시행하고 있다. The University of South Carolina School of Medicine is a wireless campus and has implemented a vertical ultrasound curriculum.
사우스 앨라배마 의과 대학과 터프츠 의과 대학을 포함한 여러 학교들이 교육 프로그램 전반에 걸쳐 [청중 반응 시스템]을 시행하고 있다. 자료는 텍스트북보다는 [팟캐스트를 통하거나 오디오 및/또는 비디오 녹화된 강의](로잘린드 프랭클린 의과대학의 시카고 의과대학)를 통해 전달된다. [스트리밍 비디오]는 또한 [분산 교육 사이트 간의 교육 일관성]을 강화하는 데 사용된다. Several schools have implemented audience response systems throughout the educational program, including the University of South Alabama College of Medicine and Tufts University School of Medicine. Material is delivered not through textbooks as often as through podcasts of lectures and teaching materials, and via audio and/or video recorded lectures (Chicago Medical School at Rosalind Franklin University of Medicine and Science). Streaming videos are also used to foster consistency in teaching across distributed education sites.
많은 학교들이 [사례 기반 학습]을 시행하고 있다. 임상 프레젠테이션을 중심으로 커리큘럼을 구성한 학교에는 노스이스트 오하이오 대학 의과 대학, 텍사스 공과 대학 보건 과학 센터 폴 L이 있다. 포스터 의과대학과 캘거리 의과대학. 유타 의과대학은 여러 학교와 마찬가지로 더 이상 학과별로 커리큘럼을 구성하지 않고, 오히려 통합적이고 질병에 기반을 두고 있다.
Many schools have implemented case-based learning. Schools that have organized the curriculum around clinical presentations include Northeastern Ohio Universities College of Medicine; Texas Tech University Health Sciences Center Paul L. Foster School of Medicine; and the University of Calgary Faculty of Medicine. The University of Utah School of Medicine, like several schools, no longer has organized the curriculum along departmental lines; rather, it is integrated and disease-based.
거의 모든 학교 보고서는 교육 및 평가를 위한 표준화된 환자(SP)의 사용이 증가하고 있다는 점에 주목하고 있다. 사우스 플로리다 의과대학. Rush Medical College에는 새로운 SP 센터가 있습니다; Rush Medical College에는 SP와 만나는 학생이 행동 과학자와 함께 검토되는 의사 자격 프로그램이 있습니다. 머서대학교 의과대학은 1년 2년 후에 학생들이 하나의 "지정된" SP와 함께 연속성을 설정하면서 작업하는 프로그램을 가지고 있다. 루이빌 의과대학에는 SP와 시뮬레이션 센터가 있으며, 신시내티 의과대학은 심센터에 대해 보고한다.
Almost every school report notes an increased use of standardized patients (SPs) for teaching and assessment. The University of South Florida College of Medicine. has a new SP center; Rush Medical College has a physicianship program in which student encounters with an SP are reviewed with a behavioral scientist. Mercer University School of Medicine has a program in which students work with one “designated” SP in a continuity setting in years one and two. The University of Louisville School of Medicine has an SP and simulation center, and the University of Cincinnati College of Medicine reports on their SimCenter.
앞에서 언급했듯이, TBL은 라이트 주립 대학교 분쇼프 의과 대학과 오클라호마 의과 대학을 포함한 많은 학교에서 시행되고 있다. 북부 온타리오 의과대학(Northern Ontario School of Medicine)은 팀 학습을 전문학문(Interprofessional learning)이라고 하며, 펜실베이니아 대학교는 와튼 스쿨 MBA 모델을 기반으로 팀 훈련을 통합하여 팀의 구성원과 리더가 될 수 있도록 육성하고 있다. As noted previously, Team Based Learning is in place in many of the schools including Wright State University Boonshoft School of Medicine and the University of Oklahoma College of Medicine. Northern Ontario School of Medicine refers to team learning as interprofessional learning, and the University of Pennsylvania incorporates team training based on the Wharton School MBA model to foster being both a member and a leader of a team.
'교육과 의료행위에 신기술 활용'은 스코첼락(2)이 파악한 또 다른 테마로, 교육학과 평가 모두에서 의과대학 전반에 걸쳐 시행되고 있다.
“Use of new technology in education and medical practice” is another of the themes identified by Skochelak,2and it is in place throughout the medical schools in both pedagogy and assessment.
평가의 진전 Advances in Assessment
2000년 이후로 학생 평가에 어떤 변화가 시행되었는가?
What changes, if any, in student assessment have been implemented since 2000?
평가의 초점은 학습 목표의 결과를 측정하고 교육 목표의 숙달성을 평가하는 데 있다. 모든 학교는 종합적인 임상 평가뿐만 아니라 평가를 위한 OSCE의 증가된 사용을 설명한다. 기술을 평가에 적용하는 데 많은 변화가 있고, 평가의 초점은 단순한 총괄평가가 아닌 형성평가를 강조하는 쪽으로 옮겨갔다. 학교들은 콜로라도 대학 덴버 의과대학과 러시 의과대학에서의 환자 접견에 대한 온라인 기록을 통합했다. 일리노이 대학 캠퍼스는 웹 기반 테스트를 시행하고 있다. 캘거리 의과대학은 온라인 형성평가를 위한 시스템을 개발했다. The focus of assessment is on measuring outcomes of learning objectives and evaluating mastery of the educational objectives. Every school describes the increased use of the OSCE for assessment as well as for comprehensive clinical assessments. There are many changes to the application of technology to assessment, and the focus of the assessment has shifted to emphasize formative assessment, not just summative assessment. Schools have incorporated online logs of patient encounters at the University of Colorado Denver School of Medicine and Rush Medical College. The University of Illinois campuses have Web-based testing in place. The University of Calgary Faculty of Medicine has developed systems for the delivery of online formative evaluations.
성찰적인 글과 포트폴리오가 플로리다 주립 의과 대학; 미네소타 의과 대학; 마이애미 대학교 레너드 M.의 평가 도구로서 마련되어 있다. 밀러 의과대학; 미시간 의과대학; 컬럼비아의 미주리 의과대학; 뉴욕 주립대학, 스토니브룩 대학 의학센터; 케이스 웨스턴 리저브 의과대학과 클리블랜드 클리닉.베일러 의과대학도요 Reflective writings and portfolios are in place as assessment tools at Florida State University College of Medicine; University of Minnesota Medical School; the University of Miami Leonard M. Miller School of Medicine; University of Michigan Medical School; University of Missouri School of Medicine in Columbia; State University of New York, Stony Brook University Medical Center; Case Western Reserve University School of Medicine and Cleveland Clinic.; and Baylor College of Medicine.
2000년 이후 clinical skill laboratories가 늘어난 것으로 나타났다. 시카고 일리노이 의과대학이 그 예이다. 인디애나 의과대학의 시뮬레이션 센터(미국 최대) 텍사스 대학교 샌안토니오 의과대학; 위스콘신 대학교 의과 공중 보건 의과 대학; 북동 오하이오 대학교 의과 대학; 밴더빌트 의과 대학, 오하이오 주립 의과 대학, 그리고 과제 트레이너가 있는 오하이오 주립 의과 대학. There is an increase since 2000 in the number of schools with clinical skills laboratories. Examples include the University of Illinois College of Medicine at Chicago; Indiana University School of Medicine's simulation center (largest of its kind in the United States); University of Texas Health Science Center at San Antonio School of Medicine; University of Wisconsin School of Medicine and Public Health; Northeastern Ohio Universities College of Medicine; Vanderbilt University School of Medicine, and Ohio State University College of Medicine, where task trainers are in place.
로욜라대 시카고스트라이치 의과대학은 학생들의 진도를 평가하기 위한 종방향 수행평가 프로그램을, 서던일리노이대 의과대학은 종방향 수행평가를 실시해 임상적 추론과 시간에 따른 성장을 시험한다.
Loyola University Chicago Stritch School of Medicine has a longitudinal performance assessment program in place to evaluate students' progress, and Southern Illinois University School of Medicine has a longitudinal performance examination to test clinical reasoning and its growth over time.
임상 경험 Clinical Experiences
임상 교육을 위한 사이트를 식별하십시오.
학생의 임상 교육에 따른 어려움과 예상치 못한 결과는 무엇입니까?
Please identify the site(s) for clinical education
What are the challenges and the unanticipated outcomes with your students' clinical education
임상 경험은 이 부록에 보고된 거의 모든 학교에서 중요한 변화의 지점이었다. Dartmouth Medical School과 같은 학교에서는 임상 경험이 교육 프로그램 초기부터 시작됩니다(보통 의대 첫 달). 또한, 다트머스는 캘리포니아-태평양 의료 센터, 샌프란시스코와 제휴하여 학생들에게 큰 도시 센터에 대한 노출을 제공하고 있다. 위스콘신 대학교 의과 공중 보건 대학에는 Generalist Partners라고 불리는 필수 프로그램이 있는데, 이 프로그램은 모든 학생들이 Generalist 커뮤니티 의사와 매칭된다.
Clinical experiences have been a point of significant change in almost every school reported in this supplement. At schools like Dartmouth Medical School, clinical experiences begin early in the educational program – usually in the first month of medical school. In addition, Dartmouth has formed an affiliation with California-Pacific Medical Center, San Francisco, to provide students with exposure to a large urban center. The University of Wisconsin School of Medicine and Public Health has a required program called Generalist Partners, where all students are matched with a generalist community physician.
임상 교육에 대한 도전은 여러 가지이다. 여기에는 다음이 포함됩니다.
The challenges to clinical education are several. They include:
임상교육기관의 확장 필요
[지역 내 새로운 의과대학 개발로 인한 경쟁]을 포함한 장소site 경쟁
교수진에 대한 요구 증가, 교수진에 대한 임상 요구 및 교육 요구의 균형 조정
자원봉사 교직원의 지속적인 지원 및 가용성 확보 필요
이동 문제, 임상 교육 현장까지의 거리 때문에 발생하는 문제, 도달 시간과 능력이 필요한 문제
체류 기간 단축 및 상환액 감소, 사실상 모든 학술 의료 센터에서 학생들에게 의미 있는 임상 학습 기회를 제공하는 데 어려움을 겪고 있습니다.
임상 환경에서 교수진의 기여도를 인정하는 문제
동등한 교육 경험 보장 필요
진료 연속성을 위한 적절한 환자 식별 필요
Need for expanded sites
Competition for sites, including competition because of the development of new medical schools in the area
Increasing demands on the faculty, and balancing clinical demands and educational needs for faculty
Need to enlist the continued support and availability of volunteer faculty members
Travel challenges, caused by distances to clinical teaching sites, which require time and ability to reach
Decreasing lengths of stay and declining reimbursements, which present a challenge to virtually all academic medical centers to provide meaningful clinical learning opportunities for students
Challenge to recognize faculty contributions in clinical settings
Need to ensure comparable educational experiences
Need to identify appropriate patients for continuity-of-care clinical experiences
푸에르토리코에서 응답한 두 학교 모두 1993년의 의료 개혁의 영향과 새로운 법률이 임상 교육 현장을 확인하는 부담을 덜어줄 지역 학술 의료 센터를 설립하는 것에 주목했다.
Both of the schools that responded from Puerto Rico noted the impact of the 1993 health care reform there and of new laws to establish regional academic medical centers that should relieve some of the burden of identifying clinical teaching sites.
지역 캠퍼스 Regional Campus
그러나 비록 그것이 사립학교에서 완전한 대학부로 가는 길의 중간 단계로서 용인될 수 있지만, divided school이 유기적인 전체로서 기능할 것이라고 믿을 이유는 거의 없다. 프리쳇 총장은 "처음 2년이 한 곳에, 지난 2년이 200마일 떨어진 곳에 주어진다면 공대의 교육학적이고 전문적인 이상에 어떤 영향을 미칠지 궁금하지 않을 수 없다"고 말했다. But there is little reason to believe that the divided school will ever function as an organic whole, though it may be tolerable as a halfway stage on the road from the proprietary school to the complete university department. “I cannot help wondering,” said President Pritchett, “how it would affect the pedagogic and professional ideals of an engineering school if the first two years were given in one place and the last two years in a place two hundred miles away.1(p73)
교육 프로그램과 관련된 지역 캠퍼스 또는 캠퍼스가 있습니까? 설명해 주세요.
Is there a regional campus or campuses associated with the educational program? Please describe.
[지역 캠퍼스]에는 의과대학만큼이나 많은 변형이 있다. 부록 1에서 확인된 일부 지역 캠퍼스는 4년제 프로그램(투싼과 피닉스의 애리조나 의과 대학; 일리노이 대학교; 머서 의과 대학 (사바나의 자매 캠퍼스)으로 전환하고 있다. There are as many variations in regional campuses as there are in medical schools. Some of the regional campuses identified inAppendix 1are moving toward becoming four-year programs (University of Arizona College of Medicine at Tucson and at Phoenix; University of Illinois; Mercer University School of Medicine (sister campus in Savannah).
크레이튼 의과대학이 애리조나주 피닉스에 지역 캠퍼스를 설립하고 토론토 의과대학이 새로운 지역 부지를 개설한다. 아마도 가장 독특한 지역 체계는 5개 주에서 의과대학 역할을 하는 워싱턴 의과대학의 그것일 것이다. 브리티시컬럼비아 대학교 의과대학은 교육 프로그램을 분산형 교육 모델로 바꾸었다.
Creighton University School of Medicine will establish a regional campus in Phoenix, Arizona, and the University of Toronto, Faculty of Medicine is opening a new regional site. Perhaps the most unique regional system is that of the University of Washington School of Medicine, which serves as the medical school for five states. The University of British Columbia Faculty of Medicine has changed its educational program to a distributed education model.
프로그램의 주요 내용 Highlights of the Programs
이 페이지에는 이러한 "스냅샷"에 기술된 의대의 풍부한 질감과 혁신성을 완전히 포착하기 위한 충분한 공간이 없다. 다음은 본 부록의 뒷부분의 학교 보고서에서 보다 완전하게 읽을 수 있는 많은 프로그램의 주요 내용입니다. 우리는 이 하이라이트를 선택한 이유는 이 하이라이트가 세 개 이상의 학교에서 쓰여졌기 때문이며, 2000년 보충판 이후 변화의 영역을 나타내며, 스코첼락2가 파악한 현재 진행 중인 주제 중 일부와 의대생 교육의 지속적인 변화 요구에 응답하기 때문입니다.
There is not enough space on these pages to capture fully the rich texture and innovativeness of the medical schools described in these “snapshots.” The following are highlights of many of the programs you can read about more completely in the school reports later in this supplement. We chose these highlights because they were written about in more than three schools, they represent areas of change since the 2000 supplement, and because they respond to some of the ongoing themes identified by Skochelak2and in continued calls for change in medical student education.
[시골 지역의 건강 프로그램]은 네브래스카 의과 대학; 앨라배마 의과 대학; 애리조나 의과 대학; 록포드의 일리노이 의과 대학; 인디애나 의과 대학, 테레 오트 프로그램에서 시행되고 있다. 캔자스 의과대학; 켄터키 의과대학; 루이지애나 주립 대학교 보건 과학 센터 스쿨; 미네소타 의과 대학 (1971년 이후) 컬럼비아 미주리 의과대학, 오리건 보건 과학 대학 의과 대학, 이스트 테네시 주립 대학 제임스 H. 퀼런 의과 대학, 캘거리 의과 대학. 달하우시 대학 의학부 수석 부학장, 농촌 의학부 학장, 지역 의학부에 신설된 자리가 있다.
Programs in rural health are in place at the University of Nebraska College of Medicine; University of Alabama School of Medicine; University of Arizona College of Medicine; University of Illinois College of Medicine at Rockford; Indiana University School of Medicine, Terre Haute program; University of Kansas School of Medicine; University of Kentucky College of Medicine; Louisiana State University Health Sciences Center School of Medicine at New Orleans; University of Minnesota Medical School (since 1971); University of Missouri School of Medicine in Columbia; Oregon Health and Science University School of Medicine; East Tennessee State University James H. Quillen College of Medicine; and University of Calgary Faculty of Medicine. There is a newly created position at Dalhousie University, Faculty of Medicine, of Senior Associate Dean, Rural and Regional Medicine.
많은 학교들이 "scholarly concentration"에 대해 썼는데, 이것은 학생들이 지구 건강, 정보학, 또는 재난 의학과 같은 분야에 집중할 수 있는 기회이다. 이들 학교들의 협동조합이 형성한 학문적 집중력을 가진 학교들은 충분히 있다. 이러한 특징을 가진 몇몇 학교들은 휴스턴의 텍사스 의과대학과 밴더빌트 의과대학이다. 브라운 대학의 워렌 앨퍼트 의과대학; 텍사스 공과대학교 보건과학 센터 폴 L. Foster School of Medicine; 그리고 위스콘신 의과대학 (경로 프로그램)입니다.
Many schools wrote about “scholarly concentrations” – an opportunity for students to focus on an area such as global health, informatics, or disaster medicine. There are enough schools that have scholarly concentrations that a collaborative of these has formed. A few of the schools that have this feature are the University of Texas Medical School at Houston; Vanderbilt University School of Medicine; The Warren Alpert Medical School at Brown University; Texas Tech University Health Sciences Center Paul L. Foster School of Medicine; and the Medical College of Wisconsin (the Pathways program).
캘리포니아 대학 샌디에이고 의과대학에서 학생들은 [환자의 관점에서 질병을 학습]하는 데 두 달을 보낼 기회를 갖는다.
At the University of California, San Diego, School of Medicine, students have the opportunity to spend two months studying a disease from the point of view of the patient.
[전자 건강 기록]은 아칸소 의과대학, 오하이오 주립 의과 대학, 베일러 의과 대학, 플로리다 국제 대학 허버트 워트하임 의과 대학, 남부 일리노이 의과 대학, 그리고 메이요 의과 대학 의 교육 프로그램의 일부이다.
Electronic health records are part of the educational program at the University of Arkansas for Medical Sciences College of Medicine, The Ohio State University College of Medicine, Baylor College of Medicine, Florida International University Herbert Wertheim College of Medicine, Southern Illinois University School of Medicine, and Mayo Medical School.
로잘린드 프랭클린 의과대학의 시카고 의과대학, 켄터키 의과대학, 사우스캐롤라이나 의과대학, 제임스 퀼린 의과대학, 이스트테네시 주립대학, 제임스 퀼린 의과대학 등 다수의 학교에서 [전문직간 교육IPE]에 대한 특별한 초점을 두고 있다.마이클 G. 드그루트 의과대학 보건과학부, 맥마스터대, 로욜라대 시카고스트라이치 의과대학은 간호학교가 신설되고 협력학습센터가 설립된다. 노스웨스턴 대학교 파인버그 의과대학은 팀 기반 학습 환경에서 신제품 개발에 중점을 두고 있는 공학, 법학 및 경영 대학과의 협력을 맺고 있다. 뉴욕주립대학교 버팔로 의과 의과 의과대학에서 5개의 보건과학대학이 모의 환자와 함께 훈련한다.
A special focus on interprofessional education is in place at a number of schools, including Chicago Medical School at Rosalind Franklin University of Medicine and Science, the University of Kentucky College of Medicine, the Medical University of South Carolina College of Medicine, East Tennessee State University James H. Quillen College of Medicine, Michael G. DeGroote School of Medicine Faculty of Health Sciences, McMaster University, and Loyola University Chicago Stritch School of Medicine, where a new nursing school is opening and a Center for Collaborative Learning will be established. Northwestern University The Feinberg School of Medicine has a collaboration with engineering, law, and business schools where the focus is on new product development in a Team-Based Learning setting. At the University at Buffalo, School of Medicine and Biomedical Sciences, State University of New York, five health science schools train together with simulated patients.
많은 학교에서 [공중 보건]에 대한 강조가 증가하고 있다. 뉴멕시코 의과대학은 졸업생들을 위한 공중 보건 자격증을 제정했다; 코넬 대학교의 Weill Cornell Medical College와 톨레도 의과대학에 필수 공중 보건 강좌가 있다. 위스콘신 대학교 의학과 보건대학은 의학과 공중 보건의 통합학교가 되었다.
There is an increased emphasis on public health at many of the schools. The University of New Mexico School of Medicine has instituted a certificate in public health for its graduates; there is a required public health course at Weill Cornell Medical College of Cornell University and at the University of Toledo, College of Medicine. The University of Wisconsin School of Medicine and Public Health has become an integrated school of medicine and public health.
[교육의 연속성]은 점점 더 많은 관심을 받고 있으며, 학생들의 레지던시 전환을 준비하기 위해 필요한 캡스톤 과정인 베일러 의과대학의 APEX와 같은 프로그램을 통해 지원되고 있다. 휴스턴에 있는 텍사스 의과대학에는 "레지던시로 전환"이라는 필수 달이 있다.
The continuum of education is receiving increasing attention and is supported through programs like APEX at Baylor College of Medicine, a required capstone course to prepare students for the transition to residency. The University of Texas Medical School at Houston has a required “Transition to Residency” month.
우리가 이 에세이를 쓰는 동안에도 북미의 의과대학에는 변화가 일어나고 있다. 왜냐하면 그것들은 정적이 아니라 끊임없이 진화하는 실체이기 때문이다. 앞으로 1~2년 안에 의과대학 수가 바뀌게 되는데, 새로 인가된 모든 학교의 보고서를 이 부록에 포함시키는 것은 너무 최근에 인가받은 학교들이라 할 수 없었다. 우리는 그들이 21세기 의사들을 교육하기 위한 혁신적인 프로그램을 만들면서 그들에게서 더 많은 이야기를 듣게 될 것을 알고 있습니다.
Even as we write this essay, there is change occurring in North America's medical schools, for they are not static but, instead, are constantly evolving entities. The number of medical schools will change in the next year or two, and it was not possible to include reports from all of the newly accredited schools in this supplement because some were accredited too recently to have written about their institutions. We know we will be hearing more from them as they create innovative programs to educate physicians for the 21stcentury.
Acad Med.2010 Sep;85(9 Suppl):S2-18.
doi: 10.1097/ACM.0b013e3181f16f52.
Medical education in the United States and Canada, 2010
The authors present an overview of the educational programs, infrastructure to support them, and the assessment strategies of 128 medical schools in the United States and Canada, based on reports submitted by those schools and published in this supplement to Academic Medicine. The authors explore many important changes that have occurred since the publication of the Flexner Report in 1910 as well as the progress that is evident since a similar collection of medical school reports was published in September 2000, also as a supplement to Academic Medicine. Drawing on the reports, the authors summarize, among other topics, the advances that have taken place in the support for faculty, the funding of medical student education, changes in pedagogy and assessment, and the expansion of medical education to distributed models and regional campuses.The authors observe that the reports from the 128 schools illustrate that medical student education has undergone and continues to undergo substantive change, has advanced markedly since the reforms stimulated by the Flexner Report, and has continued to evolve during the past decade. The reports illustrate the strength of support for the educational programs, even in a time of financial constraints, and the increasing recognition of the scholarly contributions of faculty through teaching. The authors provide examples of the changes in pedagogy and new topics in the required curriculum in the past decade and describe selected highlights of the 128 educational programs.
우리의 세계관을 형성하는 것: 이론에 관한, 이론의 대화(Adv Health Sci Educ Theory Pract.2021)
Shaping our worldviews: a conversation about and of theory Lara Varpio1 · Rachel H. Ellaway2
그 유명한 맹인과 코끼리의 은유가 보여주듯이, 사람들은 종종 같은 것을 매우 다른 방식으로 본다. 실제로, 우리의 관점은 우리가 우리 주변의 세계를 인식하는 방식을 형성하고, 과거와 현재의 경험에 대한 해석을 형성하며, 우리가 가지고 있는 기대를 형성합니다. 간단히 말해서, 우리의 세계관은 중요하며, 그들은 서로 다릅니다. 학문의 맥락에서, 우리의 세계관은 우리가 연구할 가치가 있다고 여겨지는 주제들, 우리가 그것들을 어떻게 연구할 것인가, 그리고 우리의 연구에서 이끌어내는 추론들을 알려준다.
As the ubiquitous metaphor of the blind men and the elephant illustrates, people often see the same things in very different ways. Indeed, our perspectives shape the ways in which we perceive the world around us, they shape our interpretations of past and present experience, and they shape the expectations we hold. Simply put, our worldviews matter, and they differ. In the context of scholarship, our worldviews inform which topics we deem worthy of study, how we go about studying them, and the inferences we draw from our studies.
Underhill(2011)은 이것을 우리가 인식하는 것과 학자로서의 인식을 해석할 때 우리가 상상할 수 있는 것의 관점에서 설명한다. [세계관]은 [공유된 문화에 참여하는 것에서 오는 사고방식, 그리고 우리의 개인적인 성향과 관점]이다. 부르디외는 1990년 필드, 하비투스, 도사 사이의 연결고리에서 이것을 반영했다. 예를 들어, 우리가 이 논문에서 피에르 부르디유와 제임스 언더힐과 같은 사상가들을 그린다는 사실은 학자로서의 우리의 세계관을 반영합니다; 많은 독자들은, 아주 합법적으로, 세상을 다르게 볼지도 모릅니다. 그것은 어느 세계관이 옳은가 하는 문제가 아니라, 우리 분야에서 과학을 추구함에 있어서 다른 세계관을 이용하는 효용성의 하나이다. Underhill (2011) describes this in terms of what we perceive and what we can conceive in interpreting our perceptions as scholars; a worldview is the mindset that follows from participating in a shared culture, and our personal dispositions and perspectives. Bourdieu reflected on this in the links between field, habitus, and doxa (1990). As an illustration, the fact that we draw on thinkers such as Pierre Bourdieu and James Underhill in this paper reflects our worldviews as scholars; many readers may, quite legitimately, see the world differently. It is not a matter of which worldview is correct but rather one of the utility of using different worldviews in the pursuit of science in our field.
학자로서, 우리의 세계관은 우리의 훈련, 우리가 일하는 패러다임, 과학의 담론(다른 세계관 사이의 갈등과 토론을 포함), 우리의 일에 영향을 미치는 개인적, 사회적 요소, 그리고 우리가 일하는 구체적인 맥락을 포함한 많은 힘에 의해 형성된다. 이러한 요소들이 중요하듯이, 이 논문의 초점은 학문적 노력에 있어서 우리가 (그리고 종종 의존하는) 이론에 있다.
As scholars, our worldviews are shaped by many forces, including our training, the paradigms we work within, the discourses of science (including the conflicts and debates between different worldviews), the personal and social factors that influence our work, and the specific contexts within which we work. Important as these factors are, the focus of this paper is on the theories we draw on (and that often we rely on) in our scholarly efforts.
이론은 무엇인가?
What is theory?
[이론]은 여러 가지 방법으로 정의되었으며, 그 중 어느 것도 궁극적으로 권위적인 것은 없다. 그러나 이러한 정의는 일반적으로 Kerlinger의 정의를 반영한다. "[현상]에 대한 [설명과 예측]을 목적으로 [변수 간의 관계]를 명시함으로써, 현상에 대한 [체계적인 관점]을 제시하는 일련의 상호 관련된 [구조, 정의, 명제]"이다. (1970). Theory has been defined in many ways, none of which is ultimately authoritative, However, these definitions generally reflect the definition from Kerlinger:
“a set of interrelated constructs, definitions and propositions that presents a systematic view of phenomena by specifying relations among variables, with the purpose of explaining and predicting the phenomena”. (1970).
이론을 이해하고 이용하는 방법에는 여러 가지가 있다. 이론은 개념화할 수 있다.
특정 영역(예: 사회과학 이론과 생물의학 이론의 비교)의 발전으로서,
주의의 위치에 대한 다른 범위를 가지는 것으로서(예: 행동 이론 대 실천 이론),
서로 다른 목표(예: 설명 대 예측 대 해방),
가변적인 foci (예를 들어, 주제 이론 [온톨로지], 가치 이론 [온톨로지], 방법 이론 [온톨로지]), 그리고
서로 다른 설명력(예: 대 이론, 거시적 이론, 중간 범위 이론, 미시적 이론)을 가지고 있는 것처럼 말이다.
There are many ways of understanding and using theories. Theories can be conceptualized
as being developments from specific domains (e.g., social science theories vs biomedical theories),
as having different scopes for the locus of attention (e.g., theories of behavior vs theories of practice),
as aiming to achieve dissimilar goals (e.g., description vs prediction vs emancipation),
as having variable foci (e.g., theories of subject matter [ontological], theories of value [axiological], theories of methods [epistemological]), and
as having different explanatory powers (e.g., grand theories, macro-theories, middle-range theories, micro-theories).
이론을 사용할 수 있다.
촉매 및 기초 가설 생성기(예: 객관적 연역적 연구)로서
연구 전체에 inform하는 전제(예: 주관주의자의 완전한 이론 정보 유도 연구)의 기초 집합으로서, 그리고
데이터 분석을 알리는 분석 도구로서(예: 주관주의 이론 정보 유도 데이터 분석) (Varpio et al. 2020)
Theory can be used
as the catalyst and foundational hypothesis generator (e.g., objectivist deductive research),
as the underpinning set of premises that informs the entirety of a study (e.g., subjectivist fully theory-informed inductive research), and
as an analytical tool that informs data analysis (e.g., subjectivist theory-informing inductive data analysis) (Varpio et al. 2020).
이러한 모든 개념화와 용도는 합리적입니다. 이러한 개념화나 용도의 어느 것도 그 자체에서나 "옳은" 것은 아니다; 우리가 이론을 사용하는 방법은 여러 가지 우연한 요인에 달려 있다.
All of these conceptualizations and uses are reasonable. None of these conceptualizations or uses is “right” in and of itself; how we use theory depends on multiple coinciding factors.
실천에는 이론이 필요하다. 이론은 실천을 필요로 한다. Practice requires theory. Theory requires practice
이론이 무엇인지에 대한 정의는 많지만, 우리는 [이론이란, 우리가 현상을 이해하는 데 도움이 되도록, 개념들 사이의 관계에 대한 추상적인 설명을 제공하는, 논리적으로 관련된 일련의 명제]라는 생각으로 포괄할 수 있다(Varpio et al. 2020). "이론"이라는 용어의 사용은 종종 다원적이고 모호하다. 모델 및 프레임워크를 언급하고, 특정 가설과 헌치를 언급하며, 광범위한 메타 서술에 사용될 수 있다. 이론은 산문 문장, 수학 공식, 도표와 삽화로 표현될 수 있다. 이러한 다양성이 단점으로 보일 수 있는 만큼, 우리는 우리의 경쟁적이고 얽힌 분야의 정신으로 보건직업 교육의 과학에서도 그것이 강점으로 볼 수 있다고 주장할 것이다. Although there are many definitions of what theory is, we can try to encompass them by holding to the idea that a theory is a set of propositions that are logically related, providing an abstract description of the relationships between concepts to help us understand a phenomenon (Varpio et al. 2020). Having said that, the use of the term ‘‘theory’’ is often polysemic and ambiguous: it can be used to refer to models and frameworks, to specific hypotheses and hunches, and to broad metanarratives. Theory can be expressed as prose statements, as mathematical formulae, and as diagrams and illustrations. As much as this diversity might seem a disadvantage, we will, in the spirit of our contested and entangled field, argue that, in the sciences of health professions education, it can also be seen as a strength.
이론의 역할은 우리가 우리 주변의 세상과 그것을 경험하는 방법을 이해할 수 있도록 돕는 것입니다. 그것들이 추상적인 만큼, 이론은 실제 경험들과 밀접하고 직접적으로 연결되어 있다. 실제로, [이론의 중심적 특징]은 [경험, 설명, 또는 예측의 추상화]이다. 이론은 [복잡한 현상에 대한 개념적 틀을 제공(또는 제공해야 한다)하여 우리가 그것들을 더 잘 이해할 수 있도록, 심지어 다른 방식으로 인식하도록] 도와준다(Hodge and Kuper 2012). The role of theory, then, is to help us to make sense of the world around us and the ways in which we experience it. As much as they are abstractions, theories are intimately and directly connected to practical experiences. Indeed, it is the abstraction of experience, explanation, and/or prediction that is a central characteristic of theory. Theory provides (or should provide) a conceptual framing of complex phenomena, which helps us to better understand them, even to perceive them in different ways (Hodges and Kuper 2012).
어느 쪽이든, practice에 참여하려면 실무자가 작업 중인 현상에 대해 일종의 추상적인 이해를 해야 한다(Artino 및 Konopasky 2018). 칸트(Kant)가 관찰하고 많은 다른 사람들이 반추했듯이: "실천 없는 이론은 공허하다; 이론 없는 실천은 맹목적이다." 우리는 이 주장을 질문의 순환으로 재창조할 수 있다(그림 1 참조). 그 자체가 실체를 발견하는 메타 이론이다, 우리는 ADDIE 교육 모델(1984년)에 대한 콜브의 연구에서 주장할 것이다.Molenda 2003) 및 PDSA 모델과 같은 감사 주기(Taylor et al. 2014). Either way, engaging in practice necessitates that practitioners have some kind of abstract understanding of the phenomena they are working with (Artino and Konopasky 2018). As Kant (is supposed to have) observed and many others have echoed: ‘‘theory without practice is empty; practice without theory is blind.’’ We can reprise this assertion as a cycle of enquiry (see Fig. 1), itself a metatheory that finds substance, we would argue, in Kolb’s work on experiential learning (1984), the ADDIE instructional design model (Molenda 2003), and audit cycles such as the PDSA model (Taylor et al. 2014).
HPE 연구자와 교육자에게, 이론과 실제의 이 얽힌 순환은 우리의 모든 노력의 기초를 제공한다. 일부 학자들은 역사적으로 기악적이고 이론적인 연구가 HPE의 학습과 변화에 대한 연구를 지배해왔다고 주장한다(Kilminster 2017). 그러나 우리는 (다른 사람들이 그랬던 것처럼) 항상 질문을 알리는 이론이 있다고 주장할 것이다. HPE 연구자들을 압박하는 우려는 두 가지이다.
(1) 이론들은 얼마나 명시적 또는 암시적으로 inquiry를 shaping하는가?
(2) 연구자들은 이론이 그들의 실천에 미치는 영향을 얼마나 염두에 두고 있는가?
For HPE researchers and educators, this intertwined cycle of theory and practice provides the foundations of all our efforts. Some scholars contend that instrumental, atheoretical research has historically dominated HPE’s inquiry into learning and change (Kilminster 2017); however, we would argue (as others have, including Rees and Monrouxe (2010)) that there is always theory informing inquiry. The concern that presses upon HPE researchers is twofold:
(1) how explicit or implicit are the theories shaping inquiry, and
(2) how mindful are scholars of the influence these theories have on their practices?
가설-연역적 조사는 이론에 기초한 정교한 제안 또는 제안인 가설의 제안과 테스트를 통해 진행된다. 가설과 이론의 관계는 이 패러다임에서 일하는 데 필수적인 부분이다. 근거 이론(물론 이론 자체가 아니라 이론을 생성하는 방법)과 같은 유도적 접근 방식은 이론과 상당히 다른 관계를 가지고 있다. hypothetico-deductive inquiry proceeds through proposing and testing hypotheses which are elaborations or propositions based on theory. The relationships between hypothesis and theory are an essential part of working in this paradigm. Inductive approaches, such as grounded theory (which of course is not a theory per se but a way of generating theory) have quite different relationships with theory.
이론을 사용하기
Using theory
이론을 개념화하는 방법과 사용하는 방법의 다원성은 HPE 학자들이 이론에 대해 어떻게 생각하고 어떻게 사용하는지를 아는 것을 어렵게 만들 수 있다. The plurality of ways of conceptualizing theory and of using it can make it difficult for HPE scholars to know how to think about and how to employ theory.
우리는 종종 [우리가 이용할 수 있는 이론적 옵션의 만화경에 압도]당하거나, [우리가 익숙한 옵션 이외의 이론적 옵션이 아닌 것에는 무지하다는 것]을 발견한다. we often find ourselves either overwhelmed by the kaleidoscope of theoretical options available to us or blinded to theoretical options other than those we are familiar with.
이러한 복잡성은 동일한 현상을 다루는(또는 적어도 다루는 것처럼 보이는) 많은 다양한 이론이 있다는 사실 때문에 더욱 악화될 뿐이다. 학습 이론이 그 좋은 예이다. 행동, 인지, 처리, 내용, 동기 부여 및 자기 규제 등과 관련된 많은 이론들을 설명함으로써 Schunk의 백과사전적 논문이 설명되었다 (2000년). 마찬가지로, 측정 이론과 비판 이론과 같은 영역들은 각각 그 자체로 이론이 되기보다는 대조적이고 교차하는 많은 이론들을 포함한다.
This complexity is only exacerbated by the fact that there are often many different theories that address (or at least seem to address) the same phenomenon. Learning theory is a case in point, as Schunk’s encyclopedic (and yet far from exhaustive) treatise on the topic illustrated by describing a multitude of theories related to behaviour, cognition, processing, content, motivation, and self-regulation and so on (2000). Similarly, domains such as measurement theory and critical theory each involve many contrasting and intersecting theories rather than being theories in their own right.
뭉뚱그려 말하자면 이렇다: 그 현상이 더 복잡할수록, 그것을 설명하기 위해 더 많은 이론이 필요하다. "학습"이라는 HPE 분야의 중심 관심사를 예로 들어보자. 학습을 다루는 많은 이론이 있다(예: 행동 학습 이론, 경험적 학습 이론, 성인 학습 이론, 변형 학습 이론, 위치 인식 이론). 그리고, 이 각각에서, 여러 학자들이 다른 사람들의 이론과 일치하거나, 분리하거나, 공존할 수 있는 이론을 개발하는 토론이 있습니다.
As a general rule of thumb: the more complex the phenomenon, the more theory is needed to explain it. Take for example a central concern in the field of HPE: learning. There are a multitude of theories that address learning (e.g., behavioral learning theory, experiential learning theory, adult learning theory, transformative learning theory, situated cognition theory). And, within each of these, there are debates where scholars develop theories that can align, diverge, or coexist with the theories of others.
예를 들어, 위치 인식 이론situated cognition theory은 다양한 형태를 가지고 있지만, 그들은 모두 인식은 상황적situated이며, 학습은 현장 학습과 불가분의 관계라는 생각을 공유한다(Jenkins 2013).
위치 인식 이론에 주요한 공헌을 한 이론가들은 Lave와 Wenger (1991)와 Brown et al. (1989)이 있다. 설립 기여자로 인정받았지만, 이들 저자에 의해 제시된 이론들은 상당한 비판을 받아왔고, 여러 학자들이 situated cognition을 뒷받침하는 가정에 도전했다(Boaler 1993).
비판자들은 이론 자체의 실증적 검증가능성empirically testable이 명확하지 않음에 의문을 제기하면서, situated cognition theory의 핵심적 가정을 dismiss하고, 이 이론에 치명적인 결함이 있다고 주장하였다(Anderson et al. 1996).
이러한 방식으로, 새로운 위치 인식 이론이 개발되고, 그 주기는 학자들이 새로운 이론에 도전하고, 질문하고, 수정하고/또는 기각하면서 계속된다. 우리는 어떤 현상을 더 잘 이해하기 위한 노력으로 우리의 이론을 개발하고 파괴하고 있습니다.
For example, situated cognition theory has varied forms but they all share the idea that cognition is situated, and that learning is inseparable from learning in situ (Jenkins 2013). Theorists who have made major contributions to situated cognition theory include Lave and Wenger (1991), and Brown et al. (1989). While recognized as founding contributors, the theories put forth by these authors have been highly criticized, leading other scholars to challenge the assumptions underpinning situated cognition (Boaler 1993), to question the viability of the theory itself since it is not clearly empirically testable (Renkl et al. 1996), and to dismiss the central claims of situated cognition theory as fatally flawed (Anderson et al. 1996). In this way, new situated cognition theories are developed, and the cycle continues with scholars challenging, questioning, revising and/ or dismissing the new theory. We continue to develop and destroy our theories, all in an effort to better understand a phenomenon.
[Inquiry라는 행위]에서 여러 다른 이론의 기능이나 의도를 구별하는 것도 도움이 될 수 있다.
일부 이론은 학습과 인지 이론, 현상학, 민족학과 같은 탐구 주제subject에 초점을 맞춘다(존재론적 이론).
다른 이론은 표본 추출, 담론 또는 오류와 같은 탐구에서 지식에 대한 접근에 초점을 맞추고(인식론적 이론),
다른 이론은 윤리, 비판 이론 또는 미학과 같은 조사의 가치 문제에 초점을 맞추고 있다(가치론적 이론). 그림 2를 참조한다.
It can also be helpful to distinguish between the function or intent of different theories in acts of inquiry.
Some theories focus on the subject of inquiry, such as learning and cognitive theory, phenomenology, and ethnography (ontological theories).
Other theories focus on approaches to knowledge in inquiry, such as sampling, discourse, or error (epistemological theories), and yet
other theories focus on matters of value in inquiry such as ethics, critical theory, or esthetics (axiological theories)—see Fig. 2.
요약하자면, 학문적 탐구와 서로 다른 방식으로 상호작용하는 개별 현상에 대한 많은 다양한 이론들이 있으며, 이러한 이론들은 항상 진보되고, 논쟁하고, 세련되고, 업신여기고, 그 뒤에 다른 학자들이 따라오고 있다. 주어진 현상에 대해 배타적이고 본질적으로 "옳은" 이론은 없다. To summarize, there are many different theories about individual phenomena that interact with scholarly inquiry in different ways, and these theories are always being advanced, contested, refined, upended, and followed by different scholars. There is no theory that is exclusively and intrinsically “right” for any given phenomenon.
성찰적 이론적 성찰성
Reflexive theoretical reflexivity
영어 단어 "이론"은 [외모나 시선look or gaze]을 뜻하는 그리스어에서 유래되었는데, 그것이 바로 이론이 하는 것이다. 이론은 안경이나 선글라스를 쓰는 것과 같다: 그것은 우리가 어떤 방식으로 현상을 볼 수 있게 해준다. 이론들은 우리가 그것들과 더 쉽게 또는 더 집중적인 방법으로 일할 수 있도록 현상을 설명한다. 그러나 케네스 버크가 유명하게 말했듯이, "모든 보는 방법은 또한 보지 않는 방법이다." (Burke 1935, 페이지 70) HPE 학문과 실천의 핵심인 복잡성과 씨름할 수 있도록 여러 가지 이론이 필요하다.
The English word theory is derived from the Greek word for look or gaze—that is what theory does. Theory is like wearing eyeglasses or sunglasses: they allow us to look at phenomena in certain ways. Theories explain phenomena so we can work with them more easily or in a more focused way. But, as Kenneth Burke famously stated, “every way of seeing is also a way of not seeing” (Burke 1935, p. 70). We need multiple theories to help us see phenomena from a variety of ways so that we can grapple with the complexity that lies at the heart of HPE scholarship and practice.
이론은 우리에게 절대적인 진실에 대한 통찰력을 제공하지 않는다. 그것들은 우리가 씨름하고, 동의하고, 동의하지 않고, 거부하거나 받아들일 수 있는 설명과 상세한 전제를 제공한다. 모든 이론은 우리에게 특정한 시각을 제공한다. 우리가 이용할 수 있는 많은 다양한 시각 방법을 파악함으로써 비로소 우리는 안경 렌즈의 상호교환성을 이해하고 우리가 이용할 수 있는 모든 시각 방법을 이해할 수 있다. 세계관의 중요성은 부르디유와 다른 사람들로부터, 학자들이 '반사 반사성reflexive reflexivity'을 추구해야 한다는 요구에 반영되어 있다. 즉, 우리가 어떻게 학문 활동에 종사하는가engage에 대한 지속적인 비판적 인식이다. (Bourdieu와 Waquant 1992)
Theories do not offer us insights into absolute truths; they offer explanations and detailed premises that we can wrestle with, agree with, disagree with, reject and/or accept. Every theory offers us a particular way of seeing. It is only by grasping the many different ways of seeing available to us that we can then understand the interchangeability of the lenses in our glasses and understand all the ways of seeing available to us. The importance of worldview is reflected in the calls, from Bourdieu and others, for scholars to pursue ‘reflexive reflexivity’–a constant critical awareness of how we engage in our scholarly activities. (Bourdieu and Wacquant 1992).
Review
Adv Health Sci Educ Theory Pract.2021 Mar;26(1):339-345.
doi: 10.1007/s10459-021-10033-2.Epub 2021 Feb 11.
Shaping our worldviews: a conversation about and of theory
1Center for Health Professions Education & Department of Medicine, F. Edward Hébert School of Medicine, Uniformed Services University of the Health Sciences, 4301 Jones Bridge Road, Bldg53 Suite123, Bethesda, MD, 20814, USA. lara.varpio@usuhs.edu.
2Department of Community Health Sciences, Cumming School of Medicine, The University of Calgary, Calgary, AB, Canada.
