걸출한 교육자 되기: 성공에 대하여 뭐라고 말하는가? (Adv Health Sci Educ Theory Pract, 2020)

Becoming outstanding educators: What do they say contributed to success?
Larissa R. Thomas1 · Justin Roesch2 · Lawrence Haber1 · Patrick Rendón2 · Anna Chang3 · Craig Timm2 · Summers Kalishman4 · Patricia O’Sullivan5

도입

Introduction

의료교육 경력에서 성공하는 길은 초기 경력 교수진과 특히 지도를 하는 부서장, 부서장, 선배 멘토에게 수수께끼처럼 보일 수 있지만, 그들 자신의 경험이 종종 기초 과학자 또는 임상 조사원으로서이다. 연구 커리어에서 교수진(예: 보조금 및 논문 수)이 경력 진행을 위한 단계와 메트릭을 정의한 것과 달리, 의학 교육에서 주니어 교수가 성공적인 경력 궤적을 위한 유사한 로드맵 개요 벤치마크가 부족하다(Sanfey 및 Gantt 2012). 또한 멘토가 있을 수 있지만, 공식적인 멘토 관계와 멘토링 전략에 대한 지침은 덜 일반적이다(Feldman et al., 2010). 교수개발 프로그램은 이러한 가이드를 제공할 수 있는 하나의 장소이지만, 현재 의학교육의 교수진 개발 프로그램은 종종 명시적으로 커리어 개발에 초점을 맞추기보다는, 교수기술 강화에 초점을 맞추고 있다(Irby and O'Sullivan 2018).
The pathway to success in medical education careers can appear enigmatic to early-career faculty and especially to department chairs, division chiefs, and senior mentors who provide guidance, but whose own experiences often are as basic scientist or clinical investigators. In contrast to faculty in research pathways, who have defined steps and metrics for career progression (such as numbers of grants and articles), junior faculty lack a similar roadmap outlining benchmarks for a successful career trajectory in medical education (Sanfey and Gantt 2012). Furthermore, while mentors may be available, formal mentoring relationships and guidance on mentorship strategies are less common (Feldman et al. 2010). Although faculty development programs are one venue that could provide such guidance, current faculty development programs in medical education often focus primarily on technical skill-building rather than explicitly on career advancement (Irby and O’Sullivan 2018).

연구자들은 직업 궤도에 대한 영향을 이해하기 위한 개념적 프레임워크로서 사회 인지 직업 이론(SCCT)(Lent et al. 1994)을 자주 그린다. SCCT는 사회 인지 학습 이론(Bandura 1986)의 기초 위에서 확장하여 개별 요인(배경, 성별, 민족 등)과 상황적 요인(환경 및 동료와의 상호작용 등) 사이의 상호작용이 어떻게 자기 효율성과 결과 기대치를 이끌어 내 직업 관심사, 목표 및 성과에 영향을 미치는지를 설명한다. 경력개발과 관련된 적응적 과정adaptive process을 더 잘 다루기 위해, SCCT 이론가들은 경력개발을 고려함에 있어서 프로세스 차원process dimension을 포함시킬 것을 제안했다. 이러한 프로세스 차원에는 다음이 있다.

• 커리어 도전과 일상적인 경력 결정,
• 커리어 전환 협상,
• 커리어 내 개인적 목표 통합 및 추구,
• 다양한 역할의 관리 및 경력 지연 검토(Lent and Brown 2013)
  

Researchers frequently draw on the social cognitive career theory (SCCT) (Lent et al. 1994) as a conceptual framework to understand influences on career trajectory. SCCT expands on the foundation of social cognitive learning theory (Bandura 1986) to describe how the interaction between individual factors (such as background, gender, ethnicity), and contextual factors (such as environment and interactions with peers) drives self-efficacy and outcome expectations to influence career interests, goals and performance. To better address the adaptive processes associated with career development, SCCT theorists proposed including process dimensions in considering career development. Some of these process dimensions include

• examining career challenges and routine career decisions,
• negotiation of career transitions,
• integration and pursuit of personal goals within one’s career,
• management of multiple roles and examination of career setbacks (Lent and Brown 2013).
  
  

이번 연구는 의학교육자의 경력을 연구하는 데 SCCT를 포함한 다양한 프레임워크를 사용했다. 여러 연구가 SCCT의 렌즈를 이용한 의료 교육자 경력과 관련 이론을 조사했으며, 주로 초기 경력 교수진의 경험을 살펴보았다
Researchers have used various frameworks, including SCCT, in studying the careers of medical educators. Several studies have examined medical educator careers using the lens of SCCT and related theories, primarily looking at experiences of early-career faculty.

변화 변화를 연구하고 의료 교육 교직원의 형성을 식별한 다른 연구자들은 의료 교육에서 다양한 직업 단계와 관련된 긴장 및 다면적인 차원을 해석하기 위해 실무 커뮤니티의 중요한 이론적 프레임워크를 식별했다(Sethi et al., 2017). 경력 개발에 대한 연구는 또한 Schlossberg의 4S(자기, 상황, 지원 및 전략)를 사용하여 전환 이론transition theory에서 끌어낸 Browne 외(2018)가 포착한 정체성 형성과 중복된다.

Other researchers studying transformational change and identify formation of medical education faculty identified an overarching theoretical framework of communities of practice to interpret the tensions and the multi-faceted dimensions associated with various stages of careers in medical education (Sethi et al. 2017). Studies on career development also overlap with identify formation as captured by Browne et al. (2018), who drew from transition theory using Schlossberg’s 4 Ss (self, situation, support and strategy).


방법

Methods

이 연구는 연구자와 연구자 간의 상호 작용이 의미를 발생시킨다는 것을 인식하면서 건설주의적 패러다임에 뿌리를 두고 있다(Ng 등. 2019). SCCT가 지도한 이전 연구에서 확립된 우수 교육자의 관점을 더 탐구할 수 있는 기회를 확인했기 때문에, 본 연구는 SCCT를 참조 프레임워크로 채택하여 주제분석 접근 방식을 사용했다.

This research is rooted in a constructivist paradigm, recognizing that the interaction between researchers and those whom they study produces meaning (Ng et al. 2019). Because prior work guided by SCCT identified opportunities for further exploration of perspectives of established outstanding educators, this study used the approach of thematic analysis (Braun and Clarke 2006), employing SCCT as a reference framework.

이번 연구에는 두 개의 사이트가 포함되었는데, 두 개의 서로 다른 학문의 환경을 대표한다는 목표로 편의 표본으로 선정되었다. 둘 다 공립 대학이다. 캘리포니아 대학교 샌프란시스코(University of California San Francisco, UCSF)는 학부 및 대학원 교육을 위한 의료 센터와 프로그램을 갖춘 종합 대학이다. UNM의 의료캠퍼스는 UCSF에 비해 규모가 작고 오랜 기간 동안 의료 교육 인프라가 구축되지 않았다.
The study included two sites, which were selected as a convenience sample with the goal of representing two different academic environments. Both are public universities. The University of California San Francisco (UCSF) is an academic medical center and the University of New Mexico (UNM) is a comprehensive university with both a medical center and programs for undergraduate and graduate education. UNM’s medical campus is smaller compared to UCSF and has had less longstanding medical education infrastructure.

연구 참여자는 직접 교육, 커리큘럼 개발, 평가, 멘토링/자문 및 리더십/관리 분야에서 의료 교육 내에서 중요한 역할 또는 인정을 받은 전임 의사 또는 부교수 수준의 교수였다. 8명으로 구성된 조사팀에는 2개의 현장 기반 팀이 포함되어 있으며, 각 팀에는 2명의 주니어 및 2명의 수석 의료진, 2명의 선임 교수진에는 모두 임상의, 2명의 임상의와 2명의 의사가 준비된 교육자가 포함되어 있다.
Study participants were full-time physician faculty at the full or associate professor level with prominent roles or recognition within medical education in the areas of direct teaching, curriculum development, assessment, mentoring/advising and leadership/management. The eight-member investigator team included two site-based teams, each with two junior and two senior medical education faculty; the junior faculty were all clinicians, and the senior faculty included two clinicians and two doctorally-prepared educators.


그런 다음 각 현장 기반 팀은 2006년 AAMC 컨센서스 콘퍼런스(Simpson et al. 2007)에서 제정된 기준에 따라 의료 교육에 대한 기여의 주요 분야로 후보자를 하나 이상 분류했다. 직접 교육, 커리큘럼 개발, 평가, 조언 및 멘토링, 교육 리더십/행정. 이러한 범주 중 하나 이상에 대한 중요성(보급 및 평판 증명)은 참여 자격을 갖추기 위한 요건이었다.
Each site-based team then categorized each candidate by one or more primary areas of contribution to medical education according to criteria established in the 2006 AAMC consensus conference (Simpson et al. 2007): direct teaching, curriculum development, assessment, advising and mentoring, and educational leadership/administration. Prominence (as demonstrated though dissemination and reputation) in one or more of these categories was a requirement to be eligible for participation.

연구팀은 SCCT로부터 informed된 인터뷰 가이드를 개발했으며, 각 현장에서 연구 샘플에 포함되지 않은 1–2명의 교수진을 대상으로 시범 실시한 후 가이드를 세분화하여 6개의 주요 질문을 프로브와 함께 작성했다("부록 1" 참조). 면접관은 소급 재검사에서 발생할 수 있는 리콜 편향을 방지하기 위해 참가자의 경험과 관련된 추가 특이성, 상세성, 컨텍스트 및 이벤트를 장려하기 위해 조사를 사용했다.

The team developed an interview guide informed by SCCT, which was piloted at each site with 1–2 faculty not included in the study sample, then refined the guide, resulting in 6 main questions with probes (See “Appendix 1”). Interviewers used probes to encourage additional specificity, detail, context, and events related to the participant’s experiences, in order to guard against recall bias that could emerge from a retrospective recounting.

팀 전체가 추가 조사를 위해 초기 인터뷰를 검토했다. 연구팀은 SCCT의 세 가지 광범위한 주제인 자기효능주의 신념, 결과 기대치, 개인적 목표를 사용하여 두 개의 대본을 검토함으로써 초기 코드북을 개발했다. 이러한 테마는 교육자의 경력 관점을 분류하는 출발점이 되었고, 이를 확장하여 추가 코드를 포함시켰다. 코드북은 광범위한 논의와 추가적인 대본 검토와 재검토를 통해 다듬어지고 최종 마무리되었다. 그 후 두 명의 수사관에 의해 각각의 녹취록은 독립적으로 코딩되었다. 즉, 인터뷰 대상자와 같은 사이트의 선임 수사관이 다른 사이트의 하위 수사관과 함께 작업했다. 각 쌍은 코딩의 차이를 판단하기 위해 만났고, 선임 조사관은 필요한 경우 면접 대상 기관에 대한 상황 정보를 명확히 했다. 이 조사관은 최종 합의 코드를 Dedoose (CA, Hermosa Beach)에 입력했다. 각 인터뷰 대상자가 식별된 주제와의 정렬을 검토하기 위한 경력 궤적을 설명하는 요약서를 개발하는 등 데이터의 신뢰성을 보장하기 위한 많은 단계가 수행되었다(Shenton 2004). 인터뷰는 정보 충분성에 도달할 때까지 계속되었으며, 이후 인터뷰에서도 유사한 주제가 나타났다(Malterud et al., 2016).
The entire team reviewed initial interviews to refine additional probes. The team developed an initial codebook by reviewing two transcripts using three broad themes from SCCT: self-efficacy beliefs, outcome expectations, and personal goals. These themes served as a starting point for categorizing educators’ perspectives of their careers and they were expanded upon and additional codes included. The codebook was refined and finalized through extensive discussion and further transcript review and re-review. Each transcript was then independently coded by hand by two investigators: a senior investigator from same site as the interviewee worked with a junior investigator from the other site. Each pair met to adjudicate differences in coding, with the senior investigator clarifying contextual information about the interviewee’s institution where necessary. The junior investigator entered the final consensus codes into Dedoose (Hermosa Beach, CA). Many steps were taken to ensure trustworthiness of the data, including developing a summary for each interviewee to describe their career trajectory to examine for alignment with the identified themes (Shenton 2004). Interviews were continued until information sufficiency was reached, with similar themes appearing in subsequent interviews (Malterud et al. 2016).

코딩에 이어, 팀은 코드 보고서를 검토하고 테마를 합성하고 궤적 스토리와 정렬을 결정하는 반복적인 프로세스를 시작했다. 이 과정은 1년 동안 여러 팀 회의를 통해 수행되었습니다. 테마는 SCCT의 요소를 유지하였고, 유도적으로 개발된 코드와 토론은 최종 테마를 도출한 경력 개발에 대한 세부 사항으로 이어졌다. 각 테마는 참가자 번호로 식별된 지지 인용문과 함께 설명됩니다.

Following coding, the team began an iterative process of reviewing the code reports, synthesizing themes and determining alignment with trajectory stories. This process was done over the course of a year with a number of whole team meetings. The themes sustained elements from the SCCT, and the inductively developed codes and discussions led to elaborations about career development that resulted in the final themes. Each theme is described with supporting quotes identified by a participant number.

성찰성

Reflexivity

[팀의 폭넓은 경험]은 특정한 편견에서 생길 수 있는 해석에 도전하는데 도움이 되었다. 즉, 선배들은 대부분 교수진 개발에 투자를 했고, 후배들은 커리어 가이드guidance를 구했다. 건설주의 패러다임에서 우리는 후배 교수팀원들이 면접을 진행하고 면접지도자의 발전을 이끌도록 의도적으로 선택했는데, 이들이 진로지도에 대한 자신의 관점을 대변했기 때문이다. 이 결정이 면접 조사 선택과 데이터 해석에 영향을 줄 수 있었지만, 이 잠재적 성찰성은 인터뷰 가이드 작성 및 분석 중에 빈번한 회의와 연구팀의 고위 구성원(기관 내 및 기관 간 모두)과 짝을 이루어 균형을 이루었다. 그 견해는 최종 테마를 설명하는 과정에서 서로 균형을 이루었다.

The team’s breadth of experience was helpful to challenge interpretations that could arise from particular biases: senior members largely had an investment in faculty development, and the junior members sought career guidance. From a constructivist paradigm, we intentionally chose to have junior faculty team members conduct interviews and lead the development of the interview guide, since they represented the perspective of those who were themselves seeking career guidance. Although this decision could have influenced choice of interview probes and interpretation of data, this potential reflexivity was balanced by frequent meetings and pairing with the senior members of the study team (both within and across institutions) during interview guide creation and analysis. The views balanced each other in the elucidation of the final themes.

결과

Results

표 1은 참가자를 설명합니다(표 1 참조).
Table 1 describes the participants (see Table 1).

테마 1: 기회는 준비된 마음을 선호한다.
Theme 1: opportunity favors the prepared mind

참가자들은 역할에 대한 준비를 하고 의료교육의 초기 성공을 이끈 초기 경험을 떠올리는 경우가 많았다. 이러한 경험은 종종 보호되는 시간 없이 관심 영역에서 자원봉사를 하는 것과 관련이 있다. 개인은 자신의 관심분야를 다른 사람들에게 분명하게 전달했고, 그랬기에 발생하는 기회를 이용할 준비가 되어 있었다. 
Participants often recalled early experiences that prepared them for roles and led to initial successes in medical education. These experiences frequently involved volunteering in an area of interest without protected time. Individuals communicated their interests explicitly to others and were therefore poised to take advantage of opportunities that occurred. 

하위 테마: 첫 번째 기회로 이어지는 우연성에 대한 인식
Sub theme: perception of serendipity leading to first opportunities

기회가 생겼을 때, 연구 참가자들은 종종 이러한 성공을 우연한 감각이나 (우연히) '적절한 시기에 알맞은 장소'에 있기 때문이라고 했다. 그러나 많은 경우(예: 직책 개설을 유도하는 교직원의 퇴직)에 기회 또는 타이밍 요소가 존재했지만, 사전 작업 및 준비는 일반적으로 고려 대상이 되었다.

When opportunities arose, study participants frequently attributed these successes to a sense of serendipity or being in the “right place at the right time.” However, while some element of chance or timing did exist in many cases (for example, retirement of a faculty member leading to a position opening), prior work and preparation had usually positioned them for consideration.

하위 테마: 솔선수범하고 "예"라고 말함
Subtheme: taking initiative and saying “yes”

또 다른 하위 주제는 자발적으로 기회를 요청하는 것의 중요성과 자신의 초기 경력에서 생겨난 기회들에 대해 정기적으로 "예"라고 말하는 것이었다. 이러한 활동은 많은 참가자들에게 새로운 역할과 기회로 직결되었다. 
Another sub-theme was the importance of taking initiative to ask for opportunities, as well as regularly saying “yes” to opportunities that arose in one’s early career. This proactivityled directly to new roles and opportunities for many participants. 

테마 2: 초기의 성공이 중요하다.
Theme 2: early successes matter

초기 성공은 종종 새로운 기회로 이어졌으며, 종종 리더십 위치 또는 역할의 형태로 가시성, 네트워킹 기회 및 추가 책임으로 이어졌다. 
Early successes often led to new opportunities, frequently in the form of leadership posi-tions or roles that led to increased visibility, networking opportunities, and additional responsibility. 

게다가, 이러한 초기의 성공은 자신감을 키우는 것이었고, 의료 교육자로서의 진로를 재확인했다.
Additionally, these early successes were confidence-building and reaffirmed the career path of being a medical educator.

Theme 3: 교수진 개발 프로그램은 직업 가속기
Theme 3: faculty development programs are career accelerators

거의 모든 참가자들이 공식적인 (교수)개발 프로그램을 마쳤습니다. 교수진 개발은 기술을 개발하고, 네트워크를 개선하고, 추가 개발에 대한 관심을 촉진함으로써 직업 가속기 역할을 했습니다. 역량 습득 측면에서 교수개발 프로그램은 기존에 생소했던 교육원리, 교육이론, 전략 등을 명확히 하고, 의료교육에 대한 관심을 더욱 증폭시켰다.
Nearly all participants had completed a formal development program. Faculty development served as a career accelerator by developing skills, enhancing a network, and spurring an interest in further development. In terms of skills acquisition, faculty development programs clarified pedagogical principles, educational theory, and strategies that were previously unfamiliar, and fueled their further interest in medical education.

참가자들은 또한 동료 교육자 네트워크에 연결함으로써 얻을 수 있는 예상치 못한 이점을 설명했는데, 이는 참가자들을 부서 밖의 새로운 아이디어에 노출시킬 뿐만 아니라 향후 작업에 대한 협업과 지원을 위한 자원으로도 작용했다.
Participants also described unanticipated benefits of connection to a network of fellow educators, which not only exposed participants to new ideas outside of their departments, but also served as a resource for collaboration and support for future work.

테마 4: 멘토들의 마을이 필요하다.
Theme 4: it takes a village of mentors

오늘날 존재하는 등 공식적인 멘토링 프로그램을 접하지 못한 참가자가 많았지만, 모든 참가자가 멘토를 확인했다. 멘토는 주로 진로·동료 멘토로 참여자들이 다음 단계의 우선순위를 정할 수 있도록 돕고, 새로운 기회에 대해 알리고, 직책·발전기회 지원을 독려하는 데 중요한 역할을 했다.
Though many participants did not have access to formal mentoring programs such as exist today, all participants identified mentors. Mentors were primarily career and peer mentors, and played an important role in helping participants prioritize next steps, alerting them to new opportunities, and encouraging them to apply for positions and development opportunities.

참가자들은 특히 [학문적 일을 추진하는 데 있어 원동력이 되는] 동료 멘토에 대해 종종 말했다.

Participants often spoke about peer mentors who seemed to be driving forces, particularly in the pursuit of scholarly work

Theme 5: 네트워크는 경력을 발전시킵니다.
Theme 5: networks advance careers

내부/국내/외부/국내 네트워크 모두 경력 발전을 촉진했고, 전문 학회와 같은 공식 네트워크 및 동료 커뮤니티와 같은 비공식 네트워크를 포함했다. 참가자들은 주로 멘토, 의료교육 역할 참여, 교수 개발 프로그램을 통해 이들 네트워크에 진입했으며, 의료교육 공동체의 문화와 정치에 대한 이해를 돕는 네트워크의 가치를 강조했다.
Both internal/local and external/national networks facilitated career advancement, and included formal networks such as professional societies, as well as informal networks such as peer communities. Participants usually entered these networks through a mentor, involvement in a medical education role, or a faculty development program, and highlighted the value of networks for helping them to understand the culture and politics of the medical education community.

또한 네트워크는 참가자들에게 특정 기회(예: 연설 또는 위원회 의장 역할)와 향후 프로젝트를 위한 협력자들에게 모두 소개했습니다.

Networks also introduced participants both to specific opportunities (such as speaking or committee chair roles) and to collaborators for future projects.

Theme 6: 지원 작업 환경, 경력 향상
Theme 6: supportive work environments enhance careers

많은 참가자들이 자신의 진로를 검증하기 위한 [지지적 업무 환경]의 중요성을 설명했습니다. 이러한 환경에는 감독자 및 동료와의 [지지적 업무 관계]와 [공유된 가치]가 결합되어 있습니다.
Many participants described the importance of a supportive work environment for validating their career paths. This environment included a combination of supportive work relationships with supervisors and colleagues and shared values.

참가자들은 또한 균형을 촉진하는 데 도움이 되는 자원으로서 임상적 서포트를 제공하는 동료의 중요성에 대해 언급했다. 유연성과 임상 백업을 지원하기 위해 작업 커뮤니티work community에 의존할 수 있었던 참가자들은 업무관련 및 업무비관련 책임 충족을 위해 더 많은 지원을 받는다고 설명했습니다.

Participants also commented on the importance of colleagues providing clinical support as a resource to help promote balance. Participants who were able to rely on a work community to support flexibility and clinical backup described feeling more supported in their efforts to meet work and non-work responsibilities.

Theme 7: 애정 어린 작업이 균형 있게 과제를 만들고 완화합니다.
Theme 7: loving work creates and mitigates challenges with balance

많은 교수진들은 그들의 진로를 통해 직장 밖의 삶이나 일과 관련하여 균형이나 안정을 달성하는 데 장애물을 설명했다. 참가자들은 "그렇다"고 말하는 충동적 성향이 경력 초기에는 종종 기회로 이어졌지만, 중년이후에는 경력의 불균형에 기여했고, 사생활에 미친 (안 좋은) 대한 결과도 있었다고 설명했다.
Many faculty members described barriers to achieving balance or stability with respect to work or life outside of work over the course of their careers. Participants described that the same impulse to “say yes,” which had often led to opportunities early in their career, contributed to lack of balance, especially in mid-career, with consequences on personal life.

일부 참가자들은 새로운 책임을 지는데 있어 보다 까다로워지고 명확한 경계를 세울 수 있었기 때문에 그들의 경력에 걸쳐 종래에 걸쳐 더 큰 균형을 이루었다.

Some participants achieved greater balance longitudinally over the course of their careers as they were able to become more selective in assuming new responsibilities and established clearer boundaries.

거절하는 게 정말 중요한 것 같아. 모든 것을 다 할 수는 없고, 할 일을 골라야 잘 할 수 있다. 그 중 일부는 당신의 직업에서 당신의 방향이 무엇인지 이해하는 것이다. (D10)
I think it’s really important to say no to some things. You can’t do everything, and you have to pick and choose the things that you’re going to do so you can do them well. Part of that is understanding what your direction is in your career. (D10)

다른 교수진들은 그들의 학업이 자부심과 자생력의 원천이었기 때문에 전통적인 근무 주 이외의 교육자의 책임 침해를 부정적으로 보지 않았다.
Other faculty did not view encroachment of educator responsibilities beyond the traditional work-week negatively, as their academic work was a source of pride and self-sustaining.

나는 [균형]이라는 단어가 싫다. 도저히 충족시킬 수 없는 기대를 만들어 낸 것 같아요. 삶의 균형을 맞출 수 있는 방법은 없습니다. 그것은 불가능한 것을 암시하고 있다. 제가 믿는 것은 이렇습니다. 저는 여러분이 하는 일을 사랑한다면, 저절로 해결된다고 믿습니다. (D6)
I hate that word [balance]. I think it’s created expectations that are impossible to meet. There’s no way you can balance your life…That implies something that’s impossible… o here’s what I believe: I believe that if you love what you do, it works itself out. (D6)

보다 균형 잡힌 지원자에는 지원 커뮤니티, 가족, [업무 외 개인적 의무에 대한 보호 시간]을 관리schedule할 수 있는 능력이 포함되었습니다.
Enablers of greater balance included a supportive community, family, and the ability to schedule protected time for personal obligations outside of work.

테마 8: 임상 및 교육자 신분 상호 작용
Theme 8: interacting clinical and educator identities

뛰어난 교육자로서의 외부 인식에도 불구하고, 많은 참여자들은 임상업무가 전체업무에서 차지하는 비율이 낮더라도 주요 임상의사 정체성을 계속 옹호했다. 이러한 정체성은 때때로 단절된 것처럼 느껴졌지만, 경험이 풍부한 교육자들은 서로를 지탱하고 풍요롭게 하는 경향이 있는 임상적 정체성과 교육적 정체성의 중복을 인식했습니다.
Despite external recognition as outstanding educators, many participants continued to espouse a primary clinician identity, even if clinical work became a low percentage of their total effort. While these identities at times felt disconnected, experienced educators recognized overlap of their clinical and educator identities, which tended to sustain and enrich each other.

그것은 나의 주된 정체성이었던 적이 없다. 아이러니한 것은 제가 지금 제 시간의 60%를 교육 행정에 쓰고 30%만 임상 의사로 쓰고 있지만, 여전히 제 자신을 1차 진료 의사로 보고 있기 때문입니다. 그렇다고 해서 교육자로서 제 역할을 무시하거나 무시하는 것은 아니지만, 제 자신의 정의에 따르면, 저는 스스로 클리닉 파트타임에서 일하는 교육자가 아니라, 교육을 하는 1차 진료 의사라고 생각합니다. (C2)
It has never been my primary identity. It is ironic because I now spend 60 percent of my time in educational administration and only 30 percent as a clinician, but I still see myself as a primary care physician. That’s not that I discount or ignore my role as an educator, but I still don’t see it…in my own self-definition, I see myself as a primary care physician who teaches, rather than an educator who works in the clinic part-time. (C2)

토론
Discussion

공통 궤적에 대한 네 가지 핵심 관찰은 성공적인 교육자의 경력 개발에 관한 문헌에 추가된다.

• 첫째, 교육자는 종종 성공이 우연의 일치에 기인함에도 불구하고 준비와 사전 준비를 통해 교육의 길을 걷기 시작했다. 이러한 초기 단계들은 초기 기회(리더십 역할 또는 책임)로 이어졌고, 이를 교수진 개발 프로그램을 포함한 네트워크, 멘토, 기회를 소개하는 "런치 포인트" 역할을 했다.
• 둘째, 거의 모든 성공한 교육자들은 여러 명의 멘토가 있었으며, 그들은 종종 후원 역할을 했으며 동료 멘토쉽이 두드러진 역할을 했다. 네트워크 및 교수진 개발 프로그램과 함께 멘토는 추가 멘토, 네트워크 및 교수진 개발을 포함하여 교육자들에게 더 많은 기회를 소개하는 커리어 액셀러레이터 역할을 했습니다. 
• 셋째, 일반적으로 의학교육 경로에 대해 지지적supportive인 작업 환경 내에서 상호작용이 이루어졌다. 
• 마지막으로, 이 궤적은 직업의 각 지점에서 반복되고 나선형으로 보였으며, 그러한 성공은 새로운 개발 기회, 네트워크 및 멘토를 가능하게 하는 새로운 기회로 이어졌다.
  

Four key observations about common trajectories add to the literature on career development of successful educators.

• First, an educator began down the path of education through preparation and proactivity, despite often attributing success to serendipity. These early steps led to an initial opportunity (a leadership role or responsibility) that served as a “launch point” to introduce them to networks, mentors, and opportunities, including faculty development programs.
• Second, nearly all successful educators had multiple mentors, who often served in a sponsorship role, and peer mentorship played a prominent role. Along with networks and faculty development programs, mentors served as career accelerators to introduce educators to more opportunities, including additional mentors, networks, and faculty development.
• Third, interactions generally took place within a work environment supportive of medical education pathways.
• Finally, this trajectory appeared to repeat itself and spiral at each point in the career, such that success led to new opportunities that allowed for new development opportunities, networks, and mentors

준비의 역할이 과소평가되어서는 안 된다. 준비가 처음에는 비공식적인 기회를 이용하면서 나타났지만, 교수진 개발 프로그램에 참여함으로써 종종 경력 성장을 가속화했다. 의료 교육의 많은 교수 개발 연구와 리뷰는 참가자들이 무엇을 배우고 직면하는지 강조하였다(Steinert et al. 2006, 2016). 더 최근의 연구는 진로 진행에서 교수 개발 프로그램의 역할을 다룬다(Leslie et al. 2013). 그러나, 이 연구는 교수 개발이 경력에 기여하는 방법에 대한 우리의 통찰력을 더해준다. 즉, [핵심 지식을 보완]하고 [문을 열어opening doors] 참가자들이 대내외적으로 새로운 역할을 맡을 준비가 더 잘 되도록 하는 것이다.
The role of preparation should not be undersold. While preparation initially manifested in taking advantage of informal opportunities, participation in faculty development programs often accelerated the career growth. Many faculty development studies and reviews in medical education have highlighted what participants learn and challenges they face (Steinert et al. 2006, 2016), and more recent studies address the role of faculty development programs in career progression (Leslie et al. 2013). However, this study adds to our insight about ways that faculty development contributes to the career: by supplementing key knowledge and opening doors, so that participants are better prepared to take on new roles, both internally and externally.


우리는 준비로 인한 초기 성공을 "발사점launch point"으로 특징지었습니다. 위에서 언급한 바와 같이, 개별 이니셔티브 및 교수진 개발 기회는 모두 새로운 기회를 시작하는 데 기여하는 데 도움이 됩니다. 그러나, 이 발사는 종종 의대 교육계 내의 가시성visibility과도 관련이 깊었다. 의료 정체성 문헌에 기술된 바와 같이, 이러한 가시성은 [개인의 정체성] 및 [개인이 자신을 보는 방식], [지지받고 있다는 느낌]과 관련이 있을 수 있다(Browne et al. 2018; Cantillon et al. 2018; Jauregi et. 2019; Onyura et. 2017; O'Suliban et al. 2016). 발사점의 중요성에 대한 이러한 관찰은 정체성 개발을 교수 개발 오퍼링에 보다 명시적으로 통합해야 할 필요성을 말해 줄 수 있다(Steinert et al. 2019).

We characterized initial success resulting from preparation as a “launch point.” As noted above, both individual initiative and faculty development opportunities help contribute to the launch into new opportunities. However, the launch was also often highly related to visibility within the medical education community. As described in the medical identity literature, this visibility may be related to identity, and how individuals see themselves and feel supported (Browne et al. 2018; Cantillon et al. 2018; Jauregui et al. 2019; Onyura et al. 2017; O’Sullivan and Irby 2014; O’Sullivan et al. 2016). This observation of the importance of a launch point may speak to the need to incorporate identity development more explicitly into faculty development offerings (Steinert et al. 2019).

우리의 연구는 멘토링이 필수적인 기여자였던 방법을 나타내는 이전 연구의 결과를 향상시킨다(Feldman et al. 2010). 

[공식적인 연구 멘토 관계]가 우세한 [연구 커리어]와는 대조적으로, 우리의 참가자들은 주로 그들의 경력에 걸쳐 [다수의 직업 멘토]들을 언급했습니다. 그들은 종종 후원자였고, 참가자들에게 기회와 네트워크를 소개해주었다. 

Our study enhances findings from prior studies indicating the ways in which mentorship was an essential contributor (Feldman et al. 2010). In contrast to research pathways, in which formal research mentorship relationships predominate, our participants predominantly described multiple career mentors over the course of their career, who were frequently sponsors, introducing participants to opportunities and networks (Travis et al. 2013; Chopra et al. 2018).

흥미롭게도, [동료 멘토]들은 네트워크를 공유하고 프로젝트에 협력하는 등 많은 참가자들에게 중요한 역할을 하기도 했다. 연구들은 특히 주니어 교수의 동료 멘토링의 효과를 주니어 교수 멘토링으로 뒷받침해 왔다. 동료 멘토의 중요성에 대한 우리의 발견은 [주니어 교수들은 (특히 네트워크를 개발하여) 동료 멘토와 코-멘토를 더 의식적으로 찾음]으로써 이익을 얻을 수 있음을 시사한다.

Interestingly, peer mentors also played an important role for many participants, serving in a co-mentorship role by sharing networks and collaborating on projects. Studies have supported the effectiveness of peer mentoring specifically at junior faculty member to junior faculty member mentoring. (Heinrich and Oberleitner 2012; Johnson et al. 2011). Our finding of the importance of peer mentors suggests that junior faculty may benefit from more consciously seeking out peer mentors and co-mentors, especially by developing networks.

또 다른 두드러진 발견은 의료 교육 및 일과 삶의 균형에서 성공적인 경력을 달성하는 데 있어 업무 환경의 역할이었다. SCCT의 개발자인 Lent and Brown(2013)은 개인 및 전문적 목표에 걸쳐 통합해야 할 필요성을 강조했다. 업무 환경이 지지적이었을 때, 업무 환경은 [임상의]와 [교육자]의 정체성의 합병을 강화하는 데 도움이 되었다. 또한 지적 공동체, 사회적 지원, 그리고 [개인적 목표에 부합하는 전문적 기회를 탐색할 수 있는 자유latitude]를 제공했다.

Another prominent finding was the role of the work environment in achieving successful careers in medical education and work-life balance. Lent and Brown (2013), the developers of SCCT, highlighted the need to integrate across personal and professional goals. When it was supportive, the work environment helped reinforce the merging of clinician and educator identities that we observed, and provided intellectual community, social support, and latitude to explore professional opportunities that aligned with personal goals.

이러한 [임상의사-교육자에 대한 구조적 지원]은 교육자로서의 개발과 다른 전문적 역할 사이의 충돌을 최소화하기 위해 최근에 제안되었다(Elmberger et al., 2018). 지지적 업무 환경이 일부 기관에서는 쉽게 드러나지 않거나 이용할 수 없을 수 있기 때문에, 주니어 교수진은 교수개발 프로그램 및 부서리더와 함께 전문적 개발의 일환으로 이러한 환경을 보다 명시적으로 육성하고자 할 수 있습니다. 참가자들이 "그렇다"고 말하는 경향이 중기경력mid-career의 균형 부족에 기여했다고 자주 설명하였기 때문에, 작업 환경은 또한 [관리 가능한 작업량]을 중심으로 문화적 기대치를 설정하는 잠재적 역할을 할 수 있다(Strong et al., 2013).
Such structural support for clinician-educators has recently been suggested to minimize conflicts between development as an educator and other professional roles (Elmberger et al. 2018). Because a supportive work environment may not be readily apparent or available in some institutions, junior faculty, along with faculty development programs and division or department leaders, may seek to cultivate this climate more explicitly as part of professional development. Given that participants often described that the tendency to “say yes” contributed to lack of balance in mid-career, the work environment could also potentially play a role in setting cultural expectations around manageable workload (Strong et al. 2013).

이전 문헌과 일관되게, 우리는 교육자로서 성공적인 경력을 쌓기 위해서는 초기 성공이 필수적이라는 것을 발견했다(Hu et al. 2015). 그리고 성공에서 우연한 역할이 인식되었음에도 불구하고 의도적인 준비가 종종 이러한 기회로 이어졌다(Bartle and Thistlethwaite 2014; Hu et al. 2015). 자기효능감 문헌과 연계하여, 우리는 특정 속성, 특히 사전 적극성proactivity이 새로운 기회와 성공에 기여했음을 발견했다(Browne et al. 2018; Sethi et al. 2017). 우리의 테마는 주로 SCCT를 사용하여 자기효능감 신념을 자극하는 개인과 상황적 영향 사이의 상호 작용을 이해했다는 점에서 기존 연구와 일치했지만, 우리는 또한 이 주제theme가 [교육자의 경력 성숙 과정에 걸쳐 복잡성과 깊이를 증가시키며 개인에 대해 여러 번 반복재생된다는 것]을 발견했다.
Consistent with prior literature, we found that early successes are essential to launch a successful career as an educator (Hu et al. 2015), and that deliberate preparation often led to these opportunities, despite a perceived role of serendipity in their success (Bartle and Thistlethwaite 2014; Hu et al. 2015). Aligned with self-efficacy literature, we found that certain attributes, specifically proactivity, contributed to new opportunities and successes (Browne et al. 2018; Sethi et al. 2017). Although our themes largely aligned with previous work using SCCT to understand the interaction between individual and contextual influences that spur self-efficacy beliefs, we also found that our themes replayed multiple times for an individual, spiraling with increasing complexity and depth over the course of the educator’s career maturation.

문헌의 격차를 해소하고자 하는 우리의 목표로 돌아가, 우리는 교육자로서 선배 교직원의 발전 관점, 그들의 직업에서 교육자가 수행하는 다양한 역할, 그리고 교육자의 경력에 미치는 교수진 발전의 영향과 관련된 중요한 개념을 확인하였습니다. 설계에 의해 우리의 연구는 선배 교수들이 자신의 경력 개발을 회고적으로 바라볼 때 그들의 관점을 식별했다. 위에서 파악되고 기술된 모든 중요한 주제는 광범위한 경험을 가진 상급 교수진의 관점을 반영하며, 무엇이 상급 의학 교육자로서 성공하게 했는지에 대한 종합적인 시각을 제공한다. 

Returning to our goal of addressing gaps in the literature, we have identified important concepts related to perspectives of senior faculty in their development as educators, the diverse roles played by educators in their careers, and the impact of faculty development in educators’ careers. By design our study identified the perspectives of senior faculty as they looked retrospectively at their own career development. All of the important themes identified and described above reflect the view of senior faculty with extensive experience, giving a comprehensive look at what led to their success as senior medical educators. 

시니어 교수로서, 참가자들은 그들의 경력에서 다양한 역할들을 설명했습니다. 이러한 역할의 대부분은 의학교육에도 관련되어 있었지만, 의학교육을 직업으로 추구하기로 결정한 것을 알 수 있는 다른 관련 역할도 직접적으로 관련되어 있었다. 성공적인 시니어 교수는 문헌에 대한 이해를 심화시키는 데 중요하게 공헌했던 [자신에 대한 일반적인 행동과 인식]을 기술했다. [준비된 상태]와 [기회의 응하기], [교육자로서의 조기 성공], [많은 동료(멘토, 동료)와 함께 참여하고 배우며], [전문 개발 프로그램]에 전념하고, [전문 네트워크]를 넓히고, [임상의와 교육자의 이중 정체성을 유지]하는 것이 일반적인 주제였다.

As senior faculty, our participants described a variety of diverse roles in their careers. Many of these roles directly involved medical education, as well as other related roles that might have informed their decisions to pursue medical education as a career. Successful senior faculty described common behaviors and perceptions of self that are important contributions to deepening understanding of the literature. Being prepared and saying yes to opportunities, having an early success as an educator, engaging with and learning from many colleagues (mentors, peers), committing to professional development programs, expanding professional networks, and holding the dual identities of clinician and educator were common themes.

마지막으로, 우리가 기술한 바와 같이, [교수진 개발 활동과 프로그램]은 [새로운 기술과 지식을 습득하고 다른 교육자들과의 네트워킹 기회를 향상]시킨다는 점에서, 시니어 교육자들은 이를 경력 개발에 중요한 요소로 거의 보편적으로 언급하였다. 이러한 테마는 [자신과 다른 사람 사이의 상호 작용에 대한 미묘한 이해]와 이러한 시니어 임상 교육자의 경력이 위치한 더 큰 컨텍스트를 제공함으로써 문헌의 격차를 해소한다.

Lastly, as we have described, faculty development activities and programs are almost universally identified by successful senior educators as important factors in their career development, both in terms of acquiring new skills and knowledge and enhancing opportunities for networking with other educators. These themes address gaps in the literature by providing nuanced understanding of the interaction between self and others, and the larger context in which these senior clinical educators’ careers are situated.

제한사항

Limitations

흥미롭게도, 우리의 많은 참여자들은 의학교육이 덜 확립된 분야였을 때 그들의 경력을 시작했기 때문에, 그들의 초기 진로는 현재의 주니어 교수진의 그것과는 다를 수 있다. 특히, 샘플의 많은 참여자들이 의료 교육 리더 역할에 임명되었습니다. 더 많은 역할이 경쟁 프로세스를 통한 선택을 포함하기 때문에 이러한 유형의 리더십 역할 진입은 이제 덜 일반적일 수 있습니다. 교육 연구 및 의료 교육의 진로에 대한 정당성이 커짐에 따라 (Irby와 O'Sullivan 2018), 그리고 21세기 학습자의 요구를 충족시키기 위해 의학교육자의 역할도 진화하고 있다(Simpson et al., 2018). 이에 따라 초기 커리어 교수들은 또한 교육적 리더 직위에 지원할 더 많은 기회가 생겼고, [임상 및 기초 과학 멘토와 같은] 뛰어난 교육 연구 멘토에 대한 필요도 더 커질 수 있다.

Interestingly, since our many of our participants began their careers when medical education was a less established field, their early career pathways may differ from those of current junior faculty. Specifically, many participants in our sample were appointed to medical education leadership roles; this type of entry into a leadership role may be less common now as more roles involve selection through a competitive process. As the legitimacy of educational research and medical education as a career pathway grows (Irby and O’Sullivan 2018), and roles of medical educators evolve to meet the needs of twenty-first century learners (Simpson et al. 2018), early career faculty may also have more opportunities to apply for educational leadership positions and a greater need for strong education research mentors akin to clinical and basic science mentors.

Browne, J., Webb, K., & Bullock, A. (2018). Making the leap to medical education: A qualitative study of medical educators’ experiences. Medical Education, 52(2), 216–226.

Cantillon, P., Dornan, T., & De Grave, W. (2018). Becoming a clinical teacher: Identity formation in context. Academic Medicine, 94, 1610–1618.

Chopra, V., Arora, V. M., & Saint, S. (2018). Will you be my mentor? Four archetypes to help mentees succeed in academic medicine. JAMA Internal Medicine, 178(2), 175–176.

Elmberger, A., Björck, E., Liljedahl, M., Nieminen, J., & Bolander Laksov, K. (2018). Contradictions in clinical teachers’ engagement in educational development: An activity theory analysis. Advances in Health Sciences Education: Theory and Practice, 24(1), 124–140. 

Irby, D. M., & O’Sullivan, P. S. (2018). Developing and rewarding teachers as educators and scholars: Remarkable progress and daunting challenges. Medical Education, 52(1), 58–67. XXX

Jauregui, J., O’Sullivan, P., Kalishman, S., Nishimura, H., & Robins, L. (2019). Remooring: A qualitative focus group exploration of how educators maintain identity in a sea of competing demands. Academic Medicine, 94(1), 122–128.

Onyura, B., Ng, S. L., Baker, L. R., Lieff, S., Millar, B.-A., & Mori, B. (2017). A mandala of faculty development: Using theory-based evaluation to explore contexts, mechanisms and outcomes. Advances in Health Sciences Education, 22(1), 165–186.

Steinert, Y., O’Sullivan, P. S., & Irby, D. M. (2019). Strengthening teachers’ professional identities through faculty development. Academic Medicine, 94(7), 963–968.

Adv Health Sci Educ Theory Pract

. 2020 Aug;25(3):655-672.

 doi: 10.1007/s10459-019-09949-7. Epub 2020 Jan 15.

Becoming outstanding educators: What do they say contributed to success?

Larissa R Thomas 1, Justin Roesch 2, Lawrence Haber 3, Patrick Rendón 2, Anna Chang 4, Craig Timm 2, Summers Kalishman 5, Patricia O'Sullivan 6

Affiliations collapse

Affiliations

• 1Division of Hospital Medicine at Zuckerberg San Francisco General Hospital and Trauma Center and Department of Medicine, University of California, San Francisco, 1001 Potrero Ave, 5H, San Francisco, CA, 94110, USA. larissa.thomas@ucsf.edu.

• 2Department of Medicine, University of New Mexico, Albuquerque, NM, USA.

• 3Division of Hospital Medicine at Zuckerberg San Francisco General Hospital and Trauma Center and Department of Medicine, University of California, San Francisco, 1001 Potrero Ave, 5H, San Francisco, CA, 94110, USA.

• 4Department of Medicine, University of California, San Francisco, San Francisco, CA, USA.

• 5Department of Family and Community Medicine, University of New Mexico, Albuquerque, NM, USA.

• 6Departments of Medicine and Surgery, University of California, San Francisco, San Francisco, CA, USA.

• PMID: 31940102

• DOI: 10.1007/s10459-019-09949-7

Abstract

Aspiring medical educators and their advisors often lack clarity about career paths. To provide guidance to faculty pursuing careers as educators, we sought to explore perceived factors that contributed to the career development of outstanding medical educators. Using a thematic analysis, investigators at two institutions interviewed 39 full or associate professor physician faculty with prominent roles as medical educators in 2016. The social cognitive career theory (SCCT) informed the interview guide. Investigators developed the codebook and performed iterative analysis using qualitative methods. Extensive team discussion generated the final themes. Eight themes emerged related to preparation, early successes, mentors, networks, faculty development, balance, work environment, and multiple identities. Preparation led to early successes, which served as "launch points," while mentors, networks, and faculty development programs served as career accelerators to open more opportunities, and a supportive work environment was an additional enabler of this pathway. Educators who reported balance between work and outside interests described boundary setting as well as selectively choosing new opportunities to establish boundaries in mid-career. Participants described multiple professional identities, and clinician and educator identities tended to merge and reinforce each other as careers progressed. This study revealed common themes describing trajectories of success among medical educators. These themes aligned with the SCCT, and typically replayed and spiraled over the course of the educators' careers. These findings resonate with other studies, lending credence to an approach to career development that can be shared with junior faculty who are exploring careers in medical education.

Keywords: Career development; Faculty development; Identity development; Medical education; Mentorship.

위계적이지 않은 선형적 교육 이니셔티브 평가: 7I 프레임워크(J Educ Eval Health Prof, 2015)

Proposal of a linear rather than hierarchical evaluation of educational initiatives: the 7Is framework

Damian Roland1,2*

도입

INTRODUCTION

[지속적인 의료 교육(CME)을 통해 또는 임상 사례와의 정기적인 상호 작용의 결과로] 의료 전문가들은 공식적인 의미에서 항상 학습한다[1-3].
Medical professionals are always learning, whether in a formal sense via continuing medical education (CME) or as a result of their regular interaction with clinical cases [1-3].

학습 평가 모델
MODELS OF LEARNING EVALUATION

자주 인용되는 학습 평가 모델은 Kirkpatrick[4-6]에 의해 개발되었다. 레벨 간 링크는 원래 개입과 전체 결과 사이의 브리지를 이해하기 위한 수단으로 쿡과 웨스트[7]에 의해 지원되지만 표 1에 기술된 Kirkpatrick 자신은 원래 '레벨'이라는 용어를 사용하지 않았다(그림 1).
A frequently cited model of learning evaluation is that developed by Kirkpatrick [4-6]. It comprises a hierarchy described in Table 1 Kirkpatrick himself did not originally use the term ‘levels’ although links between levels are supported by Cook and West [7] as a means to understanding the bridge between the original intervention and the overall outcome (Fig. 1).

'레벨'이라는 개념의 사용은 Kirkpatrick 프레임워크가 산출물product에(즉 프로세스보다는 관심 있는 특정 학습 결과의 측면에) 관한 것임을 암시하며, 이는 그 결과를 달성하는 데 필요한 지침의 품질일 것이다[8]. 개념적 프레임워크는 종종 원래 모델의 이전 이론과 개정에 기초한다. 커크패트릭 접근법의 가장 일반적으로 인용되는 변형 중 하나는 Barr 외 연구진[9]에 의해 제안되었다. 전문가 간 교육 검토에서 커크패트릭 프레임워크의 레벨 2와 레벨 4의 하위 유형이 추가되었다(표 2).
The use of the levels concept implies that the Kirkpatrick framework is about a product, that is, the aspect of a particular learning outcome of greatest interest, rather than a process, which would be the quality of the instruction needed to achieve that outcome [8]. Conceptual frameworks are often built on previous theories and revisions of original models. One of the most commonly cited variations of the Kirkpatrick approach was suggested by Barr et al. [9]. In a review of inter-professional education, subtypes of levels 2 and 4 of the Kirkpatrick framework were added (Table 2).

이 접근법은 실용적이지만, 원본 논문이나 후속 작업에 의해 검증되지 않았다. 의학 교육에서 최고의 증거 그룹[10,11]은 이 프레임워크를 따르지만, 전통적인 커크패트릭 레벨 2와 Barr 버전을 비교한 공식적인 연구는 없다.
Although this approach is pragmatic, it has not been validated by either the original paper or subsequent work. The Best Evidence in Medical Education group [10,11] follows this framework; however, no formal study has compared a traditional Kirkpatrick level 2 with Barr’s version.

또 다른 접근법은 순수하게 학습자, 즉 의료 전문가 자체에 초점을 맞추는 것이었습니다. 벨필드 외 [12] 5단계 계층을 제안했다: 의료 결과, 의료 전문가의 행동, 성과 또는 실천, 학습 또는 지식, 참가자의 반응 또는 만족도, 참여 또는 완료.
Another approach has been to focus purely on the learner, that is, the health care professionals themselves. Belfield et al. [12] proposed a five-level hierarchy:

• healthcare outcomes;
• healthcare professionals’ behaviour, performance or practice;
• learning or knowledge;
• reaction or satisfaction of participants; and
• participation or completion.
  
  

벨필드 외 [12]는 특히 의료 교육 환경에서의 성과-기반 연구의 어려움을 강조하였다. 왜냐하면 환자 성과는 학습자가 새로운 기술을 습득하고 구현하는 데 시간이 필요하기 때문에 장기간에 걸쳐서만 명백해질 수 있다는 문제가 있기 때문이다
Belfield et al. [12] highlighted the difficulty of outcomes-based research in a medical education setting, in particular, the problem that patient outcomes may only become apparent over a protracted period of time due to the time needed for the learner to acquire and implement new skills.

그들은 연구 보고서에는 어떤 [성과 척도]인 [효과 수준]을 사용하였는지가 명확하게 보고되고 정당화되어야 한다고 강조했다. 이는 Kirkpatrick의 활용과 관련이 있으며, '평가', '평가', '능력'과 같은 많은 의학 용어들이 분야와 전문 분야에 걸쳐 다른 의미를 가질 수 있기 때문이다[12].
They emphasised that levels of effectiveness, the outcome measures used, should be clearly reported and justified in study reports. This is of relevance to the utilization of Kirkpatrick, as much terminology in medical education such as ‘appraisal,’ ‘assessment,’ ‘evaluation,’ and ‘competency’ may carry different meanings across disciplines and specialties [12].

Kirkpatrick의 프레임워크에 기반을 두고 있지만 또한 의학 교육에 특정한 이론을 통합한 모델이 Moore 등에 의해 고안되었다. [13](표 3)입니다. 그들은 그들의 접근 방식이 완전히 검증된 모델이 아니라 개념적 프레임워크라는 것을 분명히 지적한다. Miller의 피라미드[14]의 통합은 학습자가 '아는'과 '아는'에서 '보여주는' 방법 및 '보여주는' 방식으로 이동하는 학습에 대한 이론적 접근법이다. Barr 등이 채택한 접근법과 유사하다. [9], 필수적인 Kirkpatrick 프레임워크는 변경되지 않지만 각 레벨에서 제공되는 세부 사항은 크게 확장된다. 다시 한 번, 직접적으로 검증되지는 않았지만, 이 접근 방식은 캐나다 왕립 의사 및 외과 대학으로부터 승인을 받았습니다 [15,16].
A model based on Kirkpatrick’s framework but also incorporating theories specific to medical education has been devised by Moore et al. [13] (Table 3). They clearly point out that their approach is a conceptual framework rather than a fully validated model. The incorporation of Miller’s pyramid [14], a theoretical approach to learning in which the learners move from ‘knows’ and ‘knows how’ to ‘shows how’ and ‘does’ is synergistic with the learning and performance domains. Similar to the approach adopted by Barr et al. [9], the essential Kirkpatrick framework is not changed but the detail provided at each level is greatly expanded. Again, although not directly validated, this approach has received endorsement by the Royal College of Physicians and Surgeons of Canada [15,16],

궁극적으로, 위에서 논의한 모든 모델에서, 커크패트릭 수준의 위계적 특성이 존재하고, 개입에 대한 반응, 뒤따라오는 학습, 행동으로의 구현, 그리고 환자 이익으로의 흐르는flow 변환translation이 여전히 존재한다.
Ultimately, in all the models discussed above, the hierarchal nature of the Kirkpatrick levels is present, and the flow from reaction to the intervention, followed by learning and implementation into behaviour and then a translation into patient benefit is still present.

Kirkpatrick의 프레임워크에 내재된 계층 구조를 피하기 위해 Hakkennes와 Green[17]은 세 개의 개별 결과 도메인을 측정하기 위해 특별한 순서 없이 5개의 범주를 사용했다(표 4). Hakkennes 모델은 개입의 효과를 측정하기 위한 명확한 측정 기준을 예와 함께 제공한다. 이 모델에서만 실제 대 대리 측정의 개념이 활용된다. 커크패트릭 모델은 최종 사용자가 각 특정 수준에서 결과 측정을 결정할 수 있도록 한다. Hakkennes와 Green [17]은 실제 또는 금 기준 결과와 인식되거나 잠재적으로 교란된 결과를 구별하여 타당성을 강화하기 위한 프레임워크를 제공한다.
In an attempt to avoid the hierarchical structure inherent in Kirkpatrick’s framework, Hakkennes and Green [17] used five categories in no particular order to measure three separate outcome domains (Table 4). The Hakkennes model provides clear metrics, with examples, in which to measure the effectiveness of the intervention. Uniquely to this model, the concept of actual versus surrogate measures is utilized. The Kirkpatrick model allows the end-user to decide the outcome measure at each particular level. Hakkennes and Green [17] provide a framework for strengthening validity by differentiating between actual or gold-standard outcomes and those that are perceived or potentially confounded.

각 영역 또는 수준에서 세부 수준을 높이면 결과 기반 시스템 개발자가 사용하는 인식론적 접근 방식에 대한 문제가 발생한다.

• Kirkpatrick이 내놓은 비즈니스 지향 모델에서는 각 레벨의 객관적인 설명자가 없음에도 불구하고 학습과 결과 사이의 명확한 연결connection이 구조에 내재되어 있다.
• 반대로, Hakkennes와 Green[17]이 제공하는 증가된 세부사항은 각 수준에서 정보를 수집하고 분석해야 하는 더 분리된dissociated 구조를 의미한다.
  

Increasing the level of detail in each domain or level raises a challenge to the epistemological approach used by developers of outcomes-based systems.

• In the business-oriented model put forward by Kirkpatrick, a clear connection between learning and outcome is inherent in the structure, despite the absence of objective descriptors of each level.
• Conversely, the increasing detail provided by Hakkennes and Green [17] implies a more dissociated structure where information must be collated and analysed at each level.

이러한 접근법은 복잡한 방법론적 논쟁을 나타내며 의료 개입을 평가하기 위한 패러다임에서 가능한 [스펙트럼의 일부]를 형성한다.

• 한 끝에는 Lemmens 등에 의해 증명된 이산 위계적discrete hierarchal 접근법이 있다. [18]에서는 질병관리 프로그램의 효과성을 결정하기 위한 평가 모델을 설명한다. 이 모델은 일련의 지식 습득을 통해 행동의도와 변화를 유도하고 궁극적으로 임상 결과를 개선합니다.
• 스펙트럼의 다른 끝에는 Yardley와 Dornan[19]이 지지하는 덜 규정된 접근법이 있는데, 이 접근법에서는 연구자가 결과의 복잡성을 평가하고 개입에서 결과까지 발생할 수 있는 과정에 따라 적절한 프레임워크를 적용한다(그림 2).
  

These approaches represent complex methodological debates and form part of a likely spectrum in paradigms for evaluating medical interventions. 

• On one side is a discrete hierarchal approach, as demonstrated by Lemmens et al. [18], who describe an evaluation model for determining the effectiveness of disease management programs. This model has a sequence of knowledge acquisition, leading to behaviour intention and then change—ultimately leading to improved clinical outcomes. 
• On the other side of the spectrum is a less prescribed approach espoused by Yardley and Dornan [19] in which the researcher assesses the complexity of the outcomes and applies an appropriate framework dependent on the processes that may occur from intervention to outcome (Fig. 2).
  
  

그러나 Yardley와 Dornan[19]이 주장하듯이, "특정 결과가 발생했는가?"가 아니라 "이 개입의 결과는 무엇이었는가?"를 묻는 것이 중요하다. 이러한 측면에서 커크패트릭 수준 기반 접근법은 특정 프로젝트의 성공 또는 실패 이유를 설명하는데 도움이 된다.
However as Yardley and Dornan [19] argues, it is important to ask not, “Did a specific outcome occur?” but “What were the outcomes of this intervention?” as the latter may aid in the determination of the underlying cause of the outcomes. In this respect, the Kirkpatrick level-based approach does aid reasons for success or failure of a particular project to be elucidated.

커크패트릭의 디자인 관련 문제
PROBLEMS WITH KIRKPATRICK’S DESIGN

커크패트릭의 디자인에 대한 우려에 대한 논평은 주로 의료 외 산업과 관련이 있다. Bates [21]은 Kirkpatrick 접근법으로 다음과 같은 세 가지 우려를 제기했습니다. 그것은 

• 불완전한 모델이고, 
• 인과관계에 대한 입증되지 않은 가정이 있으며, 
• 결과 수준이 높을수록 반드시 더 높은 수준의 정보를 의미하는 것은 아니다. 

Kirkpatrick에도 불구하고 처음에는 정보의 수준을 무시하지 않았다. Kirkpatrick이 처음에는 "레벨"이라는 용어를 사용하지 않았음에도 불구하고, 그의 설계는 레벨 4 결과가 레벨 1의 결과보다 더 중요하다는 것을 암시적으로 시사한다(그림 3).
Commentaries on concerns with Kirkpatrick’s design predominantly relate to industries outside of health care. Bates [21] raised three concerns with the Kirkpatrick approach: It is an incomplete model, there is an unproven assumption of causality, and the higher outcome levels do not necessarily imply high er levels of information. Despite Kirkpatrick not initially er levels of information. Despite Kirkpatrick not initially using the term “level” himself, his design implicitly suggests that level-four outcomes are of greater importance than those of level one (Fig. 3).

초기 [참여자의 반응]보다 더 많은 '가치'를 갖는 [조직적 성과] 또는 [ROI]의 위계적 구조는 한동안 비즈니스 커뮤니티에서 어려움을 겪어 왔습니다 [22]. Kirkpatrick이 레벨 2(지식 변화)를 평가하는 것과 관련하여 "이러한 학습 목표 중 하나 이상이 달성되지 않는 한 행동의 변화는 기대할 수 없다"고 믿었음에도 불구하고, 비즈니스 부문의 연구는 Kirkpatrick 모델이 제안하는 계층적 관계를 확인하지 못했다[23,24].
The hierarchy of organizational outcomes, or return on investment, having more ‘value’ than initial participant reactions has been challenged in the business community for some time [22]. Despite Kirkpatrick believing, in respect of evaluating level two (knowledge change), that “No change in behaviour can be expected unless one or more of these learning objectives have been accomplished” [6], research in the business sector has failed to confirm the hierarchical relationship the Kirkpatrick model suggests [23,24].

2012년, 야들리와 도넌은 Kirkpatrick의 바로 그 위계적 특성이 어떻게 평가가 검토하고자 하는 결과를 편향시킬 수 있는지를 강조하는 논평 모음을 식별했다. 알리거 외. [23]과 Abernathy[25]는 이전에 사업적 관점에서 평가 수준의 개념이 평가자가 취할 수 있는 학문적 접근법에 영향을 미친다고 주장하였다. Yardley와 Dornan[19]은 [의료 교육이 비즈니스보다 훨씬 복잡한 시스템]이라고 제안했는데, 이해당사자로서 환자와 의사뿐 아니라 환자의 가족, 보건 시스템 및 보건 시스템 주변의 지역사회도 포함되기 때문이다.
In 2012, Yardley and Dornan identified a collection of commentaries highlighting how the very hierarchical nature of Kirkpatrick could bias the outcomes the evaluation was aiming to examine. Alliger et al. [23] and Abernathy [25] have previously argued from a business perspective that the very notion of levels of evaluation influences the academic approach the evaluator may take. Yardley and Dornan [19] suggested that medical education is a much more complex system than business, as the stakeholders include patients and doctors but also the patients’ families, the health systems and the communities around the health systems.


평가를 위한 새로운 개념 모델
A NEW CONCEPTUAL MODEL FOR EVALUATION

커크패트릭이 내놓은 모델은 학문적 의학 교육계 전반에 걸쳐 보편적인 관심을 끌지 못했다. 야들리와 도르난[19]은 커크패트릭을 맹목적으로 따르는 것이 "임상 약물에 대한 연구를 수행하고 잠재적 부작용을 평가하지 않는 것"과 비슷하다고 느꼈다. 의료 환경에서 Kirkpatrick Framework를 사용하는 사람들은 지식, 기술 및 태도의 획득과 후속 사용의 [선형 순서sequencing]를 가정하고 있다. [의료 개입medical intervention]은 이항 트랜잭션binary transactional적 특성이 없으며, 예측할 수 없는 결과를 가지고 있다. 동일한 방식으로, [교육적 개입]이나 [행동을 바꾸려는 개입]도 이질적이다. 학습자는 개입에 대한 반응으로 [행동의 일부 측면을 수정]하지만 [다른 측면은 수정하지 않습니다].
The model put forward by Kirkpatrick has not gained universal traction throughout the academic medical educational community. Yardley and Dornan [19] felt that following Kirkpatrick blindly would be akin to “performing research on a clinical drug and not assessing the potential side effects.” Those utilising the Kirkpatrick Framework in the healthcare setting are assuming a linear sequencing of acquisition and subsequent use of knowledge, skills and attitudes. Medical interventions do not have a binary transactional nature and have unpredictable outcomes. In the same way, educational or other practicechanging interventions are also heterogeneous: Learners modifies some aspects of their behaviour but not others in response to the intervention.

버클리 외 [26] 레벨 기반 평가 시스템은 직관적이지도 않고 이론적으로도 건전하지도 않다고 느꼈으며, 개별 수준보다는 연속적인 변화의 필요성을 언급하였다. 이러한 체계적인 검토에도 불구하고, 많은 사람들이 Kirkpatrick 프레임워크를 계속 지지하며, 연구자들은 Kirkpatrick 모델을 기반으로 계속 구축합니다 [27]. Kirkpatrick의 향상을 목표로 하는 모델들은 개념을 완전히 재정의하기 보다는 수준을 더한다. 이러한 시스템은 암묵적으로 [개인의 학습의 선형적 특성]을 함축하며, 학습이 행동 변화를, 그리고 환자 성과로 이어진다고 본다.

Buckley et al. [26] felt a level-based system of evaluation was neither intuitive nor theoretically sound, citing the need for a continuum of change rather than discrete levels. Despite this systematic review, many continue to endorse the Kirkpatrick framework and researchers continue to build upon the Kirkpatrick model [27]. Models that aim to enhance Kirkpatrick add to the levels, rather than redefining the concept entirely. The linear nature of individuals’ learning, leading to behavioural change and finally patient outcomes is implicit in all such systems.

새로운 모델 도출
DERIVING A NEW MODEL

논의되고 기술된 다양한 모델에서 입증되었듯이, 평가에 대한 많은 접근법이 존재한다. 모든 상황에 가장 적합한 시스템은 없을 가능성이 높으며, 그보다는 평가의 의도, 주요 이해관계자의 성격 및 가용 자원과 같은 요인에 따라 최선의 접근 방식이 달라진다[28]. 평가적 프레임워크가 계속 만들어지는 것은 이 때문이다.
As demonstrated by the variety of models discussed and described, many approaches to evaluation exist. It is likely that no one system is best for all situations; rather, the best approach varies according to factors such as the intent of the evaluation, the nature of key stakeholders, and available resources [28]. It is for this reason that evaluative frameworks are created.

타당한 프레임워크를 만들기 위해 Kirkpatrick 등의 작업에 대한 문헌을 활용하여 다음과 같은 핵심 니즈를 도출하였다. 

In order to create a valid framework, the literature on the work of Kirkpatrick and others was utilised to derive core needs as follows: 

• 첫째, 다양한 출처에서 척도를 얻어야 한다. 커크패트릭은 불완전한 모델이며 광범위한 평가 방법론을 허용해야 하는 새로운 프레임워크가 필요하다.
  
• 둘째, 도메인(또는 이러한 도메인을 구성하는 측정치)은 서로 독립적이다. 인과성의 가정은 원래 커크패트릭 모델의 핵심 특징이며, 이러한 가정은 증명되지 않았다. 
• 셋째, 프레임워크는 명시적으로 계층 구조를 제안하지 않는다. 계층적 접근법은 프레임워크의 특정 부분에 과도한 가중치를 부여한다. 임상 의학에서 이는 정당화될 수 있습니다. 환자에게 가장 중요한 임상 결과는 명확하고 투명한 끝점입니다. 그러나 교육에서 환자의 이익이 중요하지만 모든 교육 개입이 반드시 환자의 경험이나 결과와 관련되는 것은 아니다. 참가자가 지식을 배우고 적용하는 방법에 대한 상당한 교란 영향을 고려하여 환자 결과에 집중하면 개입의 효과를 결정하는 정보가 누락될 수 있다. 이 프레임워크는 한 가지 요소에만 의존하는 것이 아니라 총체적으로 전체적인 효과를 제공하는 일련의 방법을 통합한다. 
• 넷째, 환자 결과를 고려한다. 환자 결과가 결과의 가장 높은 범위는 아닐 수 있지만, 평가 프로세스의 중요한 부분이며 사용된 개입과 관련하여 내부 유효성을 가져야 한다. 즉, 개입이 결과를 측정할 수 있는 타당한 결과를 초래할 수 있다. 
• 다섯째, 개입 그 자체에 대한 참여engagement를 고려한다. 이전 모델들은 모델에 대한 만족도를 측정했을 뿐 실제 이용률 자체는 측정하지 않았다.

• First, measures should be obtained from a variety of sources: Kirkpatrick is an incomplete model and a new framework needs to allow a broad range of evaluative methodologies. 
  
• Second, the domains (or measures making up those domains) are independent of each other: The assumption of causality is a core feature of the original Kirkpatrick model, and this assumption has not been proven. 
• Third, the framework does not explicitly suggest a hierarchy: A hierarchical approach gives an undue weight to certain parts of the framework. In clinical medicine, this may well be justified – the primary clinical outcome to the patient being a clear and transparent end point. In education, however, although patient benefit is of importance, not all educational intervention is necessarily related to patient experience or outcomes. Given the significant confounding influences on determining how participants may learn and apply their knowledge, concentrating on patient outcome may leave out information that determines the effectiveness of the intervention. The framework brings together a chain of methods which in totality deliver an overall effect rather than relying on just one component. 
• Fourth, patient outcomes are considered: Although patient outcomes may not be the highest rung of outcome, they are a vital part of the evaluation process and must have internal validity with respect to the intervention used; that is, the intervention would plausibly result in the outcome being measured. 
• Fifth, engagement with the intervention itself is considered: Previous models have only measured satisfaction with the model, not the actual uptake or utilisation itself.
  

이 모델은 Kirkpatrick의 누락된 구성 요소 중 일부를 개입, 개입 자체 및 개입의 결과를 캡슐화하는 도메인을 만드는 데 포함시키는 것을 목표로 했다. [개입 자체]를 포함시키는 목적은 개입 전, 중, 후 평가 시 취해진 정보가 필요하다는 원칙을 함양하기 위한 것이다.
The model aimed to include some of the missing components of Kirkpatrick and other frameworks in creating domains encapsulating the interaction with the intervention, the intervention itself and the outcomes of the intervention. The purpose of including the intervention itself is to ingrain the principle that the evaluation requires information taken before, during and after the intervention.

학습과 행동을 평가하는 기본 구조는 Kirkpatrick과 같이 남아있지만 서로 위에서가 아니라 병렬로 고려된다. 여기서 제안된 모델은 이 두 가지 평가 접근 방식이 포함되도록 보장하기 위해

• '아이디어'(배웠다고 생각하는 것)와
• '통합'(배운 것)의 개념을 사용합니다. 

The basic constructs of assessing learning and behaviour remain as in Kirkpatrick but are considered in parallel rather than on top of each other. The model proposed here uses the concepts of

• ‘ideation’ (what you think you have learned) and
• ‘integration’ (what you have shown you have learned) to ensure these two evaluative approaches are included.

이는 계층이 아닌 공통 도메인으로 학습과 행동 섹션을 통합합니다. 의료의 복잡성을 인식하여 Kirkpatrick의 프레임워크의 레벨 4에 해당하는 '결과'의 개념은 '실행'과 '개선'이 된다. 이를 통해 직접적인 임상 효과뿐만 아니라 경험 결과 측정으로도 환자 편익을 캡슐화할 수 있다. 잠정적으로 '7 is framework'라는 제목의 개념적 프레임워크는 그림 4와 표 5에 나타나 있다. 'I'의 반복은 우연이지만 프레임워크의 기억에 도움이 될 수 있다.

This brings together the learning and behaviour sections, not as a hierarchy but as a common domain. In recognition of the complexity of healthcare, the concept of ‘results,’ which correspond to level four of Kirkpatrick’s framework, becomes ‘implementation’ and ‘improvement’. This enables patient benefit to be encapsulated by direct clinical effects but also by experience outcome measures as well. The conceptual framework, provisionally entitled ‘the 7Is framework’, is shown in Fig. 4 and Table 5. The all iteration is coincidental but may aid memorability of the framework.

CONCLUSION 

J Educ Eval Health Prof

. 2015 Jun 24;12:35.

 doi: 10.3352/jeehp.2015.12.35. eCollection 2015.

Proposal of a linear rather than hierarchical evaluation of educational initiatives: the 7Is framework

Damian Roland 1 2

Affiliations collapse

Affiliations

• 1Sapphire Group, Department of Health Sciences, University of Leicester, Leicester, United Kingdom.

• 2Paediatric Emergency Medicine Leicester Academic Group, University Hospitals of Leicester NHS Trust, Leicester, United Kingdom.

• PMID: 26101403

• PMCID: PMC4536351

• DOI: 10.3352/jeehp.2015.12.35

Free PMC article

Abstract

Extensive resources are expended attempting to change clinical practice; however, determining the effects of these interventions can be challenging. Traditionally, frameworks to examine the impact of educational interventions have been hierarchical in their approach. In this article, existing frameworks to examine medical education initiatives are reviewed and a novel '7Is framework' discussed. This framework contains seven linearly sequenced domains: interaction, interface, instruction, ideation, integration, implementation, and improvement. The 7Is framework enables the conceptualization of the various effects of an intervention, promoting the development of a set of valid and specific outcome measures, ultimately leading to more robust evaluation.

Keywords: Health expenditures; Health resources; Medical education; Outcome assessment.

COVID-19동안 온라인 학습으로 신속하게 전환할 12가지 팁(MedEdPublish, 2020)

Twelve tips for rapidly migrating to online learning during the COVID-19 pandemic

John Sandars[1], Raquel Correia[2], Mary Dankbaar[3], Peter de Jong[4], Poh Sun Goh[5], Inga Hege[6], Ken Masters[7], So-Young Oh[8], Rakesh Patel[9], Kalyani Premkumar[10], Alexandra Webb[11], Martin Pusic[12]

소개 Introduction

온라인 학습은 단일 개체라기보다는 160자 트윗에서 완전히 몰입적인 아바타 기반 임상 시뮬레이션에 이르기까지 [다양한 양식과 기술의 집합]이다.
Online learning is not one single entity but rather a growing collection of modalities and technologies, which can range from a 160-character Tweet to a fully immersive avatar-based clinical simulation.

조직 수준

Organisation Level

팁 1: 변경 관리 단계를 예측하고 진행

Tip 1: Anticipate and move through the change management stages

ADKAR 조직 변화 모델(Hiatt, 2006)은 개인의 요구에 초점을 맞추고 있습니다. 

• 변화의 필요성에 대한 인식(COVID 현실에 더 쉽게 대응) 
  
• 변화에 참여하고 지원하는 욕구(자기주도적 평생학습에 의해 동기 부여)를 가져야 한다. 
  
• 변화에 필요한 지식(적합한 기술 플랫폼을 찾는 위치와 방법, 전달 및 평가에 적절한 도구를 사용하는 방법을 학습하는 방법 포함)을 보유해야 한다. 
  
• 필요한 기술과 행동을 구현할 수 있는 능력(피드백을 주고 받는 연습 포함) 
  
• 변화를 지속하기 위한 강화(프로그램 평가 등)

The ADKAR organizational change model (Hiatt, 2006) is focused on the needs of the individuals: 

• Awareness of the need for change (easier in response to the COVID reality); 
• have the Desire to participate in and support the change (such as motivated by self-directed life-long learning); 
• have the Knowledge necessary for change (including where and how to find a suitable technology platform and learning to use appropriate tools for delivery and assessment); 
• Ability to implement required skills and behaviours (including practice with both giving and receiving feedback); 
• Reinforcement to sustain the change (such as program evaluation). 

ADKAR 모델은 학습자와 교육자 모두의 관점에서 다루어져야 한다.

The ADKAR model needs to be addressed from the perspective of both learners and educators.

조직의 변화는 예측 가능한 경로를 따르는 경우가 많습니다(그림 1 참조). 얼리 어답터들이 이끄는 열정은 초기적이고 거의 놀라운 성과 상승을 초래하고, 그 뒤 필요한 소강상태를 초래하며, 그 결과 나머지 조직은 점차 그 변화에 적응한다. 이러한 단계와 변화 관리를 예상하면 문제를 줄이고 장기적인 지속 가능성을 위한 계획을 수립하는 데 도움이 될 수 있습니다.
Organisational changes frequently follow a predictable path (see Figure 1). There is a burst of enthusiasm led by early adopters that results in an initial and almost surprising rise in performance followed by a necessary lull in which the rest of the organisation gradually moves into the change. Anticipating these phases and change management can help reduce any problems and informs planning for long term sustainability.

팁 2: 현재 학습 관리 시스템 사용
Tip 2: Use the current Learning Management System

대부분의 보건 전문 학교에서 학습 관리 시스템(LMS)은 커뮤니케이션, 콘텐츠 전달 및 평가를 위한 플랫폼이다(Tibyamplansha et al., 2017). 따라서 커리큘럼을 구성하고 학습 성과와 이러한 결과를 달성하기 위한 교육 방법의 건설적인 정렬을 전달하기 위한 기본 교육 기술이다.

The learning management system (LMS), in most health professions schools, is the platform for communication, content delivery and assessment (Tibyampansha et al., 2017). It is therefore the fundamental educational technology for structuring the curriculum and conveying constructive alignment of learning outcomes and the educational methods to achieve these outcomes.

불확실한 시기에는 의사소통이 핵심이다. 학습자와 교육자가 프로그램 제공에 대해 정기적으로 알리고 학습 여정을 안내하기 위해서는 명확하고 접근 가능한 커뮤니케이션 채널을 구축하는 것이 필수적이다(Taha 등, 2020). 여기에는 [학습자가 학습 과정에서 예상해야 할 사항]과 [과정 전체에 걸친 학습자 자신의 기대 및 책임]에 두 가지 모두에 명확한 의사소통이 포함되어야 합니다. LMS 분석을 사용하여 이러한 기대치에 대한 학습자 성과를 측정하고 모니터링하고 추가 지원이 필요한 학습자를 식별할 수 있습니다. 학습자가 조언과 지도를 구하는 다양한 방법을 가질 수 있도록 의사소통이 양방향으로 이루어지도록 하는 것이 중요하다.

Communication is key in times of uncertainty. Establishing a clear and accessible channel of communication is essential to keep learners and educators regularly informed of the program delivery and to guide them through their learning journey (Taha et al., 2020). This should include explicit communication about expectations, both what learners should expect during their course of study and the expectations and responsibilities of the learners themselves throughout the course. The LMS analytics can be used to measure and monitor learner achievement of these expectations and identify learners that require additional support. It is important to ensure that the communication is two-way so that learners have diverse avenues to seek advice and guidance.

 
온라인 학습 양식

Online Learning Modalities

팁 3: 촬영장비 – 온라인 강의의 잠재력 최적화

Tip 3: Modality – Optimise the potential of online lectures

미개최 강의의 경우 라이브 스트리밍 강의가 부담스러울 수 있지만 몇 가지 중요한 권장 사항이 있다. 빈 벽에 대고 말하는 것은 처음에는 발표자에게 이상하게 보일 수 있지만, 우리의 경험을 통해 교육자들은 빠르게 적응하고 자신감 있는 온라인 발표자가 될 수 있다.

For the uninitiated, live-streaming lectures can be daunting, but there are a few important recommendations. Speaking to a blank wall can initially appear strange to the presenter but from our experience educators can rapidly adapt and become confident online presenters.

가능하면 학습 관리 시스템(LMS)에 통합된 시스템을 사용해야 합니다. 이렇게 하면 등록된 학습자와 교육자만 강의에 참여할 수 있으며 트롤을 피할 수 있습니다."
If possible, a system that is integrated into the Learning Management System (LMS) should be used. This will ensure that only registered learners and educators are in the lecture and will avoid having trolls"

프레젠테이션 중에 모든 참가자의 마이크가 음소거 모드에 있는지 확인하면 학습자 가정에서 의도하지 않은 배경 소음이 발생하지 않습니다. 일부 강사들은 학생들의 참여를 감시하기 위해 모든 카메라를 켜두는 것을 좋아한다. 다른 사람들은 인터넷 대역폭 문제가 있는 경우에도 도움이 될 수 있는 모든 카메라를 꺼두는 것을 선호한다.
Ensuring that the microphones of all participants are in the mute mode during the presentation will avoid unintended background noise from the learner’s homes. Some lecturers like to keep all cameras on so that they can keep an eye on the engagement of their students. Others prefer to mute all cameras which can also help if there are internet bandwidth issues.

강의를 작은 학습 활동과 함께 일련의 구성요소로 세분하는 것이 중요하다. 이것은 이미 대면 강의에 대한 추천이지만 온라인 강의에서는 더욱 중요하다. LMS에 청중-반응 콤포넌트가 있는 경우, 이 구성요소를 사용하여 활동에 대한 학습자의 참여를 높이고 학습 기회를 극대화할 수 있습니다. 그렇지 않다면 발표자가 강의를 진행하면서 학습자에게 방금 제시된 자료를 바탕으로 답할 질문을 주는 일시 중지를 도입할 수 있다. 이를 통해 능동적인 학습이 구축되고 참여도가 향상됩니다.

It is important to break the lecture into a series of components, interspersed with small learning activities. This is already a recommendation for face-to-ace lectures but is all the more important in online lectures. If the LMS has an audience-response component, this can be used to increase learner engagement in the activities and to maximise the learning opportunity. If not, as the presenter goes through the lecture, a pause can be introduced during which the learners are given a question to answer, which is based on material that has just been presented. This builds in active learning and improves engagement.

팁 4: 촬영장비 – 의도적인 설계를 사용하여 온라인 소그룹 최적화
Tip 4: Modality – Optimise online small groups using intentional design

온라인 그룹의 촉진은 소규모 그룹의 학습 잠재력을 최적화하며 대면 소규모 그룹에 사용되는 접근 방식과 유사하다. 모든 그룹 촉진의 두 가지 필수적인 측면은 

• [전체적으로 명확한 목표를 adherence하도록 보장]하고 
  
• (모든 구성원이 가치 있는 기여를 할 수 있는 기회를 제공하는 등) [모든 그룹 구성원의 요구를 지원]합니다.

The facilitation of online groups optimises the learning potential of small groups and is similar to the approach used with face-to-face small groups. The two essential aspects of all group facilitation are

• ensuring that there is overall adherence to a clear objective and 
• supporting the needs of all group members, such as providing opportunities for all members to make a valued contribution.
  
  

그러나 대면 그룹을 촉진할 때 경험할 수 있는 어려움은 특히 그룹이 비동기적일 때(참여자가 이메일이나 대부분의 소셜 미디어와 같이 서면 메시지에 의해서만 기여하고 있는 경우) 온라인 그룹과 함께 증가하는 경우가 많다(Sandars, 2006). 비동기식 토론에서는 이모지스('웃는 얼굴'과 '엄지')를 사용해도 비언어적 소통이 부족하고, 이는 토론에 대한 기여도가 떨어질 수밖에 없는 등 참가자 간 신뢰 부족으로 이어질 수 있다. 실시간 참여를 가능하게 하는 동기식 온라인 토론이 선호되며 수많은 온라인 플랫폼이 존재한다.
However, the difficulties that can be experienced when facilitating face-to-face groups are often increased with online groups, especially when the groups are asynchronous (in which participants are only contributing by written messages and at different times, such as by email or most social media) (Sandars, 2006). There is a lack of non- verbal communication in asynchronous discussions, even with the use of Emojis (‘smiley faces’ and ‘thumbs up’ symbols), and this can lead to a lack of trust between the participants, with the inevitable reduced contribution to the discussion. Synchronous online discussions that enable real-time participation are to be preferred and there are numerous online platforms,

온라인 그룹을 PowerPoint 프레젠테이션이나 비디오와 같은 다른 정보 리소스와 결합하여 플립된 강의실을 만들 수 있으므로 학습 경험을 향상시킬 수 있습니다.

Online groups can be combined with other information resources, such as PowerPoint presentations or videos, to produce a flipped classroom, which can enhance the learning experience.

팁 5: 촬영장비 – 비동기 온라인 자습서의 잠재력 최적화
Tip 5: Modality – Optimise the potential of asynchronous online tutorials

[온라인 튜터리얼]은 학습자에게 환자 사례 프레젠테이션(Yavner, Pusic, Kalet 등, 2015)을 중심으로 구성된 비디오, 애니메이션, 텍스트 기반 자료 및 퀴즈의 사용을 포함한 온라인 멀티미디어 학습 활동의 뚜렷한 모음을 제공한다. 기록된 강의 및 기타 비동기식 리소스와 비교하여 몇 가지 장점이 있습니다. 멀티미디어는 여러 다른 매체의 조합을 사용하여 정보를 제공할 수 있기 때문에 지식과 기술에서 더 효율적인 이득을 보장한다. 학습자는 다른 요구 사항에 맞는 시간과 장소에서 자신의 학습 목표를 충족하는 다양한 온라인 자습서 중에서 온라인 자습서를 선택할 수 있기 때문에 동기 부여와 참여도가 높아지면서 자기주도적이 됩니다.
Online tutorials provide learners with a distinct collection of online multimedia learning activities, including the use of video, animations, text based materials and quizzes, which are structured around a patient case presentation (Yavner, Pusic, Kalet, et al., 2015). There are several advantages compared with recorded lectures and other asynchronous resources. The use of multimedia ensures more efficient gains in knowledge and skills since information can be presented using combinations of several different media. Learners become self-directed, with increased motivation and engagement, since they can select online tutorials from a range of different online tutorials that meet their own learning goals at a time and place that fits in with their other demands.

가용자원이 적절하지 않을 수 있기 때문에 혼합접근법이 필요할 가능성이 가장 높다. 교육자는 모든 온라인 자습서가 커리큘럼의 의도된 학습 결과와 일치하고 가용 자원을 큐레이션하기 위한 학습 필요성 평가를 구현하는 데 필수적인 역할을 하며, 내용이 적절하고 접근 가능한지 검토한다.
It is most likely that a mixed approach will be required since the available resources may not be appropriate. The educator has an essential role in implementing learning needs assessments to ensure that all online tutorials are aligned to the intended learning outcomes of the curriculum and also curating the available resources, with reviewing to ensure that the content is appropriate and accessible.

교육자는 온라인 동기식 토론 전후에 온라인 자습서를 통합함으로써 보다 의미 있는 온라인 혼합 플립 강의실 학습 경험을 제공할 수 있다.
Educators can provide a more meaningful online blended flipped classroom learning experience by integrating online tutorials before or after online synchronous discussions.

팁 6: 촬영장비 – 온라인 비디오의 잠재력 최적화
Tip 6: Modality – Optimise the potential of online videos

온라인 비디오 사용의 최적화에는 학습자를 비디오의 관련 부문으로 directing하고, 비디오 컨텐츠에 대한 개별 성찰 및 그룹 토론을 장려하며, 동료 및 교육자 피드백으로 필수적인 절차 및 커뮤니케이션 기술을 입증함으로써 개방형 액세스 리소스를 큐레이팅하는 데 초점을 맞춘다(Goh and Sandars, 2019). 혼합 학습blended learning의 개념은 이제 온라인 비디오의 [비동기식 자율 학습]과 [동기식 라이브 온라인 소그룹 미팅]을 결합하여 확장될 수 있다(Shank, 2020).
Optimisation of the use of online videos include a focus on curating open access resources by directing the learners to relevant segments of the videos, encouraging individual reflection and group discussion of the video content, and demonstrating essential procedural and communication skills with peer and educator feedback (Goh and Sandars, 2019). The concept of blended learning can now be expanded, combining asynchronous self-study of online videos with synchronous live online small group meetings (Shank, 2020).

실시간 비디오의 혁신적인 사용은 (적절한 동의와 안전 지침으로) 환자 만남에 대한 액세스를 제공하고, 임상 기술의 실천과 전달을 위한 피드백을 문서화하고 제공하기 위해 모바일 장치의 어디서나 가능한 가용성과 함께 이루어질 수 있다(Goh and Sandars, 2020).

Innovative use of real-time video to provide access to patient encounters (with appropriate consent and safety guidelines), as well as to document and provide feedback for practice and delivery of clinical skills, can take place with the ubiquitous availability of mobile devices (Goh and Sandars, 2020).

팁 7: 촬영장비 – 소셜 미디어의 잠재력 최적화
Tip 7: Modality – Optimise the potential of social media

소셜 미디어는 널리 이용 가능한 기술이며, 다른 학습자, 교육 분야의 주니어 의사, 의료 전문가, 심지어 환자까지 다양한 관점을 제공할 수 있는 모든 참가자에게 학습 경험을 풍부하게 할 수 있는 가능성을 제공한다(Shah, 2017). 트위터 저널 클럽(Duig, 2016; Topf, 2017; Bolderston, 2018), 의료 블로그(Carly, 2017), 협업 학습 플랫폼(Haynes, 2014)은 지속적인 전문적 발전과 변화하는 교육 관행을 강화하기 위해 명확하게 입증되었다. 그러나, 의학 교과 과정의 모든 것이 온라인 접근법으로 옮겨질 수 있는 것은 아니기 때문에, 교육자는 내용만으로는 학습자를 위한 교육 경험으로 마법처럼 변환되지 않는다는 것을 명심하는 것이 필수적이다.
Social media is a widely available technology and offers the possibility of reaching every participant who can offer a variety of perspectives, from other learners, junior doctors in training, healthcare professionals and even patients, that can enrich the learning experience (Shah, 2017). Twitter journal clubs (Duig, 2016; Topf, 2017; Bolderston, 2018), medical blogging (Carley, 2017) and collaborative learning platforms (Haynes, 2014) have been clearly demonstrated to enhance continuing professional development and changing educational practice. However, not everything in a medical curriculum is transferable to an online approach, therefore it is essential for the educator to bear in mind that content alone will not magically translate into an educational experience for the learner.

여러 플랫폼에서 컨텐츠를 만들고 게시하려면 상당한 시간 소모가 있어야 합니다. 그만큼 소셜 미디어 관리는 그 자체가 하나의 커리어로 자리 잡았다. 코멘트, 피드백을 제공하고 커뮤니티의 느낌을 모방하여 이러한 [플랫폼의 사회적 측면을 촉진하는 것]이 학습자를 참여시키고 학습을 개선하는 데 핵심입니다. 온라인으로의 빠른 전환 시기에, 이미 구축된 인프라와 온라인 팔로잉을 가지고 있는 얼리 어답터들을 식별하면 소셜 미디어의 잠재력을 개발하는 데 도움이 될 수 있다.

Content creation and publication on multiple platforms requires a substantial time commitment; so much so that social media management has become a career in its own right. Fostering the social aspect of these platforms by commenting, offering feedback and emulating the community feel are key in engaging learners and improving their learning. In a time of rapid transition to online, identifying early adopters who already have a built infrastructure and online following can help to develop the potential of social media.

팁 8: 촬영장비 – 온라인 성찰의 잠재력 최적화
Tip 8: Modality – Optimise the potential of online reflection

[성찰]은 [학습자의 놀라움에서 시작]되며 이는 학습자의 지식과 기술 부족에서부터 자신과 다른 사람, 그리고 더 넓은 세계에 대한 학습자의 시각에 도전하는 목격 사건에 이르기까지 여러 가지 요인에 의해 유발될 수 있다. 학습자는 놀라움을 이해한 다음 새로운 지식을 찾거나 다른 세계관에 대해 더 많이 읽는 등 문제를 해결하기 위해 적절한 대응을 합니다. 학습자, 임상의, 제휴 헬스케어 전문가, 환자, 케어 제공자를 포함한 다른 사람들과 경험을 공유함으로써 성찰 과정이 강화된다.
Reflection begins with a moment of surprise in the learner and this can be provoked by several factors, from lack of knowledge and skills in the learner to witnessing events that challenge the learner’s view of themselves, others and the wider world. The learner makes sense of the surprise and then takes an appropriate response to resolve the challenge, such as seeking new knowledge or reading further about different world views. The process of reflection is enhanced by having a supportive facilitator and by sharing their experience with others, including learners, clinicians, allied healthcare professionals, patients and care-givers.

디지털 스토리텔링은 의료 교육의 필수적인 성찰 요소 개발을 위한 강력한 접근법이 될 수 있다(Sandars, Murray 및 Pellow, 2008). 학습자는 하나 이상의 시각적 이미지로 구성된 사례를 온라인 플랫폼(토론 포럼 등)에 쉽게 업로드하고 깜짝 놀랄 순간과 자신의 견해에 어떻게 도전했는지에 대해 이야기할 수 있다. 이를 다른 사람과 공유할 수 있고 학습자에게 개인적이면서도 참가자들에게 집단적인 깊은 변혁적 학습 경험을 연출할 수 있다.
Digital storytelling can be a powerful approach for developing the essential reflection component of medical education (Sandars, Murray and Pellow, 2008). Learners can easily upload a case, which comprises of one or more visual images, to online platforms (such as a discussion forum) and talk through their moment of surprise and how it challenged their views. This can be shared with others and a deep transformative learning experience can be produced that is both individual to the learner but also collective for the participants.

특정 사건에 대한 이미지를 선택하는 것은 중요하지만, 환자나 동료의 정체성을 훼손하지 않는 것이 필수적이다. 사진이나 짧은 동영상은 모바일 장치를 사용하여 쉽게 캡처할 수 있습니다. 그러나 이러한 이미지는 학습자의 경험에 반영되어야 한다고 권고한다. 익명성은 이웃의 전망이나 방향 표시와 같은 일반적인 이미지를 사용하여 유지될 수 있다.

The choice of images about the case is important. It is essential not to compromise the identity of patients or colleagues. Photographs or short videos can be easily captured using mobile devices. However, we recommend that these images should resonate with the learner’s experience. Anonymity can be maintained by using general images, such as a view of a neighbourhood or the direction signs to a ward.

일반 온라인 팁
General Online Tips

팁 9: 전체 과제를 가르칠 수 없는 경우, 파트태스크 온라인 교육으로 시작하십시오.
Tip 9: If you can’t teach the whole task, start with part-task online training

임상적 추론, 절차적 또는 학문적 기술과 같은 인지적 기술은 온라인에서 효과적으로 가르칠 수 있다. 효과적인 온라인 기술 훈련을 설계하기 위해 학습자가 실제 문제 해결에 참여할 때 학습이 촉진된다(그림 2 참조). 다음은 중요한 교수 설계 원칙이다(Merrill, 2002). 

• a) 관련 사전 지식을 회상 및 시연하기 위하여 활성화 
  
• b) 직무와 기술의 설명 및 입증(종종 교사에 의한) 
  
• c) 피드백을 받는 새로운 작업의 진행에 대한 지식 또는 기술의 적용(학습자에 의한) 
  
• d) (학습자에 의한) 실무에서 새로 배운 기술의 통합

Cognitive skills such as clinical reasoning, procedural or academic skills, can be effectively taught online. To design effective online skills trainin, learning is promoted when learners are engaged in solving real-world problems (see Figure 2). The following are crucial instructional design principles (Merrill, 2002): 

• a) activation to recall and demonstrate relevant prior knowledge; 
• b) explanation and demonstration of tasks and skills (often by the teacher); 
• c) application of knowledge or skill in a progression of new tasks receiving feedback (by the learner); and 
• d) integration of the newly learned skills in practice (by the learner). 

이러한 원칙은 온라인으로 구현될 수 있다.

• 퀴즈(사전 지식 활성화),
• 튜토리얼 및 비디오(기술의 설명 및 시연),
• 과제 또는 시뮬레이션(새로 배운 기술 적용)

These principles can be implemented online in 

• quizzes (activating prior knowledge), tutorials and 
• video’s (explanation and demonstration of skills) and 
• assignments or simulations (applying newly learned skills). 

분명히, 시뮬레이션 환자 또는 실험 설정이 필요하기 때문에 신체 검사나 실험실 실험과 같은 실제 기술 훈련은 완전히 온라인으로 가르칠 수 없다. 그러나 처음 두 가지 원칙(활성화와 설명)은 현장에서 다시 작업할 수 있는 순간까지 온라인 부분과제part-task 훈련으로 구현될 수 있다. 또한 [파트-태스크 연습]은 교내 교육이 재개될 때 학습자가 남은 실습 교육 구성 요소에 대해 최적으로 준비할 수 있다.

Obviously, practical skills training like the physical examination or laboratory experiments cannot be taught completely online, as a physical presence of a simulation patient or experimental setup is required. However, the first two principles of activation and explanation can still be implemented as online part-task training until the moment that working on-site is possible again. Part-task practice can also prepare learners optimally for the remaining hands- on training component when on-campus education is resumed.

팁 10: 학습자를 위한 거대한 온라인 세상 단순화
Tip 10: Simplify the massive online world for learners

MOOC는 짧은 비디오 강의, 독서, 대화형 과제, 테스트, 퀴즈, 토론 포럼과 같은 다양한 형식으로 콘텐츠를 제공합니다. 일반적으로 학습자는 제공되는 고품질 온라인 자료에 대한 높은 만족도를 나타냅니다.
MOOCs offer content in many different formats, such as short video lectures, readings, interactive assignments, tests, quizzes, and discussion forums. In general, learners indicate high satisfaction with the high-quality online materials provided.

이 모든 것이 아무리 훌륭하게 보여지더라도, 거대한 온라인 세계는 학습자들에게 매우 혼란스럽고 부담스러운데, 특히 내용이 모국어로 제시되지 않을 경우 그러하다. 첫째, 적절한 수준의 학습 주제를 다루는 과정을 선택해야 합니다. 중요한 측면은 코스를 이용할 수 있는 날짜를 파악한 후 학습자에게 코스 등록 방법에 대한 명확한 지침을 전달하는 것입니다. 그리고 마지막으로, 학습자들에게 강좌 사용법, 어떤 장, 어떤 과제, 어떤 숙제를 교육자에게 제출해야 하는지에 대한 명확한 지침을 제공하는 것이 필수적이다.

However wonderful this all appears, the massive online world can be very confusing and overwhelming to learners, especially if the content is not presented in their native language. First, a course needs to be selected that addresses the topics for study at the appropriate level. An important aspect is to find out which dates the course will be available and then send the learners clear instructions on how to enroll into the course. And finally, it is essential to provide learners with clear instructions on how to use the course, which chapters and which assignments to study and which homework they should submit to the educator.

팁 11: 온라인 리소스 및 활동의 공동 생성을 장려하고 지원합니다.
Tip 11: Encourage and support co-creation of online resources and activities

공동창조co-creation는 학습자와 교육자가 서로 협력하여 온라인 자원과 활동을 만들 때 발생한다(Bobil 등, 2016). 공동 창작에는 새롭고 개선된 온라인 재료와 경험의 개발 외에도 많은 상호의존적인 이점이 있다.
Co-creation occurs when learners and educators work collaboratively with one another to create online resources and activities (Bovill et al., 2016). There are many interdependent benefits to co-creation besides the development of new or improved online materials and experiences.

효과적인 협업과 프로젝트 성과 달성을 위해 컨텐츠, 커리큘럼, 교육 설계 입력을 제공하는 데 필요한 기술 세트를 갖춘 팀을 먼저 구축하는 것이 중요하다. 프로젝트의 범위를 지정할 때, 주요 권장 사항에는 역할과 책임의 식별, 명확한 마감일 설정, 목표와 기대치를 명확하게 전달하는 것이 포함됩니다. 범위 지정 프로세스scoping process의 일환으로 팀이 프로젝트를 전달하기 위해 필요한 교육, 지원 및 리소스를 결정하는 것이 중요합니다. 여기에는 항상 교육학, 접근성 및 저작권에 관한 지침이 포함되어야 한다. 또한, 자원과 활동이 기관 온라인 플랫폼을 통해 학습자가 이용할 수 있도록 하는 것이 중요하다.
It is important to first establish a team with the required skillsets to provide content, curriculum and educational design input for effective collaboration and achievement of the project outcomes. When scoping the project, key recommendations include identification of roles and responsibilities, setting clear deadlines and clearly communicating objectives and expectations. As part of the scoping process it is important to determine what training, support and resources the team requires to deliver the project. This should always include guidance regarding pedagogy, accessibility and copyright. Furthermore, it is vital to ensure that the resources and activities can be made available to learners via institutional online platforms.

품질 관리를 위해 구현 전에 동료 검토 및 테스트를 프로젝트 관리에 통합하면 오류 또는 문제를 식별하고 해결하는 데 도움이 됩니다. 자원이 적절한 품질이고 저작권을 침해하지 않는 경우, 기관을 넘어 학습자에게 이익이 되는 개방형 교육 자원(OER)으로 이용할 수 있도록 하는 것이 바람직하다.
Incorporating peer review and testing into the project management, prior to implementation, for quality control will help to identify and resolve any errors or problems. If the resource is of suitable quality and does not breach copyright, making it available as an open educational resource (OER) to benefit learners beyond the institution should be considered.

팁 12: 온라인 학습으로의 전환에 대한 적극적 임상의의 가치 입증
Tip 12: Demonstrate the value for active clinicians of the shift to online learning

세계적인 유행병은 또한 임상의들이 능동적인 실천에서 새로운 지식을 빠르게 습득하는 방법을 관찰할 수 있는 독특한 기회이다. 코로나19는 이전에는 존재하지 않았기 때문에 임상의는 질병의 확산 자체보다 더 빠르게 보이는 것에서 전문적인 지식을 공유해야 하는 과제를 해결하고 있으며 이 지식을 공유하는 주요 방법은 인터넷을 통해 중재된다.
The global pandemic is also a unique opportunity to observe the way clinicians rapidly acquire new knowledge in active practice. Covid-19 as a disease did not exist previously so clinicians have been addressing the challenge of sharing professional knowledge at what appears to be faster than the spread of disease itself and the predominant methods of sharing this knowledge is mediated through the internet.

다시 말하지만, 기술은 지역 전문가들 간의 경험 공유와 다양한 병원 또는 의료 환경에서 환자의 진료를 위한 진료 경로, 프로토콜 및 지역 정책을 고안하는 데 있어 매우 중요하다. 다양한 화상회의 플랫폼도 공동체 의식을 함양하는 데 중요한 역할을 했으며, 연대감 증진에 기여하면서 이러한 기술의 간접적인 사회적 영향을 입증하였다.

Again, technology has been critical in sharing of experience between local experts, as well as devising care pathways, protocols and local policy for the care of patients across different hospital or healthcare settings. Various video-conferencing platforms have also played an important role in fostering a sense of community, as well as promoting a sense of solidarity in demonstrating the indirect social impact of such technologies as well.

결론

Conclusion

현 상황에 많이 관여하는 동안 간과될 수 있는 중요한 고려사항은 [전염병 이후]에 단순히 [전통적인 대면 교육 루틴에 다시 빠지지 않고] 온라인 학습의 사용을 지속하는 것이 어떻게 가능하냐는 것이다. 평가는 새로운 접근법이 의도된 잠재적 편익을 달성하는 정도에 대한 통찰력과 효과적인 온라인 학습을 가능하게 하고 제약하는 다양한 요소를 제공하기 때문에 지속 가능성에 필수적이다. 이제는 성공적인 온라인 접근법뿐만 아니라 성공적이지 않은 온라인 접근법들을 평가하는 과정을 시작해야 할 때이며, 유행병 이전과 비교해 전염병 후 건강 직업 교육에 더 크고 효과적으로 적용할 수 있는 온라인 학습을 반복적으로 개발하고 구현해야 한다.

An important consideration, which may be overlooked whilst heavily engaged in the present situation, is how it will be possible to sustain the use of online learning after the pandemic, instead of simply falling back into a traditional face-to-face teaching routine. Evaluation is essential for sustainability since it provides insights about the extent to which new approaches are achieving their intended and potential benefits, and also the variety of factors that enable and constrain effective online learning. Now is the time to begin the process of evaluating the successful innovative online approaches, as well as the not so successful ones, to iteratively develop and implement online learning that can result in greater and more effective application to health professions education after the pandemic compared with before the pandemic.

요약

Take Home Messages

• 조직 변화의 원리를 사용하여 온라인 학습에 대한 적응 과정을 예측합니다.
• 모든 온라인 양식에 대해 우수한 교육 설계 지침을 사용할 수 있습니다.
• 온라인 학습의 구현은 부분적으로는 새로운 개발이고 부분적으로는 기존 자료의 큐레이션입니다.
• 동기식 라이브 온라인 그룹 토론과 비동기식 자율 학습을 포함한 혼합 학습을 신속하게 구현할 수 있다.
• 학습자와 교육자의 자원 공동 생성 장려
• 새로운 학습 접근법에 대한 보건 전문가의 적응성 모델링
• COVID-19 전염병 후 지속 가능성 계획

• Use the principles of organisational change to anticipate the course of adaptation to online learning
• Good instructional design guidelines are available for all online modalities
• Implementation of online learning is part development and part curation of existing resources
• Blended learning including asynchronous self-study with synchronous live online group discussions can be rapidly implemented
• Encourage co-creation of resources by learners and educators
• Model the adaptability of health professionals to new learning approaches
• Plan for sustainability after the COVID-19 pandemic
  
  

Twelve tips for rapidly migrating to online learning during the COVID-19 pandemic

John Sandars[1], Raquel Correia[2], Mary Dankbaar[3], Peter de Jong[4], Poh Sun Goh[5], Inga Hege[6], Ken Masters[7], So-Young Oh[8], Rakesh Patel[9], Kalyani Premkumar[10], Alexandra Webb[11], Martin Pusic[12]

Institution: 1. Edge Hill University, 2. SOS Médecins, 3. Erasmus University Medical Center, 4. Leiden University Medical Center, 5. National University of Singapore, 6. University of Augsburg, 7. Sultan Qaboos University, 8. NYU Grossman School of Medicine, 9. University of Nottingham , 10. University of Saskatchewan, 11. Australian National University, 12. Harvard Medical School

Corresponding Author: Prof John Sandars (john.sandars@edgehill.ac.uk)

Categories: Curriculum Planning, Educational Strategies, Teaching and Learning, Technology

DOI: https://doi.org/10.15694/mep.2020.000082.1

Published Date: 29/04/2020

Abstract

The COVID-19 pandemic has resulted in a massive adaptation in health professions education, with a shift from in-person learning activities to a sudden heavy reliance on internet-mediated education.  Some health professions schools will have already had considerable educational technology and cultural infrastructure in place, making such a shift more of a different emphasis in provision.  For others, this shift will have been a considerable dislocation for both educators and learners in the provision of education.

To aid educators make this shift effectively, this 12 Tips article presents a compendium of key  principles and practical recommendations that apply to the modalities that make up online learning.  The emphasis is on design features that can be rapidly implemented and optimised for the current pandemic. Where applicable, we have pointed out how these short-term shifts can also be beneficial for the long-term integration of educational technology into the organisations’ infrastructure.

The need for adaptability on the part of educators and learners is an important over-arching theme.  By demonstrating these core values of the health professions school in a time of crisis, the manner in which the shift to online learning is carried out sends its own important message to novice health professionals who are in the process of developing their professional identities as learners and as clinicians. 

Keywords: Education; online learning; instructional design; social media; organizational change, computer-assisted learning, remote teaching, COVID-19

효과적 강의를 위한 실용적 전략(Ann Am Thorac Soc, 2015)

Practical Strategies for Effective Lectures

Peter H. Lenz1, Jennifer W. McCallister2, Andrew M. Luks3, Tao T. Le4, and Henry E. Fessler5

대규모 그룹 강의는 모든 규모의 청중에게 교육, 임상 및 과학 정보를 전파하는 효율적인 수단으로 남아 있지만, 이 형식은 오랫동안 청중의 수동성과 지식 보유 감소(1–6)로 비판을 받아왔다. 그 결과, 현재 대화형 학습 양식을 통해 청중을 참여시키는 것에 점점 더 강조되고 있다.

Although large group lecturing remains an efficient means to disseminate educational, clinical, and scientific information to audiences of any size, the format has long been criticized for audience passivity and diminished knowledge retention (1–6). As a result, there is now increasing emphasis on engaging the audience via interactive learning modalities.

능동적 학습의 이론적 근거

The Rationale for Active Learning

학습자의 참여를 요구하는 대화형 강의는 전통적인 수동형 강의(1–8)에 비해 측정 가능한 이점을 반복적으로 입증했다. 전통적인 강의에서 정보는 스피커에서 청중을 향해 일방적으로 흐르지만, 능동적인 학습은 청중과의 참여 및/또는 상호작용을 필요로 하며 아이디어와 콘텐츠의 양방향 흐름을 촉진한다(1) 이를 위해서는 청중이 개별적으로 또는 그룹으로 정보를 실시간으로 반영하거나 조작해야 한다(1~3). 이러한 학습자 중심의 경험은 학습자에게 속도와 초점을 어느 정도 제어할 수 있는 권한을 주고, 청중이 주요 개념을 이해하고 있는지에 대한 피드백을 제공한다. 이는 전통적인 교사 중심 강의와 대비되는데, 교사 중심 강의에서는 강사에 의해 시간과 집중이 통제되고, 그 결과, 종종 청중의 자료 이해도에 대한 이해가 떨어진다.

Interactive teaching that demands learner engagement has repeatedly demonstrated measurable benefits over traditional passive lectures (1–8). Whereas in traditional lectures, information flows unidirectionally from the speaker to the audience, active learning requires engagement and/or interaction with the audience and promotes a bidirectional flow of ideas and content (1). This requires the audience to reflect on or manipulate information in real time, either individually or in groups (1–3). These learner-centered experiences delegate some control of pace and focus to the learner, and give the speaker feedback on whether the audience is grasping key concepts (1–4). This contrasts to traditional teacher-centered lectures, in which the timing and focus are controlled by the lecturer who, as a result, often has less appreciation of the audience’s comprehension of the material (1–4).

능동적 학습의 성과는 수동적 접근법을 능가한다. 의사(6)와 의료(3), 학부(4, 5), 대학원(7) 학생이 참여하는 연구에서는 주의력 향상, 고차원의 학습 촉진, 필기시험(4, 5, 7)의 성과 향상 등 일관된 이점을 보여주며, 그 이점은 주제당 소비한 추가적 시간이 아닌 참여의 성격에 기인할 수 있다. 아래에 설명된 것과 같은 대화형 기술은 강사가 일시 중지하고, 청중을 성찰할 시간을 허용하며, 어려운 개념을 재방문해야 한다. 이러한 방식으로 청중에게 통제권을 넘겨주는 것은 연설자에게 불편할 수 있지만, 학습자 중심의 환경을 유지하기 위해 요구된다(1, 3, 7).

Active learning outperforms passive approaches. Studies involving physicians (6) and medical (3), undergraduate (4, 5), and graduate (7) students demonstrate consistent benefits including improved attention span, promotion of higher order learning, and improved performance on written examinations (4, 5, 7), and the benefits can be attributed to the nature of engagement rather than the extra time spent per topic (8). Interactive techniques, such as those described below, require that speakers pause, allow time for audience reflection, and revisit challenging concepts. Relinquishing control to the audience in this manner can be uncomfortable for the speaker, but is required to maintain a learner-centered environment (1, 3, 7).

청중을 사로잡는 현대적 방법

Contemporary Methods for Engaging Audiences

이러한 개선된 결과는 여러 활성 학습 형식을 사용하여 달성되었다. 대화형 강의(1, 3)는 강의 중에 제시된 자료의 적극적인 통합을 촉진하기 위해 교사-학습자 및 학습자-학습자 상호 작용을 사용한다. 간단한 교육 세그먼트가 끝난 후, 화자는 청중에게 질문을 던지고 아래에 자세히 설명된 여러 방법을 사용하여 학습자 간의 공개 토론을 촉진한다. 이러한 유형의 질문으로부터 딥 러닝과 비판적 사고를 육성하는 것은 문제 기반 학습 커리큘럼의 한 가지 장점이다(1, 9).

These improved outcomes were attained using multiple active learning formats. Interactive lecturing (1, 3) uses teacher– learner and learner–learner interactions to promote active incorporation of material presented during the lecture. After a brief didactic segment, the speaker poses questions to the audience and fosters open discussion among learners, using a number of methods elaborated on below. The fostering of deep learning and critical thinking from this type of questioning is one advantage of problem-based learning curricula (1, 9).

간단한 기술도 유익할 수 있다. 강의 중 2분간의 정지를 삽입하여 학습자가 노트(10)를 검토하거나 토론할 수 있도록 할 때 보존력이 향상된다. 예를 들어, 대규모 그룹 설정에서 교육자는 청중에게 10-15분 분량의 자료를 제시한 후 잠시 멈추고 혼자 또는 동료들과 함께 반영하도록 요청할 수 있다(3).

Even simple techniques can be beneficial. Retention is improved when 2-minute pauses are inserted during a lecture to allow learners to review or discuss their notes (10). In a large group setting, for example, educators can ask their audience to pause and reflect by themselves or with colleagues after every 10–15 minutes of material presented (3).

동료 교육은 교육 과정(11)을 보완하기 위해 학생 상호 작용에 의존한다. 이름에서 알 수 있듯이, 학습자의 동료는 교육 과정 내에서 별도로 설정된 협업 기회 동안 지침을 제공합니다. 이 기술은 학습자가 화자가 전달한 자료를 적용하고 그 적용 또는 개념을 동료(5)에게 설명해야 한다. 이러한 think-pair-share (12, 13) 접근 방식은 학습자 중에서 교사를 만들어 내지만, 학습 encounter을 적절히 시작하기 위해 강사가 매력적인 질문을 제시해야 한다.

Peer instruction relies on student interactions to complement the educational process (11). As the name implies, the learner’s peers provide instruction during opportunities for collaboration set aside within the didactic. This technique requires the learner to apply the material delivered by the speaker and explain that application or concept to his or her colleague (5). This think-pair-share (12, 13) approach creates teachers out of the learners, but does require the speaker to pose engaging questions to properly initiate the learning encounter.

강의 내에서 능동적 학습 도구의 타이밍을 적절하게 맞추는 것은 이러한 전략의 유용성에 영향을 미친다. 전통적인 강의의 정보 보유는 단지 10분 후에 감소하며, 강연의 시작과 끝에 제시된 자료(14, 15)에 가장 높다. 이러한 primacy–recency effect 라는 것은 참여 활동의 최적 시기(14)를 시사한다. 동료 지도와 같은 ARS 질문이나 활동은 매 10-15분마다 또는 최소한 강의 중간에 보존이 최하점에 있을 때 발생해야 한다(그림 1A). 또는, 60분 강의는 10분에서 15분간의 프리타임 다운타임을 여러 사이클로 나누어 각 사이클에 능동성과 참여 활동의 조합을 포함할 수 있다(그림 1B).

Properly timing active learning tools within a lecture affects the usefulness of these strategies. Retention of information in traditional lectures declines after only 10 minutes, and is highest for material presented at the beginning and the end of the talk (14, 15). This so-called primacy–recency effect suggests the optimal timing of engaging activities (14). ARS questions or activities such as peer instruction should occur every 10–15 minutes, or at a minimum in the middle of the lecture when retention is at its nadir (Figure 1A). Alternatively, the 60-minute lecture can be divided into multiple 10- to 15-minute primetime–downtime cycles so that each includes a combination of didactics and engaging activities (Figure 1B).

청중 응답 시스템을 사용하여 대화형 학습 촉진

Using Audience Response Systems to Promote Interactive Learning

청중 대응 시스템(ARS)은 다재다능하지만 다른 능동적 학습 방법(16–19)보다 기술적으로 강의에 통합해야 하며 추가 의견을 보장해야 한다. ARS에 의해 전달되는 익명성은 교육자들이 오답을 자원하는 사람들을 당황시키지 않고 그들의 청중이 배운 것을 평가할 수 있게 한다.

Audience response systems (ARS) are versatile, but are more technically demanding to incorporate into lectures than other active learning methods (16–19) and warrant additional comment. The anonymity conveyed by ARS allows educators to assess what their audience has learned without embarrassing individuals who volunteer incorrect answers.

ARS를 구현하기 위한 세 가지 광범위한 전략이 있다: 교실 모니터링, 청중 단계 지침, 그리고 동료 지침 (18). 

• 강의실 모니터링에는 비평가 활동 참여를 통한 출석 감시, 의견조사 등을 통한 의견청탁 등의 활동이 포함된다. 

• 청중의 속도에 맞춘 교육은 우발적contingent 수업의 원칙을 적용하여, 청중의 준비에 의해 내용이 지시될 수 있도록 한다. 가장 간단한 형태는 참가자들은 그들이 [새로운 주제로 넘어갈 준비가 되었는지]를 결정하는 것이다.

• 동료 지침은 학습자 상호 작용으로 ARS를 사용할 때 크게 향상되며, ARS 양식이 제공하는 피드백을 통해 학습자 효율성이 향상된다(17, 19).

There are three broad strategies for implementing ARS: classroom monitoring, audience-paced instruction, and peer instruction (18). 

• Classroom monitoring includes activities such as attendance surveillance through participation in nongraded activities and solicitation of opinions via polling. 

• Audience-paced instruction applies the principles of contingent teaching, allowing the content to be directed by the readiness of the audience. In its simplest form, participants can decide whether they are ready to move on to a new topic (19). 

• Peer instruction is greatly enhanced when using ARS as learner interactions and learner efficiency are promoted via feedback that ARS modalities provide (17, 19).

ARS의 성공적인 통합은 기술에 대한 편안함과 세심한 준비가 필요하다. 고품질 ARS 질문은 일반적인 혼란 영역을 다루고, 특정 학습 목표를 가지고 있으며, 광범위한 응답을 이끌어내야 하지만, 반드시 정답이 하나일 필요는 없다.

Successful integration of ARS requires comfort with the technology and careful preparation. High-quality ARS questions should address common areas of confusion, have specific learning goals, and elicit a wide range of responses, but need not have a single correct answer (16).

대규모 그룹 세션의 구성 및 제공

Organization and Delivery of the Large Group Session

효과적인 대규모 그룹 세션은 [콘텐츠의 구성]과 [콘텐츠 전달] 모두에 대한 주의를 필요로 합니다. 세션 주관자와 협력하여 강의 목표와 목표, 대상 청중을 파악하면 강의를 구성하고 내용을 틀에 짜는 데 도움이 된다. 공식적인 목표 슬라이드(20)가 없어도 학습 목표가 분명한 설명을 계획하는 것이 필수적이다. 복잡성은 청중(21)에 맞게 조정되어야 한다.

Effective large group sessions require attention to both the organization of the content and its delivery. Working with the session organizer to identify the goals and objectives for the lecture and the target audience will help organize the lecture and frame the content. It is essential to plan a narrative from which the learning objectives are apparent even without a formal objectives slide (20). Complexity must be tailored to the audience (21).

비록 종종 위반되지만, 시간 제약을 존중하는 것은 전문적으로 책임이 있다. 일반적으로 말하는 규칙은 1분당 1슬라이드를 계획하는 것이다. 그러나 실제로 적절한 슬라이드 수는 복잡성과 강사의 말하기 스타일에 따라 달라집니다. 일반적인 경향은 대화에 디테일을 계속 추가하는 것이지만 강의에서는 유지가 제한되어 있고 강연자들은 내용을 세분화하는 방법을 고려해야 한다. 지정된 시간 내에 회담이 성사될 수 있도록 보장하는 유일한 방법은 연습이다. 시간을 편성할 때, 질문을 강의 도중 또는 후에 처리할지 고려합니다.

Although often violated, it is professionally responsible to respect time constraints. A common rule of thumb is to plan one slide per minute of speaking time. In practice, however, the appropriate number of slides varies based on their complexity and the lecturer’s speaking style. A common tendency is to keep adding detail to talks, but retention is limited in lectures and speakers should consider ways to pare down the content. The only way to ensure talks can be delivered within the allotted time is to rehearse (22). When budgeting time, consider whether questions are addressed during or after the talk.

강의를 할 때는 청중에게 연설하기보다는 화면 쪽으로 방향을 틀고 자료를 읽는 등 청중을 disengage시키는 경향이 있는 접근을 피한다. 리허설을 통해 화자는 소재에 익숙해지고 스크린(22)이 아닌 관객과 눈을 마주치게 된다. 레이저 포인터는 슬라이드의 특정 요소를 가리키기 위해 사용되어야 하며, 텍스트 슬라이드를 통해 청중들을 단어별로 리드하거나 휘갈겨서는 안 된다.

When delivering the lecture, avoid approaches that tend to disengage the audience, such as turning toward the screen and reading the material rather than addressing the audience. By rehearsing, speakers gain familiarity with their material and maintain eye contact with the audience rather than the screen (22). Laser pointers should be used to point at specific elements of the slide, not scribbling or leading the audience word-by-word through text slides.

서술이 주제를 세그먼트로 나누는 경우, 전환 슬라이드transition slide는 그들 사이의 청취자를 용이하게 한다(23). 이러한 전환은 청중에게 새로운 정보를 처리하고(23세) 대화 진행 중인 위치를 업데이트하며 질문을 할 수 있는 기회를 제공한다. 전환 슬라이드는 원래 개요 슬라이드, 진행 단계가 추가된 규제 경로와 같은 개요 이미지를 특징으로 하는 로드맵 슬라이드 또는 시각적 마일포스트의 다른 형태로 구성될 수 있습니다. 마지막으로, 강의는 마지막 내용 슬라이드 이후에 갑자기 끝나서는 안 된다. 대신, 프레젠테이션의 요점 요약(22)으로 마무리해야 합니다.

If the narrative divides the topic into segments, transition slides ease the listener between them (23). These transitions provide the audience time to process new information(23), update them on where they are in the progression of the talk, and allow opportunities for questions. Transition slides might consist of the original outline slide, roadmap slides featuring an overview image like a regulatory pathway with progressive steps added, or other forms of a visual milepost. Finally, the lecture should not end abruptly after the last content slide. Instead, it should conclude with a summary of the main points from the presentation (22).

효과적인 슬라이드 및 그래픽 디자인 기법

Techniques for Effective Slide and Graphic Design

청중은 청각과 시각으로 두 개의 데이터 스트림을 동시에 수신하므로, 슬라이드 콘텐츠가 음성(24)을 지지하고 균형을 맞추도록 하는 것이 중요하다. 과학은 본질적으로 복잡하지만, 면밀한 연구를 요구하는 지나치게 복잡한 슬라이드는 청중을 말에서 멀어지게 하고 이해를 손상시킨다. 이는 흡수 및 보존을 극대화하기 위해 사려 깊지만 절제된 시각적 표시의 단순화를 요구한다.

Because audiences receive two data streams simultaneously, one aural and one visual, it is important to ensure that the slide content supports and balances the spoken word (24). Although science is inherently complex, overly complex slides that demand close study distract the audience from what is being said and impair comprehension. This demands thoughtful but disciplined simplification of the visual presentation to maximize absorption and retention.

그 효과에 대한 논란에도 불구하고, PowerPoint는 전문적인 프레젠테이션을 위한 픽스처로서 버텨왔으며, 스피커는 이 형식(23) 내에서 최적의 시각적 프레젠테이션을 보장할 수 있어야 한다. PowerPoint는 슬라이드 배경에 무수히 많은 옵션을 제공하지만, 많은 것들이 슬라이드 컨텐츠에 방해가 된다. 배경은 단색이어야 하며 질감이 없어야 합니다.

Despite debates regarding its effectiveness, PowerPoint has endured as a fixture for professional presentations and speakers must be able to ensure optimal visual presentation within this format (23). PowerPoint provides myriad options for slide backgrounds, but many distract from the slide content. Backgrounds should be monochromatic and non-textured.

슬라이드 배경과 텍스트 색상은 고대비(25)여야 한다. 파란색 배경에는 검은색 텍스트를, 흰색에는 노란색 텍스트를 사용하지 마십시오. 빨간색/녹색 조합은 색맹에 회색 음영으로 나타납니다. 파란색 또는 녹색의 빨간색은 색상 여백에 희미하게 나타나며, 이는 문자 선택에 있어 서투른 선택입니다.

Slide background and text colors should have high contrast (25). Avoid black text on blue backgrounds or yellow on white. Red/green combinations appear as shades of gray to the colorblind. Red on blue or green appear to shimmer at the color margins, making this a poor choice for lettering.

(온라인 부록의 그림 E1 참조).

(see Figure E1 in the online supplement).

산세리프(예: Arial, Helvetica) 대 세리프 글꼴(예: Times New Roman)의 상대적 가독성이 논의되지만, 많은 사람들은 투영된 텍스트(26, 27)에 대해 산세리프 글꼴을 권장한다. 코믹 샌즈와 같은 비공식 글꼴은 일반적으로 전문 프리젠테이션에 적합하지 않다.

The relative readability of sans serif (e.g., Arial, Helvetica) versus serif fonts (e.g., Times New Roman) is debated, but many recommend sans serif fonts for projected text (26, 27). Informal fonts such as Comic Sans are typically inappropriate for professional presentations.

글머리 기호 개요는 일반적인 전술이지만, 수동적인 슬라이드 판독(28)을 피하기 위해 단어 수를 최소화해야 한다. 완전한 문장보다는 전보적인 윤곽을 쓰세요. 글머리 기호 목록은 본질적으로 두 가지 개념만 전달한다. 

• 멤버쉽(어떤 것이 목록의 일부이다)

• 계층(어떤 멤버는 다른 멤버에 비해 하위에 속한다) 

이러한 관계를 반영하기 위해 텍스트 슬라이드를 배치하되, 청중이 설명을 듣는 동안에만 프레임워크 역할을 하도록 합니다.

Bullet point outlines are a common tactic, but the number of words should be minimized to avoid passive slide reading (28). Write telegraphic bulleted outlines rather than complete sentences. Bulleted lists intrinsically convey only two concepts: membership (something is part of a list) and hierarchy (some members are indented relative to others). Lay out text slides to reflect those relationships, but let them serve only as a framework while the audience listens to the explanation.

가능하면 데이터는 텍스트나 표(25)가 아닌 그래프나 이미지로 표시해야 한다. 일반적인 오류는 출판물의 테이블이나 이미지를 슬라이드로 직접 복사하는 것입니다. 출판물을 위해 준비된 표와 이미지는 독자가 그것들을 오랜 시간 학습할 수 있다고 가정하고 텍스트, 캡션, 이미지 또는 표 사이에서 주의를 앞뒤로 이동할 수 있다. 강의를 듣는 청중은 그러한 기회가 부족하다.

Whenever possible, data should be displayed as graphs or images rather than as text or tables (25). A common error is to copy tables or images from publications directly onto a slide. Tables and images prepared for publication assume the reader can study them at length, and shift attention back and forth between the text, caption, and image or table. Lecture audiences lack those opportunities.

(온라인 부록의 그림 E2 참조).

(see Figure E2 in the online supplement).

일반적인 그래픽 오류는 발견(23, 25, 29)을 잘못 전달할 수 있으므로 기본 데이터는 가장 적합한 형식으로 플로팅되어야 한다. 예를 들어 막대 그래프는 인접한 막대의 높이를 강조하며 몇 개의 범주가 있는 범주형 데이터에 가장 적합합니다. 전체 복사에 걸친 변화를 비교하고자 할 때 선 그래프가 더 나은 선택이다. 대규모 그룹 프레젠테이션의 경우 데이터 그래프를 최소한의 핵심bare essence만으로 단순화해야 한다. 그래프에서 선과 막대에 직접 레이블을 붙여서 청중이 측면의 범례를 앞뒤로 보도록 강제하지 않도록 합니다. 3차원 막대는 정량적 비교를 혼동하므로 2차원 데이터에 사용해서는 안 된다.

Primary data should be plotted in the format that suits them best, as common graphical errors can misrepresent the findings (23, 25, 29). Bar graphs, for example, emphasize the height of adjacent bars and are best for categorical data with just a few categories. Line graphs are better choices when comparison of changes across the whole abscissa is desired. For large group presentation, data graphs should be simplified to their bare essence. Label lines and bars directly on the graph to avoid forcing the audience to look back and forth to a legend on the side. Three- dimensional bars confound quantitative comparison and should not be used for two-dimensional data.

(온라인 부록의 그림 E3 참조).

(see Figure E3 in the online supplement).

많은 데이터 슬라이드를 주장 및 증거 형식으로 설계할 수 있으며, 이는 슬라이드의 기본 메시지 보존을 개선하는 것으로 나타났다(30). 정보를 알 수 없는 간단한 슬라이드 제목을 슬라이드의 "홈 메시지 가져가기"에 대한 짧은 선언문으로 바꾸고 이 기본 메시지를 뒷받침하는 증거를 제목 아래에 배치합니다(그림 2).

Many data slides can be designed in the assertion-plus-evidence format, which has been shown to improve retention of a slide’s main message (30). Replace a bland and uninformative slide title with a short declarative statement of the slide’s “take- home message” and place the evidence supporting this primary message below the title (Figure 2).

PowerPoint는 과학적인 메시지를 손상시킬 수 있는 많은 디자인 기능을 제공합니다. 슬라이드 내의 애니메이션은 논의되는 대로 강조하거나, 물리적 변화를 설명하거나, 순차적으로 이미지를 대체할 수 있지만, 조금만 사용해야 합니다. 슬라이드 간 애니메이션 전환(밀기, 용해 등)을 사용하면 안 됩니다. 마지막으로, 비순차자에 저항합니다.

PowerPoint offers many design features that can detract from a scientific message. Animation within slides can provide emphasis, illustrate physical changes, or replace images in sequence as they are discussed, but should be used sparingly. Animated transitions between slides (push, dissolve, etc.) should not be used. Finally, resist non sequiturs.

대규모 그룹 프레젠테이션을 위한 대체 소프트웨어 도구

Alternative Software Tools for Large Group Presentations

파워포인트의 유용성은 데뷔 이래 계속 논의되어 왔다. 비평가들은 파워포인트가 강사를 글머리표를 읽는 사람으로 만드는 수동적인 강의를 장려한다고 주장해왔다. 이미지에 대한 텍스트 의존성은 복잡한 관계를 설명하거나 더 큰 개념 프레임워크 내에서 핵심 사항을 구성하기 어렵게 하며, PowerPoint는 청중의 상호작용과 참여를 위한 기본 도구를 제공하지 않는다(28). 35mm 슬라이드 및 칠판(32)과 같은 오래된 도구에 비해 PowerPoint의 우수한 학습 효과를 지원하는 데이터는 거의 없다.

The usefulness of PowerPoint has been debated since its debut, as critics argue it encourages passive lectures that consist mainly of speakers reading from bulleted lists (28, 31–33). The reliance on text over images makes it difficult to illustrate complex relationships or organize key points within a larger conceptual framework, and PowerPoint does not provide native tools for audience interaction and engagement (28). Few data support superior learning effectiveness of PowerPoint as compared with older tools such as 35-mm slides and the chalkboard (32).

이러한 문제에 대응하여, 보다 몰입적인 강의의 기회를 제공하는 새로운 프리젠테이션 도구가 등장하였다(표 1).

In response to these problems, newer presentation tools have emerged that provide opportunities for more engaging lectures (Table 1).

새로운 기술이 항상 프레젠테이션의 요구를 충족시키는 것은 아니므로, 멀티미디어 학습의 원칙과 일치하는 좋은 교육 설계 관행을 항상 검토한 후 프레젠테이션의 교육 목표에 가장 적합한 도구와 기능을 선택하여 적용한다(24, 39). 좋은 프레젠테이션을 위해 한 번에 두 개 이상의 새로운 툴이나 주요 기능을 사용하지 말고 이 기술을 사용하여 연습하여 원활한 환경을 보장하십시오. 사전에 세션 주최자 또는 시청각 담당자와 상의하여 장소가 해당 기술을 수용할 수 있는지 확인합니다. 모든 기술이 실패할 수 있으므로 다른 제공 전략을 사용할 수 있습니다.

Newer technologies do not always meet the needs of the presentation, so always review good instructional design practices consistent with the principles of multimedia learning and then select and apply the tools and features that best serve the instructional goals of the presentation (24, 39). To ensure a good presentation, avoid using more than one new tool or major feature at a time and rehearse with the technology to ensure a seamless experience. Consult with session organizers or audiovisual staff beforehand to verify that the venue can accommodate the technology. Because any technology can fail, have an alternative delivery strategy available.

결론 Conclusions

수동적이고 교사 중심적인 강의는 의료 커리큘럼에서 단계적으로 폐지되고 있으며, 청중이 수신하는 정보를 처리하고 적용해야 하는 보다 입증 기반의 학습자 중심 방식으로 대체되고 있다. 이러한 방법은 반사 일시 중지 추가와 같은 간단한 전략부터 실시간 스피커 피드백 및 학습자 평가를 가능하게 하는 ARS와 같은 보다 복잡한 도구에 이르기까지 다양하다. 스피커는 기술을 적절히 통합하고, 전달, 구성 및 슬라이드 설계의 원칙을 준수하며, 능동적 학습 기법을 통합함으로써 전달된 콘텐츠를 전문적 실무에서 유지하고 구현할 수 있습니다.

Passive, teacher-centered lectures are being phased out of medical curricula, replaced by more evidenced-based, learner-centered methods that require the audience to process and apply the information they are receiving. These methods can range from simple strategies such as adding reflective pauses, to more complex tools such as ARS that allow real-time speaker feedback and learner assessment. By appropriately incorporating technology; adhering to principles of delivery, organization, and slide design; and integrating active learning techniques, speakers can ensure the delivered content is retained and implemented in professional practice. 

학부의학교육에서 의사소통 교육과정의 내용에 대한 합의문(Med Educ, 2008)

UK consensus statement on the content of communication curricula in undergraduate medical education

Martin von Fragstein,1 Jonathan Silverman,2 Annie Cushing,3 Sally Quilligan,2 Helen Salisbury4 & Connie Wiskin5 on behalf of the UK Council for Clinical Communication Skills Teaching in Undergraduate Medical Education

도입 INTRODUCTION

본 문서는 2005년 설립된 영국 대학 의학 교육 임상 커뮤니케이션 기술 교육 위원회(Council of Clinical Communications Skills Teaching in Underbled Medical Education)의 주최로 실시된 33개 모든 영국 의과대학에서 의사 소통 기술 리드 간의 반복적인 과정에 의해 개발되었다. (영국 의회의 현재 대표에 대한 자세한 내용은 온라인 지원 정보로 제공됩니다.)

This document was developed by an iterative process of discussion between communication skills leads from all 33 UK medical schools conducted under the auspices of the UK Council of Clinical Communication Skills Teaching in Undergraduate Medical Education, established in 2005 (details on the current representatives of the UK council are available online as Supporting Information).

합의문 THE CONSENSUS STATEMENT

의사소통 기술을 가르치고 배우는 현대적 관행을 안내하는 포괄적인 증거가 존재하며, 결과와 연계된 30년 이상의 축적된 연구는 진술에 포함할 통신 영역, 과제, 기술 및 이슈의 선택을 이끌어 왔다.10–14

Comprehensive evidence exists to guide the modern practice of communication skills teaching and learning9 and over 30 years of accumulated research linked to outcome has guided the choice of communication domains, tasks, skills and issues to include in the statement.10–14

의사소통 커리큘럼 바퀴 COMMUNICATION CURRICULUM WHEEL

이 다이어그램에서 임상 커뮤니케이션의 주요 영역은 '다른 사람에 대한 존중'이라는 중심에서 시작하여 커뮤니케이션 학습의 특정 영역을 통해 밖으로 이동한다(그림 1). 이러한 영역은 의사소통 뿐만 아니라 의학의 모든 영역을 지배하는 네 가지 지나친 원칙의 환경 내에서 설정된다.

In this diagram, the key domains of clinical communication are shown as concentric rings, starting in the centre with ‘respect for others’ and moving outwards through the specific domains of communication learning(Fig. 1). These domains are set within a milieu of four over-riding principles which govern not only communication, but all areas of medicine.

그런 다음 각 도메인의 특정 구성 요소가 각 링 내에서 설명됩니다. 링을 독립적으로 회전시킴으로써, 의사소통 커리큘럼 설계자는 사실상 '커리큐럼 다이얼링'을 할 수 있다. (예를 들어, 노인 환자에 대한 설명과 계획의 구체적인 상황을 전화로 친척에게 전달하는 등)

The specific components of each domain are then delineated within each ring. By rotating the rings independently, the communication curriculum planner can in effect ‘dial a curriculum’ by, for instance, dialling up how to teach the specific situation of explanation and planning about an elderly patient, to a relative over the telephone.

교육과정 다이얼 모델은 주요 영역의 연결을 가능하게 할 뿐만 아니라 반복 프로세스를 명시적으로 장려한다.

The dial-a-curriculum model not only enables linkage of the key domains, but also explicitly encourages a reiterative process.

만약 지속적, 나선형 의사소통 프로그램이 과정 전체에 걸쳐 실행되지 않는다면, 학생들은 의사소통을 마스터하지 못할 것이다.15

If ongoing, helical communication programmes do not run throughout the course, students will fail to master communication.15

임상 커뮤니케이션 영역 DOMAINS OF CLINICAL COMMUNICATION

타인에 대한 존중

Respect for others

학생들은 사회적, 문화적, 인종적 배경이나 장애에 관계없이 개인과 효과적이고 유연하게 의사소통하기 위해 모든 환자에 대한 존경과 평등에 대한 헌신을 받아들여야 한다.

Students need to embrace respect for all patients and a commitment to equality in order to be able to communicate effectively and flexibly with individuals, regardless of social, cultural or ethnic backgrounds or disabilities.

커뮤니케이션 스킬의 이론 및 증거

Theory and evidence of communication skills

학습자는 의사소통의 증거 기반을 인식하고 적절히 해석하고 행동할 수 있어야 합니다. 여기에는 다음과 관련된 문헌에 대한 인식awareness이 포함됩니다.

Learners need to be aware of the evidence base for communication and be capable of interpreting and acting upon it appropriately. This includes an awareness of the literature related to:

• 환자 만족도

• patient satisfaction;

• 회상

• recall;

• 준수 및 일치성

• adherence and concordance;

• 웰빙;

• wellbeing;

• 물리적 결과

• physical outcome;

• 심리적 결과

• psychological outcome;

• 의료법적 문제 및

• medico-legal issues, and

• 환자의 안전과 오류 감소

• patient safety and reduction of error.

학생들은 효과적인 의사소통이 의료의 실천을 위한 통합 접근법의 일부이며, 그것이 옆에 있고 임상 지식과 실무 기술만큼 좋은 실천에 중요하다는 것을 이해할 필요가 있다.

Students need to understand that effective communication is part of an integrated approach to practice in health care and that it stands alongside and is as important to good practice as clinical knowledge and practical skills.

환자 중심성의 이론적 접근은 고품질 치료의 가장 중요한 특징으로 입증되었으며, 모든 커뮤니케이션 커리큘럼의 중심 요소여야 한다.

The theoretical approach of patient-centredness17 has been demonstrated to be a paramount feature of high-quality care and should be a central component of any communication curriculum.

임상 인터뷰의 과제 및 기술

Tasks and skills of the clinical interview

임무들

Tasks

학생들은 상담의 목적뿐만 아니라 상담 내 다양한 과제가 어떻게 전체적인 목표 달성에 기여하고 적용되는지 이해하도록 노력해야 한다.

Students should strive to understand not only the purpose of the consultation, but also how various tasks within the consultation contribute and apply to achieving the overall goal.

의사 소통은 일반적으로 목적적이므로, 의료면담 활동의 대부분은 과제로 가르칠 수 있다.

As communication is generally purposive, most of the activities of the medical interview can be taught as tasks.

• 관계 설정 및 구축 

• establishing and building a relationship; 

• 개시(즉, 협의 개시 및 의제 설정) 

• initiating (i.e. opening the consultation and setting the agenda); 

• 환자 요구의 설정, 인식 및 충족 

• establishing, recognising and meeting patient needs; 

• 정보 수집 

• gathering information; 

• 환자의 세계관을 도출하고 고려한다. 

• eliciting and considering the patient’s world view; 

• 신체검사 실시 

• conducting a physical examination; 

• 관련 진단의 수립 및 설명 

• formulating and explaining relevant diagnoses; 

• 설명, 계획 및 협상 

• explaining, planning and negotiating; 

• 구조화, 표지 게시 및 우선순위 지정 및 

• structuring, signposting and prioritising, and 

• 종료(면접 종료 및 다음 회의 설정)

• closing (ending the interview and setting up the next meeting).

이러한 커뮤니케이션 프로세스 작업은 의료 인터뷰 내용과 밀접하게 연관되어 있습니다. 이러한 두 가지 콘텐츠 및 프로세스 요소는 불가분의 연계를 이루며 의료 커리큘럼에 통합된 접근 방식이 필요하다.

These communication process tasks are closely linked to the content of the medical interview. These two elements of content and process are inextricably linked and require an integrated approach in the medical curriculum.

스킬 Skills

위의 각 개별 작업의 실행과 관련된 다수의 개별적이고 관찰 가능한 특정 행동 기술이 있다. 이러한 기술의 예는 다음과 같습니다.

There are a number of discrete, observable, specific behavioural skills relevant to the execution of each of the separate tasks above. Examples of these skills include:

• 눈 접촉; 

• eye contact; 

• 표정; 

• facial expression; 

• 주의 깊은 경청 

• attentive listening; 

• 선별; 

• screening; 

• 열린 질문과 닫힌 질문의 적절한 균형 

• appropriate balance of open and closed questions; 

• 촉진; 

• facilitation; 

• 공감하는 성찰 

• empathic reflection; 

• (언어적 및 비언어적) 단서에 대한 대응 

• responding to cues (both verbal and non-verbal); 

• 요약; 

• summarising; 

• 표지판 게시; 

• signposting; 

• 정보를 제공할 때 환자의 출발점 결정 

• determining the patient’s starting point when giving information; 

• 청킹 정보 및 

• chunking information, and 

• 환자의 이해도 확인

• checking the patient’s understanding.

'관계 구축'의 과제와 기술은 특히 강조할 필요가 있다. 학습자는 상담에 내재된 힘의 불균형을 포함하여 환자와 의사와의 관계의 특정한 성격을 이해하고 이해해야 한다. 치료 관계의 중요성과 전문 경계의 필요성은 특별한 주의를 요한다.

The task and skills of ‘relationship building’ need special emphasis. Learners need to understand and appreciate the particular nature of the doctor’s relationship with the patient, including the imbalance of power that is inherent in the consultation. The importance of the therapeutic relationship and the need for professional boundaries require particular attention.

특정 이슈

Specific issues

의사 소통에는 많은 도전적인 맥락과 상황이 있다.

There are many challenging contexts and situations for doctors when they communicate with patients.

학습자는 상담에 내재된 권력power의 불균형을 포함하여 환자와 의사와의 관계의 특정한 성격을 이해하고 이해해야 한다. 치료 관계의 중요성과 전문 경계의 필요성은 특별한 주의를 요한다.

The challenge for the communication curriculum is to deepen learners’ understanding of these core skills and to encourage them to use these skills flexibly and responsibly in a variety of specific situations.

연령별 영역

Age-specific areas

교육과정은 어린이와 부모, 청소년, 노인 환자와의 의사소통을 포괄해야 한다.

The curriculum should cover communication with children and parents, adolescents, and elderly patients.

문화적, 사회적 다양성

Cultural and social diversity

교과과정의 강의는 민족성과 국적, 언어, 종교, 성, 성별, 사회경제적 지위, 장애, 교육적 지위, 영성과 관련된 문제들을 포함해야 한다.

Teaching in the curriculum should include issues related to: ethnicity and nationality; language; religion; sexuality; gender; socioeconomic status; disability; educational status, and spirituality.

감정 및 어려운 질문 처리

Handling emotions and difficult questions

교과 과정에는 학생들이 고통, 두려움, 분노, 공격, 부정, 결탁, 당황과 같은 어려운 감정을 다루는 법을 배울 수 있도록 하는 교육이 포함되어야 한다.

The curriculum should include teaching that enables students to learn how to handle difficult emotions, such as distress; fear; anger; aggression; denial; collusion, and embarrassment.

특정 임상 맥락을 위한 기술

Skills for specific clinical contexts

커리큘럼에는 다음과 같은 특정 임상적 맥락 안에서 사용할 기술의 교육이 포함되어야 한다. 

정신의학에서: (숨겨진 우울증을 치료하고 자살 위험 평가, 정신병 환자와의 작업, 인지 장애 환자와의 작업, 알코올 및 약물 남용을 처리); 

응급의학에서: (적극적이고 폭력적인 환자, 시간 관리 및 우선 순위 지정)

The curriculum should include the teaching of skills to be used within specific clinical contexts, such as: 

in psychiatry (uncovering hidden depression and assessing suicidal risk; working with psychotic patients; working with patients with cognitive impairment; dealing with alcohol and substance abuse); 

when working in emergency medicine (dealing with aggressive and violent patients; time management and prioritisation).

설명 및 계획 스킬의 구체적인 적용

Specific application of explanation and planning skills

커리큘럼은 정보에 입각한 동의를 구하는 기술, 위험 관리, 건강 증진 및 행동 변화를 포함해야 한다.

The curriculum should include skills pertaining to seeking informed consent; risk management; health promotion, and behaviour change.

불확실성 처리

Dealing with uncertainty

불확실성 문제는 의료 전문가가 처리할 수 있는 기술, 즉 불확실한 예후와 관련된 문제, 환자(전문 환자, 잘 아는 환자)와의 관계 변화 및 의학적으로 설명할 수 없는 증상을 필요로 한다.

Issues of uncertainty require skills that enable the health care professional to deal with: issues concerning uncertain prognosis; changing relationships with patients (the expert patient; the well-informed patient) and medically unexplained symptoms.

민감한 문제

Sensitive issues

의료 전문가들은 다음을 할 수 있는 기술을 동화시켜야 한다.

• 나쁜 소식을 전하다 

• 죽음, 죽어감 및 사별에 대해 논의한다. 

• 성에 대해 이야기하다. 

• 환자의 산과학적 병력를 탐구한다. 

• 아동 학대, HIV 감염 및 정신질환과 같은 오명stigma을 씌우는 문제를 논의한다.

Medical professionals are also required to assimilate skills that enable them to: 

• break bad news; 

• discuss death, dying and bereavement; 

• talk about sex; 

• explore a patient’s gynaecological history, and 

• discuss issues that involve stigmatisation, such as child abuse, HIV infection and mental illness.

의사소통 장애 

Communication impairment

또한 이 커리큘럼은 학생들이 청각 장애나 시각 장애, 표현 장애 또는 학습 장애와 같은 감각 장애가 있는 환자와 의사소통하는 데 필요한 기술을 습득할 수 있도록 해야 한다.

The curriculum must also enable students to acquire the skills required to communicate with patients who have a sensory impairment such as a hearing impairment or a visual impairment; an expressive impairment; or learning disability.

미디어 Media

학생들은 음성, 서면 및 전자 형식으로 효과적으로 의사소통할 수 있어야 한다.

Students need to be able to communicate effectively in spoken, written and electronic formats.

대면 커뮤니케이션은 학생들에게 다음을 요구합니다.

Face-to-face communication requires students to:

• 물리적 및 사회적 환경적 요인에 대한 인식을 개발한다. 

• 바디 랭귀지의 사용에 유의해야 한다.

• develop an awareness of environmental factors, both physical and social, and 

• be aware of the use of body language.

전화 통신에는 학생이 다음을 수행해야 합니다.

Telephone communication requires students to:

• understand the specific demands and adaptations required in communication over the telephone.

서면 커뮤니케이션의 경우 학생은 다음을 수행해야 합니다.

Written communication requires students to:

• 퇴원 및 전원 서한은 잘 체계화되고 이해가능하며 포괄적이고 명확하며 명확한 방식으로 작성한다. 

• 메모, 약물 차트 및 사망진단서를 판독 가능하고 명확하고 정확하게 작성한다.

• record an accurate initial patient assessment and subsequent daily progress notes in clear and concise written language; 

• write discharge and referral letters in a manner that is well structured, comprehensible, comprehensive and clear, and 

• write notes, drug charts and death certificates, legibly, clearly and accurately.

컴퓨터 기반 및 전자 통신의 경우 학생은 다음을 수행해야 합니다.

Computer-based and electronic communication requires students to:

• 전산화된 환자 기록, 처방 및 의뢰 시스템에 익숙해야 한다. 

• 통신을 위한 팩스 및 전자 메일 사용과 관련된 문제(예: 기밀성)를 인지해야 한다.

• have sufficiently competent IT skills to ensure patients’ electronic records are well maintained; 

• be familiar with computerised patient records, prescribing and referral systems, and 

• be aware of issues pertaining to the use of fax and e-mail for communication (e.g. confidentiality).

프레젠테이션을 하려면 학생이 다음을 수행해야 합니다.

Making presentations requires students to:

• 대규모 그룹에 임상 및 학술 정보를 발표한다.

• present clinical and academic information to large groups.

환자 너머의 의사소통

Communicating beyond the patient

임상의는 적절한 환자 자율성과 기밀성을 유지하면서 다양한 보건 및 사회 관리 전문직 및 기타 기관의 친척, 보호자 및 동료와 소통해야 한다.

Clinicians need to communicate with relatives, carers and colleagues from a range of health and social care professions and other agencies, while maintaining appropriate patient autonomy and confidentiality.

친인척, 보호자, 옹호자 또는 통역자 등 환자를 상담에 동반하는 개인은 의사소통에 추가적인 과제를 제시한다. 또한 임상의는 다른 의사들과 협력하고 환자의 최선의 이익을 위해 협상해야 합니다. 학습자는 의료 동료들과 효과적으로 일하기 위해 어떤 기술과 태도가 필요한지 탐구할 기회를 요구합니다. 학생들은 보다 광범위한 의료 팀과 함께 법적 및 자발적 조직 및 관리 단체와 협력하게 됩니다. 이를 위해서는 다른 전문가 및 조직과 효과적으로 소통하고 협력적이고 공손하게 작업해야 한다는 약속이 필요합니다. 이를 달성하기 위해 학습자는 효과적인 팀 작업에 대한 가능 요소와 장벽을 식별할 수 있어야 합니다. 가능할 때마다, 전문가들 간의 팀워크에 대한 가르침은 계획되고 상호 전문적으로 가르쳐져야 한다.

Individuals who accompany the patient to the consultation, whether relatives, carers, advocates or interpreters, present added challenges to communication. Clinicians also need to collaborate with other doctors and negotiate in the patient’s best interests: learners require the opportunity to explore which skills and attitudes are needed to work effectively with medical colleagues. Students will work with the wider health care team, with statutory and voluntary organisations and with management groups. This requires a commitment to communicate effectively and work co-operatively and respectfully with other professionals and organisations. To achieve this, learners will need to be able to identify enabling factors and barriers to effective team-working. Whenever possible, teaching on interprofessional team-working should be planned and taught interprofessionally.

친족 및 보호자

Relatives and carers

친인척 및 보호자와의 의사소통은 다음을 요구한다.

• 제3자 포함 협상 방법을 모색한다. 

• 환자가 자신의 문제를 자유롭게 제시할 수 있도록 한다. 

• 기밀성을 유지하는 방법을 고려한다.

• 삼자 인터뷰의 역학 관계를 관리하는 방법을 이해합니다.

Communication with relatives and carers requires students to: 

• explore how to negotiate the inclusion of a third party; 

• enable the patient to present his or her problem freely; 

• consider how to maintain confidentiality, and understand how to manage the dynamics of a triadic interview.

옹호자 및 통역자

Advocates and interpreters

학생들은 반드시 필요한 기술을 배워야 한다: 

• 환자 지지자들과 함께 작업한다. 

• 전문 통역사와 일반 통역사와 협력해야 한다. 

• 관련된 역할의 매개 변수를 협상 및 정의합니다. 

• 이러한 유형의 인터뷰에 포함된 문화적 및 현실적 제약 내에서 효과적으로 작업할 수 있습니다.

Students must learn the skills necessary to: 

• work with patient advocates; 

• work with professional and lay interpreters; 

• negotiate and define the parameters of the roles involved, and 

• work effectively within the cultural and practical constraints contained in this type of interview.

내직업

Intra-professional

직업 내 커뮤니케이션은 학생들이 할 수 있는 능력을 요구합니다: 

• 명확하고 이해 가능한 구두 및 서면 커뮤니케이션을 생성한다. 

• 인계 및 병동회진 프레젠테이션과 관련된 문제를 이해합니다. 

• 동료와 함께 일할 때 적절하게 주장하기 위한 기술을 이해한다. 

• 동료 또는 동료에게 자신의 성과에 대해 우려를 표현하는 방법을 설명합니다. 

• 동료가 환자를 위험에 빠뜨릴 수 있는 방식으로 행동하고 있다는 의심이 있는 경우 행동할 책임에 관한 GMC 지침을 알고 있어야 한다. 

• 불만사항 및 의료상 오류를 처리한다

• 환자, 친척 또는 직원의 불만사항이 처리되는 메커니즘을 이해한다

• 의료 오류를 보고하기 위해 존재하는 시스템과 이러한 시스템이 환자 안전을 개선하는 데 미칠 수 있는 역할을 이해한다. 

• 불만사항의 대상이 되는 것의 영향을 고려한다.

• 오류에 대한 책임을 질 때 개인에게 미칠 수 있는 영향을 고려한다.

• 이용 가능한 지원 소스를 고려한다

Intra-professional communication requires students to be able to: 

• produce clear, comprehensible oral and written communication; 

• understand the issues relating to handover and ward round presentations; 

• understand techniques for being appropriately assertive when working with a colleague; 

• appreciate how to express concerns to a colleague or peer about his or her performance; 

• be aware of General Medical Council guidelines regarding the responsibility to act if there is any suspicion that a colleague is behaving in a manner that may put patients at risk; 

• deal with complaints and medical errors (understand the mechanisms by which complaints from patients, relatives or staff are dealt with; 

• understand the systems that exist for reporting medical errors and the roles these may have in improving patient safety; 

• consider the impact that being the subject of a complaint or responsible for an error may have on an individual, and the sources of support available).

전문가간

Inter-professional

전문가 간 커뮤니케이션은 학생들이 할 수 있어야 합니다. 다른 팀원의 가치, 역할, 전문성 및 책임을 이해하고 효과적으로 협업하는 방법을 고려해야 합니다. 1차 또는 2차 진료 인터페이스 전반에서 효과적인 커뮤니케이션과 지속적인 관리를 촉진하는 문제를 이해하고 이를 수용해야 하며, 갈등을 겪어야 합니다.정보 공유 및 기밀 유지.

Inter-professional communication requires students to be able to: understand other team members’ values, roles, expertise and responsibilities and consider how to collaborate effectively; understand the issues that promote effective communication and continuity of care across the primary or secondary care interface, managing and embracing, conflicting sharing information, and maintaining confidentiality.

서포팅 원칙 SUPPORTING PRINCIPLES

성찰적 실천 

Reflective practice

성찰적 실천에는 진단, 최적의 관리 또는 예후와 관련하여 개인 자기 인식과 불확실성 대처가 포함된다. 이를 위해서는 학생이 자아 인식self-awareness과 다음 기능을 개발해야 합니다. 

• 개인적인 도전 영역을 인식한다. 

• 개인적 견해와 가치가 전문적 책임과 충돌할 수 있는 정도 및 이것이 환자와의 의사소통에 미칠 수 있는 잠재적 영향을 이해한다. 

• 자신의 한계를 인식해야 한다. 

• 상급 동료에게 refer할 필요가 있을 때 이해한다. 

• 피드백에 건설적으로 대응할 필요성을 인식하고, 직업적 경계를 이해한다. 

• 스스로에 대한 돌봄과 안전을 고려하다 

• 학생은 불확실성이 가져올 수 있는 스트레스를 이해하고 개인적 대처전략을 되새겨 불확실성에 대처하는 방법도 알아 볼 필요가 있다.

Reflective practice includes personal self-awareness and dealing with uncertainty, whether concerning diagnosis, optimal management or prognosis. This requires the student to develop self-awareness and the ability to: 

• recognise areas of personal challenge; 

• understand the extent to which personal views and values can clash with professional responsibility and the potential impact this might have on communication with patients; 

• recognise his or her own limitations; 

• understand when there is a need to refer to senior colleagues; 

• appreciate the need to respond constructively to feedback; understand professional boundaries; 

• consider personal care and safety. 

• The student also needs to appreciate how to cope with uncertainty by understanding the stress that uncertainty may bring, and reflecting on personal coping strategies.

전문직업성 Professionalism

성실성, 정직성 및 확률의 속성을 개발하면 학생들은 다음과 같은 이점을 얻을 수 있습니다. 

• 개별 환자 및 지역사회에 치료를 제공하는 데 수반되는 도덕적, 윤리적 책임을 수용한다. 

• 의사-환자 관계의 불평등한 권력 균형과 필요성을 인정하고, 항상 환자의 best interest를 위해 행동한다. 

• 불확실성, 위험 및 오류를 포함한 어려운 상황에 기꺼이 직면하며 환자의 안전을 보호하는 방식으로 의사소통한다. 

• 서면 보고서와 문서를 포함한 모든 커뮤니케이션에 정직하고 신뢰할 수 있다.

• 정보의 기밀 유지 및 적절한 공유를 책임져야 한다.

Developing attributes of integrity, honesty and probity will allow students to: 

• accept the moral and ethical responsibilities involved in providing care to individual patients and communities; 

• appreciate the unequal balance of power in the doctor)patient relationship and the need to always act in the patient’s best interest; 

• be willing to face difficult situations, including those involving uncertainty, risk and error and communicate in ways that safeguard patient safety; 

• be honest and trustworthy in all communication, including in written reports and documentation, and be responsible for maintaining confidentiality and appropriate sharing of information.

학생들은 직업적 경계를 이해함으로써 다음과 같은 이점을 얻을 수 있습니다. 

• 임상 관계에 존재하는 경계를 알고 있어야 한다. 

• 그러한 경계의 필요성을 이해하고, 그러한 경계의 유지 요인을 파악(언어 및 복장의 형식, 임상 환경의 특성 및 개인적 참여에 필요한 제한과 같은 것)

Understanding professional boundaries will enable students to: 

• be aware of the boundaries that exist in the clinical relationship; 

• understand the need for such boundaries, and appreciate the factors that maintain them, such as formality of language and dress, the nature of the clinical environment and the necessary limitations on personal involvement.

윤리와 법 Ethics and law

학생들은 또한 의료의 윤리적 차원과 이러한 차원이 어떻게 법에 규정되어 있는지 알아야 한다. 이로부터 어려운 윤리적 영역에서 효과적으로 의사소통하는 것의 중요성을 이해하게 된다. 핵심 윤리적 고려사항에는 기밀성, 동의, 이익, 최상의 이익, 자율성, 진실성, non-maleficence, 정의의 원칙에 대한 친숙함이 포함된다.

Students also need to be aware of the ethical dimensions of health care and how these are enshrined in law. From this follows understanding of the importance of communicating effectively in difficult ethical areas. Key ethical considerations include familiarity with (and adherence to) the principles of: confidentiality; consent; beneficence; best interest; autonomy; truth telling; non-maleficence, and justice.

증거 기반 실천 

Evidence-based practice

증거 기반 관행의 원칙은 의료에 대한 결정이 이용 가능한 최선의 현재 유효한 관련 증거를 기반으로 하며, 이는 임상 전문지식과 환자의 가치 및 선호도와 통합되어야 한다고 요구한다.28

The principles of evidence-based practice require that decisions about health care are based on the best available, current, valid and relevant evidence, and that this should be integrated with clinical expertise and the patient’s values and preferences.28

결론 CONCLUSIONS

교수에서 학습으로: 학부교육의 새로운 패러다임(Change, 1995)

From Teaching to Learning: A New Paradigm for Undergraduate Education 

By Robert B. Barr and John Tagg

우리가 직면하고 있는 중요한 문제들은 우리가 그것들을 만들었을 때와 같은 수준의 생각으로는 해결될 수 없다. -알버트 아인슈타인

The significant problems we face cannot be solved at the same level of thinking we were at when we created them. -Albert Einstein

미국의 고등교육에 패러다임의 변화가 일어나고 있다. 가장 간략한 형태로, 우리 대학을 지배해 온 패러다임은 다음과 같습니다. 대학은 교육을 제공하기 위해 존재하는 기관이다. 미묘하지만 깊이 있게 새로운 패러다임으로 전환하고 있습니다. 대학은 배움을 생산하기 위해 존재하는 기관이다. 이 변화는 모든 것을 변화시킨다. 그것은 필요하기도 하고 또 원하는 것이기도 하다.

A paradigm shift is taking hold in American higher education. In its briefest form, the paradigm that has governed our colleges is this: A college is an institution that exists to provide instruction. Subtly but profoundly we are shifting to a new paradigm: A college is an institution that exists to produce learning. This shift changes everything. It is both needed and wanted.

우리는 전통적인 지배적 패러다임을 "가르침 패러다임"이라고 부릅니다. 그 아래에서, 대학들은 주로 50분 강의를 하는 것으로 생각되는 수업의 활동을 제공하기 위해 복잡한 구조들을 만들어냈다 - 대학의 임무는 교육을 전달하는 것이다.

We call the traditional, dominant paradigm the "Instruction Paradigm." Under it, colleges have created complex structures to provide for the activity of teaching conceived primarily as delivering 50-minute lectures- the mission of a college is to deliver instruction.

그러나 이제 우리는 우리의 지배적인 패러다임이 종말을 위한 수단으로 잘못 알고 있다는 것을 인식하기 시작했다. 그것은 "지시" 또는 "가르침"이라고 불리는 수단이나 방법을 취해서 대학의 목적이나 목적을 만든다. 대학이 가르침을 하는 것이 목적이라고 말하는 것은, 제너럴모터스(GM)의 사업이 조립라인을 운영하는 것이거나, 의료의 목적이 병원 침대를 메우는 것이라고 말하는 것과 같다. 우리는 이제 우리의 사명이 가르침이 아니라 어떤 방법을 써서라도 모든 학생들과 함께 '배움'을 하는 것이라는 것을 알게 되었다.

Now, however, we are beginning to recognize that our dominant paradigm mistakes a means for an end. It takes the means or method - called "instruction" or "teaching"- and makes it the college' s end or purpose. To say that the purpose of colleges is to provide instruction is like saying that General Motors' business is to operate assembly lines or that the purpose of medical care is to fill hospital beds. We now see that our mission is not instruction but rather that of producing learning with every student by whatever means work best.

"상당히 수동적인 강의-토론 방식은 학부생들에게 흔한 학습환경이지만, 학생 학습을 위한 최적의 설정의 거의 모든 원칙과 반대됩니다." 배움 패러다임은 강의의 특권적 위치를 종료하고, 특정 학생의 특정 지식 학습을 촉진하는 데 가장 적합한 모든 접근 방식을 그 자리에서 존중한다.

"the primary learning environment or undergraduate students, the fairly passive lecture-discussion format where faculty talk and most students listen, is contrary to almost every principle of optimal settings for student learning." The Learning Paradigm ends the lecture's privileged position, honoring in its place whatever approaches serve best to prompt learning of particular knowledge by particular students.

즉, 배움 패러다임은 시간이 지남에 따라 교육기관 자체를 학습자로 구상하고, 각 졸업반, 입학반별로 더 많은 학습을 만들어 내는 방법을 지속적으로 학습한다.

In other words, the Learning Paradigm envisions the institution itself as a learner over time, it continuously learns how to produce more learning with each graduating class, each entering student.

그러한 비전이 결여된 채, 우리는 개혁가들이 지난 수년간 새로운 패러다임의 많은 요소들을 옹호하는 것을 보아왔지만, 그 중 널리 채택된 요소는 거의 볼 수 없었다. 이를 거부하거나 왜곡하는 지배적 (가르침) 패러다임의 구조 안에서 단편적으로 적용했기 때문이다.

Lacking such a vision, we've witnessed reformers advocate many of the new paradigm's elements over the years, only to see few of them widely adopted. The reason is that they have been applied piecemeal within the structures of a dominant paradigm that rejects or distorts them.

예를 들어, 학생들이 문제를 해결하거나 비판적으로 사고하는 것을 배우고 있지 않다면, 낡은 논리는 우리가 사고에서 한 수업을 가르쳐서 그것을 일반적인 교육 요건으로 만들어야 한다고 말한다. 이 논리는 모두 너무 순환적입니다. 학생들이 교실에서 배우는 것은 그들의 요구나 우리의 요구를 해결하지 않기 때문에, 우리는 학생들을 다른 교실로 데려와서 더 많은 것을 가르쳐야 한다.

For example, if students are not learning to solve problems or think critically, the old logic says we must teach a class in thinking and make it a general education requirement. The logic is all too circular: What students are learning in the classroom doesn't address their needs or ours; therefore, we must bring them back into another classroom and instruct them some more.

'가르침 패러다임'이 무엇인지 보기 위해서는 우리는 단지 대학의 구조와 행동만 보면 된다. 여기서 대학이 반영하는 통치 원칙과 신념을 유추하면 된다. 그러나 아직 어떤 대학의 구조와 과정에서도 완전한 표현을 찾지 못한 '배움 패러다임'을 보는 것은 훨씬 더 어렵다. 그래서 우리는 '배움 패러다임'은 상상해야만 한다.

To see what the Instruction Paradigm is we need only look at the structures and behaviors of our colleges and infer the governing principles and beliefs they reflect. But it is much more difficult to see the Learning Paradigm, which has yet to find complete expression in the structures and processes of any college. So we must imagine it.

그러한 구조조정이 필요하다는 것은 의문의 여지가 없다. 우리가 고등교육을 원한다고 말하는 것과 그 구조가 제공하는 것 사이의 격차는 결코 어느 때 보다도 넓다. 크리스 아르기리스와 도널드 숀의 표현을 이용한다면, 우리의 지지 이론espoused theory과 사용 중인 이론theory-in-use의 차이가 고통스러울 정도로 눈에 띄게 되고 있다. 

• 독자들이 기억할 "espoused theory"은 사람들이 그들의 행동을 설명하기 위해 제시하는 원칙들의 집합이다. 

• 사람들 또는 그들의 조직이 실제로 어떻게 행동하는지로부터 우리가 유추할 수 있는 원칙은 그들의 "theory-in-use"이다. 

현재, 가르침 패러다임은 사용 중인 우리의 이론이지만, 대부분의 교육자들이 옹호하는 이론은 배움 패러다임의 구성 요소와 더 밀접하게 유사하다.

That such a restructuring is needed is beyond question: the gap between what we say we want of higher education and what its structures provide has never been wider. To use a distinction made by Chris Argyris and Donald Schon, the difference between our espoused theory and our theory-in-use is becoming distressingly noticeable. An "espoused theory," readers will recall, is the set of principles people offer to explain their behavior; the principles we can infer from how people or their organizations actually behave is their "theory-in-use." Right now, the Instruction Paradigm is our theory-in-use, yet the espoused theories of most educators more closely resemble components of the Learning Paradigm.

패러다임

The Paradigms

대체 패러다임을 비교할 때, 우리는 주의를 기울여야 한다. 이 두 패러다임이 요약 도표가 제시하는 것처럼 깔끔하게 병렬되는 경우는 드물 것이다(16페이지와 17페이지 참조).

When comparing alternative paradigms, we must take care: the two will seldom be as neatly parallel as our summary chart suggests (see pages 16 and 17 ).

가르침 패러다임에서, 특정한 방법론은 대학이 할 수 있는 일의 경계를 결정한다. 배움 패러다임에서, 학생의 학습과 성공은 경계를 설정한다. 같은 맥락에서, 새로운 패러다임의 모든 요소들이 낡은 요소들의 상응하는 요소들과 반대되는 것은 아니다; 새로운 요소들은 그것의 더 큰 가능성 영역 안에 오래된 요소들의 많은 요소들을 포함한다. 예를 들어, 배움 패러다임은 강의를 금지하지 않습니다. 강의는 적절한 학습을 촉진하는 능력에 기초하여 평가되는 많은 가능한 방법 중 하나가 된다.

In the Instruction Paradigm, a specific methodology determines the boundary of what colleges can do; in the Learning Paradigm, student learning and success set the boundary. By the same token, not all elements of the new paradigm are contrary to corresponding elements of the old; the new includes many elements of the old within its larger domain of possibilities. The Learning Paradigm does not prohibit lecturing, for example. Lecturing becomes one of many possible methods, all evaluated on the basis of their ability to promote appropriate learning.

미션 및 목적 

Mission and Purposes

• 가르침 패러다임에서, 대학의 임무는 교육을 제공하고, 가르치는 것입니다. 방법과 제품은 하나이고 동일합니다. 수단이 곧 목적이다. 

• 배움 패러다임에서 대학의 임무는 학습을 생산하는 것이다. 방법과 제품은 별개입니다. 목적이 수단을 지배한다.

In the Instruction Paradigm, the mission of the college is to provide instruction, to teach. The method and the product are one and the same. The means is the end. In the Learning Paradigm, the mission of the college is to produce learning. The method and the product are separate. The end governs the means.

일부 교육자들은 "products"라는 동사에 대해 불편해 할 수 있다. 이것이 너무 강하게 함축되어 있기 때문에 우리는 그것을 사용합니다. 그래서 대학이 배움에 대한 책임을 지게 됩니다. 대학이 학습을 생산해야 한다고 말하는 요점은, 학생들이 배우는 정도에 대한 책임이 있다는 것을 분명히 말하는 것이다. 배움 패러다임은 기관이 책임지는 것이, 양질의 교육(강의, 대화)에서 학생 학습으로 전환한다. 따라서 학습의 공동 생산자인 학생들도 당연히 자신의 학습에 대한 책임을 질 수 있고 져야 한다. 따라서, 책임은 두 에이전트가 모든 변수를 완전히 통제하지 못하더라도 동일한 결과에 대해 책임을 지는 윈윈 게임이다. 두 명의 에이전트가 이러한 책임을 지게 되면, 그에 따른 시너지는 강력한 결과를 낳는다.

Some educators may be uncomfortable with the verb "produce." We use it because it so strongly connotes that the college takes responsibility for learning. The point of saying that colleges are to produce learning- not provide, not support,n ot encourage- is to say, unmistakably, that they are responsible for the degree to which students learn. The Learning Paradigm shifts what the institution takes responsibility for: from quality instruction (lecturing, talking) to student learning. Students, the co-producers of learning, can and must, of course, take responsibility for their own learning. Hence, responsibility is a winwin game wherein two agents take responsibility for the same outcome even though neither is in complete control of all the variables. When two agents take such responsibility, the resulting synergy produces powerful results.

대학이 학습에 책임을 질 수 없다는 생각은 무력한disempowering 책임감에서 비롯된다. 만약 우리가 제로섬 게임에서 정해진 양으로 책임을 생각한다면, 학생들은 그들 자신의 학습에 책임을 져야 하고, 그 외 사람은 아무도 책임을 질 수 없다. 이 모델은 책임을 할당할 수 있지만 가장 생산적인 행동에 힘을 실어줄 수는 없는 책임 개념을 생성한다.

The idea that colleges cannot be responsible for learning flows from a disempowering notion of responsibility. If we conceive of responsibility as a fixed quantity in a zero-sum game, then students must take responsibility for their own learning, and no one else can. This model generates a concept of responsibility capable of assigning blame but not of empowering the most productive action.

행동의 틀로서의 책임의 개념은 상당히 다르다. 책임을 질 때 목표를 세우고 그것을 성취하기 위해 행동하며, 목표를 더 잘 달성하기 위해 자신의 행동을 지속적으로 수정한다. 결과 달성에 대한 책임을 지는 것은 결과를 보장하는 것이 아니며, 모든 관련 변수를 완전히 통제하는 것도 아니며, 결과 달성을 자신의 노력을 측정하는 기준으로 삼는 것이다. 이런 의미에서 학생, 교직원, 대학 등이 모두 학생 학습에 대한 책임을 질 수 있다고 해도 모순이 없다.

The concept of responsibility as a framework for action is quite different: when one takes responsibility, one sets goals and then acts to achieve them, continuously modifying one's behavior to better achieve the goals. To take responsibility for achieving an outcome is not to guarantee the outcome, nor does it entail the complete control of all relevant variables; it is to make the achievement of the outcome the criterion by which one measures one's own efforts. In this sense, it is no contradiction to say that students, faculty, and the college as an institution can all take responsibility for student learning.

이제 좀 더 구체적인 목적들로 돌아가면, 가르침 패러다임에서 대학은 교수들로부터 학생들에게 지식을 전달하거나 전달하는 것을 목표로 합니다; 그것은 과정과 학위 프로그램을 제공하고 그들 안에서 높은 수준의 교육을 유지하려고 합니다. 주로 교수들이 그들의 분야에서 최신 상태를 유지하도록 보장함으로써 말이다. 새로운 지식이나 고객이 나타나면 새로운 과정도 작동합니다. 가르침 패러다임의 목적은 강좌를 제공하는 것이다.

Turning now to more specific purposes, in the Instruction Paradigm, a college aims to transfer or deliver knowledge from faculty to students; it offers courses and degree programs and seeks to maintain a high quality of instruction within them, mostly by assuring that faculty stay current in their fields. If new knowledge or clients appear, so will new course work. The very purpose of the Instruction Paradigm is to offer courses.

반면 배움 패러다임에서 대학의 목적은 지식을 전수하는 것이 아니라 학생들이 스스로 지식을 발견하고 구성하도록 하는 환경과 경험을 만들고, 학생들이 발견을 하고 문제를 해결하는 학습자 커뮤니티의 구성원으로 만드는 것이다. 그 대학은 사실상 더 강력한 일련의 학습 환경을 조성하는 것을 목표로 하고 있다. 학습 패러다임은 교육 기관을 학생들이 학습할 수 있도록 하는 단일 수단으로 제한하지 않는다. 프레임워크 내에서 효과적인 학습 기술은 지속적으로 식별, 개발, 테스트, 구현 및 평가된다. 학습 패러다임의 목표는 개별적, 총체적으로 학생들의 학습 질을 지속적으로 향상시키는 것이므로 이와 무관하지 않지만 교육의 질을 향상시키는 데 큰 의미가 없다.

In the Learning Paradigm, on the other hand, a college's purpose is not to transfer knowledge but to create environments and experiences that bring students to discover and construct knowledge for themselves, to make students members of communities of learners that make discoveries and solve problems. The college aims, in fact, to create a series of ever more powerful learning environments. The Learning Paradigm does not limit institutions to a single means for empowering students to learn; within its framework, effective learning technologies are continually identified, developed, tested, implemented, and assessed against one another. The aim in the Learning Paradigm is not so much to improve the quality of instruction although that is not irrelevant as it is to improve continuously the quality of learning for students individually and in the aggregate.

'가르침 패러다임 대학'의 철학은 더 많은 자원이 없으면 학습 성과를 높일 수 없다는 믿음을 반영하지만, '배움 패러다임 대학'은 이를 지속적으로 기대하고 있다. 배움 패러다임 대학은 가르침의 생산성이 아니라 배움의 생산성에 관심을 둔다.

The philosophy of an Instruction Paradigm college reflects the belief that it cannot increase learning outputs without more resources, but a Learning Paradigm college expects to do so continuously. A Learning Paradigm college is concerned with learning productivity, not teaching productivity.

성공의 기준 

Criteria for Success 

가르침 패러다임에 따라, 우리는 대학들을 서로 비교함으로써 판단한다. 품질에 대한 기준은 입력 및 프로세스 측정 측면에서 정의됩니다. 학생 입시의 선택성, 교수진의 박사학위 수, 연구 평판 등과 같은 요소들이 대학과 대학을 평가하는 데 사용된다. 구스킨의 표현대로라면 

Under the Instruction Paradigm, we judge our colleges by comparing them to one another. The criteria for quality are defined in terms of inputs and process measures. Factors such as selectivity in student admissions, number of PhDs on the faculty, and research reputation are used to rate colleges and universities. As Guskin put it, 

"우리는 지나치게 자원을 바탕으로 한 퀄리티 대한 정의에 몰두하고 있어서, 따라서 우리는 우리의 결과물, 즉 학생 학습에 대처하는 것이 매우 어렵다는 것을 알게 됩니다."

"We are so wedded to a definition of quality based on resources that we find it extremely difficult to deal with the results of our work, namely student learning."

학습 패러다임은 반드시 평가 운동의 관점을 통합한다. 이 운동은 적어도 10년 동안 진행되었지만 지배적인 교육 패러다임 하에서는 정상적인 조직 관행으로까지 침투하지 못했다.

The Learning Paradigm necessarily incorporates the perspectives of the assessment movement. While this movement has been under way for at least a decade, under the dominant Instruction Paradigm it has not penetrated very far into normal organizational practice.

예를 들어, 우리의 교수 평가 시스템은 배움 용어가 아닌 가르침 용어로 교수진의 성과를 평가한다. 강사는 전형적으로 그녀의 동료나 학장에 의해 그녀의 강의가 구성되었는지, 적절한 자료를 다루는지, 그녀가 그녀의 주제에 대한 관심과 이해를 보여주는지, 그녀가 수업에 준비되었는지, 그리고 그녀가 학생들의 질문과 의견을 존중하는지 여부에 근거하여 평가된다. 이 모든 요인들은 강사의 성과를 강의 용어로 평가한다. 그들은 [학습의 증거]를 요구하거나, 학습의 증거에 대한 보상을 제공하는 것은 고사하고, 학생들이 배우고 있는지에 대한 문제를 제기하지 않는다.

Our faculty evaluation systems, for example, evaluate the performance of faculty in teaching terms, not learning terms. An instructor is typically evaluated by her peers or dean on the basis of whether her lectures are organized, whether she covers the appropriate material, whether she shows interest in and understanding of her subject matter, whether she is prepared for class, and whether she respects her students' questions and comments. All these factors evaluate the instructor's performance in teaching terms. They do not raise the issue of whether students are learning, let alone demand evidence of learning or provide for its reward.

많은 기관들이 가르침을 거의 전적으로 강의의 관점에서 해석하고 있다.

Many institutions construe teaching almost entirely in terms of lecturing.

가르침 패러다임에서는 가르치는 것이 그 자체로 판단되고, 배움 패러다임에서는 환경에 대한 힘이나 접근 방식이 학습에 미치는 영향 측면에서 판단된다. 배움이 일어나는 환경이 힘을 갖게 된다. 만약 학생들이 환경 B보다 환경 A에서 더 많이 배운다면, A는 B보다 더 강력합니다. 이를 학습 패러다임에서 알기 위해 우리는 학생 학습을 일상적이고 지속적으로 평가할 것이다.

In the Instruction Paradigm, teaching is judged on its own terms; in the Learning Paradigm, the power of an environment or approach is judged in terms of its impact on learning. If learning occurs, then the environment has power. If students learn more in environment A than in environment B, then A is more powerful than B. To know this in the Learning Paradigm we would assess student learning routinely and constantly.

어떻게 그렇게 적은 양의 정보가 교사 행동에 큰 변화를 일으킬 수 있었을까? 곰곰이 생각해 보니 분명해졌다. 그 정보는 선생님들이 거의 수집하지 않는 학습과 결과에 대한 피드백이었습니다.

How could such small amounts of information produce such large changes in teacher behavior? Upon reflection, it became clear. The information was feedback about learning, about results something teachers rarely collect.

물론, 어떤 이들은 진정한 교육은 단순히 측정될 수 없다고 주장할 것이다. 예를 들어, 예술 작품의 아름다움에 대한 진정한 감상은 측정할 수 없다. 확실히 어떤 학습은 어렵고 심지어 측정하기가 불가능하다. 그렇다고 해서 유용하고 의미 있는 평가가 불가능하다는 결론으로 이어지는 것은 아니다.

Of course, some will argue, true education simply cannot be measured. You cannot measure, for example, true appreciation of the beauty of a work of art. Certainly some learning is difficult, even impossible to measure. But it does not follow that useful and meaningful assessment is impossible.

교수/학습 구조 Teaching/Learning Structures

'구조'라는 단어에서, 우리는 시간이 지남에 따라 안정되고 활동과 프로세스가 발생하는 틀 안에서 그리고 조직의 목적을 달성하는 틀을 형성하는 조직의 특징들을 의미한다. 구조에는 조직도, 역할 및 보상 시스템, 기술 및 방법, 시설 및 장비, 의사 결정 세관, 커뮤니케이션 채널, 피드백 루프, 재정 준비 및 자금 조달 스트림이 포함된다.

By structures we mean those features of an organization that are stable over time and that form the framework within which activities and processes occur and through which the purposes of the organization are achieved. Structure includes the organization chart, role and reward systems, technologies and methods, facilities and equipment, decision-making customs, communication channels, feedback loops, financial arrangements, and funding streams.

구조에 따라야 할 충분한 이유가 있다. 

• 첫째, 구조조정은 조직의 효율성과 효과성을 높이는 데 가장 큰 희망을 줍니다. 구조는 레버리지입니다. 사람들이 일하는 구조를 바꾸면 그들의 노력에 적용되는 지렛대를 늘리거나 줄일 것이다. 구조의 변화는 생산성을 높이거나 조직 결과의 특성을 변화시킬 수 있습니다. 

• 둘째, 구조는 조직의 지배적 패러다임이라는 추상적 원칙을 구체적인 표현한 것이다. 낡은 패러다임을 반영하는 구조는 새로운 패러다임 사상가들의 최고의 아이디어와 혁신을 좌절시킬 수 있다. 지배 패러다임이 변화함에 따라 조직의 구조도 변화해야 합니다.

There is good reason to attend to structure. First, restructuring offers the greatest hope for increasing organizational efficiency and effectiveness. Structure is leverage. If you change the structure in which people work, you increase or decrease the leverage applied to their efforts. A change in structure can either increase productivity or change the nature of organizational outcomes. Second, structure is the concrete manifestation of the abstract principles of the organization's governing paradigm. Structures reflecting an old paradigm can frustrate the best ideas and innovations of new-paradigm thinkers. As the governing paradigm changes, so likewise must the organization's structures.

교육 패러다임 대학의 교수와 학습 구조는 원자적이다. 그 우주에서 '원자'는 50분짜리 강의이고, '분자'는 1교시, 1교시, 3학점짜리 수업이다. 이러한 기본 단위로부터 물리적 구조, 행정 구조, 교수진과 학생들의 일일 일정이 구축된다. 필라델피아 커뮤니티 칼리지의 데니스 맥그래스 교수와 마틴 스피어 교수는 "교육은 3학점짜리 코스를 통해 어디에서나 진행된다"고 지적했다. 교수진들은 (그리고 다른 모든 사람들은) 제약이 너무 내재화되어서 그것이 자연의 순서의 일부라고 생각하면서 제약이라는 것을 알아차린 지 오래다."

The teaching and learning structure of the Instruction Paradigm college is atomistic. In its universe, the atom" is the 50-minute lecture, and the "molecule" is the one-teacher, one-classroom, three-credit-hour course. From these basic units the physical architecture, the administrative structure, and the daily schedules of faculty and students are built. Dennis McGrath and Martin Spear, professors at the Community College of Philadelphia, note that "education proceeds everywhere through the vehicle of the three-credit course. Faculty members [and everyone else, we might add] have so internalized that constraint that they are long past noticing that it is a constraint, thinking it part of the natural order of things."

가르침 패러다임의 "교육 원자론"에서, 가르침과 배움의 프로세스는 서로 별개의 실체entity로 보여진다. 부분은 전체보다 먼저 존재하며, 전체에 독립적입니다. 전체는 부품의 합보다 크거나 더 작지 않습니다. 대학은 분리된 고립된 환경에서만 학생들과 교류하며, 부분, 즉 수업들이 전체보다 앞서 있기 때문에 서로 단절된다. "대학 교육"은 대체로 관련이 없는 일련의 분리된 3학점 수업의 학생이 경험한 것을 합한 것이다.

In the "educational atomism" of the Instruction Paradigm, the parts of the teaching and learning process are seen as discrete entities. The parts exist prior to and independent of any whole; the whole is no more than the sum of the parts, or even less. The college interacts with students only in discrete, isolated environments, cut off from one another because the parts - the classes - are prior to the whole. A "college education" is the sum the student's experience of a series of discrete, largely unrelated, three-credit classes.

교육 패러다임에서, 수업과 학습 과정은 학습(성과)이 학생마다 다르지만, 학습 시간은 일정하게 유지된다는 추가 규칙에 의해 지배된다.

In the Instruction Paradigm, the teaching and learning process is governed by the further rule that time will be held constant while learning varies.

따라서 예를 들어, 학생들이 "준비되지 않은 상태로" 수업에 들어온다면, 그러한 수업을 "준비"하는 것은 교수진의 일이 아니다. 실제로, 한 학기, 3학점짜리 수업의 구조는 그렇게 하는 것을 거의 불가능하게 만든다. 그렇다면, 유일한 해결책은 학생들이 기존 과정에 대비할 수 있도록 새로운 과정을 만드는 것이다; 교육 패러다임 내에서, 교육 문제에 대한 대응은 항상 더 원자화되고 분리된 교육 단위를 생성하는 것이다. 

Thus it is, for example, that if students come into college classes "unprepared," it is not the job of the faculty who teach those classes to "prepare" them. Indeed, the structure of the onesemester, three-credit class makes it all but impossible to do so. The only solution, then, is to create new courses to prepare students for the existing courses; within the Instruction Paradigm, the response to educational problems is always to generate more atomized, discrete instructional units. 

가르침 패러다임 대학은 교과 과정과 교사를 원자적으로 구성하고, 서로 좀처럼 소통하지 않는 학과와 프로그램으로 만든다. 원래 일관성 있는 학문과 관련된 학과들은 대학의 본질적인 일, 즉 강좌를 제공하는 것을 성취하기 위한 구조적 기초이다.

Instruction Paradigm colleges atomistically organize courses and teachers into departments and programs that rarely communicate with one another. Academic departments, originally associated with coherent disciplines, are the structural home bases for accomplishing the essential work of the college: offering courses.

학생들이 추론이나 생각을 못 한다고 판단되면, 대학은 추론과 사고에 대한 과목을 만든다. 이에 따라 해당 부서를 만들어야 하는 압력이 발생합니다. 앤도버의 매사추세츠 로스쿨의 글쓰기 프로그램 책임자인 아담 스위팅은 "우리가 조심하지 않는다면 비판적 사고력을 가르치는 것은 한 대학 학과의 책임이 될 것이며, 이는 '대학'이라는 아이디어와는 상반되는 전망이 될 것이다."라고 경고한다.

If students cannot reason or think well, the college creates a course on reasoning and thinking. This in turn produces pressure to create a corresponding department. "If we are not careful," warns Adam Sweeting, director of the Writing Program at the Massachusetts School of Law at Andover, "the teaching of critical thinking skills will become the responsibility of one university department, a prospect that is at odds with the very idea of a university."

대학 수준의 읽기, 쓰기, 추리를 "교육과정 전체"로 확장하려는 노력은 대부분 실패했다. 좋은 의도는 거의 성과를 내지 못했다. 왜냐하면, 교육 패러다임 하에서는, 선생님의 일은 과목 실라버스에 요약된 "자료를 커버하는 것"이기 때문이다. 쓰기 또는 읽기 또는 비판적 사고를 "교육과정 전반에 걸쳐" 구현한 강사는 종종 자신의 일을 하거나 학생들이 배우는 데 도움이 될 일을 하는 것, 즉 잘 하는 것, 원래대로 하는 것, 아니면 잘 하는 것 중 하나를 선택해야 한다.

Efforts to extend college- level reading, writing, and reasoning "across the curriculum" have largely failed. The good intentions produced few results because, under the Instruction Paradigm, the teacher's job is to "cover the material" as outlined in the disciplinary syllabus. The instructor charged with implementing writing or reading or critical thinking "across the curriculum" often must choose between doing her job or doing what will help students learn - between doing well, as it were, or doing good.

학습 패러다임 대학에서는 강좌와 강의의 구조가 dispensable하고 negotiable하다. 학기, 분기, 강의, 강의실, 강의실, 강의실, 강의실, 강의실, 강의실 자체는 받은 구조나 의무적인 활동보다는 선택지가 된다. 학습 패러다임은 학습 환경과 경험을 어떻게 구성할 것인가 하는 문제에 대해 아무도 하나의 "정답"을 규정하지 않는다. [이상적인 강의실 원형에 대한 적합성 정도]가 아니라 학습 성과 측면에서 "작업"이 정의되는 모든 학습 방법과 구조를 지원한다. 실제로 학습 패러다임은 학생 학습과 성공에 더 잘 작동하는 새로운 구조와 방법을 지속적으로 검색해야 하며, 이마저도 지속적으로 재설계되고 시간이 지남에 따라 진화할 것으로 기대하고 있다.

In a Learning Paradigm college, the structure of courses and lectures becomes dispensable and negotiable. Semesters and quarters, lectures, labs, syllabi indeed, classes themselves become options rather than received structures or mandatory activities. The Learning Paradigm prescribes no one "answer" to the question of how to organize learning environments and experiences. It supports any learning method and structure that works, where "works" is defined in terms of learning outcomes, not as the degree of conformity to an ideal classroom archetype. In fact, the Learning Paradigm requires a constant search for new structures and methods that work better for student learning and success, and expects even these to be redesigned continually and to evolve over time.

가르침 패러다임 하에서는 구조가 고정되고 불변하다고 가정한다. 구조를 변경하는 데 필요한 레버리지를 달성하기 위한 준비 수단이 없다. 그렇다면 배움 패러다임의 첫 번째 구조적 과제는 그러한 [지렛대를 확립하는 것]이다.

Under the Instruction Paradigm, structures are assumed to be fixed and immutable; there is no ready means for achieving the leverage needed to alter them. The first structural task of the Learning Paradigm, then, is to establish such leverage.

[나머지 시스템을 변화시키기 위한 핵심 구조]는 배움 패러다임에서 필수적인 구조인 [기관 전체의 평가와 정보 시스템]이며, 이것이 배움 패러다임을 위한 핵심 수단이다. 그것은 제도적 성과에 대한 지속적이고 유용한 피드백을 제공할 것이다.

The key structure for changing the rest of the system is an institution-wide assessment and information system an essential structure in the Learning Paradigm, and a key means for getting there. It would provide constant, useful feedback on institutional performance.

대안적 학습 환경을 개발하기 위한 평가 시스템의 효과는 부분적으로 학습 프로그램과 구조 외부 시스템에 의존한다. 가르침 패러다임에서 학생들은 수업 내에서 그들을 가르치는 데 책임이 있는 동일한 강사에 의해 평가되고 평가되지만, 배움 패러다임에서는 (축구 게임이 축구 연습에서 배우는 것과는 독립적인 척도인 것처럼) 평가의 많은 부분이 학습 경험 및 설계자와는 독립적일 것이다.

The effectiveness of the assessment system for developing alternative learning environments depends in part upon its being external to learning programs and structures. While in the Instruction Paradigm students are assessed and graded within a class by the same instructor responsible for teaching them, in the Learning Paradigm much of the assessment would be independent of the learning experience and its designer, somewhat as football games are independent measures of what is learned in football practice.

이상적으로, 기관의 평가 프로그램은 대학에서 학생들의 경험의 과정에 대한 "추가 가치value added"를 측정할 것이다. 학생의 지식과 기술은 입학 시, 졸업 시, 그리고 주요 프로그램의 시작과 완료와 같은 중간 단계에서 측정될 것입니다.

Ideally, an institution's assessment program would measure the "value added" over the course of students' experience at the college. Student knowledge and skills would be measured upon entrance and again upon graduation, and at intermediate stages such as at the beginning and completion of major programs.

배움 패러다임은 [강의와 과정 등의 수단을 고치는 대신], 학습 결과를 수정하여 학생 학습의 가장 효과적이고 효율적인 경로를 지속적으로 검색할 수 있도록 한다. 따라서 [학습 성과와 표준]은 모든 학생을 위해 식별identify되고 유지되고, 심지어 학습 환경이 더욱 강력해짐에 따라 상향조정되는 반면, 학생마다 표준을 달성하는 데 걸리는 시간은 다양해진다. 이것은 숙련되고 진보된advanced 학생들에게 신속한 진급을 보상하는 동시에, 준비가 덜 된 학생들이 자료를 실제로 익히는 데 필요한 시간을 가능하게 할 것이다. "시험"을 치름으로써, 학생들은 또한 그들이 이미 알고 있는 것을 "학습"하는 데 시간을 낭비하는 것을 피할 수 있었다. 학생들은 학위 관련 지식과 기술을 어떻게, 어디서, 언제 배웠는지에 관계없이 "학점"을 받게 될 것이다.

Instead of fixing the means such as lectures and courses the Learning Paradigm fixes the ends, the learning results, allowing the means to vary in its constant search for the most effective and efficient paths to student learning. Learning outcomes and standards thus would be identified and held to for all students or raised as learning environments became more powerful while the time students took to achieve those standards would vary. This would reward skilled and advanced students with speedy progress while enabling less prepared students the time they needed to actually master the material. By "testing out," students could also avoid wasting their time being "taught"w hat they already know. Students would be given "credit"f or degree-relevant knowledge and skills regardless of how or where or when they learned them.

학습 이론 

Learning Theory

가르침 패러다임은 학습을 원자적으로 체계화한다. 그 안에서, 지식은 정의상, 강사가 제공하거나 전달하는 물질로 구성되어 있다. 그 과정의 주요 행위자는 지식을 전달하는 선생님이다; 학생들은 수동적인 그릇으로 간주되어 시험에서의 기억을 위해 지식을 흡수한다. 그러므로, 어떤 전문가도 가르칠 수 있다. 부분적으로 선생님이 어떤 지식의 덩어리가 가장 중요한지 알기 때문에, 선생님은 학습 활동을 통제한다. 학습은 점점 더 많은 청크를 섭취하는 것과 같기 때문에 누적된 것으로 추정된다. 학위는 학생이 지정된 양의 교육을 받았을 때 수여됩니다.

The Instruction Paradigm frames learning atomistically. In it, knowledge, by definition, consists of matter dispensed or delivered by an instructor. The chief agent in the process is the teacher who delivers knowledge; students are viewed as passive vessels, ingesting knowledge for recall on tests. Hence, any expert can teach. Partly because the teacher knows which chunks of knowledge are most important, the teacher controls the learning activities. Learning is presumed to be cumulative because it amounts to ingesting more and more chunks. A degree is awarded when a student has received a specified amount of instruction.

배움 패러다임은 프로세스의 주요 행위자가 학습자라는 인식 속에서 학습을 전체적으로 프레임화합니다. 따라서, 학생들은 그들 자신의 지식의 적극적인 발견자이고 건설자여야 한다. 학습 패러다임에서 지식은 학습자에 의해 만들어지거나 구성되는 프레임워크 또는 전체wholes로 구성된다. 지식은 벽돌의 벽처럼 누적되고 선형인 것이 아니라 틀의 중첩과 상호작용으로 보여진다. 학습은 그러한 틀이 이해하고 행동하는 데 사용될 때 드러난다. 나무보다 숲이 보는 것, 그 점보다는 신문사진의 이미지가 그 요소에 의미를 부여하고, 그 전체는 구성부품의 합 이상이 된다. 자전거를 탈 줄 아는 사람이 갑자기 자전거를 탈 줄 알았을 때처럼, Wholes and frameworks은 종종 조각들을 열심히 작업한 후에 한순간에 통찰을 얻을 수 있다.

The Learning Paradigm frames learning holistically, recognizing that the chief agent in the process is the learner. Thus, students must be active discoverers and constructors of their own knowledge. In the Learning Paradigm, knowledge consists of frameworks or wholes that are created or constructed by the learner. Knowledge is not seen as cumulative and linear, like a wall of bricks, but as a nesting and interacting of frameworks. Learning is revealed when those frameworks are used to understand and act. Seeing the whole of something the forest rather than the trees, the image of the newspaper photo rather than its dots gives meaning to its elements, and that whole becomes more than a sum of component parts. Wholes and frameworks can come in a moment a flash of insight often after much hard work with the pieces, as when one suddenly knows how to ride a bicycle.

배움 패러다임에서 학습 환경과 활동은 학습자 중심이고 학습자 통제입니다. 그들은 심지어 "선생님 없는" 사람일 수도 있다. 교사들은 학생들이 자주 사용하는 학습 경험과 환경을 서로 그리고 다른 직원들과의 팀워크를 통해 설계할 것이지만, 그들이 모든 구조화된 학습 활동에 참석하거나 참여할 필요는 없다.

In the Learning Paradigm, learning environments and activities are learnercentered and learner-controlled. They may even be "teacherless." While teachers will have designed the learning experiences and environments students use often through teamwork with each other and other staff they need not be present for or participate in every structured learning activity.

많은 학생들은 배움이 무엇인지에 대한 잘못된 생각을 가지고 대학을 나와 적어도 몇몇 과목에 대한 배움은 그들에게 너무 어렵다고 거짓으로 믿게 된다. 많은 학생들이 아나사츠 롤플레잉 연습을 배움 대신해서 학교를 순항한다.

Many students come away from college with a false notion of what learning is and come to believe falsely that learning at least for some subjects is too difficult for them. Many students cruise through schools substituting an ersatz role-playing exercise for learning.

학습 패러다임 하에서는 교수진과 기관이 R. Buckminster Fuller의 견해를 취한다: 인간은 천재로 태어나고 성공을 위해 고안된 것이다. 만약 그들이 성공하지 못한다면, 그것은 그들의 디자인 기능이 좌절되고 있기 때문이다.

Under the Learning Paradigm, the faculty and the institution take an R. Buckminster Fuller view of students: human beings are born geniuses and designed for success. If they fail to succeed, it is because their design function is being thwarted.

실비아 판햄 디고리의 현대 연구 요약: 

분절된 교육은 망각, 부주의, 수동성을 극대화합니다. 어린이와 어른 모두 [장기적인 목표를 중심으로 조직된 전체론적이고, 복잡하고, 의미 있는 환경에 대한 적극적인 참여]로부터 지식을 습득한다. 오늘날의 학교 프로그램은 아이들의 자연학습 시스템이 작동하는 것을 막기 위해 더 잘 설계되었을 것입니다.

Sylvia Farnham-Diggory's summary of contemporary research: 

Fractionated instruction maximizes forgetting, inattention, and passivity. Both children and adults acquire knowledge from active participation in holistic, complex, meaningful environments organized around long-term goals. Today's school programs could hardly have been better designed to prevent a child's natural learning system from operating."

배움 패러다임은 가드너가 "이해를 위한 교육"이라고 부르는 "개념, 원리 또는 기술을 충분히 파악하여, 새로운 문제와 상황에 대처할 수 있도록 하고, 현재의 역량이 어떤 방식으로 충분하고 어떤 방식으로 새로운 기술이나 지식을 요구할 수 있는지를 결정하는" 목표를 수용한다. 여기에는 분할된 상황적 단서의 단기 보존보다는 기능적, 지식 기반 지적 프레임워크의 숙달이 포함된다.

The Learning Paradigm embraces the goal of promoting what Gardner calls "education for understanding-" "a sufficient grasp of concepts, principles, or skills so that one can bring them to bear on new problems and situations, deciding in which ways one's present competencies can suffice and in which ways one may require new skills or knowledge." This involves the mastery of functional, knowledge-based intellectual frameworks rather than the short-term retention of fractionated, contextual cues.

가르침 패러다임의 학습 이론은 재능, 관계, 그리고 성취에 대한 뿌리 깊은 사회적 가정을 반영합니다: 

가치 있는 것은 드물고, 

인생은 승패의 명제이며, 

성공은 개인의 성취라고 본다. 

학습 패러다임 이론은 이러한 가정을 뒤집는다.

The learning theory of the Instruction Paradigm reflects deeply rooted societal assumptions about talent, relationships, and accomplishment: that which is valuable is scarce; life is a win-lose proposition; and success is an individual achievement. The Learning Paradigm theory of learning reverses these assumptions.

교수진은 가르침 패러다임에 따라 학생들을 분류하는데, 최악의 경우 지능과 능력이 부족하기 때문에 '대학 자료'인 학생과 '자르지 못하는 학생'으로 분류한다. 학습 패러다임 하에서, 교수진과 기관의 모든 사람들은 각 학생의 성공을 위해 분명히 헌신하고 있다. 교수진과 기관은 R. Buckminster Fuller의 학생 견해를 취한다: 인간은 천재로 태어나고 성공을 위해 고안되었다. 천재성을 발휘하지 못하거나 성공하지 못하면 디자인 기능이 좌절되기 때문이다. 이러한 관점은 희망적 사고wishful thinking가 아니며, 학습을 위한 사실상 모든 인간의 실제 능력에 대한 최상의 증거에 기초한다. 윙스프레드 그룹이 지적하듯이, "모든 학생들이 우리가 지금 요구하는 것보다 훨씬 더 높은 수준으로 배울 수 있다는 연구 증거가 늘어나고 있다." 학습 패러다임에서 교수진은 모든 학생들의 방대한 재능을 개발하고 모든 학생들의 성공을 위한 길을 열어줄 방법을 찾는다.

Under the Instruction Paradigm, faculty classify and sort students, in the worst cases into those who are "college material" and those who cannot "cut it," since intelligence and ability are scarce. Under the Learning Paradigm, faculty - and everybody else in the institution - are unambiguously committed to each student's success. The faculty and the institution take an R. Buckminster Fuller view of students: human beings are born geniuses and designed for success. If they fail to display their genius or fail to succeed, it is because their design function is being thwarted. This perspective is founded not in wishful thinking but in the best evidence about the real capabilities of virtually all humans for learning. As the Wingspread Group points out, "There is growing research evidence that all students can learn to much higher standards than we now require." In the Learning Paradigm, faculty find ways to develop every student's vast talents and clear the way for every student's success.

'가르침 패러다임'에 따르면, 교실은 경쟁적이고 개인주의적이며, 삶은 승패의 명제라는 관점을 반영하고 있다. 학생들이 자신의 노력을 통해 개별적으로, 그리고 전적으로 달성해야 한다는 요구사항은 성공은 개인의 성취라는 믿음을 반영한다. 배움 패러다임에서는 학습 환경은 도전적이지만 협력적이고 협업적이며 지원적인 윈윈 환경입니다. 혼자 일하는 것처럼 보일 때도 성과와 성공은 팀워크와 집단 노력의 결과라는 원칙에 따라 설계된다.

Under the Instruction Paradigm, the classroom is competitive and individualistic, reflecting a view that life is a win-lose proposition. The requirement that the students must achieve individually and solely through their own efforts reflects the belief that success is an individual accomplishment. In the Learning Paradigm, learning environments while challenging are winwin environments that are cooperative, collaborative, and supportive. They are designed on the principle that accomplishment and success are the result of teamwork and group efforts, even when it appears one is working alone.

생산성 및 자금지원 

Productivity and Funding

'가르침 패러다임'에 따르면 대학들은 제품의 질을 떨어뜨리지 않고서는 생산성을 높일 수 없는 방식으로 구조화된 심각한 디자인 결함을 안고 있다. 가르침 패러다임에서 생산성은 학생당 교육 시간당 비용으로 정의된다. 이러한 관점에서, 교수와 학습의 질이 학생 대 교수 비율의 증가에 의해 위협받고 있다.

Under the Instruction Paradigm, colleges suffer from a serious design flaw they are structured in such a way that they cannot increase their productivity without diminishing the quality of their product. In the Instruction Paradigm, productivity is defined as cost per hour of instruction per student. In this view, the very quality of teaching and learning is threatened by any increase in the student-to-faculty ratio.

학습 패러다임에서 생산성은 학생당 학습 단위당 비용으로 재정의된다. 이러한 생산성 개념에 해당하는 표준 통계는 아직 없습니다. 그러나 이 새로운 정의 하에서 비용을 증가시키지 않고 결과를 증가시킬 수 있다. 많은 연구가 전통적인 한 학기 길이의 교실 기반 강의 방식에 대한 대안들이 더 많은 학습을 만들어 낸다는 것을 보여준다. 이러한 대안들 중 일부는 비용이 덜 들고, 많은 것들이 동일한 비용으로 더 많은 학습을 산출한다. 학습 패러다임 하에서는 더 적은 리소스로 더 많은 생산을 할 수 있게 된다. 왜냐하면 학습 패러다임에서 더 늘어나는 것은 '배움'의 총량이지, '가르침'의 총량이 아니기 때문이다. 이런 의미에서 생산성은 가르침 패러다임의 대학에서는 측정조차 할 수 없다. 단지 교육에 대한 노출의 척도일 뿐이다.

From Teaching to Learning — A New Paradigm For Undergraduate Education

교육의 퀄리티와 카파시티 증가: 21세기의 도전(Med Educ, 2011)

Increasing the quality and capacity of education: the challenge for the 21st century

John J Norcini1 & Sekelani S Banda2

도입 

INTRODUCTION

1910년, 아브라함 플렉스너는 카네기 재단에 북아메리카의 의학 교육의 상태에 대한 그의 보고서를 완성했다. 이 보고서는 의료 교육의 커리큘럼, 기준 및 구조를 개혁하는 데 중요한 원동력이 되었다. 그것은 의과대학 수의 대폭 감소와 의학의 과학적 기초에 대한 강조의 증가로 이어졌고, 체계적인 임상 훈련에 초점을 맞추도록 격려했다.

In 1910, Abraham Flexner completed his report to the Carnegie Foundation on the state of medical education in North America.1 The report was an important impetus for the reform of the curriculum, standards and structure of medical education. It led to a significant reduction in the number of medical schools and an increase in emphasis on the scientific basis of medicine, and encouraged a focus on systematic clinical training.

인가 및 면허와 같은 이러한 개선사항 중 일부를 달성하기 위해 사용되는 전략은 상당한 자원을 필요로 한다. 2,3 따라서 그들은 고소득 국가에서 번창하고 있으며 전 세계적으로 채택을 장려하는 자연스러운 경향이 있다. 그러나, 특히 의료 인력 부족이 심각한 상황에서 자원 빈곤 국가에 혼란을 초래한다.

The strategies used to achieve some of these improvements, such as accreditation and licensure, require considerable resources.2,3 Hence, they have flourished in high-income countries and there is a natural tendency to encourage their adoption throughout the world. However, they create a conundrum for many resource-poor countries which have difficulty implementing them, especially in the face of significant health care workforce shortages.

현재 문제

Current issues

교육의 질

The quality of education

Flexner의 보고서의 주된 기여는 의료 교육 분야의 초기 개혁 운동을 촉진하는 것이었다. Flexner는 의과대학과 교수진의 질에 비판적이었다. 그는 커리큘럼과 시설이 부적절하다고 생각했고, 전문적 실무 준비를 위한 비과학적인 접근으로 인해 어려움을 겪었다.4 북미에서, 그의 보고서는 의과대학이 제대로 갖추어져 있고, 학문적으로 자격을 갖춘 학생들만 입학할 수 있으며, 원래 연구는 대학에 기반을 둔 학교의 핵심 활동이라는 것을 보장하는 데 도움이 되었다.

The primary contribution of Flexner’s report was to catalyse a nascent reform movement in medical education. Flexner was critical of the quality of medical schools and faculty staff; he thought the curriculumand facilities were inadequate, and he was troubled by the non-scientific approach to preparation for professional practice.4 In North America, his report was instrumental in ensuring that medical schools were properly equipped, that only academically qualified students were admitted, and that original research was a core activity of a universitybased school.

20세기 초반의 의료 교육의 질을 보장하기 위해, 미국 의학 협회AMA는 인턴쉽을 위해 의과대학과 병원을 검사하고 승인했다. 동시에, 미국 의과대학 협회AAMC는 의과대학이 회원 자격을 위한 필수 기준을 충족하는지 확인하기 위해 평가하였다.5 1942년, 이 두 그룹은 합병하여merged 의료 교육 연락 위원회(LCME)를 설립했고, 현재 미국과 캐나다의 모든 allopathic 의과대학들을 인가하고 있다. 세계 의학 교육 연맹(WFME)이 발표한 표준에서 정점에 달하면서, 전 세계 다른 나라에서도 유사한 이니셔티브가 있었다.

To assure the quality of medical education in the early decades of the 20th century, the American Medical Association inspected and approved medical schools and hospitals for internships. At the same time, the Association of American Medical Colleges evaluated medical schools to ensure that they met the requisite standards for membership.5 In 1942, the two groups merged to form the Liaison Committee on Medical Education (LCME), which now accredits all allopathic medical schools in the USA and Canada. There have been similar initiatives in other countries around the world, culminating in the standards promulgated by the World Federation for Medical Education (WFME).

인증accreditation 과정의 광범위한 채택과 그것이 교육의 질을 향상시킨다는 믿음에도 불구하고, 그 효율성에 대한 증거는 거의 없다.

Despite the widespread adoption of accreditation processes, and the belief that they improve educational quality, there is little evidence of their effectiveness.

결과적으로, 최근 보건 직업 교육 분야의 문헌을 검색한 결과, Accreditation 과정의 효과에 대한 출판된 연구가 없었다.7

Consequently, a recent search of the literature in health professions education revealed no published studies of the effectiveness of accreditation processes.7

북미에서는, 플렉스너 보고서에 의해 촉매된 의료 교육의 질을 개선하기 위한 메커니즘이 그러한 교육 과정의 제품의 품질을 보증하기 위한 운동을 동반했다. 1915년, 지역local 의료 면허 당국이 사용할 수 있는 자발적이고 국가적인 평가의 필요성을 충족시키기 위해 국립 의료 검사 위원회NBME가 설립되었습니다. 마찬가지로, 1933년에 미국 의료 전문 위원회ABMS도 의료 전문 분야의 표준을 정하는 위원회 연합으로 설립되었습니다. 책임과 품질 관리를 위한 이러한 유형의 메커니즘은 북미의 특징이다. 그럼에도 불구하고 유사한 이니셔티브가 전 세계적으로 발견되고 국제의료교육연구소(IIME)의 연구에 의해 전형적으로 나타난다.3

In North America, mechanisms to improve the quality of medical education catalysed by the Flexner report were accompanied by a movement to assure the quality of the products of those educational processes. In 1915, the National Board of Medical Examiners was founded to fill the need for a voluntary, national assessment that local medical licensing authorities could use. Similarly, in 1933 the American Board of Medical Specialties was founded as a confederation of the boards that set standards for the medical specialties. These types of mechanisms for accountability and quality control are characteristic of North America. Nonetheless, similar initiatives are found around the world and are typified by the work of the Institute for International Medical Education (IIME).3

인증과는 달리, 품질 관리quality control에 사용되는 평가 메커니즘의 효과를 설명하는 광범위한 작업 기관이 있다.7

Unlike accreditation, there is an extensive body of work which speaks of the effectiveness of assessment mechanisms used for quality control.7

가장 중요한 것은 환자 결과를 포함하여 이러한 평가와 실제 성과 사이의 관계를 나타내는 증거의 증가이다.

Of most importance, is the growing body of evidence indicating a relationship between these assessments and performance in practice, including patient outcomes.

교육의 능력

The capacity of education

세계보건기구(WHO) 8은 전 세계적으로 430만 명의 의료 종사자가 부족한 것으로 추산하고 있다. 사하라 이남 아프리카와 같은 저소득 지역이 가장 큰 도전에 직면해 있습니다. 전 세계 인구의 11%와 전세계 질병 부담의 24%를 가진 사하라 이남 아프리카는 의료 종사자의 3%에 불과하다. 세계보건기구는 사하라 이남 아프리카 57개국 중 36개국이 의사, 간호사, 약사, 실험실 기술자, 방사선사, 기타 최전방 또는 지원 인력 부족에 시달리고 있다고 보고했다.8

The World Health Organization (WHO)8 estimates a global shortfall of 4.3 million health care workers. Low-income regions, such as sub-Saharan Africa, face the greatest challenges. With 11% of the world’s population and 24% of the global burden of disease, sub-Saharan Africa has only 3% of its health workers. The WHO reports that 36 of the 57 countries in sub-Saharan Africa suffer from a severe shortage of doctors, nurses, pharmacists, laboratory technologists, radiographers and other frontline or support staff.8

이 부족은 지역에서의 보건 종사자 이민으로 인해 악화되고 있다. 세계보건기구와 다른 나라들은 저개발국에서 의사, 간호사 그리고 다른 사람들을 고용함으로써 그들의 부족함을 해결했다고 주장했다. 9,10 세계보건기구의 보고서 8은 현재 아프리카에서 훈련받은 의사 4명 중 1명과 간호사 20명 중 1명이 가장 산업화된 30개 국가에서 일하고 있다고 지적한다. 그 결과, 대부분의 사하라 이남 아프리카 국가들은 WHO의 추천 의사대 인구 비율 (1:1000)을 충족하지 못합니다. 통계가 가능한 44개 이남 아프리카 국가 중 24개국에 10만 명당 의사 수가 10명 미만입니다. 게다가, 유엔개발계획UNDP은 세계 다른 지역의 인구비율, 즉 현저하게 더 나은 의사를 보고하고 있다. 쿠바(1:165), 이탈리아(1:165), 한국(1:337), 미국(1:358), 영국(1:610) 등이다. 마찬가지로, 국제 개발 연구 센터의 수치들은 의사들을 보여준다: 가장 부유한 나라들의 비율은 1:500이고 25개의 가장 가난한 나라들의 비율은 1:25,000에 불과하다.11

This shortage is exacerbated by health worker emigration (‘brain drain’) from the region. The WHO and others have argued that the richest countries have solved their shortages by recruiting doctors, nurses and others from less developed countries.9,10 The WHO report8 notes that one in four doctors and one in 20 nurses trained in Africa now work in the 30 most industrialised countries. The result is that most sub-Saharan African countries do not meet the WHO’s recommended doctor : population ratio (1 : 1000); there are fewer than 10 doctors for every 100 000 people in 24 of the 44 sub-Saharan African countries for which statistics are available.11 Further, the United Nations Development Programme reports strikingly better doctor : population ratios for other parts of the world, including Cuba (1 : 165), Italy (1 : 165), South Korea (1 : 337), the USA (1 : 358) and the UK (1 : 610).11 Likewise, figures from the International Development Research Centre (IDRC) show doctor : population ratios of 1 : 500 in wealthiest countries and only 1 : 25 000 in the 25 poorest countries.11

이러한 국가 간 불평등 분포 외에도, WHO는 국가 내 의료 종사자의 불균등한 분배를 보고한다.8 보건 종사자의 밀도는 종종 더 많은 교직 병원과 더 많은 수의 환자들이 진료비를 낼 수 있는 도시 지역에서 가장 크다. 전체 인구의 약 55%가 도시 환경에 살고 있지만 의사 75%, 간호사 60%, 기타 보건 종사자의 58%도 마찬가지입니다. 대부분의 사하라 이남 아프리카 국가들의 문제는 보건 노동자들의 국제적 이동은 거의 항상 영구적인 반면, 도시 중심지로의 이동은 보통 영구적이지만 소수의 노동자들은 시골 지역으로 돌아간다는 것이다.9

In addition to these inequitable distributions across countries, the WHO reports an uneven dispersion of health care workers within countries.8 Health worker density is often greatest in urban areas where there are more teaching hospitals and greater numbers of patients who can afford to pay for care. About 55% of all people live in an urban setting, but so do 75% of doctors, 60% of nurses and 58% of other health workers. The problem for most sub-Saharan African countries is that the international migration of health workers is almost always permanent, whereas movement to urban centres is usually permanent, but a few workers return to rural settings.9

고찰 DISCUSSION

다음 세기를 위한 도전

The challenge for the next century

모든 국가가 부족과 잘못된 분배 문제를 해결하기 위해 더 많은 의료 인력을 배출해야 한다는 것은 분명하다. 문제는 용량을 늘리는 동시에 품질을 유지하고 개선하는 것입니다.

It is clear that all countries need to produce more health care workers in order to address the issues of shortage and maldistribution. The challenge is to increase capacity while maintaining and enhancing quality.

구체적으로, 우리는 교육적 증거들이 교육적 관행에 반영되어야 하는 세 가지 방법이 있다고 믿는다. 

• 첫째, 많은 교육적 방법론들이 전통에 기반을 두고 있고 새로운 방법들이 패션에 바탕을 두고 채택되고 있다. 교육적 연구는 교육적 실천의 기초가 되어야 한다. 

• 둘째로, 대부분의 교육적 방법론은 품질 향상에 초점을 맞추고 자원 활용을 고려하지 않으며, 이는 수행한 연구의 관련성과 유용성을 감소시킨다. 교육 연구는 질과 효율에 초점을 맞춰야 한다. 

• 셋째, 교육 품질 관리의 한 가지 형태는 인증 프로세스에 의해 제공됩니다.

Specifically, we believe there are three ways that educational evidence should be brought to bear in educational practice. 

• Firstly, many educational methodologies are retained based on tradition and new methods are adopted based on fashion. Educational research must become the basis for educational practice. 

• Secondly, most educational methodology focuses on improving quality and does not consider resource utilisation, and this reduces the relevance and utility of the research carried out. Educational research must focus on quality and efficiency. 

• Thirdly, one form of educational quality control is provided by accreditation processes.

교육연구의 역할

The role of educational research

증거기반관행

Evidence-based practice

현재 교육 연구는 교육 관행의 기초를 이루지 못하며, 그보다 전통이 더 중요한 역할을 한다. 학문적 리더십은 의학 연구나 임상 실습의 전문가인 교수진으로부터 적절하게 이끌어진다. 그러나 그 결과, 리더들은 교육 이론의 실천에 대해 잘 알지 못하고 종종 사회 과학에 기반을 둔 교육 연구를 회의적인 시각으로 본다.

Educational research is not currently the basis of educational practice and tradition plays a key role in this. Academic leadership is appropriately drawn from faculty members who are experts in medical research or clinical practice. As a consequence, however, they are not well versed in the practice of educational theory and they often view educational research, which is based in the social sciences, with scepticism.

유행fashion은 또한 교육적인 결정이 연구에 기초하지 않는 이유의 일부이다. 모든 장점에 대해, 문제 기반 학습(PBL)은 좋은 예시이다. 그것은 더 효과적인 교육 방법론이기 때문에 꼭 그렇지는 않지만, 학생들이 그들 자신의 교육에 더 적극적으로 참여하도록 하기 위한 수단으로 소개되었다. 그것의 도입 이후, 다양한 교육적 이유들이 제시되었다. 현재까지, PBL을 사용하는 이러한 이유에 대해 연구 결과는 모호하지만, 초기 동기는 학생 만족도가 높다는 사실에 반영되어 여전히 유효하다.12–15

Fashion is also part of the reason that educational decisions are not based on research. For all of its advantages, problem-based learning (PBL) provides a good example. It was introduced as a means of involving students more actively in their own education, not necessarily because it was a more effective educational methodology. Since its introduction, avariety of educational rationales have been put forward . To date, the research is equivocal on these reasons for using PBL, although the initial motivation remains valid as reflected in the fact that student satisfaction is high.12–15

유행과 전통은 현재 교육적 관행에서 매우 중요한 역할을 하고 있는데, 그 이유는 부분적으로 현존하는 연구기관이 유용한 방법으로 실천에 정보를 제공하지 않기 때문이다. 일반 교육 문헌에는 교육 연구와 실천 사이의 관계에 대한 상당한 논쟁이 있다. 2006년, 슐만 외 연구진은 [두 개의 교육 학위]가 필요하다고 주장했고, 그 중 하나는 기초 연구자(기초과학의 박사과정과 유사함)에게, 하나는 실무자(MD 또는 MBBS와 유사함)에게 적용될 것이다.

Fashion and tradition currently play very significant roles in educational practice, in part because the existent body of research does not inform practice in a useful way. In the general education literature, there is considerable debate about the relationship between educational research and practice. In 2006, Shulman et al.16 argued that two education degrees were needed, of which one would apply to basic researchers (analogous to a PhD in the basic sciences) and one would apply to practitioners (analogous to the MD or MBBS).

의료 교육자의 수는 의료 교육에서 국제적으로 그리고 개발도상국의 현지 환경에 정식 훈련을 도입하고 기회를 늘림으로써 축적될 수 있다. 예를 들어, 국제의료교육연구진흥재단(FAIMER)은 펠로우쉽과 지역 기관을 통해 의대 교수진을 강화함으로써 저소득 국가의 의료교육 역량을 키워왔다.19

The number of medical educators can be built up by introducing and increasing opportunities for formal training in medical education internationally and in local settings in developing countries. The Foundation for Advancement of International Medical Education and Research (FAIMER), for example, has been building capacity in medical education for low-income countries by strengthening medical school faculty through fellowships and regional institutes.19

품질과 효율에 중점을 둔 교육

Education focused on quality and efficiency

그의 작품에서, 플렉스너는 의료 교육의 질을 개선할 필요성을 강조했다. 그는 의과대학은 너무 많지만 질 좋은 학교는 거의 없는 세상에 직면했다. 그의 보고서는 북미의 의대 교육 capacity의 급격한 감소를 동반했다. 이 전통에 따라, 의학 교육에 대한 연구는 의료 교육의 질을 향상시키는 데 초점을 맞추고 있다. 결과적으로, 기존의 업무 기구는 [교육 효율]에는 동등한 강조를 두지 않으면서 [교육 개선]을 강조한다.

In his work, Flexner stressed the need to improve the quality of medical education. He was faced with a world in which there were too many medical schools, but too few of good quality. His report was accompanied by a dramatic decrease in the capacity for medical education in North America. Following in this tradition, research in medical education has centred on improving the quality of medical education. Consequently, the existing body of work stresses educational improvement without an equal emphasis on educational efficiency.

이러한 불균형은 고자원 국가에서는 덜 눈에 띄는데, 왜냐하면 그들은 국가가 필요로 하는 노동자의 수와 그들이 생산하는 수 사이의 격차를 메우기 위해 의료 종사자들을 수입할 수 있기 때문이다. 사실, 어떤 사람들은 이것이 보건 직업 교육의 증가하는 비용을 근로자들이 이주하는 나라로 효과적으로 이동시키는 것으로 볼 수도 있다. 그러나 보건의료 종사자의 부족이 심각하고 특히 자원이 중요한 저소득 국가에서 수용력을 증가시켜야 한다는 것은 명백하다.

This imbalance is less noticeable in high-resource countries because they can import health care workers to fill the gap between the numbers of workers their countries need and the numbers they produce. In fact, some might view this as effectively shifting the increasing costs of health professions education to the countries from which the workers migrate. However it is viewed, it is clear that there is a significant shortage of health care workers and that capacity needs to be increased, particularly in low-income countries where resources are a significant issue.

국제 보건 전문가 교육 커뮤니티는 연구에서의 [품질]뿐만 아니라 [효율성]에 중점을 두어 capacity 증대에 중요한 역할을 한다. 이 연구를 제대로 하기 위해서, 그리고 지능적으로 적용시키기 위해서, 우리는 우선 부족shortage이 있는 지역에서 온 우리 지역 보건 전문가들을 양성할 필요가 있습니다. 우리는 또한 고소득 국가에서 의료 종사자들의 생산 부족이 저소득 국가의 부족을 악화시키기 때문에 그들과 협력할 필요가 있다. 지역 보건 전문가 교육자들은 가장 두드러진 문제, 물어볼 질문, 그리고 그들 자신의 맥락에서 작동할 해결책을 찾는데 앞장서야 한다. 해답이 주어지면, 그들은 변화의 주체가 될 뿐만 아니라 그것을 실행하는 주체가 될 필요가 있을 것이다.

The international health professions education community has a key role to play in increasing capacity by incorporating an emphasis on efficiency as well as on quality in its research. To do this research properly, but also to apply it intelligently, we need first to build into our community health professions educators from regions where there are shortages. We also need to work collaboratively with them because the underproduction of health workers in high-income countries exacerbates the shortages in low-income countries. Local health professions educators must take the lead in identifying the most salient issues, the questions to ask and the solutions that will work in their own contexts. Given answers, they will need to be both the agents of change and those who implement it.

이러한 커뮤니티를 구축한 후, 우리는 환자 결과와 인구의 건강에 대한 교육 방법론의 품질과 효율성을 적극적으로 판단할 필요가 있을 것이다. 이를 위한 실질적인 장벽이 있지만, 의미 있는 중간 결과의 원천으로 현재 시행 중인 품질 보증 메커니즘(라이센스, 인증 또는 IIME에 의해 만들어진 것과 유사한 평가 프로세스)을 사용하는 것은 확실히 실현 가능하다.

Having built these communities, we will need to aggressively judge the quality and efficiency of educational methodologies against patient outcomes and the health of populations. There are significant practical barriers against doing so, but it is certainly feasible to use the quality assurance mechanisms currently in place (licensure, certification or an assessment process akin to that created by the IIME) as a source of meaningful intermediate outcomes.

교육 연구 및 인증

Educational research and accreditation

Flexner의 영향력 있는 보고서는 의학 교육에 대한 과학적 접근 방식을 도입했지만, 모든 의사가 유사하고 유사한 지식, 기술 및 역량 표준을 달성할 것이라는 대중의 신뢰도도 증가시켰다.1 이는 [지역 또는 국제 인증]의 방법으로 국제 표준을 달성하는 [궁극적인 목적]이 학생, 의료 위원회, 고용주 및 일반 사회를 포함한 이해 관계자들에게 교육의 질과 졸업생들의 역량을 보증하는 것이기 때문에 고려해야 한다.24 [자원이 부족한 환경의 의과대학]은 국제인가의 동일한 목적을 달성하고 3류로 간주되지 않기를 원한다.25

Flexner’s influential report introduced scientific approaches to medical education, but it also increased public confidence that all doctors would attain similar and comparable standards of knowledge, skills and competencies.1 This is important to consider because the ultimate purpose of achieving international standards, by way of regional or international accreditation, or indeed self-evaluation, is to assure stakeholders, including students, medical councils, employers and the general community, of the quality of training and the competence of graduates.24 Medical schools in resource-poor settings want to achieve the same end of international accreditation and not to be considered third-rate.25

인증 기관이 사용하는 일부 표준은 매우 지시적이다. 이러한 처방은 자원 집약적이며 의료 시스템의 변화 또는 환자의 요구에 혁신하고 적응하는 의대의 능력을 제한한다. 또한 이러한 표준은 교육적 효과를 나타내는 데이터에 반드시 기반을 두고 있는 것은 아니다.우리가 다음 세기로 넘어가면서, 그러한 기준을 가진 기관들은 그들 각각이 학생 성과와 관련된 연구에 의해 지지받도록 할 필요가 있다. 이는 특히 역량 증가가 필수적인 저소득 국가에서 중요하다. 

Some of the standards used by accrediting bodies are very prescriptive. These prescriptions are resource-intensive and they limit the ability of medical schools to innovate and adapt to changes in the health care system or the needs of patients. Further, these standards are not necessarily based on data that speak of educational effectiveness.As we move into the next century, bodies with such standards need to ensure that each of them is supported by research tied to student outcomes. This is especially important in low-income countries where increases in capacity are essential. 

지시적 표준에 기초한 인증 프로세스와 대조적으로, WFME 품질 개선을 위한 글로벌 표준 및 그와 같은 다른 표준 세트(예: 미국과 호주에서 사용되는 표준)는 광범위한 범주의 내용, 프로세스, 교육 환경 및 의학 교육의 성과와 관련이 있다.2 이것은 의과대학이 인구의 건강 요구에 적응하는 것을 허용한다. 이러한 인증 프로세스의 초점은 각각의 기준을 만족시키는 것이 아닙니다. 각 기준을 만족하는 데는 여러 가지 다른 경로가 있기 때문입니다.

By contrast with the accrediting processes based on prescriptive standards, the WFME Global Standards for Quality Improvement and other sets of standards like it (e.g. standards used in the USA and Australia) are concerned with broad categories of content, process, educational environment and outcomes of medical education.2 This permits medical schools to adapt to the health needs of the population. The focus of these accrediting processes is not the individual standards, as there are several different routes to satisfying each of them.

© Blackwell Publishing Ltd 2010.

종합에서 해석까지: 어떻게 평가자가 역량기반포트폴리오의 복잡한 데이터를 판단하는가(Adv in Health Sci Educ, 2017)

From aggregation to interpretation: how assessors judge complex data in a competency-based portfolio

Andrea Oudkerk Pool1 • Marjan J. B. Govaerts1 • Debbie A. D. C. Jaarsma2 • Erik W. Driessen1

서론 Introduction

역량 기반 평가의 증가로 포트폴리오가 평가 시스템의 핵심 요소로 인식되고 있습니다. 형식과 내용이 다를 수 있지만, 일반적으로는 포트폴리오는 수행된 작업에 대한 보고, 동료 및 교수진으로부터 받은 피드백, 진행 상황, 역량 향상 방법에 대한 목표 및 계획을 모두 포함하고 있습니다(Driessen et al. 2007).

With the rise of competency-based assessment, portfolios are increasingly seen as the linchpin of assessment systems. Although their format and content may differ, generally they all contain reporting on work done, feedback received from peers and faculty, progress made, and goals and plans on how to further improve competence (Driessen et al. 2007).

세계적으로 여러 의과대학은 학생의 성취도 평가에 포트폴리오가 핵심인 역량 기반 평가 시스템을 구현했다(Dannefer와 Henson 2007; Davis et al. 2001; Driessen 2016; Smith et al. 2003). 이러한 포트폴리오 기반 평가 시스템에서 학생들의 역량 수준에 관한 결정은 일반적으로 전문가의 판단에 의존한다. 전문 심사관은 포트폴리오에서 관련 증거를 선택, 해석 및 통합할 수 있으며, 결과적으로 학생의 역량에 대한 타당한 결정을 내릴 수 있다고 가정한다.

Worldwide, multiple medical schools have implemented competency-based assessment systems in which the portfolio is key to the assessment of students’ achievements (Dannefer and Henson 2007; Davis et al. 2001; Driessen 2016; Smith et al. 2003). In these portfolio-based assessment systems, decisions regarding the students’ level of competence typically rely on expert judgment. It is assumed that expert judges are able to select, interpret, and integrate relevant evidence in the portfolio, and consequently make a valid decision about a student’s competence.

더욱이 최근 훈련 중 평가에 관한 연구는 [교수진이 미래의 임상의에서 중요한 자질로 보는 것]과 [역량 기반 평가에서 정의된 역할] 사이의 불일치를 보여주었다(Ginsburg et al. 2011; Resenting et al. 2016; Rosenbluth et al. 2014). 학생들의 임상 역량 수준을 평가하도록 요청받았을 때, 교수진은 레지던트에 따라 특정 측면에 다양한 중요도를 부여했다. 즉, 뛰어난 학생의 단점은 무시될 수 있는 반면 약한 학생들의 강한 속성은 간과할 수 있었다(긴스버그 외. 2010). 게다가, 평가자에게 중요한 일부 구조는 고려할 역량조차 아니었다. 예를 들어, 평가자는 학생이 감독관에게 어떤 영향을 미치는지에 큰 중요성을 부여했습니다('직원에 미치는 영향').

Moreover, recent studies on in-training evaluations revealed a discrepancy between what faculty see as important qualities in a future clinician, and the roles defined within competency-based assessment (Ginsburg et al. 2011; Renting et al. 2016; Rosenbluth et al. 2014). When asked to assess students’ level of clinical competence, faculty assigned varying degrees of importance to certain aspects depending on the resident: shortcomings of exceptional students could be discounted while strong attributes of weaker students were overlooked (Ginsburg et al. 2010). Besides, some constructs that were of importance in the considerations of assessors were not even competencies at all. For example, assessors attached great importance to how the student affected the supervisor (coined ‘impact on staff’).

효과적인 교육에 대한 [공통된 비전]을 가지고 있고 많은 [동일한 증거]를 인용하는 평가자도 [상당히 다른 '이야기' 또는 수행에 대한 해석적인 요약]을 개발할 수 있다(슈츠와 모스 2004).

even assessors who hold a shared vision of effective teaching and who cite much the same evidence can, nonetheless, develop significantly different ‘stories’ or interpretive summaries of performance (Schutz and Moss 2004).

방법론 Methodology

세팅 Setting

이 연구는 네덜란드 마스트리히트 대학의 의학 석사 프로그램에서 정해졌다. MiM 커리큘럼은 의학 학사 이후 3년 동안 계속됩니다. 그것은 임상실습, 연구 프로젝트, 그리고 일렉티브로 구성되어 있다. 커리큘럼은 CanMEDs 프레임워크를 중요한 평가 프레임워크로 사용하여 역량 기반 교육과 평가의 원칙에 따라 설계되었다(Frank와 Danoff 2007). 역량 기반 평가는 학생들이 각 역량 영역에서 학습 및 개발 증거를 수집하고 반성하는 웹 기반 포트폴리오 시스템에 의해 지원된다(Moonen-van Loon et al., 2013). 모든 학생들에게는 자신의 평가와 성찰, 학습 목표 설정 등을 지도함으로써 학생의 역량 개발을 감시하는 멘토가 배정된다. 멘토와 학생은 1년에 3~4번 만나며, 그 동안 멘토는 역량 개발 및 포트폴리오에 대해 학생들과 논의합니다.

The research was set in the Master’s in Medicine (MiM) programof Maastricht University, the Netherlands. The MiM curriculum spans a 3-year period following the bachelor’s in Medicine. It consists of clerkships, a research project, and electives. The curriculum has been designed according to the principles of competency-based education and assessment, using the CanMEDS framework as overarching assessment framework (Frank and Danoff 2007). Competency-based assessment is supported by a web-based portfolio system in which students collect and reflect on evidence of their learning and development in each of the competency domains (Moonen-van Loon et al. 2013). Every student is assigned a mentor who monitors the student’s competency development by guiding the student in his or her self-assessments and reflections, and in setting learning goals. Mentor and student meet three to four times per year, during which the mentor discusses the competency development and portfolio with the student.

참여자 Participants

우리는 의도적으로 최대 변동 샘플링(Patton 1990)을 사용하여 18명의 멘토-평가자를 선택했습니다. 평가자의 의료 배경의 변화를 극대화하기 위해 다양한 의료 전문 분야(가족 의료 및 외과 및 비외과 전문 분야)에서 

We purposefully selected 18 mentor-assessors using maximum variation sampling (Patton 1990). To maximize variation in assessors’ medical backgrounds, we selected assessors from different medical specialties (Family Medicine and surgical as well as non-surgical specialties).

학생 포트폴리오 Student portfolio

본 연구의 목적을 위해, 연구팀은 (심리학자, 두 명의 교육학자, 그리고 한 명의 수의사로 구성된) 3개의 서로 다른 학생 프로필을 대표하는 3개의 모의 포트폴리오를 개발했으며, 각각은 다양한 수준의 역량 성취도를 반영했다. 이전 연구에서 평가자가 비의료 전문가 역량을 평가하는 데 어려움이 있다는 것을 보여주었기 때문에, 학생 프로파일에서 우리는 [의료 전문가 역량]과 [다른 역량]을 구별하기로 결정했다(Whitehead et al. 2015).

For the purpose of this study, the research team (consisting of a psychologist, two educationalists and a veterinarian) developed three mock portfolios representing three different student profiles, each reflecting varying levels of competency achievement. In our student profiles we chose to make a distinction between de medical expert competency and other competencies because previous research has shown that assessors have difficulty assessing the non-medical expert competencies (Whitehead et al. 2015).

• 포트폴리오 (A) 의료 전문가 영역에서는 주로 긍정적인 피드백, 관리자와 의사소통 영역에서는 비판적 피드백과 긍정적인 피드백, 

• 포트폴리오 (B) 의료 전문가 분야에서 비판적인 긍정적인 피드백, 그러나 다른 역량에 대한 긍정적인 피드백, 그리고 

• 포트폴리오(C)는 모든 도메인에서 주로 긍정적인 피드백입니다.

• portfolio (A) predominantly positive feedback in the medical expert domain, but both critical and positive feedback in the domains of manager and communicator; 

• portfolio (B) both critical and positive feedback in the domain of medical expert, but predominantly positive feedback on the other competencies; and 

• portfolio (C) predominantly positive feedback in all domains.

포트폴리오에는 학생의 자체 평가, 작업장 기반 평가(mini-CEX, DOPS, 현장 노트, 다중 소스 피드백), 진행 시험 결과, CV 등을 포함한 [18주 기간의 임상 로테이션] 동안 수집된 학생의 역량에 대한 증거가 포함되어 있었다. 각 포트폴리오에는 서술적 피드백, 역량 등급 및 자격(즉, 불충분, 충분 및 양호)과 개별 CanMED 역량과 관련된 테스트 결과가 포함되었습니다. 그림 1은 본 연구에 사용된 온라인 포트폴리오 환경의 인쇄 화면을 제공합니다.

The portfolios contained evidence on a student’s competencies collected during a single 18-week clinical rotation, including student’s self-assessments, workplace-based assessments (mini-CEXs, DOPSs, field notes, multi-source feedback), progress test results, and a curriculum vitae. Each portfolio comprised narrative feedback, competency ratings and qualifications (i.e., insufficient, sufficient, and good) as well as test results pertaining to each of the individual CanMEDS competencies. Figure 1 provides a print screen of the online portfolio environment used for this study.

윤리 Ethical approval

자료 수집과 분석 Data collection and analysis

24명의 멘토 평가자를 이메일로 초대하여 참여 전에 동의를 받았습니다. 18명의 평가자들이 우리의 초대에 응했다. 각 평가자는 세 가지 포트폴리오 버전 중 하나를 제시받았고, 따라서 각 포트폴리오 버전은 여섯 명의 평가자에 의해 평가되었다.

We invited 24 mentor–assessors via e-mail to participate and obtained their consent prior to participation. Eighteen assessors responded to our invitation. Each assessor was presented one of the three portfolio versions, each portfolio version was therefore assessed by six assessors.

평가자들은 이 내용을 주의 깊게 읽고 '부족하다', '충분하다', 또는 '좋다'고 평가함으로써 학생의 전반적인 직업적 역량에 대한 전체적인 판단을 내리도록 지시받았다.

Assessors were instructed to carefully read it and provide a holistic judgment of the student’s overall professional competence by rating it as ‘insufficient,’ ‘sufficient,’ or ‘good.’

포트폴리오 평가 중 평가자의 인지 처리를 포착하기 위해, 우리는 think-aloud 방식(Van Someren et al., 1994)을 사용했는데, 이는 우리가 평가자들에게 포트폴리오를 읽고 평가하는 동안 모든 생각, 아이디어 및 결정을 언어화하도록 지시했다는 것을 의미한다. 만약 그들이 몇 초 이상 침묵한다면, 우리는 그들에게 그들의 생각을 계속 말하라고 상기시켰다.

To capture assessors’ cognitive processing during portfolio evaluation, we employed the think-aloud method (Van Someren et al. 1994), which means that we instructed assessors to verbalize all their thoughts, ideas, and decisions while reading and evaluating the portfolio. If they fell silent for more than a few seconds, we reminded them to keep verbalizing their thoughts.

결과 Results

평가자의 정보 처리과정: 3단계 순환적 프로세스 

Assessors’ information processing: a 3-phase cyclical process

정보 처리에서 모든 평가자는 각각 정보를 [획득, 조직, 통합]하는 유사한 순환 패턴을 따랐다. 

• 첫 번째 단계에서 평가자는 가장 중요하고 신뢰할 수 있는 근거 중 판단의 근거가 되는 것으로 간주되는 정보를 선택하였다. 

• 이 정보를 검토한 후, 그들은 그것이 학생들의 [역량의 여러 측면aspects]에 대한 [정보에 근거한 판단]에 기여하는지 여부와 그 방법을 정의했다. 

• 평가자들은 그 후에 다양한 증거의 출처를 따져보고 학생의 능력에 대한 예비판단을 결정했다.

In processing information, all assessors followed a similar cyclical pattern of acquiring, organizing, and integrating information, respectively. 

• During the first phase, assessors selected the information they considered the most important and credible pieces of evidence upon which to base their judgment. 

• After reviewing this information, they defined if and how it contributed to an informed judgment about aspects of student’s competence. 

• Assessors subsequently weighed the various sources of evidence and decided on a (preliminary) judgment of the student’s competence.

첫 번째 라운드가 끝나자, 평가자는 나머지 포트폴리오 증거를 검토하여 추가 확인 또는 확인되지 않은 데이터를 찾아 정보 획득 단계를 반복했고, 이는 다시 정보의 조직과 통합에 영향을 미쳤다. 이 반복적인 과정은 평가자가 학생의 능력에 대한 판단을 내릴 수 있을 만큼 충분한 정보를 얻었다고 느낄 때까지 평가자가 새로운 포트폴리오 증거를 검토할 때마다 반복되었다. 여러 출처의 다른 증거들을 비교함으로써, 평가자들은 점차적으로 학생의 역량 패턴을 인식하게 되었다.

Upon conclusion of the first round, assessors reviewed the remaining portfolio evidence to look for additional confirming or disconfirming data thereby repeating the information acquisition phase which, in turn, influenced the organization and integration of information. This iterative process was repeated every time the assessor reviewed new portfolio evidence, until assessors felt they had obtained enough information to make a judgment about the student’s competence. By comparing different pieces of evidence from multiple sources, assessors gradually came to recognize patterns in the student’s competence.

더욱이 중요한 발견은 다음과 같은 명백한 증거에 직면했을 때조차 [평가자가 초기 판단을 고수하는 경향]이 있다는 것이다. 비록 그들의 최종 판단이 그들의 예비판단에 비해 더 정교하고 세밀했지만, 그들은 그들의 초기판단과 실질적으로 다르지 않았다. 학생 프로파일 간의 차이는 학생의 능력에 대한 평가 과정이나 평가자의 전반적인 판단에 영향을 미치지 않는 것으로 보였다. 대부분의 평가자들은 학생들의 능력이 충분하다고 평가했다.

A salient finding, moreover, was that assessors were inclined to stick to their initial judgments even when confronted with seemingly disconfirming evidence: Although their final judgments were, indeed, more elaborate and detailed compared to their preliminary judgments, they were not substantially different from their initial judgments. Differences between student profiles did not seem to affect the judgment process or assessors’ overall judgment of the student’s competence: Most assessors rated the students’ competence as sufficient.

학생 평가에 대한 평가자의 독특한 접근 방식

Assessors’ idiosyncratic approaches to the student evaluation

어떤 평가자는 최종 판단을 내리기 전에 전체 포트폴리오를 읽지만, 다른 평가자는 주로 자신의 판단에 inform하기 위해 학생의 자체 평가 또는 직장 기반 평가 데이터에 의존했고, 대체로 추가적인 포트폴리오 증거를 무시했다.

While some assessors read the entire portfolio before providing their final judgment, others mainly relied on either the student’s self-evaluation or workplace-based assessment data to inform their judgment, largely ignoring additional portfolio evidence.

다음 단락에서는 이 세 가지 평가자 간 차이에 대해 좀 더 자세히 논의한다.

The following paragraphs will discuss each of these three inter-assessor differences in more detail.

평가자가 신뢰할 수 있는 포트폴리오 증거라고 믿었던 것의 차이

Differences in what assessors believed to be credible portfolio evidence

첫째, 평가자는 자신의 판단에 inform하기 위해 주로 서술적 피드백에 의존한다는 점을 주목해야 한다. 이는 다른 사람이 제공하는 개선사항에 대한 구체적인 제안뿐만 아니라 학생의 발전, 강점 및 약점에 대한 의미 있고 상세한 정보를 제공했기 때문이다. 성적과 자격은 단지 서술에 근거한 인상을 확인하는 데 사용되었다.

First it should be noted that assessors mainly relied on narrative feedback to inform their judgment, because this provided meaningful and detailed information about the student’s development, strengths and weaknesses, as well as specific suggestions for improvement as provided by others. Grades and qualifications were merely used to confirm impressions based on narratives.

이러한 공통성에도 불구하고, 평가자들은 [어떤 종류의 서술적 증거가 학생의 능력에 대한 가장 가치 있고 신뢰할 수 있는 정보를 제공하는지]에 대해서는 다양한 신념을 가지고 있었다.

Despite this commonality, assessors had varying assessment beliefs about what kind of narrative evidence gave the most valuable and credible information about the student’s competence.

예를 들어 평가자들은 평가를 시작하기 위해 서술적 증거의 여러 부분들을 선택하였다. 일부 평가자들은 직장 기반 평가에 대한 서술적 코멘트가 학생들의 능력에 대한 가장 확실한 증거를 생성한다고 믿고 있다. 그러나, 다른 이들은 학생들의 자기 평가와 성찰적인 글을 읽기 시작했는데, 이는 그들이 결과적으로 학생들의 주장이 정당한지 확인하기 위해 읽은 중요한 피드백 논평과 평가 양식에 대한 언급을 포함할 것이라고 가정했기 때문이다.

Assessors, for instance, chose different pieces of narrative evidence to start their evaluation: some selected narrative comments on workplace-based assessments, believing that these would generate the most authentic evidence of students’ abilities; Other, however, started reading the student’s self-evaluations and reflective writings as they assumed these would contain reference to salient feedback comments and assessment forms which they consequently read to check if the student’s claims were justifiable.

출처는 또한 증거의 신빙성을 결정하는 데 있어 중요한 것으로 보였다. 일부 평가자는 주로 의사로부터의 피드백에 의존했다. 왜냐하면 그들은 그들이 학생 역량에 대한 정확하고 의미 있는 피드백을 제공할 가능성이 가장 높기 때문이다. 반면, 다른 평가자는 동료 학생 및 간호사의 피드백을 선호했다. 다른 평가자는 학생들과 더 가깝게 일했고, 따라서 직접 관찰할 수 있는 더 많은 기회를 가졌을 것이다. 

The source also appeared to matter in deciding on the credibility of evidence: Some assessors mainly relied on feedback from physicians because they perceived them as content experts most likely to provide accurate and meaningful feedback on student competence; Others, in contrast, preferred feedback from fellow students and nurses who, they presumed, had worked more closely with students and therefore had more opportunities to directly observe them.

소스 선호도의 평가자 간 차이도 [평가자의 기준 프레임]과 [학생-감독관 관계에 미칠 영향]에서 비롯되었다. 예를 들어, 복수 평가자는 [학생이 서로 다른 시점에 동일한 사람으로부터 피드백을 받았을 때] 학생의 진도가 더 안정적으로 설정될 수 있다는 믿음을 표현했다.

Between-assessor differences in source preferences also stemmed from assessors’ frames of reference and the presumed impact of student-supervisor relationships. for instance, multiple assessors expressed their belief that student’s progress could be established more reliably when the student had received feedback from the same person at different points in time,

동시에, 다른 평가자는 여러 평가자의 입력input을 가치 있게 평가했으며, 이는 1인 피드백에 비해 더 신뢰할 수 있고 더 유용한 것으로 추정했다. 선호도를 설명할 때, 몇몇 평가자는 선택 편향에 대한 인식(즉, 학생들이 피드백을 제공하기 위해 의도적으로 더 관대한 평가자를 선택)과 충돌을 피하기 위해 부정적인 의견을 적기를 꺼리는 피드백 제공자를 유발했다.

At the same time, other assessors did value the input from multiple assessors, which they estimated to be more reliable and more informative compared to single-person feedback. In explaining their preferences, several assessors invoked perceptions of selection bias (i.e., students purposively selecting more lenient assessors to provide feedback) and feedback providers’ reluctance to write down negative comments so as to avoid conflicts:

마지막으로, 포트폴리오의 평가 데이터는 또한 감독의 퀄리티애 대한 다양한 인상을 유도했다. 예를 들어, 감독자가 상세한 서면 피드백을 제공하지 못했을 때, 여러 평가자는 감독자가 필수 코멘트를 적었으며 구두로 보다 정교한 피드백을 제공했다고 가정했다. 그러나 다른 사람들은 그 학생이 관찰되지 않았다고 믿었고 따라서 감독관 평가의 신뢰성에 의문을 제기했습니다.

Finally, the assessment data in the portfolio also induced different impressions about the quality of supervision. When a supervisor, for instance, failed to provide detailed written feedback, several assessors assumed that the supervisor had probably written down the essential comments and had provided more elaborate feedback verbally. Others, however, believed that the student had gone unobserved and therefore questioned the credibility of the supervisors’ assessments.

무엇이 '역량'을 구성하는지에 대한 해석의 차이

Differences in interpretations of what constitutes ‘competence’

무엇이 역량을 구성하는지에 대한 이러한 가변적 해석의 결과로, 평가자들은 판단을 내리기 위해 학생에 대해 무엇을 알아야 하는지에 대해 다르게 생각했다. 흥미롭게도, 이러한 소위 '성과 이론'은 공식적인 평가 기준에서 벗어나는 경향이 있었다.

As a result of these variable interpretations of what constitutes competence, assessors thought differently about what they needed to know about the student to be able to form a judgment. Interestingly, these so-called ‘performance theories’ tended to deviate from the formal assessment criteria.

한 평가자 그룹은 학생들의 역량을 [그들이 자신의 학습 과정에 적극적으로 참여하고 역량 향상을 위한 피드백을 효과적으로 사용하는 정도]로 정의했다. 좀 더 구체적으로, 그들은 [학습과 평가에 대한 적극적인 참여]를 좋은 학생의 핵심적 자질이라고 생각했다. 따라서, 성장을 확립하기 위해, 그들은 종종 포트폴리오 증거를 시간 순으로 읽어서 임상 로테이션 초기에 잘 진행되지 않았던 측면이 시간이 지남에 따라 개선되었는지 여부를 점검한다. 비슷하게, 그들은 학생이 개선이 필요한 모든 측면을 추적했는지 확인하기 위해 작업영역 기반 평가와 피드백을 선별했다. 그들은 또한 학생들이 학습 목표와 약속에 대해 후속 조치를 취하는 것이 필수적이라고 생각했기 때문에 학생들의 자기 평가와 학습 목표를 포함했다. 이 평가자 그룹에 따르면, [학생이 시간이 지남에 따라 충분히 향상되고 적극적으로 개선하려고 노력했다는 충분한 증거]가 있는 한, 학생의 역량이 반드시 표준에 달해야 하는 것은 아니다.

One group of assessors defined students’ competence in terms of the extent to which they actively engaged in their own learning process and effectively used feedback for competence improvement. More specifically, they considered active engagement in learning and assessment a key quality of a good student. Hence, to establish growth, they often read the portfolio evidence in chronological order to check if aspects that did not go well in the beginning of the clinical rotation had improved over time. In the same fashion, they screened the workplace-based assessments and feedback to verify whether the student had followed-up on all the aspects that needed to improve. In their perusal, they also included the student’s self-assessment and learning goals as they felt that it was vital to know if students did follow up on learning goals and appointments. According to this group of assessors, the student’s competence did not necessarily have to be up to standard as long as there was enough evidence that the student had sufficiently improved over time and actively tried to improve:

다른 평가자들은 [스스로의 역량을 성찰하는 능력]에 의해 학생들의 능력 수준을 측정했다. 결과적으로, 그들은 학생이 하나 이상의 영역에서 자신의 역량을 인식하지 못하는 경우라면 절대 안 된다는 점을 고려하여 학생의 자기반성을 검토하는 것으로 시작했다.

Other assessors measured students’ level of competence by their ability to reflect on their own competencies. Consequently, they started by reviewing the student’s self-reflections, considering it a no–no when a student was not aware of his or her competence in one or more areas:

'역량'에 대한 평가자의 해석 사이에 발견된 최종 차이는 포트폴리오의 다양한 CanMED 역량 영역에 가중치를 부여하고 평가하는 방식에 반영되었다. 포트폴리오 버전에 관계없이 대부분의 평가자는 구체적으로 '의료 전문가', '관리자' 및 '의사소통가' 역량을 대상으로 하여 나머지 역량을 검사했지만, 어떤 평가자들은 모든 범위의 역량에 초점을 맞추려고 했다. 후자와 같은 방식은 잘 정의되지 않은 역량(예: 건강 옹호자 또는 학자)에 대한 귀중한 피드백을 수집하는 것이 학생들에게 상당히 어려운 과제이기 때문에 학생 간에 차별화를 가능하게 했다. 따라서, '잘 정의되지 않는 역량'에 대한 과제를 수행할 수 있고, 이러한 증거를 성찰하는 학생들은 평균 이상이며 학습에 열심인 것으로 간주되었습니다.

A final distinction we found between assessors’ interpretations of ‘competence’ was reflected in the way they weighted and valued the various CanMEDS competency domains in the portfolio. While most assessors, regardless of portfolio version, specifically targeted ‘medical expert’, ‘manager’, and ‘communicator’ competencies and scanned the remaining competencies, others sought to bring into focus the full range of competencies. This latter tactic allowed them to differentiate between students, as collecting valuable feedback on the less well defined competencies (e.g., health advocate or scholar) is quite a challenge for students. Hence, students who were able to do so and reflected on this evidence were considered to be above average and eager to learn:

평가자가 포트폴리오 증거를 해석하는 방법의 차이

Differences in how assessors construed the portfolio evidence

전체 판단 과정 동안 평가자는 포트폴리오에 포함된 [증거에 자신의 의미를 부여]하여 학생의 능력과 태도에 대한 서로 다른 추론을 유도했다. 좀 더 구체적으로 말하면, 동일한 정보 부분에 기초하여 평가자들은 다른 결론을 도출했다. 예를 들어 학생들의 역량 및 성취에 대한 책임에 관한 것이다. 특정 학생의 직장 기반 평가에 대한 '불충분함insufficient' 등급에 대하여, [한 평가자가 지식의 부족으로 해석]한 반면, [다른 평가자는 그것을 불안정insecurity]으로 돌렸다. 반대로, 일부에서는 평가자와 감독자의 경험에서, 서면 평가는 일반적으로 평가를 후하게 하는 측면에 있다는 것을 배웠기 때문에, 장기간에 걸쳐 '충분함sufficient' 등급을 받은 학생은 '저조한 수행능력'을 가진 것으로 해석되었다.

Throughout the entire judgment process assessors lent their own meanings to the evidence included in the portfolio, leading to different inferences about the student’s competence and attitude. More specifically, based on the same pieces of information assessors drew different conclusions, for instance about students’ responsibility for their competence and achievement: An insufficient rating on a workplace-based assessment of a specific student, was construed by one assessor as the result of a lack of knowledge, while another attributed it to insecurity. Conversely, sufficient ratings over a prolonged period of time were construed as underperformance by some, since they had learned from experience as an assessor and supervisor that written assessments were generally on the positive side be as supervisors eschew failing a student:

그리고 나서 나는 그 '부족함'이라는 판단을 내리는 것이 얼마나 어려운 일인지 깨닫는다. 평가자는 학생에 대한 영향력을 누그러뜨리려는 경향이 있고, 그래서 1점이나 2점을 주는 것은 매우 어려우므로, 보통 3을 준다. 그리고 그것이 내가 누군가가 3점밖에 얻지 못할 때 조심하는 이유이다. 사실, 그 세 가지는 3점 대신 1점부터 3점까지를 의미할 수 있기 때문입니다. (평가자 12)

And then I realize how hard it is to deliver that emphatic ‘insufficient.’ You are inclined to soften the blow for that person and then it is very difficult to give a one1 or a two, so you give a three. And that is why I am cautious when someone only scores threes. Really, because those threes could also be taken to mean a score of one to three, instead of a three. (Assessor 12)

그러나 다른 평가자들은 학생에 대한 약간의 배경 정보가 없이는 포트폴리오의 평가 피드백에 대한 정확한 해석을 할 수 없다고 느꼈다. 이 평가자들은 또한 학생들의 과외 활동, 관심사, 취미에도 관심이 있었다. 학생의 배경에 대해 좀 더 알기 위한 노력으로 일부 평가자는 실제로 학생의 CV를 읽으면서 포트폴리오 검토를 시작했습니다.

Yet other assessors felt they could not make an accurate interpretation of the assessment feedback in the portfolio without having some background information about the student. These assessors were also interested in the student’s extracurricular activities, interests, and hobbies. In an effort to know more about the student’s background, some assessors actually commenced their portfolio review by reading the student’s curriculum vitae:

위에 명명된 성과 데이터의 다른 해석은 학생의 수행능력에 대한 다양한 추론을 초래했고 역량 프레임워크의 특정 요소에 대해서도 서로 동등하지만, 서로 다른 판단으로 이어졌다.

The above-named different interpretations of performance data led to varying inferences about a student’s performance and to equally dissimilar judgments about specific components in the competency framework.

예를 들어, 포트폴리오 A를 읽을 때, 평가자 1은 '의료 전문가' 역할에 큰 중요성을 부여했고, 따라서 구체적으로 이 역량에 대한 모든 포트폴리오 증거를 찾아보았다. 결과적으로, 이 평가자는 이 역량에 대한 가장 신뢰할 수 있는 정보는 의사로부터 얻었으며 직장 기반 평가에서 찾을 수 있다고 믿었다. 결국, 평가자는 학생이 의료 전문가 영역에서 능력이 부족하기 때문에 학생의 역량이 문제가 된다고 추론했다.

When reading portfolio A, for instance, assessor 1 attached great importance to the ‘medical expert’ role and therefore specifically looked for all portfolio evidence about this competency. Consequently, this assessor believed that the most reliable information about this competence came from doctors and could be found in the workplace-based assessments. In the end, the assessor inferred that the student’s competence was problematic since the student lacked competence in the medical expert domain.

그러나 동일한 포트폴리오를 읽은 평가자 2는 학생의 발전progress 상황을 파악하는 데 더 관심이 있었습니다. 이 평가자는 다중 소스 피드백의 코멘트를 읽음으로써 자신이 그렇게 할 수 있을 것이라고 믿었는데, 이 피드백은 장기간에 걸쳐 학생의 능력에 대한 여러 사람의 의견을 포함하기 때문이다. 학생이 의료 전문가 역량에 주의를 기울여야 한다는 점은 인정했지만, 평가자는 학생이 임상 교대 중에 상당히 개선되었기 때문에 우려를 갖지 않았다.

Assessor 2, however, who read the same portfolio, was more interested in determining the student’s progress. This assessor believed that by reading the comments in the multisource feedback he would be able to do so, because this feedback contained opinions of multiple people about the student’s competence over a longer period of time. Although acknowledging that the student should pay attention to the medical expert competency, the assessor was not concerned because the student had improved considerably during the clinical rotation.

고찰 Discussion

우리의 연구 결과는 평가자의 정보 처리는 정보의 획득, 구성 및 통합의 반복적인 단계에 의해 특징지어진다는 것을 시사한다. 평가자 인식에 대한 이전 연구에서도 유사한 단계가 발견되었습니다(Gauthier et al. 2016). 비록 모든 평가자들이 그들의 신뢰도 판단, 수행 이론 및 추론의 차이에서 증명되었듯이, 평가자들은 각자의 고유한 접근법을 가지고 있었지만, 그들은 결국 동일한 전반적인 판단에 도달했다. 이 결과는 Gingerich 등의 연구(2014년)와 일치한다. 평가자는 판단에 대해 다른 원인 설명을 제공했지만, 유사한 판단을 내리고 있었다.

Our findings suggest that assessors’ information processing is characterized by iterative phases of acquiring, organizing and integrating information. Previous research on rater cognition has found similar phases (Gauthier et al. 2016). Although all assessors had their unique approaches, as evidenced by differences in their credibility judgments, performance theories, and inferences, they eventually reached the same overall judgments. This finding is consistent with research by Gingerich et al. (2014) : While raters provided differentcausal explanations for their judgment, subgroups of raters were making similar judgments.

우리는 또한 평가자의 증거 선택과 이 증거가 그들의 판단에 영향을 미치는 정도는 포트폴리오 증거의 신뢰성에 대한 믿음에 의해 강하게 지배된다는 것을 발견했다.

We also found that assessors’ selection of evidence and the extent to which they let this evidence influence their judgment were strongly governed by their beliefs about the credibility of the portfolio evidence.

피드백에 직면했을 때, 학생들은 [자신의 성장에 inform하는 데 어떤 정보를 사용할지 결정]하기 위해 피드백의 신뢰성을 판단했습니다. 평가자와 마찬가지로, (학생에게도) 피드백의 출처는 신뢰도 판단에 중요한 역할을 했다. 예를 들어, 학생들이 개인의 임상적 역량을 존중할 때, 그들은 피드백을 더 쉽게 받아들일 것이다.

When confronted with feedback, students judged the credibility of this feedback in order to decide which information they would use to inform their development. As with the assessors, the source of feedback played an important role in their credibility judgment. When students, for example, respected the individual for his or her clinical competence, they would more readily accept the feedback.

Watling 외 연구진(2012)과 현재의 연구는 모두 정보의 신뢰성을 평가할 수 있으려면 피드백 소스를 아는 것이 필수적이라는 것을 입증한다.

both research by Watling et al. (2012) and the present research demonstrate that it is vital to know the feedback source in order to be able to assess the information’s credibility.

우리의 연구 결과는 또한 평가자들이 [정보에 입각한 결정]을 내리기 위해 [학생에 대해 알아야 할 것에 대한 믿음]을 가이드하는 [서로 다른 수행 이론]을 가지고 있다는 것을 보여주었다. 이전 연구를 확인하면서, 본 연구의 평가자들은 포트폴리오 구조를 제공하는 역량 프레임워크의 외부적인 측면(예: 학생 진행 및 자기반성과 같은)에 근거하여 판단했습니다.

Our findings also revealed that assessors held different performance theories which guided their beliefs about what they needed to know about a student to be able to make a well-informed decision. Confirming previous research , the assessors in our study also based their judgments on aspects (such as student progress and self-reflections) that were external to the competency framework providing the portfolio structure.

직접적인 관찰에 기초한 판단은 본질적으로 자동적 의사결정 과정을 포함한다. 사람 분류와 관련된 자동 의사결정 프로세스는 변환 오류와 역량 간의 차이를 평가할 수 없는 평가자로 이어질 수 있다는 것이 입증되었다(Kolars et al. 2003; Macrae and Bodenhausen 2000). 또한 자동 의사 결정에는 최적의 솔루션은 아니지만, 만족스러운 솔루션을 찾는 프로세스를 가속화하기 위해 사용되는, [경험적 접근 기술]의 사용이 포함된다. 유사한 의사결정 문제가 종종 더 일찍 직면하는 경우, 의사결정자들은 쉽게 의사결정에 도달하기 위해 쉽게 이용할 수 있는 전략을 사용하는 경향이 있다(Tversky와 Kaneman 1975). 

Judgments based on direct observations inherently involve automatic decision-making processes. It has been demonstrated that automatic decision-making processes involving the categorization of people could lead to conversion errors and assessors’ inability to differentiate between competencies (Kolars et al. 2003; Macrae and Bodenhausen 2000). Furthermore, automatic decision-making involves the use of heuristic techniques used to speed up the process of finding a satisfactory, though possibly not optimal, solution. If similar decision-making problems have often been faced earlier, decision makers tend to use readily available strategies to arrive at a decision more easily (Tversky and Kahneman 1975). 

우리의 연구에서, 휴리스틱 사용을 포함한 다양한 자동적 과정들이 평가자들의 의사 결정에도 중요한 역할을 하는 것처럼 보였다. 예를 들어 평가자는 자동으로 특정 피드백 소스를 선호한다. 또한 그들의 추론은 이전의 경험에 의해 형성되었다. 평가자는 유사한 학생에 대한 이전의 경험에 기초하여 포트폴리오 증거에 인과적 설명을 자동으로 할당했다. 비록 이러한 자동적 의사결정 과정이 판단 과정에 영향을 주었고, 평가자의 평가 이면에 있는 추론의 차이를 야기시켰지만, 평가자들은 학생들의 역량을 평가하는 데 아무런 어려움을 겪지 않았다. 더욱이, 그들의 최종적인 전반적인 평가는, 자동적인 의사결정 과정에서의 차이에도 불구하고, 조화를 이루었다.

In our study, various automatic processes including use of heuristics seemed to play a role in assessors’ decision-making as well. Assessors, for example, automatically favoured particular feedback sources. Furthermore, their inferences were shaped by previous experiences: Assessors automatically assigned causal explanations to portfolio evidence based on earlier experiences with similar students. Although these automatic decision-making processes influenced the judgment process and caused differences in assessors’ reasoning behind their evaluations, assessors experienced no difficulty assessing the students’ competence. What’s more, their final overall assessments were in harmony, despite the differences caused by automatic decision-making processes.

본 연구는 포트폴리오의 자기 평가 및 반성적 작성을 포함한 다양한 유형의 작업장 기반 평가 및 성과 평가 옆에 평가자에게 의미 있고 중요한 정보를 추가한다고 제안합니다. 분명히, 자기 평가와 성찰적 글은 평가자에게 직장 기반 평가에서 추론할 수 없는 정보를 제공한다. 우리 연구의 또 다른 중요한 기여는 평가자는 [학생의 배경에 대한 보다 일반적인 정보를 얻고 해석함으로써] 평가를 맥락화할 필요가 있다고 느낀다는 점이다.

our study suggests that, next to various types of workplace-based assessments and performance evaluations, including self-assessments and reflective writing in the portfolio adds information that is meaningful and important to assessors. Apparently, self-assessments and reflective writings provide assessors with information that cannot be inferred from workplace-based assessments. Another important contribution of our study is the observation that assessors feel need to contextualize the assessment by obtaining and interpreting more general information about the student’s background.

한계 Limitations

다음으로, think-aloud 절차는 다양한 사고 과정이 자동적이거나 너무 빨리 일어나 언어화할 시간이 없기 때문에 언어화할 수 없다는 한계가 있다(2003년 헌장). 비록 참가자들의 언어화가 일관되고 완벽해 보이지만, 우리가 모든 사고 과정을 포착하지 못했을 수도 있다는 점을 고려해야 한다. 더욱이, think-aloud를 사용하는 것은 참가자가 실제 사고과정을 보고하기 보다는 연구자를 만족시키기 위해 설명을 작성할 위험이 있다. 그러나, 우리는 think-aloud 절차 외에도, 참가자들에게 왜 그들이 특별한 결정을 내렸는지에 대한 질문을 받는 반구조적인 인터뷰도 실시했습니다. 또한, 참가자의 의사결정의 중요한 공통적인 측면이 포착됨을 나타내는 12명의 참가자 후에 이론적 포화에 도달했다.

Next, the think-aloud procedure inherently harbours a limitation in that various thought processes cannot be verbalized because they are either automatic or happen so quickly that there is no time to verbalize them (Charters 2003). Although the participants’ verbalizations seem coherent and complete, it should be taken into account that we might have not captured all thought processes. Furthermore, using think-aloud procedures has the risk of participants creating explanations to satisfy the researcher rather than reporting their actual thought processes. However, in addition to the think-aloud procedure, we also conducted semi-structured interviews in which participants were asked about the reasons why they made particular decisions. Also, theoretical saturation was reached after 12 participants indicating that important common aspects of participants’ decision-making are captured.

실질적 함의 Practical implications

이 연구는 학생들의 역량에 대해서 평가자가 자신의 판단을 설명하는 것이 중요함을 재차 강조한다. 평가자의 설명explanation 에서 확인된 차이는, (역량에 대한) 의사결정이 개별적으로 이루어지는 것이 아니라, 그룹 토론에서 비롯되어야 한다는 것을 시사한다. 복수 평가자가 학생의 역량에 대해 동일한 일반적인 판단에 도달할 수 있지만, [개별 역량에 대한 판단]과 [전체적인 판단 이면에 있는 추론]에 있어 다르다.

This study reiterates the importance of assessors explaining their judgments about students’ competence. Differences between assessors’ explanations suggest that decisions should not be made individually, but should result fromgroup discussions. Although multiple assessors may reach the same general judgment about a student’s competence, they do differ in their judgments of individual competencies and the reasoning behind their overall judgments.

또한, [다른 평가자의 판단 정책을 논의하는 것]은 평가자가 [자신의 평가 방법이 보편적으로 공유되지 않는다는 사실]을 인식하게 할 것이다. 그것은 그들이 역량과 포트폴리오 해석의 다른 관점에 익숙해지도록 도울 것이다. 이를 통해 평가자는 자신의 평가 프로세스에 다른 평가자의 평가 관행을 통합하고 역량 평가를 위한 '공유된 정신 모델'을 구축할 수 있다.

Also, discussing judgment policies of other assessors will make assessors aware of the fact that their method of assessment is not universally shared. It will help them to become acquainted with other views of competence and portfolio interpretation. This enables assessors to incorporate assessment practices of other assessors into their own assessment process, and to build ‘shared mental models’ for competence assessment.

우리의 연구 결과는 평가자 교육에 시사하는 바가 있음을 시사한다. 평가자 훈련은 자신의 신념, 수행 이론 및 추론에 대한 평가자의 인식을 높이는 데 초점을 맞춰야 한다. 만약 그들이 그들 자신의 의사 결정 과정에 대한 더 많은 통찰력을 얻고 다른 평가자들의 의견을 알게 된다면, 그들의 의사 결정은 개선될 수 있다. 또한, 훈련은 Hauer 등(2016)이 설명한 의사결정 과정에 대한 그룹 구성원 구성 및 그룹 프로세스의 영향에 초점을 맞춰야 한다.

Our findings suggest implications for assessor training. Assessor training should focus on raising assessors’ awareness of their own beliefs, performance theories, and inferences. If they gain more insight into their own decision-making process and get acquainted with those of other assessors their decision making may improve. Furthermore, training should focus on the effect of group member composition and group processes on the decision making processes as described by Hauer et al. (2016).

더욱이, 평가자는 포트폴리오 증거의 선택과 사용에 대해 서로 다른 접근방식을 가지므로, 포트폴리오가 포트폴리오 증거를 통해 선택selection과 항해navigation를 촉진하는 방식으로 설계되는 것이 중요하다. 캡션도 중요하다. 왜냐하면 역량 피드백이 학생에게 제공된 컨텍스트를 요약하기 때문이다(Van Tartwijk and Driessen 2009). 맥락은 평가자가 증거를 해석하고 판단하기 위해 증거를 사용할지 여부와 방법을 결정하는 데 도움이 된다.

Furthermore, since assessors have different approaches to the selection and use of portfolio evidence, it is important that portfolios be designed in such a way that they facilitate the selection of and navigation through the portfolio evidence. Captions are important as well, for they summarize the context in which the competency feedback was provided to the student (Van Tartwijk and Driessen 2009), helping assessors interpret the evidence and decide if and how they want to use it for their judgment.

결론 Conclusion

평가자는 포트폴리오 증거만으로 판단을 내릴 수 있었다. 비록 그들은 같은 전반적인 판단에 도달했지만, 그들은 증거를 처리하는 방식과 그들의 판단 이면에 있는 추론에 있어서 차이를 보였다. 평가자의 다른 평가 신념, 수행 이론 및 일치된 행동을 하는 추론에서 차이가 발생한다. 이러한 결과는 포트폴리오가 그들의 판단을 철저히 입증해야 하는 복수의 평가자에 의해 판단되어야 한다는 개념을 뒷받침한다. 또한 평가자는 자신의 의사 결정 과정과 그룹 결정에 영향을 미치는 요인에 대한 통찰력을 제공하는 교육을 받아야 한다.

Assessors were able to form a judgment based on the portfolio evidence alone. Although they reached the same overall judgments, they differed in the way they processed the evidence and in the reasoning behind their judgments. Differences sprung from assessors’ divergent assessment beliefs, performance theories, and inferences acting in concert. These findings support the notion that portfolios should be judged by multiple assessors who should, moreover, thoroughly substantiate their judgments. Also, assessors should receive training that provides insight into factors influencing their own decision making process and group decisions.

임상술기 교육의 팁(BMC Med Educ, 2020)

Tips for teaching procedural skills

Annette Burgess1,2*, Christie van Diggele2,3, Chris Roberts1,2 and Craig Mellis4

배경 Background

건강 전문가들은 광범위한 임상 기술을 능숙하게 수행할 수 있는 능력을 가지고 있어야 한다. 여기에는 일반적으로 병력청취, 신체검사, 절차능력 등이 포함된다. 일부 절차적 기술은 특정 분야에 한정되어 있지만, 안전한 환자 진료를 보장하려면 기술 수행의 역량이 필요하다. 올바른 손 씻기 기술, 위관 삽입, 식인, 소생, 목발의 올바른 사용, 병상 난독증 평가, 침대 대 의자 이동, 걸음걸이 분석 등이 그 예다. 

Health professionals must have the ability to perform a wide range of clinical skills competently. These generally include history taking, physical examination, and procedural skills. While some procedural skills are specific to particular disciplines, competency in the performance of skills is required to ensure the delivery of safe patient care. Examples include correct hand washing technique, gastric tube insertion, cannulation, resuscitation, correct use of crutches, bedside dysphagia assessment, bed-to-chair transfer, and gait analysis. 

연습 기간을 넘어 학습되고 유지되는 기술은 다양한 임상 환경에서 회수되고 능숙하게 수행될 수 있다[1]. 보건 전문가들은 정기적으로 이러한 임상 기술을 동료, 주니어 직원 및 학생들에게 가르쳐야 한다. 그러나, 스킬 교육의 효과성은 불확실하며, 주니어 보건 전문가들이 실제 기술을 가르치는 능력에 지나치게 자신하고 있다는 것을 암시하는 증거가 있다[2]. 이 논문은 비복잡한 절차적 스킬에 초점을 맞추어 스킬을 배우는 방법, 스킬 성과 향상 방법, 역량 결정, 효과적인 피드백 제공 등을 탐구하는 것을 목적으로 한다.

A skill that is learned and retained beyond the period of practice, can be recalled and competently performed in a variety of clinical settings [1]. Health professionals are regularly required to teach these clinical skills to their peers, junior staff, and students. However, the effectiveness of skills teaching is uncertain, and there is evidence suggesting junior health professionals are overconfident in their ability to teach practical skills [2]. With a focus on non-complex procedural skills, this paper aims to explore how skills are learned; ways to improve skills performance; determining competency; and the provision of effective feedback.

기술은 어떻게 배우는가?

How are skills learned?

20세기 후반에, 많은 모터 학습 이론가들은 심리학 기술을 가르치는 데 필요한 단계를 상정했다[3,4,5,6]. 이 연구를 바탕으로, 연구자들은 그 이후 교육 및 학습 절차적 기술을 위한 모터 학습 모델을 제안하였다[7, 8]. 문헌을 가르치는 대부분의 기술에 공통적으로, 기술은 간단하든 복잡하든 간에 순서가 정립되고 단계적인 교수 접근법을 따르는 것으로 가장 잘 학습된다는 것이다. 

In the last half of the twentieth century, many motor learning theorists posited the required steps to teach a psychomotor skill [3,4,5,6]. Building on this work, researchers have since proposed motor learning models for teaching and learning procedural skills [7, 8]. Common to most skills teaching literature is that skills are best learned by following a sequenced and stepped approach to teaching – whether a simple or complex task. 

그러나 의료에 필요한 대다수의 기술은 복잡하여 7개 이상의 기술 요소[9]가 필요하며, 가르치고, 배우고, 유지하기 어렵다. 조지 및 도토의 5단계 모델을 사용하여 간단한 치과 기술을 가르칠 때, 초보자는 한 번의 시도 끝에 이 과제를 수행할 수 있었다고 보고되었다[10]. 마찬가지로 페이튼의 [7] 4단계 모델을 사용하여 봉합을 배울 때 의대생들의 간단한 기술 습득이 강화되었다고 보고되었다 [11]. 그러나 복잡한 과제를 가르칠 때 4단계와 5단계 모델은 스킬 획득과 유지를 지원하는 제한된 효용성을 가질 수 있다. 

However, the majority of skills required in healthcare are complex, requiring more than seven skill elements [9], and are difficult to teach, learn and retain. It has been reported that when using George and Doto’s (2001) five-step model to teach a simple dental skill, novices were able to perform the task after one attempt [10]. Similarly it has been reported that use of Peyton's [7] four-step model enhanced medical students' aquisition of simple skills when learning suturing [11]. When teaching complex tasks, however, the four- and five- step models may have limited utility to assist skill acquisition and retention. 

예를 들어, 일부 연구는 시뮬레이션 수동 제세동[12], 후두 마스크 기도 삽입[13], 시뮬레이션 위관 삽입[14]과 같은 복잡한 기술을 가르치는 2단계, 4단계 또는 5단계 접근방식을 사용할 때 학습 성과에 차이가 없다고 보고했다. 니콜스 외 연구진(2016년)은 현대 모터 학습에 대한 리뷰에서 다부분의 사이코모터 기술을 가르치기 위한 통합적 교육 모델을 제안하여 임상 실습에 필요한 복잡한 기술을 가르치기 위한 보다 효과적인 접근법을 제공한다. 저자들은 복잡한 psychomotor 기술을 가르치는 데 필요한 교육 단계를 제공했다[9].

For example, some studies have reported no difference in learning outcomes when using a two step, four step or five step approach to teaching complex skills, such as simulated manual defibrillation [12], laryngeal mask airway insertion [13], and simulated gastric tub insertion [14]. Nicholls et al. (2016), in their review of contemporary motor learning, suggest an integrated instructional model to teach multi-part psychomotor skills provides a more effective approach to teaching complex skills required for clinical practice. The authors have provided the educational steps required to teach complex psychomotor skills [9].

교수 기술에 사용되는 방법은 강의 내용에 사용되는 방법과 다르다. 프레임워크, 관찰 및 피드백을 활용한 절차적 기술 가르침과 반복적인 연습 기회 제공 [7, 8, 15, 16] 환자 이력을 챙기기, 신체검사 수행, 데이터 합성 및 제시와 같은 임상 기술은 다중 인지 및 심리운동 기술이 필요하다. 이와 같이 임상기술은 보여주는 것이 말로 설명하는 것보다 쉽다. 한 번 기술이 정기적으로 수행되면 전문가로서 무의식적으로 수행되는 것이 어려움 중 하나이다. 결과적으로, 다른 사람들에게 그 과정을 명확하게 전달하기 위한 구조적 단계로 분해하기가 쉽지 않다[2]. 

The method used for teaching skills differs from that for teaching content. Teaching of procedural skills utilising frameworks, observation and feedback, with opportunities for repeated practice assists in the learner's acquisition and retention of skills [7, 8, 15, 16]. Clinical skills, such as taking a patient history, performing a physical examination, synthesising and presenting data, require multiple cognitive and psychomotor skills. As such, clinical skills are more readily demonstrated than described. One of the difficulties is that once a skill is performed regularly – as an expert – it is performed subconsciously. As a result, it is not easy to break it down into structural steps to clearly communicate the process to others [2]. 

시뮬레이션 환자, 마네킹, 동영상, 가상 현실, 컴퓨터 사용 등 기술을 가르치는 방법은 다양하다. 강의에서 절차적 기술 실험실을 사용하면 환자에게 이러한 절차를 수행하기 전에 안전한 연습을 할 수 있는 기회를 제공한다. 이를 통해 학습자는 환자에게 시술하기 전에 연습하고, 즉각적인 피드백을 받고, 자신의 역량과 자신감을 더욱 높일 수 있다. 소생술과 같은 일부 기술은 기술 실습실에서 가르칠 수 있지만, 학생들은 일반적으로 임상 환경에서 안전한 절차를 수행하는 연습을 해야 할 것이다. 일반적으로 스킬은:

There are many ways to teach a skill, including the use of simulated patients, manikins, videos, virtual reality and computers. The use of procedural skills labs in teaching provides opportunities for safe practice before performing these procedures on patients. This gives learners the opportunity for practice, to receive immediate feedback, and to further refine their competence and confidence - before undertaking the procedure on a patient. Although some skills, such as resuscitation, can be taught in skills labs, students will generally need to practise carrying out safe procedures in the clinical setting. Generally, a skill:

• 타고나는 것이 아니라 배운 것이다.

• 명확한 단계로 나눌 수 있다.

• 개선을 위해 연습이 필요하다.

• 측정할 수 있는, 특정한 목표나 결과를 가지고 있다.

• is learned, and not innate

• is able to be broken into explicit steps

• requires practice in order to improve

• has a specific goal or outcome, that is measurable

기술을 배우는 것은 단순히 기술을 손으로 수행하는 것 이상의 것을 포함한다. 절차에 대한 지식(예: 왜 그것이 수행되고 있는지, 어떻게 그리고 무엇이 잠재적 위험인지)과 의사소통 기술을 포함한 다른 고려사항들이 있다. 스킬에 competent하다는 것은 세 가지 주요 요소인 지식, 의사소통 및 성능[2, 17]을 포함한다. 그림 1과 같이.

Learning a skill involves more than just performing the skill manually. There are other considerations, including knowledge of the procedure (such as why it is being done, how, and what are potential risks) and communication skills. Becoming competent in a skill involves three main components: knowledge, communication and performance [2, 17], as displayed in Fig. 1.

그림 1. 스킬 역량의 세 가지 주요 구성요소 [2, 17]

Fig. 1 The three main components of skill competency [2, 17]

임상 기술을 가르치기 위한 팁

Tips for teaching clinical skills

기술을 가르칠 때는 손씻기와 같은 가장 기본적인 단계라도 포함시켜야 한다. 어떤 가정도 해서는 안 되며, 모든 세부사항을 보여줄 필요가 있다. 임상 기술을 가르치기 위한 몇 가지 팁은 [7] 아래에 열거되어 있다.

When teaching a skill, even the most basic of steps should be included, such as handwashing. No assumptions should be made, and every detail needs to be demonstrated. Some tips for teaching clinical skills are listed below [7]:

• 기초 사항 포함(예: 손씻기)

• 데모: 학습자가 볼 수 있도록 명확한 데모 제공

• 이론과 실천의 통합: 학습자는 임상적 추론을 촉진하는 행동의 이면에 있는 증거를 볼 수 있다.

• 스킬/프로세스를 단계별로 세분화: 학습자가 이미 알고 있는 내용을 파악하고 그 단계부터 진행

• 협동적 문제 해결 사용: 학습자가 함께 해결 방법을 찾을 수 있도록 허용

• 피드백 제공: 적절한 환경에서 명확하고 건설적인 피드백 제공

• Include the fundamentals: for example, handwashing

• Demonstration: provide clear demonstrations for learners to see

• Integrate theory with practice: learners can see the evidence behind the action, which promotes clinical reasoning

• Break skills/procedures down into steps: find out what the learners already know, and proceed from there

• Use collaborative problem solving: allow learners to work together towards a solution

• Provide feedback: that is clear and constructive, in an appropriate environment

구조 단계로서의 기술

Skills as structural steps

필요한 것을 정확히 보여주고 전달하기 위해 다른 사람들을 가르칠 때 기술은 작고 별개의 단계로 세분되어야 한다. 많은 모델이 있지만 유용하고 잘 연구된 방법은 표 1에 표시된 페이튼의 4단계 접근법[7]으로 임상 환경에서 교육에 성공적으로 적용할 수 있다. Krautter 외 연구진(2011년)의 통제된 실험 결과, 페이튼의 4단계 접근방식을 사용하여 기술 기술을 가르치는 것이 표준 교육보다 우수하며, 전문성, 의사소통 및 기술의 더 빠른 수행이라는 분야에서 혜택을 받는 것으로 나타났다[14].

Skills need to be broken down into small, discrete steps when teaching others in order to demonstrate and communicate exactly what is required. Although there are many models, a useful, well researched method is Peyton’s four step approach [7], displayed in Table 1, which can successfully be applied to teaching in the clinical setting. A controlled trial by Krautter et al. (2011) found that using Peyton’s four step approach to teach a technical skill was superior to standard instruction, with benefits in the areas of professionalism, communication and faster performance of the skill [14].

표 1 스킬 티칭에 대한 페이튼의 4단계 접근법[7]

Table 1 Peyton’s four step approach to skills teaching [7]

즉각적인 피드백 제공

Provision of immediate feedback

절차적 기술의 습득은 작업의 수행과 피드백에 의존한다[2]. 반복은 물론, 페이튼의 4단계 접근법은 학습자가 스스로 스킬 수행을 시도하기 전에 처음부터 끝까지 실시간으로 스킬이 수행되고 강사에 의해 반복되는 모습을 볼 수 있도록 한다. 이를 통해 학습의 강화와 오류를 수정하고 피드백을 제공할 수 있는 기회를 확보할 수 있다. 즉각적인 피드백과 오류 수정은 기술이 잘못 수행되고 연습되고 장기 기억장치에 저장되고 회수되고 잘못 수행되는 위험을 방지한다 [1, 18]. 학습자의 성과에 대한 건설적인 피드백을 제공하는 것은 스킬 획득의 필수적인 부분이다. Salmoni와 동료(1984)는 과도한 구두 정보 없이 학습자가 스킬의 각 요소에 집중하면서 연습할 수 있도록 스킬이 끝날 때까지 피드백을 보류해야 한다고 제안한다[19]. 학습자가 개선이 필요한 영역을 올바르게 연습할 수 있도록 즉시 피드백을 제공해야 한다. 또한 학습자에게는 스킬 세션이 끝날 때 질문을 할 수 있는 기회가 제공되어야 한다. 그림 2에 표시된 펜들턴의 피드백 모델[20]과 같은 참가자 주도 방법은 학습자가 자신의 수행능력을 먼저 반영하도록 하는 데 유용하다.

The acquisition of procedural skills is reliant on task practice and feedback [2]. As well as repetition, Peyton’s four-step approach allows learners to see the skill being performed in real time, from beginning to end, and repeated by the instructor, before attempting performance of the skill themselves. This allows for the reinforcement of learning and opportunities to correct any errors and provide feedback. Immediate feedback and error correction avoids the risk of the skill being performed and practiced incorrectly, stored in long term memory, recalled and performed incorrectly [1, 18]. Provision of constructive feedback on the learners’ performance is an essential part of skills acquisition. Salmoni and colleagues (1984) suggest that feedback should be withheld until the conclusion of the skill to allow the learner to practice while focussing on each element of the skill, without excessive verbal information [19]. Feedback should be given immediately in order for the learner to correctly practice areas requiring improvement. The learner should also be provided with opportunities to ask questions at the end of the skill session. A participant-driven method, such as Pendleton’s feedback model [20], displayed in Fig. 2, is useful to ensure the learner reflects first on their own performance.

그림 2 피드백 모델(펜들턴 외, 1984) [20]

Fig. 2 Feedback Model (adapted from Pendleton et al, 1984) [20]

스킬 티칭에서 학습자를 교육할 때, Peyton의 4단계 접근법[7]에 이어 동료 및 교사 피드백을 모델링할 수 있다. 예를 들어, 3-5명의 학습자로 구성된 소규모 그룹에서 각 학습자는 페이튼의 4단계 접근법을 사용하여 다른 학습자에게 기술을 가르친다. 각 학습자는 또한 펜들턴의 피드백 모델을 사용하여 자신의 교육에 대한 피드백을 동료에게 제공하는 책임을 진다. 동료교육활동(기술 지도 및 피드백 제공)은 채점 가이드를 사용하여 촉진자에 의해 형성적으로 평가될 수 있다. 단, 기술을 가르치는 데 사용될 수 있는 다른 모델이 있을 뿐만 아니라, 기술 교육에 적용할 수 있는 피드백 모델도 많이 있다는 점에 유의해야 한다. 여기에는 침상 교습에 유용하게 적용할 수 있는 실버맨의 SET-GO, ALOBA [21] 방법과 같은 모델이 포함된다. 편안하고 익숙한 사용법을 찾는 것이 중요하다.

When training learners in skills teaching, Peyton’s four-step approach method [7], followed by provision of peer and teacher feedback can be modelled. For example, in small groups of three to five learners, each learner teaches a skill to another learner, using Peyton’s four-step approach. Each learner also takes responsibility for providing feedback to a peer on their teaching, using Pendleton’s feedback model. The activity (teaching a skill and providing feedback) may be formatively assessed by the facilitator using marking guides. However, it should be noted that as well as there being different models that may be used to teach a skill, there are also many models of feedback that can be applied to skills teaching. These include models such as Silverman’s SET-GO and ALOBA [21] methods, which can be usefully applied to bedside teaching. It is important to find suitable methods that you are comfortable and familiar with using.

역량개발

Development of competency

학습자는 기술에서 유능해지기 전에 일련의 단계를 거친다(그림 3) [22]. 기술 습득에는 4단계가 있다: 

1) 무의식적으로 무능하고, 

2) 의식적으로 무능하고, 

3) 의식적으로 유능하고, 

4) 무의식적으로 유능하다. 

Learners move through a series of stages before becoming competent at a skill (see Fig. 3) [22]. There are four levels in skill acquisition: 

1) Unconsciously incompetent, 

2) Consciously incompetent, 

3) Consciously competent, 

4) Unconsciously competent. 

이러한 단계를 감상하려면 일상적인 기술 습득, 예를 들어 자동차 운전을 배운 방법에 대해 성찰하는 것이 유용하다. 초보자들은 처음에는 '의심 없이 무능하다'(충분히 운전을 하는 데 필요한 지식과 기술을 알지 못함)로 시작하여 역량의 단계를 거치게 된다(충분히 자동차를 운전하는 지식과 기술을 가질 때까지). 그러나, 또다시 '의심할 수 없을 정도로 무능력한' 상태가 될 수 있는 장기적 잠재력이 있다(예를 들어, 운전 능력을 과대평가하거나 새로운 권고사항이나 도로규칙에 대해 최신 상태를 유지하지 않는 것).

To appreciate these stages it is useful to reflect on acquisition of an everyday skill, for example, on how you learnt to drive a car. Novices will start initially as being ‘unconsciously incompetent’ (not aware of the knowledge and skills needed to competently drive), moving through the stages of competence (until they have the knowledge and skills to competently drive a car). However, there is the long-term potential of again becoming ‘unconsciously incompetent’ (for example, over-estimating their driving ability, and/or not staying up to date on new recommendations or road rules).

그림 3 역량 개발 (페이튼, 1998년 채택) [22]

Fig. 3 Development of Competency (adapted from Peyton, 1998) [22]

역량 결정

Determining competency

어떤 사람이 역량있는지 아는 것은 평가하기 어려울 수 있다. 일반적으로 학습자는 절차나 기술을 혼자서 수행하거나 감독 없이 수행할 수 있으면 역량이 있다고 간주된다. 역량은 때때로 학습자가 절차를 수행한 횟수(예: 기관지경)를 단순히 기록하거나 공식적인 관찰 평가를 완료한 후에 결정된다. 각 스킬은 역량 결정에 다른 접근방식을 요구할 수 있다[23]. 누군가가 역량을 갖추었는지 확인하는 중요한 측면은...

Knowing when someone is competent can be difficult to assess. Learners are generally deemed competent once they can perform the procedure or skill alone, or without supervision. Competence is sometimes determined simply by noting the number of times the learner has performed the procedure (for example, bronchoscopy), or after completing a formal, observed assessment. Each skill may require a different approach to determining competence [23]. The important aspects of ensuring someone is competent are [23]:

• 결과를 설정하고 알아본다.

• 기대치를 설정하고 알아본다.

• 스킬 수행에 대한 여러 관찰을 한다.

• 일반적인 오류를 찾는다.

• Setting and knowing the outcomes

• Setting and knowing expectations

• Multiple observations of skill performance

• Looking for common errors

밀러의 피라미드 [24]는 기술을 수행하는 학습자의 능력을 결정하는 유용한 계층구조를 제공한다(그림 4 참조). 피라미드의 하단은 지식(실제적으로 그리고 객관식 질문(MCQ)에 의해 평가됨)에 기초하여, '어떻게 하는지 알기'(임상적으로 그리고 객관적인 구조 임상 검사(OSCE) 또는 임상 긴 사례로 평가됨)로 이동하여, "직무에서" 수행함으로써 기술을 수행하는 방법을 입증한다. 임상의가 수행하는 대부분의 평가는 피라미드의 상위 단계에 기초하며 작업장에서 수행된다.

Miller’s pyramid [24] provides a useful hierarchy to determine a learner’s competency in performing a skill (see Fig. 4). The bottom of the pyramid is based on knowledge (taught didactically and assessed by multiple choice questions (MCQs)), moving to ‘knows how’ (taught clinically and assessed with Objective Structured Clinical Examinations (OSCEs) or clinical long cases), to demonstrating how to carry out the skill by “on the job” performance. Most assessments that clinicians undertake are based on the upper levels of the pyramid and are carried out in the workplace.

그림 4 임상 평가를 위한 프레임워크 (Miller, 1990년 채택) [24]

Fig. 4 Framework for clinical assessment (adapted from Miller, 1990) [24]

스킬 유지 및 성능 향상

Maintaining a skill and improving performance

기술은 의도적 연습을 통해 습득된다[15]. Nicholls와 동료 (2016)는 스킬 연습이 여러 가지, 간격, 짧은 기간 및 가변적인 작업에 의존하고 있으며, 학습자가 스킬 습득과 장기 보유를 촉진할 수 있는 연습 기회가 있다고 제안한다[9]. 자연적인 기술 쇠퇴를 피하기 위해서는 일단 습득한 기술을 유지하는 것이 중요하다. 이것은 규칙적인 연습을 통해서만 달성할 수 있다. 에릭슨 & 차르네스(2004)에 따르면, 높은 수준의 기술을 획득한 사람들은 지속적으로 자신의 성과를 성찰하기 때문에 그렇게 한다[15]. 잘하지 못하는 분야에 집중해서 그 역량을 실천하는 경향이 있다. 이것은 의도적 연습으로 알려져 있으며 엘리트 스포츠맨과 음악가뿐만 아니라 임상 기술 훈련에도 큰 관련이 있다. 의도적 연습의 핵심 요소는 다음과 같다.

Skills are acquired through diligent practice [15]. Nicholls and colleagues (2016) suggest skill practice is reliant upon multiple, spaced, short duration, and variable tasks, with practice opportunities to promote skill acquisition and long-term retention by the learner [9]. In order to avoid natural skill decay, it is important for health professionals to maintain their skills once acquired. This can only be achieved through regular practice. According to Ericsson & Charness (2004), those that attain high skill levels do so because they continually reflect on their own performance [15]. They tend to focus on the areas in which they are not doing well and practice that competence. This is what is known as deliberate practice and is highly relevant for clinical skills training, as well as elite sportspersons and musicians. The key elements to deliberate practice are:

• 잘 정의된 태스크

• 연습 및 개선 기회

• 반복하고 반영할 수 있는 기회

• 관찰자의 정기적인 피드백

• Well defined tasks

• Opportunities to practice and improve

• Opportunities to repeat and reflect

• Regular feedback from an observer

절차적 기술을 가르칠 때 시뮬레이션의 사용

The use of simulation in teaching procedural skills

시뮬레이션 기반 의료 교육의 사용은 더 나은 환자 치료 및 향상된 환자 안전과 연관되어 있다는 점에 유의해야 한다[25]. 직무 수행 빈도와 반복은 시뮬레이션된 임상 환경에서 실제 임상 환경으로의 기술 보유, 회수 및 전달성에 영향을 미친다 [1, 18]. 시뮬레이션은 환자 위해의 위험 없이 절차를 연습할 수 있는 기회를 제공하며, 훈련과 평가 도구로서 널리 사용된다. 역량 기반 교육을 이용한 목표 지향적 학습은 성인 학습의 특징이다. 역량 기반 교육은 기술을 전수받은 모든 사람이 그 기술을 수행할 수 있다고 가정하기보다는 훈련의 기준을 강화한다. 

It is important to note that the use of simulation-based healthcare education has been associated with better patient care and improved patient safety [25]. The frequency and repetition with which a task is practiced impacts skill retention, recall, and transferability from the simulated to real clinical environment [1, 18]. Simulation offers the opportunity to practice procedures without any risk of patient harm, and is widely used as both a training and assessment tool. Goal-orientated learning using competency-based instruction, is a characteristic of adult learning. It reinforces a standard of training, rather than assuming that everyone who has been taught the skill can perform the skill. 

최근의 체계적 검토에서는 절차적 능력의 효과적인 가르침에서 시뮬레이션과 역량 기반 교수 패러다임의 사용에 대한 강력한 증거를 보여주었다[26]. 체계적 검토 결과, 절차적 능력 훈련을 성인 학습자의 요구에 맞추어 조정하는 데 가장 효과적인 접근방식은 [[반복적인 연습, 숙달 학습, 의도적 연습, 그리고 영상과 같은 시각적 보조 기구로 보완]하는 고품질 시뮬레이션]이라는 것이 밝혀졌다[26]. 소여 외 연구진(2016)은 준비, 스킬 습득 및 스킬 유지보수를 결합한 스킬을 가르치는 6단계 접근법을 개발했다. "학습, 보기, 연습, 증명, 도, 유지" [25]. 이 6단계 접근법은 성인 학습 이론을 사용하여 절차적 능력의 개발, 평가 및 유지보수의 필요성을 강화한다.

A recent systematic review showed strong evidence for the use of simulation and competency-based teaching paradigms in the effective teaching of procedural skills [26]. The systematic review found that the most effective approach in aligning procedural skills training with the needs of the adult learners is high-quality simulation that includes repetitive practice, mastery of learning, and deliberate practice, supplemented by visual aids, such as videos [26]. Sawyer et al. (2016) developed a six- step approach to teaching a skill that combines preparation, skill acquisition, and maintenance of the skill: “Learn, See, Practice, Prove, Do, Maintain” [25]. This six-step approach uses adult learning theory to reinforce the need for the development, assessment and maintenance of procedural skills:

1. 학습: 지식 습득

2. 보기: 프로시져 관찰

3. 연습: 시뮬레이션을 사용하여 신중한 연습

4. 입증: 역량 평가

5. 하기: 환자에게 시술은 학습자가 독립적으로 시술하도록 위임될 때까지 직접 감독하여 수행한다.

6. 유지: 지속적인 임상 실습, 시뮬레이션 기반 교육으로 보완.

1. Learn: knowledge acquisition

2. See: observation of the procedure

3. Practice: deliberate practice using simulation

4. Prove: competency is assessed

5. Do: the procedure is performed on a patient, with direct supervision until the learner is entrusted to perform the procedure independently

6. Maintain: continued clinical practice, supplemented by simulation-based training.

결론 

Conclusion

임상 및 절차적 기술에서의 역량 획득은 의료 훈련의 기본이다. 임상 환경에서는 다른 사람에게 기술을 가르쳐야 하는 요건이 있기 때문에 이를 가장 효과적으로 하는 방법을 배우는 것이 중요하다. 시뮬레이션은 환자 위해의 위험 없이 절차를 연습할 수 있는 기회를 제공하며, 일반적으로 훈련과 평가 도구로 사용된다. 단계적 구조 접근법을 사용하는 것이 기술 습득과 유지를 가장 잘 안내한다는 것은 오래 전부터 주장되어 왔다. 페이튼의 4단계 접근법[7]과 같은 프레임워크는 기술의 가르침을 별개의 단계로 해체할 수 있는 유용한 모델이다. 피드백의 제공은 현재와 원하는 성능의 차이를 줄이는데 필수적이다. 일단 기술이 습득되면, 기술의 성과를 유지하고 향상시키기 위해서는 신중한 연습이 중요하다.

Acquisition of competency in clinical and procedural skills is fundamental to healthcare training. In the clinical setting, there is a requirement to teach skills to others, so it is important to learn how to do this most effectively. Simulation offers the opportunity to practice procedures without any risk of patient harm, and is commonly used as both a training and assessment tool. It has long been posited that using a stepped structural approach best guides skills acquisition and retention. A framework, such as Peyton’s four-step approach [7], is a useful model to break the teaching of a skill into discrete steps. The provision of feedback is essential in reducing the gap between current and desired performance. Once skills are acquired, deliberate practice is important in maintaining and improving the performance of a skill.

테이크홈 메시지

Take home message

• 기술은 다른 사람을 가르칠 때 더 작은 단계로 세분되어야 하며, 예를 들어, 파이튼의 4단계는 유용한 접근법을 제공한다.

• 예를 들어, 펜들턴의 모델을 사용하는 건설적인 피드백의 제공은 기술 교육 과정의 필수적인 부분이다.

• 일단 스킬을 습득한 후에는 의도적 연습을 통해 스킬을 유지해야 한다.

• Skills need to be broken down into smaller steps when teaching others, and the use of frameworks, for example, Peyton’s four steps provide useful approaches.

• Provision of constructive feedback, for example, using Pendleton’s model is an integral part of the skills teaching process.

• Once skills are acquired, they must be maintained through deliberate practice.

임상 교육의 주요 팁(BMC Med Educ, 2020)

Key tips for teaching in the clinical setting

Annette Burgess1,2*, Christie van Diggele2,3, Chris Roberts1,2 and Craig Mellis4

배경 Background

비록 시뮬레이션이 건강 전문 교육에 점점 더 많이 사용되고 있지만, 오랫동안 유지되어온 실제 환자들의 참여로 가르치는 전통은 여전히 귀중한 것으로 남아 있다. 침상 및 외래 환자와 같은 임상 환경 내의 가르침은 의료 교육의 핵심에 위치하여 임상 교육에 필수적인 요소를 제공한다. 이 튜토리얼은 학생들이 임상 환경의 문화와 사회적 측면에 적응하도록 하고, 연습을 준비하면서 학생들의 직업적 가치를 형성한다[1]. 이들은 학생들에게 임상 활동에 참여할 수 있는 의미 있는 기회, 의사소통 능력, 병력청취, 신체검사 능력 등을 연습하고 개발할 수 있는 기회를 제공한다. 그러나 임상 환경에서 학생들의 학습은 주로 그들에게 제공되는 정서적, 교육적, 조직적 지원에 의존한다 [2,3,4,5,6].

Although simulation is increasingly used in health professional education, the long-held tradition of teaching with the involvement of real patients, remains invaluable. Teaching within the clinical setting, such as bedside and out-patient clinic, lies at the heart of healthcare education, providing a vital component to clinical training. These tutorials orientate students to the culture and social aspects of the clinical environment, and shape students’ professional values as they prepare for practice [1]. They offer students meaningful opportunities to participate in clinical activities, practicing and developing their communication skills, history taking and physical examination competence. However, students’ learning in the clinical environment is largely dependent upon the affective, pedagogic and organisational support afforded to them [2,3,4,5,6].

참여가 사회화 과정을 수반하는 임상 환경에서 의료 커리큘럼 내에서는, 피어 및 니어-피어 튜터링이 특히 서포트의 원천source로서 잘 수용된다[3, 6]. 임상 과외는 자신의 건강 전문직과 조직의 기대되는 문화와 직업적 가치를 증명하는 사회화 요원socializing agents으로 활동한다. 즉, 피어투피어(Peer-to-Peer) 또는 임상의와 학생 사이에 있는 임상 지도교사들이 '숨겨진 커리큘럼'의 주요 구성요소를 보여준다[7]. 본 논문의 목적은 동료 및 근거리 동료 교육에 관련된 보건 전문 학생과 초기 직업 보건 전문가에게 임상 환경에서 가르치기 위한 접근법과 핵심 팁의 개요를 제공하는 것이다. 임상 환경에서는 학생들이 개발한 역량이 많지만, 우리의 가르침은 의학 지식, 대인관계 및 의사소통 능력, 전문성 분야에 초점을 맞추고 있다.

Peer and near peer tutoring are well accepted as sources of support within healthcare curricula, particularly in the clinical setting, where participation involves a process of socialisation [3, 6]. Clinical tutors act as socialising agents, demonstrating the expected culture and professional values of their respective health professions, and their organisation. That is, clinical tutors, whether peer-to-peer, or clinician to student, demonstrate key components of the ‘hidden curriculum’ [7]. The aim of this paper is to provide health professional students and early career health professionals involved in peer and near peer teaching, with an overview of approaches and key tips for teaching in the clinical setting. Although there are many competencies developed by students in the clinical setting, our tips for teaching focus on the domains of medical knowledge, interpersonal and communication skills, and professionalism.

환자와 함께 강의하기 위한 팁

Tips for teaching with patients

입원 및 외래 환자(사무실 기반)의 가르침은 임상 환경에서 기본적인 교육방법으로 남아 있으며, 임상 실습의 많은 측면을 가르치고 모델링할 수 있다[8]. 진단 과정과 환자 치료에서 전체적인 접근방식이 제공되며, 여기에는 이력서, 신체검사 기술 및 직업적 태도가 결합된다[8]. 일반적으로, 환자들은 가르치는 과정에 포함되는 것을 즐긴다. 기본적으로 환자와 함께 가르치는 것은 세 가지 핵심 학습 영역을 가르침과 통합할 수 있게 해준다 [9].

Bedside and out-patient (office-based) teaching remains a primary teaching modality in the clinical setting, where many aspects of clinical practice can be taught and modelled [8]. A holistic approach in the diagnostic process and patient care is provided in bedside teaching, where history taking, physical examination skills and professional attitude are combined [8]. As a general rule, patients enjoy being included in the teaching process. Essentially, teaching with patients permits three key learning domains to be integrated with teaching [9]:

1. 임상(지식과 기술)

2. 전문성(팀워크, 윤리적 고려)

3. 의사 소통(직원 및 환자와의 소통)

1. Clinical (knowledge and skills).

2. Professionalism (teamwork, ethical considerations).

3. Communication (with staff and patients).

의료계열 학생들은 특히 환자가 적대적이거나, 화가 나거나, 비협조적이거나, 무관심하거나, 지나치게 말이 많거나, 만성적인 고통을 경험하는 경우, 일부 환자들과의 상호작용이 어렵다challenging고 생각한다[10]. 환자와 함께 강의할 때 고려해야 할 중요한 사항은 다음과 같다.

Healthcare students find interactions with some patients to be challenging, particularly if the patient is hostile, angry, uncooperative, disinterested, overly talkative, or experiencing chronic pain [10]. When teaching with a patient there a number of important considerations:

• 상호작용이 "핵심적 교육 순간"으로 통합되고, 교사들이 학생들의 의사소통 능력 향상을 도울 수 있는 기회[11]

• 교육에 대한 환자의 참여와 환자 중심성 보장 [12]

• 환자가 있든 없든 환자의 안락과 권리를 존중한다 [13, 14]

• 항상 환자의 동의를 얻으십시오.

• 명확한 커뮤니케이션을 통해 환자가 자신의 역할을 수행할 준비가 되어 있는지 확인하십시오.

• 환자가 질문을 하고 피드백을 할 수 있도록 허용

• 환자가 이해할 수 있는 적절한 언어 사용

• 교육 세션에 대한 구체적 목적/목적을 가지고 있음

• 학생의 과제와 시간을 파악하여 학생이 환자와 함께 보내는 시간 제한

• 환자로부터 멀리 떨어진 학생에게 피드백(특히 부정적인 피드백) 제공

• 그룹 앞에서 일부 환자 상태에 대해 논의하는 것은 적절하지 않을 수 있다는 점을 유념하십시오.

• Incorporate interactions as “key teaching moments”, with opportunities for tutors to help students develop competence in communication skills [11]

• Ensure patient involvement in education, and patient centredness [12]

• Respect the comfort and rights of patients, whether in the presence of the patient, or otherwise [13, 14]

• Always obtain the patient’s consent

• Ensure the patient is prepared for their role through clear communication

• Allow the patient to ask questions and give feedback

• Use appropriate language that the patient can understand

• Have a specific purpose/objective for the teaching session

• Limit the time the student spends with the patient by identifying the tasks and timeframe for the student

• Provide feedback (particularly negative feedback) to the student away from the patient

• Be aware that it may not be appropriate to discuss some patient conditions in front of a group

임상 지도교사의 역할 중 일부는 의료 분야로의 사회화 과정을 촉진하여, 의료 분야에서 학생들의 현재와 미래의 역할과 관련된 정체성을 형성하는 것이다 [15,16,17,18,19,20]. 튜터들은 학생들의 학습을 육성하는 책임을 맡기고 학생들의 태도, 가치관, 전문적 역량 개발을 돕는다. 긍정적 역할 모델의 세 가지 핵심 특성은 다음을 포함한다.

Part of the role of clinical tutors is to facilitate the process of socialisation into the healthcare profession, creating a sense of identity relating to the students’ current and future roles in healthcare [15,16,17,18,19,20]. Tutors are entrusted with responsibilities to foster students’ learning, helping to develop students’ attitudes, values and professional competencies. Three core characteristics of a positive role model include [15,16,17,18,19,20]:

1. 임상 속성

2. 개인적 자질

3. 교수기술

1. Clinical attributes

2. Personal qualities

3. Teaching skills

환자에 대한 공감, 존중 및 연민을 포괄하는 인문학적 행동의 표시는 학생들에게 가장 중요하다. 임상 과외 교사의 바람직하지 않은 행동에는 튜터 중심의 환자 상호작용, 학생의 굴욕, 동료에 대한 부정적 발언이 포함된다[18, 24]. 표 1은 의료 전문 교육에서 확인된 롤모델로서의 임상 교사의 긍정적 및 부정적 속성을 요약한다[18, 27]. 

Displays of humanistic behaviours, encompassing empathy, respect and compassion for patients are of the utmost importance to students [16,17,18, 21,22,23,24,25,26]. Undesirable behaviours by clinical tutors include tutor-centred patient interactions; the humiliation of students; and negative remarks about colleagues [18, 24]. Table 1 summarises positive and negative attributes of clinical teachers as role models, identified within health professional education [18, 27]. 

표 1 역할 모델로서의 임상 교사의 긍정적 및 부정적 속성

Table 1 Positive and negative attributes of clinical teachers as role models

교육 계획을 위한 팁

Tips for planning teaching

교육 세션이 잘 계획되어 있고 모든 평가가 학습 성과 및 내용과 일치하는지 확인하십시오 [28]. 중요한 고려사항은 다음과 같다.

Ensure that your teaching session is well planned and any assessments are aligned with the learning outcomes and content [28]. Important considerations include:

• OAS(Outcomes, Activity, Summary)와 같은 프레임워크의 사용(표 2)

• 당신의 강의 세션은 이전(예: 강의)과 미래의 학습 활동(예: 형태 형성 평가)과 어떻게 연결될 것인가?

• '지식'이 '실력'과 '성격'보다 더 쉽게 전달되고 평가되는 가운데, 어떻게 지식, 기술, 태도의 가르침을 세션에 통합할 것인가[29]

• 교사, 학습자, 환자의 역할은 무엇이며, 각 개인은 세션에 어떻게 기여할 것인가?

• 별도 고려가 필요한 교육환경의 측면이 있는가? 여기에는 학생이 침대 옆이나 외래환자실에 어떻게 배치되는지, 환자 기밀 유지, 브리핑 및 보고가 이루어지는 장소(자습서실 예약이 필요할 수 있음)가 포함될 수 있다.

• Use of a framework, such as ‘Outcomes, Activity, Summary’ (OAS) (Table 2).

• How will your teaching session link to previous (for example, lectures) and future learning activities (for example, formative assessments)?

• How will you incorporate the teaching of knowledge, skills and attitudes (Fig. 1) into your session, with ‘knowledge’ being more easily imparted and assessed than ‘skills’ and ‘attitudes’ [29]

• What will be the role of the teacher, the learner, and the patient, and how will each individual contribute to the session?

• Are there aspects of the teaching environment that require consideration? These might include how the students will be placed around the bedside, or in the outpatient room; patient confidentiality; and where briefing and debriefing will take place (booking of a tutorial room may be required).

표 2 강의 계획 및 강의에 대한 'OAS' 방법

Table 2 The ‘OAS’ method for lesson planning and teaching

그림 1. 쉽고 어려운 교육, 학습 및 지식, 기술 및 태도 평가

교육 전략에 대한 팁

Tips for teaching strategies

외래환자/사무실 환경에서 사례발표를 위해 학습자 중심의 교육모델을 위한 니모닉으로 개발된 SNAPPS(그림 2)와 같은 적절한 교육전략을 적용한다[30]. SNAPPS 형식의 이점은 다음과 같다.

Apply an appropriate teaching strategy, such as SNAPPS (Fig. 2), developed as a mnemonic for a learner-centred teaching model for case presentations in the outpatient/office setting [30]. The benefits of the SNAPPS format include:

• 학생이 체계적이고 간략히 발표하도록 장려하다.

• 학습자가 자신의 지식 격차를 탐색하고 표현하도록 한다(즉, 학생이 자신의 불확실성에 대해 튜터를 "평가"함).

• 전통적인 튜터 상호작용에 비해 학습자들은 더 적극적으로 참여하고 더 많은 질문을 한다.

• 개인 교사들이 각 학습자의 특정한 개별적 니즈를 다룰 수 있도록 한다[30].

• encourages a structured and brief presentation by the student

• engages the learner to explore, and express their own knowledge gaps (that is, the student “probes” the tutor about their uncertainties)

• compared to more traditional tutor interactions, learners are more actively involved, and ask more questions

• enables tutors to address each learners’ specific, individual needs [30].

Fig. 2 The SNAPPS model [30]

임상적 추리

Clinical reasoning

학습자의 임상적 추론[31, 32] - 환자의 제시 문제에 대한 진단과 관리의 기초가 되는 인지 프로세스를 촉진하기 위해 최선을 다하십시오. 이 프로세스에는 다음이 포함된다.

Do your best to promote the learners’ clinical reasoning [31, 32] - the cognitive process underlying diagnosis and management of a patient’s presenting problem. The process involves:

• 데이터 수집

• 진단 추론

• 치료 추론

• 개입 계획 및 권고

• The collection of data

• Diagnostic reasoning

• Therapeutic reasoning

• Planning intervention and recommendations

환자 치료에 지식을 통합하고 적용하는 과정은 학생들이 습득하기 복잡하고 어려운 기술이다 [32,33,34]. 특히 환자 상호작용 중에는 학생들이 환자 정보를 탐색하기 어렵다. 임상추론을 촉진하는 세 가지 주요 방법이 있다[24, 31, 35](그림 3):

The process of integrating and applying knowledge to patient care is a complex, difficult skill for students to acquire [32,33,34]. In particular, it is difficult for students to navigate patient information during patient interactions. There are three main ways to promote clinical reasoning [24, 31, 35] (Fig. 3):

1. 학습자 설명: 학습자는 그들의 사고 과정을 설명하여, 과외자가 학습자의 추리 능력을 관찰할 수 있게 하고, 그들이 결론을 내리기 위해 취하는 과정을 말한다.

2. 역할 모델링: 튜터 역할은 그들의 추리를 설명하면서 그들 자신의 사고 과정을 모델링한다.

3. 학습자에게 질문하기: 튜터교사는 질문을 사용하여 "만약에?"라는 질문을 던진다.

1. Learner explanation: The learner explains their thinking process, allowing the tutor to observe the learner’s reasoning ability, and the process they take to form a conclusion.

2. Role modelling: The tutor role models their own thinking process, explaining their reasoning (‘thinking aloud’).

3. Questioning the learner: The tutor uses questioning to promote reasoning, “what if?” questions are asked.

그림 3 임상적 추론을 촉진하기 위한 세 가지 팁

Fig. 3 Three tips for promoting clinical reasoning

페이튼의 모델 [36]에서 채택된 임상 추론을 가르치는 제안된 프레임워크는 표 3에 나와 있다. 또한 임상 추론을 가르치는 것은 개인교사들이 자신의 임상 추론기술을 되돌아볼 수 있는 좋은 기회를 제공한다. 반성의 이점은 가정 회피, 불필요한 조사의 감소 및 진단 시간 단축을 포함할 수 있다[34].

A suggested framework for teaching clinical reasoning [34], which was adapted from Peyton’s model [36], is shown in Table 3. Teaching clinical reasoning also provides an excellent opportunity for tutors to reflect on their own clinical reasoning skills. The benefits of reflection may include the avoidance of assumptions, reduction of unnecessary investigations, and improvement in time to diagnosis [34].

표 3 임상 추론 프레임워크 (Linn 등, 2012에서 채택) [34]

Table 3 Clinical reasoning framework (adapted from Linn et al., 2012) [34]

평가 전략 팁 Tips for assessment strategies

평가는 배움의 주요 원동력을 제공한다. 학습한 정보와 기술을 보강하고, 학습자에게 강점과 약점 영역에 대한 정보를 제공하며, 교사에게 재교육이 필요할 수 있는 영역에 대한 정보를 제공한다[14, 37]. 평가 활동이 학생에게 가치가 있으려면, 이러한 결과에 대한 성과 지표와 개선 방법에 대한 지침이 필요하다 [37,38,39].

Assessment provides a key driving force for learning. It reinforces the information and skills learned, provides the learner with information on their areas of strength and weakness, and provides the teacher with information on areas that may need to be re-taught [14, 37]. In order for the assessment activity to be worthwhile students need clear outcomes, an indication of their performance against these outcomes and guidelines on how to improve [37,38,39].

평가의 효용성 또는 유용성은 신뢰성, 타당성, 비용 효율성, 수용성, 교육적 영향 및 타당성의 산물로 정의되었다[40,41,42,43]. 학생을 위한 적절한 평가를 선택하고 작성할 때 고려해야 할 요인은 다음과 같다

The utility or usefulness of an assessment has been defined as a product of its reliability, validity, cost-effectiveness, acceptability, educational impact and feasibility [40,41,42,43]. Factors to consider when selecting and creating an appropriate assessment for students include [14]:

1. 신뢰도: 유사한 상황에서 반복될 경우 평가에서 얻은 점수의 재현성을 의미한다[41].

1. Reliability: refers to the reproducibility of the scores obtained from an assessment if repeated under similar circumstances [41].

2. 타당도: 도구가 실제로 의도하는 바를 측정하는지를 의미한다. 타당도 증거는 특정 목적에 대한 평가 결과의 사용을 뒷받침한다[43].

2. Validity: refers to whether an instrument actually does measure what it is purposed to [41]. Evidence of the validity supports the use of the results of an assessment for a particular purpose [43].

3. 실현가능성: 사정 및 맥락으로 볼 때 평가가 실제적이고 현실적이며 합리적인지 여부를 가리킨다[43]. 이상적인 평가에 대한 제약조건은 심사관의 가용성, 자료 개발을 위한 학문의 시간, 평가를 구현하기 위한 행정 자원, 교수진 훈련 요건 및 평가 분석[42]이다.

3. Feasibility: refers to whether the assessment is practical, realistic, and sensible, given the circumstances and context [43]. Constraints on an ideal assessment include availability of examiners, the time of academics to develop the material, administrative resources to implement assessments, faculty training requirements and analysis of assessment [42].

4. 수용성: 평가, 평가 과정 및 결과가 이해관계자에 의해 신뢰할 수 있는 것으로 간주되는 정도를 말한다[43].

4. Acceptability: refers to the extent to which the assessment, the assessment process and results are considered credible by the stakeholders [43].

5. 교육적 영향: 평가가 학습자와 커리큘럼에 미치는 교육적 영향을 의미한다. 예기치 않은 영향을 포함한다[40].

5. Educational impact: refers to the educational effects of assessment on both the learner and the curriculum; including unexpected impacts [40].

6. 평가 비용: 시험 시간뿐만 아니라 시험 생산 비용 측면에서도 중요한 자원 영향을 미치는 장기 시험을 말한다. 이는 지속 가능한 방식으로 자원의 효과적인 사용에 대한 결정에 영향을 미친다 [40].

6. The cost of an assessment: refers to lengthy tests having major resource implications, both in terms of testing time as well as in terms of cost to produce these tests. This impacts decisions on the effective use of resources in a sustainable way [40].

임상 환경에서 형성적 평가 방법

Formative assessment methods in the clinical setting

형성 평가는 학습자에게 특정 시점에서 진행 상황을 알려주는 강력한 도구를 제공한다[14]. 최근 몇 년 동안 형성평가는 임상 환경에 맞게 재구성되고 공식화되었다[44]. 이러한 개선은 기존의 [느슨하게 계획된 임상 실습]에서 [사전 설정된 성과의 달성과 연계된 커리큘럼 기반 경험]으로 진화했다. 임상 환경에서 직접 관찰에 기초한 피드백을 제공하기에 적합한 잘 기술된 많은 형태 형성적 평가 방법(표 4)이 최근 몇 년 동안 개발되었다[45]. 학습자의 성과와 능력을 잘 이해하기 위해, 형성적 평가가 여러 번 이루어진다. 이를 통해 평가자는 의사소통 기술, 절차 기술, 전문성 수준, 임상 기술 및 일반적인 역량을 관찰하고 모니터링할 수 있는 여러 기회를 가질 수 있다.

Formative assessment offers a powerful tool to inform the learner of their progress at a particular point in time [14]. In recent years, formative assessments have been reshaped and formalised to suit the clinical setting [44]. These improvements have evolved from a previously loosely planned clinical immersion, to a curriculum-based experience linked to achievement of pre-determined outcomes. A number of well described formative assessment methods (Table 4), suitable for providing feedback based on direct observation in the clinical setting, have been developed in recent years [45]. In order to gain a well-rounded understanding of a learner’s performance and ability, increasingly, formative assessment takes place over multiple occasions. This allows the assessor to have multiple opportunities to observe and monitor communication skills, procedural skills, levels of professionalism, clinical skills and general competence [38, 39, 46].

표 4 형성 평가 방법의 예

Table 4 Examples of formative assessment methods

효과적인 피드백 제공에 대한 팁

Tips for provision of effective feedback

학생에 대한 피드백은 학습 과정의 중요한 부분을 형성하며, 항상 임상 튜토리얼에 포함되어야 한다. 효과적인 피드백 제공에 대한 팁은 표 5에 요약되어 있다. 피드백이 임상 성과에 미치는 영향을 탐구하는 메타 분석에서는 피드백 제공이 포함된 연구의 75% 이상에 긍정적인 영향을 미친다는 것을 발견했다[47]. 효과적이고 규칙적인 피드백은 자기 성찰을 촉진하고, 좋은 관행을 강화하며, 학습자가 요구되는 결과를 향해 연습하도록 지시할 수 있는 잠재력을 가지고 있다[37]. 

Feedback to students forms a crucial part of the learning process, and should always be included within clinical tutorials. Tips for provision of effective feedback are outlined in Table 5. A meta–analysis exploring the effect of feedback on clinical performance found that the provision of feedback had a positive impact in over 75% of the included studies [47]. Effective and regular feedback has the potential to promote self-reflection, reinforce good practice; and directs the learner to practice towards the required outcome [37]. 

피드백은 즉각적이고, 직접적인 관찰에 기초할 때 학생들의 행동에 가장 큰 영향을 미친다[37, 48]. 펜들턴의 모델[49]과 같은 기존 피드백 프레임워크는 학습자 중심이며, 학습자가 자신의 수행practice을 평가할 수 있는 기회를 제공한다. 먼저, 튜터는 학습자에게 무엇을 잘했다고 생각하는지 물어본 다음, 잘한 부분을 설명하고, 학습자에게 어떻게 개선할 수 있는지 물어본 다음, 학습자에게 어떻게 개선할 수 있는지 제안한다. 어떤 피드백 모델을 선택하든, 가정교사의 피드백은 정직하고, 서술적이고, 구체적이어야 한다.

Feedback has the greatest impact on students’ behaviour when it is based on direct observation, and is immediate [37, 48]. Existing feedback frameworks, such as Pendleton’s model [49] is learner-centred, and offers the learner the opportunity to evaluate their own practice. First, the tutor asks the learner what they think they did well, then describes areas that were done well; then the tutor asks the learner how they could improve, and then suggests to the learner how they can improve. Whatever model of feedback is chosen, feedback from the tutor should be honest, descriptive and specific.

표 5 효과적인 피드백 제공을 위한 팁

Table 5 Tips for provision of effective feedback

결론 Conclusion

임상 환경에서의 가르침, 특히 침상 옆 교육은 환자, 학생, 교사들에 의해 귀중한 가르침 방법으로 간주된다. 학습을 최적화하고 학생의 참여를 극대화하기 위해 임상 환경에서 학습 활동을 계획, 구조화 및 커리큘럼 및 평가와 연계해야 한다[50]. 학생들이 과외 교사를 관찰하고 모방하는 것을 통해 학습하기 때문에, 역할 모델링은 학생들의 학습과 행동에 영향을 미치는 중요한 역할을 한다. 임상의와 상급생에 의한 역할 모델링은 의료 학생의 전문적 역량, 가치관 및 태도 개발에 도움이 된다. 피드백은 학습 과정에서 중요한 역할을 한다. 관찰하고, 학생들에게 정확한 피드백을 제공함으로써, 실제와 원하는 수행 사이의 차이를 좁힌다.

Teaching in the clinical setting, and particularly, bedside teaching is viewed by patients, students and tutors as an invaluable teaching method. To optimise learning and maximise student engagement, learning activities in the clinical environment should be planned, structured, and aligned with the curriculum, and assessment [50]. Since students learn largely through observing and imitating their tutors, role modelling plays a critical role in influencing students’ learning and behaviour. Role modelling by clinicians, and by senior students, assists in the development of healthcare students’ professional competencies, values, and attitudes. Feedback plays a crucial role in the learning process. By observing, and providing students with accurate feedback, the gap between actual and desired performance is narrowed.

테이크홈 메시지

Take-home message

• 교육 및 학습 활동이 임상 환경에서 이루어질 때 환자의 권리가 항상 존중되는지 확인하십시오.

• 체계적인 형식으로 성공적인 교육 활동을 계획한다.

• "SNAPPS"와 같은 구조화된 교육 방법은 세션 형식을 지정하는 데 도움이 된다.

• 직접적인 관찰과 피드백 제공은 학생 학습에 필수적이다.

• Always ensure the rights of patients are respected when teaching and learning activities take place in the clinical setting.

• Successful teaching activities are well planned, with a structured format.

• Structured teaching methods, such as “SNAPPS”, help to format the session.

• Direct observation and provision of feedback is essential to student learning.

임상에서 피드백(BMC Med Educ, 2020)

Feedback in the clinical setting

Annette Burgess1,2*, Christie van Diggele2,3, Chris Roberts1,2 and Craig Mellis4

배경 Background

보건전문교육에서 피드백은 "훈련자의 수행능력을 향상시키려는 의도로 주어진, 훈련생의 관찰된 수행능력과 표준의 비교에 관한 구체적인 정보"로 설명되어 왔다[1]. 피드백은 '선생님'과 '학습자' 사이의 가장 중요한 상호작용 형태 중 하나이다. 그러나 의료 및 기타 보건 전문가 학생은 임상 배치 중에 직접 관찰하고 피드백을 제공하는 경우가 거의 없다는 것이 널리 알려져 있다[2]. 따라서 피드백 촉진에 대한 관심이 증가했다[2]. 

• 피드백 제공은 학습 과정의 필수적인 부분을 형성하며(그림 1) [2] 실제 성과와 원하는 성과 사이의 격차를 줄이는 데 도움이 된다. 

• 피드백 프로세스는 학습자에게 수행 품질에 대한 정보를 제공하고 학습 전략의 개선을 이끈다. 

• 피드백은 학습자의 효과적인 의사결정을 지원하고 학습 성과를 개선하는 데 도움이 된다. 

• 피드백은 학습자에게 자신의 수행에 대한 판단을 제공하여 교육적 진보를 돕는 강력한 도구 역할을 한다. 

그러나 건강 전문 교육자, 학생 및 동료들은 피드백 실천을 통해 하나 또는 다른 하나로부터 배우는 것이 어렵다는 것을 발견할 수 있다[3]. 피드백 연습은 종종 지속 불가능하고 학생들에게 활력을 잃게 한다[3, 4]. 피드백을 평가하고 제공하는 능력은 학습된 기술로서 적절한 수준의 훈련을 필요로 한다.

Within health professional education, feedback has been described as “Specific information about the comparison between a trainee’s observed performance and a standard, given with the intent to improve the trainee’s performance” [1]. Feedback is one of the most important forms of interactions between the ‘teacher’ and the ‘learner’. However, it has been widely reported that medical and other health professional students are rarely directly observed and given feedback during their clinical placements [2]. Accordingly, there has been increased interest in the facilitation of feedback [2]. Provision of feedback forms an integral part of the learning process (Fig. 1) [2], helping to narrow the gap between actual and desired performance. The feedback process engages the learner with information about the quality of their performance, and leads to improvements in learning strategies. Feedback supports learners’ effective decision making, and helps to improve learning outcomes. It serves as a powerful tool to provide the learner with judgements on their performance, assisting in their educational progress. However, health professional educators, students and peers can find it difficult to learn from one and other through feedback practices [3]. Feedback practices are often unsustainable, and de-motivating for students [3, 4]. The ability to assess and provide feedback is a learnt skill, requiring an appropriate level of training.

이 논문은 학습 과정 내에서 피드백의 역할, 피드백 프로세스에 대한 장벽, 피드백을 용이하게 하기 위한 실용적인 가이드라인을 간략히 탐구한다.

This paper briefly explores the role of feedback within the learning process, barriers to the feedback process, and practical guidelines for facilitating feedback.

피드백의 목적 Purpose of feedback

피드백은 학습을 지원하고 강화하는 교육 과정의 지속적인 부분으로 작용한다[5]. 그것은 별도의 교육 유닛이 아니라 지속적인 교육 및 평가 단위의 일부분이다[6]. 형성 평가의 핵심 요소로서[7], 피드백은 세 가지 방법으로 학습을 촉진한다[5].

Feedback acts as a continuing part of the instructional process that supports and enhances learning [5]. It is part of an ongoing unit of instruction and assessment, rather than a separate educational entity [6]. A core component of formative assessment [7], feedback promotes learning in three ways [5]:

• 학생에게 진행 상황을 알린다

• 개선을 위한 관찰된 학습 니즈를 학생에게 통지

• 학생이 적절한 학습 활동에 참여하도록 동기 부여

• Informs the student of their progress

• Informs the student regarding observed learning needs for improvement

• Motivates the student to engage in appropriate learning activities

피드백을 위한 지원 환경 조성

Creating a supportive environment for feedback

지속가능하고 의미 있는 피드백의 필수요건은 [피드백 제공]에서 [피드백의 촉진을 촉진하는 학습 환경의 설계]로 초점을 이동시킨다[3]. 개별적인 정보 제공과 리셉션을 촉진하기보다는 피드백을 적극적 학습의 촉진으로 보아야 한다. 교사는 학생과 동료, 학생과 교직원 간의 상호작용을 촉진할 책임이 있다. 학생들이 스스로 변화의 주체로 보고 자율규제를 강화하고 스스로 학습을 추진하는 학습 환경이 조성돼야 한다. 높은 수준의 학생참여를 육성하면 피드백을 찾고 자신의 성과를 성찰하는 능동적proactive '학습자'로서의 학생의 정체성을 발전시키는 데 도움이 된다.

Requirements for sustainable and meaningful feedback shifts the focus from the provision of feedback to the design of the learning environment that promotes facilitation of feedback [3]. Rather than facilitating individual acts of information provision and reception, feedback should be viewed as the promotion of active learning. Teachers are responsible for fostering interactions between students and their peers, and students and staff. Learning environments should be created where students see themselves as agents of their own change, fostering self-regulation and driving their own learning. Fostering high levels of student engagement helps to develop the identity of students as proactive ‘learners’, who seek feedback and reflect on their own performance.

피드백 프로세스에 대한 장벽

Barriers to the feedback process

피드백의 과정은 상호 작용과 방향을 필요로 하며 임상 교육에 필수적인 것으로 보아야 한다. 피드백이 없을 때, 학습자에게 새로운 임상 환경의 불확실성이 심화된다. 피드백 프로세스에 다음과 같은 여러 가지 장벽이 있을 수 있다.

The process of feedback requires interaction and direction, and should be viewed as essential to clinical education. In the absence of feedback, the uncertainty of a new clinical environment for a learner is intensified. There may be a number of barriers to the feedback process, including:

• 작업에 대한 직접적인 관찰 부족 피드백은 특정 과제의 직접적인 관찰에 기초하여 제공되었을 때 학생들의 행동에 가장 큰 영향을 미친다[2]. 바쁜 임상 환경에서는 직접 관찰이 부족한 경우가 많다.

• Lack of direct observation of tasks. Feedback has the greatest impact on students’ behaviour when it is provided based on direct observation of a specific task [2]. In the busy clinical setting, direct observation is often lacking.

• 정직하고 비판적인 피드백을 통해 학생들의 기분을 상하게 하지 않으려는 욕구[2]. 피드백은 학습자의 성적이 수준 이하일 때 제공하기가 더 어려울 수 있으며, 학습자에게 실망스러울 수 있다. 그러한 피드백을 제공하려면 프로세스와 기술에 대한 이해가 필요하다. 학습자의 기분을 상하게 하지 않으려는 욕구가 있을 수 있지만, 의미 있는 피드백을 피하는 "바니싱 피드백"[8]이 될 수 있다.

• The desire to avoid upsetting students with honest and critical feedback [2]. Feedback can be more difficult to provide when the learner’s performance is below par, and may be disappointing to the learner. The provision of such feedback requires an understanding of the process, and skill. Although there may be a desire to avoid upsetting a learner, this can result in “vanishing feedback” [8], where meaningful feedback is avoided.

• 외부 피드백 부족. 외부 피드백이 없으면 학생들은 그들 자신의 피드백을 생성할 수 있지만, 자기 평가는 종종 틀린다[4]. 높은 수행자는 자신의 수행 능력을 과소평가하는 경향이 있고, 낮은 수행자는 과대평가하는 경향이 있다[9].

• Lack of external feedback. Without external feedback, students may generate their own feedback - but, self-assessment is often wrong [4]. High performers tend to underestimate their own performance, and lower performers tend to overestimate [9].

학습자 피드백 수신

Learner reception of feedback

피드백을 주는 것과 비슷하게, 피드백을 받는 것은 수동적이고 단순한 행동이 아니다. 피드백 수용은 임상기술의 연습과 향상에 대한 솔직한 자기반성과 헌신을 수반한다. 학습자들은 항상 피드백을 받을 준비가 되어 있지 않으며, 더 중요한 것은 피드백을 받아들일 준비가 되어 있지 않다. 또한 피드백에 대한 상황 및 관계적 측면이 있을 수 있다[10]. 분명히, 피드백의 수용과 효과는 제공자의 인식된 신뢰도에 따라 달라질 수 있다[10]. 학습자는 제공자가 커리큘럼과 학습 목표를 잘 이해하고 있다고 인식하면 피드백을 더 잘 수용한다.

Similar to giving feedback, receiving feedback is not a passive, simple act. It entails honest self reflection and commitment to practice and improvement of clinical skills. Learners are not always prepared for receiving, and more importantly, accepting feedback. Additionally, there may be contextual and relational aspects regarding the feedback [10]. Clearly, acceptance and effectiveness of the feedback may be dependent upon the perceived credibility of the provider [10]. The learner is more accepting of the feedback if they perceive the provider to have a good understanding of the curriculum, and the learning objectives.

학생 피어 투 피어 피드백

Student peer-to-peer feedback

[또래 학생들에게 피드백을 제공하는 연습]은 학생들에 의해 지식, 기술 및 전문적 속성의 발전에 이로운 것으로 인식된다[11]. 동료에게 피드백 제공을 연습함으로써 학생들에게 높은 수준의 책임을 강화시킬 수 있으며 [11, 12] 일부 학생들은 인식적 이득을 보고한다[11,12,13]. 그러나, 놀랄 것도 없이, 또래 피드백의 정직성과 정확성에 관한 실질적인 우려가 있다[11,12,13,14,15]. 학생들이 또래 학생들에게 건설적인 피드백을 제공할 수 없는 것은 훈련 부족과 사회적 불편함 둘 다에 기인한다[16]. 분명히, 학생들은 동료들에게 부정적인 피드백을 제공하는 것, 그들의 피드백의 질, 그리고 이러한 부정적인 피드백이 동료들의 질문에 미치는 결과에 대해 매우 우려하고 있다[11, 17]. 다행히도, 학생들은 동료들에게 피드백을 제공하기 위해 구조화된 방법을 사용하는 것이 유용하다는 것을 발견한다 [10, 11].

The practice of providing feedback to peers is perceived by students as beneficial to development of knowledge, skills, and professional attributes [11]. Provision of feedback from peers can foster high levels of responsibility in students [11, 12], and some students report metacognitive gains [11,12,13]. However, unsurprisingly, there are real concerns regarding the honesty and accuracy of peer feedback [11,12,13,14,15]. The inability of students to provide constructive feedback to peers has been attributed to both inadequate training, and social discomfort [16]. Obviously, students are very concerned about providing negative feedback to their peers, the quality of their feedback, and the consequences of this negative feedback on their peers’ progession [11, 17]. Fortunately, students find that using a strucutred method for providing feedback to peers is useful [10, 11].

성과에 대한 자체 평가 및 성찰

Self-assessment and reflection on performance

피드백은 학습자의 수행능력을 향상시키는 목적이 있을 뿐만 아니라, 수행에 대한 자기 평가와 반성을 함양하는 도구로 작용한다. 증거는 자기 평가가 부정확하다는 것을 보여준다; 높은 성과를 거둔 사람들은 자신을 과소평가하는 반면, 가난한 성과자들은 과대평가한다[1, 9]. 그러나 외부 피드백을 받는 것은 학습자에게 적절한 기준에 따라 자신의 자체 평가를 벤치마킹할 수 있는 기회를 준다.

Feedback not only has the purpose of improving a learners’ performance, it also acts as a tool to cultivative self-assessment and reflection on performance. Evidence suggests that self-assessment is inaccurate; high performers underestimate themselves, while poor performers overestimate [1, 9]. Receiving external feedback, however, gives learners the opportunity to benchmark their own self assessment against appropriate criteria.

효과적인 피드백 Effective feedback

효과적인 피드백은 학습 과정의 필수적인 부분이다. 효과적이고 규칙적인 피드백은 좋은 관행을 강화하고, 자기 성찰을 촉진하며, 학습자가 원하는 결과를 위해 노력하도록 동기를 부여한다[2]. 피드백 전달 방식은 학생의 결과에 영향을 미칠 수 있다. 피드백은 학생들이 그들의 성과를 성찰하고 향상시키도록 유도할 수도 있고, 부정적이고 사기를 떨어뜨릴 수도 있다. 우리는 표 1에 설명된 펜들턴의 모델(1984)과 같은 구조화된 방법을 사용하는 것이 피드백을 제공하는 데 유용하다는 것을 발견했다 [11, 18,19,20]. 이 피드백 모델은 학습자에게 자신의 관행을 평가하고 개선 방법을 식별할 수 있는 기회를 제공한다. 또한 관찰자의 즉각적인 피드백을 허용한다.

Effective feedback is an essential part of the learning process. Effective and regular feedback reinforces good practice, promotes self-reflection, and motivates the learner to work towards their desired outcome [2]. The style of feedback delivery can influence the outcome on the student. Feedback can inspire the student to reflect and improve their performance, or it can be negative and demoralising. We have found that using a structured method, such as Pendleton’s model (1984), illustrated in Table 1, is useful for providing feedback [11, 18,19,20]. This model of feedback offers learners the opportunity to evaluate their own practice, and identify ways of improving. It also allows for immediate feedback from the observer.

표 1 피드백 모델(펜들턴 외, 1984년 데이터) [18]

Table 1 Feedback model (data from Pendleton et al., 1984) [18]

표 2는 펜들턴의 피드백 모델 사용에 대한 연습과 반성을 가능하게 하는 활동을 제공한다.

Table 2 provides an activity that allows practice and reflection on the use of Pendleton’s model of feedback.

표 2 활동: 피드백 제공 및 수신

Table 2 An activity: giving and receiving feedback

효과적인 피드백 제공 

Giving effective feedback

효과적인 피드백을 제공할 때 직접적인 관찰과 명확한 목표가 필요하며, 좋은 성과가 재초점되고, 나쁜 성과가 시정된다[21]. 비록 학습자 수행의 긍정적인 측면과 부정적인 측면을 모두 상세히 기술하는 건설적인 피드백을 제공하는 것은 시간이 많이 걸리고 어려울 수 있지만, 피드백을 제공하지 않는 것은 상당한 부정적인 영향을 미칠 수 있다. 신중하게 전달되지 않으면 피드백은 성능 저하를 초래할 수 있다[4, 21]. 만약 제대로 다루지 않으면, 피드백은 또한 학습자에게 방어력과 당혹감을 줄 수 있다. 피드백은 본질적으로 비판단적이고 서술적이어야 한다 [22]. 효과적인 피드백을 수행할 때 고려해야 할 몇 가지 핵심 원칙이 있다[2]. 즉, 피드백은 다음과 같아야 한다.

Direct observation, and clear goals are needed in the provision of effective feedback, with good performance being reinfoced, and poor performance being corrected [21]. Although provision of constructive feedback detailing both positive and negative aspects of the learner’s performance can be time consuming and difficult, not giving feedback can have a substantial negative effect. If not relayed carefully, feedback can result in a deterioration in performance [4, 21]. If handled poorly, feedback can also cause defensiveness and embarrassment to the learner. Feedback must be non-judgemental and descriptive in nature [22]. There are a number of key principles to consider when conducting effective feedback [2]. Namely, feedback should be:

1. 장소, 시기, 환경 등을 고려하여 계획됨

2. 명시적

3. 서술적

4. 성격이 아닌 행동에 초점을 맞춘다.

5. 구체적

6. 간결

7. 피드백 받는 사람에 의해 확인됨

8. 정직한

1. Planned, considering the place, timing and environment

2. Explicit

3. Descriptive

4. Focused on behaviour, not personality

5. Specific

6. Concise

7. Verified by the recipient

8. Honest

피드백 세션의 성공은 아래에 요약되고 표 3에 요약된 구조, 형식 및 내용이라는 세 가지 광범위한 영역에 따라 좌우된다[2, 23].

The success of a feedback session is dependent on three broad areas: structure, format, and content, as outlined below and summarised in Table 3 [2, 23].

표 3 성공적인 피드백 세션의 세 가지 주요 영역 [2]

Table 3 Three key areas of a successful feedback session [2]

구조 Structure

피드백의 타이밍은 적절한 준비 시간을 허용하면서 쌍방에 대해 고려할 필요가 있다. 회의의 목적이 모두에게 명백하게 밝혀지는 등, 피드백이 비밀이 보장되는 장소에서 이루어지도록 하는 것이 필요할 수 있다. 학생을 위협하지 않도록 방 환경도 고려해야 한다. 피드백의 이해를 돕기 위해 서술어를 사용하는 것과 함께, 피드백이 관찰된 태도, 행동 및 지식에 집중되는 것이 중요하다. 상호 신뢰와 존중이 확립되어야 하며, 공동의 목표는 학습자의 성과 향상을 위해 노력하는 것이다[9].

The timing of feedback needs to be considered for both parties, allowing adequate time for preparation. It may be necessary to ensure the feedback is given in a confidential location, with the purpose of the meeting being made clear to all. The room setting should also be considered, so to not intimidate the student. It is important that feedback is focused on the attitudes, behaviour and knowledge observed, with the use of descriptive words to assist in the understanding of the feedback. Mutual trust and respect should be established, with the shared goal being working towards improving the learner’s performance [9].

포맷 Format

제공된 피드백이 정확하고 가치 있으며, 부정적인 점과 긍정적인 점 둘 다 만들어져야 한다[9]. 이 세션의 목적은 학습자의 성과를 향상시키는 것이다. 회의의 단계에는 학습자의 자기평가, 교사의 평가뿐 아니라 향후 성과 개선을 위한 실천계획이 제시된다. 펜들턴의 피드백 모델의 핵심은 자기 성찰을 장려하고 학생이 피드백에 대한 접근법을 선도하도록 하는 것이다(표 1 참조). [18].

It is essential the feedback provided is accurate and valuable, with both negative and positive points being made [9]. The aim of the session is to improve the performance of the learner. The steps in the meeting include the learner’s self-assessment, the teacher’s assessment, as well as providing an action plan for future improvement of performance. The key to Pendleton’s model of feedback is to encourage self-reflection and have the student lead the approach to feedback (see Table 1) [18].

내용 Content

교사와 학습자가 회의를 준비하기 위해서는 적절한 시간이 제공되어야 한다[9]. 공식적인 학습 목표와 개인적 목표는 학습이 이루어진 것을 평가할 때 고려할 필요가 있다. 교사가 학생의 성적을 직접 관찰하게 하는 것은 좋은 성적의 구체적인 예와 개선 영역을 제공할 것이다. 개선을 위한 특정 영역(가장 중요한 영역 중 두 개 또는 세 개만 해당)만 단일 피드백 세션에서 다루어야 한다.

Adequate time needs to be provided in order for the teacher and learner to prepare for the meeting [9]. Formal learning objectives and personal objectives need to be considered when assessing what learning has taken place. Having the teacher directly observe the student’s performance will provide specific examples of good performance, and areas for improvement. Only a limited number of specific areas for improvement (say two or three of the most crucial only) should be addressed in a single feedback session.

피드백을 촉진하기 위한 커리큘럼 설계의 역할

The role of curriculum design in promoting feedback

커리큘럼은 학생들이 피드백에 참여하도록 의도적으로 설계되어야 한다[3]. 피드백은 모든 커리큘럼의 필수 요소로 간주되어야 하며, 학생 학습의 중심이 되어야 한다. 피드백을 촉진하기 위한 개입은 학습자가 자신의 작업에 적용할 수 있는 적절한 표준을 식별할 수 있도록 조직의 커리큘럼과 문화에 '스며들' 필요가 있다[3]. 학생들이 자신의 일에 대해 판단을 내릴 수 있는 능력을 연습하고 적극적으로 구축하기 위해 알찬 학습 환경을 구축해야 한다. 교과과정의 초기에 성과 비교를 장려해야 한다. 이것은 학생들이 현재의 능력에 대한 인식을 발전시키고, 그들 자신의 학습 욕구에 대한 계획을 세우는 것을 돕는다.

The curriculum should be deliberately designed to inspire students to engage in feedback [3]. Feedback should be viewed as a required element of any curriculum, and central to student learning. Interventions to promote feedback need to ‘permeate’ the curriculum and the culture of organisations, to ensure learners are able to identify appropriate standards to apply to their work [3]. Fruitful learning environments should be constructed by students to practice and actively build on their ability to make judgements about their own work. Comparisons of performance should be encouraged early in the curriculum. This helps students to develop an awareness of their current capabilities, and plan for their own learning needs.

자기조절학습(SRL)은 학생들이 자신의 학습에 적극적으로 참여하고 지도할 수 있는 과정을 제공한다[24]. 학생들에게 SRL 사용에 대한 피드백을 제공하여 명확하고 구체적이며 스스로 모니터링하고 반성하는 학습 전략을 장려할 수 있다. 교육자들의 과제는 교육과정 내에서 자기분석을 하나의 기대치로 체계적으로 구축하는 것이다. 정기적인 자기 분석은 자기 분석과 외부 분석의 비교를 촉진하는 습관을 형성하는 데 도움이 된다[3]. 피드백을 핵심 속성으로 포지셔닝하는 커리큘럼 설계 팁:

Self regulated learning (SRL) offers a process that empowers students to actively engage in and direct their own learning [24]. The use of SRL helps students to set goals, actively engage in learning activities, and monitor their own progress and actions in achievement of their goals [24, 25]. Feedback can be given to students on their use of SRL to encourage strategies in learning that are clear and specific, self-monitored, and reflected upon [25]. The challenge for educators is to systematically build self-analysis as an expectation within the curriculum. Regular self-analysis helps to build habits that promote comparison between self-analysis and external analysis [3]. Tips for designing a curriculum that positions feedback as a key attribute include:

• 학생에게 피드백의 목적을 설명

• 학생에게 피드백 방법을 안내

• 형성적 평가 및 피드백을 통해 여러 과제에 대한 기회 촉진

• 점진적으로 도전적인 과제 개발

• 학생이 피드백을 받을 수 있는 기회 제공1

• Orientate the students to the purpose of feedback

• Orientate students to methods of feedback

• Promote opportunities for multiple tasks with formative assessment and feedback

• Develop incremental challenges for tasks

• Provide opportunities for students to not only receive, but practice giving feedback1

결론 Conclusion

피드백은 학습 과정의 필수적인 요소로서, 커리큘럼의 필수적인 부분으로 간주된다. 피드백을 둘러싼 문학의 몸집이 커지고 있음에도 불구하고, 최선의 접근법에 대한 합의는 거의 없다. 모든 임상 상황에서 단일 피드백 모델은 작동하지 않을 것이다. 각 임상 교육자는 피드백 과정에 참여해야 하며, 자신의 모범 사례를 개발하는 기회를 가질 수 있다. 규칙적이고 효과적인 피드백은 좋은 연습을 강화하고 학습자가 원하는 결과를 얻도록 동기를 부여하는 데 도움이 된다. 건강 전문가 학생들에게 피드백을 주고 받는 기술은 좀처럼 가르쳐지지 않기 때문에 임상의가 부족한 경우가 많다. 직접 관찰과 피드백은 학습자에게 특정 시점에서 진행 상황을 알려주는 강력한 도구를 제공한다 [24, 26]. 교육 과정의 실효성을 높이기 위해서는 학습자와 교사 모두 피드백의 목적과 구조를 이해하는 것이 중요하다.

Feedback is an essential component of the learning process, and is considered an integral part of the curriculum. Despite the growing body of literature surrounding feedback, there is little agreement on the best approach. No single feedback model will work across all clinical contexts. Each clinical educator needs to engage in the process of feedback, and can take the opportunity to develop their own best practice. Regular and effective feedback helps to reinforce good practice and motivate the learner towards the desired outcome. Because skills in giving and receiving feedback are rarely taught to health professional students, they are often lacking in clinicians. Direct observation and feedback offers a powerful tool to inform the learner of their progress at a specific point in time [24, 26]. In order to increase the efficacy of the educational process, it is important for both learners and teachers to understand the purpose and structure of feedback.

테이크홈 메시지

Take-home message

• 학습 환경은 피드백을 강화해야 한다.

• 효과적인 피드백은 스킬을 향상시키고 학습자의 행동을 변화시킬 수 있는 잠재력을 가진다.

• 피드백을 제공하기 위해 구조화된 형식을 사용(예: 펜들턴의 모델)하면 자기 성찰과 명확하고 건설적인 조언 제공에 도움이 된다.

• 커리큘럼은 학생들이 피드백에 참여하도록 의도적으로 설계되어야 한다.

• The learning environment should foster feedback.

• Effective feedback has the potential to improve skills and change the learner’s behaviour.

• Using a structured format to provide feedback (such as Pendleton’s model), assists in self-reflection and the provision of clear, constructive advice.

• The curriculum should be deliberately designed to inspire students to engage in feedback.

응답자들은 우리가 물어보는 것에 대해서 뭘 생각하는가? 인지 인터뷰 사용하기 (J Grad Med Educ . 2013)

What Do Our Respondents Think We’re Asking? Using Cognitive Interviewing to Improve Medical Education Surveys 

Gordon B. Willis, PhD

Anthony R. Artino Jr., PhD

최근 대학원 의학 교육의 저널 2개 사설에서 4,5 저자들은 설문지 설계자들이 사용할 수 있는 6단계 의사결정 과정을 제안했다. 본 기사에서는 6가지 의사결정 단계 중 5번째 단계, 특히 "내 응답자가 내가 의도한 대로 내 항목을 해석할 것인가?"를 고려함으로써 그러한 노력을 확대한다.’’

In 2 recent Journal of Graduate Medical Education editorials,4,5 the authors proposed a 6-step decision process for questionnaire designers to use. In this article, we expand on that effort by considering the fifth of the 6 decision steps, specifically, the following question: ‘‘Will my respondents interpret my items in the manner that I intended?’’

설문지는 의학 교육 연구의 주제를 조사하기 위해 정기적으로 사용되며, 표준화된 설문 조사 질문을 대본으로 작성하는 간단한 과정으로 보일 수 있다. 그러나, 연구자들이 완벽히 명확하다고 생각되는 항목들이 종종 유의미한 오해를 받거나, 그렇지 않으면 의도된 바를 측정하지 못한다는 것을 많은 증거들이 증명한다.1.2 예를 들어, "보건전문직"과 같은 추상적인 용어들은 질문지를 만든 사람이 생각한 것을 현저하게 벗어날 수 있는 광범위한 해석을 떠올리게 하는 경향이 있다.

Questionnaires are regularly used to investigate topics in medical education research, and it may seem a straightforward process to script standardized survey questions. However, a large body of evidence demonstrates that items the researchers thought to be perfectly clear are often subject to significant misinterpretation, or otherwise fail to measure what was intended.1,2 For instance, abstract terms like ‘‘health professional’’ tend to conjure up a wide range of interpretations that may depart markedly from those the questionnaire designer had in mind.

여기서 설명하는 방법, 즉 '인지 면접' 또는 '인지 시험'은 조사 질문(특성, 행동 또는 본질적으로 사실)이 의도한 목적(BOX)을 달성하는지 여부를 조사하기 위해 특별히 고안된 증거 기반의 정성적 방법이다. 그 방법은 구체적으로 모집된 개인과의 인터뷰에 의존한다. 이들 개인에게는 설문지 최종 초안을 관리하는 것과 동일한 방식으로 설문지 질문을 제시한다. 인지면접은 품질보증 절차로서 자료수집(예측) 전, 자료수집 중 또는 조사를 실시한 후에도 실시된다.

The method we describe here, termed ‘‘cognitive interviewing’’ or ‘‘cognitive testing,’’ is an evidence-based, qualitative method specifically designed to investigate whether a survey question—whether attitudinal, behavioral, or factual in nature—fulfills its intended purpose (BOX). The method relies on interviews with individuals who are specifically recruited. These individuals are presented with survey questions in much the same way as survey respondents will be administered the final draft of the questionnaire. Cognitive interviews are conducted before data collection (pretesting), during data collection, or even after the survey has been administered, as a quality assurance procedure.

1980년대에 인지 인터뷰는 실험 심리학 분야에서 성장했다; 인지 인터뷰의 일반적인 정의는 그러한 기원과 강조를 반영한다. 예를 들어 윌리스는 '인지 인터뷰는 개인이 정신적으로 설문지를 처리하고 응답하는 방식을 경험적으로 연구하기 위한 심리학적 지향적 방법이다'라고 말한다. 그 이론적 기반 때문에 인지 인터뷰는 전통적으로 투란게우가 도입한 4단계 인지 모델에 의존해 왔다. 이 모델은 설문조사 응답 프로세스는 다음의 네 단계를 포함하는 것으로 설명한다. 

• (1) 이해, 

• (2) 정보의 검색, 

• (3) 판단 또는 추정, 

• (4) 질문에 대한 응답 선택

During the 1980s, cognitive interviewing grew out of the field of experimental psychology; common definitions of cognitive interviewing reflect those origins and emphasis. For example, Willis6 states, ‘‘Cognitive interviewing is a psychologically oriented method for empirically studying the way in which individuals mentally process and respond to survey questionnaires.’’ For its theoretical underpinning, cognitive interviewing has traditionally relied upon the 4stage cognitive model introduced by Tourangeau.7 This model describes the survey response process as involving 

• (1) comprehension, 

• (2) retrieval of information, 

• (3) judgment or estimation, and 

• (4) selection of a response to the question.

예를 들어, ''지난 해에, 정식 교육 프로그램에 몇 번이나 참여하셨습니까?''라는 질문에 대한 정신적 처리는 아마도 다음의 것이 필요할 것이다. 

• 중요한 용어와 구문을 이해하고 해석한다(예: "지난 해" 및 "교육 프로그램"). 

• 정답을 회상하고, 정확한 숫자를 보고하기로 결정(예를 들어, 더 높은 값을 제공하는 것보다 더 높음)한다. 

• 그런 다음, 조사 요건에 부합하는 답변을 작성한다(예: "실제"가 아닌 "5회" 보고). 

For example, mental processing of the question ‘‘In the past year, how many times have you participated in a formal educational program?’’ presumably requires a respondent 

• to comprehend and interpret critical terms and phrases (eg, ‘‘in the past year’’ and ‘‘formal educational program’’); 

• to recall the correct answer; to decide to report an accurate number (rather than, for example, providing a higher value); and 

• then to produce an answer that matches the survey requirements (eg, reporting ‘‘5 times’’ rather than ‘‘frequently’’). 

가장 흔히 이해력 문제가 지배적이다. 예를 들어, '공식 교육 프로그램'이라는 용어가 다양하게 해석되고 있는 것을 발견할 수 있다. 즉, 응답자는 어떤 활동을 세어야 할지 확실하지 않을 수 있고, 나아가 어떤 유형의 참여에 대해 질문받고 있는지 모를 수 있다(예: 학생, 교사 또는 관리자로서의 참여).

Most often, comprehension problems dominate. For example, it may be found that the term ‘‘formal educational program’’ is variably interpreted. In other words, respondents may be unsure which activities to count and, furthermore, may not know what type of participation is being asked about (eg, participation as a student, teacher, or administrator).

보다 최근에 인지 인터뷰는 사회학적/인류학적 노력으로 어느 정도 재개념화되었다. 왜냐하면 조사 항목에 대한 개인주의적 정신 처리뿐만 아니라, 응답자의 삶을 의미 있게 포착하는 질문이 얼마나 잘 표현되는가에 영향을 미칠 수 있는 배경 사회적 맥락도 강조하기 때문이다. 특히 설문조사가 다양한 환경과 문화의 범위를 점점 더 반영함에 따라, 이러한 관점은 점점 더 대중화되었다. 이러한 관점에서 볼 때, 겉보기에는 '졸업후의학교육'처럼 간단해 보이는 용어의 정의 자체에는 통일성이 결여되어 있을 수 있다.

More recently, cognitive interviewing has to some extent been reconceptualized as a sociological/anthropological endeavor, in that it emphasizes not only the individualistic mental processing of survey items but also the background social context that may influence how well questions meaningfully capture the life of the respondent.8 Especially as surveys increasingly reflect a range of environments and cultures that may differ widely, this viewpoint has become increasingly popular. From this perspective, the definition of a term as seemingly simple as ‘‘graduate medical education’’ might itself lack uniformity.

프로세스 개괄

Process Overview

인지면접은 2가지 주요 절차를 이용하여 실시한다.

Cognitive interviewing is conducted using 2 key procedures

첫째, 설문 응답자(종종 주제나 참여자로 개명)가 설문 질문에 답하려고 할 때 적극적으로 자신의 생각을 구두로 표현해 줄 것을 요청하는 think-aloud 방식의 인터뷰가 필요하다.9 여기서 인터뷰 진행자의 역할은 주로 피험자에게 '계속 이야기'를 하도록 요청함으로써 이러한 활동을 지원하고, 그 결과의 구두 기록, 즉 소위 인지 프로토콜이라고 불리는 것을 나중에 분석하기 위해 기록하는 것이다. 이 절차가 효과적이 되려면, 대상자의 think-aloud 스트림에는 접선적 또는 교묘한 자유 연관성이 아닌 조사 질문 기능의 평가와 관련된 진단 정보가 포함되어야 한다.

First, think-aloud interviewing requests that the survey respondents (often renamed subjects or participants) actively verbalize their thoughts as they attempt to answer the survey questions.9 Here the role of the interviewer is mainly to support this activity by asking the subject to ‘‘keep talking’’ and to record the resultant verbal record, or so-called cognitive protocol, for later analysis. For this procedure to be effective, it is necessary that the subject’s think-aloud stream contain diagnostic information relevant to the assessment of survey question function, as opposed to tangential or meandering free association.

지난 20년간 상당한 영향력을 획득한 [대안적 절차]는 구두 조사로, 인지 면접관이 일반적으로 응답자가 제공하는 것 이상의 상세한 정보를 유도하기 위해 특별히 고안된 일련의 조사 질문을 관리하는 보다 적극적인 형태의 데이터 수집이다. 일반적으로 사용되는 탐침은 TABLE 1. 

• 잠재적인 문제를 찾기 위해 면접 전에 체계적으로 제작하거나(프로액티브 프로브) 

• 면접 중에 대상 행동에 대응하여 비표준화된 방식으로 개발할 수 있다(리액티브 프로브). 

이와 같이 프로빙은 대개 엄격한 재료 표준화보다는 [면접관의 적응성에 크게 의존]하는 유연한 절차다.

The alternative procedure, which has gained considerable traction over the past 20 years, is verbal probing, which is a more active form of data collection in which the cognitive interviewer administers a series of probe questions specifically designed to elicit detailed information beyond that normally provided by respondents. Commonly used probes are provided in TABLE 1. 

• Probes may be systematically fashioned before the interview, in order to search for potential problems (proactive probes), or 

• they may be developed in a nonstandardized way during the interview, often in response to subject behavior (reactive probes). 

As such, probing is usually a flexible procedure that relies to a significant degree on interviewer adaptability rather than on strict standardization of materials.

think-aloud 절차의 장점은 면접관에 대한 요구를 훈련하는 방식에 거의 영향을 주지 않고, [반응을 편향시킬 수 있는 방식으로 지시하는 것]을 피한다는 것이다. 그렇게 말하는 것은, 큰 소리로 생각하는 것은 [피험자들에게 상당한 부담]을 주는데, 그들 중 많은 사람들은 그 과정이 부자연스럽고 어렵다고 생각한다. 게다가, 때때로 어설픈 말로 얻어지는 순전히 많은 양의 think-aloud 분석은 어려운 과제가 될 수 있다.

The advantages to a think-aloud procedure is that it presents little in the way of training demands on the interviewer and avoids being too directive in ways that could bias responses. That being said, thinking aloud places a significant burden on subjects, many of whom find the process to be unnatural and difficult. Further, analysis of think-aloud transcripts can be a daunting task because of the sheer quantity of the sometimes meandering verbalizations obtained.

반면에 구두 탐구는 면접관의 입장에서 더 많은 훈련과 생각을 필요로 하며, 주의 깊게 하지 않으면 [반응성 효과]를 일으킬 수 있다. 즉, 구두 탐구는 탐침 질문에 대답하고 그 대답을 설명하는 것과 관련된 추가적인 인지적 요구를 통해 [피험자의 행동에 편견]을 일으킬 수 있다. 예를 들어, 탐구는 설문 조사 응답자가 일반적으로 제공할 수 있는 것보다 더 세심하게 심사숙고된 답변을 이끌어 낼 수 있다. 그러나 구두 탐구는 일반적으로 효율적이며, 특정 인지 과정(예: 용어 또는 구문의 이해)을 대상으로 할 수 있으며, 피험자가 잘 수용하며, think-aloud 스트림보다 [세그먼트와 코드로 분리하기 쉬운 데이터]를 제공한다.

Verbal probing, on the other hand, requires more training and thought on the part of the interviewer and, if not done carefully, can create reactivity effects. That is, verbal probing may create bias in the subject’s behavior through the additional cognitive demands related to answering probe questions and explaining those answers. For example, probing may lead to more carefully thought-out answers than a survey respondent might typically provide. However, verbal probes are generally efficient, can be targeted toward specific cognitive processes (eg, comprehension of a termor phrase), are wellaccepted by subjects, and provide data that are easier to separate into segments and code than think-aloud streams.

표2

TABLE 2

인지면접 분석 

Analysis of Cognitive Interviews

인지면접은 정성적 절차이기 때문에 분석은 수치 데이터의 엄격한 통계적 분석이 아니라 면접 중(종종 면접자가) 또는 그 이후에(면접자나 분석가가) 취하는 서면 메모의 코딩과 해석에 의존한다.

Because cognitive interviewing is a qualitative procedure, analysis does not rely on strict statistical analysis of numeric data but rather on coding and interpretation of written notes that are taken during the interview (often by the interviewer) or after it (by either the interviewer or an analyst).

일련의 인터뷰는 일반적으로 각 평가 항목과 관련된 노트를 결합하고, 인터뷰 전체에서 취합하며, 공통의 주제를 찾고, 조사 개발자들이 원하는 해석에서 벗어나는 것을 나타낼 수 있는 주요 결과를 식별하여 분석한다. 예를 들어, 만약 "공식 교육 프로그램"의 의미에 대해 (광범위한 주제에서) 거의 일치성이 없다는 것을 발견한다면, 잠재적인 해결책은 조사에서 이 용어를 명시적으로 정의하는 것일 수 있다.

A set of interviews are typically analyzed by combining the notes pertaining to each evaluated item, aggregating across interviews, seeking common themes, and identifying key findings that may indicate departures from the interpretation desired by survey developers. For example, if one finds that there is little concurrence across a range of subjects about what is meant by ‘‘formal educational program,’’ a potential solution may be to explicitly define this term in the survey.

현실적 고려 

Practical Considerations

인지 인터뷰 프로젝트는 일반적으로 범위가 작고 총 10명에서 30명의 과목만 참여할 수 있다. 소규모 GME 프로젝트의 경우, 조사 개발자들이 매우 작은 표본의 편향 가능성에 민감하다면, 5~6명의 대상자만으로도 조사 항목 개선에 유용한 정보를 제공할 수 있다. 인지면접은 종종 반복적인 절차로 수행되는데, 이 절차에서는 소규모 면접(예: 10)이 실시된다. 조사 개발자는 자신의 결과를 분석하고 평가하고, 필요한 경우 조사 항목을 변경한 후 수정된 항목을 사용하여 추가 시험을 한다.

Cognitive interviewing projects are normally small in scope and may involve just 10 to 30 total subjects. For small-scale GME projects, as few as 5 or 6 subjects may provide useful information to improve survey items, as long as the survey developers are sensitive to the potential for bias in very small samples. Cognitive interviewing is often conducted as an iterative procedure, in which a small round of interviews is conducted (eg, 10); the survey developers analyze and assess their results, make alterations to survey items where necessary, and then conduct an additional round of testing using the modified items.

인지 면접은 면접관 주관식 및 자기 주관식 모두에 공통적으로 적용된다.

Cognitive interviewing is commonly applied to both interviewer-administered and self-administered