의사소통, 학습, 평가: 디지털 학습 환경의 차원 탐색(Med Teach, 2019)

의사소통, 학습, 평가: 디지털 학습 환경의 차원 탐색(Med Teach, 2019)
Communication, learning and assessment: Exploring the dimensions of the digital learning environment
Brent Thomaa , Alison Turnquista , Fareen Zaverb, Andrew K. Hallc,d and Teresa M. Chane

 

 

서론
Introduction

[임상 학습 환경]은 훈련 중인 의사의 학습 경험에 미치는 영향을 이해하고 교육 결과를 개선하는 개입을 테스트하기 위해 연구되었습니다. 테크놀로지 향상에 의해 촉진된 [디지털 의학digital medicine]은 의료계 및 임상 환경에서 점차적으로 더 큰 역할을 담당하게 되었습니다. 팩스, 전화 및 종이 기록을 통한 커뮤니케이션이 점차 강화되거나 전자 메시지와 전자 건강 기록으로 대체되었습니다(Mcelroy et al. 2013). 디지털 공간은 전자(Thoma et al. 2014)와 오픈 액세스 형식으로 제공되는 교과서, 가이드, 의학 저널 등의 자료를 출판하여 학습의 공통 공간으로 부상하였습니다. 오픈 액세스 리소스는 리소스가 제한된 환경에서의 교육에 특히 유용합니다. 디지털 자원의 사용이 증가함에 따라 온라인 진료 커뮤니티가 생겨났고, 의사들의 디지털 옹호 활동에 대한 요구가 증가하고 있습니다(Taichman 등. 2018). 수습생 평가는 더 자주 이루어지며 종종 전자 포트폴리오로 통합된다(Chan et al. 2018). 디지털 공간이 학습의 원천이자 임상 작업의 중요한 자원으로 부상하는 것을 더 이상 무시할 수 없습니다.
The clinical learning environment has been studied to understand its impact on learning experiences for physicians in training and to test interventions that improve educational outcomes. Facilitated by enhancements in technology, digital medicine has taken on a progressively larger role in the work and lives of the medical profession and in the clinical environment. Communication via fax, telephone, and paper records has increasingly enhanced or been replaced by electronic messages and electronic health records (Mcelroy et al. 2013). The digital space also has emerged as a common space for learning through the publication of resources such as textbooks, guides, and medical journals available in electronic (Thoma et al. 2014) and open access formats (Cadogan et al. 2014; Thoma et al. 2014). Open access resources are particularly beneficial for education in resource-constrained environments (Frehywot et al. 2013; Thurtle et al. 2016). The growing use of digital resources has resulted in online communities of practice (Thoma et al. 2018; Ting et al. 2018), and increasing demands for physicians to be engaged in digital advocacy (Taichman et al. 2018). Trainee assessments are more frequent and are often aggregated into electronic portfolios (Chan et al. 2018). The emergence of the digital space as a source of learning and as a critical resource for clinical work can no longer be ignored.

이 디지털 학습 환경의 검사는 연구 및 개선 노력과 관련된 건축, 심리학, 사회학 및 교육 등 다양한 분야의 작업을 사용하여 임상 학습 환경을 검토하기 위한 대규모 노력의 일환으로 수행되었다. 최근 범위 검토에서는 임상 학습 환경에 대한 문헌의 일반적인 한계로 개념적 명확성 결여를 식별했으며, 물리적 및 가상 구성요소가 가장 주의를 덜 받고 상대적으로 제대로 정의되지 않았다는 점을 추가로 지적했다(Gruppen 등 2018). 우리는, 다음의 3개의 중요한 측면을 강조해, 디지털 학습 환경에 관한 개념의 명확성을 향상시키는 것을 목표로 하고 있습니다. 

• (1) 디지털 커뮤니케이션, 
• (2) 디지털 학습 리소스, 
• (3) 디지털 평가 및 평가. 

또, 장래의 장학금이나 개선 노력을 위해서, 실천적인 제언과 가이던스를 제공하고 있습니다. 우리는 의도하지 않은 부정적인 결과를 피하면서 학습 환경에서 디지털 기술의 진보를 활용하는 방법에 초점을 맞추고 있습니다.

This examination of the digital learning environment was undertaken as part of a larger effort to examine the clinical learning environment, using work from different disciplines such as architecture, psychology, sociology, and education that are relevant to research and improvement efforts. A recent scoping review identified a general lack of conceptual clarity as a general limitation in the literature on the clinical learning environment, further noting that its physical and virtual components had received the least attention and were relatively poorly defined (Gruppen et al. 2018). We seek to improve conceptual clarity about the digital learning environment by highlighting three critical dimensions:

• (1) digital communication,
• (2) digital learning resources, and
• (3) digital assessment and evaluation.

We also offer practical recommendations and guidance for future scholarship and improvement efforts. We focus on ways to take advantage of the advances in digital technology in the learning environment while avoiding unintended negative consequences.

디지털 학습 환경의 3차원
Three dimensions of the digital learning environment

학습 환경에서 디지털 테크놀로지의 사용에 관한 문헌을 분석하고, 의사 교육에 디지털 테크놀로지를 사용하는 것에 관한 선행 연구와 심의의 대상이 되고 있는 3개의 영역을 특정했다: 디지털 커뮤니케이션, 디지털 학습 리소스 및 디지털 평가.

We analyzed the literature on the use of digital technology in the learning environment and identified three domains that have been the subject of prior study and deliberation on the use of digital technology in physician education: digital communication, digital learning resources, and digital assessment.

디지털 통신
Digital communication

디지털 커뮤니케이션에 관한 연구에 따르면, 80% 이상의 의사가 환자 치료를 목적으로 정보 접근을 위해 인터넷을 사용하는 가운데, 학습자도 자기 기기를 점점 더 많이 기관 내로 반입하고 있는 것으로 나타났다(Patel et al. 2015). 인스턴트 메시징은 의료기관에서 인정한 채널(예: WhatsApp)을 벗어나는 커뮤니케이션 도구를 자주 사용하는 후배 의사들 사이에서 가장 일반적인 주요 커뮤니케이션 소스인 것으로 나타났습니다.
Research on digital communication acknowledged that learners are increasingly bringing their own devices into their institutions (Mcelroy et al. 2013) with >80% of physicians using the internet to access information for the purpose of patient care (Patel et al. 2015). Instant messaging was found to be the most common primary communication source among junior doctors (Katz-Sidlow et al. 2012) with frequent use of communication tools that fall outside of institutionally-recognized channels (e.g. WhatsApp) (Ellanti et al. 2017; Ganasegeran et al. 2017; Przybylo et al. 2014).

디지털 학습 자원
Digital learning resources

온라인 교육 자원의 가용성(Cadogan et al. 2014)과 의학 학습자의 온라인 교육 자원 사용률 모두 증가하고 있다. 학습자가 자주 사용하는 리소스로는 온라인 레퍼런스뿐만 아니라 블로그, 팟캐스트, 위키 및 앱을 통해 제공되는 새로운 무료 콘텐츠가 꼽혔습니다. 학습 자원의 광범위한 사용은 이러한 자원을 중심으로 구축된 [가상의 실천 공동체 출현]에 기여하고 있습니다.
Availability of online educational resources (Cadogan et al. 2014) and their use by medical learners (Purdy et al. 2015) are both increasing in prevalence. In addition to established online references, novel free content available via blogs, podcasts, wikis, and apps were cited as frequently utilized resources by learners (Purdy et al. 2015). The wide use of learning resources has contributed to the emergence of virtual communities of practice built around these resources (Thoma et al. 2018; Ting et al. 2018).

디지털 평가 및 평가
Digital assessment and evaluation

새로운 프로그램 평가 모델이 의료 교육(Schuworth 및 Van der Vleuten 2011)에 구현되고 있으며, 평가 프로세스에서 분석 및 시각화해야 하는 데이터가 압도적으로 많다. 평가 데이터 관리의 메카니즘으로서 폭넓은 전자 포트폴리오가 실장되고 있습니다만, 표준화, 사용의 용이성, 기능성, 유연성, 프라이버시에 관한 구체적인 우려가 대두되고 있습니다. [학습 분석learning analytics]은 학습 행동을 설명하고 예측하기 위해 통계 및 계산 방법을 사용하는 것으로서, 이러한 기법을 도입하여 데이터를 학습자에게 피드백을 제공하고 교사에게 지침을 제공하는 유용한 정보로 변환하는 데 도움이 될 수 있다(Boscardin et al. 2017). 또한 학습자 평가 데이터와 환자 결과를 결합하여 학습자 성과에 대한 통찰력을 얻을 수 있다(Arora 2018).
Novel programmatic assessment models are being implemented in medical education (Schuwirth and Van der Vleuten 2011) which require an overwhelming amount of data to be analyzed and visualized in assessment processes (Chan et al. 2018). A broad array of electronic portfolios are being implemented as a mechanism for assessment data management, but specific concerns are emerging relating to standardization, ease of use, functionality, flexibility, and privacy (Gruppen et al. 2018; Sonnenberg et al. 2017). Adoption of techniques from the field of learning analytics, which uses statistical and computational methods to describe and predict learning behaviors (Cooper 2012), may help to translate this data into useful information that provides feedback for learners (Boscardin et al. 2017) and guidance to teachers (Friedman et al. 2016). It also may be possible to combine learner assessment data with patient outcomes to gain insights on learner performance (Arora 2018).

 

디지털 학습 환경을 설명하는 3가지 사례 세그먼트
Three case segments to illustrate the digital learning environment

정형외과 수련생이 관련된 사례의 세 가지 세그먼트를 사용하여 디지털 학습 환경의 세 가지 영역을 강조하고 이점과 과제를 탐색합니다. 또한 소규모 그룹 토론과 컨센서스 컨퍼런스의 갤러리 보드를 통해 컨센서스 컨퍼런스의 참가자에게 의견을 구했습니다.
We use three segments of a case involving an orthopedic surgery trainee to highlight the three domains of the digital learning environment and to explore benefits and challenges. We also sought input from consensus conference participants through small group discussions and a gallery board at a consensus conference.

세그먼트 1: 디지털 통신
Segment 1: Digital communications

정형외과 레지던트 1년차인 사리는 집에 있는 레지던트 선배와 주치의와 함께 온콜 대기하고 있다. 그녀는 오토바이를 타고 있던 젊은 여성이 차에 치였을 때 그녀를 평가하기 위해 불려갔다. 그녀는 다발성 골절과 기형적인 하지입니다. Sari는 WhatsApp 그룹을 통해 자신의 평가와 환자의 X-레이 사진을 상사에게 전달합니다. 그녀는 그들에게서 즉시 지도를 받는다. 사리가 환자를 돌보며 병동 환자에 대한 간호사의 WhatsApp 메시지에 응답하는 동안 그녀의 상사는 수술실을 불러 응급 수술을 위해 병원으로 간다.
Sari, a first-year orthopedic surgery resident, is on call with a senior resident and an attending who are both at home. She is called to assess a young female who was riding a motorcycle when she was hit by a vehicle. She has multiple fractures and a deformed lower extremity. Sari relays her assessment along with pictures of the limb and the patient’s x-rays to her supervisors via a WhatsApp group. She receives guidance from them instantly. While Sari is caring for the patient and responding to WhatsApp messages from the nurses regarding ward patients, her supervisors call in the OR staff and make their way to the hospital for an emergent operation.

사례의 첫 번째 세그먼트에서 임상 상호작용에 대한 설명은 임상 학습 환경에서 디지털 커뮤니케이션에 관한 세 가지 주제를 강조한다.

• (1) 효율성 향상 
  
• (2) 대면상호작용을 대체하는 디지털 통신 
  
• (3) 임상적 맥락에서 환자 정보의 보안과 프라이버시에 관한 우려. 

첫 번째 주제와 관련하여, 이 사례에서는 이미지를 포함한 데이터 전송의 신속성이 어떻게 의료의 퀄리티와 적시성을 향상시키는지, 감독의사가 [작업 부하를 보다 쉽게 관리할 수 있는지]를 강조하고 있습니다. 디지털 통신 기술의 잠재적인 이점으로는 다음이 있습니다. 

• 시간 효율성(Ellanti 등 2017), 
• 중단 감소
• 팀 조정 개선(Wu 등 2011)

쉽게 액세스할 수 있는 통신의 잠재적인 단점은 24시간 내내 사용할 수 있고 디지털 세상과의 연결이 끊길 수 없다는 것입니다(Ragsdale 및 Hoover 2016). 또한 데이터 보안, 특히 오픈 액세스 애플리케이션의 경우에도 문제가 있습니다. EHR은 기록에 대한 접근성을 개선하고, 중요한 실험실 값을 강조하며, 의약품 오류를 예방하는 데 있어 역할을 할 수 있지만(King et al. 2014), 학습자 효능감learner efficiency을 저해하는 것으로 느껴졌다.

The description of the clinical interaction in the first segment of the case underscores three themes around digital communication in the clinical learning environment:

• (1) enhanced efficiency;
• (2) digital communication replacing face-to-face interaction; and
• (3) concerns regarding the security and privacy of patient information in a clinical context.

Related to the first theme, the case emphasizes how the immediacy of transmitting data, including images, can enhance the quality and timeliness of care while allowing supervising physicians to more easily manage their workload. Potential benefits of digital communication technologies include

• time efficiencies (Ellanti et al. 2017),
• decreasing interruptions (Locke et al. 2009; Patel et al. 2010), and
• improving team coordination (Wu et al. 2011).

A potential disadvantage of readily accessible communications is the expectation of round-the-clock availability and the inability to disconnect from the digital world, which may contribute to overwork and burnout (Ragsdale and Hoover 2016). In addition, there are concerns about data security (Drake et al. 2016; HIPAAnswers 2017; Johnston et al. 2015; Shah et al. 2013), particularly for open access applications. Electronic health records may have a role to play in improving access to records, highlighting critical lab values, and preventing medication errors (King et al. 2014), but were felt to inhibit learner efficiency (Berg and Goorman 1999; Mcelroy et al. 2013).

직접 대화하는 것이 디지털 통신으로 대체될 경우 [유익성과 위해성]이 있습니다. 정보를 물리적으로 전달할 필요 없이 디지털 방식으로 전달하면 [효율성]이 향상되고, 디지털 커뮤니케이션은 잠재적으로 학습자와 교사 사이의 권력 구배gradient와 위계를 줄일 수 있으며, 이는 학습과 환자 치료에 도움이 될 수 있다(Green et al. 2017). 이러한 이점은 [이메일 또는 텍스트로 정보가 전달될 때 상황별 정보가 손실될 수 있다는 우려]와 균형이 필요하다. 디지털 커뮤니케이션을 광범위하게 사용하면 학습자와 감독자 간의 직접 접촉이 줄어들 수 있으며, 이는 학습자의 전문성 개발과 고품질 학습에 중요한 대화의 기회를 감소시킬 수 있습니다. 환자 및 동료와의 관계에서 발생하는 "작업의 즐거움joy of work"의 감소와 관련된 우려가 추가되었다(Linzer et al. 2017).

There are benefits and risks when in-person interactions are replaced with digital communication. Having information relayed digitally rather than needing to be present physically increases efficiency, and digital communication can potentially reduce power gradients and hierarchies between learners and teachers, which may benefit learning and patient care (Green et al. 2017). These benefits may be balanced by concerns about the loss of contextual information when information is conveyed via email or text. Extensive use of digital communications may result in a reduction of in-person contact between learners and supervisors, which may reduce opportunities for dialog important for learners’ professional development and high-quality learning. Added concerns relate to a reduction in the “joy of work” that results from engaging with patients and colleagues (Linzer et al. 2017).

잠재적으로, 가장 심각한 우려 사항은 디지털 미디어를 통해 [전송되는 건강 정보의 보안 및 개인 정보 보호]와 관련이 있습니다. 법적 및 물류적 관심사에는 어떤 애플리케이션을 사용할지 결정하는 방법, 애플리케이션이 데이터 보호 전송을 용이하게 하는 정도, 환자의 정보 디지털 전송에 대한 동의를 보장하는 방법이 포함되었다(Prochaska et al. 2015). 또한 의료 시스템이 스토리지, 보안 및 액세스를 포함한 디지털 통신 사용에 대한 기술적 지원을 어떻게 보장할 것인지에 대한 의문도 있습니다. 디지털 기록이 의료-법적 맥락에서 어떻게 사용될 수 있는지에 대한 우려도 있다. 
Potentially, the most serious concerns relate to the security and privacy of health information transmitted via digital media. Legal and logistical concerns included how to determine which applications to use, the degree to which applications facilitate protected transmission of data, and how to ensure patient consent for digital transmission of their information (Prochaska et al. 2015). In addition, there are questions regarding how the healthcare system will ensure technical support for the use of digital communication, including storage, security, and access. There are also concerns about how digital records might be used in a medico-legal context.

세그먼트 2: 디지털 학습 자원
Segment 2: Digital learning resources

사리의 경우는 이후 며칠간 정형외과 프로그램의 화제에 올랐다. 다른 거주자들은 팔뚝과 환자의 엑스레이 사진을 보여달라고 요청했고 사리는 그들의 거주자인 WhatsApp 그룹에 그것들을 공유했다. 이 사건으로 많은 관심을 받고 많은 것을 알게 된 그는 자신의 학습을 위해 자주 사용하는 정형외과 블로그에 글을 올렸다. 이 사건을 더욱 설득력 있게 하기 위해, 그녀는 환자의 팔뚝과 그녀의 핸드폰에 있는 엑스레이 사진을 포함시켰다. 이 게시물은 소셜 미디어에 널리 퍼졌고 전 세계 사람들에 의해 수천 번 조회되었다.
Sari’s case was the talk of the orthopedics program for the next few days. Other residents asked to see the photos of the limb and the patient’s x-rays and Sari shared them on their resident WhatsApp group. Having received so much interest and learned a lot from the case, she wrote it up for an orthopedic surgery blog that she used frequently for her own learning. To make the case more compelling, she included the images of the patient’s limb and x-rays that she had on her phone. The post was spread widely on social media and viewed several thousand times by people from around the world.

 

두 번째 세그먼트에서 설명한 바와 같이 환자 데이터의 교육적 사용에서 세 가지 주제가 나타난다. 

• (1) 귀중한 교육 정보의 접근 및 보급 확대 
  
• (2) 교육 콘텐츠의 품질 보장 
  
• (3) 임상적 만남이라는 맥락을 넘은 환자 정보의 디지털 공유에 대한 우려.

Three themes emerge from the educational use of the patient data in the case, as described in the second segment:

• (1) expanded access and dissemination of valuable teaching information;
• (2) ensuring the quality of educational content; and
• (3) concerns with the digital sharing of patient information beyond the context of the clinical encounter.

디지털 학습 자원은 정보와 학습 자원에 대한 접근을 개선할 수 있는 상당한 잠재력을 가지고 있습니다. 온라인 커뮤니티(Thoma et al. 2018)를 통해 전 세계에 최신 콘텐츠를 빠르게 보급하는 것은 지식 전달을 늘리고 지식을 "민주화"하는 강력한 방법입니다. 실제로 훈련생들은 스스로 학습하기 위해 POC(Point of Care) 리소스를 사용하는 동시에 환자와 더 많은 후배 학습자를 물리적인 학습 환경에서 가르치고 있습니다.
Digital learning resources have significant potential to improve access to information and learning resources. The rapid dissemination of up-to-date content worldwide through an engaged online community (Thoma et al. 2018) is a powerful way to increase knowledge transmission and to “democratize” knowledge. Indeed, trainees are increasingly using point-of-care resources to both learn for themselves, but also teach patients and more junior learners in their physical learning environments (Patocka et al. 2018).

공유 온라인 학습 커뮤니티가 지역 수준에서 학습을 보완할 수 있는 잠재력은 전반적인 학습을 상당히 강화하고 강화할 수 있다. 때때로 임상의와 훈련생은 더 나은 환자 치료를 위해 [크라우드-소싱된 의견]을 이용할 수 있지만, 이를 위해서는 환자의 동의와 연결된 임상의의 [신뢰할 수 있는 실천 공동체]가 필요하다. 견고한 실무 커뮤니티의 멤버와 연계하면 지식 보급, 교직원 육성, 임상 치료에도 도움이 됩니다. 블로그나 팟캐스트와 같은 정적 학습 자료는 대화형 교육 및 학습을 대체할 수 없지만 온라인 커뮤니티의 힘은 온라인 커뮤니티의 공백을 메우고 교육생을 지역 환경을 넘어 교사와 연결시켜 무한한 디지털 학습을 촉진할 수 있다는 것입니다.
The potential of a shared online learning community to supplement learning at the local level could significantly augment and enhance overall learning. Occasionally, clinicians and trainees might harness the power of crowd-sourced opinions to enhance patient care (Wainwright et al. 2018), but this requires consent from patients and a trustworthy community of practice of connected clinicians. Connecting members of a robust community of practice can help with knowledge dissemination, faculty development, and even clinical care (Chan et al. 2015; Lin et al. 2017; Thoma et al. 2018; Ting et al. 2018). Whereas static learning materials such as blogs and podcasts cannot replace interactive teaching and learning, the power of online communities is that they can rise up to fill the void and connect trainees to teachers beyond their local environments and foster digital learning that knows no bounds.

동시에 의료 학습의 원천으로서 디지털 자료의 중요성이 높아짐에 따라 교육 콘텐츠와 경험의 질에 대한 우려가 커지고 있다(Lin 등 2015; Thoma 등 2015). 조사 결과에 따르면, 특히 무료 온라인 리소스에서 많은 정보에 대한 피어-리뷰가 부족하여 [신뢰할 수 없는 정보]가 될 가능성이 높다. 온라인 학습 커뮤니티는 약간의 피어리뷰 기능을 제공할 수 있으며, 이는 "발표 후post-publication" 검토의 형태를 취할 수 있다. 이러한 노력의 대부분은 최근에 시작되었으며, 디지털 교육 컨텐츠의 품질 관리는 기존 자료에 비해 덜 견고할 수 있습니다. 일부 온라인 자료의 초점은 핵심 지식을 훼손하는 희귀하지만 흥미로운 콘텐츠에 집중된다는 관측도 추가되었습니다(Stuntz 및 Clontz 2016).

Concurrently, the growing importance of digital materials as sources of medical learning has resulted in concerns about the quality of the educational content and experience (Lin et al. 2015; Thoma et al. 2015). Findings show a lack of peer review of much of the information, particularly in free online resources (Sidalak et al. 2017; Thoma et al. 2015) which likely results in less reliable information. Online communities of learning may provide for some peer review functions, which may take the form of a “post-publication” review (Sidalak et al. 2017; Thoma et al. 2015). Many of these efforts have been initiated recently, and quality control for digital education content may be less robust relative to traditional materials. Added concerns included the observation that the focus for some online materials is on rare but exciting content to the detriment of core knowledge (Stuntz and Clontz 2016).

환자 정보(데이터 또는 이미지)가 임상 영역을 넘어서는 경우, [환자의 익명성]을 보장할 필요성과 함께 이러한 교육이라는 특정한 용도에 대한 [환자 동의 부족]에 대한 우려가 추가된다. 이는 특히 디지털 데이터 공유에서 문제가 발생하는데, 이는 신속하고 광범위한 전파의 가능성 때문이다.
When patient information (data or images) transcends the clinical realm, there are added concerns about the lack of specific patient consent for these educational uses, along with concerns about the need to ensure patient anonymity. This is particularly problematic with digital sharing of data, due to the potential for rapid, wide-spread dissemination.

 

세그먼트 3: 디지털 평가 및 평가
Segment 3: Digital assessment and evaluation

Sari는 환자의 치료에서 자신의 역할에 대해 평가받았고, 환자 관리의 최적성에 미치지 못한 측면을 반영했습니다. 이러한 평가와 성찰은 그녀와 그녀의 프로그램이 그녀의 진행 상황을 추적하는 데 도움이 되는 기관 e-포트폴리오에 저장되었습니다. 불행하게도, 환자는 좋은 임상 결과를 얻지 못했고 그녀의 치료에 관여한 병원과 임상팀을 상대로 소송을 제기했다. 사리는 의료기록과 더불어 환자의 법무팀이 기관의 e-포트폴리오에 업로드된 사건과 관련된 자신의 평가와 반성을 소환했다는 사실을 알고 실망했다.
Sari was evaluated on her role in the patient’s care and reflected on the aspects of her patient management that were less than optimal. These assessments and reflections were stored in an institutional e-portfolio that helped her and her program to track her progress. Unfortunately, the patient did not have a good clinical outcome and filed a lawsuit against the hospital and clinical team involved in her care. Sari is dismayed to learn that, in addition to the medical records, the patient’s legal team has subpoenaed her evaluations and reflections related to the case that had been uploaded to the institution’s e-portfolio.

세 번째 사례 세그먼트의 평가 차원에서는 평가에 디지털 데이터를 사용하는 것과 관련된 세 가지 주제에 주목합니다.

• (1) 평가 수행 방법에 대한 새로운 접근법 
  
• (2) 평가 데이터 활용 방법의 변경 
  
• (3) 평가 데이터의 보안과 프라이버시, 그리고 의도하지 않은 사용 가능성에 대한 우려. 

The assessment dimensions of the third case segment draw attention to three themes related to the use of digital data in assessment:

• (1) new approaches in how assessments are done;
• (2) change in how assessment data are utilized; and
• (3) concerns about the security and privacy of assessment data and their potential unintended use.

디지털 평가 시스템은 평가를 보다 쉽게 수행하고, POC(Point of Care) 평가를 활용하여 신뢰성을 높이고, 역량 중심의 평가를 운용함으로써 평가를 개선할 수 있습니다. 디지털 평가 데이터는 수집, 통합 및 분석이 용이하며, 이를 통해 훈련생의 역량에 대한 보다 완전한 그림을 바탕으로 판단을 촉진할 수 있으며, 교육생과 교사가 장기적인 피드백과 코칭을 지원할 수 있는 성찰 또는 리뷰를 할 수 있습니다. 마지막으로, 디지털 평가는 수습생 데이터를 임상 결과와 연결(Arora 2018)하고 프로그램 평가 및 평가 연구를 수행하며, 교수개발을 촉진할 수 있는 능력을 증가시킬 수 있다. 교육생들이 교수진, 학습 경험 및 전체 교육 프로그램에 대한 피드백을 제공하기 위해 전자 도구를 사용하는 것은 학습 참여와 활성화에 도움이 된다(Pilibert et al. 2017). 기술적으로 강화된 평가 프로그램은 디지털 관리 플랫폼과 전자 포트폴리오를 활용하며, 이러한 포괄적인 데이터 저장소가 새로운 표준이 됩니다. 디지털 평가의 사용 증가와 전자 도구의 품질, 신뢰성 및 효용성의 증가가 논의의 초점이 되어 왔습니다.

Digital assessment systems may improve assessments by making them easier to perform, increasing authenticity by utilizing point-of-care assessment, and operationalizing competency-focused assessment. Digital assessment data are easier to collate, synthesize, and analyze which can facilitate judgments based on a more complete picture of trainee competence and reflection or review by trainees and teachers that could support longitudinal feedback and coaching. Finally, digital assessments may increase the capacity to link trainee data to clinical outcomes (Arora 2018), conduct program evaluation and assessment research, as well as facilitate faculty development. Use of electronic tools for trainees to provide feedback on their faculty, learning experience, and overall educational program has benefits to learning engagement and activation (Philibert et al. 2017). Technologically enhanced programs of assessment will harness digital management platforms and electronic portfolios, with these comprehensive data repositories becoming the new standard (Gruppen et al. 2018; Lockyer et al. 2017). The growing use of digital assessments and increases in the quality, reliability, and utility of electronic tools has been a focus of discussion.

전자 포트폴리오의 사용이 증가함에 따라 구현, 커스터마이즈, 데이터 액세스 및 관리에 있어 몇 가지 과제가 발견되었습니다. 새로운 디지털 평가 프로세스가 빠르게 도입됨에 따라 평가 설계에 폭넓은 이해관계자가 참여해야 합니다. 디지털 평가가 (학습자가 매우 중시하는) 귀중한 대면 피드백을 대신해서는 안 됩니다.
As the use of electronic portfolios increases, studies have shown some challenges in implementation, customization, and data access and management (Dyer and Cohen 2018; Sonnenberg et al. 2017). With the rapid uptake of novel digital assessment processes, there must be wide stakeholder engagement in assessment design. Digital assessments should not take the place of valuable face-to-face feedback, which is highly valued by learners.

마지막으로, Bawa-Garba 사례(Dyer 및 Cohen 2018)에서 예시된 것처럼, 학습자 평가 데이터의 보안(2017년 코헨)과 의료-법적 조치에서의 발견 및 사용 가능성에 대한 심각한 우려가 남아있다. 이 사례는 정직한 성찰의 촉진과 디지털 평가 또는 성찰에서 임상적 결함을 식별하고 문서화하는 잠재적 의학적 법적 결과 사이의 긴장을 식별했다. 이러한 디지털 평가 시스템의 큰 잠재력에도 불구하고 구현이 현재의 최상의 평가 관행best assessment practice을 유지하고, 의도하지 않은 결과를 방지하려면 주의가 필요합니다. 교육기관은 학습자 평가 데이터를 특히 주의하고 보호해야 한다. 왜냐하면 학습자 평가 데이터가 [보안적 문제가 있거나not secure, 징벌적으로 사용될 가능성이 있다는 인식]이 생기면, 효과적인 교육과 지속적인 품질 향상에 필요한 성찰 문화를 저해할 수 있기 때문이다. (Dyer 및 Cohen 2018).
Finally, serious concerns remain regarding the security of learner assessment data (Cohen 2017) and its potential for discovery and use in medico-legal actions, as exemplified by the Bawa–Garba case (Dyer and Cohen 2018). This case identified tension between the promotion of honest reflection and the potential medico-legal consequences of identifying and documenting clinical deficiencies in digital assessments or reflections. Despite the great potential of these digital assessment systems, care is required to ensure that implementation maintains current best assessment practices (Norcini et al. 2018) and avoids unintended consequences. Institutions should be particularly cautious with and protective of learner assessment data as any perception that it is not secure, or has the potential to be used in a punitive way, will inhibit the reflective culture needed for effective education and continuous quality improvement (Dyer and Cohen 2018).

 

논의
Discussion

사회에 테크놀로지가 폭넓게 통합되고 있는 것을 고려하면, 테크놀로지가 의료와 의사 및 기타 의료 전문가의 교육에 점점 더 많은 영향을 미치고 있는 것은 놀랄 일이 아닙니다. 디지털 학습 환경의 3차원에 대해 특정하고 탐구한 테마는 학습자, 교사 및 의료 시스템에 영향을 미칩니다.
Considering the extensive integration of technology in society, it is no surprise that technology is having an increasing impact on healthcare and the education of physicians and other health professionals. The themes we identified and explored for the three dimensions of the digital learning environment have implications for learners, teachers, and health care systems.

[디지털 혁신에 대한 접근을 무시하거나 제한하는 것]과 같은 제도적 전략은 suboptimal한 성과만 초래할 수 있습니다. 학습자는 [기관의 통제 밖에 있는 개방형 커뮤니케이션 도구]를 사용하여 기관의 지시를 회피하거나 환자 데이터를 손상시킬 수 있는 회피책을 개발할 수 있습니다. 또한 의료 시스템 리더는 학습 환경에 대한 메이시 재단의 컨센서스 보고서(Macy Foundation 2018)에서 권장한 바와 같이, EHR 내의 디지털 인프라, 학습 관리 시스템 및 학습 기능을 포함한 학습을 지원하기 위한 디지털 기술의 채택을 지원해야 합니다. 외부 혁신을 활용하는 것은, 특히 기관이 위험, 유익성 및 기존 관리 및 학습 프로세스에 최적으로 통합될 수 있는 방법을 알고 있다면, 유익한 영향을 미칠 수 있습니다. (학습자나 교사 등) 최종사용자가 도입 전에 학습환경에서 디지털 테크놀로지를 확장하는 이니셔티브에 관여할 필요가 있음을 시사합니다. 디자인 사고(Gottlieb et al. 2017)와 같은 보다 최근의 혁신 패러다임은 의료 교육 환경에서 최종 사용자와 새로운 디지털 기술 간의 연결을 연결하기 위해 노력하고 있습니다.

Institutional strategies such as ignoring or restricting access to digital innovations may result in suboptimal outcomes. Learners may circumvent institutional dictates by using open communication tools outside of the institution’s control or develop workarounds that may compromise patient data. Health systems leaders also need to support the adoption of digital technology to support learning, including digital infrastructure, learning management systems, and learning capabilities within the electronic health record, as recommended in the Macy Foundation’s consensus report on the learning environment (Macy Foundation 2018). Harnessing external innovations can have a beneficial impact, especially when institutions are aware of their risks, benefits, and how they can be optimally integrated into existing care and learning processes, suggesting a need to involve end-users such as learners and teachers in initiatives to expand digital technology in the learning environment prior to their deployment. More recent paradigms of innovation such as design thinking (Gottlieb et al. 2017) are trying to bridge the connections between end-users and new digital technologies in the healthcare learning environment.

디지털 테크놀로지는, 교재나 그 외의 자원을 폭넓게 이용할 수 있게 해, 원격 의료나 원격 교육을 사용해 의료나 교수에 관한 전문 지식을 제공함으로써, 자원이 부족한 환경에서의 학습을 향상시킬 수도 있습니다. 디지털 원격 학습 자원은 개발도상국의 접근 교육을 강화하는 동시에 교직원의 효율성과 효율성을 높일 수 있는 접근성과 비용 효율적인 기회를 제공할 수 있다(Frehywot 등. 2013).
Digital technologies also can enhance learning in resource-poor environments, by making textbooks and other resources widely available, and bringing medical and teaching expertise across distances using telemedicine and tele-education. Digital distance learning resources can provide accessible, cost-effective opportunities to enhance access education in developing economies (Beux and Fieschi 2007), and concurrently enhance faculty efficiency and effectiveness (Frehywot et al. 2013).

우리는 디지털 학습 환경에 대한 연구에서 교육 분야와 사회문화 분야의 교집합을 발견했다. 이것은 놀라운 일이 아닌데, 테크놀로지가 사회문화 시스템, 규범 및 기대를 변화시키기 때문이다. 또한 [어떻게 사람과 테크놀로지가 상호작용하는지를 이해함]으로써 이익을 얻는 [사회공학적 시스템]이 등장하였기 때문이다. 이러한 맥락에서 디지털로 확장되는 광범위한 세계에 연결되어왔던 현재의 학습자가 [자연스럽게 테크놀로지를 사용할 수 있다는 것]을 인식하는 것이 중요합니다. 이것이 교수자의 디지털 테크놀로지 도입에도 변화를 가져올 수 있습니다. 동시에, 이 테크놀로지에 정통한 그룹은, 규제 및 시큐러티 요건을 이해하고 존중하는 것을 포함해, 의료에 있어서의 디지털 미디어의 한계와 위험에 대한 이해를 높일 필요가 있습니다. 3개 영역의 조사 내내 일관된 주제는 디지털 정보의 보안과 프라이버시 보호의 중요성에 있었다.환자와 학습자의 관계 여부에 관계없이 말이다.

We found overlap in research on the digital learning environment with the work in the education and sociocultural space. This is not surprising as technology changes sociocultural systems, norms, and expectations, with the sociotechnical systems that emerge from the introduction of technology benefitting from an understanding of how people and technologies interact (Coiera 2004). In that context, it is important to appreciate that learners have grown up connected to an extensively digitally augmented world, and use technology naturally. They may drive changes in the adoption of digital technology for their teachers (Franko and Tirrell 2012). At the same time, this technologically-literate group needs an enhanced understanding of the limitations and perils of digital media in healthcare, including understanding and respecting regulatory and security requirements. A consistent theme throughout the examination of the three domains was the importance of protecting the security and privacy of digital information (Rosenbaum 2010), regardless of whether it pertains to patients or learners.

디지털 학습 환경의 3차원에 대한 탐구를 바탕으로 디지털 기술을 학습 환경에 완전히 통합하기 위한 지역 기관 및 국가의 노력을 안내하기 위한 연습 포인트(박스 1)를 제공합니다.
Based on our exploration of three dimensions of the digital learning environment, we offer practice points (Box 1) to guide local institutional and national efforts to fully integrate digital technology into their learning environment.

결론들
Conclusions

급속히 진화하는 디지털 학습 환경에 대해 설명하고, 교육기관, 학습자 및 교사가 교육 및 환자 치료에 디지털 테크놀로지의 힘을 활용하기 위해 검토해야 할 과제와 함께 그 이점에 대한 관점을 제시했습니다. 디지털 커뮤니케이션, 디지털 학습 자원 및 디지털 평가의 3가지 차원을 조사함으로써 디지털 학습 환경의 정의를 더욱 명확하게 하기 위해 노력했습니다. 향후 작업은 임상 학습 환경의 디지털 영역 정의에서 더 큰 개념적 명확성을 달성하여 향후 조사와 개선 노력을 구체화하는 데 초점을 맞춰야 한다. 디지털 공간은 의학 교육의 혁신을 위한 중요한 영역이며, 이를 현재의 임상 및 교육 실무에 완전히 통합하려는 노력은 디자인 사고와 같은 혁신 패러다임의 적용으로부터 이익을 얻을 수 있다.
We described the rapidly evolving digital learning environment and offered a perspective on its benefits, along with challenges that need to be considered as institutions, learners, and teachers seek to harness the power of digital technology for education and patient care. We sought to provide added clarity to the definition of the digital learning environment by examining three dimensions: digital communication, digital learning resources, and digital assessment and evaluation. Future work should focus on achieving greater conceptual clarity in the definition of the digital domains of the clinical learning environment to help frame future investigations and improvement efforts. The digital space is a critical area for innovation in medical education, and efforts to fully integrate it into current clinical and educational practice may benefit from the application of current paradigms of innovation such as design thinking.

---

박스 1. 디지털 학습 환경에 관한 실용적인 힌트.

• 환자 및 학습자 정보의 보안과 개인 정보 보호는 무엇보다 중요합니다.
  
• 교육기관은 디지털 학습 환경에서 유창성fluency과 혁신을 추진하는 학습자와 교직원을 지원해야 합니다.
  
• 시니어 임상의는 학습자가 자주 사용하는 디지털 자원의 정확성, 타당성 및 유용성을 검토 및 관리하는 데 중요한 역할을 할 수 있습니다.
  
• 기관은 커뮤니케이션을 위한 신기술의 이용을 제한하기보다는 수용해야 한다.
  
• 혁신이 도입되면 교육 및 학습 환경에 미치는 영향을 고려해야 합니다.
  
• 리소스가 제한된 환경에 있는 학습자와 교직원은 고품질의 디지털 학습 리소스에 접근할 수 있어야 합니다.
  
• 디지털 테크놀로지는 기존 테크놀로지를 활용할 수 있도록 설계해야 합니다.

---

Box 1. Practical tips on the digital learning environment.

• The security and privacy of patient and learner information are paramount.
• Institutions should support learners and faculty who are driving fluency and innovation in the digital learning environment.
• Senior clinicians can have an important role in reviewing and curating the digital resources frequently utilized by learners for accuracy, validity, and utility.
• Institutions should embrace rather than restrict the utilization of novel technologies for communication.
• As innovations are introduced their impact on the teaching and learning environment should be considered.
• Learners and faculty in resource-constrained settings should have access to high-quality digital learning resources.
• Digital technologies should be designed to leverage existing 

 

 

---

Med Teach. 2019 Apr;41(4):385-390.

 doi: 10.1080/0142159X.2019.1567911. Epub 2019 Apr 11.

Communication, learning and assessment: Exploring the dimensions of the digital learning environment

Brent Thoma 1, Alison Turnquist 1, Fareen Zaver 2, Andrew K Hall 3 4, Teresa M Chan 5

Affiliations collapse

Affiliations

1a Department of Emergency Medicine , University of Saskatchewan , Saskatoon , Saskatchewan , Canada.

2b Department of Emergency Medicine , University of Calgary , Calgary , Alberta , Canada.

3c Department of Emergency Medicine , Queen's University , Kingston , Ontario , Canada.

4d Royal College of Physicians and Surgeons of Canada , ‎ Ottawa , Ontario , Canada.

5e McMaster Program for Education Research, Innovation and Theory (MERIT), Division of Emergency Medicine , McMaster University , Hamilton , Ontario , Canada.

PMID: 30973801

DOI: 10.1080/0142159X.2019.1567911

Abstract

Advances in technology make it possible to supplement in-person teaching activities with digital learning, use electronic records in patient care, and communicate through social media. This relatively new "digital learning environment" has changed how medical trainees learn, participate in patient care, are assessed, and provide feedback. Communication has changed with the use of digital health records, the evolution of interdisciplinary and interprofessional communication, and the emergence of social media. Learning has evolved with the proliferation of online tools such as apps, blogs, podcasts, and wikis, and the formation of virtual communities. Assessment of learners has progressed due to the increasing amounts of data being collected and analyzed. Digital technologies have also enhanced learning in resource-poor environments by making resources and expertise more accessible. While digital technology offers benefits to learners, the teachers, and health care systems, there are concerns regarding the ownership, privacy, safety, and management of patient and learner data. We highlight selected themes in the domains of digital communication, digital learning resources, and digital assessment and close by providing practical recommendations for the integration of digital technology into education, with the aim of maximizing its benefits while reducing risks.