보건의료전문직교육에서 러닝 애널리틱스의 열 가지 위협: 소비자 관점(Med Teach, 2020)

보건의료전문직교육에서 러닝 애널리틱스의 열 가지 위협: 소비자 관점(Med Teach, 2020)
Ten caveats of learning analytics in health professions education: A consumer’s perspective
Olle ten Catea , Suzan Dahdalb, Thomas Lambertc, Florian Neubauerd, Anina Plesse, Philippe Fabian Pohlmannf, Harold van Rijena and Corinne Gurtnerg 

 

• 최근 JAMA는 의대생, 주니어 레지던트, 시니어 레지던트, 펠로우, 신경외과 의사로 나뉜 50명의 참가자가 각각 270개의 지표(총 300만 개 이상의 데이터 포인트)를 수집하여 250개의 모의 신경외과 수술을 연습한 후 머신러닝 알고리즘에 의해 90% 정확하게 분류되었다는 연구 결과를 발표했습니다. 저자들은 기존 시뮬레이션에는 숙련된 강사의 학습자 피드백이 필요하지만, 인공지능은 인간 평가자의 필요성을 줄여줄 수 있다고 제안합니다(Winkler-Schwartz 외. 2019).
• 2016년에 Warm 등은 신시내티 내과(IM) 프로그램에서 36개월 이내에 수집한 189명의 레지던트에 대한 364,728건의 위탁 데이터를 사용하여 교수진, 동료 및 관련 의료 전문가의 평가 간의 체계적인 차이를 보여주는 발달 및 추세에 대한 명확한 그래픽을 만들었습니다(Warm 등, 2016).
• 또 다른 신시내티 연구에 따르면 IM 레지던트의 USMLE 2단계 임상 지식 점수가 1점 상승할 때마다 미국 내과학회 인증에 합격할 확률이 6.9%씩 증가했습니다(Sharma 외. 2019).
• 또 다른 신시내티 연구에서는 1511명의 환자 전자 기록을 통해 인턴이 환자의 주치의인지 아닌지를 매우 정확하게 예측할 수 있음을 보여주었습니다(Schumacher 외. 2019).
• Saqr 등은 133명의 학생을 대상으로 추적한 초기 온라인 활동을 기반으로 학생의 최종 성적을 63.5%의 정확도로 예측하고 위험에 처한 학생을 어느 정도 예측했습니다(Saqr 등. 2017). 

Recently, JAMA published a study showing how 50 participants, divided in medical students, junior residents, senior residents, fellows, and neurosurgeons, were 90% correctly classified by a machine learning algorithm after all had exercised 250 simulated neurosurgical operations, each collecting 270 metrics (totaling over 3 million data points). The authors suggest that, while traditional simulation requires learner feedback by skilled instructors, artificial intelligence may decrease the need for human evaluators (Winkler-Schwartz et al. 2019). In 2016, Warm et al. used 364,728 entrustment data of 189 residents in the Cincinnati Internal Medicine (IM) program, collected within 36 months, and created clear graphics of development and trends showing systematic differences between faculty, peers and allied health professionals’ assessments (Warm et al. 2016). Another Cincinnati study showed that for every point increase in USMLE Step 2 Clinical Knowledge scores of IM residents, the odds of passing the American Board of Internal Medicine certification increased by 6.9% (Sharma et al. 2019). Still another Cincinnati study showed how 1511 patients’ electronic records enabled predicting with great accuracy whether or not an intern was the primary caregiver of the patient (Schumacher et al. 2019). Saqr et al. predicted student’s final grades with 63.5% accuracy and predicted at risk students to some degree based on their earlier online activity traced among 133 students (Saqr et al. 2017).

이러한 학습 분석(LA) 사례는 학습자 및 전문가에 대해 수집된 빅 데이터가 보건 전문직 교육자 및 다른 사람들에게 학습자와 학습자의 진행 상황에 대해 알려주는 역할을 하는 방법을 보여줍니다(Chan 외. 2018). 학습 분석은 개발 초기 단계에 있으며 교육 및 개별 학생에게 많은 이점을 제공할 수 있습니다. 이점은 분명하지만 LA를 사용할 때 몇 가지 단점도 있을 수 있습니다. 우리는 이러한 몇 가지 주의 사항을 파악하려고 시도했습니다.
These examples of learning analytics (LA) show how big data collected on learners and professionals serve to inform health professions educators and others about learners and their progress (Chan et al. 2018). Learning analytics is in an early phase of development and may bring many advantages to education and individual students. While benefits may be undisputed, there may also be some downsides of the use of LA. We attempted to identify some of these caveats.

연구 배경, 설정 및 방법
Background, setting, and methods

2019년 7월, 스위스 베른 대학교의 의학교육 석사 과정에 재학 중인 22명의 교육자 그룹이 네덜란드 위트레흐트 대학 메디컬 센터에 모여 보건 전문직 교육에 대한 관심 주제를 논의하기 위해 여름 수련회에 모였습니다. 이 자리에는 전문의, 일차 의료 과학자, 수의 병리학자, 마취과 교육자, 레지던트 2명, 선임 교육 학자 3명이 참석했습니다. 관심 주제 중 하나는 LA였습니다. 모든 참가자가 토론에 참여했으며, 3개 그룹과 전체 토론을 번갈아 가며 진행했습니다. 토론이 풍부하게 진행되었기 때문에 그 결과를 기사로 정리하기로 결정했으며, LA를 사용하고 조정하는 교육자의 관점, 즉 '소비자 관점'에서 바라본 LA의 주의 사항에 중점을 두었습니다. 
In July 2019, a group of 22 educators, predominantly participants of the Master of Medical Education Course of the University of Bern, Switzerland, convened for a summer retreat at University Medical Center Utrecht, The Netherlands, to discuss topics of interest for health professions education. The participants included medical specialists, a primary health care scientist, a veterinary pathologist, a nurse anesthetist educator, two residents, and three senior educational scholars. One of the topics of interest was LA. All participants engaged in its discussion, which alternated between groups of three and plenary discussions. The richness of the discussion led to the decision to consolidate its results in an article, with a focus on caveats of LA, as viewed from the perspective of an educator using and adjusting, but not developing LA, i.e. a ‘consumers’ perspective’.

토론은 세 가지 질문을 중심으로 진행되었습니다:

• 학습 분석이란 무엇인가?
• 학습 분석의 목적은 무엇인가?
• 그리고 학습 분석의 잠재적 위험은 무엇인가?

The discussion evolved around three questions:

• What is learning analytics?
• What are its purposes? and
• What are potential risks of learning analytics?

그룹은 문헌('학습과 학습이 이루어지는 환경을 이해하고 최적화하기 위한 목적으로 학습자와 그 맥락에 대한 데이터를 측정, 수집, 분석 및 보고하는 것')을 반영하는 정의에 도달했습니다(Siemens 2012). 그러나 학습자, 측정, 데이터, 분석이라는 필수 개념 외에도 학습자의 진도, 학습 과정 정보, (학습에 소요된 시간과 같은) 행동적 측면이 정의에 포함되어야 한다는 의견도 있었습니다.
The group arrived at definition features that reflect the literature (‘The measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs’) (Siemens 2012). However, the group also felt that, in addition to necessary concepts of learners, measurement, data and analysis, the definition should include learner progress, learning process information, and behavioral aspects, such as time spent on learning.

학습을 이해하고 최적화하는 것 외에도 그룹은 LA가 교육과 교육, 연구 개발을 최적화해야 한다는 데 동의했습니다. 또한, 보건 전문직 교육에서 LA는 학습을 최적화할 뿐만 아니라 궁극적으로 임상의료행위를 최적화해야 합니다.
As a purpose, besides understanding and optimizing learning, the group agreed that LA should optimize teaching and education, and its research and development. Furthermore, LA in health professions education should not only optimize learning but eventually optimize clinical practice.

마지막으로, LA를 사용할 때 의도하지 않은 부작용이나 잠재적 위험과 같은 주의 사항에 대해 중점적으로 논의했습니다. 데이터는 쉽게 수집할 수 있지만, 어려운 부분은 교육 정책에 대한 해석과 번역입니다. Gašević 등이 주장하듯이, LA 도구가 효과적이려면 인간 행동에 대한 강력한 이론적 모델을 기반으로 해야 합니다(Gašević 외. 2015).
Finally, the core discussion focused on caveats, i.e. unintended adverse consequences or potential risks of using LA. Data are easily collected; the hard part is interpretation and translations to educational policy. As Gašević et al. contend, LA tools should be based on robust theoretical models of human behavior to be effective (Gašević et al. 2015).

이러한 주의 사항은 토론 중에 플립 차트에 나열되었고, 회의가 끝난 후 필사되고 정교화되어 참가자들에게 피드백되었습니다. 회의 후 몇 주 내에 두 번째와 세 번째 라운드에서 의견과 추가 사항이 제공되었고, 그 결과 그룹이 공유할 가치가 있다고 판단한 일련의 주의 사항이 도출되었습니다. 다음으로, 전체 논문의 공동 저자로 자원한 모든 사람에게 확인된 주의 사항 중 두 가지 이상을 입증하는 과제를 부여했습니다. 이를 주 저자가 편집하여 10가지 주의 사항으로 통합했습니다. 
These caveats were listed on flip-charts during the discussion, transcribed, elaborated, and fed back to the participants after the meeting. In a subsequent second and a third round within weeks after the meeting, comments and additions were provided, resulting in a series of caveats the group found worthy of sharing. Next, all who volunteered to be co-authors on the full paper were tasked to substantiate two or more of the caveats identified. These were edited and consolidated in 10 caveats by the primary author.

소비자 관점에서의 학습 분석의 주의 사항
Caveats of learning analytics from a consumer’s perspective

표준화된 학습으로 인한 자율성 저하
Decreased autonomy through standardized learning

대량의 데이터를 수집하고 개별화된 학습 추천을 제공함으로써 개별 학습을 촉진하는 도구로 설계된 LA는 [최적의 학습이 무엇인지에 대한 인사이트]를 제공할 수 있습니다. 그러나 이러한 인사이트는 학습자 사이에서 그 이상을 충족해야 한다는 압박감을 유발할 수 있으며, 이는 스트레스를 유발하고 대안적인 학습 경로를 없애버릴 수 있습니다(Gašević 외. 2015).

• 한 가지 예로 e-포트폴리오를 들 수 있는데, e-포트폴리오는 학습자가 전자 데이터 관리 시스템에 입력한 데이터를 기반으로 교사로부터 개별화된 피드백을 받을 수 있는 기회를 제공합니다(van der Schaaf 외. 2017).
  • 반면에 학습자는 동료와 비교되고 순위가 매겨지는 것에 대한 두려움 때문에 일정량의 데이터 포인트를 입력해야 한다는 압박감을 느낄 수 있습니다.
  • 결과적으로 학습자는 지금까지 자신에게 효과적인 것으로 입증된 학습 스타일이라 할지라도 다른 사람들의 학습 방식을 반영하지 않는다는 이유만으로 학습 스타일을 변경할 수 있습니다.
  • 결과적으로 스스로 선택한 자율성 감소는 LA의 의도하지 않은 부작용으로 간주될 수 있습니다(Buckley 외. 2009; van der Schaaf 외. 2017).
• 또 다른 예로 AMBOSS 또는 의료 지식 자가 평가 프로그램과 같은 상용 플랫폼은 과거 시험의 MCQ 질문에 대한 답을 기반으로 특정 주제 학습에 대한 개별화된 권장 사항을 제공합니다(Bientzle 외. 2019).
  • 이러한 간결하고 전문적인 권장 사항은 학습자가 더 큰 그림과 학습에 대한 주인의식을 잃을 위험을 수반합니다.
  • 학습의 자율성이 감소하면 동기 부여와 학업 성취도에 부정적인 영향을 미칠 수 있습니다(Artino 외. 2010; Kusurkar 외. 2011). 

Designed as a tool to facilitate individual learning by collecting large amounts of data and providing individualized learning recommendations, LA may give insight into what optimal learning is. However, this insight may give rise to pressure among learners to meet that ideal, which can cause stress and could obliterate alternative learning paths (Gašević et al. 2015).

• One example is that of e-portfolios: they provide an opportunity for learners to receive individualized feedback by teachers based on data entered into the electronic data management system (van der Schaaf et al. 2017).
  • On the other hand, learners could feel pressured to fill in a certain amount of data points for fear of being compared to peers and ranked.
  • Consequently, they might change their learning style, even if it has proven to be effective for them so far, just because it does not reflect how (most) others learn.
  • The resulting self-chosen decrease of autonomy can be considered an unintended side effect of LA (Buckley et al. 2009; van der Schaaf et al. 2017).
• Another example is the commercial platforms such as AMBOSS (for students; https://www.amboss.com/us) or the Medical Knowledge Self-Assessment Program (for clinicians; https://mksap18.acponline.org) offer individualized recommendations to learning specific topics based on answers to MCQ questions from past exams (Bientzle et al. 2019).
  • These concise, specialized recommendations entail the risk that learners lose sight of the bigger picture and their sense of ownership of learning.
  • A decrease in autonomy of learning may have adverse effects on motivation and academic performance (Artino et al. 2010; Kusurkar et al. 2011).

학습 자원의 다양성 감소
A decrease in the variety of learning resources

학습 리소스는 계속 증가하고 있고 학생들은 과거보다 훨씬 더 다양한 리소스 중에서 자신의 선호도에 맞게 선택할 수 있지만, LA는 학생들을 가장 효율적이거나 효과적인 리소스로 강하게 유도할 수 있습니다. 주의할 점은 그룹 전체(또는 '평균' 학생)에 대한 '가장 효율적이거나 효과적인'은 스타일과 선호도의 개인차를 숨길 수 있다는 것입니다(Newble and Clarke 1986; Newble and Entwistle 1986). 평가의 요구 사항을 충족하기 위해 학생들은 종종 전략적 학습 접근 방식을 찾습니다(Taylor와 Hamdy 2013). 시스템을 게임하기 위해 학생들은 '검증된' 효과가 있는 리소스를 빠르게 찾고 교환하여 학습 리소스의 폭을 좁히고 다양성을 떨어뜨릴 수 있습니다. LA의 매혹적인 '입증의 힘'은 비주류 학습 접근 방식이 더 나은 개별 학생들을 오도할 수 있습니다.  
While resources for learning keep increasing and students can choose from a much larger variety to match their preferences than in the past, LA may strongly direct students toward the most efficient or effective sources. A caveat is that ‘the most efficient or effective’ for the group as a whole (or the ‘average’ student) may conceal individual differences in style and preference (Newble and Clarke 1986; Newble and Entwistle 1986). To meet the demands of their assessment students often seek strategic learning approaches (Taylor and Hamdy 2013). To game the system students may quickly seek and exchange resources with a ‘proven’ effect, thus narrowing down the breadth of learning resources and impoverishing its variety. The seductive ‘power of proof’ from LA can mislead individual students who would be better served with a non-mainstream approach to learning.

의도하지 않은 효율성 결과
Unintended efficiency consequences

LA가 가장 효과적이고 효율적인 학습 행동을 정의하면 규제 당국은 평균보다 짧은 학습 궤적을 반영하여 이 행동을 표준으로 간주하고 싶은 유혹을 받을 수 있습니다. 결국 교육(및 학습)에 할당된 시간과 비용이 감소하는 방향으로 나아갈 수 있습니다. 의학교육은 개인뿐만 아니라 지역사회를 위해서도 길고 비용이 많이 들기 때문에 효율성이 높아지고 기간이 단축되면 환영받을 것입니다. 거의 모든 분야에서 데이터 분석을 통해 효율성을 높일 수 있습니다. 문제는 학습 속도가 실제로 빨라질 수 있는가 하는 것입니다(10 Cate 외. 2018). 효율성을 높이고 평균적인 학생과 일치하거나 능가해야 한다는 압박은 스트레스를 유발하고 학생들 간의 경쟁을 심화시킬 수 있습니다. 이미 위태로운 상황에 처해 있는 학생의 웰빙이 더 이상 위태로워져서는 안 됩니다(Mata 외. 2015; Rotenstein 외. 2016). 의료 서비스 개선을 위한 '4중 목표' 중 하나인 '의료 전문가의 웰빙' 역시 학생을 고려해야 합니다. 
Once LA has defined the most effective and efficient learning behavior, regulators may be tempted to regard this behavior as the norm, reflecting a shorter than average learning trajectory. There may eventually be a push toward a decrease in time and money allotted to education (and thus to learning). Medical education is long and expensive, for the individual as well as for the community, so any increase in efficiency and decrease in length will be welcomed. Data analytics in almost any branch drive to increase efficiency. The question is whether learning can really be sped up (ten Cate et al. 2018). Pressure on students to increase efficiency, and to match or exceed the average student, can cause stress, and increased competition among students. Student wellbeing, already at stake (Mata et al. 2015; Rotenstein et al. 2016), should not be further jeopardized. Wellbeing of health professionals, one of the ‘quadruple aims’ for improvement of health care (Bodenheimer and Sinsky 2014), should also regard students.

교사의 시간 투입 증가
Increased time commitment from teachers

LA는 방대한 양의 데이터를 수집해야 하므로 많은 수의 평가가 필요합니다. 현재 역량 기반 의학교육(CBME) 프로그램에서는 교육생 역량을 평가하고 커리큘럼 내에서 교육생 진도에 대한 결정을 내리기 위해 이미 많은 정성적, 정량적 데이터가 생산되고 있습니다. 그러나 LA에서는 더 많은 수의 데이터 포인트가 필요하기 때문에 평가의 목적이 [학습자와 교사를 위한 직접적인 혜택]에서, 데이터베이스에 제공하기 위해 데이터를 축적하는 보다 [관리적인 목표]로 바뀔 수 있습니다(Chan et al. 2018). 이러한 데이터 수집 과정은 교사에게 부담을 줄 수 있습니다. 데이터를 생성하는 것 자체가 하나의 작업이 되어 수업에서 시간과 에너지 자원을 빼앗고 평가 피로를 유발할 수 있습니다(Barrett 외. 2018). LA의 장기적인 이점이 존재할 수 있지만, 자신의 가르침에 대한 즉각적인 가시적 가치가 부족하면 좌절감과 열정을 잃을 수 있으며 실제로 학생에 대한 피드백의 질을 저해할 수 있습니다. 교사의 의사 결정에 도움이 되려면 데이터가 이해하기 쉬워야 하며, 단순한 양만으로는 이러한 목적에 부합하지 않을 수 있습니다(Chan 외. 2018). 
LA requires massive amounts of data to be collected, thus making a large number of evaluations necessary. In the current competency-based medical education (CBME) programs much qualitative and quantitative data is already being produced in order to assess trainee competencies and to make decisions about their progression within the curriculum. As LA requires an increased number of data points; however, the purpose of evaluations may shift from a direct benefit for the learner and teacher toward the more managerial goal of amassing data in order to feed a database (Chan et al. 2018). The process of this data collection may burden teachers. Creating the data becomes a task in itself, which can take time and energy resources away from teaching and may lead to evaluation fatigue (Barrett et al. 2018). Although long-term benefits of LA may be present, the lack of an immediate visible value for one’s own teaching could lead to frustration and loss of enthusiasm and actually impede the quality of feedback to students. To serve decision making by teachers, the data need to be comprehensible; the mere volume of it may not serve that purpose (Chan et al. 2018).

학습자의 진도를 평가할 수 있는 '유효한' 정보 소스의 감소
A decrease of ‘valid’ information sources to assess learner progress

역설적이게도, LA는 가급적이면 많은 주제에 걸쳐 많은 소스의 빅 데이터를 사용하지만, 분석이 다른 소스를 희생하면서 학습 결과를 가장 잘 예측하는 소스를 최적화하려고 시도할 수 있기 때문에, 학습자 평가가 이러한 데이터 소스 중 더 많은 것에 초점을 맞추기보다는 더 적은 것에 집중할 위험이 있을 수 있습니다. Winkler-Schwarz 등이 측정한 270개의 지표 중 머신러닝 알고리즘은 6~9개를 선택하여 성과 평가에 포함시켰습니다(Winkler-Schwarz 외. 2019). 그러나 근거 기반 환자 관리 프로토콜이 모든 개별 환자에게 최적이 아닌 것처럼, 그룹을 기반으로 한 추론이 모든 개인에게 항상 최적은 아닐 수 있습니다. 
Paradoxically, while LA uses big data, preferably from many sources across large numbers of subjects, there may be a risk that learner assessment will focus on less rather than more of these data sources, because the analysis may attempt to optimize the sources that predict outcomes of learning best, at the cost of other sources. Of the 270 metrics measured by Winkler-Schwarz et al., machine learning algorithms chose 6 to 9 to include in performance evaluation (Winkler-Schwartz et al. 2019). However, inferences based on groups may not always be optimal for all individuals, just like evidence-based patient management protocols may not be optimal for all individuals patients.

임상 현장에서 학습자의 행동을 문서화하는 e-포트폴리오는 데이터 포인트가 많기 때문에 학습자에 대한 정확한 그림을 제안할 수 있다고 생각할 수 있지만, 이러한 데이터 중 일부는 정확하지 않을 수 있습니다. '가비지 인 가비지 아웃'은 너무 냉소적인 시각일 수 있지만, 집계된 포트폴리오 데이터에서 도출된 결론의 정확성이 잘못될 수 있다는 점을 인지해야 합니다. 집계된 포트폴리오 데이터가 항상 잘 해석되는 것은 아니며(Oudkerk Pool 외. 2018), 데이터 자체의 타당성이 부족할 수도 있습니다. 학생이 관찰 순간과 관찰자를 선택할 수 있고, 평가하는 임상 스태프가 부주의하거나 성급하거나 기분과 성격에 과도하게 영향을 받거나 인지적으로 과부하가 걸린 경우 항목이 선택적으로 작성되었을 수 있습니다(Paravattil and Wilby 2019). 훌륭한 임상 책임자는 포트폴리오 정보를 평가하는 직원들 사이에서 '비둘기와 매파'를 알고 있으며, 모든 정보를 똑같이 타당한 것으로 받아들이지 않고 해석해야 합니다. 포트폴리오 데이터를 신중하게 검토하지 않으면 이러한 수정이 이루어지지 않을 수 있습니다.  
E-Portfolios that document learner behavior in the clinical workplace may suggest building an accurate picture of the learner, because of the large number of data points, but some of these data may not be accurate. ‘Garbage-in-garbage-out’ maybe a too cynical view, but we should be aware of the possibility of false accuracy of conclusions drawn from aggregated portfolio data. While aggregated portfolio data are not always well interpreted (Oudkerk Pool et al. 2018), the data itself may lack validity. Entries may have been selective if the student can choose observation moments and observers, and if clinical staff who rate are careless, hasty, unduly affected by mood and personality or cognitively overloaded (Paravattil and Wilby 2019). A good clerkship director knows the ‘doves and hawks’ among the staff who assess and should interpret portfolio information, rather than accept all information as equally valid. Without carefully weighing portfolio data, such corrections may not happen.

학습 분석이 최종 임상 성과와 맞지 않을 수 있음
Learning analytics may misalign with eventual clinical performance

'도구가 망치라면 모든 것이 못처럼 보인다'는 매슬로우의 옛 속담은 LA의 경우 어느 정도는 사실일 수 있습니다. 수집하기 쉬운 온라인 행동 및 필기 시험 점수와 같은 학습 분석 데이터는 교육의 궁극적인 목적인 전문 환경에서의 성과를 제대로 반영하지 못할 수 있습니다. LA는 교육 프로그램에서 학습을 최적화하는 데 중점을 둡니다. 이러한 학습이 필기시험을 가장 바람직한 결과 척도로 삼는 강의실 학습으로 정의되면 임상 성과 예측 변수를 놓칠 수 있습니다. 최적의 학습자가 최적의 의료인이 아닐 수도 있습니다.

• 밀러 피라미드의 하위 수준('알고 있음' 및 '알고 있음') 데이터(Miller 1990)는 많은 교수진 데이터베이스에서 쉽게 구할 수 있지만 임상 성과를 잘 반영하지는 못합니다.
• 마찬가지로, 교육 연속체의 다른 쪽 끝에서는 전문 위원회가 개발한 필기 시험을 기반으로 한 인증 유지가 실제 진료 품질 유지에 대한 유용성이 낮고(Weinberger 2019),
• 평생 의학 교육 과정의 효과에 대한 지식이 대부분 Kirkpatrick 평가 계층 구조의 가장 낮은 수준의 데이터로 제한되어 있다는 비판을 받고 있습니다(Tian et al. 2007).

학습자, 의사 및 교육자에게 피드백을 제공하기 위해 이러한 '망치와 못'을 사용하면 적절한 데이터가 수집되지 않아 임상 실습의 중요한 구성 요소에 집중하지 못할 수 있습니다. 임상 성과에 진정으로 초점을 맞춘 더 많은 더 나은 지표가 필요합니다. LA를 가장 중요한 의료 관련 교육 성과에 맞추는 것은 아직 초기 단계에 있습니다(Bakharia 외. 2016).

Maslow’s old saying ‘if your tool is a hammer, everything looks like a nail’ might hold true, to a certain extent, for LA. Learning analytics data such as online behavior and scores on written tests, which are easy to collect, may poorly reflect the ultimate purpose of training: performance in a professional environment. LA is focused on optimizing learning in educational programs. If such learning is defined as classroom learning with written examinations as the most desirable outcome measure, predictors of clinical performance may be missed. The optimal learner may not be the optimal medical practitioner.

• Data at lower levels of Miller’s Pyramid (‘Knows’ and ‘Knows how’) (Miller 1990) are readily available in many faculty databases but do not reflect clinical performance very well.
• Likewise, at the other end of the educational continuum, maintenance of certification based on written exams developed by specialty boards has been criticized because of their low usefulness for the actual maintenance of practice quality (Weinberger 2019) and
• knowledge about the effectiveness of continuing medical education courses is mostly limited to data from the lowest levels of the Kirkpatrick evaluation hierarchy (Tian et al. 2007).

Using these ‘hammers and nails’ for feedback to learners, physicians and educators may distract from important components of clinical practice, simply because appropriate data is not collected. There is a need for more and better metrics that truly focus on clinical performance. Aligning LA with the most important, health care related outcomes of education is still in its infancy (Bakharia et al. 2016).

LA가 개인 정보 및 데이터 보호에 미치는 영향
Impact of LA on privacy and data protection

학습 행동에 대한 권장 사항을 최적화하고 성공을 예측하기 위해 LA는 학습자에 대한 데이터를 가능한 한 많이 수집해야 합니다. 여기에는 학습이 이루어지는 장소와 시간, 휴식 시간 및 횟수, 온라인 키보드 동작, 심지어 생리적 매개변수와 같은 매우 개인적인 측정값이 포함될 수 있습니다. 복강경 수술 중 시선추적은 이제 수술 기술을 평가하는 데 사용되었습니다(구나와데레나 외. 2011). 얼굴 인식과 인간 활동 인식은 다양한 센서와 다양한 이유로 인간 행동에 대한 지극히 개인적인 데이터를 식별하는 데 사용될 수 있습니다(Kabassi and Alepis 2019; Lu et al. 2017; Ravi et al. 2017). 이러한 데이터의 존재만으로도 의도하지 않은 목적으로 데이터를 사용하려는 관심을 불러일으킬 수 있습니다. 학습자의 개인 정보를 보호하려면 LA 데이터 수집, 저장, 사용 및 삭제의 한계를 결정하는 규칙이 필요합니다. 데이터의 소유권과 주권 및 데이터 사용은 중요한 문제이며 반드시 해결해야 할 문제입니다.

• 어떤 데이터를 언제, 어떤 의도로 분석할지 결정할 수 있는 사람 또는 이사회는 누구입니까?
• 동의를 받은 후 데이터의 사용 목적을 조정할 수 있나요?
• 동의는 정기적으로 갱신해야 하나요?
• 데이터 수집이 코스 등록의 조건이 될 수 있나요, 아니면 학습자가 동의를 거부할 수 있으며, 그럴 경우 어떤 결과가 발생하나요?

이러한 질문을 명확히 하지 않으면 데이터 오용과 원치 않는 새로운 권력 관계의 발생에 대한 두려움이 남아 있습니다. 이러한 규정에서 학생이 발언권을 갖는 것은 적절해 보입니다(West 외. 2020). 
To optimize recommendations about learning behavior and to predict success, LA must collect as much data about learners as possible. This may include very personal measures, like place and time of the day when learning occurs, duration and number of breaks taken, online keyboard behavior, possibly even physiological parameters. Eye tracking during laparoscopic surgery has now been used to assess surgical skills (Gunawardena et al. 2011). Face recognition and Human Activity Recognition can be used to identify extremely personal data of human behavior through various sensors and for various reasons (Kabassi and Alepis 2019; Lu et al. 2017; Ravi et al. 2017). The mere existence of such data may evoke interest to use them for unintended purposes. Rules determining the limits of LA data collection, storage, use, and deletion are needed to protect the privacy of learners. Ownership and sovereignty of data and its use are crucial issues and need to be addressed.

• Which person or board can decide which data will be analyzed when and with which intention?
• Can the intended use of data be adjusted after consent was given?
• Must consent be renewed on a regular basis?
• Can data collection be a condition for course enrolment or can learners refuse to give consent and what consequences will that have?

Without clarification of these questions, a fear of data misuse and the development of new but possibly unwanted power relationships remains. It seems pertinent that students have a say in these regulations (West et al. 2020).

문서화된 실패의 불가피성
The inescapability of documented failures

모든 학생은 오류와 실수를 통해 학습하고 숙련된 교사의 건설적인 구두 피드백을 통해 교정받을 자격이 있지만, 작업장 기반 평가 및 피드백에서 전자 문서화가 증가하면 시도, 작은 실수 및 오류에 과도한 가중치를 부여할 수 있습니다. 많은 학생이 문서화된 피드백이 의도한 것보다 더 총괄적이라고 느낍니다(Bok 외. 2013; Heeneman 외. 2015). 모든 행동을 문서화하면 관찰된 모든 실패가 정보 클라우드에 영원히 남는다는 단점이 있기 때문에 이를 비난할 수는 없습니다. 과거의 실수가 미래의 학생에게 불리하게 작용할 수 있다는 단순한 생각은 사실 여부와 상관없이 학생들의 개방성과 학습의 즐거움에 해로운 영향을 미칠 수 있습니다(Dyer and Cohen 2018). 고등 교육을 위한 '온라인 자기 보호'에 관한 최근 보고서에서 Bond와 Phippen은 많은 관할권의 검색 엔진과 마찬가지로 '잊혀질 권리'에 관한 규칙을 권고합니다(Bond and Phippen 2019). 이는 특히 학생 포트폴리오에 대한 대규모 데이터 수집과 프로그램 평가의 진행 상황 모니터링(Van Der Vleuten 외. 2015)이 주를 이루는 경우와 관련이 있습니다. 새로운 출발을 위해 학생의 기록을 '정리'하는 옵션은 성공적인 교정 후 조치에 포함될 수 있습니다. 
While all students learn through errors and mistakes and deserve to be corrected with constructive oral feedback by skilled teachers, the increased electronic documentation in workplace-based assessment and feedback may give undue weight to attempts, small mistakes, and errors. Many students feel documented feedback to be more summative than was intended (Bok et al. 2013; Heeneman et al. 2015). They cannot be blamed for that, as the flipside of documenting all of the behavior is that all of their observed failures will remain forever in the information cloud. The mere idea that mistakes in the past can be held against students in the future, true or not, can have detrimental effects on their openness and their fun of learning (Dyer and Cohen 2018). In a recent report on ‘online self-guarding’ for higher education, Bond and Phippen recommend a rule concerning the ‘right to be forgotten’ (Bond and Phippen 2019) as is the case for search engines in many jurisdictions. This is particularly relevant when massive data collection for student portfolios and monitoring of progress in programmatic assessment (Van Der Vleuten et al. 2015) becomes dominant. The option to ‘clean’ a student’s record in order to grant a new start may be incorporated in measures after successful remediation.

LA의 호손 및 시간 지연 효과
Hawthorne and time-lag effects of LA

교육과 같은 복잡한 적응 시스템에서는 학습자에게 피드백되는 LA 측정 정보가 학습자의 행동을 변화시킬 수 있습니다. 따라서 개인이 관찰되고 있다는 인식에 반응하여 행동을 수정할 때 심리학 연구에서 호손 효과와 유사하게 LA 추론의 예측력이 감소할 수 있습니다. 호손 효과는 임상 과제를 직접 관찰하는 맥락에서 논의되어 왔지만(Kogan 외. 2017; Paradis and Sutkin 2017), 종단적 행동 기록에 대한 학습자의 반응은 덜 명확합니다. 그러나 기록된 온라인 행동에 따라 '성취도 미달' 또는 '위험군'(Saqr 외. 2017)으로 분류된 학생이 튜터로부터 깜짝 전화를 받은 후 온라인 행동이 어떻게 변화하여 참여와 적절한 자기 조절을 모방하게 되는지 상상하기란 어렵지 않습니다. 그들의 '온라인 이미지'는 더 이상 타당하지 않을 수 있습니다.
In a complex adaptive system such as education, the information from LA measurement fed back to learners may change their behavior. Consequently, the predictive power of LA inferences may decrease, comparable to the Hawthorne effect in psychological studies, when individuals modify behavior in response to awareness of being observed. While Hawthorne effects have been discussed in the context of direct observations of clinical tasks (Kogan et al. 2017; Paradis and Sutkin 2017), the reaction of learners to longitudinal behavior recordings is less clear. However, it is not hard to imagine how students flagged as ‘under-achievers’ or ‘at risk’ (Saqr et al. 2017) based on their documented online behavior and receiving surprise calls from a tutor, change their online behavior to mimic engagement and appropriate self-regulation. Their ‘online image’ may no longer be valid.

마찬가지로, 참조 데이터의 출처가 되는 학습 집단과 조사 대상 집단이 크게 다를 경우 LA의 예측값은 실패할 수 있습니다. 빠르게 부상하는 기술 기반 인터넷 사회(Wartman 2019), 의료 서비스의 빠른 진화, 학습 행동에 대한 새로운 습관의 출현으로 인해 이러한 시차로 인해 개별화된 학습에 대한 LA 기반 표준이 무효화될 수 있습니다. 
Similarly, the predictive value of LA could fail if the training cohort from which the reference data originate and the investigated cohort deviate significantly. Due to a rapidly emerging technology-based internet society (Wartman 2019), a fast evolution of health care, and due to the emergence of new habits in learning behavior, this time-lag might render any LA-based standards for individualized learning invalid.

LA의 점진적인 목적 변화
A gradual shift of the purpose of LA

한 가지 목적을 위해 개발된 도구는 점차 의도하지 않은 목적으로 사용될 수 있습니다. [학습자에게 피드백을 제공하기 위한 모니터링 도구나 프로그램 개선을 위한 평가 데이터]는 [데이터와 분석이 설계되지 않은 목적]으로 개인이나 프로그램의 인증, 품질 비교 또는 순위를 매기는 데 사용될 위험이 있습니다. 특히 순위매기기ranking는 방법론적 또는 이데올로기적 오류와 불공정성의 위험을 수반합니다(Powell and Steelman 2006). 문헌에는 오용 사례가 풍부하며(Cousins 2004), 데이터 누락은 심각한 결과를 초래할 수 있습니다(Chan et al. 2018; McConnell et al. 2016). 직장 기반 평가를 위해 고안된 도구가 면허 인증 획득을 위해 의무화되는 것은 상상할 수 없는 일이 아닙니다. 이러한 사용은 '학습을 위한 평가'의 초기 목적이 아니었습니다(Rogausch 외. 2012). 교육자, 교육 기관 및 인증 기관은 오용을 방지하기 위해 LA 도구와 데이터를 올바르게 사용해야 할 책임이 있습니다.
Tools developed for one purpose may gradually shift to being used for purposes that were not intended. Monitoring instruments to provide feedback to learners, or evaluation data to improve programs run the risk of becoming used for accreditation, quality comparisons or ranking of individuals or programs, purposes for which the data and analysis were not designed. Rankings, in particular, carry the risk of methodological or ideological errors and unfairness (Powell and Steelman 2006). There are abundant examples of misuse in the literature (Cousins 2004) and missing data might have severe ramifications (Chan et al. 2018; McConnell et al. 2016). It is not unthinkable that tools designed for workplace-based assessment will become mandatory to obtain license certification. Such use was not the initial purpose of ‘assessments for learning’ (Rogausch et al. 2012). Educators, educational institutions, and accrediting bodies bear a high responsibility for the correct use of LA instruments and data to avoid misuse.

토론
Discussion

커리큘럼을 개선하고 학생의 역량을 강화하기 위한 목적으로 LA를 사용하는 것은 칭찬할 만한 일이며 다른 곳에서도 많은 미덕이 강조되었습니다(Chan et al. 2018). 기술 발전에는 그 자체의 역학 관계가 있으며 이러한 발전에 의문을 제기하는 것은 의미가 없습니다. 문제는 이러한 기술과 데이터를 사용해야 하는지 여부가 아니라, 의미 있는 학습을 위해 이러한 사용을 최적화하고 학습자, 교육자 및 관리자의 요구를 충족하고 동시에 권리를 보호하는 방법입니다. 위트레흐트 회의에 모인 교육자들은 몇 가지 우려 사항을 더 많은 청중과 공유할 가치가 있다고 생각했습니다. 
The use of LA for the purpose of improving curricula and empowering students is a laudable cause and many virtues have been highlighted elsewhere (Chan et al. 2018). Technology advancements have their own dynamics and there is no sense in questioning these advancements. The question is not whether we should use such technology and data, but how to optimize this use for meaningful learning and fulfill the needs and protect the rights of learners, educators, and administrators at the same time. The educators gathered in the Utrecht meeting felt that some concerns were worth sharing with a wider audience.

우리의 운동에는 상당한 한계가 있습니다. 이 그룹은 보건 전문직 교육에 대한 고급 학위를 가지고 있거나 수료한 보건 전문직 교육자들로 구성되었지만 특별히 LA 전문가는 포함되지 않았습니다. 따라서 이 보고서는 정보에 입각한 소비자 우려에 대한 개요로 간주해야 합니다. 이 보고서는 향후 보다 다양한 전문가 패널의 합의 방법을 확립하여 보다 엄격한 연구를 위한 출발점으로 간주될 수 있습니다.
Our exercise has significant limitations. The group consisted of health professions educators with, or completing advanced academic degrees in health professions education, but did not specifically include LA experts. Our report should, therefore, be viewed as an overview of informed consumer concerns. It may be regarded as a starting point for more rigorous future studies with established consensus methods among a more diverse expert panel.

 

---

Med Teach. 2020 Jun;42(6):673-678. doi: 10.1080/0142159X.2020.1733505. Epub 2020 Mar 9.

Ten caveats of learning analytics in health professions education: A consumer's perspective

Olle Ten Cate 1, Suzan Dahdal 2, Thomas Lambert 3, Florian Neubauer 4, Anina Pless 5, Philippe Fabian Pohlmann 6, Harold van Rijen 1, Corinne Gurtner 7

Affiliations

1Center for Research and Development of Education, University Medical Center Utrecht, Utrecht, The Netherlands.

2University Hospital Bern, Bern, Switzerland.

3Kepler University Hospital Linz, Johannes Kepler University Linz, Linz, Austria.

4Institute for Medical Education, University of Bern, Bern, Switzerland.

5Institute of Primary Health Care (BIHAM), University of Bern, Bern, Switzerland.

6Faculty of Medicine, University of Freiburg, Breisgau, Germany.

7Institute of Animal Pathology, Vetsuisse Faculty Bern, University of Bern, Bern, Switzerland.

PMID: 32150499

DOI: 10.1080/0142159X.2020.1733505

Free article

Abstract

A group of 22 medical educators from different European countries, gathered in a meeting in Utrecht in July 2019, discussed the topic of learning analytics (LA) in an open conversation and addressed its definition, its purposes and potential risks for learners and teachers. LA was seen as a significant advance with important potential to improve education, but the group felt that potential drawbacks of using LA may yet be under-exposed in the literature. After transcription and interpretation of the discussion's conclusions, a document was drafted and fed back to the group in two rounds to arrive at a series of 10 caveats educators should be aware of when developing and using LA, including too much standardized learning, with undue consequences of over-efficiency and pressure on learners and teachers, and a decrease of the variety of 'valid' learning resources. Learning analytics may misalign with eventual clinical performance and can run the risk of privacy breaches and inescapability of documented failures. These consequences may not happen, but the authors, on behalf of the full group of educators, felt it worth to signal these caveats from a consumers' perspective.

Keywords: Portfolio; computer-based; information handling; trends.