보건인력교육(HPE)에서 학습커브(Acad Med, 2015)
Learning Curves in Health Professions Education
Martin V. Pusic, MD, PhD, Kathy Boutis, MD, MSc, Rose Hatala, MD, MSc, and David A. Cook, MD, MHPE
학습 곡선은 학습 노력 (예 : 반복 또는 소요 시간, 아래 "X 축의 유효성 : 노력, 경험 또는 실제 측정"참조)과 결과 학습 결과 간의 관계를 그래픽으로 보여줍니다. 이 개념은 워낙 널리 활용되어서, 교육자들조차 구체적인 그림을 언급하지 않고서도 학습 프로세스를 묘사할 때 사용한다(예: 가파른 학습커브). 학습 곡선과 텍스트 설명자에 깔려 있는 것은 기본적인 심리학적 진리로서 여기에는 중대한 교육적 함의가 있다.
연습은 성과를 향상시키고, 우수 실행은 성과를 더욱 향상시킵니다.
충분한 연습은 높은 수준의 성취로 이어집니다.
가장 극적인 학습은 학습 과정 초기에 발생한다.
Learning curves graphically show the relationship between learning effort (e.g., repetitions or time spent; see also “Validity of the x-axis: Measurement of effort, experience, or practice” below) and the resultant learning outcomes.1–3 The concept has become so ubiquitous that educators often use the term when describing learning processes (e.g., “a steep learning curve”) without necessarily referring to a specific figure. Underlying the learning curve and its text descriptors are fundamental psychological truths that have important educational implications:
Practice improves performance, and good practice improves performance even more;
sufficient practice leads to high levels of achievement; and
the most dramatic learning occurs early in the learning process.2,4
학습 곡선의 개념은 좁은 심리적 적용을 넘어서는 잠재적 가치를 지니고 있습니다. 많은 이유들로 인해, 교육자들이 보건 전문가들의 학습 곡선을 새로이 살펴볼 때가 있습니다.
첫째, 그리고 아마도 가장 강력한 이유는, 발달 이정표와 역량 평가를 결합하는 ACGME의 최근 강조는 자연스럽게 학습 곡선을 포함하여 개별 역량 기반 측정법을 선호한다는 것입니다.
둘째, 학습 곡선은 Deliberate Practice (DP)를 통해 습득 한 학습을 적절히 나타내며, DP는 효과적인 학습 전략으로 인식되고 있습니다.
셋째, 컴퓨터 데이터베이스에서 학습자 별 정보가 점진적으로 수집되면 학습자의 성장을 추적 할 수 있습니다. 이것은 자연스럽게 학습 곡선으로 표현할 수 있다.
마지막으로, 학습 곡선의 정량적 분석을 가능하게하는 분석 기법인 다단계 데이터 모델링이 전문적인 연구 기법에서 교육자들도 이용할 수 있는 기법이 되었다.
The concept of the learning curve holds potential value far beyond a narrow psychological application. For a number of reasons, the time is right for educators to take a fresh look at the use of learning curves in the health professions.
First, and perhaps most compelling, the recent emphasis by the Accreditation Council for Graduate Medical Education (ACGME) on pairing competency assessments with developmental milestones naturally favors individualized competency-based metrics,5 potentially including learning curves.
Second, learning curves aptly represent the learning acquired through deliberate practice, which is increasingly recognized as an effective instructional strategy.6
Third, the longitudinal collection of increasingly granular, learner-specific information in computer databases facilitates tracking learner growth over time, a process that is naturally represented as a learning curve.7
Finally, multilevel data modeling, an analysis technique that enables quantitative analysis of learning curves, has graduated from a specialized research technique to one accessible to educators.8
이 논문의 목적은 건강 전문가 교육자가 학습 곡선을보다 효과적으로 사용하여 교육, 평가 및 연구 활동을 향상시킬 수있게하는 것입니다. 우리는 학습 곡선의 해부학과 교육자에게 유용한 특성을 설명합니다. 그런 다음 모든 평가에 대한 중요한 고려 사항 인 유효성과 학습 곡선에 대한 보완책을 논의합니다. 또한 그래프 곡선을 사용하는 방법과 그 정량적 및 정 성적 평가 또는 분석 방법에 대한 개요를 설명합니다. 우리는 학습 곡선에 대한 가능한 건강 전문 직업을 논의하고, 교육 및 교육 연구에서의 유용성을 강조합니다. 마지막으로 잠재적 함정에 대해 간단히 살펴 보겠습니다.
The purpose of this article is to enable health professions educators to enhance their teaching, assessment, and research activities by using learning curves more effectively. We first describe the anatomy of a learning curve and its useful properties for educators. We then discuss validity, which is an important consideration for all assessments but is especially complicated for learning curves as they entail three separate components, each of which requires separate consideration. We subsequently describe how to graph learning curves, followed by an outline of an approach to their quantitative and qualitative evaluation or analysis. We discuss possible health professions applications for learning curves, highlighting their usefulness in instruction and education research. Finally, we end with a brief review of potential pitfalls.
학습 곡선의 해부학
Anatomy of a Learning Curve
일반적으로 학습 (또는 퍼포먼스)과 노력 (그림 1에서 DP) 간의 관계는 선형 적이 지 않습니다. 전통적으로, 학습 곡선은 학습 과정 중에 피험자 (이하 "학습자")의 위치가 변함에 따라 학습 속도 (또는 기울기)가 변함을 나타내는 과도한 또는 S 자 형태를 취할 수 있습니다. 1,3,9
예를 들어 소아 발목 방사선 사진을 해석하여 배란이 가능한지 알아 보는 경우를 보자.1 일반인이라도 일부 방사선 사진을 올바르게 해석 할 수 있으므로 기준 성능 (일반적으로 y- 절편으로 표시)은 일반적으로 0에서 시작하지 않습니다. 실습을 통해 학습자는 일반적으로 사례의 성능이 향상되는 동안 학습자가 도메인의 요소에 익숙해지는 동안 "잠재 된"단계를 보여줄 수 있습니다 ( "이 연조직 종창이 발생합니까?" "성장판 또는 골절?").
We show a generic learning curve in Figure 1. In general, the relationship between learning (or performance) and effort (or, in Figure 1, deliberate practice) is not linear. Classically, the learning curve can take the form of an ogive or S-shape indicating that the learning rate (or slope) varies as the location of the subject (hereafter “learner”) changes during the learning process.1,3,9
As an example, consider learning to interpret a pediatric ankle radiograph wherein the task is to look for a possible fracture.1 Because even a layperson can interpret some radiographs correctly, baseline performance (indicated by the y-intercept) will usually not start at zero. With practice, the learner might typically show a “latent” phase during which performance on cases hardly improves while the learner becomes familiar with the elements of the domain (“Does this soft-tissue swelling count?” “Is that a growth plate or a fracture?”).
학습 곡선의 급격한 상승 경사에 의해 입증되듯, 학습자가 기본 사항을 배웠으면 성능이 대폭 향상됩니다. 이 성장 단계에서 학습 효율성은 극대화됩니다. 즉, 학습자는 반복 할 때마다 학습에서 상당한 이득을 보입니다. 그러나 학습의 속도는 결국 속도가 느려지고 굴곡이 발생합니다. 학습 된 모든면에서 성능이 동등하게 향상되지는 않기 때문입니다. 즉, 일부 작업은 배우기가 쉽지 않습니다 .4
발목 방사선 사진의 예에서 일부 골절은 더 드물고, 지각하기가 어렵거나 본질적으로 이해하기 어렵 기 때문에 더 많은 반복이 필요합니다 그들을 배우기. 곡선은 주어진 학습 환경에서 달성 할 수있는 최대 성능을 나타내는 점근선에 점차적으로 접근합니다.
Once the learner has learned the basics, his or her performance usually improves rapidly as evidenced by an acute upward slope in the learning curve. During this growth phase, learning efficiency is maximal; that is, the learner shows significant gains in learning with each repetition. However, the rate of learning eventually slows, causing an inflection, because not all to-be-learned aspects of a task improve performance equally. In other words, some of the tasks are not as easy (or hard) to learn.4
In the ankle radiograph example, some fractures are more rare, are harder to perceive, or are inherently more difficult to understand, so it takes more repetitions to learn them. The curve gradually approaches an asymptote that represents the maximal performance achievable in the given learning context.10
학습 곡선은 개별 학습자를 위해 만들거나 함께 평균하여 학습자 그룹 간의 학습 성과의 주요 특징을 평가할 수 있습니다 .1 우리는 그룹 곡선과 달리 개별 곡선의 해석에는 별도의 고려 사항이 필요하다는 점을 강조하고자 한다. 학습 곡선 그래프 및 학습 곡선 분석 섹션을 참조하십시오.
Learning curves can be created for an individual learner or averaged together to estimate key features of learning performances among a group of learners.1 We emphasize that separate considerations apply to the interpretation of individual curves as opposed to group curves, as we discuss below in the sections entitled Graphing Learning Curves and Analysis of Learning Curves.
Figure 1
Figure 1
학습곡선의 타당도 근거
Evidence Supporting the Validity of a Learning Curve
학습 곡선이 유용한 평가 도구가되기 위해서는 교육자가 특정 평가 또는 학습 환경에서 학습 곡선의 사용을 지원하기 위해 유효성 주장을 구성 할 수 있어야합니다 .11-13 그러나 학습 곡선에 대한 타당도 주장을하는 것은 척도에 대한 각각 하나의 세 가지 유효 인수가 만들어 져야한다는 사실 때문에 조금 복잡해진다
. 이 절에서는 이들 각각을 차례로 살펴 보겠습니다.
For learning curves to be useful assessment tools, educators must be able to construct a validity argument to support the use of a learning curve in a particular assessment or learning context.11–13 However, making a validity argument for a learning curve is complicated by the fact that, in essence, three separate validity arguments must be made: one each for
(1) the measure of learning (y-axis),
(2) the measure of effort (x-axis), and
(3) the measure of how they are related (linking function).
In this section, we will consider each of these in turn.
Y축의 타당도: 학습의 척도
Validity of the y-axis: Measurement of learning
학습과 노력 간의 관계를 보여주는 학습 곡선을 위해서는 유효하고 신뢰할 수 있으며 반응이 빠른 학습 측정이 필요합니다 .13 예를 들어, 그림 2는 Maastricht 대학의 네덜란드 의과 대학 학생에게 매년 2 회 진행되는 시험의 결과를 보여줍니다. 6 년 동안 의과 대학에서 학생들은 첫해에 약 10 %의 낮은 점수에서 졸업하고 평균 70 %의 졸업률을 기록 할 때까지 매년 약 10 %의 점수를 얻었습니다. 전체 의대 학교 커리큘럼에서 학습을 모델링하기 위해 교육자는 6 년 동안의 교육에서 볼 수있는 지식 향상을 균등하게 증대하는 결과 측정이 필요했습니다.
For a learning curve to show the relationship between learning and effort, a valid, reliable, and responsive measure of learning is necessary.13 For example, Figure 2 shows the results of progress tests given twice annually to Dutch medical students at Maastricht University.14 We can see that over the six years of medical school, students progressed from a low score of approximately 10% in their first year and gained approximately 10% each year in their scores until at graduation they averaged 70%. To model the learning across the entire medical school curriculum, the educators needed an outcome measure that, in equal increments, spanned the knowledge gain seen in six years of instruction.
평가 척도의 타당성에 대한 현재의 사고는 타당성이 가설로 여겨지는 패러다임을 촉발시킨다. 연구자는 그 척도가 원하는 학습의 올바른 반영이라는 가설 (문제의 소위 "construct")을 지지하거나 반박 할 증거를 수집합니다 .11-13 증거는 여러 출처에서 파생 될 수 있습니다 .11-13
내용타당도는 일반적으로 엄격한 테스트 개발 단계를 보여주는 데이터로 구성됩니다 .12,15
다른 변수와의 관계 타당도는 다른 독립적 인 점수들과 같은 다른 사실들과 수치들과 데이터가 어떻게 관련되어 있는지를 보여준다.
응답 프로세스 타당도는 "실제로 수행 된 성과의 세부적인 성격(그리고 사고 프로세스)과 구조물 사이의 적합성"12,15을 말한다. 다시 말해, 방사선과 학습자는 모든 방사선 이미지를 전체적으로 체계적으로 검사 했습니까? 아니면 실제로 임상 연습에서 용인되지 않는 방식으로 이미지 나 지역을 건너 뛰었습니까?
Current thinking on the validity of assessment measures invokes a paradigm in which validity is viewed as a hypothesis. Investigators collect evidence to support or refute the hypothesis that the measure is a valid reflection of desired learning (the so-called “construct” in question).11–13 The evidence can derive from multiple sources.11–13
Content evidence typically comprises data showing rigorous test development steps.12,15
Evidence of relations with other variables shows how data relate to other facts and figures, such as other independently generated scores.12
Response process evidence explores the “fit between the construct and the detailed nature of performance [and thought processes] … actually engaged in”12,15; in other words, did the radiology learner systematically examine all of the radiograph images in their entirety, or did she skip images or regions in a way that would not be tolerated in actual clinical practice?
Figure 2
Figure 2
이전의 세 가지 유형의 증거는 학습 곡선의 y 축에 대해 다른 평가와 크게 다르지 않지만 마지막 두 가지 유형은 학습 곡선에 대한 특별한 고려 사항이 있습니다.
내부 구조 타당도는 신뢰성, 요인 분석 및 항목 분석과 같은 "고전적인"정신 측정 데이터를 포함합니다. 학습 효과 곡선은 바닥 효과 (즉, 낮은 영역의 점수는 변동성이 감소 함) 또는 천장 효과 (즉, 높은 점수의 변동성이 감소)로 인해 왜곡되어 예상보다 Y 축을 따라 학습 곡선이 수직 압축(more shallow)되어 나타납니다.
결과 타당도는 평가 행위의 의도되거나 의도하지 않은 영향을 평가하며, 여기에는 치료 또는 학생 배치에 대한 결정을 효과적으로 유도하는 것 등이 포함된다. 교육자들이 학습 곡선을 사용하여 어느 학생들이 off-track인지를 효과적으로 발견 할 수 있다면, 이는 유익한 결과를 가져올 것입니다.
Although these previous three types of evidence are not considerably different for the y-axis of a learning curve than for other assessments, the final two have particular considerations for learning curves.
Evidence of internal structure comprises “classic” psychometric data, such as reliability, factor analysis, and item analysis. Learning curves can become distorted in the presence of floor effects (i.e., scores at the low end of a performance scale have decreased variability) or ceiling effects (i.e., high scores have decreased variability), resulting in a learning curve that appears vertically compressed along the y-axis (more shallow) than would be expected.
Consequences evidence evaluates the intended or unintended effects of the act of assessment, such as effectively guiding decisions about remediation or student placements. If educators can use learning curves to effectively detect earlier which students are off-track, then this would constitute evidence of (beneficial) consequences.
X축의 타당도: 노력, 경험, 연습의 척도
Validity of the x-axis: Measurement of effort, experience, or practice
많은 측정이 학습 곡선의 x 축을 구성 할 수 있습니다. 일반적으로 이 척도는 반복 가능한 또는 시간 측정 또는 원하는 학습 결과와 관련이있는 것으로 알려진 기타 활동입니다. 그러나 모델링 된 컨텍스트에 따라 "경험"또는 "연습"과 같은보다 일반적인 개념도 사용됩니다. 예를 들어, 그림 2에서, 의대에서의 시간은 네덜란드 의대생을위한 척도로 사용됩니다. 그러나 시간 만 사용하면, 임상 환경과 같이 모든 시간 "단위"가 같지 않은 경우 문제가 발생하거나 결과가 잘못 될 수 있습니다.
A number of measures can constitute the x-axis of a learning curve. Typically, the measure is a countable repetition or time measure or other activity that is known to be associated with the desired learning outcome; however, more general concepts such as “experience” or “practice” are also used, depending on the context being modeled. For example, in Figure 2, the amount of time in medical school is used as the measure for the Dutch medical students. Using time alone, especially in a clinical setting where not all time “units” are equal, can result in problems or invalid results.
심전도 심전도 (ECG) 해석에서 특정 거주자는 일부 순환 (예 : 심장학) 중에 심전도 해석 (예 : 피부과)보다 심전도 해석에 대한 정보를 더 많이 습득하게되며, 곡선은 혼란스러운 변화를 보여줄 것입니다. 따라서 가능하면 경과 시간을 구조를보다 정확하게 반영하는 조치 즉 모델링되는 학습 활동에 실제로 소요 된 시간 (내용 증거)으로 대체해야합니다. ECG의 경우, 측정 값은 학생이 본 ECG의 수가 되어야 한다.
In learning electrocardiogram (ECG) interpretation, a given resident will likely learn more about ECG interpretation during some rotations (e.g., cardiology) than in others (e.g., dermatology), and if months-in-training is used as the measure, the learning curve will show confounded changes in performance. Therefore, whenever possible, elapsed time should be replaced with measures that more accurately reflect the construct—namely, time actually spent in the learning activity being modeled (content evidence). For ECGs, this measure might be counts of the number of ECGs viewed.
학습 곡선은 종종 숙련이나 연습의 연습이나 반복이 항상 피드백을 포함하는 DP과정을 나타내는 데 사용됩니다. 즉, 각 노출에는 고급 강사 또는 가이드의 의견이나 반응이 있습니다 .2 이러한 유형의 연습은 효과적이며, 전문가 수준의 의견을 반영하며, 오랜 기간 동안 사용할 수 있습니다 .2 Deliberate practice에서 타당한 척도는 반복 횟수를 정확하게 정의하고 포착할 수 있어야 하며, 학습자에게 피드백이 제공된다는 것을 확인해주는 방법을 필요로합니다.
Learning curves are frequently used to represent the process of deliberate practice, wherein the practice or repetition of a skill or maneuver always includes feedback; that is, each exposure comes with comments or reactions from an advanced instructor or guide.2 This type of practice is effortful, incorporates expert-level feedback, and is available over an extended time period.2 For deliberate practice, a valid measure will require both a means to accurately define and capture the number of repetitions and a way to ensure that feedback is available to the learner.
이 기사의 나머지 부분에서는 x 축을 학습 노력learning effort의 척도로 언급 할 것입니다. 우리는 경험, 연습, 시간 또는 반복에 우선하여 일반적으로 이 용어를 선택했다. 왜냐하면 이러한보다 구체적인 용어는 맥락따라 달라질 수 있고, 적극적 참여의 개념을 포함하지 않기 때문이다 (즉, 학생이 어떤 활동을 끝없이 반복 할 수도 있지만, 배우려고 노력하지 않는 한, 이것은 학습으로 이어지지 않으며, 따라서 학습 곡선으로 이어지지 않을 것입니다.)
Throughout the rest of this article, we will refer to the x-axis as the measure of learning effort. We have chosen this admittedly general term in preference to experience, practice, time, or repetition because these other more specific terms can be context-bound and do not necessarily include the notion of active engagement (i.e., one might repeat an activity endlessly, but unless an effort is made to learn, this will not lead to learning or, therefore, a learning curve).
관련성의 척도
Measurement of association
학습과 노력의 유효한 척도 외에 세 번째 요소는 의미있는 학습 곡선을 만드는 데 필요합니다 : linking function. 이것은 x 변수 (노력)와 y 변수 (학습 또는 성능)를 연결하는 수학 방정식으로 정의됩니다. 연결 기능의 타당성은 학습과 노력 사이의 심리 측정 적 관계의 적합성과 잠재적 인 교란 요인을 고려할 수있는 정도에 달려 있습니다 .3 링크 기능은 학습 곡선 분석 섹션에 자세히 설명되어 있습니다.
Besides valid measures of learning and effort, a third element is required to create a meaningful learning curve: the linking function. This is defined as the mathematical equation that links the x-variable (effort) to the y-variable (learning or performance). The validity of the linking function depends on the fit of the psychometric relationship between the learning and effort and the extent to which potential confounders can be taken into account.3 Linking functions will be described in detail below in the section entitled Analysis of Learning Curves.
학습곡선 그래프 그리기
Graphing Learning Curves
학습 곡선을 생성하는 데 필요한 데이터의 타당도를 고려한 후에 학습 곡선의 시각적 표현을 생성하는 작업을 살펴 보겠습니다. 주요 고려 사항에는 집단 평균과 개인차를 나타내는 방법과 학습 과제의 여러 차원을 표현하는 방법이 포함됩니다.
Having considered the validity of the data necessary to generate a learning curve, let us now turn to the task of generating a visual representation of learning curves. Key considerations include how to represent group means and individual variation, and how to represent multiple dimensions of a learning task.
첫째, 그룹 학습 곡선은 그룹 평균과 변동성 지수를 모두 나타내야합니다. 분산 측정 (예 : 표준 편차)이 없다면, 단순히 그룹의 평균 점수가 불완전한 것처럼, 그룹의 실적을 반영하기위한 학습 곡선은 이상적으로 평균 곡선과 분산의 일부 표현을 모두 포함합니다. 그림 3은 234 건의 사례를 순차적으로 해석하고 즉각적인 피드백을 받음으로써 발목 방사선 사진을 해석하는 것을 배우는 18 명의 대학원생 연수생의 이전에 발표 된 결과를 보여줍니다.
패널 A는 18 가지 개별 학습 곡선을 보여 주며,
패널 B는 18 명의 학습자 모두에 대한 평균 학습 곡선을 제공하고,
패널 C는 95 % 신뢰 구간 (CI)과 함께 그룹의 평균 곡선을 보여준다.
First, group learning curves should represent both a group mean and some index of variability. Just as a simple group average score on a test is incomplete without a measure of variance (e.g., the standard deviation), a learning curve intended to reflect the performance of a group would ideally include both an average curve and some representation of variance. Figure 3 shows the previously published results of 18 postgraduate trainees learning to interpret ankle radiographs by serially interpreting 234 cases and receiving immediate feedback.1 Specifically,
Panel A shows the 18 individual learning curves,
Panel B provides the average learning curve across all 18 learners, and
Panel C illustrates the mean curve for the group, along with the 95% confidence intervals (CIs).1
그러나 CI는 집단 수준 곡선의 범위에만 적용됩니다 (즉, 연구를 반복 할 경우 집단 수준 평균 곡선의 95 %가이 범위에 속할 것으로 예상 됨). 즉, 이것은 그룹 평균을 구성하는 개인 곡선의 변동성이 아닙니다.
Note, however, that the CIs speak only to the range of group-level curves (i.e., if we repeated the study, 95% of the group-level average curves would be expected to fall within this range) and not the variability in individual curves that comprise those group averages.
마지막으로, 그림 3, 패널 D는 중첩 된 18 개의 학습 곡선을 모두 나타냅니다. 이 표현은 전반적인 곡선이 학습 곡선 패턴을 잘 따르는 것을 볼 수 있지만 개별 학습자의 경로는 상당히 다양하다는 것을 보여줍니다. CI가 그룹 내 개인의 변동성이 아니라 가능한 평균 평균 그룹 수준 곡선의 범위에만 적용되기 때문에 95 % CI로 경계 지어진 전체 곡선은이 변동성을 완전히 나타내지는 않습니다. 따라서 학습 곡선의 분산을 표현하기 위해 그림 3의 Panel D에서와 같이 중첩 된 개별 학습 곡선을 플로팅하는 것이 좋습니다.
Finally, Figure 3, Panel D presents all 18 learning curves, superimposed. This representation shows that, although the overall curve can be seen to nicely follow a learning curve pattern, the paths of individual learners vary considerably. Note that an overall curve bounded by a 95% CI would not completely represent this variability because the CI speaks only to the range of possible average group-level curves and not the variability of the individuals within the group. Thus, to represent the learning curve variance, we recommend plotting overlaid individual learning curves, as in Figure 3, Panel D.
Figure 3
Figure 3
학습 과제의 여러 차원 (예 : 정확도, 속도 및 신뢰도와 같은 다양한 지식 또는 기술 영역)에 대한 타당한 학습 곡선을 사용할 수 있다면, 학습 곡선을 스태킹하여 고유 한 통찰력을 얻을 수 있습니다 .16 그림 4는 다차원 학습 곡선. 이 예에서 x 축과 학습자 코호트는 세 개의 모든 누적 커브에 대해 동일하지만 각 y 축은 학습 태스크의 다른 차원을 나타냅니다.이 디스플레이는 학습 곡선에서 각 발달 단계의 비교를 허용합니다. 예를 들어, 그림 4는 그룹의 학생들이 정확도가 향상되는 속도가 느려지더라도 속도는 계속 향상된다는 것을 보여주며, 반면 자신감은 시간에 따라 크게 다릅니다.
For situations in which valid learning curves are available for several dimensions of a learning task (e.g., different domains of knowledge or skill, such as accuracy, speed, and confidence), stacking the learning curves can yield unique insights.16 Figure 4 shows such a multidimensional learning curve. In this example, the x-axis and learner cohort are the same for all three stacked curves, but each y-axis represents a different dimension of the learning task.17 This display allows a comparison of the respective developmental stages in the learning curve. For example, Figure 4 shows that speed continues to improve even after students in the group have slowed in their improvements in accuracy, whereas confidence varies considerably over time.
학습 커브 분석
Analysis of Learning Curves
Figure 4
Figure 4
학습 곡선은 한 개인에 대해 계산되거나 많은 사람들에 대해 계산 될 수 있습니다. 일반적으로 기술 분석은 개별 수준에서 사용되지만 일부 정량 분석이 가능합니다. 집단 수준에서, 집단이 충분한 수의 학습자를 포함한다고 가정하면, linking mathematical function를 사용하는 통계적 모델링이 가능하다. 마지막으로, 다단계 모델링 기술은 그룹 수준의 데이터가 개별 학습자에 대한 추정치를 알려주도록 보장합니다.
Learning curves can be computed for one individual or aggregated across many. In general, a descriptive analysis is used at the individual level, although some quantitative analyses are possible. At the group level, statistical modeling using a linking mathematical function is possible, assuming the group comprises a sufficient number of learners. Finally, multilevel modeling techniques hold promise in allowing group-level data to inform estimates for individual learners.
개인 수준 분석
Individual-level analyses
개인 수준 학습 곡선의 특징은 눈에 띄는 변화입니다. 그림 3.1의 패널 A의 학습 곡선을 다시 고려하십시오. 연수생이 취한 학습 경로의 넓은 이질성은 즉시 명백합니다. 각 연수생은 서로 다른 수준에서 시작하여 234 가지 사례를 통해 서로 다른 속도로 진행되었으며 차이가 줄어들었지만 서로 다른 능력으로 마무리되었습니다.
The hallmark of individual-level learning curves is their marked variability. Consider again the learning curves in Panel A of Figure 3.1 The wide heterogeneity of the learning paths taken by the trainees is immediately apparent. Each trainee started at different levels, progressed at different rates through the 234 cases, and finished with different abilities, albeit with decreased variance.
개별 곡선의 모양은 학습자의 경로에 대한 흥미로운 정보를 제공합니다.
그들은 빨리 시작한 다음 퇴색 했습니까 (FL006)
또는 stall 하고나서 발전에 실패했습니까 (RS006, RS001)?
자격을 갖추지 못했거나 처음부터 자료를 배울 준비가되어 있었습니까 (FL009, RS002)?
실제로 몇몇 학습자들은 곡선의 일부에 음의 기울기를 보였습니다 (FL004, FL006). 이는 학습 경험에 문제가 있음을 나타냅니다.
처음부터 능숙한 학습자는 학습 곡선이 평평하거나 심지어 감소 할 수도 있습니다 (FL004).
The shape of the individual curves provides interesting information about the learners’ paths through the material—
did they start off quickly and then fade (FL006)
or stall and then fail to progress (RS006, RS001)?
Were they not qualified or sufficiently ready to learn the material from the beginning (FL009, RS002)?
Indeed, several learners had negative slopes to parts of their curves (FL004, FL006), which suggests that something was wrong with their learning experience.
Learners who are proficient from the start might have flat or even decreasing learning curves (FL004).
각 학습 곡선은 하나의 수치 평균 및 표준 편차를 기반으로 한 학습 곡선보다 더 풍부한 학습자와의 대화를위한 기초가 될 수 있습니다.
Each learning curve could be the basis for a conversation with the learner that would be richer than one based on a single numerical mean and standard deviation.
그룹 수준 분석
Group-level analyses
학습자 그룹 전반에 걸쳐 결과를 평균하면 그룹 수준의 학습 곡선이됩니다 (그림 3, 패널 B). 그러나 집단 평균 학습 곡선 관계는 개별 학습자 중 상대적으로 적은 수에 대해 유지됩니다. 그룹 학습 곡선의 유용성은 교육자가 개입이나 평가를 설계하는 데 제공하는 정보를 준다는 것에 있습니다. 그림 3, 패널 D는 그룹 레벨 학습 곡선과 함께 18 명의 방사선과 학습자 모두의 학습 곡선을 보여줍니다. 집단 수준의 학습 곡선은 고의적 인 연습의 이론에 근거하여 기대할 수있는 음의 지수 관계 (점진적으로 감소하는 기울기)의 유형을 보여줍니다.
Averaging results across a group of learners results in a group-level learning curve (Figure 3, Panel B); however, the group average learning curve relationship holds for relatively few of the individual learners. The utility of the group learning curve lies in the information that it provides to the educator designing the intervention or assessment. Figure 3, Panel D shows the learning curves of all 18 radiology learners superimposed, along with the group-level learning curve. The group-level learning curve shows the type of negative exponential relationship (progressively decreasing slope) that we would expect on the basis of theories of deliberate practice.10
비선형 회귀 기법을 사용하여 모델링 한 경우, 학습자 그룹의 학습을 최적화 할 책임이있는 교육자에게 유용한 매개 변수 추정치를 도출 할 수 있습니다. 평균적으로 학습자는 50 %의 정확도로 시작합니다. 슬로프에서 우리는 학습이 처음 100 번 반복되는 동안 최대로 배우는 것을 볼 수 있습니다. 이 학습 개입에 대한 점근선 (온라인 사례 은행)은 누적 정확도가 72 % 인 것으로 나타났습니다 .1
If modeled using nonlinear regression techniques, we can derive estimates of parameters that would be useful to an educator who has been charged with optimizing the learning of a group of learners. On average, the learners start with an accuracy of 50%. From the slope, we see that they learn maximally over the first 100 repetitions, after which learning becomes less rapid. The asymptote for this learning intervention (an online case bank) appears to be at a cumulative accuracy of 72%.1
연결 공식
Linking equations
보건 전문가 교육자가 학습 곡선을 사용하는 대부분의 상황에서 그룹 및 개인 수준의 raw 학습 곡선으로 학습을 유도하는 데 충분할 것입니다. 그러나 여러 잠재적 인 수학적 관계를 사용하여 개인 및 / 또는 그룹 학습 곡선에서 노력과 학습 간의 연결을 정량적으로 설명 할 수 있습니다 .3 연결 기능 또는 모델을 선택하는 것은 생물 의학 연구에서 수행 된 데이터 모델링과 유사한 프로세스입니다. 연구자들은 모델 "적합성 (goodness of fit)"에 대한 이론이나 측정 방법에 따라 반복적 인 과정에서 후보 모델을 시도합니다.
For the majority of situations in which a health professions educator would use a learning curve, the raw learning curves at the group and individual levels will suffice to guide learning as we have suggested; however, a number of potential mathematical relationships can be used to quantitatively describe the link between effort and learning in individual and/or group learning curves.3 Choosing a linking function or model is a process akin to data modeling performed in biomedical research, in which researchers try candidate models in an iterative process guided by theory or measures of model “goodness of fit.”18
비록 학습이 소비 된 노력의 직접적인 선형 함수는 아니지만, 선형 모델 (y = a + bX 및 y는 성능의 측정 값이고, a는 시간 0에서의 초기 성능 수준이며, b는 학습 속도이며, X는 노력의 척도 임)는 효율적인 첫 번째 근사입니다. 그러나 선형 모델은 전문 지식 규모의 최상위 수준에서 제대로 유지되지 못합니다 (그림 5).
Although learning is rarely a direct linear function of the effort expended, the linear model (in which y = a + bX and y is the measure of performance, a is the initial level of performance at time 0, b is the rate of learning, and X is the measure of effort) is an efficient first approximation. However, the linear model holds poorly at the higher end of the expertise scale (Figure 5).
대신에, power law (y = a + bX-c 및 c가 진행됨에 따라 학습에서 감속의 척도 임)에 기초한 모델은 전문가의 결론에서 "diminishing returns"현상을 더 잘 나타낼 수있다. 학습 곡선 (접근 점에 접근)에 따라, 투자 된 각 노력 단위는 성과 개선 측면에서 더 적은 이익을 반환합니다 2 (그림 5).
Instead, models based on the power law (in which y = a + bX−c and c is a measure of deceleration in learning as it progresses) are better able to represent the phenomenon of “diminishing returns” in which, at the expert end of a learning curve (approaching the asymptote), each invested unit of effort returns a smaller benefit in terms of performance improvement2 (Figure 5).
다 계층 선형 모델링은 연구자와 교육자가 그룹의 행동을 기반으로 개인 수준의 추정치를 세분화 할 수있게함으로써 약속을 유지합니다. 예를 들어, (각각의 학습 곡선의 y - 절편과 슬로프를 통해 드러나듯) 의과대학생의 학습이 레지던트의 학습과 다르다는 것을 알면, 각기 다른 학습자 그룹에 대해 주어진 수준의 역량을 달성하기 위해 얼마나 많은 숙련도가 필요한지 예측할 수 있습니다.
Multilevel linear modeling holds promise as it allows researchers and educators to refine individual-level estimates based on the behavior of the group.3,8,10 For example, knowing that medical students’ learning differs from that of residents, as illustrated by the y-intercepts and slopes of their respective learning curves, allows us to refine predictions of how much deliberate practice is required to achieve a given level of competency for the different learner groups.10
이러한 유형의 양적 "학습 분석"의 가장 큰 이점은, 재현 가능하고 타당한 학습 곡선의 생성에 적합한 문맥 내에서 학습을 개별화하기 위해 양적 예측을 사용할 수있는 능력에있을 수 있습니다. 예를 들어, 우리 방사선과의 예에서, 학습 곡선에서 학습자의 위치는 다음 사례의 난이도를 선택하는 데 사용될 수 있습니다.
The greatest benefit of these types of quantitative “learning analytics” may lie in their capacity to use quantitative predictions to adapt and individualize learning within contexts that are suited to the generation of reproducible and valid learning curves.19 To illustrate, in our radiology example, the position of the learner on the learning curve could be used to select the difficulty of the next case to be presented.
Figure 5
Figure 5
경계 조건: 커트라인 점수 또는 역량 수준 보여주기
Boundary conditions: Illustrating cut scores or competency levels
학습 곡선을 그래프로 나타 내기위한 마지막 고려 사항은 "경계 조건"또는 중요한 교육적 사건을 나타내는 학습 임계 값에 대한 아이디어입니다. 이들은 학습 곡선이 경계선을 넘어서는 경우, 중요한 교육 결과가 전달되도록 학습 시스템의 기준을 나타내는 별도의 수평선입니다.
A final consideration for graphing learning curves is the idea of the “boundary condition” or a threshold of learning that represents an important educational event. These are separate horizontal lines that represent criteria for the learning system such that, if the learning curve crosses the boundary line, an important educational result is signaled.
이러한 경계 조건의 예로는 교육자의 합의에 따라 정해진 threshold (그림 3, 패널 A에 표시)또는, 고부담 학습에서 학습속도가 충분하지 못해서 허용 할 수 정도로 실패가 발생하는 것 등이 포함됩니다. 교육 시간 동안. Grigg와 동료 20 및 Holzhey와 동료 21)는 궁극적으로 사전 정의 된 경계를 초과하는 합병증 발생률을 보여준 심장 외과의 학습 곡선의 예를보고 치료 결과를 얻었습니다.
Examples of these boundary conditions include a threshold of competency agreed upon by a consensus of educators (as shown in Figure 3, Panel A) or, in high-stakes learning, a level at which an insufficient learning rate results in an unacceptable number of failures over the time available for training. See Grigg and colleagues20 and Holzhey and colleagues21 for examples of cardiac surgeons’ learning curves showing complication rates that eventually exceeded a predefined boundary, resulting in remediation.
보건교육에 활용
Applications in Health Education
평가 매트릭으로서 학습곡선
Learning curves as an assessment metric
많은 측면에서, 학습 곡선은 이상적인 평가 척도이다. 왜냐하면 어떤면에서는 학습 평가 원칙을 입증하거나 보여줄 수 있기 때문이다 .2 학습자가 학습 곡선을 실시간으로 받으면 (즉, 과제를 수행하는 동안), 초보자에서 능숙하게가는 길을 보여주기에 충분히 세분화 될 수 있습니다 (그림 6 참조) .23
In many respects, learning curves are an ideal assessment metric because, in a sense, they can demonstrate or make manifest the principle of assessment for learning.22 If the learner receives the learning curve in real time (i.e., as he or she engages in the task), it can be sufficiently granular to demonstrate his or her path from novice to proficient (see Figure 6).23
언급 한 바와 같이,이 정보는 그룹 및 개인 레벨 모두에서 도움이 될 수 있습니다. 그룹 정보는 주어진 과제에 대한 노력과 성과 간의 관계의 전반적인 본질에 대해 교육자를 안내 할 수 있습니다. 교사는 그룹 수준의 질문 (예 :
능력을 얻기 위해 학습자가 얼마나 많은 반복을 완료해야합니까?
잠복기가 있습니까?
달성 가능한 최대 학습은 무엇입니까?
한 가지 학습 방법이 다른 학습 방법보다 효율적인 학습을 유도합니까?
가능한 한 민감하게 학습 문제를 어떻게 화면에 나타낼 수 있습니까?
As mentioned, this information can be helpful at both the group and individual levels. The group information can guide the educator in terms of the overall nature of the relationship between effort and performance for the given task. It allows educators to answer group-level questions such as,
How many repetitions must learners complete to achieve competence?
Is there a latent phase?
What is the maximum learning achievable?
Does one instructional method lead to more efficient learning than another?
How can I screen for learning problems as sensitively as possible?
평가와 학습의 긴밀한 연계시키는 것은 학습 곡선을 형성 평가에 이상적으로 만들어주며, 트랙에있는 사람들에게 안심하고 어려움을 겪고있는 사람들을 조기 발견하는 역할을합니다. 학습 곡선이 부정적으로 기울어 진 학습자 (FL004, FL006)는 그림 3의 학습자가 될 수 있습니다. 그러나 예를 들어 경계선의 사용, 실습 수준 향상을위한 역량 판단을 통한 총괄 평가가 가능하도록 학습 곡선을 사용하는 것은 잘 이해되지 못하며 향후 연구를위한 영역을 구성합니다.
The tight coupling of assessment with learning makes the learning curve ideal for formative assessment, providing reassurance for those who are on track and serving as an early detection system for those who are having difficulty. A ready example would be those learners in Figure 3 who have negatively sloped learning curves (FL004, FL006). However, the use of learning curves for summative assessment—enabling, for example, through the use of boundary lines, judgments of competence to advance to higher levels of practice—is less well understood and constitutes an area for future research.
Figure 6
Figure 6
학습곡선과 역량 프레임워크
Learning curves and competency frameworks
기술 습득의 드레퓌스 (Dreyfus)와 드레퓌푸스 (Dreyfus) 모델은 환자를 연습 할 수없는 초보자부터 최고 수준의 기능을 수행하는 반사 전문가에게 몇 단계의 단계를 거쳐 전문성 개발이 진행되는 것을 설명합니다 .Dreyfus와 Dreyfus model24는 Ericsson에 의해 확장되었는데, 개선을위한 고의적 인 노력을하지 않는다면, 연속적인 반복이 성능 향상을 가져 오지 않는 자동 레벨 ( "자동 전문가")의 전문가에 그친다고 지적했다.
The Dreyfus and Dreyfus model of skill acquisition describes expertise development as a progression through several stages from a novice who is not allowed to practice on patients to a reflective expert who functions at the highest levels and continues to improve.24 The Dreyfus and Dreyfus model24 has been extended by Ericsson,25 who points out that some experts “plateau” at an automatic level at which, absent deliberate effort to improve, successive repetitions do not lead to improvement in performance (the “automatic expert”).
Dreyfus 및 Dreyfus 및 Ericsson 전문 기술 개발 모델은 역량 개발 평가를위한 학습 곡선을 요약하는 데 유용 할 수 있습니다. 예를 들어, ACGME는 "역량 개발의 마일스톤을 명확히하는 데 의학 교육 공동체를 참여 시켰습니다."5 이정표는 순차적 진행에서 관찰 가능한 행동이며, 본질적으로 학습 곡선과 같다.
The Dreyfus and Dreyfus and the Ericsson models of expertise development can be useful in summarizing learning curves for assessing competency development. For example, the ACGME has “engaged the medical education community in articulating milestones of competency development”5 wherein the milestones are observable behaviors in a sequential progression26—in essence, a learning curve.
그림 7은 모든 연수생이 프로그램에서 동일한 시간을 보내지만, 다른 수준의 역량을 지닌 채 졸업하는 시간 중심 교과 과정과, 최종 역량 수준이 표준화되고 학습자에 따라 학습에 필요한 시간이 달라지는 역량 기반 또는 숙달 기반 커리큘럼의 차이를 비교해준다. 우리는 학습 곡선과 그 잠재적 인 용도에 대한 깊은 이해가 이러한 중요한 "능력에 관한 담론"을 개발하고 확장하는 작업을 알릴 수 있다고 믿는다.
Figure 7 shows the difference between a time-based curriculum, through which all trainees spend the same amount of time in a program but graduate with different levels of competence; and a competency- or mastery-based curriculum, through which the final level of competence is standardized and the time needed to learn is allowed to vary. We believe that a deeper understanding of learning curves and their potential uses can inform the work of developing and extending these important “discourses on competence.”27
학습곡선과 자기조절학습 지원
Learning curves to support self-regulated learning
Figure 7
Figure 7
자기 조절 학습 이론은 학습자가 학습에 대해 전략적으로 생각하고, 학습 과제에 참여하고, 스스로 모니터하고, 그에 따라 학습을 조정하는 반복 학습주기에 초점을 맞 춥니 다. 학습 곡선은 자기 조절 학습, 특히 학습의 시각적 표현이 학습 과정에 대한 더 많은 반영을 촉진 할 수 있기 때문에 자기 모니터링과 조정에 관해서는 더욱 그렇다. 9,29,30
Theories of self-regulated learning focus on an iterative learning cycle, wherein learners think strategically about their learning, engage in the learning task, self-monitor, and then adjust their learning accordingly.28 Learning curves may be helpful for self-regulated learning, especially in regard to self-monitoring and adjusting, as the visual representation of learning may encourage further reflection on the learning process.9,29,30
더욱이 학습 곡선은 학습자에게 이전의 수행과 예상되는 미래의 궤적을 보여줌으로써 자기 조절을 촉진 할 수있다 .9 학습 속도의 명시적인 표현의 영향과 학습자의 학습 지각에 미치는 영향은 상당한 관심 영역이다. , 31
Moreover, learning curves can facilitate self-regulation by showing learners their prior performance and anticipated future trajectory.9 The effect of the explicit representation of the rate of learning and how that influences the learners’ perception of challenge is an area of considerable interest.9,31
마지막으로 교육이 끝난 후에도 성능을 계속 추적할 수 있다. 교육이 끝나면 지식 또는 기술이 저하 될 수 있고, 이는 "forgetting curve"로 표현할 수있는 프로세스입니다. learning curve와 forgetting curve를 합해서 역량 개발 및 감퇴의 전체주기를 그려볼 수 있다 (그림 8), 따라서 학습자는 추가 학습이나 재교육이 필요할 때이를 인식 할 수 있습니다.
Finally, if performance continues to be tracked even after training ends, knowledge or skill may decay, a process that can be represented with a “forgetting curve.” Experience curves join learning curves with forgetting curves to plot the full cycle of competency development and decay (Figure 8), thus aiding learners in recognizing when they require additional learning or refresher training.32
문제점과 한계
Potential Pitfalls and Limitations
Figure 8
Figure 8
학습 곡선을 사용할 때 고려해야 할 몇 가지 잠재적 함정이 있습니다. 첫째, 학습 곡선 모델은 모든 통계 모델과 마찬가지로 오류 및 혼란에 취약한 근사치입니다. 비록 적합성을 테스트하면 잘못된 공식을 선택할 가능성이 줄어들지만, 상황에 대해 잘못된 학습 곡선 공식을 선택하면 모델 지정 오류가 발생할 수 있다.
There are several potential pitfalls to consider when using learning curves. First, learning curve models, like all statistical models, are approximations susceptible to errors and confounding. Model specification error will arise when the incorrect learning curve formula is chosen for a given situation, although testing for goodness of fit can mitigate the possibility of selecting the wrong formula.33
변수 생략 바이어스는 학습 곡선에 의해 표현되지 않은 "노력"의 구성 요소로 표현되는 중요한 측면이있을 때 발생합니다. 잠재적으로 누락 된 변수의 중요한 예는 학습자 동기 수준, 과제의 인식 된 가치, 자기 통제의 정도, 감정적 인 상태 등이 있다. 또한 상황 별 충실도, 스케줄링 및 보상 시스템과 같은 학습 환경 요인도 학습에 영향을 미칩니다 .35 교육자는 가능한 한 많은 정보를 수집하고이를 다 변수 학습 곡선 모델에 통합하여 정확성과 유효성을 최적화 할 수 있습니다.
Another bias, omitted-variable bias, occurs when important aspects represented in the construct of “effort” are not represented by the learning curve. Important examples of potentially omitted variables include level of learner motivation, perceived value of the task, degree of self-regulation, and emotional state.34 Further, learning environment factors, such as situational fidelity, scheduling, and rewards systems, also influence learning.35 Educators can optimize accuracy and validity by collecting as much information as is practical and incorporating it into multivariable learning curve models.
여러 변수를 검사하는 것은 교육 자료를 수집하고 분석하는 소위 "빅 데이터 (big data)"접근법에 의해 크게 촉진된다. 그러나 학습 곡선은 여전히 교란변수에 취약하다. 왜냐하면, 논의 된 바와 같이 노력의 척도, 수행의 척도 또는 연결 기능의 수준에서 교란변수가 발생할 수 있기 때문이다.
Examining multiple variables is greatly facilitated by so-called “big data” approaches to collecting and analyzing educational data.36 However, learning curves still remain especially susceptible to confounding because confounding can occur, as discussed, at the level of the measure of effort, the measure of performance, or with the linking function.
또 다른 유형의 교란변수는 교육 방법이 노력 척도와 상호 작용하는 경우이다. 예를 들어 반복 될 때마다 피로나 지루함이 증가 할 수 있기 때문에 최적의 환경에서 학습 곡선이 겉으로 드러나는 것과 비교할 때 명백하게 평평해질 수 있습니다. 평가 질문이 각각 너무나 쉽거나 너무 어려운 경우, 바닥 효과 및 천정 효과는 인위적으로 평평한 학습 곡선을 만듭니다.
Another type of confounding occurs if the instructional method interacts with the measure of effort. For example, fatigue or boredom can increase with each repetition, which can result in an apparent flattening of the learning curve compared with what it would look like under optimal circumstances. Floor and ceiling effects in which assessment questions are either, respectively, too easy or too hard result in learning curves that are artificially flat.
우리가 의미있는 학습 곡선을 생성하는 방법을 제안하기 위해 타당도 프레임 워크를 사용했지만, 주어진 교육 환경 내에서 유효한 학습 곡선을 적용하는 유틸리티는 추가적인 연구가 필요한 별도의 질문입니다. 지금까지, 주어진 학습 곡선의 특정 모양이 문제 학습자를 식별하는 데 어떻게 도움이되는지 조사한 연구자는 거의 없습니다.
Although we have used a validity framework to suggest how to generate a meaningful learning curve, the utility of applying valid learning curves within a given educational setting is a separate question that requires further research. Thus far, few researchers have examined how the specific shape of any given learning curve can serve to identify problem learners.
주어진 학습 과제를 수백 번 반복하여 신뢰할 수 있고 타당한 학습 곡선을 생성해야하는 경우, 이미 교육과정이 터지기 일보 직전인 교육자는 학습 곡선 모델을 사용해야하는 시점에 대해 선택적이어야합니다. 또한, 위에서 설명한 교란에 대한 감수성의 관점에서, 복잡한 학습 상황에 대한 학습 곡선의 적용 가능성은 더 어려울 것이다.
If hundreds of repetitions of a given learning task are required to generate a reliable and valid learning curve, then educators whose curricular programs are already filled to bursting will have to be selective as to when they should use learning curve models. Also, in view of the susceptibility to confounding described above, the applicability of learning curves to complex learning situations will likely be more difficult.
우리가 사용한 예가 유용한 이유는...
Our example learning intervention, radiograph interpretation, is useful because
each case represents a defined unit of effort,
a large number of cases are available,
each case results in a relatively dichotomous answer,
feedback is easy to deliver and measure,
the performance can be reliably measured, and
the administration of cases over time can be consistent across learners.
그러나 이러한 이상적인 상황은 대부분의 임상역량에 적용되지 않습니다. 우리의 논란은 데이터 수집의 효율성이 높아져서 의미있는 학습 곡선을 생성하는 일부 물류에 큰 데이터 접근을 허용 할 수있는시기에 이러한 한계를 탐구해야한다는 것입니다.
These ideal circumstances will not apply to a majority of the to-be-learned clinical competencies. Our contention is that these limits need to be explored, especially now, in a time when better efficiency of data collection may allow big data approaches to some of the logistics of generating meaningful learning curves.36
마지막...
Final Thoughts: Learning Curves as a Metaphor
학습 곡선은 교육용 장치 또는 평가 척도처럼 유용 할뿐만 아니라 학습 곡선은 지식 및 기술 습득을위한 체계적인 은유로서 일반적 수준에서 작동합니다.
첫째, 커브는 표준화 된 교수 설계를 통해 학습 목표를 달성하는 데있어서 개별적인 가변성을 드러낸다. 같은 교육을받는 학생들은 분명히 그 가르침을 다르게 경험하고 자신의 독특한 경험과 세상을 보는 방법에 따라 지식을 구성합니다.
둘째, 목표 달성에 필연적으로 이르는 노력의 학습 곡선 표현은 많은 보건 교육 환경에 적용됩니다.
또한 명시적으로 '노력'을 포함하는 평가 패러다임은 회복탄력성과 궁극적인 성취와 관련된 '성장형 마음가짐'에 부합하는 긍정적 인 교육 메시지를 전달합니다.
비록 출발점과 경사가 다를지라도 학습 곡선의 메시지는 궁극적으로 희망적인 것입니다. 즉, 이전에 왔던 사람들의 경로가 현재 학습자에게 알릴 수 있고 각 경로가 독특하기는하지만 열심히 노력하면 뛰어난 수준의 개인적 업적. 학습 곡선의 구체적인 예를 통해이 메시지를 강화함으로써 우리는 우리의 교육 문화를 이러한 가치관에 맞추는 부가적인 이점을 알 수 있습니다.
As useful as they might be as instructional devices or assessment metrics, learning curves also operate at a general level as an organizing metaphor for knowledge and skill acquisition.
First, the curves lay bare individual variability in learners’ attainment of an educational goal through standardized instructional designs. Different students who receive the same instruction clearly experience the instruction differently and construct their knowledge according to their own unique set of experiences and ways of seeing the world.37
Second, the learning curve representation of effort leading inexorably to goal achievement applies to many health education settings.
Additionally, an assessment paradigm that explicitly includes effort sends a positive educational message that is consistent with the growth of mind-sets correlated with resilience and ultimate achievement.38
Although the starting point and slope might vary, a learning curve’s message is ultimately a hopeful one: namely, the paths of those who came before can inform present learners and attest that, though each path is unique, hard work can reliably enable outstanding levels of individual achievement. By reinforcing this message with concrete examples of learning curves, we can see the added benefit of aligning our educational culture with these values.
2. Ericsson KA. Deliberate practice and acquisition of expert performance: A general overview. Acad Emerg Med. 2008;15:988–994
31. Guadagnoli M, Morin MP, Dubrowski A. The application of the challenge point framework in medical education. Med Educ. 2012;46:447–453
Acad Med. 2015 Aug;90(8):1034-42. doi: 10.1097/ACM.0000000000000681.
Learning curves in health professions education.
- 1
- M.V. Pusic is assistant professor, Emergency Medicine, and director, Division of Education Quality and Analytics, New York University Langone School of Medicine, New York, New York. K. Boutis is associate professor and pediatric emergency physician, Department of Pediatrics, Hospital for Sick Children, University of Toronto, Toronto, Ontario, Canada. R. Hatala is associate professor, Department of Medicine, University of British Columbia, Vancouver, British Columbia, Canada. D.A. Cook is professor, Medicine and Medical Education; director, Online Learning Development and Analysis, Center for Online Learning, Mayo Clinic College of Medicine; and consultant, Division of General Internal Medicine, Mayo Clinic, Rochester, Minnesota.
Abstract
Learning curves, which graphically show the relationship between learning effort and achievement, are common in published educationresearch but are not often used in day-to-day educational activities. The purpose of this article is to describe the generation and analysis of learning curves and their applicability to health professions education. The authors argue that the time is right for a closer look at using learning curves-given their desirable properties-to inform both self-directed instruction by individuals and education management by instructors.A typical learning curve is made up of a measure of learning (y-axis), a measure of effort (x-axis), and a mathematical linking function. At the individual level, learning curves make manifest a single person's progress towards competence including his/her rate of learning, the inflection point where learning becomes more effortful, and the remaining distance to mastery attainment. At the group level, overlaid learning curves show the full variation of a group of learners' paths through a given learning domain. Specifically, they make overt the difference between time-based and competency-based approaches to instruction. Additionally, instructors can use learning curve information to more accurately target educational resources to those who most require them.The learning curve approach requires a fine-grained collection of data that will not be possible in all educational settings; however, the increased use of an assessment paradigm that explicitly includes effort and its link to individual achievement could result in increased learner engagement and more effective instructional design.
25806621
DOI:
10.1097/ACM.0000000000000681
