임상술기 습득에 있어서 숙고 연습(DP)의 역할(BMC Med Educ, 2011)

임상술기 습득에 있어서 숙고 연습(DP)의 역할(BMC Med Educ, 2011)

The role of deliberate practice in the acquisition of clinical skills

Robbert J Duvivier1*, Jan van Dalen1, Arno M Muijtjens2, Véronique RMP Moulaert3, Cees PM van der Vleuten2 and Albert JJA Scherpbier4

배경

Background

예를 들어 체이스와 사이먼은 특정 분야의 전문가 수준에 도달하려면 10년의 집중적인 연습이 필요하다고 주장했다[4].

Chase and Simon, for example, argued that it takes ten years of intensive practice to reach expert level in a particular field [4].

에릭슨은 일, 놀이, 훈련을 구별했다[5]. 

• 일은 주로 즉각적인 금전 및/또는 사회적 보상으로 이어지는 활동을 수반한다. 

• 놀이는 명백한 목표가 없고 본질적으로 즐거운 활동을 포함한다. 

• 훈련은 특정 영역의 성능 개선을 명시적으로 지시하는 고도로 구조화된 활동으로 특징지으며 "숙고 연습"의 개념을 도입했다[6].

Ericsson made a distinction between work, play and training [5]. Work entails activities that primarily lead to immediate monetary and/or social rewards. Play involves activities that have no explicit goal and are inherently enjoyable. For training Ericsson introduced the concept of “deliberate practice”, characterising training as a highly structured activity explicitly directed at improvement of performance in a particular domain [6].

구체적인 과제는 약점을 극복하기 위해 고안되며, 퍼포먼스는 더 많은 개선을 달성하기 위한 단서들을 제공하기 위해 세심하게 모니터된다. DP는 단순히 어떤 과제의 무념무상의 반복이 아니라, 잘 정의된 목표에 도달하기 위한 훈련의 집중적인focused 접근이다. DP의 실제 구현은 몇 가지 설계 원리에 기초한다[7].

Specific tasks are invented to overcome weaknesses and performance is carefully monitored to provide cues for ways to achieve further improvement. Deliberate practice is not mere mindless repetition of a certain task, but a focused approach to training aimed at reaching a welldefined goal. Practical implementation of the theoretical construct is based on several design principles [7]:

(a) 의도된 인지 또는 정신운동 기술의 반복적 성능

(b) 엄격한 기술 평가

(c) 특정 정보 피드백

(d) 더 나은 기술 수행

(a) repetitive performance of intended cognitive or psychomotor skills

(b) rigorous skills assessment

(c) specific informative feedback

(d) better skills performance

Moulaert 외 연구진은 Ericsson의 이론적 원리가 학부 의대생들의 연구 습관에서 확인될 수 있는지를 탐구했다[16]. DP의 측면들은 지식과 기술 테스트의 결과와 긍정적인 상관관계가 있었다.

Moulaert et al. explored whether the theoretical principles of Ericsson could be identified in the study habits of undergraduate medical students [16]. Aspects of deliberate practice were positively correlated with results on knowledge and skills tests.

다른 분야의 연구에 따르면 에릭슨 이론의 원리가 테니스와 골프와 같은 정신운동 기술 훈련[17]에 적용 가능한 것으로 나타났기 때문에, DP가 임상 기술 학습 분야에서도 유익할 수 있는지 조사하는 것이 가치가 있는 것 같다.

Since research in other domains has shown that the principles of Ericsson’s theory are applicable to training in psychomotor skills such as tennis and golf[17],it seems worthwhile to investigate whether deliberate practice can be of benefit in the area of clinical skills learning too.

우리는 DP에 기반을 둔 훈련 활동이 학부 임상 기술 훈련에 효과적일 수 있다는 가설을 세웠다.

we hypothesised that training activities grounded in deliberate practice can be effective in undergraduate clinical skill training.

방법

Methods

세팅

Setting

학생들은 1, 2, 3, 5학년 말에 스킬 시험을 본다. 이것은 학생들이 서로 다른 임상 시나리오(OSCE)를 제시하는 여러 스테이션으로 구성된 수행능력기반 시험이다. 각 학생은 동일한 일련의 과제를 수행하며, 성능은 스테이션별 표준 체크리스트를 사용하여 숙련된 의사들에 의해 등급이 매겨진다. 각 체크리스트에는 학생이 만족스러운 점수를 얻기 위해 수행해야 하는 주요 항목이 포함되어 있다. 전체 OSCE 결과는 정확하게 수행된 주요 체크리스트 항목의 총 수에 기초한다.

Students take a skills test at the end of years 1, 2, 3 and 5. This is a performance-based test consisting of multiple stations where students are presented with different clinical scenarios (OSCE). Each student undertakes the same series of tasks, and performance is graded by trained physicians using station-specific standardised checklists. Each checklist contains key items that the student must perform to gain a satisfactory rating. The overall OSCE result is based on the total number of correctly performed key checklist items.

설문

Questionnaire

물라에르트가 개발한 설문은 전문지식 개발에 관한 문헌을 바탕으로 8명의 의대생과 8명의 인지심리학 및 교육과학 전문가들에 의해 검토되었다. 우리는 이 설문지를 기술 교육에 적합하도록 조정하고, 이 도메인에 대한 전송 가능성을 보증하기 위해 콘텐츠 유효성을 정당화했다. 그것은 네 명의 의대생들 사이에서 조종되었고, 네 명의 의과 교육 전문가들에 의해 검토되었고, 그들의 논평에 따라 수정되었다. 최종 설문지는 완료하는 데 약 10분이 걸렸고 리커트 5점 척도(1 = never, 5 = always)(추가 파일 1)에 대한 응답이 필요한 34개 항목으로 구성. 학생들은 설문지의 목적에 대한 구두 및 서면 정보를 받았다. 모든 학생들이 사전 동의를 했다.

Moulaert’s questionnaire was based on the literature on expertise development and reviewed by eight medical students and eight experts in cognitive psychology and educational science. We adapted this questionnaire to fit skills training, and justified the content validity to guarantee transferability to this domain. It was piloted among four medical students, reviewed by four medical education experts and modified in response to their comments. The final questionnaire took approximately ten minutes to complete and consisted of 34 items requiring a response on a five-point Likert scale (1 = never, 5 = always) (additional file 1). Students received oral and written information about the purpose of the questionnaire. All students gave informed consent.

자료 분석

Data analysis

연구질문 1

Research Question 1

우리는 적응된 설문지를 검증하기 위해 탐색 요인 분석과 신뢰성 분석을 수행했다. 추출된 요인은 의도적인 실무 측면의 결합으로 구성되었다.

We performed exploratory factor analysis and reliability analysis to validate the adapted questionnaire. Extracted factors constituted subscales of aspects of deliberate practice.

연구질문 2

Research Question 2

두 번째 연구 질문의 해답을 얻기 위해, 의도적인 실천의 측면에서 연도간 차이를 조사하기 위해 분산 분석(ANOVA)을 실시했다. 각 요인에 대한 평균 항목 점수를 계산한 후, 우리는 유형 I 오류로부터 보호하기 위해 Bonferroni 보정을 사용했다. 

In order to answer the second research question, we conducted analysis of variance (ANOVA) to investigate between-year differences in aspects of deliberate practice. After calculating mean item scores for each factor we used Bonferroni correction to safeguard against type I errors. 

우리는 코헨의 d로 표현된 모든 비교에 대한 효과 크기(ES)를 계산했다. Hojat과 Xi는 효과 크기의 실질적인 중요성을 다음과 같이 정의한다. 

ES ≈ .20: 무시할 수 있는 실질적인 중요도의 작은 효과 크기. 

ES ≈ .50: 중간 효과 크기(중간 효과 크기) 

ES ≈ .80: 중요한 실제 중요도의 큰 효과 크기 [19].

We calculated effect sizes (ES) for all comparisons expressed as Cohen’s d. Hojat and Xi define the practical importance of effects sizes as ES ≈ .20: small effect size of negligible practical importance; ES ≈ .50: medium effect size of moderate practical importance; and ES ≈ .80: large effect size of crucial practical importance [19].

연구질문 3

Research Question 3

세 번째 연구 질문에 답하기 위해, 우리는 회귀 분석을 사용하여 OSCE 결과와 어떤 측면의 의도적인 실행이 연관되어 있는지를 조사하였다.

In order to answer the third research question we used regression analysis to investigate which aspects of deliberate practice were associated with OSCE results.

우리는 3년마다 OSCE 결과의 평균 z-점수를 계산했다.

We calculated mean z-scores for the OSCE results in each of the three years.

결과

Results

기술통계

Descriptive statistics

연구질문 1: DP의 측면들

Research Question 1: Aspects of deliberate practice

표 1은 내림차 고유값의 순서로 항목을 표시한다. 요인 분석에서 네 가지 요인을 도출했다.

Table 1 shows the items in order of descending eigenvalues. The factor analysis yielded four factors:

1. 계획(높은 점수는 구조화된 방식으로 작업을 조직하는 경향이 더 강함을 나타낸다.)

2. 집중/헌신(높은 점수는 주의력 기간이 짧음을 나타냄);

3. 반복/개선(점수가 높을수록 실천 경향이 강함을 나타냄);

4. 공부 스타일/자기성찰(점수가 높을수록 자기조절 학습 경향이 강함을 나타냄)

1. planning (higher scores indicate a stronger tendency to organise work in a structured way);

2. concentration/dedication (higher scores indicate a shorter attention span);

3. repetition/revision (higher scores indicate a stronger tendency to practise);

4. study style/self reflection (higher scores indicate a stronger tendency to self-regulate learning).

연구질문 2: 서로 다른 학년간 비교

Research Question 2: Comparison between students in different years

데이터 분석 결과 계획과 반복/개정(표 2)의 두 항목별 연도 간 통계적으로 유의미한 차이가 나타났다.

The data analysis revealed statistically significant differ-ences between the years for two subscales: planning and repetition/revision (table 2).

연구질문 3: DP와 시험결과 사이의 관계

Research Question 3: Relationships between aspects of deliberate practice and test results

요인 점수와 시험 결과의 유의한 양성 상관관계는 1학년과 3학년에 small to medium 효과 크기(표 3)를 적용한 계획에서 발견되었다. 

Significant positive correlations of factor scores with test results were found for planning in Years 1 and 3 with small to medium effect sizes (table 3). 

집중력/헌신 점수는 몇 년 동안 감소하여 주의력 지속시간이 증가했음을 표시하였다. 그들은 3학년 시험 결과와 작은 효과와 중간 효과의 상당한 부정적인 상관관계를 보여주었다. 반복/개선에 대한 점수는 1학년 시험 결과와 상당히 긍정적인 상관관계를 가지며 중간 효과를 보였다.

Concentration/ dedication scores decreased over the years indicating increased attention span. They showed a significant negative correlation with test results in Year 3 with a small to medium effect. Scores on repetition/revision were significantly positively correlated with test results in Year 1, with a medium effect.

고찰

Discussion

학부 의과대학 교육 첫 3년 동안 임상 기술과 관련하여 몇 가지 측면에서 DP의 사용이 증가된 것을 보여주었다. 더 구체적으로 말하면, 학생들은 점진적으로 더 많은 계획적 행동을 보여주었으며, 업무를 구조화하는 경향을 보여주었다.

The use of deliberate practice in relation to clinical skills in the first three years of undergraduate medical education showed an increase in several aspects. More specifically, students showed progressively more planning behaviour and an increased tendency to structure their work.

학생들은 점차적으로 그들의 시간, 에너지, 자원을 더 효율적으로 사용하는 방법을 배우는 것으로 보인다. 요컨대, 그들은 배우는 법을 배우는 것 같다.

it appears that students gradually learn how to make more efficient use of their time, energy and resources. In short, they seem to learn how to learn.

주로 에릭슨과 동료들에 의한 다른 영역의 연구에 따르면, 전문 수행자들의 성공의 주요 결정요인은 [연습에 소요되는 시간]이 아니라 [개선이 필요한 수행의 측면을 특별히 겨냥한 활동에 할애하는 시간]이라는 것을 보여주었다[20]. 기본적인 기술을 처음 숙달한 후에, 어떤 유형의 연습, 예를 들어 일상적인 작업의 능숙한 실행은 더 이상의 개선으로 이어질 것 같지 않다. 다시 말해 반복 그 자체로는 충분하지 않다. 성과의 특정 측면을 의도적으로 향상시키기 위한 지속적인 노력이 있어야만 발전progress이 있다. 이 원리는 우리가 반복repetition과 시험 결과 사이에서 발견한 양성 연관성이 1년 후에도 지속되지 않은 이유를 설명할 수 있을 것이다.

Research in other domains, mostly by Ericsson and colleagues, has shown that the main determinant of success in expert performers is not the amount of time spent practising, but the amount of time devoted to activities specifically targeted at aspects of performance that need improvement [20]. After initial mastery of basic skills, some types of practice, the proficient execution of routine tasks for example, are unlikely to lead to further improvement. In other words, repetition in itself is not enough. Progress depends on sustained efforts to purposefully enhance particular aspects of performance. This principle might explain why the positive association we found between repetition and test results was not sustained after Year 1.

1학년 학생들은 이제 막 기술을 배우기 시작한 학생들은 구조와 조직에 상관없이 어떤 연습 노력으로부터 이익을 얻을 가능성이 높은 반면, 1학년 이후에는 확인된 약점에 초점을 맞추지 못하면 학습에 방해가 되는 것으로 보인다. 이것은 3학년이 되면, 노력이 효과적이기 위해서는 focused and well planned 되어야 한다는 것을 시사한다.

First year students who are just beginning to learn skills are likely to benefit from any practice effort, regardless of structure and organisation, whereas it seems plausible that a lack of focus on identified weaknesses would hamper learning after Year 1. This would suggest that efforts in Year 3 have to be focused and well planned in order to be effective.

우리가 지금까지 설명한 대부분의 학습 습관은 본질적으로 자기 주도적이며 전적으로 학생들의 학습 능력에 의존한다. 피드백은 DP의 모든 측면에 있어서 전제조건이며, 학생들의 연습practice 습관의 발달에 있어 촉진적인 역할을 한다. 그러나, 학생들이 항상 추가 연습이 필요한 영역을 인식할 수 있는 것은 아니며 [21,22]에 숙달될 다음 단계를 식별하는 데 지침이 필요할 수 있다. 에릭슨은 코치, 트레이너, 교사(스포츠, 음악, 학계에서든)가 항상 연습 활동의 선택, 순서, 형태를 지도하는 데 필수적인 역할을 할 것이라고 주장해 왔다.

Most of the study habits we have described so far are intrinsically self-directed and depend entirely on students’ ability to shape their own learning. Feedback is a prerequisite for all identified aspects of deliberate practice and plays a facilitative role in the development of students’ practice habits. It has been pointed out, however, that students are not always capable of recognising areas where further practising is needed [21,22], and may require guidance in identifying the next steps to be mastered. Ericsson has argued that coaches, trainers and teachers (whether in sport, music or academia) will always play an essential role in guiding the selection, sequencing and form of practice activities.

이것은 우리에게 이 연구의 실질적인 의미를 가져다 준다. 교육자들이 학생들에게 의도적인 연습을 할 수 있는 기술을 갖춰줌equipping함으로써 임상 기술 개발을 촉진할 수 있다는 잠정적인 결론은 정당해 보인다. 따라서 임상 기술의 가르침에는 이를 실천하기 위한 효율적인 전략의 사용이 포함되어야 한다[23,24].

This brings us to the practical implications of this study. The tentative conclusion seems justified that educators can facilitate clinical skill development by equipping students with skills to use (aspects of) deliberate practice. Thus the teaching of clinical skills should incorporate the use of efficient strategies to practise them [23,24].

이런 종류의 학습은 학생들의 완전한 협력이 있어야만 가능하다. 즉, 학생들의 적극적인 학습 참여가 요구된다. 학생들은 그들의 [기술 연습 습관skill practice habit]을 향상시키기 위해, 학습 계획과 현재 기술 및 바람직한 기술 수행능력에 평가에 도움이 되는 태도와 전략을 받아들일 필요가 있다. 이는 코스 설계자가 이러한 특성을 통합한 학습 환경을 목표로 하여 이 과정을 수용해야 함을 의미한다.

This type of learning is only possible with students’ full cooperation. In other words, it requires students’ active participation in their learning. Students need to adopt attitudes and strategies that are conducive to the planning of their learning and evaluation of their current and desired skill performance so as to enhance their habits of skill practice. This implies that course designers should accommodate this process by aiming for a learning environment that incorporates these characteristics.

여기서 유의해야 할 것은 DP(그리고 덜 자기 주도적인 학습)의 개념은 [학습자가 자신의 성과와 지식의 약점을 확인하고 이를 해결하기 위한 조치를 취할 수 있다는 가정]에 의존한다는 점이다. 이러한 기술들을 습득하기 위해서는, 관찰과 피드백이 있어야 하는데, 이것은 점차적으로 자기평가로 대체될 수 있다. 초기에, 자신의 약점은 빈번하고 적절한 (외부)평가에 의해 확인할 수 있다. 하지만, 학생들이 평생 학습자가 되기 위해서는, 그들은 차차 자기 평가 기술을 개발할 필요가 있다. 자체 평가에 관한 문헌은 의대생, 거주자 및 의사가 자신의 성과를 정확하게 판단할 수 있는 능력이 제한되어 있다고 지적했다[26-28].

It must be noted here that the concept of deliberate practice (and to a lesser extent self-directed learning) relies on the assumption that learners are able to identify weaknesses in their own performance and knowledge and take measures to address these. These skills need to be acquired through observation and feedback, which can gradually be replaced by self-assessment. Initially, this can be seen to by frequent and adequate assessment. However, for students to become lifelong learners, they need to develop self-assessment skills along the way during their training. The literature on self-assessment has pointed out that medical students, residents and physicians have limited ability to accurately judge their own performance [26-28].

최근 연구는 유능한 성과를 달성하기 위한 자기 평가의 중요성을 확인했다. Mavis 등은 현실적 자기 평가를 할 수 있고 자기 효능감이 높은 2학년 학생들은 낮은 자기 평가 학생들에 비해 OSCE에서 평균 이상의 성과를 낼 가능성이 더 높았다[29].

A recent study confirmed the importance of selfassessment for achieving competent performance. Mavis et al. showed that second-year students who were capable of realistic self-appraisal and had high self-efficacy were more likely to perform above average on OSCEs compared to low self-rated students [29].

결론들

Conclusions

이 연구는 의대생들의 초보자에서 임상 전 기술 훈련을 위한 전문가로 발전하는 데 있어 고의적인 실천의 역할을 조사했다. 1~3년차 875명(전체 학생 인구의 90%)이 작성한 이전의 연구에 근거한 설문지를 사용했다.

This study investigated the role of deliberate practice in medical students’ development from novice to expert for preclinical skill training. We used a questionnaire based on previous research, which was completed by 875 students in years 1-3 (90% of total student population).

---

BMC Med Educ. 2011 Dec 6;11:101. doi: 10.1186/1472-6920-11-101.

The role of deliberate practice in the acquisition of clinical skills.

Duvivier RJ1, van Dalen J, Muijtjens AM, Moulaert VR, van der Vleuten CP, Scherpbier AJ.

Author information

1

Skillslab, Faculty of Health Medicine and Life Sciences, Maastricht University, Maastricht, The Netherlands. r.duvivier@maastrichtuniversity.nl

Abstract

BACKGROUND:

The role of deliberate practice in medical students' development from novice to expert was examined for preclinical skill training.

METHODS:

Students in years 1-3 completed 34 Likert type items, adapted from a questionnaire about the use of deliberate practice in cognitive learning. Exploratory factor analysis and reliability analysis were used to validate the questionnaire. Analysis of variance examined differences between years and regression analysis the relationship between deliberate practice and skill test results.

RESULTS:

875 students participated (90%). Factor analysis yielded four factors: planning, concentration/dedication, repetition/revision, study style/self reflection. Student scores on 'Planning' increased over time, score on sub-scale 'repetition/revision' decreased. Student results on the clinical skill test correlated positively with scores on subscales 'planning' and 'concentration/dedication' in years 1 and 3, and with scores on subscale 'repetition/revision' in year 1.

CONCLUSIONS:

The positive effects on test results suggest that the role of deliberate practice in medical education merits further study. The cross-sectional design is a limitation, the large representative sample a strength of the study. The vanishing effect of repetition/revision may be attributable to inadequate feedback. Deliberate practice advocates sustained practice to address weaknesses, identified by (self-)assessment and stimulated by feedback. Further studies should use a longitudinal prospective design and extend the scope to expertise development during residency and beyond.

PMID:

 

22141427

 

PMCID:

 

PMC3293754

 

DOI:

 

10.1186/1472-6920-11-101