어떻게 교육혁신과 역량에 대한 관심이 전공의교육에서 진료수행준비도에 영향을 주는가: 학습환경의 역할(Perspect Med Educ, 2015)

어떻게 교육혁신과 역량에 대한 관심이 전공의교육에서 진료수행준비도에 영향을 주는가: 학습환경의 역할(Perspect Med Educ, 2015)

How educational innovations and attention to competencies in postgraduate medical education relate to preparedness for practice: the key role of the learning environment

Ids S. Dijkstra · Jan Pols · Pine Remmelts · Eric F. Rietzschel · Janke Cohen-Schotanus · Paul L.P. Brand

도입

Introduction

많은 서구 국가에서, 점점 더 복잡해지는 의료전문직에 대해 연습생들을 더 잘 준비하기 위해 대학원 의학 교육(PGME)에 역량 기반 교육(CBE)이 도입되었다[1, 2]. 그러나 일부 저자들은 CBE의 이면에 있는 이론적 근거에 이의를 제기했으며 CBE를 통합하는 데 필요한 노력, 시간 및 비용의 투자가 약속을 달성할 수 있을지에 의문을 제기하였다[3–5]. 따라서, 우리는 CBE와 의사들의 독립적 실습을 위한 더 나은 준비를 위한 그것의 목적 사이의 관계를 검토하기 시작했다.

In many Western countries competency-based education (CBE) has been introduced in postgraduate medical education (PGME) to prepare trainees better for the growing complexities of the medical profession [1, 2]. However, some authors have challenged the rationale behind CBE and questioned whether the investment of effort, time and money required to incorporate CBE will achieve its promise [3–5]. Therefore, we set out to examine the relationship between CBE and its objective of better preparing physicians for independent practice.

개념 연구 모델 개발

Development of conceptual research model

CBE와 함께 포트폴리오, 비판적 주제 평가, 미니 임상 평가 연습mini CEX과 같은 다양한 교육 혁신이 PGME에 도입되었다. 이러한 혁신은 감독자와 연습생 모두 역량의 모든 영역에서 개선을 고려하고 논의하도록 격려하기 때문에, 우리는 교육 혁신이 피드백과 코칭 중에 역량에 대한 관심과 긍정적으로 관련되기를 기대한다.

Along with CBE, various educational innovations have been introduced into PGME, such as portfolios, critically appraised topics and mini-clinical evaluation exercises. Because these innovations encourage both supervisors and trainees to consider and discuss improvements in all areas of competence, we expect educational innovations to be positively related to attention to competencies during feedback and coaching.

예를 들어 의사소통자, 협력자 및 관리자의 역할을 포괄하기 위하여, 교육 범위를 의료 전문가 역할 이상으로 넓히기 위해 역량 프레임워크가 개발되었다[1]. 이러한 역량의 specification를 통해 수련자는 의료 훈련과 의료 실무의 요구를 이해할 수 있다[12]. 피드백이 학습의 중심이고 임상 성과에 긍정적인 영향을 미치기 때문에 [13, 14] 피드백과 코칭 중 다양한 역량 역할에 더욱 세심한 주의를 기울이는 프로그램의 연습생들은 [contemporary medical practice에 대하여 더 잘 준비]되었다고 느낄 수 있을 것이다. 이에 따라 [피드백과 코칭 중 역량의 영역에 대한 관심]이 [연습 준비]와 긍정적으로 관련되기를 기대한다. 우리는 [교육 혁신]과 [역량에 대한 관심] 사이에 긍정적인 관계를 기대하며, [역량에 대한 관심]과 [진료 준비] 사이에 기대되는 긍정적인 관계를 고려할 때, 우리는 또한 교육 혁신과 실천에 대한 준비 사이에 긍정적인 관계를 기대하지만, 이러한 관계 역량에 대해 갖는 관심에 의해서 매개될 것으로 예상한다.

Competency frameworks were developed to broaden the scope of education beyond the medical expert role, for instance to encompass the roles of communicator, collaborator and manager [1]. The specification of these competencies allows trainees to comprehend the demands of medical training and medical practice [12]. As feedback is central to learning and has a positive effect on clinical performance [13, 14], trainees from programmes that pay closer attention to the various competency roles during feedback and coaching can be expected to feel better prepared for the challenges of contemporary medical practice. Accordingly, we expect attention to the domains of competence during feedback and coaching to be positively related to preparedness for practice. Because we expect a positive relationship between educational innovations and attention to competencies, and given the expected positive relationship between attention to competencies and preparedness for practice, we also expect a positive relationship between educational innovations and preparedness for practice, but we expect this relationship to be mediated by attention to competencies. 

[교육적 혁신]과 [역량에 대한 관심]은 PGME 동안 연습생들을 연습에 대비시키는 모든 요인의 일부분일 뿐이다. 건전한 추론을 위해서는 다른 동등하게 중요한 요소들을 고려해야 하는데, 이는 PGME 현대화의 이러한 측면과 연습에 대한 준비성 사이의 관계를 혼란시킬 수 있다. PGME는 주로 업무 기반 학습으로 구성되기 때문에, 감독, 교육, 시설 및 분위기를 포함한 여러 가지 중요한 측면을 포괄하는 강력하고 뒷받침되는 학습 환경[15]은 경험적 학습 기회를 더 많이 제공하고, 이러한 경험을 반영하고 배울 수 있는 더 많은 지원을 제공할 가능성이 있다. 이러한 학습환경은 다양한 역량의 역할을 적용할 수 있는 기회를 재발견한다. 

Educational innovations and attention to competencies only represent a part of all the factors that prepare trainees for practice during PGME. To make sound inferences, other equally important factors have to be taken into account, which could confound the relationship between these aspects of PGME modernization and preparedness for practice. Because PGME predominantly consists of workbased learning, a strong and supportive learning environment encompassing many important aspects—including quality of supervision, teaching, facilities and atmosphere [15]—is likely to provide 

• more opportunities for experiential learning, 

• more support to reflect on and learn from these experiences, and 

• more opportunities to apply the various competency roles. 

따라서 학습 환경의 강점이 진료 준비와 긍정적인 관계가 있을 뿐만 아니라 역량에 대한 주의와 연습 준비 사이의 관계를 조정해 줄 것으로 기대한다.

Accordingly, we expect that the strength of the learning environment is not only positively related to preparedness for practice but we also expect it to moderate the relationship between attention to competencies and preparedness for practice.

마지막으로, 누군가가 연습에 대해 준비가 되었다고 느끼는지 여부는 또한 개인의 고유한 특성과 마인드 세트에 따라 달라질 것이다. 사회적 인지 이론에 따르면, 자기효능감 인식은 행동에 영향을 미치는 지배적인 요인이다[16]. 전반적 자기효능감이 높은 개인은 일관되게 자신을 다양한 환경[17]에서 요구를 충족할 수 있는 것으로 보고 있으며, 이것이 바로 우리가 실습을 위한 준비성과 긍정적으로 관련이 있을 것으로 기대하는 이유다. 앞에서 언급한 기대 관계는 함께 그림 1에 묘사된 우리의 개념 연구 모델을 형성한다. 

Finally, whether someone feels prepared for practice will also depend on the inherent qualities and mind-set of the individual. According to social cognitive theory, perceived self-efficacy is a predominant factor that influences behaviour [16]. Individuals high in general self-efficacy consistently view themselves as capable of meeting demands in multiple environments [17], which is why we expect self-efficacy to be positively related to preparedness for practice. Taken together, the aforementioned expected relationships form our conceptual research model, which is depicted in Fig. 1.

방법

Methods

맥락과 참여자

Context and participants

측정

Measures

91개의 의료전문가 업무의 일반 목록을 사용하여 실천요강을 측정하였다[20]. 응답자들은 자신의 훈련 프로그램이 이러한 과제를 얼마나 잘 준비했는지를 평가하도록 요청 받았다. 더 구체적으로, 응답자들은 '내 전공의 교육 프로그램이 나를 잘 준비시켰다'는 말에 대해 1에서 5까지 리커트에 이르는 5점짜리 리커트 척도로 응답하거나, 그들이 그들의 실무에서 그러한 과제에 요구받은 적이 없었음을 나타내도록 요청 받았다.

Preparedness for practice was measured using a generic inventory of 91 medical specialist tasks [20]. Respondents were asked to rate how well their training programmes had prepared them for these tasks. More specifically, respondents were asked to respond to the statement ‘my postgraduate training programme prepared me well for… [Task]’ on a 5-point Likert scale ranging from 1 (strongly disagree) to 5 (strongly agree), or to indicate that they had not encountered such a task in their practice.

실무에 대한 인식된 대비는 직무 수행 능력과 능력에 대한 일반적인 신뢰에 의해 영향을 받을 수 있기 때문에, 슈바르처와 예루살렘의 일반 자기효능 척도는 주제 간 효과의 균형을 위한 제어 변수로 포함되었다[21]. 설문지는 4점 리커트 척도로 점수가 매겨진 10개의 항목으로 구성되어 있다. 1(강력하게 동의하지 않음)부터 4(강력하게 동의함). (예를 들어, 문제에 직면했을 때, 나는 보통 몇 가지 해결책을 찾을 수 있다.)

Since perceived preparedness for practice may be influenced by general confidence in the ability and capacity to accomplish a task, the Schwarzer and Jerusalem general self-efficacy scale was included as a control variable to balance its effect across subjects [21]. The questionnaire consists of 10 items scored on a 4-point Likert scale ranging from 1 (strongly disagree) to 4 (strongly agree). (e.g. When I am confronted with a problem, I can usually find several solutions).

CanMEDS 프레임워크는 네덜란드의 PGME[1]에 사용된다. 7개 CanMEDS 역량에 대한 관심은 참가자들에게 모든 역량의 1개 보고서에 대한 그들의 동의에 대한 평가를 요청함으로써 평가되었다. (7개 항목: '내 대학원 교육 프로그램 동안, 역량에 대한 관심이 일관되게 집중되었다.... [예. 코칭과 피드백 과정에서'라는 프로페셔널리즘' 답변은 리커트 5점 만점으로 평가될 수 있다. 리커트 1(강력하게 동의하지 않음)부터 5(강력하게 동의함).

The CanMEDS framework is used for PGME in the Netherlands [1]. The attention to the 7 CanMEDS competencies was assessed by asking participants to rate their agreement to 1 statement for every competency role (7 items): ‘During my postgraduate training programme, attention was consistently paid to the competency… [e.g. Professionalism] in the course of coaching and feedback.’ Answers could be rated on a 5-point Likert scale ranging from 1 (strongly disagree) to 5 (strongly agree).

2004년에 최초의 네덜란드 PGME 프로그램이 역량에 기반하게 되었다. 2011년부터 CBE는 모든 PGME 프로그램에 대해 의무화되었으며, 이 요구사항은 네덜란드 PGME 프로그램에 대한 2011년 국가 지침에 기록되었다[22]. 이 지침을 사용하여, 저자들은 레지던트, 프로그램 리더 및 교육 컨설턴트와 다음을 논의했다. "이 요구사항 중 네덜란드 PGME에서 발생한 일반적인 변화사항은 무엇"이며, "어떤 것이 이전 지침의 요구사항과 근본적으로 다른가?". 이 결과 6개의 교육 혁신 목록이 나왔다(표 1). 설문지는 응답자들에게 위에서 설명한 대로 리커트 척도로 이 6가지 혁신의 사용을 평가하도록 요청하였다(예: 대학원 교육 프로그램 중... 미니 임상평가 연습을 바탕으로 피드백을 받았다.)

In 2004, the first Dutch PGME programmes became competency-based. From 2011 onwards, CBE became mandatory for all PGME programmes, of which the requirements were recorded in the 2011 national guidelines for Dutch PGME programmes [22]. Using these guidelines, the authors discussed with residents, programme leaders and educational consultants which of these requirements were typical for the changes that had occurred in Dutch PGME, and differed fundamentally from the requirements in earlier guidelines. This resulted in a list of 6 educational innovations (Table 1). The questionnaire asked respondents to rate the use of these 6 innovations on a Likert scale as described above (e.g. During my postgraduate training programme… I received feedback based on mini clinical evaluation exercises).

학습 기후의 개념을 포착하기 위해 여러 설문지가 개발되어왔다[23, 24]. 이 설문지들은 일반적으로 많은 항목을 포함하고 있으며, 우리의 설문지가 이미 포함하고 있는 질문의 양을 고려하여, 우리는 이러한 설문조사를 사용하지 않기로 결정했다. 대신 전공의의 작업 관련 학습의 이론적 프레임워크를 개발한 Teunissen 외[25]에 의존했다. 그들의 모델에 따르면, 업무 관련 학습은 본질적으로 활동에 참여하고, 그것들을 성찰하고, 그 후에 이러한 성찰에 기초하여 새로운 행동을 조정하면서 향상된다. 이들의 모델은 학습 주기의 원동력으로서 사회적 상호작용과 성문화된codified 지식의 중요성을 더욱 통합하고 조직 환경을 인정한다. 우리는 설문지 개발에 이러한 개념을 사용했으며, 교육 프로그램에서 이러한 개념의 더 나은 통합이 더 나은 학습 성과와 관련이 있다고 판단했다. 본 조치의 항목은 Shönrock 등이 개발한 학습 환경의 이론적 프레임워크에 대하여 유지되었고[26], 효과적인 학습 환경의 영역(목표 지향, 관계, 조직)을 깔끔하게 다루었다. 응답자들은 리커트 척도에 대한 12개 항목에 대한 그들의 합의를 평가해 달라는 요청을 받았다(예: 대학원 교육 프로그램 중... 나는 내 직업의 모든 관련 측면을 독립적으로 수행할 수 있었다(표 1).

Several questionnaires have been developed to capture the concept of learning climates [23, 24]. These questionnaires generally contain many items and considering the amount of questions that our questionnaire already contained, we chose not to use these surveys. Alternatively we relied on Teunissen et al. [25] who developed a theoretical framework of resident work-related learning. According to their model, work-related learning essentially thrives on participating in activities, reflecting on them and subsequently adjusting new behaviour based on this reflection. Their model further incorporates the significance of social interaction and codified knowledge as driving forces of the learning cycle and acknowledges the organizational environment. We used these concepts for the development of our questionnaire and reasoned that a better integration of these concepts in training programmes is related to better learning outcomes. The items of our measure were held against the theoretical framework of learning environments as developed by Shönrock et al. [26] and neatly covered the domains of effective learning environments (goal orientation, relationships and organization). Respondents were asked to rate their agreement to 12 items on Likert scales (e.g. During my postgraduate training programme… I was able to perform all relevant aspects of my profession independently) (Table 1).

자료 분석

Data analysis

분석 전에 모든 연속 변수에 대한 평균을 계산하고 표준화하였다[27]. 예측 변수 교육 혁신, 역량 및 학습 환경에 대한 주의의 내부 구조를 결정하기 위해 변량 회전을 사용한 주요 구성요소 분석을 사용했다. Shönrock-Adema 등의 권장 사항을 따르자면[28], 내부 구조는 심리측정적 기준의 조합과 가능한 요인 해결책의 해석 가능성에 대한 조사에 근거하여 결정해야 한다.

Prior to analysis, means for all continuous variables were calculated and standardized [27]. Principal component analysis with varimax rotation was used to determine the internal structure of the predictor variables educational innovation, attention to competencies and learning environment. Following recommendations of Shönrock-Adema et al. [28] the internal structure has to be determined based on a combination of psychometric criteria and an investigation of the interpretability of possible factor solutions.

크론바흐의 알파값이 내부 일관성을 평가하는 일반적인 방법이지만, 측정치는 항목 수에 매우 민감하며 척도 길이와 함께 증가하는 경향이 있다[29]. 실천요강의 내부 일관성(91항)을 검토하기 위해, 평균 항목 간 상관관계의 추정치로서 척도 길이와 무관한 Cronbach의 ρ도 계산했다[30]. rho의 값은 매우 다양하며 권장 값은 연구 대상 구조의 특수성에 따라 달라진다. 넓은 구조에 대해 0.15와 0.20 사이의 최소값이 권장된다[31]. 다중공선성은 분산 팽창 인자 및 허용오차 통계의 검사에 의해 평가되었다[32]. 평균을 비교하기 위한 기본적인 서술적 통계, 상관 분석 및 t-검정 외에도 독립 변수의 예측값을 검토하기 위해 단계적 계층 회귀 분석을 수행했다. 학습 환경과 역량에 대한 주의 사이의 제안된 상호작용의 방향을 검토하기 위해, 간단한 경사 분석을 실시했다[27].

Although Cronbach’s alpha is a common method to assess internal consistency, the measure is very sensitive to the number of items and tends to increase with scale length [29]. To examine the internal consistency of preparedness for practice (91 items), we also calculated Cronbach’s ρ which is an estimate of the mean inter-item correlation and is independent of scale length [30]. Values of rho vary widely and recommended values depend on the specificity of the construct under study. Minimal values between 0.15 and 0.20 are recommended for broad constructs [31]. Multicollinearity was assessed by inspection of the variance inflation factors and tolerance statistics [32]. In addition to basic descriptive statistics, correlation analysis and t-tests to compare means, stepwise hierarchical regression analysis was performed to examine the predictive values of the independent variables. To examine the direction of the proposed interaction between learning environment and attention to competencies, simple slope analysis was conducted [27].

조정 또는 간접 효과는 독립 변수가 개입 변수를 통해 종속 변수에 영향을 미칠 때 발견된다[33]. 교육 혁신과 실무 준비 사이의 관계에서 [역량에 대한 주의]의 중재 효과를 분석했다(그림 1). Preacher와 Hayes[34]가 설명한 '간접' 절차는 간접 효과의 95% 신뢰 구간을 계산하는 데 사용되었다. 이 조정을 지원하고 학습 환경과 역량에 대한 주의 사이의 예상 상호작용을 고려할 때, Mediation의 강도 또한 학습 환경 가치에 따라 좌우되는 것이 합리적이다. 따라서, 우리는 'Modmed' 절차[35]를 사용하여 다른 학습 환경 가치에서 조정의 중요성을 시험했다.

A mediation or indirect effect is found when an independent variable influences a dependent variable through an intervening variable [33]. We analyzed the mediating effect of attention to competencies in the relationship between educational innovations and preparedness for practice (Fig. 1). The ‘indirect’ procedure as described by Preacher and Hayes [34] was used to calculate the 95 % confidence interval of the indirect effect. Assuming this mediation is supported and given the expected interaction between learning environment and attention to competencies, it is reasonable that the strength of the mediation also depends on the learning environment value. Accordingly, we used the ‘Modmed’ procedure [35], to test the significance of the mediation at different learning environment values.

결과

Results

크론바흐의 ρ0.21로 척도 길이와 독립적인 연습 대비 평균 항목 간 상관관계가 적절했다. 남성(M = 3.86)은 여성(M = 3.69)보다 실천준비에 있어 훨씬 높은 점수를 받았다(p = 0.03) 따라서 성별을 추가 분석에 통제변수로 포함시켰다. 연습 준비의 결과 변수는 모든 독립적인 변수, 가장 강하게 학습 환경 및 역량에 대한 주의와 관련이 있다(표 2). 다중공선성의 증거는 발견되지 않았다.

The scale length independent mean inter-item correlation of preparedness for practice was adequate with a Cronbach’s ρ of 0.21. Men (M = 3.86) scored significantly higher on preparedness for practice than women (M = 3.69) (p = 0.03); therefore, gender was included in further analyses as a control variable. The outcome variable of preparedness for practice correlated significantly with all independent variables, most strongly with learning environment and attention to competencies (Table 2). No evidence of multicollinearity was found.

계층적 단계적 복수 회귀 분석은 실무준비에 대한 독립 변수의 상대적 기여도를 보여주었다(표 3). 

• 첫째, 제어 변수(성별 및 일반 자기효능)만 입력되었다. 이 모델은 preparedness for practice의 분산 14%를 설명하였다. 일반적인 자기효과는 실천에 대한 준비와 유의하게 관련되어 있었지만 성별은 그렇지 않았다. 

• 교육 혁신의 추가(두 번째 모델)는 preparedness for practice에서 설명된 차이를 25%로 크게 증가시켰다. 

• 모델에 역량에 대한 관심이 추가되었을 때, 이 변수는 preparedness for practice와 유의하게 관련되어 있었지만, 교육 혁신은 그렇게 되는 것을 중단했다(표 3). 이 세 번째 모델은 실천요강에서 설명된 분산을 43%로 크게 증가시켰다. 

• 학습 환경과 역량에 대한 주의 사이의 상호작용이 예상되었기 때문에, 학습 환경과 상호작용 용어가 최종 모델에 추가되어 설명된 분산이 52%로 크게 증가하였다. 이 최종 모델에서 일반적인 자기효능, 역량에 대한 주의, 학습환경 및 상호작용 용어는 학습환경을 가장 강력한 예측변수로 하여 preparedness for practice와 유의미하게 관련되어 있었다.

Hierarchical stepwise multiple regression analyses revealed the relative contribution of the independent variables on preparedness for practice (Table 3). 

• First, only the control variables (gender and general self-efficacy) were entered: this model explained 14 % of the variance in preparedness for practice. General self-efficacy was significantly related to preparedness for practice but gender was not. 

• The addition of educational innovations (second model) significantly increased the explained variance in preparedness for practice to 25 %. 

• When attention to competencies was added to the model, this variable was significantly related to preparedness for practice, but educational innovations stopped being so (Table 3). This third model significantly increased the explained variance in preparedness for practice to 43 %. 

• Because we expected an interaction between learning environment and attention to competencies, learning environment and the interaction term were added in the final model, which significantly increased the explained variance to 52 %. In this final model, general self-efficacy, attention to competencies, learning environment and the interaction term were significantly related to preparedness for practice, with learning environment as the strongest predictor.

유의한 상호작용은 역량에 대한 주의와 실천 준비 사이의 관계가 학습 환경 값에 따라 다르다는 것을 나타낸다. 평균보다 1 SD 높은 경우에서 학습 환경을 위한 단순한 기울기는 유의하게 양의(B = 0.17, p < 0.001)이었지만 평균보다 1 SD 낮은 학습 환경에 대한 경계선 유의성(B = 0.09, p = 0.05)에 불과했다. 이는 역량에 대한 관심이 높은 학습 환경 가치에 대한 실천에 대한 준비와 더 강하게 관련되었다는 것을 의미한다.

The significant interaction indicates that the relationship between attention to competencies and preparedness for practice varies by learning environment values. The simple slope for learning environment at 1 SD above the mean was significantly positive (B = 0.17, p < 0.001), but was only of borderline significance for a learning environment 1 SD below the mean (B = 0.09, p = 0.05). This means that attention to competencies was more strongly related to preparedness for practice for high learning environment values.

고찰

Discussion

이 연구는 새로운 역량 기반 PGME 프로그램이 독립적 실습을 위해 새로운 컨설턴트를 준비하는 정도를 결정하는 데 있어 학습 환경의 질이 매우 중요하다는 것을 보여준다. 역량 기반 PGME 프로그램의 교육 혁신은 실천에 대한 준비와 긍정적으로 연관되었지만, 이 관계는 피드백과 코칭 중 역량에 대한 주의에 의해 조정되었고, 역량에 대한 주의를 조정한 후 더 이상 유의하지 않았다. 또한, 이러한 관계는 높은 등급의 학습 환경에서 가장 강력한 학습 환경 가치에 따라 다양했다.

This study shows that the quality of the learning environment is of key importance in determining the degree to which novel competency-based PGME programmes prepare new consultants for independent practice. Although the educational innovations of competency-based PGME programmes were positively associated with preparedness for practice, this relationship was mediated by attention to competencies during feedback and coaching, and was no longer significant after adjusting for attention to competencies. In addition, this relationship varied by learning environment value, being strongest in a highly rated learning environment.

포트폴리오나 미니-CEX와 같은 교육 혁신의 적용은 피드백과 코칭 중 역량에 대한 관심 증가와 관련이 있었으며, 이는 PGME[2]의 현재 방향을 뒷받침한다. 교육 혁신의 중요한 부분은 [평가 도구]인데, 이러한 도구들의 사용은 실무 준비성에 대한 더 높은 점수와 관련되었다. 그러므로 교육 혁신과 역량에 대한 주의를 통한 실천 준비 사이의 간접적 연결은 평가가 학습을 추진한다는 주장과 잘 들어맞는다[36].

The application of educational innovations, such as portfolios or mini-CEX, was related to increased attention to competencies during feedback and coaching, which supports current directions in PGME [2]. A significant part of the educational innovations are assessment tools, and the use of these instruments was related to higher scores on preparedness for practice. Therefore, the indirect link between educational innovations and preparedness for practice through attention to competencies fits well with the claim that assessment drives learning [36].

그러나 후속 분석에서는 [교육 혁신과 실무 준비 사이의 관계가 간접적]이며 [역량에 대한 주의에 의해 매개]된다는 것을 보여주었다. PGME에서 더 많은 시간이 피드백과 신중한 교육보다 환자 치료에 독립적으로 사용되기 때문에, 이 결과는 놀랍지 않으며, 커리큘럼 변경의 효과를 직접 측정하기 어려운 이유에 대한 이전의 설명을 뒷받침한다[6, 8]. 이와 같은 간접적인 관계는 더 나아가, 교육 혁신들이 역량에 대한 주의를 강화하는 수단으로서 가치가 있지만, 그것들 자체가 목표가 되어서는 안 된다는 것을 암시한다. 또한 최종 회귀 모형의 교육 혁신의 회귀 계수가 0에 가까웠다는 사실은 [강력한 프로그램이 혁신적 훈련 방법을 채택했을 가능성]이 더 높았음을 시사할 수 있다. 따라서 교육 혁신과 실무 준비 사이의 간접적인 연관성은 순수한 인과관계가 아닐 수 있으며 이 문제를 해결하기 위해 더 많은 연구가 필요하다.

However, subsequent analyses showed that the relationship between educational innovations and preparedness for practice was indirect, and mediated by attention to competencies. Because more time in PGME is spent on working independently in patient care than on feedback and deliberate education, this finding is not surprising, and supports earlier explanations of why the effects of curricular changes are difficult to measure directly [6, 8]. The indirect relationship suggests, furthermore, that although the educational innovations are valuable as a means to enhance attention to competencies, they should not become goals in themselves. Additionally, the fact that the regression coefficient of educational innovations in the final regression model was close to zero may suggest that strong programmes were more likely to have embraced innovative training methods. The indirect link between educational innovations and preparedness for practice may therefore not be a pure causal association and more research is needed to address this issue.

교육 혁신과 역량에 대한 관심이 실천에 대한 준비성에 영향을 미치는 것처럼 보이지만, 학습 환경은 가장 강력한 예측 변수임이 밝혀졌다. 이러한 결과는 학습 환경이 의료 교육에서 성취, 만족 및 성공을 예측하는 데 고유한 기여를 한다는 주장과 일치한다[37, 38]. Genn[39]에 따르면, 학습 환경은 교육 변화의 중심을 이룬다. 마찬가지로, 우리의 연구에서 [역량에 대한 관심]은 [학습 환경이 낮은 점수를 받았을 때] 연습에 대한 준비와 관련이 없었다. 이는 역량 프레임워크로 변경하기 위한 현재의 투자는, 학습 환경이 충분히 잘 구성되었을 때에만 실천에 대한 준비성 측면에서 성과를 거둘 것임을 시사한다.

Educational innovations and attention to competencies seem to influence preparedness for practice, but the learning environment was found to be the strongest predictor. This finding is in line with claims that the learning environment has a unique contribution to the prediction of achievement, satisfaction and success in medical education [37, 38]. According to Genn [39], the learning environment forms the centre of educational change. Likewise, in our study, attention to competencies was not related to preparedness for practice when the learning environment scored low. This suggests that the current investments to change to competency frameworks will only pay off in terms of preparedness for practice when the learning environment is sufficiently well organized.

우리는 우리의 연구에 다음과 같은 한계를 인정한다. 첫째, 응답률은 보통 수준이었지만, 의사 설문조사에서는 일반적이었다[42]. 이는 무응답 편향을 유도할 수 있지만, 표본이 우리의 연구에서 그러했던 [43]을 대표한다면, 이것은 의미 있게 결과를 왜곡할 가능성은 없다. 또한, 연구된 표본은 유효한 통계 분석이 가능할 만큼 충분히 컸다. 둘째로, 우리의 모든 데이터는 자체 보고 조치에서 얻었으며, 공통적인 방법 분산은 결과적으로 연구 모델 구성들 사이의 관계에 부분적으로 책임이 있을 수 있다[44].

We acknowledge the following limitations to our study. First, the response rate was moderate, but common for physician surveys [42]. Although this may induce non-response bias, this is unlikely to distort the results meaningfully if the sample is representative [43], which was the case in our study. Moreover, the sample studied was large enough to allow valid statistical analyses. Second, all our data were obtained from self-report measures and common method variance could consequently be partly accountable for the relationships between the research model constructs [44].

실무준비에 있어서 절반 이상의 차이가 포함된 변수에 의해 설명되었지만, 상당 부분은 설명되지 않은 채로 남아 있었다. 왜 몇몇 새로운 컨설턴트들이 다른 컨설턴트들보다 연습에 대해 더 잘 준비되었다고 느끼는지와 훈련 프로그램이 어떻게 이 연결을 개선할 수 있는지를 발견하기 위해 더 많은 연구가 필요하다.

Although more than half of the variance in preparedness for practice was explained by the variables included, a considerable part remained unexplained. More research is required to discover why some new consultants feel better prepared for practice than others and how training programmes can improve this connection.

핵심

Essentials

● 학습환경에 투자하여 연습생들을 독립 연습에 최적으로 대비시키는 것이 중요하다.

● It is important to invest in the learning climate to prepare trainees optimally for independent practice.

● PGME의 교육적 측면의 효과는 긍정적인 학습환경에서 이익을 얻는 것으로 보인다.

● The effectiveness of didactic aspects of PGME seems to benefit from a positive learning environment.

● 코칭 중 역량에 대한 주의와 피드백, 역량 기반 교육을 지원하는 연습 준비 사이에는 긍정적인 관계가 있다.

● There is a positive relation between attention to competencies during coaching and feedback and preparedness for practice, which supports competency-based education.

5. Malone K, Supri S. A critical time for medical education: the perils of competence-based reform of the curriculum. Adv Health Sci Educ Theory Pract. 2012;17:241–6. 

---

Perspect Med Educ. 2015 Dec;4(6):300-307.

How educational innovations and attention to competencies in postgraduate medical education relate to preparedness for practice: the key role of the learning environment.

Dijkstra IS1, Pols J2, Remmelts P2, Rietzschel EF3, Cohen-Schotanus J4, Brand PL5.

Author information

1

Wenckebach Institute, University Medical Center Groningen, University of Groningen, FC 10, Hanzeplein 1, 9700 RB, Groningen, The Netherlands. i.s.dijkstra@umcg.nl.

2

Wenckebach Institute, University Medical Center Groningen, University of Groningen, FC 10, Hanzeplein 1, 9700 RB, Groningen, The Netherlands.

3

Faculty of Behavioural and Social Sciences, University of Groningen, Groningen, The Netherlands.

4

Center for Research and Innovation in Medical Education, University of Groningen, University MedicalCenter Groningen, Groningen, The Netherlands.

5

Wenckebach Institute, University of Groningen, University Medical Center Groningen, and Princess Amalia Children's Centre, Isala Hospital, Zwolle, The Netherlands.

Abstract

INTRODUCTION:

Many training programmes in postgraduate medical education (PGME) have introduced competency frameworks, but the effects of this change on preparedness for practice are unknown. Therefore, we explored how elements of competency-based programmes in PGME (educationalinnovations, attention to competencies and learning environment) were related to perceived preparedness for practice among new consultants.

METHODS:

A questionnaire was distributed among 330 new consultants. Respondents rated how well their PGME training programme prepared them for practice, the extent to which educational innovations(portfolio, Mini-CEX) were implemented, and how much attention was paid to CanMEDS competenciesduring feedback and coaching, and they answered questions on the learning environment and general self-efficacy. Multiple regression and mediation analyses were used to analyze data.

RESULTS:

The response rate was 43 % (143/330). Controlling for self-efficacy and gender, the learningenvironment was the strongest predictor of preparedness for practice (B = 0.42, p < 0.001), followed by attention to competencies (B = 0.29, p < 0.01). Educational innovations were not directly related to preparedness for practice. The overall model explained 52 % of the variance in preparedness for practice. Attention to competencies mediated the relationship between educational innovations and preparednessfor practice. This mediation became stronger at higher learning environment values.

CONCLUSIONS:

The learning environment plays a key role in determining the degree to which competency-based PGME prepares trainees for independent practice.

KEYWORDS:

CanMEDS; Competency-based education; Evaluation; Learning environment

PMID:

 

26498596

 

PMCID:

 

PMC4673059

 

DOI:

 

10.1007/s40037-015-0219-3