의과대학 학생선발: 자기소개서의 신뢰도와 타당도 향상 (Acad Med, 2006)

Medical School Admissions: Enhancing the Reliability and Validity of an Autobiographical Screening Tool

Kelly L. Dore, Mark Hanson, Harold I. Reiter, Melanie Blanchard, Karen Deeth, and Kevin W. Eva

많은 다른 학교들처럼 Michael G. DeGroote School of Medicine at McMaster University 는 uGPA와 이들이 제출한 자기소개서(ABS)를 기반으로 학생들을 초청하여 지원자 면접을 한다. 연구 결과를 보면 uGPA의 신뢰도와 타당도는 비교적 안정적이나 ABS의 그것은 약하다.

Like many schools, the Michael G. DeGroote School of Medicine at McMaster University invites candidates to interview based on grade point average (uGPA) and a candidate-written autobiographical submission (ABS). Local research has demonstrated strong reliability and validity for uGPA,2,3 but the reliability of the ABS has been weak.2

ABS는 다섯개의 질문으로 되어있으며, 여기에는 지원자의 개인적 경험, McMaster에 적합성, 의학 진로와 전공에 적합성 등을 포함한다. 각 지원자의 ABS는 개인정보를 삭제한 다음 세 명의 독립적 평가자에 의해서 평가된다(one health science faculty member, one community member, and one medical student.)

The ABS is composed of five questions designed to evaluate noncognitive characteristics such as applicants’ personal experiences, suitability for McMaster and suitability for a career in medicine. Each applicant’s five ABS questions, stripped of any personal identifiers, are scored by three independent raters: one health science faculty member, one community member, and one medical student.

각 평가자는 30~60개의 ABS를 평가하며, 매년 최대 150명의 평가자가 동원된다.

Each rater scores 30–60 ABS submissions and upwards of 150 raters participate annually.

평가의 비-독립성

Non-independence of the ratings

ABS점수는 의과대학에서의 수행능력과의 상관성이 매우 낮은 것으로 밝혀졌으며, NLE와도 마찬가지다. 이에 대한 한 자기 이유는 ABS점수의 평가자간 신뢰도가 0.45로 낮기 때문이다. ABS는 그러나 높은 내적일치도를 보여준다. 비록 높은 내적일치도가 척도로서의 신뢰성을 보여주는 지표이긴 하나, 동시에 이것은 한 개인에 대한 평가가 지원자별로 독립적으로 이뤄지고 있지 않음을 보여주는 것이기도 하다. 즉, 후광효과가 반영된다는 의미이다. 어떤 지원자의 첫 번째 답변이 그 지원자의 두 번째, 세 번째 항목에 대한 답변의 수행능력에 영향을 주게 되면, 전체적인 지원자가 작성한 각각에 대한 점수의 평균이 아니라 지원자에 대한 첫인상이 그 지원자의 점수를 결정짓게 되는 것이다. 이는 중요한데 왜냐하면 기능적으로, 열 다섯개가 아니라(평가자 수 x 문항 수), 단 세 개의(즉 평가자 수 만큼의) 관찰결과만이 수집된다고 볼 수 있기 때문이다.

Scores on the ABS have been shown to correlate poorly with performance both within medical school and on the national licensing examinations written postgraduation.2 One reason identified by Kulatunga-Moruzi and Norman is that the interrater reliability of ABS scoring is less than adequate (0.45). The ABS has, however, been seen to have high internal consistency (0.88). Although high internal consistency may be seen as supportive of the reliability of a measure, it may in fact be a negative indication that the scores assigned to the individual questions do not provide independent measures of the applicant. That is, the halo effect may be afflicting this measure; if performance on the first question influences the raters’ perceptions of performance on subsequent questions, then the initial overall impression of the candidate will determine the scores assigned to individual questions rather than the individual questions summing to provide a global assessment. This is an important distinction, because it would indicate that, functionally, only three observations (from three raters) are being collected in the current system instead of the desired fifteen

이것이 문제인지 아닌지 알기 위해서 평가가 수집되는 방향을 바꾸었다.

To test whether or not this was an issue, we altered the direction in which ratings were collected.

피평가자의 비-독립성

Non-independence of the ratees

의심할 여지 없이, 소수의 지원자는 ABS를 대리인을 시켜 작성하게 한다. 더 흔한 것은 지원자가 작성한 ABS를 친구, 가족, 재학생, 의사 등에게 보여주고 피드백을 받는 것이다.

Undoubtedly a small percentage of candidates are less than scrupulous and hire ghostwriters in an attempt to generate a more appealing ABS. More commonly, however, candidates will pass their submissions around to friends, family, current students, or practicing physicians for feedback to improve the submission.

여기에는 몇 가지 측정과 관련한 문제가 있는데, 첫째로 좋은 ABS의 상한선이 존재하는 한, 그리고 이러한 피드백을 통해서 향상이 이뤄진다면, 결국 지원자가 homogeneous해지는데 기여할 것이며, 획득가능한 신뢰도와 타당도의 최대치를 낮출 것이다. 둘째로, 이러한 restriction of range 가 아니어도 타당도에 대한 의문이 생기는데, 지원자를 평가하는 것인지 지원자의 지지기반시스템을 평가하는 것인지 헷갈리기 때문이다.

it creates a pair of measurement problems. First, given that there is an upper limit on how good an ABS can appear, and assuming that the collection of feedback results in improvement, the submissions may end up being more homogeneous than the candidates, thus lowering the maximum achievable reliability and validity. Second, even without restriction of range, the validity itself must be questioned as it becomes questionable whether one is discriminating between candidates or between candidate support systems.

방법

Method

현장에서 작성하는 ABS는 사전에 제출한 ABS와 대등하나 동일하지 않다. 윤리적 의사결정, advocacy, 개인 경험 등에 초점을 둔다.

The onsite ABS questions were comparable with, but not identical to, the noninvigilated questions participants answered offsite, with questions focusing on ethical decision making, advocacy, and personal experiences.

30개의 무작위 선택한 지원자의 ABS를 평가

For a subset of 30 randomly selected candidates, two scoring methods were compared for each ABS.

Results

사전 제출한 ABS의 점수가 현장 작성 ABS보다 높았다. 유의미한 interaction이 있어서, 이러한 main effect는 전통적 방법(offsite, vertical) 평가방법에 영향을 받는 것으로 보인다.

The scores for the ABS completed offsite (mean 4.4) were significantly higher than those completed onsite (mean 4.1; F 5.7, p .05). A significant interaction between site and scoring method (p .01) revealed that this main effect was driven by a higher mean score in the traditional (offsite, vertical) scoring method (mean 4.7) relative to the other three groups (mean 4.0 to 4.2).

평가자간 신뢰도는 onsite에서 높았다. 그러나 offsite ABS의 평가자간 신뢰도는 수평방향 평가는 중등도였으나, 수직방향 평가에서는 낮았다.

When the interrater reliability was assessed, it was found to be high for ABS’s completed onsite (0.81 with vertical scoring, 0.78 with horizontal scoring). However, the offsite ABS interrater reliability was moderate when horizontal scoring was used (0.69), but poor when vertical scoring was used (0.03).

외부와 단절된 상태에서 진행되는 ABS는 수평방향 평가를 활용하여, onsite에서 감독하에, 시간제한을 두고 작성하게 했을 때 가장 좋았다. 감독을 두고 작성하게 함으로써 피평가자의 독립성이 유지된다. 그러나 ABS는 외부와 단절된 상태에서 진행되지 않는다. MMI와 onsite ABS를 비교하여 보았을 때, MMI가 여러 이유로 더 선호된다. 첫째로, 전반적인 일반화가능도에서 MMI는 onsite ABS만큼 강ㄺ하다. 둘째로, 예측타당도에 있어서 MMI는 의과대학에서의 측정과 유의한 정의 상관을 보인다. 셋째로, onsite ABS 채점은 평가자의 시간을 많이 들여야 하고 의사결정이 지연되나 MMI는 즉석에서 그 날 결과가 나온다.

Seen in a vacuum, the method of ABS administration that performed best is clearly application of the horizontal scoring method to submissions collected in onsite, invigilated, time-controlled circumstances. Invigilation ensures independence of the ratees. However, the ABS does not function in a vacuum. Given the choice between MMI and onsite ABS, the MMI is preferred for a number of reasons. First, in terms of overall test generalizability, the MMI is at least as strong as the onsite ABS4. Second, with respect to predictive validity, the MMI has demonstrated significant positive correlation with in-school measures,5 and national licensing examination scores.6 Third, scoring of onsite ABS’s requires rater time subsequent to the date of interview, thus delaying decision making, whereas MMI scores are available immediately on that date.

Medical school admissions: enhancing the reliability and validity of an autobiographical screening tool.

사회적 판단으로서 평가자의 평가: 평가 오차의 원인에 대한 생각(Acad Med, 2011)

Rater-Based Assessments as Social Judgments: Rethinking the Etiology of Rater Errors

Andrea Gingerich, Glenn Regehr, and Kevin W. Eva

평가자기반 평가는 학생들이 복잡한 과제를 수행하는 것을 직접 볼 수 있기 때문에 역량의 높은 레벨에 해당하는 능력을 확인할 수 있는 장점이 있다. 그러나 안타깝게도 평가자기반평가(RBA)는 일반적으로 psychometric하게 약점이 있다.

Rater-based assessments are used because they allow students to be observed performing complex tasks corresponding to higher levels of competency.1,2 Unfortunately, rater-based assessments generally demonstrate psychometric weaknesses6–9 including

• measurement errors of leniency,10
• undifferentiation,11
• range restriction,12
• bias,13 and
• unreliability.14

심지어 여러 평가자가 동일한 수행을 보고도 reproducibility나 평가자간 신뢰도 등에 문제가 발견된 바 있다.

One of the biggest threats to the reproducibility of clinical ratings, low interrater reliability,15,16 has been found to occur even when different raters view the same performance.17–20

극단적으로는 20개 OSCE스테이션 중 스테이션에서 특정 관찰가능한 행동의 수행 여부를 체크할 때 누구는 수행했다고 체크한 반면 다른 사람은 하지 않았다고 체크하는 것과 같은 사례가 19/20개 스테이션에서 발생하였으며 그 차이는 1개에서 8개에 이르렀다.

In a dramatic example, 19 of 20 OSCE stations each had one to eight discrepancies where at least one rater made a positive evaluative comment about the presence or absence of a specific observable behavior, while another rater made a negative evaluative comment regarding the exact same behavior.21

피평가자의 실제 수행능력이 맥락이나 사례 특이적으로 달라질 수 있다는 것이 RBA가 복잡한 주된 이유로 인정된 바 있지만, 그것의 효과에 대해서는 우리가 이미 잘 이해하고 있으며, 현재 평가 시스템에서는 잘 다뤄지고 있다. 그러나 다양한 평가자가 동일한 수행환경에서 나타나는 동일한 수행능력에 대해서도 서로 다르게 평가하는 것의 이유에 대해서는 우리가 알고있는 바가 더 적으며, 그러한 차이가 극복될 수 있는 것인가에 대한 상당한 논쟁이 있다. Marshall과 Ludbrook은 "관례적인 임상술기 평가에 있어서 평가자가 피평가자에 대해서 내리는 판단은 전적으로 개인 수준의 것이다"라고 했다.

While actual ratee performance differences attributable to context or case specificity are acknowledged to play a critical role in the complexities of rater- based assessment,22 its effects are well understood and accounted for in current assessment systems. Causes of variability in ratings, given by multiple raters for the same performance within the same context, are more uncertain, with considerable debate currently taking place about whether or not such variability can be overcome.23–25 The challenge is illustrated well by Marshall and Ludbrook,26(p215) who stated that “the judgment that an examiner makes of a candidate in the setting of the conventional test of clinical skills is an entirely personal one.”

평가자가 문제라면, 평가자 훈련이 가장 지속적으로 이뤄진 해결책이다. 그러나 평가자 훈련은 평가 결과에 미미한 향상만을 가져왔으며, 일부 연구자들은 의학에서 평가자들이란 훈련으로 바뀌지 않는 사람들은 아닌지 의구심을 표했다. "일부 평가자들은 본질적으로 일관된 면이 있고, 어떤 사람들은 좀 덜 하다. 이들 중 전자에 해당하는 사람들은 훈련으로 나아지지 않는다."

With raters identified as the problem, rater training has been the most persistently proposed solution.31 Rater training’s meager improvement of measurement outcomes, however, has provoked some researchers to suspect that medical raters are impervious to training,7,32 by suggesting that “some examiners are inherently consistent raters and others less so. The former do not need training and the latter are not improved by training.”33(p349)

표준화된 프레임워크를 사용하는 것으로는 이 문제를 해결하기 어렵다면, 여러 의학교육연구에서는 평가자의 사회-인지 프로세스의 중요성에 관심을 가질 것을 요구하며, 그것이 수행능력 평가에 가지는 함의를 다룬 바 있다. 이 저자들에게 평가자는 '능동적 정보 처리자'이며, 판단/추론/의사결정 전략을 활용하여 피평가자를 판단한다. 그들은 또한 평가점수를 결정하는 데 있어서 인상(impression)형성/해석/회상/판단 등의 복잡한 상호작용을 강조하였다. 일부 연구자는 평가절차와 psychometric 측정 원칙과 인간평가자의 능력의 잠재적 불일치를 지적했다.

Given the apparent intractability of this problem using our standard frameworks, a handful of medical education researchers have called attention to the importance of considering raters’ social cognitive processes and corresponding implications concerning measurement of performance assessments. These authors have stressed the need to see raters as active information processors using judgment, reasoning, and decision- making strategies to assess ratees.34 They have also highlighted a complex interaction of impression formation, interpretation, memory recall, and judgment in assigning ratings.21 And several have described potential incongruence between assessment procedures, psychometric measurement principles, and human rater capabilities.2,35,36

이들 연구자들이 문제에 접근한 방식은 '인상형성(impression formation)' 연구를 떠올리게 하는데, 사회적 상황에서 어떻게 한 개인이 다른 개인에 대한 판단을 내리는지에 대한 이해에 초점을 둔 사회인지에 관한 큰 연구영역 중 하나이다. 인상이란 다른 사람을 아는 일부분으로서 형성된다. 인상은 상대방에 대한 사실적 정보, 추론, 평가반응으로 구성된다. 인상이란 어떤 사람과 상호작용하기 위해서 그 사람에 대한 기존의 지식구조에 정보를 조직화하는데 사용된다. 사회인지 연구자들은 어떻게 사람들이 사회세계(social world)에 대해서 생각하는가에 대한 구체적인 인지 프로세스에 관심을 가졌다. 그들은 어떻게 사회적 정보가 encode, store, retrieve, structured, represented 되는지를 연구했으며, 어떻게 판단을 가지고 의사결정을 내리는지에 대한 프로세스를 연구하였다.

The approach being explored by these authors is highly reminiscent of the impression formation literature, a large research domain within social cognition focused on understanding how individuals make judgments of others in social settings.37 Impressions are formed as part of knowing another person. They are constructed from factual information,inferences, and evaluative reactions regarding the target person.37 It has been suggested that impressions are used to organize information into a structure of knowledge about the person38 in order to interact with himor her.39 Social cognition researchers are interested in thespecific cognitive processes used by people to think about the social world. They investigate how social information is encoded, stored and retrieved from memory, and structured and represented as knowledge; they also study the processes used to form judgments and make decisions.40 

흥미롭게도 평가자 나름의 독특한 방식(idiosyncrasy)도 인상형성 연구자들의 연구대상이 되었다. 이 연구에서 평가자들은 심지어 완전히 동일한 정보가 주어졌을 때 조차 피평가자에 대해서 상이한 인상을 가진다는 것이 확인되었다. 실제로, 한 평가자가 다수의 피평가자에 대해서 가지는 인상(들)이 다수의 평가자가 하나의 피평가자에게 가지는 인상(들)보다 더 유사하다. 전형적으로 인성특성 평가의 variance를 차지하는 가장 큰 부분은 피평가자 간의 차이가 아니라 피평가자와 평가자의 관계에서 독특하게 나타나는 차이이다.

Interestingly, the idiosyncrasy of raters has also been of interest to impression formation researchers.41 In that literature, it is well established that different raters will often form different impressions of the same ratee even when given the exact same information.42,43 In fact, the descriptions made by a single rater about multiple others have been found to be more similar than the descriptions made by multiple raters about a single ratee.44 Typically, the largest portion of variance in personality trait ratings is not attributable to differences perceived between the ratees but to differences uniquely contained within the relationship between each rater and ratee.42,45

결과

Results

심리학 연구에서 다른 사람을 인식하는 행위(인상형성)은 흔히 카테고리화 작업으로 묘사되는데, 이 카테고리화 작업에 진행되는 인지적 프로세스들 간에는 차이가 있을 수 있다.

Within psychology literatures, the act of perceiving other people (i.e., forming impressions) is commonly described as a categorization task, though differences exist in the way in which these cognitive processes are thought to be enacted.46,47

idiosyncratic 하지만 convergent 한 인간모델(Person Models)로서의 인상형성

Impression formation as idiosyncratic yet convergent Person Models

사회적 판단은 특정 조건에서는 idiosyncratic하고 실수의 가능성이 높다. 예를 들면 평가자의 감정이나 기분이 영향을 줄 수 있다. 만약 피평가자가 평가자로 하여금 평가자에게 중요한 다른 누군가를 떠올리게 하면, 피평가자는 유사한 특성을 공유하는 것으로 인식될 수 있다. 먄약 평가자가 근래에 피평가자를 묘사하는 말을 들었다면 모호한 행동도 그 전에 들었던 묘사와 일관된 것으로 해석될 수 있다. 이들은 인상이 피평가자 자체보다 다양한 변인과 맥락적 요인에 영향을 받기 쉽다는 것을 보여준다.

Social judgments have been found to be idiosyncratic and fallible under certain conditions.48 For example, raters’ mood and emotions at the time of the judgment can have an influence.49 If the ratee reminds the rater of a significant other, the ratee can be perceived to share similar characteristics.50 If the rater has recently been exposed to a description of the ratee, ambiguous behavior can be interpreted as being consistent with that description.51,52 Thus, there exists an implicit understanding that impressions are subject to variables and contextual factors beyond the ratee himself or herself.

• Model 1 (67.6%of descriptions): [Ratee E] is energetic, friendly, and expressive, although she is more outgoing with her friend than her mother. She seems to be a kind and considerate person who enjoys talking to others. She laughs a lot and has many ideas.
• Model 2 (15.5%of descriptions): [Ratee E] is insecure and nervous. She seems distracted at times, and she has trouble making decisions. She plays with her pen a lot and keeps bringing up a trip she was supposed to go on last year.
• Model 3 (16.9%of descriptions): [Ratee E] has to dominate the conversation. She is rude and obnoxious and seems insensitive to other people. She doesn’t even say bless you when her friend sneezes. She seems self-centred and barely lets her friend talk.

비록 판단이 idiosyncratic하지만, 그것이 무한정 그렇지는 않다. 정보의 조각을 조합하고 정보의 우선순위를 결정함으로서 다양한 이야기를 만들어낼 수 있다. 후속 연구에서 인간모델은 긍정적 혹은 부정적 평가와 연결되는데 모델1에 해당하는 경우 긍정적인 평가를, 모델 2나 3에 해당하는 경우 부정적 평가를 받는 것으로 나온다. 따라서 인간모델은 평가자와 피평가자 사이에 독특한 관계에 의해서 나타나는 variance의 상당부분을 설명해준다.

Thus, although judgments are idiosyncratic, they are not infinitely so. It has been suggested that different combinations and prioritization of the pieces of information resulted in the different explanatory stories.42 In a follow-up study,45 the Person Models corresponded with ratings of liking and positive– negative evaluation such that raters usingModel 1 viewed the ratee positively and liked her, whereas raters using Models 2 or 3 viewed her negatively and disliked her. The Person Models, therefore, were found to account for a substantial portion of the variance in impressions attributed to the unique relationship between the rater and the ratee

결론

Discussion

비록 사례특이성이 중요한 역할을 하는 것으로 밝혀졌지만, 평가자 variability 또한 construct-irrelevant error의 원인으로 지적되고 있으며, 이것을 어떻게 극복할지는 보다 불분명하다. 평가자의 객관성이나 평가자의 능력을 강화하기 위한 해결책은 효과가 미미했으며, 이제는 평가자 '에러'에 대한 다른 개념을 고려할 때일 수 있다.

Although case specificity has been shown to play a very important role, rater variability (based on idiosyncrasies of opinion, defiance, or ineptitude) has also been seen as a source of construct- irrelevant error16,25 with less clear understanding of how to overcome the challenge it creates. Solutions targeted at bolstering rater objectivity and ability have had little impact on reducing these measurement errors,7 and hence, perhaps the time has come to consider an alternate conception of rater “error.”

만약 우리가 RBA에서의 평가자가 사회적판단에서의 평가자와 동일한 인지 프로세스를 사용한다고 전제하고 시작했다면, 여기에서 함의는 무엇이고 어떻게 바꿀 수 있을까?

If we were to start with the premise that raters in rater-based assessments use the same cognitive processes as raters in social judgments, then what would the implications be for assessment and how would it change the way we talk about assessment?

심리학자들은 사회적판단을 내리는 데 있어서 사람들은 다른 사람을 카테고리화하는 경향이 있음을 밝혔다. 인상형성에 관한 연구에 따르면 카테고리화 프로세스에는 세 가지 다른 개념이 있다.

Psychologists have shown that, in making social judgments, people have a propensity to categorize other people. In the impression formation literature, there seem to be at least three different conceptualizations of this categorization process.

• The Person Model literature presents an adaptable type of categorization based on the construction of stories, as needed, to describe specific individuals.42,45
• In contrast, the categorization literature suggests that categories can be preformed constructs that exist in the long-term memory and are applied when activated.46
• And a third conceptualization is the concept of cluster-based categorization that results from dichotomous judgments on two dimensions.77,78

이들 개념 간 차이와 무관하게, 인상형성 연구결과는 이러한 카테고리화가 전형적인 카테고리 구성원에 대한 정보를 새로운 사람에게 적용하게 해주는 것이라고 공통적으로 말하고 있으며, 그 결과 인지적 자원을 아낄 수 있게 해주고, 어떻게 행동할지 예상하게 해주며, 어떻게 상호작용할지 최적의 선택지를 제공한다.

Regardless of these differences in conceptualization, there is general agreement in the impression formation literature that such categorizations allow information about a typical category member to be applied to the new person, thereby reducing the cognitive resources needed to monitor the person’s behavior, allowing for predictions of how he or she will behave, and providing options for how best to interact with him or her.46

첫째, 카테고리화는 무의식중에, 그리고 자발적으로 일어날 수 있으며, 어떤 식으로든 이 프로세스를 통제하는 것은 매우 어렵다. 그렇기 때문에 평가자 훈련을 통해서 카테고리화의 영향을 변화시키려는 직접적 노력을 impede한다. 더 나아가 이들 카테고리화가 여러 평가자들 간에 놀라울 정도로 비슷하다는 연구결과가 있으나, 평가자 특이성(rater idiosyncrasy)은 여전히 존재하고 있으며, 최소한 서로 다른 인간모델의 서브그룹 수준에서는 차이가 있다.

First, the categorization of the person can happen spontaneously and without awareness,60 and there may be poor control over these processes even when they are made explicit.64 This could directly impede efforts to modify the influence of categorization on assessments through rater training. Further, although there is evidence of these categorizations being surprisingly consistent across raters, there is nonetheless room for rater idiosyncrasy, or at least subgroups that consistently use a different Person Model in understanding a particular individual’s behavior.45

평가자들은 피평가자를 서로 다른 스케일에 두는 것이 아니라, 애초에 서로 다른 명목 카테고리로 분류하는 것이다.

It is not that raters are scaling the behaviors differently but, rather, that they are placing ratees in different nominal categories.

둘째로, 대부분의 의학교육에서의 RBA는 표준화된 형식을 가지고 사전에 결정된 수행능력 영역/역할/역량을 평가한다. 이렇게 이론적으로 구성되어있는 평가 영역들은 우리에게 내재된 인지프로세스의 카테고리화와 잘 맞지 않을 수 있으며, 어떤 피평가자를 카테고리화하는데는 적용가능하지 않을 수 있다. 따라서 평가자 에러는 사람이 판단을 내릴 때 사용하는 인지 프로세스와 잘 맞지 않는 평가체계를 사용하게 하는 것에서 유발되는 것일 수도 있다.

Second, in the vast majority of rater- based assessments in medical education, the standard forms require ratings on a predetermined list of performance domains, roles, and/or competencies. These theoretically constructed assessment dimensions may not correspond with the categorizations that result from our innate cognitive processes, and they may not be universally applicable to all ratee categorizations. It is possible, therefore, that rater error might stem from an assessment system that asks raters to carry out judgment tasks that are incongruent with the cognitive processes used by humans to perform judgments. 

만약 평가자가 nominal한 판단을 내리는데, 평가서식은 ordinal/interval 평가를 내리도록 만들어져 있다면, 어떻게 이 카테고리적 판단을 rating scale로 변환할 것인가? 서로 다른 변환체계를 사용하는 평가자가 평가자 에러의 한 부분이 아닐까?

If raters are forming nominal judgments but assessment forms require ordinal or interval ratings, how do they translate that categorical judgment into a rating scale value? Could raters using different conversion systems explain a portion of rater error?

6 Lurie SJ, Mooney CJ, Lyness JM. Measurement of the general competencies of the Accreditation Council for Graduate Medical Education: A systematic review. Acad Med. 2009;84:301–309.

30 Kogan JR, Holmboe ES, Hauer KE. Tools for direct observation and assessment of clinical skills of medical trainees: A systematic review. JAMA. 2009;302:1316–1326.

Rater-based assessments as social judgments: rethinking the etiology of rater errors.

갑옷 선택하기: 사회과학으로서 의학교육 세우기 (Med Educ, 2009)

Picking up the gauntlet: constructing medical education as a social science

Lynn V Monrouxe1 & Charlotte E Rees2

최근 Bligh and Brice는 다음과 같이 주장했다. bibliometric analysis만으로 평가되는 위협에 대응하기 위해서는 우리는 반드시 새로운 측정지표를 활용하여 우리에게 연구를 위임하는(commission) 사람들에게 의학교육연구의 가치를 보여주어야 한다.

The challenge presented by Bligh and Brice1 is as follows: to counter the threat of bibliometric analysis alone, we must demonstrate the value of medical education research through new measurement indicators for those who commission our work.

의과학인가 사회과학인가?

should it be constructed as a medical or social science?

Bligh and Brice는 세 가지 이유를 언급했다.

Bligh and Brice1 offer a three- pronged perspective, suggesting that:

• 첫째, 영국에서 의학교육연구는 흔히 의과학으로 보고 있으며, 이 때문에 앞으로도 의과학으로 볼 것이며 양적 지표로 평가하는 REF의 세 가지 의과학 분류 중 하나로 들어갈 것이다.
  firstly, medical education research in the UK is commonly viewed as a medical science, and as such ‘It appears probable that medical education research in the UK will continue to be viewed as a medical science rather than a social science’ and will therefore be cate- gorised within one of the REF’s three medical science categories and measured by quantitative indica- tors;
• 둘째, 의학교육연구의 target audience는 임상가와 과학자이며, 우리는 실용적인 성과를 보여주어야 한다.
  secondly, that the target audi- ence for (and users of) medical education research consists of cli- nicians and scientists and we should demonstrate practical outcomes such as improved patient care in order to appease them, and,
• 셋째, 의학교육연구에서 사용되는 방법론의 soft 한 특징 때문에 (RCT 등과 다른), 재정 지원 수준이 낮다.
  thirdly, that the ‘soft’ nature of the methodologies used by medical education researchers (rather than methods consistent with a medical paradigm, such as randomised controlled trials) result in the attainment of low levels of funding.

우리는 첫째로, Bligh and Brice의 의학교육연구가 'soft'사회과학이라기보다는 앞으로도 꾸준히 'hard'의과학일 것이라는 주장이 부분적으로 불완전하다고 생각하며, 둘째로 이러한 주장은 의학교육연구가 연구의 실용적 결과를 소비하는 사람들에게만 가치있는 것이라고 보는 관점이 위험하다고 생각한다.

We argue that, firstly, the premise through which Bligh and Brice1 reach their conclusion is partial, incomplete and comprises part of the problematic perspective through which medical education research continues to be con- structed as a ‘hard’ medical science, rather than a ‘soft’ social science, and, secondly, that restricting our sights to considering only the value that medical education research has for those who use or consume it for practical outcomes is detrimen- tal.

우리는 의학교육연구가 어떻게 의과학으로 만들어지는가에 대해서 관심을 가져보고자 한다. Bligh and Brice는 의학교육저널이 사회과학이 아니라 의과학으로 분류되며, 그 이유를 JCR을 근거로 삼았다. 그러나 JCR을 자세히 들여다보면 일부 저널들은 사회과학 DB에도 포함된다. 더 나아가 Thomson IS citation index는 이 세 가지 주요 의학교육저널에 논문을 출판하는 저자들이 SCI와 SSCI 목록에 모두 포함되어있음을 보여준다. 그리고 영국 바깥을 보면 Excellence in Research for Austra- lia (ERA) initiative와 같이 교육과정과 교육법 등으로 분류된 저널들이 있으며, 이는 사회과학/행동과학/경제과학으로 분류된다.

We begin by turning our attention to the construction of medical education research as a medical science. Bligh and Brice1 claim that the core medical education jour- nals (e.g. Medical Education, Aca- demic Medicine, Advances in Health Sciences Education, Medical Teacher, etc.) are identified with ‘hard’ medical rather than ‘soft’ social science because they appear in the ‘Science’ listings of Thomson’s journal citation reports (JCR). However, a closer look at the JCR shows that some journals (e.g. Advances in Health Sciences Educa- tion) appear in the social science database. Furthermore, the Thom- son IS citation index (which con- siders author citations, rather than journal citations) reveals that authors who publish in all of the core medical education journals appear in both the science and the social sciences citation index list- ings. And when we look outside the UK, for example, to the new Excellence in Research for Austra- lia (ERA) initiative,4 we find that these same journals have been labelled under curriculum and peda- gogy, which are categorised as social, behavioural and economic sciences.

흥미롭게도, 연구를 bibliometric 분석으로 보는 관점에서 의학교육연구는 의과학이나 생명과학의 주요 분야로 분류되지 않으며, 오히려 사회과학/행동과학으로 분류된다. 따라서 Bligh and Brice의 주장과 달리 의학교육연구는 사회과학으로 construct된다.

Interestingly, in the scoping study for the bibliometric analysis of quality in research3 cited by Bligh and Brice,1 medical education research is not classified under the major field of medical and life sci- ences; rather it is categorised under social and behavioural science (subfield: educational science ‘education, scientific disciplines’). Therefore, contrary to Bligh and Brice’s1 claim, medical education research is commonly constructed as a social science.

의학교육연구는 의학연구와 'poor relation'에 있는데, 이것은 애초에 사촌간이 아니기 때문이다(not a relation at all). 이 둘은 전혀 다른 두 가족에 속해있다.

Medical education research is not the ‘poor relation’ of medical research15 because it is not a rela- tion at all. Instead, it belongs to a different family altogether.

Med Educ. 2009 Mar;43(3):196-8. doi: 10.1111/j.1365-2923.2008.03272.x.

Picking up the gauntlet: constructing medical education as a social science.

의학교육연구의 질에 관한 논의 확대(Med Educ, 2009)

Broadening the debate about quality in medical education research

Kevin W Eva

두 사람 모두 Todres의 2007년 논문을 인용하며 의학교육연구의 2/3은 observational 연구이며, 3%이하만이 RCT를 활용했다고 지적했다. 이번 호에서 Jones 등은 2007년 논문이 RCT를 지지하기 위한 것은 아니었다고 밝혔다. 그들이 전하고자 했던 메시지는, 연구 디자인이 어떻든 그 설계에 관한 최고의 스탠다드를 적용해야 한다는 것이었다고 한다. 이는 중요한 해명이다. 의학교육연구가 대부분 관찰연구라는 사실을 바탕으로 의학교육연구가 정체되어있다고 주장하는 것으로부터 관찰연구가 다른 방법론에 비해서 열등한 것이라는 추론을 내리는 함정에 빠져서는 안된다고 Dornan은 말한다.

Both used Todres, et al.’s1 2007 paper to point out that a full two thirds of medical education re- search studies were observational in nature while less than three per cent utilised randomised controlled trial (RCT) designs. In a letter published in this issue Jones, et al.2 clarify that they did not intend to advocate for RCTs (or quantitative methods more gener- ally) in that 2007 article, but rather, that their message was that what- ever research design is used it should be used to the highest standards of practice for that design. This is an important clarifi- cation. One could easily be forgiven for inferring that claims of stagnation within medical educa- tion research accompanied by the observation that the majority of studies in the field are observa- tional implies that observational studies (and the qualitative research encompassed in that broad label) are less desirable than other methods, as indicated by Dornan, et al.,3 in their reply.

생의학계의 '근거의 위계'는 교육적 맥락에서는 불충분하며, 수행된 연구가 진전을 가져왔는가에 대한 평가를 위해서는 대안적 모델이 필요하다. 만약 우리의 연구가 다른 기준에 따라 평가되어야 한다면 그 기준이 무엇이 되어야 하는가를 정하는 책임은 우리에게 있다.

It was then that I realized, however, that it is one thing to say that the biomedical community’s hierarchy of evidence is insufficient in educational contexts, but quite another to offer an alternative model that provides guidance regarding how to judge whether or not the research being performed is enabling progress to be made. If we think our work in the field needs to be held to a different standard, the onus falls upon us to determine what that standard should be.

이 때 근본적 문제는 다양성이다.

A fundamental problem in this regard is diversity.

이에 대해서 너무 이상적인 모습만 그려서는 안된다. Brain Hodges가 우리에게 우아하게 가르쳐 준 바와 같이 서로 다른 담화(세상을 바라보는 관점)가 서로 (암묵적이든 명시적이든) 충돌할 수 있으며 , 두 분야는 물론 학생에게도 부정적 결과를 가져올 수 있다. 그러나 전체적으로는 내 경험에 따르면 의학교육연구에 종사하는 대부분의 사람들은 우리 중 그 누구의 가정/방법/세계관도 교육의 모든 이슈를 설명하기엔 부족하다는 것을 안다. 전세계적으로 통용되는 기준을 정의하는 데 있어서 이것이 야기하는 문제는 엄청나다.

One should not paint too Utopian a view in thisregard as it is undoubtedly true, asBrian Hodges has so eloquently taught us, that different discourses (ways of seeing the world) can conflict with one another, either explicitly or implicitly, with poten- tially negative repercussions for both the field and individual stu- dents.7 On the whole, however, myexperience has led me to believe that most people working within the field of medical education research recognize that the assumptions, methods, and world- views that any of us hold as indi- viduals are insufficient to address every issue of relevance to educa- tors in the health professions. The challenge this creates in terms of defining universal standards for rigour are substantial. 

우리 스스로 발전을 이뤘다고 생각하는 것을 더 잘 보여주는 준거의 집합을 어떻게 제안할 수 있을까?

How then can we put forward a set of criteria that will enable the next set of authors who choose to conduct a review of the quality of research in medical education to better represent the goals of the field and the progress that we think is being made? It is a critically important question be- cause, quite frankly, it would not bother me in the least if the Todres, et al. study were repeated 10 years from now only to bemoan that the distribution of research methods was unchanged.

Isaac Asimov는 '과학계에서 들을 수 있는 말 중 가장 흥분되는 말은 '유레카!'라는 새로운 발견의 도래를 알리는 말이 아니라, '그거 흥미로운데요...' 라는 말이다' 라고 한 적이 있다. 연구자로서 우리의 목표는 관심이 되는 현상을 밝혀내고, 이 현상에 대한 호기심이 기존의 경험적 발견을 탐색하게끔 하고, 그 특정 현상을 더 잘 이해하기 위한 연구방법 뿐 아니라 이론을 만들어내는 것이다. 현상이 복잡하다면 어떤 방법도 독자적으로는 불충분하다.

Isaac Asimov once said ‘The most exciting phrase to hear in science, the one that heralds discoveries, is not ‘‘Eureka!’’ (I found it!) but ‘‘That’s funny…’’’. As researchers our goal should be to identify phenomena of interest (and prac- tical relevance) and to let curiosity about those phenomena drive an exploration of existing empirical findings and theories as well as driving the generation of research methods tailored to the purpose of better understanding that particu- lar phenomenon. Any one method is likely to be insufficient if the phenomenon is complex (as is typically the case if the phenome- non is related to education).

이 editorial에 있어서 나는 고의적으로 'evidence'라는 단어를 사용하지 않았다. 이는 이 단어의 의미가 '활용가능한 정보의 총체'라는 의미가 아니라 '뭔가 효과가 있었던 것'이라는 협소한 의미로 갈취되었기 때문이다. 의학교육연구와 같이 복잡한 영역에서 나는 더 광범위한 정의에 초점을 맞춰야 한다고 생각한다. 우리의 실제 목표와 관련된 경험적(empirical) 정보의 축적을 통한 발전을 위해 고군분투하는 것이며, 다양한 종류의 정보에 순위를 매겨 고정시키거나, evidence의 위계를 협소하게 정의하지 말아야 한다.

Throughout this editorial I have deliberately avoided using the word ‘evidence’ when discussing research in medical education. That is because the word has been hijacked to narrowly come to mean proof that something works rather than the broader definition of an available body of information.10 In complex domains like medical education research I think we are better served by focusing on the broader definition, striving for progress through the accumulation of empirical (i.e., based on verifi- able observations) information that is relevant to our practical aims than we are by getting locked into placing different types of informa- tion into a static and inevitably narrowly defined hierarchy of evidence.

바로 그 최고의 RCT라는 것조차 '효과적'이라고 밝혀질 수 있지만, 그 조차도 특정 워크숍이나 과정에 대한 것을 넘어서는 더 일반적인 현상의 이해에 도움이 되지 않는다면, 더 폭넓은 커뮤니티 차원에서는 충분히 활용가능한 것이 아닐 수 있다. Scholarship란 문헌에 존재하는, 특정 맥락으로 제한되는 경험적 결과를 적용할 수 있는 최선의 방법을 찾는 것이다. 이는 가장 효과적인 교육 처방을 공식에 따라서 주문하는 것과 같이 단순화 될 것이 아니다.

The very best RCT may prove that a specific educational intervention was effective, but if it does not advance understanding of a more general phenomenon than that particular course or workshop then it will not be of substantial use to the broader community.11 Scholarship is about determining how to best adapt the empirical findings present in the literature to the needs and constraints of one’s local context (and engaging in continuous quality improvement exercises to ensure that one’s adaptations are meeting their mark). It is not about simply ordering the most effective educa- tional therapy off the formulary. That pill doesn’t exist.

의학교육 연구의 질에 대해 판단할 때 이것이 의미하는 바는, 어떤 '객관적' 체크리스트도 불충분하다는 것이다.

What this means in terms of judg- ing the quality of research being performed in medical education is that any ‘objective’ checklist, such as those advocated by the users’ guides, will be insufficient.

의학교육 연구는 성장하고 있다.

The field of medical education research continues to grow

이 모든것이 많은 사람들이 이미 수행된 연구의 가치를 찾고 있음을 보여주는 간접적 증거이다. 우리는 Todre의 근본적 메시지에 관심을 기울여야 한다. 즉 우리 분야의 지속적 발전을 위해서는 다양한 재정지원 기관에 우리가 하는 것을 팔(sell) 방법을 생각해야 한다.

This all provides indirect evidence that a large body of people are finding value in the research that is being done. That said, we do need to heed Todres, et al.’s fundamen- tal message that to continue our progress we need to find better ways to sell what we do to various funding agencies and government organizations.

그렇게 함으로써, 나의 진정한 바람은 의학교육연구의 질을 평가할 때, 특정 방법론이 적용되었는지 아닌지를 가지고 평가하기보다는, 문제를 이해하는 데에 있어 우리가 얼마나 정교한지를 생각해볼 때, 과연 그 연구를 통해서 그러한 진전이 이루어졌는지를 기준으로 평가하는 것이다.

In doing so, however, my sincere hope is that we will define the quality of medical education research based on judgments of whether or not progress is being made with regard to how sophisti- cated our understanding of the problems becomes, rather than on whether or not a particular research methodology has been adopted.

Broadening the debate about quality in medical education research.

좋은 의학교육연구의 가치는 무엇인가? (Med Educ, 2008)

What is the value of good medical education research?

John Bligh & Julie Brice

속담에도 나와 있듯, 비용을 부담한 사람이 결정권을 가진다. 연구가 공공의 자금에서 지원되는 대부분의 국가에는 연구 성과를 평가하는 국가 시스템이 있다.

As the saying goes, those who pay the piper call the tune. In most countries where research is pub- licly funded there are national systems for assessing research outputs. Governments, research councils, charitable bodies and other investors all want value for money.

영국은 2008년부터 모든 건강 관련 연구를 평가하는 metrics를 사용할 것이며, 문서에서 드러난 것은 lighter-touch 접근법이라 불리는 방식이 사회과학 연구를 위해 개발될 것이라는 점이다.

the UK government will use metrics to assess all health-related research from 2008, and what the consultation document describes as a lighter-touch approach will be developed for those disciplines within the social sciences.3

의학교육 연구자들은 연구 평가를 위한 양적 접근법을 불신할 만한 이유가 있다. 비록 많은 의학교육 편집자와 연구자가 그들의 연구 대부분이 - 연구방법론이 어떻든 - 더 과학적이고 이론적으로 튼튼해지면 도움일 될 것이라는 점에는 동의하나, 의학교육계 내에서는 어떻게 의학교육연구의 질과 가치를 평가할 것인가에 대한 분노만큼이나 방어적 태도가 나오고 있다.

Medical education researchers have reason to mistrust quantitative approaches to assessing their work. Although many medical education editors and researchers would agree that much of our published research, whatever the methodol- ogy, would benefit from being more scientifically and theoretically rigorous,5–7 there is a sense of defensiveness amounting almost to indignation among the medical education community regarding how the quality and value of medical education research are assessed.

의학교육연구는 전통적으로 무자비하게 실용성만 강조하는 영향력있는 사람들의 손에서 번창해왔다. 이러한 의학교육연구는 비록 생의학 분야의 한 부분으로 여겨졌지만, 점차 양적 방법론을 더 폭넓게 사용하고 있으며, 전통적인 의학 연구와는 다르다. RCT가 황금률로 여겨지는 분위기에서 의학교육은 지속적으로 인정받기 위해 노력해왔다 .실제로, 대부분의 방법론적 접근법의 soft nature로 인해서 의학연구와의 관계가 취약하다고 묘사되어왔다. 이는 적은 연구비 지원으로 이어졌고, 대규모의 empirical research project 발전의 장애로 작용했다.

Medical education research has not traditionally prospered at the hands of those in positions of influence where the emphasis is ruthlessly practical. Although medical educa- tion research is typically considered part of the biomedical sciences family, and it continues to make extensive use of quantitative meth- ods, it is not typical of classical medical research. In a climate where the randomised controlled trial is seen as the gold standard for research, medical education constantly has to struggle for rec- ognition.8 Indeed, it has been unflatteringly described as the poor relation of medical research 9 because of the soft nature of many of its methodological approaches. These factors contribute to low levels of funding for medical education research, which in turn represents a serious barrier to the development of large-scale empirical research projects.

영국의 의학교육연구는 사회과학보다는 의과학으로 구분될 가능성이 높다.

It appears probable that medical education research in the UK will continue to be viewed as a medical science rather than a social science.

이러한 의학교육연구에 대한 관점은 널리 받아들여지고 있는데, 저널들은 SSCI보다는 Thomson ISI Citation Index에 더 등장하고 있다.

This view of medical education research as more repre- sentative of a science than a social science is widely accepted. For example, all the main medical education journals appear in the Science listings in the Thomson ISI Citation Index, rather than in the Social Science categories; pub- lished work is listed in the main scientific and medical indices.

무엇보다 의학교육연구의 가장 가혹한 비평가들은 그들의 독자이다. 의과학 패러다임에 익숙한 기초의학자와 임상가들이다. 이들은 우리의 연구비 제안서를 평가하는 사람들이며, 우리의 연구 성과를 판단하는 독자이고, 이것을 실제로 활용할 사람들이다. 따라서 의학교육연구의 매체(medium)과 메시지가 이들에게 적절해야 한다.

After all, medical education research s harshest crit- ics are also its target audience: clinicians and scientists familiar with the medical science para- digm. These are the funders who assess our grant applications and the journal readers who judge the products of our research and eventually apply them in their practice. It is therefore vital that the medium and the message of medical education research are appropriate for this audience.9–11

복잡하고 빠르게 변화하는 의과대학과 의료환경에서 의학교육연구를 수행할 때 실제적/이론적 어려움과 씨름해 본 사람이라면 반대하기 어려울 것이다. 그러나 우리의 개인적 신념이 무엇이든, 한 집단으로서 우리는 우리앞에 놓은 과제를 인정해야 한다.

anyone who has wrestled with the practical and theoretical difficulties of undertaking medical education research in a complex and rapidly changing medical school or clinical environment would find it hard to disagree. Yet whatever our individual beliefs about the nature of medical edu- cation research, as a community we nevertheless have to accept the challenge that lies before us.2

우리의 주된 관심은 의학교육연구의 가치를 우리의 연구를 사용하고 인정해줄 사람에게 보여주는 것이다. 이는 다른 사람이 연구 의제를 설정하게 두는 것이 아니다. 우리는 bibliometric analysis 만으로 어떻게 우리 연구가 평가되고 지원받을지에 대한 최종적 판단이 이뤄지는 것을 원하지 않는다. 그렇다면 우리가 의학교육연구를 평가할 새로운 평가법을 개발해야 한다. 우리는 근본적 질문에 답해야 한다. 의학교육이 변화를 가져오는가? 만약 그렇다면 누구에게, 어떻게? 그리고 교육의 성과와 효과를 측정할 때 어떻게 정의할 것인가?

Our primary concern must be to demonstrate the value of medical education research to those who commission and use our work, in ways that they can understand.12 This does not necessarily mean allowing others to set the agenda; but if we do not wish bibliometric analysis alone to have the final say on how our work is evaluated and funded, then we ourselves must develop new measurement indica- tors for medical education research that are credible and acceptable to our critics. We must address the fundamental questions. Does med- ical education make a difference? And if so, to whom and why? How do we define and, importantly, measure educational outcomes and impact? We must, as a matter of urgency, research, assess and dem- onstrate clearly how what we do is important for the improvement of patient care.

9 Todres M, Stephenson A, Jones R. Medical education research remains the poor relation. BMJ 2007;335:333–5.

What is the value of good medical education research?

Acad Med 마지막 페이지: 역동적, 순환적 관점에서의 SRL (Acad Med, 2013)

AM Last Page: Self-Regulated Learning—A Dynamic, Cyclical Perspective

Anthony R. Artino, Jr., PhD, associate professor, Preventive Medicine and Biometrics, and Kenneth D. Jones, PhD, assistant professor, Preventive Medicine and Biometrics, Uniformed Services University of the Health Sciences

AM last page: self-regulated learning--a dynamic, cyclical perspective.

자기 자신의 역량 부족 인식의 어려움: 자신의 스킬 부족을 인식하지 못하는 신참 의사(Acad Med, 2001)

Difficulties in Recognizing One’s Own Incompetence: Novice Physicians Who Are Unskilled and Unaware of It

BRIAN HODGES, GLENN REGEHR, and DAWN MARTIN

Kruger and Dunning은 스스로의 역량을 평가하는 능력의 부족은 광범위한 과제(유머, 논리적 추론 등)에서 가장 낮은 점수를 받은 분위에 속한 사람들에게 흔하게 나타나는 것이라는 연구 시리즈를 발표하였다. 연구자들은 가장 높은 점수를 받은 사람들은 자신의 능력을 과소평가하는 반면, 다른 사람의 수행능력을 확인한 다음에는 자신의 능력을 더 정확하게 파악함을 보여주었다. 중간 분위에 있는 사람들은 스스로의 스킬에 대한 평가를 전반적으로 정확히 하는 편이며, 다른 사람의 수행능력을 관찰한 이후에도 유지되었다. 그러나 가장 낮은 분위에 있는 사람들은 자신의 능력을 과대평가했으며, 다른 사람의 수행능력을 본 이후에도 자기평가가 여전히 부정확했다. Kruger and Dunning은 이와 같이 '아는 것이 적은 사람은 자기 자신이 무엇을 아는지에 대해서도 아는 것이 적다'라고 결론내렸다. 이 연구에서 그들은 어떻가 본질적으로 자기 능력을 과대평가하는 사람들을 도와줄 수 있으는지 의문을 제기했다.

Kruger and Dunning1 published an elegant series of studies illus- trating that deficits in the ability to assess one’s own competence were common among the subjects in the lowest-scoring quartile on a wide range of tasks such as recognition of humor and logical reasoning. These researchers demonstrated that subjects who had the highest scores underestimated their abilities but were able to recalibrate following exposure to the performances of others. Those scoring in the middle quartiles were generally accurate in assessing their skills, and this remained so after exposure to others’ perfor- mances. People in the lowest quartile, however, greatly overesti- mated their abilities and failed almost entirely to correct their self- assessments following exposure to the performances of others. Kruger and Dunning concluded that those who know less also know less about what they know. In their study they raise the question of how to help learners who intrinsically overestimate their abilities and therefore do not perceive their own incompetence.

Kruger and Dunning의 연구는 의학교육에 있어 흥미로운데, 의사들에게 비슷한 연구를 했을 때, 가장 스킬이 떨어지는 의사가 스스로의 능력을 부정확하게 평가할 위험이 가장 높기 때문이다.

The work of Kruger and Dunning is intriguing for medical ed- ucators because, if replicated with doctors, it suggests that those with the least skill may be most at risk of inaccurately assessing their abilities.

각자 인터뷰를 마친 후, 레지던트들은 수행장면이 녹화된 비디오를 평가한 이후에 스스로의 수행을 다시 평가했다. 스스로의 평가에 대한 레지던트의 평가는 전문가의 평가와 두 가지 방식으로 비교하였다. 첫째로, 전문가가 레지던트에 대해서 한 평가를 4분위로 나누어서 비디오 시청 전 후의 평가 결과와 비교하였다. 두 번째로, 레지던트의 척도 사용을 표준화하기 위해서 각 레지던트의 점수는  네 개의 기준점 비디오의 평가 평균에 따라 rescale 되었다. z score를 활용했다.

Following their own interviews, the residents were asked to assess the videotaped performances and were then given an opportunity to rescore their own performances. The residents’ ratings of their own performances were then compared with scores of experts in two ways. First, the experts’ ratings of the residents were sorted in tertiles and plotted against both the pre- and the post-video self- assessed ratings of the residents. Second, in an effort to standardize the use of scales across the residents, each resident’s score was re- scaled relative to his or her mean assessment of the four benchmark videos. A z score was calculated for each resident’s performance by subtracting the resident’s mean score of the videos from his or her actual self-assessment and dividing by the standard deviation of the video ratings.

우리는 가장 높은 수행능력을 보여준 레지던틑 집단이 자기평가에 대해서 가장 잘 recalibrate하는 것을 발견했다. 최하위 집단의 일부 레지던트가 유사한 결과를 보여주긴 했으나 일관되진 않았고, 8명 중 2명은 이미 과대평가된 자기평가가 더 악화되었다.

We found that those residents in the highest performance group were able to recalibrate their self-assessments more accurately when presented with benchmark videos. Some residents in the lowest performance group were also able to do this, although not as con- sistently, and two of eight individuals actually worsened their al- ready inflated self-assessments.

기술적인 관점에서 보다면, 우리는 이 연구가 자기평가연구에 중요한 기여를 한다고 생각한다. 지금까지 대부분의 자기평가의 정확성에 대한 보고는 대상자의 raw score를 전문가의 점수와 비교하였다. 이번 연구에서 raw score는 자기평가에 있어서의 문제를 드러내주지 못했는데, 이는 각 레지던트가 평가 스케일을 각자의 방식으로 사용하였기 때문이다. 자기평가의 점수를 다른 사람에 대한 평가점수를 가지고 recalibrating 했을 때만이 가장 우수한 레지던트는 더 정확해졌고, 가장 안 우수한 레지던트는 그렇지 못했다는 차이를 보여주었다.

From a technical point of view, we feel this work might make an important contribution to the evolving area of self-assessment research. To date, almost all reports of accuracy of self-assessment have relied on comparisons of the raw scores of a group of subjects on a measure of performance, compared with scores of expert(s).3 In this study, examining raw scores alone did not illustrate the problems of self-assessment shown in previous studies because dif- ferent residents were using the measurement scale in different ways.2 It was only by recalibrating their self-assessments relative to the way that they rated others that it was possible to see that the highest performers were gaining accuracy while the lowest perform- ers were not.

교육적 함의를 찾아보면, 자기주도학습(SDL)은 자기-조절하는 전문직에게 특히 중요하며, 전문가인 개개인에게 평생교육의 의무가 온전히 맡겨지기 때문이다. 이는 의사들이 스스로 부족한 부분을 정확히 찾아낼 수 있고 이후 학습을 위해 무엇이 부족한지를 알아낼 수 있다는 가정에서 출발한다. 그러나 만약 일부 의사들이 자신의 스킬을 정확히 평가해내지 못한다면? 만약 그러한 비정확성이 지속되고, 이것이 다른 사람들이 어떻게 하는지를 보고 나서도 지속된다면? 어떻게 이들 학습자가 이 역량 부족을 극복할 수 있을까?

Turning to the educational implications, this work begins to re- inforce a growing concern expressed by educators in health profes- sional education.3 Self-directed learning is based on the assumption that adult learners can identify and remedy deficits in their knowl- edge and skills. This is particularly important for self-regulating professions such as medicine, where continuing education is left entirely in the hands of individual professionals. It is only through accurate self-assessment that physicians can identify areas in which they are deficient in order to pursue further learning. But what if some physicians in some circumstances cannot accurately self-assess their skills? What if this inaccuracy persists, even when they are exposed to performances of peers? How will these learners over- come incompetence if left to direct their own learning?

다행스럽게도, 자기평가능력을 향상시키는 것은 가능하며, 우리는 실제로 기준이 되는 수행능력을 제시하는 것이 더 나은 자기평가 결과를 가져옴을 확인하였다. 그러나 최하위 그룹에서는 자기평가의 변화가 매우 미미하거나 유의하지 않았다는 것이 문제.

Fortunately, improvements of self-assessment did occur in most of Kruger and Dunning’s subjects and in our own. Indeed, we have confirmed that exposure to benchmark performances can lead to better self-assessments. However, that change in self-assessment was minimal or insignificant for the lowest group of residents, who were presumably at the greatest risk of incompetence.

Jeremy Taylor는 "사람들이 무지함을 깨닫게 하는 것은 불가능하다. 왜냐하면 그렇게 되지 위해서는 거기에 필요한 지식이 있어야 하기 때문이다. 따라서 인식하지 못하는 자는 그것을 가지는 것도 불가능하다"

Jeremy Taylor said: ‘‘It is impossible to make people understand their ignorance, for it requires knowledge to perceive it; and there- fore, he that can perceive it hath it not.’’

Acad Med. 2001 Oct;76(10 Suppl):S87-9.

Difficulties in recognizing one's own incompetence: novice physicians who are unskilled and unaware of it.

의과대학생들의 동기부여와 자기조절학습: 예비연구 (IJME, 2015)

Changes in medical students’ motivation and self-regulated learning: a preliminary study

Kyong-Jee Kim1, Hye W. Jang2

이론과 연구를 보면 학생의 동기부여와 자기조절학습은 cognitive engagement와 학업성취와 관련된다. SRL의 개념은 '학생들이 메타인지적으로, 동기부여적으로, 행동적으로 스스로의 학습에 능동적으로 참여하는 것이다. 따라서 동기부여와 SRL은 의학교육연구에서 관심의 대상이 되어왔다. 또한 학생의 동기부여와 SRL을 의과대학 수행능력과 연결시키기도 하였다. 결과적으로 의과대학 교육과정은 SRL을 향상시킬 것을 매우 요구받고 있다.

Theories and research suggest that students’ motivation and self-regulated learning, which can be conceptualized as students participating meta-cognitively, motivationally, and behaviorally actively in their learning,1 are linked to their cognitive engagement and academic achievement.2 Accord- ingly, motivation and self-regulated learning have garnered attention in medical education research. Research has also related student motivation and self-regulated learning to his or her performance in medical school.3 Consequently, medical school curricula are increasingly called upon to promote students’ self-regulated learning.4

이론과 연구를 보면 동기부여와 SRL은 학습을 조정할 뿐 아니라, 학습의 결과이기도 하다. 즉, 의학교육에서 독립변수이면서 종속변수이다. 더 나아가 개개인의 동기부여와 SRL은 학생의 배경에 따라 달라진다(연령, 성별). 따라서 학생의 동기부여와 SRL이 의과대학 기간 동안 변하며, 여러 요인에 의해 영향을 받는다고 가정할 수 있다.

Theories and research suggest that motivation and self- regulated learning are not only mediate learning but are also consequences of the learning; thus, they are both dependent and independent variables in medical education.1,5,6 Fur- thermore, an individual’s motivation and self-regulated learning may differ according to his or her backgrounds, such as age and gender.6-8 Therefore, it can be hypothesized that students’ motivation and self-regulated learning change over time in medical school and these changes are affected by several factors.

우리는 학생의 동기부여와 SRL을 MSLQ의 다섯 개 하위 척도를 활용하여 측정하였다. 학습의 사회인지이론에 따르면 MSLQ는 자기보고식 도구로서 학생의 동기 지향과 (motivational orientation)과 서로 다른 학습전략의 사용을 평가하는 도구이다.

We measured participants’ motivation and self- regulated learning using five sub-scales adapted from the Motivated Strategies for Learning Questionnaire (MSLQ). Based upon the social cognitive theory of learning, MSLQ is a self-report instrument designed to assess students’ moti- vational orientations and their use of different learning strategies.2

설문지는 44개의 문항으로 구성됨.

The questionnaire consists of 44 items encompassing motivation and self-regulated learning components.

• 동기부여 요소 두 가지 The motivation component includes three sub-scales: self- efficacy (9 items), intrinsic value (9 items), and test anxiety (4 items).
• SRL요소 두 가지 The self-regulated learning component includes two sub-scales: cognitive strategy use (13 items: e.g., use of rehearsal, elaboration, and organizational strategies) and self-regulation (9 items related to use of metacognitive strategies - e.g., planning, skimming, and comprehension monitoring - and effort management).

5점 리커트 척도

The items were rated on a five-point Likert scale, from 1 being “strongly disagree” to 5 being “strongly agree”.

White 등의 주장을 지지하는데, 의과대학이 의과대학생의 효과적인 SRL을 잘 도와준다는 근거는 거의 없다.

Still, our findings support the assertion made by White et al.13 that there is little evidence to suggest that medical schools are successfully helping medical students become effective self-regulated learners, in spite of such expectation held by many medical educators.

Changes in medical students' motivation and self-regulated learning: a preliminary study.

동기, 학습전략, 참여, 그리고 의과대학 성적(Med Educ, 2012)

Motivation, learning strategies, participation and medical school performance

Karen M Stegers-Jager1, Janke Cohen-Schotanus2 & Axel P N Themmen1,3

많은 연구자들이 SRL이론을 성공적 학습을 이해하기 위해 사용하고 있다. 이들 연구자 대부분은 자기보고식 척도를 활용했으며, 서로 다른 SRL의 요소가 있음을 밝혔다. 예를 들어 적절한 동기부여 신념, 학습전략, 등이 학업수행과 정의 상관관계에 있다. 다른 연구자들은 학생의 참여가 차이를 만들어낸다고 설명한다. 강의 출석과 같은 학생들의 참여 정도는 학업수행의 예측인자로 밝혀진 바 있따.

Several researchers have used self-regulated learning (SRL) theory to understand successful learning. Most of these authors have used self-report measures and have found that different components of SRL, such as appropriate motivational beliefs and learning strategies, are positively related to academic perfor- mance.4–7 Others have focused on student partici- pation in scheduled learning activities to explain differences in performance. Student participation, such as in lecture attendance, has been found to be predictive of academic performance.8,9

참여는 동기부여 신념이나 학습전략이 의과대학 성적과 가지는 관계를 중재(mediate)하는 역할을 할 수 있다. 그러나 이 요인들이 수행능력에 독자적인 영향을 줄 수도 있따.

Participation may mediate the relationships between motivational beliefs and learning strategies, and medical school performance, but these factors may also make unique contributions to performance.8

SRL은 '학습 프로세스에 메타인지적, 동기부여적, 행동적으로 주도적인 것'으로 정의된다. 따라서 자기조절적 학습자는..

Self-regulated learning has been defined as learning that occurs when one is ‘metacognitively, motiva- tionally, and behaviourally proactive in the learning process’.10 Thus, self-regulated learners:

• (i) monitor their own progress towards self-set goals and are therefore able to reflect on the effectiveness of their learning approaches;
• (ii) tend to view the learning task as intrinsically interesting and worth- while, and have high levels of self-efficacy, and
• (iii) engage in and persist with learning behaviours that maximise the degree to which learning occurs.10,11

SRL을 평가하기 위해 개발된 한 가지 도구는 MSLQ이다. 두 가지 섹션으로 구분된다.

One instrument developed to assess SRL as a metacognitive, motivational and behavioural con- struct is the Motivated Strategies for Learning Questionnaire (MSLQ).11 The MSLQ has two major sections: Motivation, and Learning Strategies.

• 동기부여 The Motivation section consists of scales that involve
• 기대 expectancy,
• 가치관 value and
• 감정 affect.
• 학습전략 The Learning Strate- gies section is further divided into a
• 인지-메타인지 cognitive– metacognitive section and
• 자원 관리 a resource management section.

동기부여, 인지-메타인지, 자원관리 섹션은 각각 SRL의 세 가지 요소와 맞는다.

The motivation, cognitive–metacognitive and resource management sections correspond, respectively, to the three components in the definition of SRL.10

일반적인 교육 문헌에서 세 가지 SRL의 요소와 학업성취와의 관계가 다뤄진 바 있다.

In the general education literature, several relation- ships among the three components of SRL and academic performance have been described.

• Firstly, the use of deep (cognitive) learning strategies, such as
• elaboration and
• organisation, and
• metacognitive self-regulatory activities, such as planning and mon- itoring, are related to better academic perfor- mance.12,13
• Secondly, higher levels of
• intrinsic goals for learning,
• self-efficacy and
• task value tend to lead to more deep-processing strategies and metacognitive regulation and, consequently, to improved perfor- mance.14–17
• Finally, high levels of resource manage- ment, using strategies such as
• effort regulation and
• time and study environment management, are also related to better academic performance.11,18

학습행동의 특정 유형 중 하나는 사전에 계획된 학습활동(scheduled learning activities)에 참여하는 것이다. 최근의 리뷰에서 Crede 등은 강의 혹은 다른 형태의 교육에 물리적으로 참석하는 것이 입학 전 GPA나 학습기술, 학습시간보다도 더 잘 학업성취를 예측한다고 보여주었다. 그러나 근대 의학 교육과정에서 참여는 단순히 강의에 출석하는 것 이상이다. 소그룹 과제에 참여하는 것, 개인 시간을 효율적으로 사용하는 것 역시 의과대학 성공에 중요하다. 최근의 간호대학생 연구를 보면 숙제를 해오는 것이 강의에 출석하는 것보다 더 강력한 예측인자가 되었다. 그러나 계획된 학습활동에 참여하는 것은 의과대학생들의 개인적 학습 선호나 특정 시기의 학습 요구에 따라서 영향을 받는다.

A specific type of study behaviour is participation in scheduled learning activities. In a recent review, Crede´ et al.8 showed that physical presence at lectures or other modes of instruction was a better predictor of academic performance than any other known predictor, including pre-admission grade point aver- age (GPA), study skills and number of hours spent studying. However, in modern medical curricula, participation involves more than just attending lec- tures. Participation in small-group work (such as tutorials or skills training) and efficient use of individual study time are also crucial to medical school success.25 A recent study among nursing students showed that homework completion was a stronger predictor of success than lecture atten- dance.9 However, participation in scheduled learning activities appears to be influenced by medical stu- dents’ personal learning preferences and learning needs at particular times.26,27

문헌 고찰을 통해서 관계에 대한 가설을 설정

On the basis of the reviewed literature, we hypothes- ised several positive relationships between these variables (Fig. 1).

네덜란드 에라스무스 의과대학

This study was performed at Erasmus MC Medical School, Rotterdam, the Netherlands. The integrated and theme-oriented curriculum at this school com- prises a 3-year bachelor degree course followed by a 3-year masters degree course. The first year of the Bachelor of Medicine is divided into three thematic blocks of 11–16 weeks, which are organised around pathophysiological systems and cover subjects, start- ing from the basic sciences, up to and including clinical practice. Each study week covers one topic, such as heart failure, which is dealt with in various learning activities, including

• large-group learning (lectures and patient demonstrations; 8 hours),
• small-group learning (skills training and tutorials; 8 hours) and
• both guided (study assignments; 16 hours) individual study and
• unguided (8 hours) individual study.

의무여부

• Large-group sessions and guided study assignments are undertaken on a voluntary basis;
• for about a quarter of the small-group sessions student partici- pation is compulsory.

1학년 시험

The first year includes nine written examinations, consisting of open-ended and multiple-choice questions.

참가자와 절차

Participants and procedure

평가도구

Instrument

To measure the three components of SRL, we used parts of a validated Dutch version of the MSLQ.28,29

The MSLQ consists of 81 items divided into six motivation subscales and nine learning strategies subscales. Items are scored on a 7-point Likert scale (1 = not at all true of me, 7 = very true of me). As the MSLQ subscales are designed to be modular, they can be used to fit the needs of a particular study.12 The present study used eight subscales of the MSLQ, comprising 49 items.

• To measure students’ motivational beliefs, we used three motivation subscales:
• Intrinsic Goal Orienta- tion;
• Task Value, and
• Academic Self-Efficacy.
• Deep learning strategies were measured using three subscales on cognitive and metacognitive strategies:
• Elaboration;
• Organisation, and
• Metacognitive Self-Regulation.
• To measure the extent to which students manage their resources, we used two resource management subscales:
• Time and Study Environment, and
• Effort Regulation.

통계 분석

Statistical analysis

Data were then subjected to structural equation modelling (SEM), using AMOS 18.0 (SPSS, Inc., Chicago, IL, USA).30 Structural equation modelling is a statistical tool that builds on techniques such as correlation, regression, factor analysis and analysis of variance (for an explanation of SEM, see Violato and Hecker31). We used SEM to test the significance of the hypoth- esised relationships among variables and the fit of the overall model. The final model derived for the 2008 cohort was cross-validated using data from the 2009 cohort.

A two-stage approach, as recommended by Anderson and Gerbing,32 was used to test the hypothesised model.

• The first stage involved testing the validity of the measurement model. To this end, two separate confirmatory factor analyses (CFAs) were conducted; one of these applied to the three latent factors measured by the MSLQ (Value, Deep Learning, Resource Management), and one applied to the latent factor Participation (Fig. 1). Self-efficacy beliefs were not hypothesised to load on a latent variable and therefore were not included in the CFAs.
• The second stage involved testing the full structural model depicted in Fig. 1.

결과

RESULTS

Respondents

Descriptive statistics and Pearson correlations

Confirmatory factor analyses

Evaluating the structural model

Cross-validation of the model

고찰

DISCUSSION

가장 충격적인 결과는 비록 간접적으로는 긍정적인 관계에 있었으나, DLS의 사용이 1학년 수행능력과 부적 상관관계에 있었다는 점이다. 이는 DLS의 활용이 학업 성취를 가져올 수는 있으나, 이것은 자원관리와 참여가 함께 있을 때만 그렇다는 것이다. 이러한 결과는 왜 이전 연구에서 Deep learning 이 의과대학 성적과의 관계가 약했거나 심지어 없었는지를 보여주는 것이다.

One of the most striking outcomes is the finding that, despite a positive indirect relationship, the useof deep learning strategies had a negative direct relationship with Year 1 performance. This result suggests that the use of deep learning strategies maylead to academic success, but only if it is combinedwith good resource management and participation. This finding may explain why in previous studies theassociation of deep learning with medical school grades was found to be weaker than expected36 or even absent.37 

DLS의 활용보다도 자원관리전략(시간관리, 노력 조절) 이 학업성취에 더 중요하다는 것은 다른 연구자들도 보고한 바 있다.

The importance of resource manage- ment strategies – time management and effort regulation – over the use of deep learning strategies in the explanation of academic performance has also been reported by others.4,24

또 다른 설명으로는 학습환경의 특징이 있다. 예를 들어 평가 방법이 DLS가 수행능력에 미치는 영향에 영향을 준다는 것이다. 예를 들어 1학년 시험은 주로 기계에 의해서 채점되고, 이는 DLS보다 단순암기를 더 보상하는 평가법일 수 있다.

An alternative explana- tion may be that characteristics of the learning environment, such as the examination methods used, influence the degree to which the deep learning strategies affect performance.4,36 For example, Year 1 examinations, which are mainly machine-marked, may (despite efforts to prevent this) reward the use of memorisation rather than the use of deep learning.

노력 조절과 시간관리가 1학년 수행능력과 강한 상관관계가 있으나, 자원 관리가 1학년 성취와 정적 관계에 있다는 가설은 아직 증명된 것은 아니다. 우리의 관찰결과는 노력 조절과 시간 관리의 긍정적 영향을 '참여'에 의해서 mediate 됨을 보여준다. 따라서 학생의 자원관리전략이 (다양한 학습활동에의) 참여를 촉진시키는 경우에만 이 전략이 긍정적 영향을 줄 것이다.

The hypothesis that resource management would have a direct positive association with Year 1 perfor- mance was also not confirmed, despite the strong correlations found between effort regulation and time management and Year 1 performance. Our findings suggest that the positive effect of effort regulation and time management on medical school performance is mediated by participation. Thus, only if a student’s resource management strategies stimulate the student to participate in the variety of learning activities offered will these strategies positively influence the student’s grades.

이전 의과대학생과 간호대생 대상 연구와 마찬가지로, '참여'는 1학년 수행에 강한 관계가 있었다. 이에 대한 몇 가지 설명. 첫째, 다양한 학습활동에 대한 참여는 학생들이 과목 수업자료에서는 얻을 수 없는 다양한 정보를 얻게 해준다. 둘째, 다양한 학습활동에 정기적으로 참여함으로써 (학습노력이 여러 학습세션에 분담되고), 수행능력에 긍정적 영향을 준다. 마지막으로 지속적인 참여는 자료에 숙달된 이후에도 계속 학습하게(overlearn) 해주고, 특히 강의가 tutorials, skills training, (guided) independent study와 관련될 때 그러하다. 이와 같이 고도로 구조화된 과목과 교실 안팎에서의 적극적 참여의 중요성은 최근 과학 수업에서도 보여진 바 있다.

In line with the results of earlier studies among medical and nursing students,9,38 participation was found to be strongly related to Year 1 performance, confirming our hypothesis. There may be several explanations for this finding.8 Firstly, participation in various learning activities may allow students to obtain information that is not contained in the course material. Secondly, regular participation in various learning activities (lectures, skills training and independent study) around the same topic may represent a form of distributed practice (in which study effort is distributed over several study sessions), which is known to have a positive effect on performance. Finally, consistent participation may offer the possibility for the overlearning of material, especially when lectures are combined with tutorials, skills training and (guided) independent study. The importance of a highly structured course and active participation within and outside class has recently been reported with reference to science classes.39

또 다른 설명은 성적을 잘 받는 학생들이 자료를 더 잘 이해해서 그럴 뿐만 아니라, 수업시간동안 제시되는 시험에 대한 명시적/암묵적 힌트를 받기 때문일 수도 있다.

However, an alternative explanation is that students with better rates of participation achieve higher grades not because they comprehend the material better, but because explicit or implicit cues to the content of examinations are given during class.8,38

자발적 참여의 가능성을 보여주는 한 이론은 Higgin's 조절 초점 이론으로서, 학생들은 그들이 하고싶어서(promotion focus) 혹은 그래야 할 것 같아서(prevention focus) 학습활동에 참여한다.

One theory that appears promising in explaining voluntary participa- tion is Higgin’s regulatory focus theory.40,41 Accord- ing to this theory, students may participate in learning activities either because they ‘want to’ (promotion focus) or because they feel they ‘have to’ (prevention focus).

학업적 자기효능감과 1학년 성적의 관계는 직접적이었으며 학습전략에 mediate 되지 않아 우리의 가설과 달랐다. 이에 대한 한 설명은 자기효능감이 높은 학생은 성공을 위해서 언제나 참여할 필요가 있는 것은 아니기 때문이다. 여러 연구에서 더 성적이 우수한 집단 혹은 학생이 규칙적으로 수업에 들어올 가능성이 더 낮음을 밝혔다. 그러나  둘 사이의 인과관계는 두고 볼 일이다. 의과대학에서 자기효능감의 효과는 흥미로운 연구주제인데, 왜냐하면 자기효능감이 의과대학에서 학업성취도가 낮을 것으로 예상되는 학생들의 조기발견을 돕는 요인으로 활용될 수 있기 때문이다. 추가적으로 자기효능감은 의학교육자들에 의해서 영향을 쉽게 받을 수 있다.

The finding that the relationship of academic self-efficacy with Year 1 performance was direct and not mediated by learning strategies contradicts our hypothesis. A possible explanation for this direct relationship is that students with high levels of self- efficacy do not always need to participate to a great degree in order to be successful. Several studies have revealed the existence of a group of better or more confident students who are less likely to attend classes on a regular basis.8,27,38 However, whether these students are more confident because they have performed well in early examinations or whether their higher initial self-efficacy results in better performance at the end of the year is a matter of debate.21 The impact of self-efficacy on medical school performance may be an interesting area for further research, especially because self-efficacy may be used as a factor to aid in the early identification of students who are at risk for poor performance at medical school. In addition, self-efficacy can relatively easily be influenced by medical educators.42

연구의 한계. 인과관계를 보인 것 아님

There are some limitations to our study. Firstly, it is not possible to infer causality

실제 함의. 의과대학은 학생들을 학습활동에 참여하게끔 해야 한다. 비록 이러한 참여를 의무화시키고 싶겠지만, 그것이 과연 필요한지, 나아가 이상적인지에 대한 의문이 있을 수 있다. 의과대학은 학생들의 참여를 촉진시키려고 하기보다는 학생의 가치관 신념을 발전시켜야 한다. 물리적 참석을 넘어선 참여가 필요하며, 집중적 연습 (active learning exercise를 통한) 이 필요하다.

A first practical implication of this study is that medical schools should stimulate students to participate in learning activities. Although it might be tempting to make participation mandatory, it is questionable whether this is necessary8 or even desirable. Medical schools should, rather, aim to stimulate participation by enhancing students’ value beliefs. Participation that extends beyond physical presence and includes intensive practice – via active-learning exercises – is likely to be most beneficial for all students.39

자기효능감을 유지 혹은 향상시켜줘야 한다. 가장 강력한 자기효능감의 근원은 이전 수행수준이나, 다른 것에도 영향을 받는다.

Secondly, medical schools should aim to facilitate the maintenance or growth of self-efficacy levels. The most powerful source of self-efficacy beliefs is past performance, but student self-efficacy is also influenced by vicarious experiences (observ- ing others perform), encouragement by others and students’ own feelings.46

To increase self-efficacy, medical schools should

• help students to monitor their own progress and build their confidence in their ability to learn.

Possible strategies are

• to focus feedback on the competencies mastered rather than on those that have not yet been mastered,
• to provide students with authentic tasks that fit their skill development level, and to create ‘safe’ learning environments.42

SRL 자료를 수집하고 참여에 대한 자료를 수집하는 것이 의과대학 초기에 수행능력이 떨어질 위기에 있는 학생을 빨리 감별하는데 도움이 된다.

Thirdly, our results suggest that the collection of data on SRL and on participation may help medical schools to identify students who are at risk for poor performance early in their training. In addition, these data enable the identification of areas for improvement and consequently can be used to offer proactive and targeted types of support.

Med Educ. 2012 Jul;46(7):678-88. doi: 10.1111/j.1365-2923.2012.04284.x.

Motivation, learning strategies, participation and medical school performance.

의사국가시험, 그리고 딜레마 (Acad Med, 2015)

National licensing examinations, not without dilemmas

Lambert Schuwirth

의사국가시험(NLE)는 대중에게 의과대학 졸업생의 질에 대한 확신을 주는데 기여할 수는 있으나 제한적이다. 그렇다면 몇 가지 딜레마를 언급하고자 한다.

National licensing examinations can play an important role in reas- suring the public about the quality of medical graduates but only to a certain extent. At the risk, then, of kicking in the proverbial open door I want to highlight some of the dilemma’s I think national licensing is facing.

딜레마 1: NLE의 목적

Dilemma 1: the purpose of national licensing

본질적으로, NLE의 목적은 대중에게 면허를 받은 의사는 안전하고, 독립적인 진료가 가능하다는 확신을 주기 위함이다.

In essence the purpose of national licensing is to reassure the public that licensed doctors are safe, independent practitioners.

대중들이 표준화된 NLE가 안전한 독립적 의사를 만드는 최고의 방법이라고 인식한다면 모든 것이 문제없을지도 모르나, 이는 NLE의 신뢰도가 충분히 확실할 때 뿐이다. 그렇지 않은 경우 NLE 출제 기관은 NLE의 목적이 NLE를 출제하는 그 자체냐 아니면 대중에게 의학교육과 의사의 질에 대한 확신을 심어주기 위함이냐의 딜레마에 빠진다.

As long as there is a public perception that standard- ised testing with NLEs is the best way to ensure safe independent practitioners all is ok, but when that credibility of NLEs to be suffi- cient reassurance fades a dilemma will occur. Then, the dilemma national licensing agencies face, is whether their mission is to pro- duce NLEs or whether it is to reas- sure the public of the quality of medical education and the doc- tors.

현재 평가에 관한 문헌을 보면 단순히 고도로 구조화되고 표준화된 지식과 기술에 대한 시험만으로는 안된다고 말한다. 대신, 초점은 (틀린 명명이나) 소위 'softer' 능력에 초점을 두어야 한다고 한다. 여기에는 프로페셔널리즘, 커뮤니케이션, 성찰 등이 들어간다. 의학교육에서의 평가의 발전과 NLE에서의 평가의 발전 사이의 차이는 점점 더 벌어져가는 듯 하다.

Surveying the current assessment literature in medical education it does seem to show a movement away from solely relying on highly structured and standardised testing of knowledge and skills (cf2–5). Instead, the focus seems to shift towards what are often called with a misnomer ‘softer’ abilities; abili- ties like professionalism, communi- cation, reflection, etc. There appears to be a widening gap between assessment developments in medical education and those in national licensing examinations’

딜레마 2: 자료 수집과 측정의 질, 혹은 해석의 질

Dilemma 2: the quality of collecting and measuring data or quality of interpretation

네덜란드에는 meten is weten 이라는 속담이 있다. 즉 '측정하는 것은 아는 것을 뜻한다'라는 의미이며, 평가는 객관적 성과로 이끌어주는 프로세스여야 한다는 것을 시사한다. 비록 의사결정에 있어서 양적 정보의 유용성을 부정하고 싶지는 않으나, 그러한 정보가 의미를 가지려면 반드시 주관적 해석을 거쳐야 한다. 심지어 가장 양적인 연구를 수행한 것 조차 숫자보다 더 많은 단어가 들어가 잇으며, 최소한 도입/방법/고찰을 기술하여 숫자 자료의 의미를 만들어간다. 평가에서도 주관적 해석이 결여된 객관성 혹은 순수한 숫자정보의 가치에 대한 인식에 점차 이의를 제기하고 있다.

A Dutch saying (meten is weten) suggests that ‘to measure’ means ‘to know’, implying that assess- ment has to be a process that leads to an objective outcome. Although I do not want to invalidate the use- fulness of quantitative information to inform a decision, that informa- tion will have to be subjectively interpreted before it can start mak- ing sense6,7; even the most quanti- tative research paper in medical education still contains more words than numbers and it con- tains at least an introduction, methods section and discussion to make sense of the numerical data. In assessment, the notion of objec- tivity or the value of purely numer- ical data without subjective interpretations is increasingly being questioned.8,9

이러한 발전은 NLE에 또 다른 딜레마를 만드는데, 즉 자료 수집에 있어서의 향상에 투자하는 것이 옳은지, 아니면 그 자료로부터 양질의 의미를 찾기 위한 투자가 옳은가에 대한 것이다.

These developments seem to cre- ate another dilemma for national licensing, namely whether to invest in improving the quality of the data collection methods (like com- puter adaptive testing) or in improving the quality of sense- making of the data.

평가 프로그램(programmatic assessment)는 단순히 다양한 평가도구를 사용하는 것이 아니다. 평가 프로그램의 필수적 특징은 한 학생의 역량과 발달에 관한 판단이 언제나 '가설-유도'에 기반하며, 다양한 평가 방법을 통한 정보의 통합을 거쳐 개별화된다는 점이다. 이는 임상에서의 진단과 마찬가지이다. 의사가 다양한 진단도구를 활용하여 환자를 진단하듯, 평가 프로그램의 평가자도 마찬가지이다. 다양한 평가도구의 다양한 요소를 활용하여 'dyscompetence'를 정확히 진단해내야 한다.

Program- matic assessment is more than merely using multiple instruments; an essential feature of program- matic assessment is that decisions about a student’s competence and progress are always based on a hypothesis-driven and individu- alised combination of information from a variety of assessment meth- ods. It is like clinical diagnostics: much like a clinician uses various diagnostics to diagnose ill health an assessor in programmatic assess- ment will use various elements of various assessment methods to diag- nose accurately ‘dyscompetence’.

평가 프로그램의 목적은 평가가 학생의 역량에 대한 판단을 내리기 위해서만 하는 것이 아니라, 각 학생에게 최적화된 그 다음 학습활동을 결정해주기 위한 것이다.

In programmatic assessment the purpose of the assessment is not only to come to a judgement of a student’s competence and pro- gress but also to decide about the optimal next learning activities for each student.

로지스틱한 문제는 극복되어야 할 대상임, NLE를 '학습을 위한 평가'적 접근으로 보는 것은 검토할 가치가 있는 대안이다. 따라서 면허기구의 딜레마는 단일한 평가도구에 집착할 것인가, 아니면 평가의 프로그램적 접근으로 옮겨갈 것인가에 대한 것이다.

If the logistical issues could be overcome program- matic approaches and assessment for learning approaches to licens- ing examinations would be alterna- tives worth exploring. So, the dilemma for licensing bodies will be whether to stick to single-instru- ment assessment or to move to programmatic approaches to assessment.

의료에 비유해보자면, 국가 질병 스크리닝 프로그램에 반대하는 것은 아니나, 진료에 있어서 그 스크리닝 프로그램의 위치를 면밀히 살펴보고, 문화적 차이를 고려해야 한다.

To use an analogy with health care: I would not argue against national disease screening programmes, but I would argue for careful consideration of their place in health care and to care- fully consider cultural differences.

Med Educ. 2016 Jan;50(1):15-7. doi: 10.1111/medu.12891.

National licensing examinations, not without dilemmas.

임상실습 학생의 SRL에 영향을 미치는 요인 탐구(Med Educ, 2015)

Exploring the factors influencing clinical students’ self-regulated learning

Joris J Berkhout,1 Esther Helmich,1 Pim W Teunissen,2,3 Joost W van den Berg,1 Cees P M van der Vleuten2

& A Debbie C Jaarsma1,4

INTRODUCTION

의학교육에서 SRL의 중요성은 널리 인정되고 있다.

The importance of self-regulated learning (SRL) in medical education has been broadly recognised by medical education institutions and regulatory bodies.1–4

학생들은 이 과정에 대한 지원을 받아야 한다. SRL개발을 지원하는 것은 쉽지 않은데, 왜냐하면 SR은 신체와 정신의 복잡한 상호작용 활동이기 때문이다. 이러한 활동은 개인과 환경의 특성, 그리고 그 둘간의 상호작용에 영향을 받아서 자기조절을 매우 맥락-특이적으로 만든다.

They need to be supported in this process.6,7 Supporting the development of SRL is challenging because self- regulation is a complex interactive process of physi- cal and mental activities. These activities are affected by personal and contextual attributes, and the interaction between them, which makes self- regulation highly context-specific.8–11

여러 이론적 모델이 SRL의 프로세스를 설명하기 위해서 개발되었다. 이 모델간 여러 유사점이 있는데 그 차이가 더 흥미롭다. 차이는 자기조절의 레벨(과제-특이적인지 보다 일반적인 것인지), 인지와 감정이 별도로 조절되는지에 대한 질문 등이다.

Several theoretical models have been developed to describe the process of SRL.8,10,12–14 There are many similarities among these models, but their dif- ferences are more interesting. These differences pertain to the level of self-regulation, such as whether it is task-specific or more general for a per- son, and the question of whether cognition and affect are separately regulated areas.15

의학교육에서 유명한 이론은 Zimmerman의 이론인데, 자기조절을 보다 일반적인 수준에서 메타인지와 감정의 조절을 포함하는 것이라 개념화했다. Zimmerman의 SRL에 대한 정의는 순환 과정으로서 학생이 능동적으로 참여하는 과정이다. 이 프로세스는 세 단계로 이뤄진다.

A popular theory in medical education is that of Zimmerman, who conceptualised self-regulation on a more gen- eral level that included metacognition and the regu- lation of affect.9 Zimmerman described SRL as a cyclical process in which a student is actively engaged.9,11 This process consists of three phases.8,16

• In the forethought phase, students set learning goals and choose a strategy for attaining those goals.
• In the performance phase, students monitor and control their behaviour to attain their learning goals.
• In the self-reflection phase, students self-evaluate their performance by gathering feed- back and choosing a strategy for a future, similar, situation.17

개인적인 특성 역시 교시 세팅에서의 SRL에 영향을 주는데 여기에는 다음과 같은 것이 있다.

Personal attributes found to affect SRL in a class- room setting include the student’s skills in regula- tory mechanisms such as

• planning,
• monitoring,
• metacognition,
• attention focusing,
• the employment of various learning strategies,
• persistence,
• time man- agement,
• environment structuring,
• help seeking,
• emotion control and
• effort control.18

이 외에도 동기부여와 관련한 신념(자기효능감), 학습의 중요성에 대한 인식 등이 있다. 더 높은 자기효능감과 더 높은 중요도 인식은 피훈련자로 하여금 목표를 달성하기 위해서 더 많은 자원을 쏟게끔 한다.

마지막으로 환경에 따라 설정된 과제와 이 과제에 대한 학생의 반응 역시 SRL에 영향을 준다. 교실 환경에서의 자기조절을 다음을 통해 더 촉진하는 것으로 알려진 맥락과 사회적 특성은 다음과 같다.

Other per- sonal attributes include motivational beliefs such as self-efficacy and attitudes about the perceived importance of the learning, with higher self-efficacy and higher levels of perceived importance resulting in trainees devoting more of their resources towards achieving their goals.18,19 Lastly, the task set by the context and the affective reaction of the student to this task affect the student’s SRL in the class- room.19–21 Contextual and social attributes known to stimulate self-regulation in more structured class- room settings include

• social support,
• feedback,
• the opportunity for guided and independent practice,
• the support of reflective practice, and
• the opportu- nity to make errors.18

METHODS

설계

Design

해석주의자 패러다임. 현실은 주관적이며 맥락 특이적이고, 궁극적 진실은 존재하지 않는다.

Our research was based within an interpretivist para- digm in which reality is subjective and context-spe- cific, and no ultimate truth exists in the experience of workplace learning.28 We carried out a construc- tivist grounded theory study, including purposive sampling and constant comparison methods, in which we iteratively collected, coded and inter- preted data until we reached saturation, after which we held two further interviews to confirm satura- tion.29 We used semi-structured interviews to create a safe environment in which students would feel free to offer their personal experiences on how theyregulate their learning. 

Setting

유의적 표집

Participants were purposively sampled to ensure variety in age, gender, experience and current clerk- ship. We sampled students from a traditional and a problem-based learning (PBL) university, knowing that PBL may influence SRL.30,31 Furthermore, we sampled students who were enrolled in different clerkships because of the influence of context on SRL, and who were in different years of the clerk- ships because we know prior experience influences SRL.11

Participants

이메일로 모집

Between June 2013 and February 2014, the first author (JJB) approached students by sending an e- mail. A total of 17 students agreed to participate in our study by replying by e-mail to the first author and signing an informed consent form. Details of the participants are given in Table 1. After each interview, the participant was given a gift certificate worth €12.50 in compensation for his or her time.

Data collection

1저자가 인터뷰 진행. DRM 활용

All interviews were conducted by the first author (JJB). Three pilot interviews were used to test an ini- tial interview guide. This resulted in the addition of the Day Reconstruction Method (DRM) as a tool to aid students’ recall of the diverse activities in which they had engaged.33,34 The goal of the DRM is:

‘...to get an accurate picture of the experience asso- ciated with activities and circumstances and to elicit specific and recent memories, [...] thereby reduc- ing errors and biases of recall.’33

This is achieved by making a diary consisting of a sequence of episodes. Because we introduced the DRM to reflect on the previous workday, only students who were able to schedule the interview the day after a clerkship day were included in the study. Two students were excluded from the study because of problems in scheduling that prevented them from meeting this requirement for the DRM.

시작시 DRM 작성을 요청함. 이를 main prompt로 활용. 주로 다음의 내용.

At the start of the interview, we asked the partici- pant to fill in the diary pages of the DRM. This was used as the main prompt for the interview. For each activity, the student was asked to describe

• what he or she had done,
• who had been involved in the activity,
• what choices the student had made,
• why he or she had made these choices, and
• what the results of the choices were.

이후 SRL cycle에 따라 아래의 질문

Follow-up questions focused on the three phases of the SRL cycle and included questions about

• learning goals,
• monitoring progress towards the student’s learning goals, and
• evaluation or reflective activities.9

각 학생은 가명처리. 1저자가 예비 분석하고, 학생들에게 1-페이지 요약을 제공하여 검토하게 함. 모든 참가자가 인터뷰 요약을 확인함.

The interviews were audio-recorded and transcribed verbatim. Each student was given an alias. After each interview, the first author performed a preliminary analysis and provided the participant with a single- page summary of the interview as a member checking process. All participants verified the summary of the interview. Two participants suggested small revisions.

Data analysis

8달동안 1저자와 2저자가 매주 만남.

The first and second authors met weekly over a per- iod of 8 months.

• The first five meetings involved the training of the first author (JJB) in coding within grounded theory by the second author (EH), who has substantial experience in this field. Both authors read the first five transcripts and assigned initial codes on a line-by-line basis for training pur- poses.
• Next, the first author interviewed the other participants.
• This stage was directly followed by open coding and subsequently by axial coding of the data and interpretive analysis.
• The first and sec- ond authors conducted subsequent meetings between the interviews and after the final interview to discuss the emerging concepts.
• To further develop our interpretations, the first and second authors kept memos in which they recorded reflec- tions and analytical ideas as they arose.
• We used the three phases described by Zimmerman as sensitising concepts, meaning that they provided starting points for the building of our analysis.8,35
• Data for students from the same university or enrolled in the same year were reanalysed after saturation had beenreached. This process was intended to elucidate whether salient differences between groups of stu- dents emerged within our purposive sample. 

전체 연구진 대상 해석 결과 논의. 연구진 구성의 다양성

We discussed all our interpretations within the entire research group, six times in total, both dur- ing the coding process and during the writing up of the material. The research group consisted of a heterogeneous group of researchers. This heteroge-neity helped the group to look at the data from different perspectives. Two authors (JJB and JWvdB) are recent MD graduates and are PhD stu- dents in medical education. All other authors have significant experience in medical education and come from different backgrounds. These back- grounds include elderly care medicine (EH), obstetrics and gynaecology (PWT), psychology and psychometrics (CPMvdV) and veterinary medicine (ADCJ). Data analysis was supported by the use of MaxQDA Version 11.0 (Verbi GmbH, Berlin, Germany). 

RESULTS

개인/맥락/사회적 특성

Personal, contextual and social attributes

개인/맥락/사회적 특성이 상황에 따라 SRL을 어렵게 하거나 지지하였다.

Personal, contextual and social attributes could either hamper or support SRL depending on the situ- ation.

• Personal attributes affecting SRL included
• skills in regulatory mechanisms such as
• emotion con- trol,
• metacognition,
• attention focusing and
• effort control. Furthermore,
• beliefs about learning,
• motiva- tion,
• previous experiences and
• the perceived level of a task had effects.
• Attributes relating to self-efficacy, such as
• ability to deal with pressure,
• insecurity,
• per- ceptions of expectations, and
• knowledge of one’s own limits and needs, also played a role.
• Contextual attributes affecting SRL pertained to the
• curriculum,
• facilities,
• atmosphere,
• patient-related factors,
• avail- able time,
• the people present, and
• engagement in the team.
• Social attributes affecting SRL pertained to
• familiarity with the other people present in a certain setting,
• the type(s) of relationship with them,
• the experience in and motivation for teaching of these other people, and
• whether they created possibilities for the student to self-regulate learning.

목표

Goals

개인차원 목표

Two specific types of personal goal were iden- tified:

• 무언가를 배워야겠다. (i) the goal of learning something, and
• 좋게 보여야 겠다. or 안좋게 보이지 말아야 겠다.(ii) the goal of looking good or avoiding looking bad.

외부적 목표

External goals were those that involved

• (다른) 학생들의 학습을 도와준다. helping students to learn or
• 조직 차원에 도움이 된다 (행정 업무 지원 등) to provide some benefit to the organisation, such as by performing administrative tasks.

SRL의 기회

Opportunity

SRL을 하려면 그렇게  할 기회가 있어야 한다. 이러한 기회가 있는 기회의 발견인지, 만들어지는 것인지, 주어지는 것인지 등은 개인/맥락/사회의 특성에 달려있으며, 학생간 차이가 컸다.

Students stated that in order to self-regulate their learning, they need to have opportunities to do so. Whether these opportunities were seen by, created by or given to students was influenced by the per- sonal, contextual and social attributes described ear- lier; large differences emerged among individuals.

자율성에 대한 경험 수준

Experienced autonomy

임상실습에서 학생의 SRL에 영향을 주는 또 다른 요인은 학생이 경험하는 자율성의 수준이었다.

Another factor influencing students’ SRL in the clinic was the degree of autonomy they experienced. This autonomy was also affected by personal, con-textual and social attributes and could influenceself-regulatory mechanisms

기대 성과

Anticipated outcomes

SRL 활동에 따른 기대 성과과 학생이 특정 활동의 참여에 영향을 미쳤다. 긍정적인 성과가 기대되면 SRL을 하였다. 긍정적인 성과에는 역량의 향상, 학습기회의 증가, 정서에 대한 긍정적 영향 등이 있다.

The anticipated outcomes of an SRL activity influ- enced students’ engagement in a particular activ- ity. Students often self-regulated their learning if they expected favourable outcomes. A favourable outcome might be an increase in competencies, an increase in future learning opportunities, or an anticipated positive effect on the student’s emo- tions.

Example of a narrative

DISCUSSION

SRL에 영향을 주는 것으로 드러난 개인 차원의 특징은 다른 연구에서 나타난 것과 비슷하다.

The personal attributes that affect SRL identified in the present study were largely the same as those found elsewhere, and included

• students’ skills per- taining to regulatory mechanisms to self-regulate learning,
• their self-efficacy,
• their attitudes towards learning,
• their previous experiences, and
• the task demands perceived and
• affective reactions to these.11,18,19,21

맥락과 사회적 특성

Contextual and social attributes per- taining to the

• teacher,
• curriculum pedagogy,
• time and
• different elements pertaining to the learning climate

have already been described in the literature as influencing SRL in the classroom.18,22

그러나 이번 연구의 결과에 기반하여 본다면, 우리는 임상 환경이 여러 독특한 특성을 가지고 있으며, 이것이 SRL에 영향을 준다.

However, based on the current findings, we emphasise that the clinical environment is characterised by several unique attributes that influence opportunities to self-regulate learning, such as the

• 활용 가능한 설비(시설) facilities available,
• 환자와 상호작용 the interaction with patients,
• 환자의 존재 the patients present,
• 동료 및 다른 병원 인력의 사회적 특성 social attributes pertaining to peers and other hospi- tal staff,
• 여러 교실 간 위계의 복잡성 the complexities of hierarchical depart- ments, and
• 팀 관여 engagement in the team.

이러한 맥락적 특성은 교실 세팅에서는 잘 확인하기 어려운 것이다.

These contextual attributes have not been described simi- larly in a classroom setting.

학생은 목표의 중요성을 언급했는데, 이는 목표가 동기부여와 관련된 기능을 하며, 종종 더 구체적인 목표를 향한 시작점이 되기 때문이다. 이는 교실 세팅에서 SRL 연구와 유사하다. 더 나아가 목표는 학생들이 학습 프로세스나 성과의 특정 측면에 집중하게끔 해준다.

Students described goals as important influencing factors because they serve a motivational function and often allowed a starting point from which to work towards a specific goal. This is consistent with earlier research on SRL in classroom settings, which stated that goals can function as regulatory agents for SRL.18 Furthermore, goals can direct students’ attention on specific aspects of the learning process or outcomes.16

학생들이 보거나/만들어내거나/주어진 기회, 그리고 학생이 경험한 자율성은 SRL에 영향을 주었다. 학생이 자율성을 느끼면 더 적극적으로 학습기회를 만들어내는 방식 등으로 더 통제권을 가지고 SRL을 한다. 이러한 맥락적 특성은 임상 환경 특이적이며, 왜냐면 환자 안전과 생산성과 관련된 문제가 중요할 뿐 아니라 자율성이나 기회를 제약할 수 있기 때문이다.

The opportunities that students see, create or are given, and the autonomy that students experience also have effects on SRL in the clinical context. It is understood that if students have some feeling of autonomy, they are better able to take control and self-regulate their learning, such as by more actively creating learning opportunities. These contextual attributes appear to be quite unique to the clinical context because issues regarding patient safety and productivity are also important and may limit the amount of autonomy and the opportunities students are given.

마지막으로, 학생의 SRL은 활동에 따른 기대 성과에 영향을 받는다. 임상 교육과정에 의해서 설정된 외부 목표들은 이러한 목표를 달성하기 위한 노력 투자에 별로 기여하지 않는데, 학생들은 왜 그 목표를 달성해야 하는지, 그리고 그러한 활동에서 무엇을 얻을 수 있는지가 불명확하기 때문이다. 이는 이전 연구에서 학생들이 학습과제에서 가치를 느끼지 못하면 목표 설정과 전략기획에 시간을 덜 소비하는 것으로 나타난 것과 유사하다.

Lastly, students’ SRL was influenced by the expected outcomes of an activity. Many external goals set by the clinical curriculum led to the expenditure of little effort in working towards those goals because students did not see the point of achieving the goal or how they would benefit from conducting such an activity. This resonates well with earlier findings showing that if stu- dents do not see value in a learning task, they are likely to spend little time on setting goals and plan- ning strategies to accomplish that task.39,40

SRL에 있어서 학생별로 차이가 크다는 것을 통해서, 이 프로세스가 각 개인별로 매우 특화된 과정이라는 것을 강조하고자 한다. 예컨대 어떤 학생은 학습목표를 스스로 설정하는 반면 다른 학생은 단순히 주어진 기회에 의존한다. 학생들은 기회적(opportunistic) 학습전략을 사용하는 이유로 그들에게 기대되는 것이 무엇이고, 그들이 임상실습에서 무엇을 기대해야 하는지 모르기 때문이라고 응답하였다. 이러한 결과는 더 많은 LIC를 요구하는 것과 일치한다.

We noted large individual differences in students’ SRL, emphasising that it is a process that is highly specific for each person. For example, some stu- dents actively set learning goals for themselves, whereas others seemed to rely on a more opportu- nistic approach. Students explained that they used opportunistic learning strategies because they did not know what was expected of them or what they could expect from the clerkship. This finding aligns with the call for more longitudinal integrated clerkships.41

최근의 연구결과를 보면, 비록 학생들이 SRL하기를 기대되지만 많은 대학생들은 스스로의 학습을 모니터링할 능력이 부족하며, 종종 스스로 잘 하고 있다고 생각하며 비효율적 전략을 사용한다.

A recent review has shown that although students are expected to self-regulate their learning, many college students are insufficiently capable of moni- toring their own learning and often use inefficient strategies whilst thinking they are doing well.42

강점과 한계

Strengths and limitations

한 가지 장점은 DRM의 활용. 이는 오래 전 일을 회상하는데서 오는 bias를 최소화하기 위한 것으로 이런 회상은 기억/감정/신념에 영향을 받으며, 참가자가 가장 정서적으로 영향을 받은 사건에 초점이 맞춰진다. 그러나 회상 연구들은 언제나 이러한 기억-관련 bias에 따른 문제를 수반한다. 기억-관련 bias와 관련하여 참가자들은 많은 선택들을 '적극적 선택(active choice)'으로 기억하나, 사실 그것들은 그 일이 벌어질 때 무의식적으로 일어났을 가능성을 고려해야 한다.

One of the strengths of this study was its use of the DRM. This helped to minimise bias arising from the long-term recall of events, which has been shown to be subject to memory, emotions and beliefs, with participants’ often focusing on those events that have the greatest emotional impact.43 However, recall studies will always suffer from some degree of memory-related bias. One possible memory-related bias derives from the fact that many choices may be remembered as active choices when the individual is asked about them, but they may in fact have been subconscious choices when they happened.44

또 다른 연구는 최근 의대 졸업생이 인터뷰를 한 것.

Another strength of our study refers to the fact that all interviews were conducted by a recent MD gradu- ate.

함의

Implications for practice and future research

어떻게 SRL을 지원할 수 있을지를 일반화하는 것은 매우 복잡한데, 왜냐하면 이것은 모든 맥락의 모든 사람에게 독특한 복잡한 시스템이기 때문이다. 몇 가지 가능한 접근법이 있다. 예를 들면 학생이 스스로의 학습 프로세스에 대해 인식하도록 하는 것은 좋은 시작점이 된다.

It is very difficult to generalise how SRL might be supported because this complex system is unique for every person in every context. There are several possible approaches: for example, increasing students’ awareness about their own learning pro- cesses may represent a good starting point.

학생들이 스스로의 학습에 대해 더 인식할수록 그들은 서로 다른 상황에서 서로 다른 다양한 전략을 유연성있게 활용할 수 있고, 임상실습에서 확습 효과성이 높아진다. 학생이 스스로의 학습 프로세스에 대해서 인식하는 것을 도와주는 것들

Making students more aware of their learning may improve their flexibility in using different learning strategies in different situations, and thereby increase the learning effectiveness of clerkships.45 Students’ awareness about their own learning processes can be increased by

• 메타인지에 대한 일반적 이해 향상 promoting general awareness about metacognition,
• 인지에 대한 지식 향상 improving knowledge about cogni- tion,
• 인지의 조절 향상 improving the regulation of cognition, and by
• 수행능력(performance)보다는 숙달(mastery)에 초점을 둠으로써 메타인지에 대한 인식 향상 fostering an environment that promotes metacogni- tive awareness by focusing on mastery rather than performance.46
• 구체적 SRL 스킬 ㄱ육 Previous studies have looked at the effects of teaching specific SRL skills to students learning in academic contexts and have shown promising results.47–49

서로 다른 니즈를 가진 학생에 대한 맞춤형 학습기회와 지원

It also seems important to offer more tailored learning opportunities and the supports necessary for students to self-regulate their learning as stu- dents are known to have different needs.50

28 Bunniss S, Kelly DR. Research paradigms in medical education research. Med Educ 2010;44:358–66.

33 Kahneman D, Krueger AB, Schkade DA, Schwarz N, Stone AA. A survey method for characterising daily life experience: the day reconstruction method. Science 2004;306 (5702):1776–80. 34 Kahneman D, Krueger AB, Schwarz N, Stone AA. The Day Reconstruction Method (DRM): Instrument Documentation. 2004. http://sitemaker.umich.edu/ norbert.schwarz/files/drm_documentation_july_ 2004.pdf. [Accessed 1 June 2014.]

36 Butler DL, Cartier SC, Schnellert L, Gagnon F, Giammarino M. Secondary students’ self-regulated engagement in reading: researching self-regulation as situated in context. Psychol Test 2011;53 (1):73– 105.

42 Bjork RA, Dunlosky J, Kornell N. Self-regulated learning: beliefs, techniques, and illusions. Annu Rev Psychol 2013;64:417–44.

47 Labuhn AS, Zimmerman BJ, Hasselhorn M. Enhancing students’ self-regulation and mathematics performance: the influence of feedback and self- evaluative standards. Metacogn Learn 2010;5 (2):173– 94.

48 Hofer BK, Yu SL. Teaching self-regulated learning through a ‘Learning to Learn’ course. Teach Psychol 2003;30 (1):30–3.

49 Sandars J. Pause 2 Learn: developing self-regulated learning. Med Educ 2010;44:1122–3.

Exploring the factors influencing clinical students' self-regulated learning.

'고군분투자'들을 다른 관점에서 보기: 어떻게 SRL의 관점이 평가와 재교육에 있어 의학교육자들을 도울 수 있는가(Acad Med, 2011)

Perspective: Viewing “Strugglers” Through a Different Lens: How a Self-Regulated Learning Perspective Can Help Medical Educators With Assessment and Remediation

Steven J. Durning, MD, Timothy J. Cleary, PhD, John Sandars, MBChB, MD, MSc, Paul Hemmer, MD, MPH, Patricia Kokotailo, MD, and Anthony R. Artino, PhD

수행수준이 떨어지는 일부 학생/레지던트/의사들이 있으며, 이들이 의학교육자, 대중, 규제기구들의 주요 관심대상이 된다. 이들의 고군분투자들은 여러 이유로 수행의 어려움을 겪고 있을 수 있다.

There are, however, some medical students, residents, and practicing physicians who underperformand, as a result, become major concerns for medical educators, the public, and regulating bodies. These struggling trainees and practicing physicians may exhibit performance difficulties for a wide variety of reasons,1–4 such as

• knowledge deficits,5,6
• unprofessional attitudes, beliefs, or behaviors,6–9 and/or
• difficulty applying their knowledge and skills to authentic clinical contexts.5,10,11

비록 고군분투자들이 교육훈련 기간과 의료현실에서 소수자일 수는 있으나, 단기적은 물론 장기적으로도 위협이 되고, 의학교육자들과 전문직 차원에서 심대한 시간과 자원의 투자를 필요로 하는 대상이 된다.

Although strugglers represent a minority of those in training and practice, these individuals are at risk for poor performance in the short term(e.g., failure to graduate) and long term(e.g., disciplinary action by a state medical board), which may lead to substantial investments in time and resources by medical educators and professionals.

사회적으로 더 중요한 점은 일반 대중들에게 해(harm)을 가할 위험이 있다는 것이다.

Of even greater societal importance is that medical students, residents, and practitioners who exhibit poor clinical judgment, knowledge, and/or skills may pose a risk of significant harmto the public at large.12

이 연구의 일차 목적은 SRL-MAT이라고 불리는 평가프레임워크를 소개하는 것이다. 우리는 이것이 전통적인 의학에서의 평가 프레임워크를 보완할 수 있는 것으로 고군분투자들을 찾고 재교육하는데 활용될 수 있을 것으로 본다. SRL-MAT는 자기조절이론과 사회-인지 연구를 바탕으로 하며, 따라서 피훈련자의 행동과 수행능력은 그들의 그들이 의료를 배우고 수행하는 맥락 뿐 아니라 동기와 조절프로세스에 달린 것으로 본다.

The primary purpose of this article is to introduce an assessment framework, called Self-Regulated Learning–Microanalytic Assessment and Training (SRL-MAT), which we believe could complement traditional medical training assessment frameworks that have been used to identify and remediate strugglers. The SRL-MAT is grounded in self-regulation theory and social–cognitive research and thus assumes that the behaviors and performance of trainees are a function of their motivational beliefs and regulatory processes, as well as the contexts in which they learn and performtheir clinical skills.13,14

대부분의 연구자들은 자기-조절을 역동적이고 맥락-특이적 프로세스로 보며, 교육이 가능하고 직접적 지도, 적절하게 안내된 수행(guided practice), 튜터링 등을 통해서 강화될 수 있다고 본다. 이러한 개념이 갖는 주요 함의는 특정 영역 또는 맥락에서 특정 활동을 하는 "동안"에 자기주도학습의 역동적이고 유동적인 특성을 잘 잡아낼 수 있는 평가도구를 사용해야 한다는 것이다.

Most researchers conceptualize self-regulation as a dynamic, context- specific process that can be taught and enhanced through direct instruction, guided practice, and tutoring.15–17 The primary implication of this concept of self-regulation for assessment practices is that one needs to use assessment methods capable of capturing the dynamic, fluid aspects of self-regulated learning (SRL) by directly examining one’s use of regulation during specific activities and in particular domains or contexts.

기존 연구를 보면 고군분투자들이 목표를 설정하고, 전략적 계획을 세우고, 자기-모니터를 하고, 자기-평가를 하는 것이 학업 성취 뿐 아니라 학업 관련 행동을 관리하는데 요구되는 동기부여와 스킬(도움을 찾는 요령, 학습전략을 통해 수행능력을 최적화시키는 것)을 향상시키는데도 도움이 된다.

Of greatest practical importance is the volume of research showing that teaching strugglers to set goals, develop strategic plans, self-monitor, and self-evaluate (or reflect on) their performance improves not only their academic success but also their motivation and skills in managing academic behaviors, such as help-seeking and using learning strategies to optimize performance.18–20

자기조절과 관련된 인터벤션의 긍정적 연구결과는 초등/중고등/대학에서 모두 밝혀졌다.

Positive findings for self-regulation interventions have been found across elementary, secondary, and postsecondary school populations.18–20

왜 고군분투자에 대한 평가 프레임워크에 집중하는가?

Why Focus Our Assessment Framework on Strugglers?

최근의 연구를 보면 의과대학 교수와 행정가들은 물론 규제기구들이 고군분투자를 둘러싼 이슈에 대하여 상당히 불만을 가진다는 것을 알 수 있다.

Recent studies have demonstrated that medical school faculty and administrators, as well as regulatory bodies, are becoming increasingly dissatisfied, if not discouraged, with issues surrounding strugglers.1–3,25

이러한 상황에서 의학교육자들의 과제는 이들을 정확히 밝혀내는 것 뿐만 아니라 이러한 낮은 수행능력의 기저에 깔린 주 요인을 발견하는 것이다. 그 이유를 밝히는 것이 적절한 재교육의 첫 단계이다.

Given these problems, an emergent challenge for medical educators involves developing effective ways to not only accurately identify strugglers but also to better understand the primary causal factors underlying their poor performance. Identifying the reasons for one’s poor performance in medical school, residency, or practice is a key first step in developing adequate remediation plans.27

고군분투자 찾아내기: 전통적 평가 프레임워크

Identification of strugglers: Traditional frameworks of evaluation

현재의 의학교육에서의 프레임워크는 고군분투자들을 찾아내고 평가하고 재교육하는 것에 있어서 분석적/발전적/종합적/역량-바탕 접근을 사용한다.

Current frameworks in medical education focus on the identification, evaluation, and remediation of struggling trainees and can be broadly grouped into analytic, developmental, synthetic, and competency- based approaches.

• The analytic framework takes the trainee’s performance “apart”—Greek: ana (whole) plus lytic (apart)—typically dividing learning outcomes into the domains of knowledge, skills, and attitudes.
• Developmental frameworks, such as the Dreyfus and Dreyfus28 approach, describe learner performance in progressive steps (e.g., novice and early beginner through expert), typically within a domain of performance.
• Synthetic models put the learner’s performance together into discrete “steps,” or levels, with each step requiring a synthesis of greater knowledge, skill, and attitude. An example of the synthetic approach is RIME (Reporter, Interpreter, Manager, Educator).30
• Finally, competency-based frameworks include the widely adopted competencies of the Accreditation Council on Graduate Medical Education, as well as those of CANMEDS and the Good Doctor.31,32

종합적/역량-바탕 프레이워크는 '역할-기반'프레임워크의 사례이기도 하다.

Synthetic and competency-based frameworks are also an example of “role- based” frameworks.33

그러나 안타깝게도 현재의 평가 및 재교육 방법은 프로페셔널리즘이나 기초과학 지식, 임상기술 등과 같이 관심 대상이 되는 영역의 성과에 대해서 매우 작은 분산성분(보통 30% 이하)만을 설명해준다. 설명되는 분산성분이 작다는 것은 관심 대상이 되는 성과에 관계되는 요인이 더 있다는 것을 보여준다. 그리고 이는 고군분투자들에게 특히 중요하다.

Unfortunately, current methods of assessment and remediation in medical education tend to explain little variance (typically, studies explain less than 30%of the variance) in the outcomes of interest, such as professionalism, basic science knowledge, and/or clinical skill.1,5–8 The fact that little variance is explained suggests that other factors are contributing to these outcomes of interest, a notion that is particularly important for those who struggle.

추가로, 평가 프레임워크는 그 자체로 인과관계를 밝히는데 집중하지는 않는다.

In addition, medical education assessment frameworks, per se, typically do not focus on identifying the causal factors underlying poor performance

피훈련자의 성취도가 낮은 것의 중심 이유를 찾지 못하고는 가장 효과적인 개선법도 찾지 못할 것이다. 더 나아가 우리의 현재 평가 프레임워크가 기본적으로 잘 연구된 교육모델이나 이론에 기반하지 않기 때문에 교육자들이 다양한 평가자료를 통합하여 실용적인 권고안을 만들기도 어렵다.

Without identifying and understanding the proximal causes of trainee underachievement, it is difficult to pinpoint the most effective ways to assist trainees in improving their performance. Furthermore, because our current assessment frameworks are generally not based on well-researched educational models or theories, it is challenging for educators to use and integrate various types of assessment data to generate practical recommendations for the assessment of struggling trainees and professionals.

SRL의 정의(그리고 자기 평가와 어떻게 다른가)

Self-regulation defined (and how it differs from self-assessment)

사회-인지 연구자들은 SRL을 개개인이 스스로 피드백을 생성해냄으로써(self-generated feedback) 개인의 목표를 달성하기 위한 전략적 접근을 최적화하는 순환적 프로세스라고 정의한다. 사회-인지적 관점에서 자기-조절은 전형적으로 교육이 가능한 스킬이며, 세 단계의 순환적 고리를 따른다.

Social–cognitive researchers have defined SRL as a cyclical process whereby individuals use self-generated feedback about their learning to optimize their strategic pursuit of personal goals.34,35 From a social–cognitive perspective, self- regulation is typically conceptualized as a teachable skill that operates as a three-phase cyclical loop (see Figure 1).

• 사전숙고: 학습노력(수행능력에 관한 통제), 성공과 실패에 대한 판단(자기-성찰), 목표 설정과 전략 기획
  In short, processes preceding action (forethought) have an impact on learning efforts (performance control), which in turn influence how learners react to and judge their performance successes and failures (self-reflection). Forethought processes, such as goal-setting and strategic planning, help to mobilize students’ efforts to learn.
• 과제 수행능력 촉진(자기-통제 전략), 이러한 방법의 효과성 추적(자기-모니터링)
  Once trainees engage in learning tasks, such as studying for a major exam or drawing blood from a patient, they typically enlist performance-phase processes such as using specific tactics to facilitate task performance (self-control tactics) and tracking the effectiveness of these methods (self- monitoring).
• 성공 실패 여부 판단(자기-평가), 결과의 이유 분석(귀인), 미래 수행능력 최적화(적응적 추론)
  The information that trainees gather from task performance is used to judge whether they succeeded or failed (self-evaluation), to judge why this performance occurred (attributions), and to decide what they need to do to optimize future performance (adaptive inferences).

SRL이 자기평가와 다르다는 것을 알아야 한다. 자기평가는 SRL의 여러 구성요소 중 하나일 뿐이다. 의학교육 문헌들을 보면 수행능력이 떨어질 수록 자기평가 기술도 떨어진다. 이러한 실제 수행능력과 그것을 인식하는 능력의 부족은 고군분투자들이 과제를 수행하는데 필요한 지식 뿐 아니라 스스로의 지식이나 전문성에 대한 이해도 떨어질 것을 시사하며, 자기조절스킬 차원에서 또 하나의 문제영역이 되는 것이다. 즉, 비효과적으로 학습전략을 활용하고 동기부여 신념을 잘못 적응하는 것이다.

It is important to note that self-regulation and, more specifically, SRL, differs from self-assessment (calibration of one’s perceived performance with actual performance36); self-assessment constitutes just one of the several features of SRL. The medical education literature has found that poor performers are often the most unaware, that is, have the poorest self- assessment skill.37,38 This deficit between actual performance and awareness (self- assessment)38,39 also suggests that strugglers may possess poor knowledge of task demands or requirements, as well as of their own levels of knowledge or expertise, and may exhibit other problematic self- regulatory skills, such as ineffective use of learning strategies and maladaptive motivational beliefs.

교육심리학자들의 연구를 보면 학생들은 자기조절훈련을 통해서 더 독립적이고 자율적인 학습자가 될 수 있다. 이것이 특히 중요한 이유는 고군분투하는 학생들도 내용전문가나 교사에게 효과적인 피드백을 받고 구체적인 내적-피드백 생성 전략(에러 탐지, 자기-모니터링)을 교육받으면 자기평가의 정확도를 향상시킬 수 있다는 점이다.

Decades of work by educational psychologists suggest that students can be taught to become more independent and autonomous learners through self- regulation training.2,18 Of particular importance is that researchers have begun to show that struggling students can improve the accuracy of their self- assessments regarding personal capabilities and knowledge if they are provided with effective feedback from content experts or teachers and if they are taught specific strategies to generate internal feedback, such as error detection and self-monitoring.40–42

SRL-MAT 프레임워크

The SRL-MAT Framework

가설

Assumptions

SRL-MAT 프레임워크는 사회-인지 이론에 기반

The SRL-MAT framework is grounded in social–cognitive theory and research and thus makes a variety of important assumptions about student learning,

Bandura의 상호적 결정론(reciprocal determinism)에 따르면 ,학생의 행동이나 스킬, 개인적 프로레스(신념, 감정), 환경적 요인(교사, 교실) 등이 상호적으로 작용한다는 것이다. 그러나 가장 강조되는 것은 인간 인식의 역할인데, 특히 자기-효능감 인식을 학생의 행동에 영향을 주는 핵심 프로세스로 본다. 따라서 의과대학생이 자기효능감이 낮고, 과제-특이적 자신감이 낮으면(채혈 등) 이러한 임상경험에 대한 동기부여가 덜 되고, 회피하고자 하며, 이는 부정적 피드백을 받는 결과를 초래하게 된다. 반대로, 만약 교수가 학생에게 어떻게 임상 술기를 향상시킬지 전략적 피드백을 준다면, 학생의 인식이나 역량은 불안감이 감소함에 따라서 향상될 수 있고 이는 더 높은 수준의 행동적 참여(behavioral engagement)와 동기부여의 개인적 요인이 될 것이다.

According to Bandura’s13,14 model of reciprocal determinism, student behaviors or skills, personal processes (beliefs, affect), and environmental factors (teachers, classroomclimate) interact and influence each other in reciprocal ways. However, primary emphasis is placed on the role of human cognition and, in particular, self-efficacy perceptions, as a key personal process affecting student behavior. Thus, a medical student who possesses low self- efficacy, or low task-specific confidence, for drawing blood froma patient may exhibit low motivation and/or avoid these types of clinical experiences, which may further elicit negative feedback from his or her professors in medical school. Conversely, if faculty advisors or professionals provide this student with strategic feedback on how to improve his or her clinical skills, the student’s perceptions of competence may increase while anxiety about this procedure lessens—personal factors that may prompt higher levels of behavioral engagement and motivation.

학생들이 스스로의 인식/신념/행동을 특정한 상황에 따른 요구나 특정 맥락과 무관하게 보고하게끔 하는 전통적인 자기-보고 척도와 달리 microanalytic 척도는 특정 학업 과제나 활동에 맞춤형이며, 맥락-특이적 질문을 활용하여, 3단계 사이클의 다양한 프로세스를 타겟으로 한다. 이러한 관점에서 SRL microanalysis는 어떻게 학생들이 특정 과제에 대해 접근하고, 시행하고, 과제 시행 중 뿐 아니라 그 이후에 성찰하는지를 평가하게 해준다.

In contrast to traditional self-report measures that require students to retrospectively provide accounts of their perceptions, beliefs, and behaviors without reference to situational demands or particular contexts, microanalytic measures are customized to particular academic tasks or activities and involve using context-specific questions targeting the various processes of the three-phase cyclical loop (see Figure 1). In this sense, SRL microanalysis seeks to evaluate how students approach, execute, and reflect during (as opposed to a long time after) specific tasks or events.

자기조절 평가

Assessment of self-regulation

자기조절 문헌들을 보면 다양한 평가법이 논의되고 있다. 비록 자기보고 스케일이 MSLQ와 같이 가장 흔하게 사용되는 평가도구이고, 강력한 psychometric properties가 있지만, 종종 문제가 되는데 왜냐하면 회상과 응답 편향이 있고, 그 스케일이 맥락과 유리되어(decontextualize) 있기 때문이다. 이것은 특히 역동적이고 맥락 특이적인 SRL의 모습을 잘 보여주지 못한다는 문제가 있다. 더 나아가서 피훈련자에게 어떻게 의과대학 기간에 배우고  학습했으며, 어떤 전략을 사용하였는지 물어보는 것은 실제로 authentic 임상 과제를 하는 중에 보여주는 생각이나 행동에 대한 정보는 거의 주지 못한다.

In the self-regulation literature, a variety of assessments are discussed, including paper-and-pencil self-report scales, direct observation, think-aloud protocols, and self-regulation microanalysis.16,45–48 Although self-report scales, such as the Motivated Strategies and Learning Questionnaire, are the most frequent type of self-regulation assessment tools and typically have evidence of strong psychometric properties,46,47 they are often problematic because of recall and other response biases, as well as the decontextualized nature of the scales. This latter problemis of particular concern because such scales often fail to capture the dynamic, context-specific nature of self- regulation. Furthermore, asking trainees to retrospectively report howthey study or learn in medical school or the general strategies that they use (e.g., time management, organization) to succeed will yield minimal information about the thoughts and behaviors that they actually display while engaged in authentic clinical tasks, such as interviewing a patient, performing a procedure, or making a specific medical diagnosis.

자기조절 연구자들은 지난 20년간 많은 평가도구 개발. SRL-MAT에서는 SRL microanalytic 를 특히 강조함. 일반적으로 말해서 이 평가 방법은 자기조절의 순환적 단계를 종합적으로 타게팅한다.

Self-regulation researchers during the last 20 years have developed a variety of alternative assessment tools, such as think-aloud protocols, behavioral traces, and microanalytic assessment approaches, to directly measure self- regulation during specific events.16,47,49 The SRL-MAT endorses the use of think- aloud protocols and direct observations, but it places primary importance on using SRL microanalytic methodology to evaluate the regulatory skills and processes of trainees. In general, this assessment methodology involves comprehensively targeting the cyclical phase processes of self-regulation (e.g., goal-setting, metacognitive monitoring, strategy use, causal attributions) as an individual engages in a well-defined task or activity.24

잘못된 조절 프로세스를 찾아서 개개인의 접근법, 모니터, 성찰에 있어서 부족한 부분을 알게 해주는 것은 대체로 인지적 접근이다. SRL microanalysis의 핵심 특성은 다음과 같다.

It is a largely cognitive approach that seeks to identify faulty regulatory processes so that examiners can isolate gaps or deficiencies in how individuals approach (forethought), monitor (performance), and reflect (self- reflection) during their engagement in some specific task.43,50 Some of the essential features of SRL microanalysis include the use of

• (1) 개별화된 평가 프로토콜
  individualized assessment protocols,
• (2) 모든 세 단계에 대한 개방형, 폐쇄형 질문
  open-ended and closed-ended questions targeting processes within all three phases of the self-regulation cyclical loop (see Table 1), and
• (3) 구체적 과제를 수행하는 과정에서의 전략적 지점에 관한 맞춤형 자기조절 질문
  customized self-regulation questions that are administered at strategic points during learning or performance on a specific task (see reference 43 for a more detailed overview of this procedure).

여러 연구로부터 SRL microanalysis의 절차와 유용성이 확인되었다. Cleary and Zimmerman49 는 최초 연구 중 하나인데 고등학생 대상 자유투 연구.

A variety of research studies have been conducted to illustrate the procedures and utility of SRL microanalysis. Cleary and Zimmerman49 conducted one of the first studies to microanalytically examine a comprehensive array of regulatory processes. Using a sample of high school students, the authors elected to use basketball free-throw shooting as the task around which to embed the forethought and self-reflection phase questions. 

예컨데 여기서 질문은 이러했다.

In that study, for example,

• 목표 관련 질문
  the goal question was, “Do you have a goal when practicing your free throws? If so what is it?”; whereas
• 전략 관련 질문
  the strategic planning question was, “What do you need to do to accomplish that goal?”
• 성찰 관련 질문
  The players were also asked a series of questions targeting their self-reflective thoughts following failure. For example, to examine their attributions and adaptive reactions following two missed shots in a row, the participants were asked, “What is the main reason why you missed those last two shots?” and “What do you need to do to improve your performance?”

Clearyand Zimmerman’s 농구 연구에서 모든 질문은 구체적인 조절 프로세스에 맞추어져 있었고, 특정 관심대상이 되는 과제에 맞춰져 있었으며, 학생이 자유투 연습을 하는 과정에 시행되었다. 이러한 과정은 연구자로 하여금 학생의 인식과 조절 프로세스를 실시간으로 볼 수 있게 도와준다. 연구의 경험적 중요성으로는, 저자들은 microanalytic  질문을 활용하여 전문가-비전문가-초보자를 구분할 수 있었던 것이다. 즉, 전문가 수준으로 잘 하는 사람은 높은 수준의 자기효능감, 더 많은 구체적 목표, 더 효과적 슈팅 전략 활용, 실패한 이후의 더 전략적 자기성찰을 하고 있었다.

An important point here is that in Clearyand Zimmerman’s basketball study, all questions were targeting specific regulatory processes, were customized to the specific task of interest (basketball free-throw shooting), and were administered as participants practiced their free-throw shooting. Such a procedure allowed the researchers to directly examine student cognition and regulatory processes as they unfolded in real time. Of empirical importance, the authors were able to show that the use of microanalytic questions clearly differentiated expert, nonexpert, and novice free-throw shooters. That is, expert free-throw shooters, who were defined as those shooting over 70%fromthe free-throw line, displayed higher levels of self-efficacy, set more specific goals, used more effective shooting and technique-related strategies, and were more strategic in their self-reflection following missed free throws than the two other groups. 

Integrating SRL Microanalysis Into Medical Education

SRL microanalytic 방법은 사실상 어떤 잘-정의된 과제나 사건, 활동에도 모두 사용가능하다

SRL microanalytic methodology can be applied to virtually any well-defined task, event, or activity.

기본적인 아이디어는 시작과 끝이 분명한 과제를 찾고, microanalytic 평가 접근법을 사용하여 과제를 둘러싼 사전숙고(before), 수행(during), 자기성찰(after)을 평가하는 것이다.

The basic idea is to identify a task that has both a clear beginning and end, and then wrap the microanalytic assessment approach—involving forethought (before), performance (during), and self-reflection (after)—around such a task. This would allowone to examine howstudents approach, learn or perform, and reflect on particular outcomes.

7 Hodgson CS, Teherani A, Gough HG, Bradley P, Papadakis MA. The relationship between measures of unprofessional behavior during medical school and indices on the California Psychological Inventory. Acad Med. 2007;82(10 suppl):S4–S7. http:// journals.lww.com/academicmedicine/ Fulltext/2007/10001/The_Relationship_ between_Measures_of.2.aspx.

38 Hodges B, Regehr G, Martin D. Difficulties in recognizing one’s own incompetence: Novice physicians who are unskilled and unaware of it. Acad Med. 2001;76(10 suppl):S87–S89. http://journals.lww.com/academicmedicine/ Fulltext/2001/10001/Difficulties_in_ Recognizing_One_s_Own.29.aspx. Accessed December 26, 2010.

Perspective: viewing "strugglers" through a different lens: how a self-regulated learning perspective can helpmedical educators with assessment and remediation.

The Urban Medicine Program: 소외당하는 도시 커뮤니티를 위한 의사-리더 양성 프로그램(Acad Med, 2015)

The Urban Medicine Program: Developing Physician–Leaders to Serve Underserved Urban Communities

Jorge A. Girotti, PhD, MA, Gary L. Loy, MD, MPH, Joanna L. Michel, PhD, and Vida A. Henderson, PharmD, MPH, MFA

다수의 영향력있는 조직이나 기관으로부터 공공/인구 보건의 내용을 의학교육에 포함시킬 것에 대한 요구가 있다. 대체로 합의되는 사항은 인구 수준의 건강을 향상시키기 위해서는 임상진료와 공공보건의 원칙을 모두 적용해야 한다는 것이다. 이러한 임상진료와 공공보건의 패러다임을 연계시켜줄 핵심 위치에 의과대학이 있다. 지역사회-기반 요소를 포함하는 교육과정의 접근법은 이러한 두 가지 전통(공공보건과 임상진료)을 연결시켜줄 한 가지 가능성이다.

Calls for the integration of public/ population health content into medical education have come from influential organizations and agencies.1–3 The consensus is that lasting improvements in the health of populations necessitate the application of both clinical care and established public health principles.1 Medical schools are in a key position to bridge the paradigms of public health andclinical care.3 Curricular approaches that integrate community-based components represent one potential way to link the two traditions. 

IOM은 일반적인 임상진료에 적용가능한 원칙으로 일차의료와 공공보건을 성공적으로 통합하기 위한 몇 가지 원칙을 정의하였다.

The Institute of Medicine1 defined several principles for successful integration of primary care medicine and public health, principles that are applicable to clinical care in general. They include the following:

• a common goal of improving population health;
• engagement of community members in defining and addressing their own needs;
• aligned leadership that bridges disciplines, programs, and jurisdictions;
• sustainability; and
• collaborative use of data and analysis.1

의과대학에서 지역사회-기반 교육과정은 학생들에게 새로운 관점과 인사이트를 제공한다. 이들 교육과정은 학생들에게 개개인을 전체적인 관점에서 바라볼 기회를 줄 뿐만 아니라 건강에 관한 사회와 환경적 요인을 강조한다.

Community-based curricula in medical schools offer students new perspectives and insights; these curricula not only afford students the opportunity to view the individuals they serve in a holistic manner but also emphasize the effects of social and environmental determinants on health.

현재, 극소수의 의과대학만이 4년 전체에 걸친 지역사회-기반 교육을 제공하고 있다. 이들 중 대부분에서 주 초점은 소외된 '농촌' 커뮤니티에 이바지하는 것이며, 소외된 지역의 일차의료 의사 숫자를 늘리는 것이다. 우리가 찾은 의과대학 중 단 두 개만이 지역사회-기반 교육과정을 모든 의과대학학생을 대상으로 요구하고 있었다. 대부분의 4년 지역사회-기반 프로그램은 강의식 교육과 경험학습을 토함하고 있었는데, 일부는 학생들에게 지역사회 프로젝트를 개발하고 도입할 것을 요구했다. 더 나아가서 더 적은 수의 의과대학에서만 지역사회에 대해서 그 성과와 효과를 평가했다. 이 연구의 목적은 이 모든 요소를 포함하는 프로그램인 UMed의 효과성을 평가하는 것이다.

Currently, few medical schools provide community-based education that spans all four years.4–17 Among these, the majority focus on serving underserved rural communities5,8,9,12,16 and increasing the number of primary care physicians in underserved areas.11–14,16 We identified only two schools that require community-based education for all medical students.7,15 Most of the four-year community-based programs incorporated didactic and experiential learning, whereas a few required students to develop and implement community projects.4,10,12,13,16 Further, few required students to evaluate the outcomes and impact of their projects on the community served.10,12,14,17 The purpose of this study was to evaluate the effectiveness of the Urban Medicine Program (UMed), which incorporates all of these elements— a four-year, longitudinal, experiential curriculum; community-based projects; and evaluations of these projects—and to assess early student outcomes.

• four-year,
• longitudinal,
• experiential curriculum;
• community-based projects; and
• evaluations of these projects
  

배경

Background

UICOM은 미국에서 가장 큰 의과대학으로 4개의 캠퍼스에서 매년 300명의 졸업생을 양성함. 이 중 35%가 지속적으로 일차의료를 선택한다. UI-COMC는 의과대학 중 도시지역의 소외계층 양성을 위한 경험적, 지역사회-기반 장기 커리큘럼을 운영하는 몇 안되는 의과대학이다. 2005년, UI_COMC의 UMed는 prepare physician–leaders to serve underserved urban communities 라는 목표를 가지고 시작되었다. UMed는 UI-COMC의 학생구성의 다양성으로부터 혜택을 보고 있으며, 또한  UI-COMC의 위치가 시카고의 inner-city에 자리하고 있어서 도시 세팅에서 의료의 문제 뿐 아니라, 커뮤니티 간 격차라는 더 큰 이슈도 다룰 수 있는 위치게 있다. 

The University of Illinois College of Medicine is the largest medical school in the United States, graduating an average of 300 medical doctors per year from its four campuses (Chicago, Peoria, Rockford, and Urbana-Champaign). Of these, about 35% consistently choose primary care fields; one-fourth self-identify as members of ethnic/racial groups underrepresented in medicine (URM), and one-third locate their practices in rural and urban underserved communities.18 The University of Illinois College of Medicine at Chicago (UI-COMC) is among a limited number of MD-granting medical schools that has created an experiential, community- situated longitudinal curriculum that focuses on educating physician–leaders to work with underserved populations located in urban centers. UMed at UI-COMC was launched in 2005 with a mission to prepare physician–leaders to serve underserved urban communities. UMed takes advantage of UI-COMC’s diverse student population and its location in inner-city Chicago to address not only the challenges of practicing in an urban setting but also the larger issues of community disparities.

UMed는 특정 전공과목에 초점을 두지 않는다. 이것의 전제는 모든 전공의 의사가 소외된 도시계층의 건강과 웰빙에 긍정적으로 기여할 수 있다는 것이다.

Notably, UMed does not focus on any particular specialty pathway. The premise is that physicians of all specialties can positively contribute to the health and well-being of people living in underserved, urban communities.

교육과정 설계

Curriculum design

이론틀

Theoretical framework.

UMed교육과정은 경험학습이론(ELT)에 기반하며, 이는 경험을 학습 프로세스의 핵심 요소로 보는 것이다. ELT에 따르면 네 가지 반복되는 단계가 학습 사이클을 구성한다.

The UMed curriculum is informed by the experiential learning theory (ELT), which emphasizes experience as the central component in the learning process.19–21 According to ELT, four iterative stages constitute the learning cycle.

• 첫째, 학습자들은 실제로 존재하는, 형체가 분명한 경험을 통해 정보를 습득한다
  First, learners grasp information through real, tangible experiences (concrete experience).
• 학습자는 이후 이 지식과 경험을 통해 관찰하고 성찰하며, 추상적인 개념화를 통해서 행동에 적용할 수 있는 새로운 창의적 아이디어와 함의를 이끌어낸다.
  Learners then observe and reflect on this new knowledge or experience (reflective observation) and form abstract conceptualizations which they can use to create new ideas and implications for action.
• 학습자들은 이 아이디어와 함의를 실제로 수행하고 검증하며, 이를 통해 새로운 지식과 스킬을 생성하거나 보다 완벽하게 다듬는다.
  Next, learners act on and test the ideas and implications (active experimentation), which leads to creating or perfecting new knowledge and skills.20,21

이러한 경험, 성찰, 사고, 행동의 사이클은 action learning과 유사하다. 경험학습 혹은 행동학습(action learning)은 지식을 보다 명쾌하게 만들어주며, 새로운 상황과 복잡한 문제에 대한 창의적이고 혁신적인 사고를 하게 해준다.

This cycle of experiencing, reflecting, thinking, and acting is synonymous with action learning.22 Experiential or action learning makes knowledge more explicit and encourages creative, innovative thinking22 to be applied to new situations and complex problems.

교육과정 요소

Curriculum components.

(1) a seminar series,

(2) a Web-based learning curriculum,

(3) a longitudinal community project (LCP), and

(4) a Policy and Advocacy Forum.

세미나 시리즈

Seminar series.

네 개의 주요 주제를 다루며, 학생의 모든 학습 사이클에 관여됨. 학생들은 8개의 2시간짜리 세미나를 1학년과 2학년에 들어야 한다. 학생 중심적으로 운영됨. 40분 강의 후 학생들은 LCP팀으로 실제적 적용가능성을 살펴본다.

The seminar series addresses the four curricular themes and enables students to engage in all stages of the learning cycle. Students attend eight 2-hour seminars over the course of their first and second years of medical school (M1 and M2 years). The seminars are student centered: approximately 40 minutes of didactic learning followed by breakout sessions during which the students, in their LCP teams, look at the practical applications of the didactic information as it relates to their community site.

24명의 학생이 배움-모둠(learning community)를 형성한다. 이들은 UMed 에 함께 참여하여 서로 지역사회 로테이션 경험과 LCP 진행상황을 공유한다. 여러 단과대학의 교수들이 참여하여 세미나 진행.

The 24 students constitute a learning community; they participate in UMed together and share with one another their community rotation experiences as well as their progress on the LCPs. A multidisciplinary faculty, including faculty members from the College of Medicine, the College of Nursing, the College of Social Work, and the School of Public Health, among others, facilitate the seminars.

웹-기반 교육과정

Web-based curriculum.

UMed는 DME와 함께 온라인 교육과정을 개발하여 학생들이 3학년과 4학년 기간에 세 개의 모듈을 이수하도록 함. (문화적 역량, 리더십, 의사소통 기술)

UMed, in collaboration with the Department of Medical Education (DME), has developed an online curriculum that requires participating students to complete, during their M3 and M4 years, three modules that cover cultural competency, leadership, and communication skills. DME faculty review student responses to online assignments and are available to provide one-on-one feedback.

LCP

The LCP.

LCP는 도시의 소외 계층과 관계된 커뮤니티 기관과 함께 직접적, 장기적, 팀-기반 협동적 과제를 하게끔 한다. LCP는 경험학습, 자기주도학습 등의 교육원칙이 모든 ELT 단계에서 적용되게끔 한다.

The LCP provides direct, long- term, team-based collaborative engagement with community agencies in underserved urban neighborhoods. The LCP employs the educational principles of experiential, self-directed learning and naturally integrates all ELT stages.

• 커뮤니티 파트너 페어
  Each fall, UMed holds a Community Partner Fair during which participating community agencies meet M1 students.
• 우선순위 선택과 매칭
  After the fair, students individually rank their top three choices, and we match as many students as possible to their first choice.
• 각 기관이 가능성 있는 과제를 검토
  Agencies review the potential assignments before they are released to students so as to be involved in the decision-making process.
• 팀 형성과 자산-파악 과제 수행
  After the teams form, the team members complete an asset mapping assignment, which includes a group observation of the community, interviewing members of the community, and assessing both strengths and weaknesses of their community of focus.
• 프로젝트 결정
  Community agency mentors, students, and community members identify projects that are of greatest need to the community, and—together with UMed faculty—agency mentors evaluate student progress through quarterly updates.

지역사회를 모든 측면에서 참여시키게끔 노력하며, 교육 훈련의 모든 단계에서 참여하게끔 한다. 상위 학년의 학생들이 UMed 학생들의 멘토로 역할하며, 프로젝트의 지역사회 파트너로 참여한다. 프로젝트는 M4기간 내내 진행되며, 프로젝트 평가 보고서/CBPR 지원금 지원/프로그램 제안을 끝으로 종료된다.

We make an effort to involve the community in all aspects, and during all stages, of education and training. Upper-class students become mentors as other UMed students join the community partner in related projects. Projects continue through the M4 year and culminate in a final project evaluation paper, a CBPR grant application, or a program proposal.

정책 및 지지 포럼

Policy and Advocacy Forum.

4학년 때, UMed 학생은 2주간의 정책 및 지지 포럼에 참여하며, 다양한 사람(local health care leaders, physician activists, faculty, and community activists )이 발표하고 학생은 여기서 등장하는 이슈에 대해서 열린 토론을 하게 초청된다. 이에 더하여 포럼은 학생들이 각자의 프로젝트와 정책제안을 발표할 수 있게 해줌으로서 다른 사람들이 자신의 일에 그것을 적용할 수 있게 한다.

During the M4 year, UMed students participate in a two- week Policy and Advocacy Forum, during which local health care leaders, physician activists, faculty, and community activists make didactic presentations and invite students to discuss emergent issues openly. Additionally, the forum gives students the opportunity to present their own projects or a policy tool (legislative testimony, letter to editor, fact sheet, etc.) that they have developed, which others can, in turn, use in their own advocacy efforts.

UMed참여에 대한 크레딧

Credit for participation in UMed

4학년 종료 시, 모든 프로그램 구성요소를 완수한 학생은 6 credit hours를 수여하며 UMed 참여 인증서를 수여한다.

At the end of the four years, students who have completed all elements of the program receive six credit hours and a certificate for their participation in UMed.

방법

Method

1. The Medical Students’ Attitudes Toward the Underserved (MSATU) survey and the Intercultural and Professional Assessment (IPA) survey.

MSATU는 타당도가 증명된 설문으로서, 의대생/의사/자선기관/정부가 보건의료에 관한 어떠한 역할을 하는가에 대해 학생이 어떤 인식을 갖는지 설문함.

The MSATU is a validated survey24 that assesses student attitudes related to the perceived roles of medical students, physicians, charitable organizations, and the government in providing health care.

3. UMed LCP progress report.

질적 자료와 양적 자료를 모두 포함.

This team-based report includes both qualitative data (not reported here) and quantitative data to assess program objectives, measurable outcomes, evaluation

결과

Results

MSATU and IPA surveys

Pre/post seminar assessment

LCP progress report

Early program outcomes

고찰

Discussion

우리의 결과를 보면, Ko 등의 결과와 마찬가지로 의학교육이 이미 소외계층에 대해 이바지하고자 하는 성향을 가진 학생을 더 키우고 스킬을 향상시켜주는데 긍정적 역할을 함을 보여준다.

Our findings validate the results of studies such as those by Ko and colleagues8,9 that indicate that medical education can play a positive role in nurturing and enhancing the skills of students already predisposed to serving underserved communities.

우리의 결과는 일반적인 UI-COMC 학생은 종종 다양한 커뮤니티와 함께 일해보는 것에 개방적이지만, UMed 학생은 이보다도 더욱 문화적 이해도가 높고, non-UMed 동료학생들보다 더 수용적임을 발견했다. Stearns 등의 연구와도 합치하는데, 이러한 성과는 소외계층 커뮤니티에 이바지하고자 하는 성향이 적절한 의과대학 교육과 맞물릴 때 더 효과적임을 보여준다.

Our results show that the general UI-COMC student body is open and receptive to working with diverse communities, yet UMed students express even greater cultural understanding and acceptance than their non-UMed UI-COMC peers. Our results align with those found by Stearns and colleagues12 that indicate that outcomes improve when predisposition for service in underserved communities is paired with appropriate content during medical school.

우리는 또한 Haq 등이 말한 것처럼, 미션과 목표에 기반하여 UMed 와 같은 프로그램이 평가하기가 더 어려운데, 왜냐면 학생들에게 주입하고자 하는 행동과 태도가 드러나기에는 시간이 걸리기 때문이다. 그러나 UMed 졸업생의 레지던트 선택을 보면 단기적 차원의 경향을 볼 수 있는데, 일리노이 주 바깥에서 살던 UMed 학생이 일리노이 주 바깥에서 살던 non-UMed 학생보다 시카고에 남을 가능성이 더 높다는 것이다. 더 나아가서 UMed 가 일차의료를 하려는 학생만 선발한 것이 아님에도 유의미한 숫자의 UMed 졸업생이 일차의료 전공을 선택했다.

We also found—as did Haq and colleagues13—that, on the basis of mission and goals, programs such as UMed are more difficult to evaluate because the attitudes and behaviors they are designed to instill within students may take time to manifest; however, interestingly, notable early trends in UMed graduates’ residency choices suggest that UMed students from states other than Illinois are proportionally more likely than non-UMed students from states other than Illinois to stay in Chicago. Further, although UMed does not select for students who want to go into primary care, a significant number of UMed graduates choose primary care residencies.

도시의 소외계층을 위한 리더십 역할과 관련한 스킬과 태도의 습득을 살펴보면, 이는 기존 연구와 contextualize하기가 어려운데, 왜냐하면 대부분의 연구가 졸업 시점에서 평가했기 때문이다. 즉, 리더십 역할이 더 나타날 것으로 기대되는 졸업 이후 커리어에서의 평가가 아니다. 사전-사후 평가 결과에 기반하여 보자면, 우리는 세미나에서 다룬 내용이 UMed 학생의 지식과 자기효능감에 유의한 향상을 가져왔음을 발견하였으며, 학생의 LCP 보고서를 보고 우리는 LCP가 우리 프로그램의 핵심임을 믿게 되었다.

Findings related to the acquisition of skills and behaviors that align with leadership roles in underserved urban communities are difficult to contextualize to previous work because most studies evaluate outcomes at the point of graduation—rather than later, during graduates’ careers, when leadership roles would be more likely.6,8,9,13 On the basis of the results of the pre/post assessments, we found that programmatic content in the seminars resulted in significant improvements in knowledge and self-efficacy by UMed students. On the basis of students’ LCP progress reports, we believe that the LCPs have become the cornerstone of our program.

커뮤니티와의 협력은 쉽지 않고, 학생들도 이를 위해서는 유연해져야 하며, 지속적으로 프로젝트가 지역사회 맥락에 관련성을 갖게끔 점검해야 한다. UMed 교수들은 이것이 반드시 필요한 기술이라고 생각했는데, 왜냐하면 CBPR의 일반 원칙(centrality of community partnerships, community building)을 반영하기 때문이며, 학생들로 하여금 systems-level 사고를 함으로써 역동적/복합적/인구수준의 문제에 대한 해결책을 개발하게 만들어주기 때문이다.

학생과 UMed 교수간의 정기적인 커뮤니케이션이 LCP의 성공에 필수적이였으며, UMed 교수와 커뮤니티 파트너 멘토와의 정기적 만남도 마찬가지였다.

우리의 연구는 Meyer 등이 주장한 것 '지역사회 기관과 AHC의 파트너십은 실현가능할 뿐만 아니라 지속가능하다. 단, 상호 존중과 이해에 기반했을 때 그러하다' 과 같다.

Community collaboration can be challenging, demanding that students be flexible and continually examine context for their projects to remain relevant. UMed faculty feel that these are necessary skills, as they reflect the general principles of CBPR (i.e., centrality of community partnerships, community building)25,26 and require students to use systems-level thinking to develop solutions to dynamic, complex, population-level problems. Regular communication between students and UMed faculty has been critical to the success of the LCPs, as are regular meetings between UMed faculty and community partner mentors. Our findings confirm the assertion made by Meyer and colleagues23: Partnerships between community organizations and academic health centers are not only feasible but also sustainable—if based onmutual respect and understanding. 

본 연구는 도시 소외계층에게 리더십 역할을 할 수 있게 관심을 갖고 준비하게끔 하는데 학생 선발, 기존 선호성향의 육성, 교육내용이 중요함을 보여준다. 낮은 탈락률과 UMed 학생이 기본적 교육과정 외에도 투자한 시간을 보면, 학생들이 경험 학습을 기반으로 한 프로그램에 긍정적으로 반응했음을 보여주며, 이들이 소외계층을 대상으로 하는 과제에 추가적 책임감을 기꺼이 받아들인다는 것을 보여준다. 더 나아가 이 결과는 의과대학생과 도시 소외계층을 이어주는 잘 설계된, 자기 프로그램의 가능성을 제시한다.

This study adds to the knowledge base regarding the importance of student selection, nurturing predisposition, and educational content as means to increase interest in and to provide preparation for leadership roles in urban underserved communities. The low dropout rate (2 out of 180 students) and the number of hours dedicated to UMed outside of the basic curriculum show that students respond positively to a program based on experiential learning, and that they willingly accept the challenge of taking on the additional responsibilities required to work in underserved communities. Overall, the results reported here show that well-designed, longitudinal programs linking medical students and underserved urban communities hold promise;

몇 가지 한계. 경쟁적, 비-무작위 선발 과정이 학업적 능력과 사회적 정의감을 모두 갖춘 학생들의 기존 관심사를 지원하고자 했던 우리 전략의 일붕ㅆ다. 그러나 학생의 높은 기존 관심이 오히려 UMed 교육과정이 학생의 태도와 동기부여에 가지는 영향을 confound했을 수 있다.

Although our results are robust, we acknowledge some limitations. Our competitive, nonrandom selection process is part of our strategy to support preexisting student interest in helping underserved populations while capitalizing on academic talent and a social justice mindset; however, this preexisting interest confounds our ability to measure the influence of the UMed curriculum on student attitudes and motivations. We have no information on the students who apply but are not chosen.

프로그램의 사이즈를 더 키우는데 장애가 되는 것은 세미나 세션의 특징인데, 의도적으로 상호작용을 강화하고, 경험을 강조하여 워크숍 형태로 진행했기 때문이다. 현재 24명의 학생 숫자는 6~8명의 소그룹을 가능하게 하고 교수의 도움을 받게 하고, 결론과 토론을 대그룹으로 진행하여 공유하게 한다. 두 시간은 이렇게 운영되기에 빠듯하다.

The major limitation to scaling up the program is the nature of the seminar sessions, which are intentionally interactive, experiential, and in the style of a workshop. The current number of students (24) allows six to eight small groups to work together, to receive input from the instructor, and to share conclusions and discuss topics as a larger group. Two- hour seminars barely allow time for such a format, and adding more seminars to adequately accommodate more students may be a burden on faculty.

UMed 세션에 배정된 시간이 다른 핵심 교육시간을 대체하지 않았고 UMed 학생은 정규 교육과정을 이수하는 과정에서 UMed 활동을 했다. “a longitudinally structured self-designed elective.”라고 볼 수 있다.

Scheduled UMed sessions do not replace any core teaching time; rather, UMed students complete the required activities and projects as they go through the regular medical school curriculum. The six credits they receive for the course appear as “a longitudinally structured self-designed elective.”

진정한 CBPR 패러다임에서 지역사회 구성원은 중요한 파트너이다. 두 가지 과제가 있다.

Within a true CBPR paradigm, commu- nity members are an integral part of the partnership.25,26 Two challenges of UMed have been

• (1) 장기변화 확인 to capture long-term behavior change among the community participants in the LCP projects and
• (2) 지역사회 이해관계자의 평가 참여 유도 to include community stakeholders in LCP evaluation efforts.

Consequently, a recent addition to our curriculum is the “Self Efficacy and Stage of Change Interview” assignment, which requires each student to use a template to develop and conduct an interview with a community member who has participated in his or her team’s intervention.

1 Institute of Medicine. Primary care and public health: Exploring integration to improve population health. Released March 28, 2012. http://www.iom.edu/Reports/2012/ Primary-Care-and-Public-Health.aspx. Accessed August 19, 2015.

3 Maeshiro R, Koo D, Keck CW. Integration of public health into medical education: An introduction to the supplement. Am J Prev Med. 2011;41(4 suppl 3):S145–S148.

13 Haq C, Stearns M, Brill J, et al. Training in urban medicine and public health: TRIUMPH. Acad Med. 2013;88:352–363.

18 Mullan F, Chen C, Petterson S, Kolsky G, Spagnola M. The social mission of medical education: Ranking the schools. Ann Intern Med. 2010;152:804–811.

The Urban Medicine Program: Developing Physician-Leaders to Serve Underserved Urban Communities.

의학교육 분야에서 50년간의 논문 출판 분석(Med Teach, 2013)

50 years of publication in the field of medical education

KYUNGJOON LEE1, JULIA S. WHELAN1, NANCY H. TANNERY2, STEVEN L. KANTER2 & ANTOINETTE S. PETERS1

1Harvard Medical School, USA, 2University of Pittsburgh, USA

의학교육 분야의 논문 출판은 1950년에 Journal of the Association of American Medical Colleges가 Journal of Medical Education으로 바뀌면서 시작되었다. 그러나 의학교육이 학문의 한 분야로 자리잡은 초기에는 매우 느릿느릿했다. 이는 1966년 의학교육을 전문으로 다루는 두 번째 저널 British Journal of Medical Education 이 생길 때까지는 그러했다. 이후 일부 다른 저널들도 그 사이에 생기긴 했으나, 5개의 온라인 그리고 인쇄판 의학교육 저널들이 갑자기 등장하였다( Journal of Graduate Medical Education, International Journal of Medical Education, Education in Care). 이제 의학교육 분야는 주요한 출판분야로 성장하고 있다. 이러한 성장을 특징짓는 것은 무엇일까?

Published scholarship in ME began in 1950 when the Journal of the Association of American Medical Colleges transformed itself into the Journal of Medical Education. Yet, the early history of ME as a scholarly field was almost languid. It was not until 1966 that a second journal dedicated to ME appeared, the British Journal of Medical Education (Kuper et al. 2010). A few others appeared in the intervening years, but recently 5 new online and print ME journals have suddenly appeared (e.g. Journal of Graduate Medical Education, International Journal of Medical Education, Education in Care). Now, the field of ME is abloom with Primary publications. What characterizes this growth?

방법

Method

검색

The search

의학교육의 출판 패턴을 따라가기 위하여 MeSH를 가지고 MEDLINE의 multi-faceted indexing을 활용였고, 트렌드를 Medvane으로 분석하였다.

To follow publication patterns of ME, we took advantage of the multi-faceted indexing of MEDLINE with the Medical (MeSH) Subject Headings taxonomy, and analyzed trends using Medvane (Lee 2011).

분석

Analyses

우리는 50년간의 출판물, 저널, 주제를 분석하였다.

We tracked publications, journals and topics over 50 years (1960–2010).

결과

Results

1960년과 2010년 사이의 의학교육 관련 출판물

Evolution of ME publications from 1960 to 2010

그림 1(a)는 MEDLINE에 색인된 의학교육 논문을 MeSH 주제어로 1960년부터 2010년까지 본 것이다. 1960년 279개에서 2010년 3760개까지 증가하였다. 그러나 이 50년간 폭발적 증가, 축소, 변화없는 상태가 모두 있었다. 일반적으로 1983년까지는 작은 증가/감소가 있다가 이후로는 꾸준한 증가세를 보이고 있다.

Figure 1(a) illustrates the pattern of articles indexed in MEDLINE with ME as a major MeSH heading from 1960 to 2010. The number of ME articles indexed in MEDLINE increased 13-fold from 279 articles in 1960 to 3760 in 2010. However, within this 50 year period, there were several periods of expansion, contraction and steady state. In general, there were small increases and decreases in publications until 1983 after which there was an almost steady rise in the number of annual ME publications.

그림 1(b)는 MEDLINE에 ME로 색인된 모든 논문의 비율이다. 1960년에는 0.3%였으나, 빠르게 증가하였고 (아마도 artifact로 보이며), 이후 1982년까지 감소하다가, 1982년부터 2001년까지는 0.33%에서 0.41%로 증가하였고, 21세기에는 14%포인트 증가하였다. 따라서 ME 출판 뿐 아니라 - 생의학분야의 전반적 성장에도 불구하고 - 의학교육은 MEDLINE 색인 출판에서 더 많은 비중을 차지하게 되었다.

Figure 1(b) illustrates the percent of all articles indexed in MEDLINE indexed as ME. In 1960, ME articles accounted for 0.3%of MEDLINE’s citations and the percentage rose markedly in that decade, possibly an artifact of the inception of MEDLINE and retrospective indexing. Thereafter, it declineduntil 1982. From 1982 to 2001, the percent of ME articles rose8% points (from 0.33% to 0.41%) and the last decade (2000s)has seen an increase of 14% points (from 0.41% to 0.55%).Therefore, not only has the number of ME publications grown,but, despite growth in other biomedical fields, ME represents an increasingly larger proportion of all MEDLINE indexed publications. 

저널들의 의학교육 분야 출판

Journals’ publication of ME

1960년 이후, ME에 특화된 저널의 수와, ME관련 논문을 가끔이라도 게재하는 저널의 수가 증가하였다. 더 나아가 ME 저널은 색인된 저널 전체에서 더 많은 비중을 차지하게 되었다. 전체적으로 4208개의 서로 다른 저널이 최소한 하나 이상의 ME 관련 논문을 출판하였으며, 이는 1960년 104개의 저널에서(5.5%), 2010년 855개(14.2%)로 늘어난 것이다.

Since 1960, the number of journals dedicated to ME and the number of journals occasionally publishing an article about ME have increased. Moreover, ME journals began to account for a larger percent of the overall corpus of indexed journals. general Overall, 4208 different journals (e.g. specialty or medical journals, as well as ME journals) published at least one article in which ME was indexed as a major topic. In 1960, 104(5.5%) journals published ME articles, whereas in 2010, 855(14.2%) did so (Figure 2a and b). 

1960년대부터 1980년대 중반까지 ME를 전문으로 다루는 저널은 1~3개에 불과했다. 1985년부터 1990년대 후반까지 그 수는 두 배가 되었고, 2000년부터 2010년까지 세 배가 되었다. 2010년 MEDLINE에 ME 특화 저널이 11개 있었으며, 비록 13개의 저널이 1960년과 2010년 사이에 존재한 적이 있고, 일부 새로운 저널 중에서 아직 색인되지 않은 것도 있긴 하다. 모든 분야의 저널이 증가했음에도 ME저널은 1960년대에 비해 MEDLINE에 색인된 모든 저널 중 더 많은 비중을 차지하고 있다. 2001년까지 ME저널의 퍼센트는 0.04%에서 0.11% 사이였다. 새로운 ME저널의 등장으로 이제는 0.24%까지 증가하였다.

From 1960 until as recently as the mid-1980s, there were only 1–3 journals dedicated to ME (data not tabled). From 1985 through the late 1990s the numbers doubled (ranging from 3–6) and then tripled between 2000 and 2010. As of 2010, MEDLINE lists 11 journals dedicated to ME, although 13 journals existed at some time between 1960 and 2010 (Figure 3 starred journals) and some new journals are not yet indexed (i.e. International Journal of Medical Education,). (When journals changed their names over time – e.g. Journal of Medical Education, now Academic Medicine – we counted them only once (Figure 3)). Despite an increase in journals in all fields, ME journals now account for a larger proportion of all journals indexed in MEDLINE than they did in 1960. Until 2001, the percent of ME journals ranged between 0.04% and 0.11%. With the introduction of new ME journals, the percent of ME journals now represents 0.24% of all journals (data not tabled).

그러나, 중요한 것은 80%의 의학교육 논문들이 ME저널이 아닌 저널에 출판된다는 것이다. 13개의 ME저널은 지난 50년간 출판된 전체 ME논문 중 약 18%만을 차지하고 있다.

However, importantly, more than 80% of all ME articles were not published in ME journals. The 13 ME journals that existed, even briefly, during the 50 year period published only 18% of all ME articles (n¼14 753).

ME가 주 영역으로 자리잡으며 진화한 공동-주제(co-topic)

Evolution of co-topics with ME as a major topic

ME아래 네 가지 주요 주제가 있다고 포함했다. MeSH에서 GME와 인턴/레지던트 에 대한 정의

Subsumed under the term ME are four major sub-topics:

• undergraduate ME;
• graduate ME (GME);
• internship and residency and
• continuing ME (CME, first row of Figure 4).
• (The MeSH definition of GME is
• 의과대학 졸업생이 전공의 교육을 받는 교육 프로그램. 여기에는 임상과 기초의과학의 학술적인 교육훈련 뿐 아니라 공식적인 전공의 수련도 포함되며, advanced medical degree 혹은 보드 자격증을 취득하는 과정이다.
  ‘‘Educational programs for medical graduates entering a specialty. They include formal specialty training as well as academic work in the clinical and basic medical sciences, and may lead to board certification or an advanced medical degree.’’
• The MeSH definition of internship and residency is
• 의과대학 졸업생이 인증기구가 설립한 요구조건을 달성하기 위하여 병원에서 제공하는 의학과 전공과목 수련을 위한 프로그램
  ‘‘Programs of training in medicine and medical specialties offered by hospitals for graduates of medicine to meet the requirements established by accredit-ing authorities.) (US National Library of Medicine 2012)

위에서 언급된 sub-topic에 더하여 우리는 co-topic을 분석하여, 1960년과 2010년 사이에 모든 ME출판물 중 10% 이상을 차지한 co-topic을 분석하였다. (curriculum, teaching, clinical competence, medical students and educational measurement)

In addition to the sub-topics listed above, we analyzed co-topics that occurred most frequently with ME between 1960and 2010 and accounted for more than 10% of all ME publications: curriculum, teaching, clinical competence, medical students and educational measurement

각 토픽의 상대적인 중요성은 해마다 달라졌다.

Within this time, the relative importance of topics changed, sometimes from year to year.

저널별 co-topic

Co-topics by journal

Table 1에 나타난 바와 같이 5개의 저널은 서로 서로 다르다.

As displayed in Table 1, the five journals differed both from one another and from all others.

자주 출판되는 주제

Frequently published topics.

저널별로 독특한 주제

Unique topics by journal.

추가로, 각 저널은 의학교육에서 평균적으로 나타나는 비율보다 그 자신을 더 잘 나타낼 수 있는 주제를 더 출판하여 스스로의 특징을 드러내었다.

Additionally, each journal distin- guished itself by publishing more than the overall proportion of ME articles with less frequently indexed co-topics.

지난 50년간 ME의 연간 출판은 13배가 증가하였고, 총 8만개 이상의 논문이 MEDLINE에 색인되었다. 이 증가세는 꾸준한 것도 아니었고 언제나 증가해온 것 만도 아니었다.

In the past 50 years, annual publications in ME increased 13- fold, with a total of over 80 000 articles indexed in MEDLINE. The rate of increase was neither steady nor constantly positive.

이번 연구에서는 위대한 성장의 시대 동안의 ME출판의 포괄적 역사를 다뤘다. 우리는 ME가 주요 주제로 색인된 모든 저널의 모든 출판물을 분석하였다. 대조적으로 Rotgans는 이중 일부를 분석하였는데, 6개의 ME저널에서 1988년과 2010년 사이에 출판된 연구 논문을 분석하였다. 이 연구에서도 ME가 학문분야로서 성장했다는 것 외에도 ME가 연구의 한 분야로 성장했음을 확실히 보여준다. Rotgans와 마찬가지로 우리도 시간에 따라 주제가 변하고, IF가 높은 저널 사이에서도 명확한 차이가 존재함을 확인했다. 4개의 주제(curriculum and teaching issues, professionalism, characteristics of medical students and assessment )에서 우리 연구결과를 보다 입증해준다.

This article provides a comprehensive history of ME publications during an era of great growth. We analyzed all publications in all journals in which ME was indexed as a major topic. In contrast, Rotgans (2011) examined a subset of these, namely research articles published in six ME journals between 1988 and 2010. His work not only underscores the growth of a scholarly field, but clarifies that ME has grown as a field of research. Like Rotgans, we also found changes in topics over time and distinct differences among high impact journals in publishing those topics. Similarly, Regehr (2004) conducted a thematic analysis of articles published since 2000 in four ME journals. The four identified themes – curriculum and teaching issues, professionalism, characteristics of medical students and assessment – generally corroborate our findings.

또 다른 bibliometric 연구는 1966년부터 1994년 사이에 ME출판의 성장이 매우 작았음을 보여준다. 그러나 그날 이후 많은 것들이 변화하였고, ME학문이 글로벌화되었다. 6개의 ME저널과 2개의 일반 의학 분야의 저널에서 1997년과 2001년 사이에 국제적인 기여 정도를 비교한 연구에서 의학교육 분야의 저널들이 국제적인 독자층, 저자층, 리뷰어층을 확보하기 위한 노력을 확인하였다. 비슷한 연구가 1995년과 2000년 사이를 대상으로 이뤄졌고, 두 개의 대표적 저널(Acad Med, Med Educ)에서 ME출판에 대한 국가적 생산성을 연구하여, 영어를 쓰는 저자와 네덜란드 저자가 지배적임을 보여주었다.

Another prior bibliometric study showed very little growth in ME publication from 1966 to 1993 (Wartman 1994). However, much has changed since then, including a global- ization of ME scholarship (Pereira 2001; Brice & Bligh 2004). In comparing international contributions to six ME and two and Brice general medical journals between 1997 2001, one identified an effort, especially by journal, Medical to recruit international readers, authors and Education, reviewers. In a similar study covering 1995–2000, Tutarel (2002) investigated the national productivity in ME publica- tions in two leading journals, Academic Medicine and Medical Education. He found that English speaking authors and authors from the Netherlands dominated both journals.

ME분야의 성장이 언제나 지속적이지 않았다는 것을 무시할 수 없다. ME논문의 숫자와 비율 모두가 1980년대에 감소하였다. 한 저자는 이 결과는 대학의학이 분자생물학에 관심을 돌리던 시기라고 지적하는 연구자도 있다. 분자생물학 연구와 대조적으로 - 이 분야는 재정지원이 많았고, 그 가치를 높게 평가받았다 - 1994년 Wartman이 지적한 바와 같이 ME연구에는 재정 지원도 적고 크게 존중받지도 않았다. 그러나 1990년대와 현재까지 사이를 보면 MEDLINE 색인된 저널의 10%이상에서 ME논문을 출판한 바 있으며, 현재의 새로운 ME저널의 발전은 이 분야 학문의 양적, 질적 변화를 보여준다. 그렇다면 왜 거의 재정지원이 없던 이 분야가 갑자기 성장했을까? 향후 연구가 필요하다.

We cannot ignore the fact that the field of ME did not grow steadily. Both the number and the proportion of ME articles relative to all publications fell during the 1980s. One author suggested that this resulted when academic medicine turned its attention to molecular biology (Ludmerer 1999). In contrast to molecular biology research, which was heavily funded and highly valued, as Wartman pointed out in 1994, ME research has been largely unfunded and disrespected. Yet, between 1990 and the present, more than 10% of all journals indexed in MEDLINE published a ME article, and the recent advent of new ME journals suggests quantitative and qualitative changes in scholarship in this field. Why would a largely unfunded field of research suddenly blossom? That question begs further study.

세 개의 ME저널과 두 개의 일반의학 저널의 주된 초점을 비교하여 우리는 각각의 저널이 다른 저널들과 차별화되는 지점을 발견하였다. 이들 자료는 이 분야의 성장에 대한 다른 자료와 함께 편집자, 저자, 리뷰어, 독자에게 주는 함의가 있다.

In comparing three ME journals’ and two generic medical journals’ topic foci, we discovered areas in which each distinguished itself from all others. These data, along with other information on the growth of publication in the field, have implications for editors, authors, reviewers and readers.

첫째, 편집자와 편집진은 저널의 scope을 정하고 그 한계를 뛰어넘을 책임이 있다. 이 scope은 저널의 미션을 반영해야 할 뿐만 아니라, 지나치게 제한적이어서 그 분야의 경계 확장시킬 수 있는 새로운 아이디어와 연구를 한 저자의 투고를 억제할 정도여서는 안된다.

First, editors and their editorial boards share a responsibility for defining and delimiting the scope of a journal. The scope should reflect the journal’s mission, but should not be so restrictive as to inhibit the submission of author-initiated manuscripts that extend the boundaries of a field or present novel and divergent ideas.

둘째로, 저자들은 논문 출판을 할 수 있는 선택지가 넓다는 것을 즐겨야 한다. 독자층을 유심히 고려해야 한다.

Second, authors enjoy a wide choice of venues for publication, allowing them to target their audience carefully.

셋째로, 출판물의 범위를 살펴보면, 투고의 숫자가 더 늘어날 필요가 있음을 보여준다(비록 이들 중 일부는 reject될 것이지만). 개개인의 흥미와 가장 잘 맞는 저널을 살펴볼 기회를 얻음으로써 의학교육자들이 더 배워나갈 수 있다.

Third, the extent of publication suggests an even larger number of submissions (some of which will have been rejected) that provides closely aligned opportunities to review for journals most with one’s interests – an activity that helps medical educators learn. 

마지막으로, 한 프로젝트를 시작할 때 연구자는 ME저널 외에도 더 많은 저널을 살펴볼 필요가 있다.

Last, when initiating a project, investigators should read the literature far beyond the ME journals since a large proportion of authors chose to place their articles in specialty, rather than education, journals.

50 years of publication in the field of medical education.

보건의료전문직 교육훈련을 위한 학생선발에서의 MMI - Systematic review (Med Teach, 2013)

The Multiple Mini-Interview (MMI) for student selection in health professions training – A systematic review

ALLAN PAU1, KAMALAN JEEVARATNAM2, YU SUI CHEN1, ABDOUL AZIZ FALL1, CHARMAINE KHOO1 &

VISHNA DEVI NADARAJAH1

1International Medical University, Malaysia, 2Royal College of Surgeons in Ireland, Perdana University, Malaysia

보건전문직 교육 프로그램 학생을 선발하는 것은 고부담 결정이다. 패널 혹은 위원회 면접이 흔히 사용되나 근거들을 살펴보면 이러한 방식은 학업 혹은 임상 수행능력 예측에 제한적 능력만 가진다.

Admissions to health professions training programmes are high stake decisions. The panel or board interview is commonly used to aid this decision (Edwards et al. 1990), although the evidence suggests its limited ability to predict academic or clinical performance in health care disciplines (Goho & Blackman 2006).

예를 들어 Dixon 등은 패널 인터뷰를 review하여 구조와 점수 anchor가 신뢰도와 타당도에 영향을 준다고 하였으며, Wilkinson 등은 패널 인터뷰가 예측력이 떨어지고 면접으로 인한 'threat'이 일부 잠재적 지원자를 떨어져나가게 한다고 하면서 GPA가 학업 수행능력에서 최고의 예측력을 가지는 것이라고 결론지었다.

For example, Dixon et al. (2002), in their review on the panel interview commented that structure and scoring anchors impact on its reliability and validity. Wilkinson et al. (2008), in their study argued that panel interviews have little predictive value and added that the ‘‘threat’’ of an interview may even dissuade some potential applicants and concluded that GPA (grade point average from student pre entry qualification) has the best predictive value to academic performance.

면접을 구조화하는 것은 수용가능도와 신뢰도를 향상시킨다. MMI는 고도로 구조화된 학생선발 방법이다.

Structuring the interview has been reported to enhance its acceptability and reliability (Patrick et al. 2001). The Multiple Mini-Interview (MMI) is a highly structured student selection method designed to resemble the Objective Structured Clinical Examination (OSCE) (Eva et al. 2004c).

MMI는 지원자의 역량에 대한 다면적 표집을 통해서 그들의 전체적 능력에 대한 더 구체적인 그림을 갖게 해준다.

The MMI, therefore, allows a wide sampling of candidates’ competencies in order to gain a more accurate picture of their overall ability.

방법

Methods

결과

Results

Review한 연구들의 특징

Characteristics of studies reviewed

MMI의 특징

Features of the MMI

• The number of stations used in the studies reviewed ranged from 4 to 12, with 10 studies using a 10-station MMI, 6 using 12, 5 using 8, and the remaining 9 using 4, 7, 9 or 11 stations.
• Fourteen of the studies used one assessor per station while 4 used 2 assessors, and the remaining 12 did not report the number of assessors per station.
• Most studies used faculty as assessors, while some used a combination of faculty and community practitioners (Hecker & Violato 2011) and others included students (Brownell et al. 2007).

• The range of time at each station was 5 to 15min with a mode of 8 min. Eleven studies reported using 8-min stations, five using 7-min, three using 10-min, one using 5-min and one 15-min stations.
• Two studies tested the effect of different lengths of time at stations; one comparing eight and six minutes (Cameron & Mackeigan 2012) and the other eight and five minutes (Dodson et al. 2009). Seven did not report the time at each station.

• The average MMI has 10 stations, each lasting eight minutes and is rated by one assessor.

활용가능성

Feasibility

Three studies reported on the feasibility of the MMI. One reported that it did not require more examiners when compared to the panel interview, did not cost more, and the interviews could be completed over a short period of time(Brownell et al. 2007; Finlayson & Townson 2011). Another study reported that it provided a positive experience for interviewers as well as applicants (Eva et al. 2004c).

수용가능성

Acceptability

Of the 30 studies reviewed, 14 reported on the acceptability of the MMI. Some authors reported that the MMI was acceptable to interviewees and interviewers because it was perceived as fair (Razack et al. 2009), transparent (Uijtdehaage et al. 2011) and providing opportunities for the interviewees to regain composure if they had problems with a previous station(Kumar et al 2009). Positive experience for both applicants and examiners has also been reported (Eva et al. 2004c). 

Acceptability was also determined as free from gender and cultural bias (Brownell et al. 2007), and socio-economic disadvantage (Uijtdehaage et al. 2011) or benefit of previous coaching (Griffin et al. 2008). Griffin et al. (2008) reported that previous coaching, as disclosed by applicants, had no effect on UMAT or MMI scores. Applicants who had previous MMI experience improved their subsequent performance in the same stations but not in new stations. 

Preference for station length differed between interviewers and interviewees, with the former judging six mins to be ‘‘just right’’ and eight mins to be ‘‘a bit long’’, and the latter preferring longer time (Cameron & Mackeigan 2012). One study reported that graduate candidates outperformed school-leavers (Dowell et al. 2012) while another reported no difference between graduate and school-leaver applicants(O’Brien et al. 2012). 

신뢰도

Reliability

Eighteen studies reported on the reliability of the MMI. Intra-station reliability was reported to reach 0.98 by Lemay et al.(2007). The inter-item reliability (i.e. the internal consistency of the three scores assigned within any one station) and the inter-rater reliability within stations have also been reported to be very high by Dore et al. (2010). However, Finlayson &Townson (2011) conducted a 4-station MMI, each at 15min,and reported inter-rater reliability ranging from 0.50 to 0.69 for three stations, and 0.10 for one station. 

Generally the reported reliability ranged from moderate(Roberts et al. 2008) to acceptable (Dore et al. 2010) to high(Lemay et al. 2007), with Cronbach’s alpha ranging from 0.69to 0.98. However, Finlayson & Townson (2011) reported 0.45 inter-station reliability ranging from to 0.47. Other researchers have also reported low inter-station correlations,(Lemay et al. 2007). 

Using generalisability analysis, Hecker & Violato (2011) reported a G coefficient of 0.79 for seven stations with two assessors. A Decision study indicated that G¼0.81 can be achieved fromten stations with one assessor. Similarly, in Dore et al.’s (2010) study, G¼0.55 to 0.72 for seven stations, is increased to G¼0.64 to 0.79 with 10 stations in a D-study.

타당도

Validity

내용 타당도

Content validity.

예측 타당도

Predictive validity.

For medical students, MMI performance at admission was the best predictor for subsequent OSCE as well as clerkship performance (Eva et al. 2004a). Validity against future non-cognitive assessment was investigated by Eva et al. (2009), who reported that MMI performance at admission was statistically significantly predictive of perform- ance at future examinations, such as the percentage of stations passed in the MCCQE (Medical Council of Canada Qualifying Examination) Part II.

However, a cross-sectional study investigating the association between MMI performance of medical residency applicants and their MCCEE (Medical Council of Canada Evaluating Examination) and MCCQE I scores reported low, non-significant correlations, and also non-significant correlation with MCCQE II scores (Hofmeister et al. 2009). In a more recent study, Eva et al. (2012) reported that better MMI performance at entry to medical school was predictive of higher MCCQE scores.

이번 연구의 핵심 결과는 다음과 같다.

The key findings were that the MMI was

• (i) practically feasible in terms of efficient utilisation of time, costs and human resources when compared to the panel interview;
• (ii) generally acceptable to both interviewees and interviewers;
• (iii) generally reliable with acceptable Cronbach’s apha and G-coefficient values; and
• (iv) predictive of future performance in certain aspects of medical council examinations.

스테이션을 개발하고 면접을 시행하려면 전문성이 필요하다. 따라서 초기의 준비비용은 높을 수 있다.

Expertise is also necessary in developing the stations and conducting the interviews. Therefore the initial preparatory costs to develop the MMI are likely to be high (Rosenfeld et al. 2008).

Kumar 등은 시나리오 기반의 MMI가 어떻게 답변해야 하는가에 대한 리허설이나 코칭을 더 어렵게 만들며, 실제로도 MMI에서의 수행능력이 자기-보고된 이전 코칭 여부와 상관이 없으며, 코칭을 받지 못한 지원자에게 불리하지 않음을 보여주었다.

Kumar et al. (2009) identified that the scenario-based nature of the MMI made it harder for rehearsal and coaching of responses, and indeed it has been reported that performance at the MMI is not associated with self-reported previous therefore, coaching (Griffin et al. 2008), and does not disadvantage applicants with no access to coaching.

스테이션 내, 평가자 간 신뢰도는 높고 스테이션 간 신뢰도는 낮은데, 이는 서로 다른 스테이션은 서로 다른 특질을 테스트하기 때문이다.

For example, it is expected that intra-station and inter-rater reliability would be high and inter- station reliability low(Lemay et al. 2007; Dore et al. 2010) since different stations may test different attributes.

그러나 신뢰도는 스테이션이나 면접관의 수와 관련된 것으로 보이며, 각 스테이션의 내용과도 관련되어 있다.

However, reliability would appear to be associated with number of stations or interviewers (Hecker & Violato 2011), and the content of each station (Lemay et al. 2007).

MMI 신뢰도는 acceptable하며, Ottawa 2010 컨퍼런스에서 보건의료전문직 선발에서 활용되는 것에 대한 합의를 이루었다. 면접관의 주관은 측정오차의 가장 큰 원인이 되며, 면접관 훈련이 도움이 될 것임을 시사한다.

The reliability of the MMI has generally been reported to be acceptable. This has been recognised by the Ottawa 2010 Conference in a consensus statement on assessment for al. selection for the health care professions (Prideaux et 2011). Interviewer subjectivity is the largest source of meas- urement error, suggesting that interviewer training could be helpful (Roberts et al. 2008).

대부분의 연구는 MMI 수행능력이 입학 전 성취(GPA, MCAT, GAMSAT)과 무관함을 보여준다. 이는 MMI가 비인지적 특성을 평가한다는 것이다.

Most studies reported that MMI performance was not pre-entry qualifications such as associated with academic GPA, MCAT and GAMSAT scores. This suggests that the MMI is capable of testing non-cognitive attributes, such as

• profes- sionalism (Hofmeister et al. 2009),
• legal, ethical and organ- isational skills. (Eva et al. 2009),
• motivation, interest in medicine, decision making skills, ability to debate a complex issue (O’Brien et al. 2011),
• empathy, moral and ethical reasoning, motivation and preparedness to study medicine, teamwork and leadership, honesty and integrity (Till et al. 2013), and
• advocacy, ambiguity, collegiality and collabor- ation, cultural sensitivity, responsibility and reliability (Lemay et al. 2007).
  

Lemay JF, Lockyer JM, Collin VT, Brownell AK. 2007. Assessment of non- cognitive traits through the admissions multiple mini-interview. Med Educ 41(6):573–579.

Med Teach. 2013 Dec;35(12):1027-41. doi: 10.3109/0142159X.2013.829912. Epub 2013 Sep 20.

The Multiple Mini-Interview (MMI) for student selection in health professions training - a systematic review.

의학교육에서 윤리의 역할 강화하기 (CMAJ, 2003)

Strengthening the role of ethics in medical education

Peter A. Singer

어떻게 의학교육에서 윤리의 역할을 더 강화할 수 있을까? 한 가지 방법은 입학당시에 윤리적인 의사가 될 가능성이 더 높은 학생을 뽑는 것이다.

How can we strengthen the role of ethics in medical ed- ucation? One way of course is to select, at the time of ad- mission to medical school, students who are most likely to become ethical physicians.

두 번째 방법은 의과대학과 전공의 기간에 효과적인 윤리 교육을 하는 것이다. 도덕 추론을 기반으로 한 접근법은 중요한 한계가 있다. 이것은 퍼즐의 한 조각일 뿐이다. 여러가지 상황에 잘 대처하려면 의사는 상황 자체를 윤리적 딜레마로서 인식해야 한다. 또한 관련된 지식과 규범, 법과 정책을 알아야 하며, 어떻게 지식을 앞에 놓인 상황에 적용할 것인지 분석애햐 하며, 실제 상황에서 협상과 의사소통에 필요한 스킬을 발휘해야 한다. 도덕적 추론이 필요하긴 하나, 최종적으로 필요한 것은 수행이다.

A second way is to provide effective ethics training dur- ing medical school and residency training.3 Approaches based on moral reasoning have an important limitation: they are only one piece of the puzzle. To address effectively the disclosure of bad news, informed consent, confidential- ity, dishonesty, research ethics, end-of-life care, resource allocation and the like, the doctor must recognize situations as an ethical dilemma; possess the relevant knowledge of norms, laws and policies; analyze how this knowledge ap- plies to the situation at hand; and demonstrate the skills needed to communicate and negotiate this situation in practice. Moral reasoning is required, but the final com- mon pathway is performance.

윤리성에 대한 수행능력을 평가하는 것은 세 번째 방법이다. 명백하게, 그러한 평가에 있어 결정적인 순간은 실제로 환자와 의사가 대면하는 순간이다.

Evaluation of performance in ethics is a third way to strengthen the role of ethics in medical education. Obvi- ously, the moment of truth in such evaluations is the actual patient–doctor encounter. 

의사 뿐 아니라 동료/간호사/환자/가족의 평가가 중요하다.

It will be important to evaluate not only attending physicians’ assessments of the ethics and pro- fessionalism of students and residents but also the assess- ments by peers, nurses and, especially, patients and families.

네 번째 방법은 윤리적 학습 환경을 만드는 것이다. 학생-연구자는 거의 동료 학생의 절반이 임상상황에서 비윤리적으로 행동해야 할 것 같은 압박을 느꼈다고 보고했다. 행동은 외부와 단절된 상태(in a vacuum)에서 일어나는 것이 아니다. Patenaude 등은 'hidden curriculum'을 가능한 설명의 하나로 언급했다.

About 2 years ago a group of medical students, working with the support of faculty, highlighted the fourth way to strengthen the role of ethics in medical education: create an ethical learning climate. The student-researchers found that nearly half of their fellow students reported clinical sit- uations in which they felt pressured to act unethically.5 Per- formance does not occur in a vacuum. Indeed, Patenaude and associates cite the “hidden curriculum” as a possible explanation for their findings.

의사 헌장 physician charter.

This topic of professionalism has recently been ad- dressed in the form of a physician charter.8

8. Medical professionalism in the new millennium: a physician charter. Ann In- tern Med 2002;136:243-6.

CMAJ. 2003 Apr 1;168(7):854-5.

Strengthening the role of ethics in medical education.

의과대학기간의 의대생의 도덕성 발달(CMAJ, 2003)

Changes in students’ moral development during medical school: a cohort study

Johane Patenaude, Theophile Niyonsenga, Diane Fafard

프로페셔널리즘에 대한 요구와 의료진에 대해 기대하는 퀄리티(도덕성 등)은 각 관련기관으로 하여금 의과대학생이 의학교육기간동안 윤리적 성장에 관해 관심을 가질 동기를 부여하였다. 윤리는 과학과 기술적 지식을 습득하는 것과 관련하여 의사에게 기대되는 여러 스킬 중 하나이다.

The requirements of professionalism and the ex- pected qualities of medical staff, including high moral character, motivate institutions to care about the ethical development of students during their medical education.1,2 Ethics is thus one of several expected physician skills related to the acquisition of scientific and technical knowledge.3–6

미국이나 다른 곳에서 진행된 연구의 결과는 의과대학기간동안 윤리적 스킬이 점진적으로 하락한다는 것을 보여준다. 이들 연구는 세 가지 다른 도구를 사용하였고, 서로 다른 결과를 보여주었는데, 때로는 윤리적 민감성이 감소하였고, 때로는 도덕적 추론능력의 발전이 억제되었다. 일부 결과는 낮은 도덕적 추론 수준과 의료과오로 인한 법적 문제의 숫자가 상관관계가 있다는 것을 보여주기도 했다. 한 설문으로부터 거의 절반의 학생이 비윤리적으로 행동해야 할 것 같은 압박을 느낀대고 응답했고, 또 다른 설문에서 3, 4학년의 62%가 그들의 윤리적 원칙이 점차 부식되어가거나 사라지는 것처럼 느낀다고 했다. 이러한 상황은 의학교육이 종료된 이후에도 나아지는 것 같지 않다.

The results of studies performed in the United States and elsewhere suggest a negative trend in the progress of ethical skills during medical training.7–10 These studies, which used 3 different instruments, yielded divergent re- sults, showing sometimes decreased ethical sensitivity11 and sometimes inhibited development in moral reasoning.12–15 Some of the results demonstrated a strong correlation be- tween low levels of moral reasoning and the number of le- gal proceedings for malpractice (unpublished data). In one survey, nearly half of the students reported that they felt pressure to act unethically,16 and in another survey of 665 third- and fourth-year medical students, 62% of them felt that their ethical principles had been seriously eroded or had disappeared.17 The situation does not appear to im- prove once medical education is completed.18

의료행위에 있어서 윤리의 중요성에 대한 관심이 늘어남에 따라, 성숙에 따른 도덕적 추론의 자연적 성장과 교육에 의한 성장 사이의 차이에 대한 이해가 더 필요해졌으며, 여기에는 윤리적 기술을 향상시키기 위한 교육법, 의과대학기간의 윤리성 저하 등이 포함된다. 의학교육 기간에 더 나은 개입법을 만들기 위해서 많은 사람이 이러한 차이를 설명하고자 했다. 미국 의대생들의 도덕 발달에 대한 연구를 보면 단 하나만이 장기적 자료를 사용하고 있다. 그 연구에서 도덕적 추론 점수의 상승은 4년에 기간동안 이뤄지지 않았으며, 이는 핛생들의 교육경험이 도덕추론의 발달을 촉진한다기보다는 억제함을 시사한다.

In light of growing concern about ethics in medical practice, it is important to have a better understanding of the divergence between the natural progression of moral reasoning that comes with maturity19 and education,20 in- cluding pedagogical measures taken to promote ethical skills, and the degradation observed during medical educa- tion. Many have attempted to explain this divergence in or- der to better intervene during medical education.21–23 Stud- ies have been published on the moral development of American medical students,12–15 but only one used longitudi- nal data.13 In that study, the expected increase in scores for moral reasoning did not occur over the 4 years of medical education, which suggests that the students’ education ex- perience somehow inhibited rather than facilitated the de- velopment of their moral reasoning.

방법

Methods

Uni- versity of Sherbrooke에 입학한 모든 92명의 학생을 대상으로 MJI설문을 함. 참여는 자율적이었으며, 비밀이 지켜질 것을 확실히 했음. 같은 학생을 3학년 말에 다시 설문함.

We invited all 92 students entering medical school at the Uni- versity of Sherbrooke, Que., to complete the Moral Judgment In- terview (MJI) questionnaire upon registration. Participation was voluntary, and we assured respondents of confidentiality. We in- vited the same individuals to complete the questionnaire again at the end of their third year of medical studies.

MJI scale은 Lawrence Kohlberg 에 의해서 1958년 개발되었고, 원래는 도덕적 추론의 로직에 따라 변화를 측정하려는 것이었다. Kohlberg의 이론에 따르면 다음의 단계에 따라 성숙한다.

The MJI scale, developed by Lawrence Kohlberg in 1958,24,25 was designed to measure changes in the logic of moral reasoning that usually occur over years. According to Kohlberg’s theory, people proceed through stages of reasoning as they mature (Table 1).

참가자의 도덕추론에 대해서 검사한 것은 그 사람의 도덕신념이나 가치에 대한 것이 아니었다. 예컨대 4단계의 사람도 보수적이거나 진보적일 수 있으며, 실제로 어떤 사람이 보수적이거나 진보적이라는 것은 도덕적 추론 능력과는 아무런 관계가 없다.

What is being tested is the participant’s capacity for moral reasoning and not the person’s particular set of moral be- liefs and values. For example, a person could be at stage 4 and have either conservative or liberal values; indeed, whether a per- son holds conservative or liberal values has no bearing on the rea- soning capacities for supporting whatever values are held.

Colby and Kohlberg가 정의한 매개변수에 따라서 코딩하고, 각 학생별로 발달의 단계를 평가하였다. 이 단계는 학생의 응답에서 가장 많이 등장하는 것으로 하였고, 두 개가 같은 빈도일 경우 두 단계 사이의 중간이라고 하였다.

We coded responses according to parameters defined by Colby and Kohlberg.19 A stage of development was first attributed to each response. The stage attributed most frequently in a stu- dent’s questionnaire constituted the individual’s dominant stage. When students invoked 2 stages with equal frequency, an inter- mediate category falling halfway between the 2 stages was created (e.g., intermediate stage 3–4).

세 번째 단계에서 각 단계의 빈도에 가중치를 둔 단계를 산출함

In a third step, we converted recorded stages to numeri- cal scores (weighted average scores) according to the frequency of use of each stage.

해석

Interpretation

미국에서의 종단연구와 마찬가지로 우리는 maturation에 따라 동반될 것으로 기대된 도덕 추론능력의 향상을 관찰하지 못했다. 우리는 가중-평균점수에서 유의미한 감소를 확인하였다. 그러나 우리의 관찰결과는 이러한 도덕발달의 저하와 의학교육 사이의 인과관계를 보여주는 것은 아니다. 그러나 명백한 것은 해당 연령대에서 기대되는 발달의 하한선 정도밖에 미치지 못한다는 점이다. Colby와 Kohlberg는 도덕적 추론의 conventional 수준(3~4단계, 4단계)이 청년과 성인에서 가장 흔하게 나타나는 것이라고 했다. 이와는 대조적으로 어린이나 유년기에는 preconventional level (1~3단계)가 가장 흔하다. 이 단계에서 부모의 권외와 벌을 회피하고자 하는 성향이 두드러진다. postconventional level (4~5단계, 5단계)는 사회적 관점을 받아들이는 것이며 성인의 소수에서만 발견된다.

As in the US longitudinal study,13 we did not observe the increase in the development of moral reasoning that was expected with maturation and involvement in university studies. We found a significant decrease in weighted aver-age scores after 3 years of medical education. Our findings do not, however, establish a direct causal relation between the observed decrease in moral development and medical education. Yet they do clearly indicate the occurrence overtime of a levelling to a lower threshold of development than that expected for this age group. Colby and Kohl-berg19 stated that the conventional level of moral reasoning(represented by intermediate stage 3–4 and stage 4) is the one most commonly found in the adolescent and adult population. In contrast, among children and young adoles-cents, the preconventional level (represented by stages 1 to3) prevails; at this level parental authority and the desire to avoid punishment are determinative. The postconventional level (represented by intermediate stage 4–5 and stage 5) is characterized by the adoption of a societal perspective and is found only in a minority of adults. 

우리의 결과는 의과대학이 강력한 사회화 경험을 구성한다는 가설을 확인시켜주었다. 높은 단계에 있는 학생들은 반 단계 이상 단계가 감소하는 경향이 있었으며, 이들 중 단 한 명만이 3년이 지난 후 원래 단계를 유지하고 있었다. 이들학생에서 가중 평균점수가 감소할 가능성은 100%였다. 반대로, 낮은 단계에서 시작했던 학생들은 반 단계 이상 단계가 높아지는 경향을 보였다. 이는 이러한 레벨링 효과가 의과대학 3년의 기간동안 도덕적 추론에 대해서 발생함을 보여준다.

Our findings appear to confirm the hypothesis that medical school constitutes a strong socializing experience. There was a strong likelihood of a decrease in stage of moral development by more than half a stage among the students rated as having a high stage (stage 4 or intermedi- ate stage 4–5) upon entering medical school. Among these students, only 1 stayed at his or her initial stage after 3 years. The probability of a decrease in weighted average scores among these students was 100%. Inversely, the like- lihood of an increase by more than half a stage among the students who were initially rated at lower stages (interme- diate stage 2–3 and stage 3) was high. It seems reasonable to infer that a levelling effect occurred in moral reasoning over the 3 years of medical education.

CMAJ. 2003 Apr 1;168(7):840-4.

Changes in students' moral development during medical school: a cohort study.

의학교육에 대한 새로운 상상: 행동할 때 (Acad Med, 2013)

Medical Education Reimagined: A Call to Action

Charles G. Prober, MD, and Salman Khan

우리의 신념은 의과대학생에게 평생에 걸쳐 지식을 쌓을 수 있는 프레임워크를 제공해야 한다는 것이다. 그리고 생의학 혹은 의료의 특정 영역에 적성과 열정이 있는 학생은 그 분야를 더 깊이 추구해야 한다.

Our belief is that medical students should be provided a framework on which knowledge can be built over a lifetime of learning. And students who have aptitude and passion for developing a focus in a specific area of biomedicine or medical practice should pursue this area more deeply.

교실 뒤집기

Flipping the Classroom

The One World School House: Education Reimagined에서 살만 칸은 교육의 새로운 모델을 제시했다.

In The One World School House: Education Reimagined, one of us (S.K.) described a new model of education, informed in part by ongoing work with K–12 students.1

'거꾸로교실'에서 이전에 교실에서 가르치던 내용은 집에서 학습하고, 숙제는 동료와 함께, 교사의 지도하에 협력적으로 교실에서 수행한다.

There is a “flipping of the classroom”: Lessons previously taught in class are learned at home, and “homework” is performed in the classroom in collaboration with peersand guided by teachers.

의학교육에 대한 새로운 상상

Reimagining Medical Education

초중등교육에 대한 새로운 모델이 의학교육에도 적용가능할 것이다.

We believe that the model for reimagining K–12 education is equally relevant to medical education.

그림 1은 새로운 모델의 핵심 요소 세 가지를 그리고 있다.

Figure 1 depicts the three key components of our proposed model for medical education:

• 핵심지식의 프레임워크 확립 building a framework of core knowledge;
• 지식을 상호작용적인, 강렬한, 참여적 형태로 심기 embedding the knowledge in richly interactive, compelling, and engaging formats; and
• 일부 영역에서는 심화 학습 추구 encouraging in-depth pursuit of knowledge in some, but not all, domains.

핵심지식의 프레임워크 확립

Building a framework of core knowledge

학습자료는 시간이 지나면 업데이트되어야 하나, 이 과정은 필수 내용을 선정하는 과정에서 과학적 검증을 거친 것을 선택함으로써 최소화될 수 있다. 짧은 비디오 형태의 교육은 당대의 발견을 적절한 시기에 도입하는데 도움이 될 것이다.

Material would need to be updated over time, although this need would be minimized through the selection of core content that has withstood the test of scientific validation. The short video format would facilitate the timely introduction of contemporary discoveries.

이들 비디오는 SMILI의 일부일 뿐이다. SMILI 워킹그룹은 교수/학생/교육과학자/학습전문가/정보기술전문가 등으로 구성되어 있다. 우리의 핵심 목표는 수업을 보다 학생 중심의 상호작용적 형태로 진화시키고자 하는 교수를 돕는 것이다.

These videos are, in fact, only a fraction of our overall Stanford Medicine Interactive Learning Initiative (SMILI).3 Our SMILI working group includes faculty, students, educational scientists, learning specialists, and information technology experts. Our central goal is to support faculty who want to evolve their classes into a more student-centric, interactive format.

이러한 세션은 종종 서로 다른 전공의 교수들의 참여를 통해서 이득을 얻는다.

These sessions often benefit from the participation of faculty with different types of expertise,

비록 학생들은 교육과정 평가에서 수업을 개선할 다양한 지점을 찾아내지만, 141명의 응답자 중 82%는 기본적인 강의-기반 형태도바 이러한 형태의 모델을 더 선호한다. 가장 흔한 우려는 시간 관리이다. 학생들은 강의(또는 비디오)에 할당된 시간을 줄이지 않고 단순히 상호작용적 세션만 더하는 것을 가장 걱정한다.

Although the students identified a number of opportunities for improvement in course evaluations, 82% of 141 respondents favored this model of instruction when compared with a primarily lecture- based format (Ransohoff K, Xie J. Unpublished data. December 2012). The most common concern expressed by our students was time management. The students expressed concern about simply adding interactive sessions without concurrently reducing the amount of time allocated for didactic instruction (by video).

일부 영역에서는 심화 학습 추구

Encouraging in-depth pursuit of specific knowledge

스탠포드의 scholary concentration는 deep dive의 한 사례이지만 이것만 있는 것은 아니다.

Examples of “deep dives” include, but are not limited to, what we currently offer students for their “scholarly concentration” pursuits at Stanford:

핵심은 학습자의 적성과 열정을 지지하고 다가가는 것이다.

The key is to tap into and support the individual learner’s aptitude and passion.

최근, Bruce Alberts는 "표면적 학습의 실패"를 강조하였다.

A recent editorial, authored by Bruce Alberts,4 the editor-in-chief of Science, underscored the “failure of skin-deep learning.” Alberts argues that we need to replace the current overview of subjects with a series of deep explorations. He cites research that demonstrates that “the most meaningful learning takes place when students are challenged to address an issue in depth.”4

Effecting Change Through Multi-Institutional Collaboration

협력적인, 다기관의 노력이 필요할 것이다.

Perhaps the result would not be a one-world medical school house but a collaborative, multi-institutional effort to reimagine medical education.

Acad Med. 2013 Oct;88(10):1407-10. doi: 10.1097/ACM.0b013e3182a368bd.

Medical education reimagined: a call to action.

교수개발 연구의 리프레이밍(Acad Med, 2011)

Reframing Research on Faculty Development 

Patricia S. O’Sullivan, EdD, and David M. Irby, PhD

의학교육에서 FD는 1950년대에 시작되었고, 이후 수십년간 AAMC의 Curriculum and Assessment 의 활동과 HRSA의 재정지원을 통해서 발전되어왔다. FD에 대한 연방 재정지원은 일차의료교육을 지원하였으며, 주로 일반내과와 가정의학 분야를 지원하였다.

Faculty development in medical education began in the 1950s and advanced in subsequent decades through the activities of the Association of American Medical Colleges’ Curriculum and Assessment unit (formerly the Division of Medical Education) and the funding of the Health Resources and Services Administration.2 Federal funding supported faculty development for teaching in primary care, particularly in general internal medicine and family medicine,

FDP는 여러 유형의 교사에 대하여 다양한 교육 니즈를 위해 진행된다.

Faculty development programs address a variety of instructional needs for four different types of teachers:

• 학생, 레지던트, 펠로우 (1) students, residents, and fellows who are required to teach but have little expertise and/or are launching their medical education careers,
• 교육에 약간만 참여하는 교수 (2) faculty members who teach at universities or community-based sites, but for whom teaching is a small component of their responsibilities,
• 교육이 주 역할인 교수 (3) faculty members who have a major teaching role, and
• 의학교육자와 교수개발자가 되고자 하는 교수 (4) faculty members who want to become medical education researchers and faculty developers. Programs vary depending on which groups are being targeted.

이러한 FDP에 참여하는 것은 교수들에게 교육에 대한 열정을 공유하는 유사한 마인드를 가진 새로운 지적, 사회적 커뮤니티에 들어오게 한다.

Participation in such faculty development programs should provide faculty members with entry into a new intellectual and social community of like- minded individuals who share a passion for teaching.

FDP의 다양한 기능을 고려하였을 때, 그리고 연구가 실천을 이끌 수 있다고 할 때, 어떻게 연구의 틀은 어떠해야 하는가?

Given these multiple functions of faculty development and the need for research that can guide practice, how should the research be framed?

교수개발 프레임워크와 관련 연구 접근법

Faculty Development Frameworks and Associated Research Approaches

이 그림에서 연구 모델은 선형적이다. 프로그램이 교수에게, 교수는 피훈련자에게, 피훈련자는 환자와 건강 성과에 영향을 준다.

In this figure, the research model is defined in a linear manner: The programinfluences the faculty member, who influences trainees, who in turn impact patient care and health outcomes.

Fig 1에 보여진 것처럼, 이 모델은 교육이 한 명의 교수가 학습자에게 하는 행동에 직접적인 영향을 미칠 것을 함의하고 있으며, 이것이 결국 환자 진료에 대한 변화로 이어질 것을 가정하고 있다. 그러나 이러한 선형적 인과관계와 점차 희석되는 일련의 사건의 효과를 기대하는 것은 비현실적일 수 있다.

As shown in Figure 1, this model implies a direct impact of the education of one faculty member on the behavior of learners, who then bring about change in patient care. It may be unrealistic to attribute linear cause and effect to such an attenuated chain of events.

교사 교육의 전문성개발 프레임워크

Professional development frameworks in teacher education

전통적인 의학교육의 교수개발 모델에서, Webster-Wright는 최근의 리뷰를 통해서 교수개발을 '전문성개발(professional development)'에서 '지속적인 전문성 학습(“continual professional learning.”)'의 개념으로 옮겨가야 한다고 강조했다.

In contrast to the traditional model of faculty development in medical education, Webster-Wright14 in a recent review emphasized a shift fromfaculty development, frequently called professional development, to “continual professional learning.”

이러한 관점은 근무지(workplace)에서 전문성개발에 대한 지원이 얼마나 중요한가를 강조한다. 근무지에서는 교육이 이루어지면서 다른 사람과의 연결(connection)이 생기고, 그러한 근무지 세팅에서 학습의 시간이 있기 때문이다. 따라서 FD연구는 어떻게 교사들이 학습하고, 일상적인 교육 행위적 맥락에서 어떻게 의미를 함께 만들어가는가(co-construct)에 초점을 둬야 한다.

This perspective highlights the importance of support for professional development in the workplace, connection with others in the settings in which teaching occurs, and time for learning within the work setting.15,16 Therefore, faculty development research, including medical education, should include a focus on how teachers learn and co-construct meaning in the context of everyday teaching practice.

고등교육에서 다른 사람들은 'communities of practice (COP)' 를 전문성학습을 강화하는 강력한 프레임워크라고 주장한다. Desimone의 모델을 활용하면, FD는 (교실과 진료실에서의) 교육행위에 들어가있어야(be embedded)있어야 하며, 연구를 통해 밝혀야 할 것은 다음과 같은 것들이다.

Others in higher education and professions education embrace the concept of “communities of practice” as a powerful framework for enhancing professional learning.17–20 Using Desimone’s21 model, faculty development should be embedded in teaching practice (classroomand/or clinical), and research should investigate

• 어떻게 교사가 새로운 교육과 관련된 내용과 스킬을 개인/집단으로서 학습하는가
  how teachers learn new pedagogical content and skills individually and together,
• 어떻게 교사가 스스로의 학습에 적극적으로 참여하는가
  how teachers can be actively engaged in their own learning, and
• 어떻게 교사의 지식과 신념이 기대되는 변화와 연결될 수 있는가
  how teacher knowledge (about successful education methods) and beliefs (about how students and residents learn and the forces that influence and motivate learning) can be connected with expected changes.

코크란 리뷰에 따르면, CME의 참가자들은 전문직업적 행위에 있어서 small-to-moderate 정도의 향상을 보이며, 환자진로 outcome에 있어서는 smaller 향상과 연결된다. 상호작용적인 것과 강의적 자료를 모두 사용하는 세션의 성과가 가장 좋으며, 상호작용(interactive session)만 하는 것이 가장 효과가 적다. 다른 CME에 대한 리뷰와 달리 코크란 리뷰에서는 교육미팅만 하는 것과 대비하여 multifaceted intervention(outreach services, reminders, feedback, support services, and educational materials)의 유의미한 효과는 찾아내지 못했다.  저자들은 CME프로그램에 참여하지 않는 사람들을 대상으로 할 것을 권고했는데, 왜냐하면 이런 것에 참여하는 사람들은 이미 잘 하고 있을 가능성이 높기 때문이다.

According to the most recent Cochrane review,4 participation in continuing medical education meetings makes a small-to-moderate improvement in professional practice with associated smaller improvement in patient care outcomes. Sessions that included both interactive and didactic material had the best outcomes; interactive sessions alone were the least effective. In a surprising contrast to other reviews of continuing medical education, this Cochrane review did not find any statistically significant effect of multifaceted interventions— such as outreach services, reminders, feedback, support services, and educational materials—compared with educational meetings alone. The authors of the report recommended targeting activities to those who do not choose to participate in continuing medical education programs, because those attending may already be performing well.

FD와 CME는 공통점이 많으며 의사들은 종종 두 개 프로그램에 모두 참여한다.

Faculty development and continuing medical education share much in common, and physicians often participate in both types of programs.

근무지 학습 프레임워크

Workplace learning framework

지난 10년간 많은 연구가 임상현장의 학습과 연관되어있다. 이러한 연구에서는 근무지 기반 학습에 참여하는, 그리고 그 결과로 학습과 실천을 가져오는 세 가지 요인을 강조한다. (과제, 관계, 업무연습)

A surge of research in the past decade on learning in the workplace23,24 is directly relevant to clinical learning in medicine and other health professions. This body of research suggests that three factors (tasks, relationships, and work practices) affect participation in the workplace and, consequently, learning and practice.

• 학습자가 하도록 선택된 과제, 할당된 책임, 그러한 과제의 순서 등이 학습자가 직무에 얼마나 중심(또는 변두리)에 참여할 수 있게 되는가에 영향을 준다.
  The tasks that are selected for the learner, the responsibilities assigned, and the sequencing of those tasks all impact how centrally or peripherally a learner will be able to participate in the work.
• 커뮤니티 내에서의 관계가 보다 inviting한 환경, 적절한 지도(guidance), 개인의 관심(engagement) 등을 만들거나 향상시켜서 참여를 강화한다.
  Relationships within the practice community can enhance participation by creating an inviting environment, providing guidance, and encouraging personal engagement.
• 직무의 구조, 시간의 압박, 근무량, 직무 흐름 등
  The structure of the work, time pressures, workload, and work flow all influence participation.

FD 모델의 리프레이밍

Reframing the Model for Faculty Development in Medical Education

교육 연구 프레임워크과 논쟁

Educational Research Frameworks and Debates

지금까지 FD연구에서 성공을 측정하기 위해 사용된 척도는 다음과 같다.

To date, the methods used in faculty development research, both quantitative and qualitative, have included the following measures to indicate program success: 

• Participant satisfaction with the faculty development programs 
• Participant self-report of use of knowledge and skills 
• Analysis of participants’ curricula vitae 
• Interviews with participants and sometimes with their learners 
• Learner rating of participants’ teaching 
• Observations of participants’ simulated and actual teaching 
• Changes in participants’ learners’ performance on examinations 
• Changes in participants’ learners’ impact on patient care outcomes

이 연구들은 퍼실리테이터, 프로그램, 맥락, 다른 사람과의 관계에 대한 통찰이 결여되어 있다.

These studies lack much of the insight needed about facilitators, programs, contexts, and relationships to help others craft successful faculty development programs.

연구자들은 지난 20년간 교육 연구의 특성과 퀄리티에 대한 많은 논쟁을 해왔다. NRC의 보고서에 따르면 전통적인 실험적, 유사-실험적 설계를 활용한 연구의 성과와 무작위배정을 포함한 교육 연구에서 엄격한 연구법의 성과를 리뷰하였다. 많은 교육커뮤니티에서는 NRC보고서에 관하여 우려를 표시하였는데, 왜냐하면 여기서는 전통적인 연구 설계와 성과에 초점을 맞추었기 때문이며, 교육의 프로세스와 맥락이라는 중요한 차원을 설명하지 못했기 때문이다. 유사한 논쟁이 IOM의 보고서에서도 따랐으며, 이 보고서는 책무성, 최선의 근거, 엄격한 교육연구 방법의 사용 등이 중심이었다.

Researchers have engaged in a vigorous debate over the nature and quality of educational research during the last two decades. The report fromthe National Research Council (NRC)30 reviewed outcome studies that employed traditional experimental and quasi-experimental designs and rigorous methods in educational research including randomization.31 Many in the education community voice concerns about the NRC report because of its focuses on outcomes and traditional research designs, which fail to address the important dimensions of educational process and context.32,33 A similar debate accompanies Institute of Medicine reports,34,35 which center on accountability, best evidence, and use of rigorous educational research methods.36

Albert는 의학교육연구의 논쟁을 정리하며, 인식론, 방법론, 목적, 퀄리티에 대한 것이라고 요약했다. 그는 의학교육연구는 두 종류의 연구자 사이에서 고군분투하고 있는데, 하나는 지식의 진보와 이론의 성립을 중요시하는 집단과, 실제로 교육을 하는 사람들이 필요로 하는 니즈에 따르는 집단이 있다.

Albert37 summarizes these debates in medical education research as being about epistemology, methodology, purpose, and quality. He depicts medical education research as a struggle between two groups of researchers: those who seek to advance knowledge and build theories versus those who are responsive to practitioners’ needs for guidance.

Bredo는 모든 연구방법들은, 엄격하게 적용되기만 한다면, 모두 사용될 수 있으며, 굳이 엄격하게 환원주의 또는 전체론에 제약될 필요가 없다고 말한다. Bredo는 또한 다양한 관점을 순환적(cyclical)으로 사용하면서 단 하나의 접근법이 지배하거나 연구 노력을 제한하지 않게끔 해야 한다고 했다.

Bredo concludes that all research methods, when rigorously applied, should be employed, rather than being constrained by strict adherence to reductionistic or holistic paradigms. Importantly, Bredo suggests employing different perspectives in a cyclical manner to guide and constrain the exploration so that no single approach dominates and limits the research endeavor.

일반 교육연구 커뮤니티에서 실험주의자와 맥락주의자(experimentalist, contextualist) 사이의 논쟁은 일상의 의학교육에서도 나타난다.

The controversies within the general educational research community between experimentalists and contextualists are mirrored in the practitioner community of day-to-day medical teaching, where university-based educational research is often viewed as inconclusive, impractical, and irrelevant.43

두 가지 권고

We make two recommendations related to the nature of the research on faculty development and its use. 

• 1. Promote high-quality, thematic, sustained, and cumulative research programs using various methods/models/paradigms in medical education. 
  
• 2. Embrace the use of an incremental and cyclical approach to research, as advocated by Bredo,42 in order to develop a deeper understanding of how faculty development actually works.

새로운 FD 모델을 위한 연구 질문들

Educational Research Questions for a New Model of Faculty Development

우리는 holistic 관점과 reductionist 관점의 연구를 모두 권고한다. 각 요소들간 관계와 연결을 밝히는 것, 그리고 각 요소들이 어떻게 도달하고자 하는 프로세스와 성과를 이루는지 등을 모두 연구해야 한다.

We encourage research on the overall model (a holistic perspective) and on each separate component (a reductionist perspective), on the relationships or associations among the components, and on how each component leads to desired process and performance outcomes.

Steinert 등은 엄격한 연구방법을 활용하여 프로세스-지향 연구를 요구하였다.

Steinert and colleagues,11 in a systematic review of faculty development, called for process- oriented studies and the use of rigorous research methods.

이러한 프로세스-지향 연구는 프로그램 내에서의 관계와 근무지 내에서의 관계 모두에 대한 것이다. FD연구는 전통적으로 개인에 초점을 두어왔지만 이제는 근무현장에서의 팀과 communities of teaching의 역할을 연구해야 한다.

This process-oriented inquiry leads to research on relationships within the program and within the academic workplace. Faculty development research has traditionally centered on the individual but now must also examine the role of the teams and communities of teaching practice in the workplace.

For example,

• does it make a difference if participants in faculty development programs come as members of an intact work team(e.g., a team-taught course leadership team, a residency program leadership team, or a curriculum committee)?
• What are the relationships within the faculty development program and within the workplace?
• How do these relationships impact the achievement of desired outcomes?
• What happens if only one individual froma particular course or clinical education program participates in a faculty development program?
• How do they engage their colleagues?

This line of research would put us a step closer to understanding how change in practice occurs within the teaching environment.

CME와 QI연구로부터, 교수개발은 변화를 평가하기 위한 다양한 척도를 개발할 필요가 있다.

Drawing on the continuing medical education and quality improvement literature, faculty development programs need to develop a wide set of measures to assess change. Examples might include

• process measures related to program implementation,
• participant networks established through the program and subsequent organizational support for education and change, and
• the creation of a faculty development community or a teaching commons.9,10

참가자들에 대한 연구

While studying participants, we encourage researchers to test this expanded faculty development model as it applies to different career pathways, including the paths that students, residents, fellows, all teaching faculty, and those specializing in medical education may choose to take. Questions might focus on,

• What is the community with which each type of participant interrelates?
• What is the developmental trajectory of each individual or cohort of teachers?
• What are the differences in skills needed based on the role of the participant in the faculty development program?